最近参加了LLM的小白开发,针对第一章我写一下环境部署遇到的问题以及解决方案,和详细步骤
6. 环境配置说明 (datawhalechina.github.io) 参考链接
1.打开终端
在不同的操作系统中,打开终端(或命令行界面)的方法略有不同。
在Windows上:可以使用以下方法之一:
- 按下
Win + R
组合键,然后在运行对话框中输入cmd
,按回车键打开命令提示符窗口。 - 在开始菜单中搜索并打开“命令提示符”或“PowerShell”。
- 按下
在Mac上:可以通过以下方法之一:
- 打开“应用程序”文件夹,然后找到“实用工具”文件夹,里面有一个叫做“终端”的程序,点击它打开。
- 使用Spotlight搜索(按下
Command + Space
),然后输入“终端”,点击打开终端应用。
在Linux上:通常可以通过以下方式之一打开终端:
- 在应用程序菜单中找到终端程序(可能命名为“终端”、“控制台”、“终端模拟器”等)并点击打开。
- 使用快捷键组合,如
Ctrl + Alt + T
,来打开终端。
打开终端后,你就可以在其中输入命令了。
2.生成 ssh key ssh-keygen -t rsa -C "youremail@example.com"(见下图)
这一块我懒得管了,直接全部默认了(疯狂空格),解释一下,并给出解决方案
- enter file in which to save the key(C:\Users\W/.ssh/id rsa)
这是一个提示,询问您要将 SSH 密钥保存到哪个文件中。默认情况下,它会建议将密钥保存到您的用户主目录下的
.ssh
文件夹中的id_rsa
文件中。如果您想使用默认路径和文件名,请按回车键。
如果您想将密钥保存到其他位置或使用其他文件名,请输入相应的路径和文件名,然后按回车键。
enter passphrase(enpty for no passphrase):
enter same passphrase again:
这是在设置 SSH 密钥时询问您是否要设置密码的步骤。设置密码可以增加安全性,因为除非知道密码,否则任何人都不能使用您的密钥。
- 如果您想设置密码,请输入您想要使用的密码,然后按回车键。您将被要求再次输入相同的密码进行确认。
- 如果您不想设置密码,直接按回车键即可
our identification has been saved in C:\Users\W/. ssh/id rsa
our public key has been saved in C: Users W/. ssh/id rsa. puk
您的身份信息已保存在
C:\Users\W/.ssh/id_rsa
文件中。您的公钥已保存在
C:\Users\W/.ssh/id_rsa.pub
文件中
2.将公钥添加到 github
cat ~/.ssh/id_rsa.pub
复制输出内容---》改为使用type+全路径,
比如:type C:\Users\WANGXIE\.ssh\id_rsa.pub(将type后的内容修改为公钥存放地址)
---》你将得到公钥(一堆字母)
打开 github,点击右上角头像,选择 settings
-> SSH and GPG keys
-> New SSH key
,将复制的内容粘贴到 key 中,点击 Add SSH key
。
3.安装 conda 环境
这个我之前应景安装anaconda了,跳过 教案上写的也很清楚
4.新建虚拟环境 conda create -n llm-universe python=3.10
按理说,这个地方应该一下子就可以,但是我的出错了,后来发现是镜像地址的问题。
最后成功
5.激活虚拟环境 conda activate llm-universe
6.在希望存储项目的路径下克隆当前仓库 git clone git@github.com:datawhalechi
na/llm-universe.git
7.将目录切换到 llm-universe cd llm-universe
8.安装所需的包 pip install -r requirements.txt
通常可以通过清华源加速安装 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
但是:
我们在使用开源词向量模型构建开源词向量的时候,需要用到第三方库 nltk 的一些资源。正常情况下,其会自动从互联网上下载,但可能由于网络原因会导致下载中断。当我们使用 nltk 时就会报错。此处我们从国内仓库镜像地址下载相关资源。
cd /root
git clone https://gitee.com/yzy0612/nltk_data.git --branch gh-pages
cd nltk_data
mv packages/* ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip
但其实我发现我之前下过这个。