实战搭建网易有道的QAnything(二） 正式下载安装

前言：

        整个安装过程实际上就是在不停等待下载文件过程，还好需要的文件都是国内可以现在，还没有需要用到科学上网的，唯一的就是github下载QAnything 源码，又可能抽风访问不了，那么就到gitee或者其他镜像下载就好了。

一、git下载QAnything

        先下载源码，再下载模型

git clone https://github.com/netease-youdao/QAnything.git
git clone https://www.modelscope.cn/netease-youdao/QAnything.git

        下载的模型核心的是就是models.zip 这个文件，这个文件大小在8G左右，如果git的版本太低，下载会报错，文件只有4G不到，那么就需要更新git到最新的版本，再重新下载即可。models.zip解压后是个models文件夹，这个文件夹要放到QAnything的根目录。这个models，就是我们说的RAG构架里的embedding模型，用来表征。

二、下载通义千问的大语言模型

        下载的文件需要放到QAnything/assets/custom_models 这个路径下

git clone https://www.modelscope.cn/netease-youdao/Qwen-7B-QAnything.git

        modelscope下载的速度还可以。

三、wsl进入linux子系统，替换字符串

        wsl进入自己的linux子系统，更改shell脚本的回车（在windows下创建编辑的shell脚本是dos格式的，而linux却是只能执行格式为unix格式的脚本），否则执行时会报，将回车符替换为空字符串。

sed -i "s/\r//" scripts/run_for_local_option.sh
sed -i "s/^M//" scripts/run_for_local_option.sh
sed -i "s/\r//" scripts/run_for_cloud_option.sh
sed -i "s/^M//" scripts/run_for_cloud_option.sh
sed -i "s/\r//" run.sh
sed -i "s/^M//" run.sh
sed -i "s/\r//" close.sh
sed -i "s/^M//" close.sh

四、启动运行程序        

 bash ./run.sh -c local -i 0 -b hf -m Qwen-7B-QAnything -t qwen-7b-qanything

        整个过程会让你选择适用大模型的B数以及选择操作系统等过程，然后又是漫长的等待下载，主要是pull docker的镜像了。

1.  启动过程报 Failed to build the front end.

        这个问题我找了好久，开始还以为是要到境外下载一些包，网络不通，挂上VPN，科学上网，还是解决不了。最后在官方github上搜到了[BUG] Failed to build the front end. · Issue #129 · netease-youdao/QAnything · GitHub

按照文档的说法修改超时时间为1800，才解决此问题。

这里需要注意修改 scripts/run_for_local_opitons.sh 这个文件，最好是进入子系统，用vi命令来做修改了，直接用windows文件编辑器会导致报错。

        2.  启动 LLM 服务超时，自动检查

        第一次启动没有报这个错误，但是使用bash  close.sh 后再次启动就报这个错误了。一样也是github上找到解决方案

        看到下面有人给出的解决方法是：

        具体操作如下：

1.  进入%USERPROFILE%目录下

2. 建立.wslconfig文件

3. 文件内容就是给wsl的内存大小，我是调整到了64GB

[wsl2]
memory=64GB

五、很多教程没有提到但是官方文档提到的点

1. nvidia驱动所需的版本：

       NV的驱动版本需要大于 546.33， 直接到官网去下载就可以了。

nvidia-smi | grep Version  # need >= 546.33

2. 子系统需要安装的软件：

        不知道是否是必要的，但是官方文档里面提到安装就装了。

sudo apt-get update
sudo apt-get install git-lfs  
sudo apt-get install unzip
sudo apt-get install jq
sudo apt-get install bc

六、启动成功

        出现如下界面表示启动成了

游览器打开访问，具体操作我就不重复说了。到此算是安装启动成功了。