用免费GPU线上跑chatGLM项目实践
DataWhale组织了一个线上白嫖GPU跑chatGLM与SD的项目活动，我很感兴趣就参加啦。之前就对chatGLM有所耳闻，是去年清华联合发布的开源大语言模型，可以用来打造个人知识库什么的，一直没有尝试。而SD我前两天刚跟着B站秋叶大佬和Nenly大佬的视频学习过，但是生成某些图片显存吃紧，想线上部署尝试一下。
参考：DataWhale 学习手册链接
1 学习简介
本文以趋动云平台为例，详细介绍下如何通过平台提供的在线开发环境，直接在云端编写、运行代码，并使用GPU资源进行加速。本教程将学习云算力资源的使用方式，并给出了两个AI项目实践：
- 用免费GPU创建属于自己的聊天GPT
- 用免费GPU部署自己的stable-diffusion
平台注册：
- 注册即送168元算力金
- Datawhale专属注册链接：https://growthdata.virtaicloud.com/t/SA
适用人群：
- 新手开发者、快速原型设计者；
- 需要协作和分享的团队；
- 对大模型部署感兴趣的人；
- 深度学习入门学习者；
- 对使用GPU资源有需求的人。
优势：
无需进行本地环境配置，简单易用，便于分享和协作。
组织方：Datawhale x 趋动云
2 部署chatGLM3-6B模型
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。
推理速度比上一代提高了很多，虽然本教程有两种启动方式，但教程作者强烈推荐使用streamlit体验，效果极佳。
2.1 项目配置
本项目采用 趋动云 云端配置，环境采用 Pytorch2.0.1、python3.9、cuda11.7 的镜像，在公开模型选择 葱姜蒜上传的这个ChtaGLM3-6B模型 。
资源配置采用拥有24G显存的 B1.large ，最好设置一个最长运行时间，以免忘关环境，导致资源浪费。我这里选择了24h的最长运行时间。
2.2 环境配置
成功配置好项目基本资源后，就可以进入JupyterLab开发环境了。现在需要在终端进一步配置环境，通过我们选择的模型资源中的加载的文件，我们首先要设置镜像源、克隆ChatGLM项目。
升级apt，安装unzip
apt-get update && apt-get install unzip设置镜像源，升级pip
git config --global url."https://gitclone.com/".insteadOf https:// pip config set global.index-url https://pypi.virtaicloud.com/repository/pypi/simple python3 -m pip install --upgrade pip克隆项目，并进入项目目录
git clone https://github.com/THUDM/ChatGLM3.git cd ChatGLM3安装项目依赖与peft
可以先把requirements.txt中的torch删掉，避免重复安装
pip install -r requirements.txt pip install peft
2.2 镜像发布
通过以上步骤，项目环境已部署完成啦。但是为了防止下次加载还得重新装载镜像，此时可以将镜像封装发布。
点击右上角将当前环境制作为镜像
填写镜像名称，构建镜像
填写自定义镜像名称后，在Dockerfile中，填写以下内容，以之前选择的基础镜像，创建镜像。
RUN apt-get update && apt-get install unzip
RUN git config --global url."https://gitclone.com/".insteadOf https://
RUN pip config set global.index-url https://pypi.virtaicloud.com/repository/pypi/simple
RUN python3 -m pip install --upgrade pip
RUN pip install accelerate==0.27.2 \
aiofiles==23.2.1 \
altair==5.2.0 \
annotated-types==0.6.0 \
arxiv==2.1.0 \
blinker==1.7.0 \
colorama==0.4.6 \
cpm-kernels==1.0.11 \
dataclasses-json==0.6.4 \
distro==1.9.0 \
fastapi==0.110.0 \
feedparser==6.0.10 \
ffmpy==0.3.2 \
gitdb==4.0.11 \
GitPython==3.1.42 \
gradio==4.21.0 \
gradio_client==0.12.0 \
greenlet==3.0.3 \
h11==0.14.0 \
httpcore==1.0.4 \
httpx==0.27.0 \
huggingface-hub==0.21.4 \
jsonpatch==1.33 \
jupyter_client==8.6.0 \
langchain==0.1.11 \
langchain-community==0.0.27 \
langchain-core==0.1.30 \
langchain-text-splitters==0.0.1 \
langchainhub==0.1.15 \
langsmith==0.1.23 \
latex2mathml==3.77.0 \
loguru==0.7.2 \
markdown-it-py==3.0.0 \
marshmallow==3.21.1 \
mdtex2html==1.3.0 \
mdurl==0.1.2 \
openai==1.13.3 \
orjson==3.9.15 \
packaging==23.2 \
peft==0.9.0 \
protobuf==4.25.3 \
pydantic==2.6.3 \
pydantic_core==2.16.3 \
pydeck==0.8.1b0 \
pydub==0.25.1 \
PyJWT==2.8.0 \
python-multipart==0.0.9 \
regex==2023.12.25 \
requests==2.31.0 \
rich==13.7.1 \
ruff==0.3.2 \
safetensors==0.4.2 \
semantic-version==2.10.0 \
sentence-transformers==2.5.1 \
sentencepiece==0.2.0 \
sgmllib3k==1.0.0 \
shellingham==1.5.4 \
smmap==5.0.1 \
SQLAlchemy==2.0.28 \
sse-starlette==2.0.0 \
starlette==0.36.3 \
streamlit==1.32.0 \
tenacity==8.2.3 \
tiktoken==0.6.0 \
timm==0.9.16 \
tokenizers==0.15.2 \
toml==0.10.2 \
tomlkit==0.12.0 \
transformers==4.38.2 \
typer==0.9.0 \
typing_extensions==4.10.0 \
urllib3==2.2.1 \
uvicorn==0.28.0 \
watchdog==4.0.0 \
websockets==11.0.3 \
zhipuai==2.0.1
等待镜像构建
在开发环境实例中修改镜像
在构建的项目中，点击右边栏的 开发 ，点击 修改挂载镜像 ，在 我的 里选择刚才创建的镜像。
2.4 通过 Gradio 创建ChatGLM交互界面
Gradio是一个开源的Python库，用于创建机器学习模型的交互式界面。其中，StableDiffusion的WebUI就是通过 Gradio 开发。
修改模型目录
将
basic_demo文件夹中的web_demo_gradio.py的模型加载路径改为/gemini/pretrain
修改启动路径
将代码最后一行的启动代码修改为如下代码。
demo.queue().launch(share=False, server_name="0.0.0.0",server_port=7000)添加外部端口映射
在界面的右边添加外部端口：7000
运行gradio界面
返回终端，输入以下指令，运行
web_demo_gradio.pycd basic_demo python web_demo_gradio.py等待模型慢慢加载完毕，即可访问gradio页面。
访问gradio页面
加载完毕之后，复制外部访问的连接，到浏览器打打开
打开后界面如下，可以再input输入框进行问答测试。
可以看到，Gradio界面并不稳定，回答的结果有点"抽风"，回复中夹杂指令字符
<|im_end|>与<|im_start|>，并且出现了自问自答的现象。
配置好环境后，再次访问，在终端输入以下指令直接运行 gradio 。
cd ChatGLM3/basic_demo python web_demo_gradio.py
2.5 通过 streamlit 创建ChatGLM交互界面
如果你运行了gradio，需要先杀掉这个进程，不然内存不够。
CTRL+C 可以杀掉进程
Streamlit是一个开源的Python库，它允许用户 快速创建 交互式的数据科学和机器学习Web应用程序。
与Gradio相比，Streamlit在用户体验设计上更为通用，适合广泛的应用场景，而Gradio则更专注于展示和交互机器学习模型。
根据以下步骤，创建 streamlit 交互界面。
修改模型目录
将
basic_demo文件夹中的web_demo_streamlit.py的模型加载路径改为/gemini/pretrain运行streamlit界面
在终端输入以下指令，运行web_demo_stream.py并指定7000端口，这样就不用再次添加外部端口映射啦~
streamlit run web_demo_streamlit.py --server.port 7000访问streamlit界面
复制外部访问地址到浏览器打开，之后模型才会开始加载。（不复制在浏览器打开是不会加载的！）
出现以上界面，等待加载，加载结束后工作台后端画面如下。可以在输入框提问。
可以看到，streamlit界面的问答，比Gradio的问答稳定的多，没有多余的符号与自问自答。
配置好环境后，再次访问，在终端输入以下指令直接运行 streamlit 。
cd ChatGLM3/basic_demo streamlit run web_demo_streamlit.py --server.port 7000
2.6 chatGLM功能测试
可以看到，chatGLM侧边栏有三行可调节参数，其功能分别如下：
- Max_length（最大长度）: 这个参数决定了模型生成文本的最大长度。如果输入文本特别长，可能需要调整这个参数以避免截断数据，确保模型能够理解完整的上下文信息。
- Top_P（Top P采样）: 这是一个概率阈值，模型在生成文本时只考虑累积概率达到这个阈值的词汇。较高的Top P值意味着模型在生成时会考虑更多的词汇，从而增加文本的多样性。
- Temperature（温度）: 这个参数控制生成文本的随机性。较低的温度值会使模型生成更确定性、更可预测的文本，而较高的温度值则会使模型生成更多样化和创造性的文本。
下面分别测试以上3个方面对生成文本的影响。
2.6.1 测试max_length对生成文本的影响
max_length决定了模型生成文本的最大长度。于是本次测试决定让模型回答固定长度的答案，一次超过max_length，一次没有对比其对生成文本的影响。
max_length较大时，生成500字的作文
可以看到成功生成了一篇大约500字的作文。
max_length较小时，生成500字的作文
可以看到，max_length有效的控制了生成的字数，当要求生成的字数小于max_length，生成的文章将会被截断。
2.6.2 测试Top_P对生成文本的影响
Top P影响着文本的多样性。即值越大用词越丰富，值越少越词穷。本次测试让模型生成一个旅游规划，对比不同Top P的值对生成文本的影响。
Top_P较大时，生成泰山旅游行程
Top_P较小时，生成泰山旅游行程
可以看到，在Top P值较大时，生成的旅游规划较为详细，每日都有不同的行程。而Top P较小时，生成的旅游规划十分简单，而且还出现了 “专线 bus”、"泰山 train"这种不伦不类的用词。
2.6.3 测试Temperature对生成文本的影响
Temperature控制着生成文本的随机性。即值越小回答越死板，值越大回答越丰富。这个参数和Top P其实有点相似，经过查阅资料得知：
当 temperature 设置为较高值（接近1或大于1）时，模型在选择下一个 token 时，会倾向于选择概率较低的选项，从而产生更具创新性和多样性的输出。
当 temperature 设置为较低值（接近0但大于0）时，模型在选择下一个 token 时，会更偏向于选择概率较高的选项，从而产生更准确、更确定性的输出。
所以，本次选择一个大语言模型表现不太的领域——数学，来考察 temperature 对生成文本的影响。
Temperature较大时，对年龄计算题的回答
Temperature较小时，对年龄计算题的回答
可以看到，当 temperature 值较大时，回答的答案有推理思路，联想能力强，得到了正确的回答，而 temperature 值较小时，回答仅仅把题干中两个数字相加，未能理解题目的真正含义，死板的回复了错误的答案。
