零刻SER8 AMD 8845Hs Ryzen AI 本地部署大语言模型教程！

零刻SER8 8845HS,配备了一个内置的 NPU（神经网络处理单元），可以通过LM Studio语言大模型来部署己的 GPT 模型 AI 聊天机器人，AI 助手已迅速成为提高生产力、效率，甚至是头脑风暴的关键资源。在本地机器上运行 AI 聊天机器人不仅不需要互联网连接，而且你的对话也保存在本地机器上。

AMD 8845Hs Ryzen AI

• AI 引擎性能：最高可达 16 TOPS（每秒万亿次操作）

• 总处理器性能：最高可达 38 TOPS

零刻SER8 IPU默认状态为开启状态，无需再进行二次开启操作，可在设备管理器中查看相关的设备状态。

操作步骤：

1.下载LM Studio大模型部署软件，点击链接进入官网，https://lmstudio.ai/，下载Windows版本

2.下载完成后，双击进行启动进入软件界面

3.AMD官方这里提供了两个大语言模型，Mistral 7b（TheBloke/OpenHermes-2.5-Mistral-7B-GGUF）和LLAMA v2 7b（TheBloke/Llama-2-7B-Chat-GGUF），这里的7b指的是70亿参数训练出来的大模型，我们选择LLAMA v2 7b语言大模型进行下载，点击左侧搜索按钮（如果搜索提示网络报错，可查看LM Studio语言大模型部署软件搜索语言模型报错“Error searching for models ‘Network error’”解决办法）

4.在搜索栏中复制并粘贴以下搜索词：“TheBloke/Llama-2-7B-Chat-GGUF”，在右侧选择’Q4 K M’模型文件点击’Download’进行下载

5.耐心等待下载完成

6.下载完成后，点击左侧的聊天按钮，切换到聊天模式

7.点击顶部，切换刚刚下载的语言大模型包

8.等待模型加载完成就可以使用了，LLAMA v2 7b模型只支持英文，如果需要中文可以使用其他的大语言模型。

9.推荐中文语言大模型"TheBloke/openHermes-2.5-Mistral-7B-GGUF"搜索后，可在右侧选择’Q4 K M’模型文件点击’Download’进行下载

10.下载完成后，点击聊天按钮，在顶部选择大语言模型进行切换

更多其它大语言模型：

“PrunaAI/Llama3-8B-Chinese-Chat-GGUF-smashed” 来源 https://zhuanlan.zhihu.com/p/696250131

“zhouzr/Llama3-8B-Chinese-Chat-GGUF”