牛！手机上轻松部署大模型全攻略！

大家好

当前AI革命中，大模型发挥关键角色，其理论基础在于Scaling Law。简单来说就是，随着数据、参数和计算能力的提升，模型能力增强，展现出小规模模型所不具备的“涌现能力”。众多AI企业推出开源大模型，规模按扩展定律实现指数增长。

然而不可忽视另一趋势，大模型体积正逐渐精简，为私有化部署提供可能性。这在个人隐私保护要求高的场景中尤为重要。无需联网传输数据，直接在设备上运行的AI能增强用户信任。虽然云服务器上的AI可能性能更强，但安全性和可靠性令人担忧。

本文介绍几个适合私有化部署的最新大模型，并提供部署指导，手把手部署到电脑及手机。

一、开源大模型介绍

目前备受瞩目的大型模型，如ChatGPT和Bard，都是基于专有的闭源技术构建的。这无疑限制了它们的应用范围，同时也使技术信息的透明度变得模糊。

然而，开源AI大型模型（LLMs）正逐渐崭露头角，它们不仅增强了数据的安全性和隐私保护，还为用户节省了成本，降低了对外部依赖，实现了代码的透明性和模型的个性化定制。其中，**Meta推出的Llama 3和微软的Phi3是开源大模型中的佼佼者，被誉为“小而美”的模型，且部署起来极为便捷。**这些开源大模型的出现，让我们看到了AI技术更加开放、透明和灵活的未来。

1、Llama 3

Meta 重磅发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。Meta表示，Llama 3 8B和Llama 3 70B是目前同体量下，性能最好的开源模型。

LLaMA是顶尖的开源模型，众多国内大型模型都基于它构建。经过人类反馈的强化学习（RLHF）微调后，它可以作为聊天机器人，适应多种自然语言生成任务，包括编程。基准测试显示，Llama 3 400B+的实力与Claude超大杯和新版GPT-4 Turbo相近，证明它在顶尖大模型中占据重要地位。

模型链接：https://llama.meta.com/llama-downloads/GitHub项目地址：https://github.com/meta-llama/llama3

2. Phi-3

Phi是微软AI研究院新推出的开源小型语言模型，适用于商业环境，其特点是小巧高效。Phi系列包括Mini、Small和Medium三种规模。尽管Phi-3-Mini只有3.8B参数，但在关键测试中表现出色，与大型模型如Mixtral 8x7B和GPT-3.5相当，更大的版本在扩展数据集下肯定表现更佳。

Phi-3 技术报告：《一个能跑在手机上的大模型》https://arxiv.org/abs/2404.14219

小结

经过基准测试，Llama 3 8B和Phi3 3.8B小模型均表现出色。尽管它们的规模较小，但它们所采用的优化方法却具有一定的相似性。

对于大型模型的性能表现，关键因素在于框架、数据和参数。鉴于参数规模较小，因此在如此小的参数下使用MOE框架并无实际意义。因此，这些模型主要在数据上投入大量精力，通过提高数据的数量或质量来优化小模型的性能。这为未来精简大型模型提供了重要的方向。

二、电脑部署的流程

首先介绍下，大模型部署利器Ollama，支持Llama 3、Mistral、Gemma等大型语言模型。

部署大模型只需两步：下载并安装Ollama，然后运行大模型。以Windows为例，从官网或文末下载Ollama，一键安装即可。

官网下载链接 https://github.com/ollama/ollama

安装完Ollama后，然后打开命令行，运行命令【ollama run llama3】 ，就可以下载并运行llama3大模型了（其他模型的运行命令如上），初次下载模型的会比较慢，下载完就可以愉快地对话了。

Ollama还支持其他功能如，图片等多模态输入、传入提示词调教模型等，具体可以看下文档。

三、手机部署的流程

与电脑相比，手机部署大模型意义更大，因为手机与生活更紧密，且手机上有大量个人数据，便于后续交互。现在很多人都有闲置手机，如果性能足够，运行大模型很有吸引力。我的旧手机是小米8，性能还可以。

手机上部署麻烦一些，类似于电脑部署，需要安装配置Linux环境。虽然安卓底层基于Linux内核，但重装Linux很难。不过，我发现了一个神器：Termux，可以在Android设备上运行许多Linux命令和工具。你可以从F-Droid官网下载安装Termux。

官网下载链接：https://github.com/termux/termux-app/releases

安装后打开Termux如下图。（如有要打开多个Linux窗口，左上角右滑点击New session就可以。）

要在手机上部署大模型，使用Termux+Ollama就成了。

首先，通过Termux的proot-distro功能，可以方便地安装一个Linux系统，如Ubuntu、Debian或Arch Linux。这样，在Android设备上就能拥有完整的Linux环境，以安装和运行Linux软件包。

第二步，同电脑的流程，安装Ollama，下载及运行大模型。

第一次要下载安装软件及大模型会比较慢，弄个一小时是要的。安装完了，后面都可以直接使用。只要运行login debian系统、Ollama服务、运行大模型后就可以使用了。

在手机上编写代码有种独特的魅力。虽然简陋，但一行行输入代码，看着屏幕上的输出，感觉非常酷。安装远程软件如Tailscale或todesk，用电脑编写代码更有趣。但需要注意，如果算力受限，大模型回复较慢，同时手机也会更耗电。

四、本地大模型的体验

**模型表现：**大模型表现权威的数据可以看一些相关的测评，比如下图。

在此，我对手机本地部署的两个大型模型（llama3和Phi3）进行了简要的测试，并分享了我的个人体验。总体而言，llama3在各项表现中展现出更为稳定的特性，而Phi虽然有时会出现差错，但其响应速度却更胜一筹，使我在综合体验上觉得Phi更为出色。

响应速度，受限于手机或电脑的性能，如果电脑配备了GPU，响应可能会更为流畅。然而，在手机上的回复确实显得有些迟缓，有时甚至需要等待几分钟才能得到几个字的回应。值得注意的是，Phi3的回应速度明显快于llama3。尽管llama3的8B模型规模几乎是Phi3的3.8B模型规模的两倍。

**中文能力方面，**这些开源模型确实存在一定的短板。**当提问一些不常见的问题时，模型在回答过程中可能会突然转向英文。**此外，很多中文表达模糊不清，导致它们讲述的笑话内容也显得尴尬。**这主要是因为高质量的中文数据集远远无法与英文数据集相提并论，这一数据层面的差异在未来很可能会进一步凸显。**在中文任务方面，我觉得llama的表现会比Phi3更为出色。如果你有兴趣，还可以尝试llama的中文变种——llama3-Chinese。

llama3

phi3

代码能力：看着都有模有样的，但还是可以看出来Phi3有一些语法错误。

llama3

phi3

数学推理：看着都还不错，Phi3感觉更好些。

llama3

phi3

安全性：都有不错的合规意识

llama3

phi3

五、结语

尽管当前AI的落地应用尚显稀疏，但技术的成长毕竟需要时间，大型模型的高昂推理成本无疑是其普及的桎梏。

然而，**正是小模型如Llama 3和Phi3的崭露头角，让我们看到了大模型实用化的曙光。**虽然小模型的训练成本较高，但其低廉的推理成本却为整体经济带来显著的节省，特别是在为海量用户提供服务时，高性能的小模型更让AI挣脱了成本的束缚，灵活应用于各种场景。想象一下，能够根据自身需求在本地部署定制化的AI，其魅力不言而喻！

展望未来，相信随着模型优化和定制AI芯片等技术带来的算力提升，更多“小而美”的AI大模型将逐渐融入我们的日常生活，让我们感受AI带来的变革！

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。