美国当地时间4月18日，Meta 开源了 Llama3 大模型，目前开源版本为 8B 和 70B 。Llama 3 模型相比 Llama 2 具有重大飞跃，并在 8B 和 70B 参数尺度上建立了 LLM 模型的新技术。由于预训练和后训练的改进，Llama3 模型是目前在 8B 和 70B 参数尺度上存在的最好的模型。训练后程序的改进大大降低了错误拒绝率，改善了一致性，增加了模型响应的多样性。我们还看到了推理、代码生成和指令跟踪等功能的极大改进，使 Llama 3 更具可操控性。
简介：
Llama3 是 Meta AI 公司开发的一个基于 transformer 架构的大型语言模型，可以生成人类般的文本，回答问题，甚至进行创作，具有强大的语言理解和生成能力。
特点
- 大规模参数：Llama3 拥有超过 650 亿个参数，使其能够学习和存储大量的语言知识。
- 多任务学习：Llama3 可以同时学习多种语言任务，如文本生成、问答、文本分类等。
- 强大的生成能力：Llama3 可以生成长文本、诗歌、故事等多种形式的文本，具有很强的创作能力。
- 多语言支持：Llama3 支持多种语言，包括英语、西班牙语、法语、德语、意大利语等。
应用场景
- 文本生成：Llama3 可以用于自动生成文本，例如生成文章、新闻、产品描述等。
- 问答系统：Llama3 可以用于构建问答系统，回答用户的问题。
- 语言翻译：Llama3 可以用于语言翻译，例如将英语翻译成其他语言。
- 创作工具：Llama3 可以用于创作工具，例如生成诗歌、故事等。
优点
- 高准确率：Llama3 具有很高的准确率，可以生成高质量的文本。
- 强大的生成能力：Llama3 可以生成多种形式的文本，具有很强的创作能力。
- 多语言支持：Llama3 支持多种语言，能够满足不同语言用户的需求。
缺点
- 计算资源需求高：Llama3 需要强大的计算资源，否则可能无法运行。
- 需要大量数据：Llama3 需要大量的训练数据，否则可能无法达到理想的效果。
在线试用：
不愧为 AI 浪潮里卖铲子的，NVIDIA 具有其他公司无可比拟的 AI 算力，在线上，给出了 llama3-70b 试用：
也可以通过代码来调用：
from openai import OpenAI
client = OpenAI(
base_url = "https://integrate.api.nvidia.com/v1",
api_key = "$API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC"
)
completion = client.chat.completions.create(
model="meta/llama3-70b-instruct",
messages=[{"role":"user","content":"介绍一下llama3，用中文"}],
temperature=0.5,
top_p=1,
max_tokens=1024,
stream=True
)
for chunk in completion:
if chunk.choices[0].delta.content is not None:
print(chunk.choices[0].delta.content, end="")
本地部署：
下载安装Ollama
Ollama是专门为本地化运行大模型设计的软件，可以运行大多数开源大模型，如llama,gemma，qwen等，首先去官网下载Ollama软件：https://ollama.com/ ，最简单的方式是使用Docker 来跑, 此次运行是包括web端的一起运行，所以使用docker-compose打包一起运行以下容器：
ollama/ollama:latest
open-webui:latest
下载模型
在Ollama官方的Models栏目中，找到我们要的模型, 直接访问这个链接：https://ollama.com/library/llama3。
在cmd命令行中运行命令：ollama pull llama3:8b，下载模型。
本地使用
总的来说，Llama3 是一个功能强大且灵活的语言模型，可以应用于多种语言任务和场景。
老徐，2024/4/29
