Stable LM Zephyr 3B:手机上的强大LLM助手

概览

最近,Stability.ai宣布开源了Stable LM Zephyr 3B,这是一个30亿参数的大语言模型(LLM),专为手机、笔记本等移动设备设计。其突出的特点是参数较小、性能强大且算力消耗低,能够自动生成文本、总结摘要等,与70亿、130亿参数的模型相媲美。

  • Huggingface模型下载: https://huggingface.co/stabilityai/stablelm-zephyr-3b

  • AI快站模型免费加速下载: https://aifasthub.com/models/stabilityai/stablelm-zephyr-3b

核心架构

Zephyr 3B的核心架构来源于Zephyr 7B,后者是基于Mistral AI的Mistral-7B模型微调而成。Zephyr 3B在训练数据集和人工智能反馈方面利用了GPT系列模型,从而拥有强大的ChatGPT基因。

监督学习优化

通过OpenAI的GPT-3.5模型生成的大规模对话数据集“UltraChat”,Zephyr 3B经历了严格的监督学习优化。这个过程通过自动生成的高质量数据,最大限度地降低了“交叉熵”误差,优化了模型的训练效率。

人工智能反馈

研究团队使用第二个数据集“UltraFeedback”,对不同主题下的大语言模型回复进行打分评价。这一过程涉及到GPT-4模型的深度参与,进一步提升了Zephyr 3B的文本生成和理解精准度。

直觉优化指导学习

使用“UltraFeedback”收集的样本和GPT-4的质量评价,Zephyr 3B采用直觉优化指导学习(dDPO)方法。这种方法通过反向传播优化模型参数,高效地微调模型结构。

测试与性能

Stability.ai指出,Zephyr 3B在MT Bench、AlpacaEval等平台上展示了出色的性能,尤其擅长创意、个性化文本生成。其性能与Falcon-4b-Instruct、WizardLM-13B-v1、Llama-2-70b-chat和Claude-V1等大参数模型相当。

结论

Stable LM Zephyr 3B的发布,标志着高效、低成本的大型语言模型在边缘设备上的实际应用成为可能。它不仅在文本生成领域展现了巨大潜力,同时也为移动设备上的AIGC应用开辟了新的道路。

模型下载

Huggingface模型下载

https://huggingface.co/stabilityai/stablelm-zephyr-3b

AI快站模型免费加速下载

https://aifasthub.com/models/stabilityai/stablelm-zephyr-3b

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-17 19:58:03       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-17 19:58:03       106 阅读
  3. 在Django里面运行非项目文件

    2023-12-17 19:58:03       87 阅读
  4. Python语言-面向对象

    2023-12-17 19:58:03       96 阅读

热门阅读

  1. Spring Boot 自动装配的原理

    2023-12-17 19:58:03       57 阅读
  2. Angular13无法在浏览器debug

    2023-12-17 19:58:03       53 阅读
  3. UI卡顿问题

    2023-12-17 19:58:03       60 阅读
  4. centos7安装和卸载MySQL8.0

    2023-12-17 19:58:03       59 阅读
  5. linux ioctl

    2023-12-17 19:58:03       41 阅读
  6. Logcat日志记录的使用

    2023-12-17 19:58:03       57 阅读
  7. 数据结构之链表篇 单链表 循环链表 双向链表

    2023-12-17 19:58:03       68 阅读
  8. ISCTF(a)

    ISCTF(a)

    2023-12-17 19:58:03      53 阅读
  9. setState 函数的接收的参数

    2023-12-17 19:58:03       56 阅读
  10. 【Vue原理解析】之模版编译

    2023-12-17 19:58:03       62 阅读
  11. 基于Spring Boot和微信小程序的智能小程序商城

    2023-12-17 19:58:03       72 阅读