通义千问发布 Qwen1.5-110B 首款超 1000 亿参数模型

近日,通义千问发布了 Qwen1.5-110B 模型,这是 Qwen1.5 系列中的新成员,也是该系列中首个参数超过 1000 亿的模型。

该模型在基础模型评估中表现出色,可与 Meta-Llama3-70B 相媲美。在聊天模型评估(包括 MT-Bench 和 AlpacaEval 2.0)中也展现出了优异的性能。

42ad2755ecbf7a4981e214ba209065aa.jpeg

Qwen1.5-110B 模型支持多语言,包括英语、中文、法语、西班牙语等,其上下文长度可达 32K 令牌。

该模型具有以下特性:

  • 架构
  • :采用 Transformer 解码器架构,具有分组查询注意力(GQA)。
  • 性能
  • :在标准评估和聊天模型评估中均表现卓越。
  • 多语言支持
  • :支持多种语言,上下文长度可达 32K 令牌。 根据官方公布的评测结果,Qwen1.5-110B 模型的评测结果略略超过 Llama-3-70B 和 Mixtral-8×22B。在综合理解(MMLU)、数学推理(GSM8K 和 MATH)方面,Qwen1.5-110B 模型的得分比 Llama-3-70B 略高一点点,是几个模型中最强的。而在复杂推理任务 ARC-C 上则略低于 Mixtral-8×22B 模型。在编程测试 HumanEval 得分上,Qwen1.5-110B 模型远超另几个模型,但在 MBPP 编程测试上则低于 Mixtral-8×22B 模型。

edc23b6108f92b26345a76ab1c980d24.jpeg

可以看出,Qwen1.5-110B 模型在性能和多语言支持方面都具有显著优势,为人工智能领域的发展带来了新的突破。这也让我们对未来的人工智能应用充满期待。

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-05-09 05:14:05       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-05-09 05:14:05       106 阅读
  3. 在Django里面运行非项目文件

    2024-05-09 05:14:05       87 阅读
  4. Python语言-面向对象

    2024-05-09 05:14:05       96 阅读

热门阅读

  1. 代码随想录算法训练营第四十六天

    2024-05-09 05:14:05       37 阅读
  2. matlab中interp2函数应用

    2024-05-09 05:14:05       33 阅读
  3. WinDbg 常用的SOS命令

    2024-05-09 05:14:05       39 阅读
  4. QTDay3

    QTDay3

    2024-05-09 05:14:05      31 阅读
  5. LeetCode 每日一题 2024/4/29-2024/5/5

    2024-05-09 05:14:05       34 阅读
  6. 嘉楠堪智 CanMV K230 进行 C 语言程序开发

    2024-05-09 05:14:05       33 阅读
  7. 树莓派的几种登录方式、及登录失败解决方式

    2024-05-09 05:14:05       34 阅读
  8. C++笔试训练

    2024-05-09 05:14:05       28 阅读
  9. 18.Docker学习

    2024-05-09 05:14:05       29 阅读
  10. 01-new SpringApplication

    2024-05-09 05:14:05       30 阅读