大模型日报 2024-07-12

大模型日报

2024-07-12

大模型资讯

  • OpenAI 机密五级 AGI 路线图曝光!GPT-4 仍处 L1,内部 AI 接近博士水平 18 个月诞生

    • OpenAI 的机密五级 AGI 路线图曝光,GPT-4 目前处于 L1 即将进入 L2,预计 27 年实现五级 AGI。路线图划分聊天机器人(L1)、推理者(L2)、智能体(L3)、创新者(L4)和组织者(L5)五个等级。目标是在特定任务上实现博士级智能,一年或一年半内达成。这与 DeepMind 提出的六级 AI 框架有相似处。AGI 是在最具经济价值任务中超越人类的高度自治系统,OpenAI 与洛斯阿拉莫斯国家实验室合作测试 GPT-4o 功能并建立安全规范,AGI 到来时间众说纷纭,Sam Altman 等人预计十年内实现。
  • 英伟达又赚到了!FlashAttention3 来了:H100 利用率飙升至 75%

    • 介绍名为 FlashAttention-3 的快速、内存高效注意力算法,可加速注意力计算并减少内存占用。采用三种主要技术加速 Hopper GPU 注意力,在 FP16 上速度提高 1.5 - 2 倍,H100 上高达 740 TFLOPS(75%实用性),FP8 接近 1.2 PFLOPS。改进带来更高效 GPU 利用率、较低精度下更好性能及能在 LLM 中使用更长上下文。
  • 五年后的今天,训练 GPT-2 只需不到 700 刀、24 小时,Karpathy 又整新活

    • 介绍 Andrej Karpathy 在项目“llm.c”中训练 GPT-2 的最新进展。相比 5 年前,训练大型语言模型成本大幅下降,现只需不到 700 美元和 24 小时。Karpathy 分享训练心得,提到项目目标和未来方向,还提供使用 llm.c 训练 GPT-2 的详细说明和 GitHub 地址。

大模型论文

本文由 mdnice 多平台发布

相关推荐

  1. 模型日报 2024-07-12

    2024-07-14 15:34:06       24 阅读
  2. 模型日报 2024-07-13

    2024-07-14 15:34:06       20 阅读
  3. 模型日报 2024-07-15

    2024-07-14 15:34:06       19 阅读
  4. 模型日报 2024-07-17

    2024-07-14 15:34:06       25 阅读
  5. 模型日报 2024-07-18

    2024-07-14 15:34:06       18 阅读
  6. 模型日报 2024-07-19

    2024-07-14 15:34:06       19 阅读
  7. 模型日报2024-04-12

    2024-07-14 15:34:06       44 阅读
  8. 模型日报2024-06-12

    2024-07-14 15:34:06       30 阅读
  9. 模型日报2024-04-13

    2024-07-14 15:34:06       48 阅读
  10. 模型日报2024-04-14

    2024-07-14 15:34:06       37 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-14 15:34:06       67 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-14 15:34:06       71 阅读
  3. 在Django里面运行非项目文件

    2024-07-14 15:34:06       58 阅读
  4. Python语言-面向对象

    2024-07-14 15:34:06       69 阅读

热门阅读

  1. 代码随想录刷题day10

    2024-07-14 15:34:06       23 阅读
  2. Rust编程-I/O

    2024-07-14 15:34:06       17 阅读
  3. Lua协程(同步的多线程)

    2024-07-14 15:34:06       18 阅读
  4. 如何利用Gunicorn的日志记录监控Web应用

    2024-07-14 15:34:06       18 阅读
  5. AMD CPU加 vega 显卡运行ollama本地大模型

    2024-07-14 15:34:06       22 阅读
  6. 面试经验总结

    2024-07-14 15:34:06       25 阅读
  7. 14. DDL-约束的管理

    2024-07-14 15:34:06       19 阅读