llama2阅读: logits是什么?

Logits是一个在深度学习中,几乎一直都有的概念,它意味着模型unnormalized final scores. 然后你可以通过softmax得到模型针对你class的概率分布。

而在llama2的代码中,同样有logits的使用,那么针对llama2,logits的作用是什么呢?

在llama2中,当模型进行推理后,得到的是一个[1,n,  32000]的输出,然后基于第n个向量[1,32000], 可以进行sample_top_p,或者argmax的处理,来获得下一个token对应的index,只需要利用tokenizer的解码就可以生成token了。通过这种方式,我们可以实现对对于token的缓存和更新。

What does Logits in machine learning mean? - Data Science Stack Exchange

相关推荐

  1. LlaMa 2

    2024-07-10 00:18:02       24 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-10 00:18:02       67 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-10 00:18:02       71 阅读
  3. 在Django里面运行非项目文件

    2024-07-10 00:18:02       58 阅读
  4. Python语言-面向对象

    2024-07-10 00:18:02       69 阅读

热门阅读

  1. 总账清账(不包含客户/供应商清账)

    2024-07-10 00:18:02       17 阅读
  2. Vue3--Watch、Watcheffect、Computed的使用和区别

    2024-07-10 00:18:02       20 阅读
  3. react apollo hooks

    2024-07-10 00:18:02       21 阅读
  4. Python面试题:如何在 Python 中实现单例模式?

    2024-07-10 00:18:02       25 阅读
  5. react动态渲染列表与函数式组件

    2024-07-10 00:18:02       20 阅读
  6. 垃圾回收器详解

    2024-07-10 00:18:02       18 阅读
  7. homebrew常用命令

    2024-07-10 00:18:02       21 阅读
  8. JVM详解

    JVM详解

    2024-07-10 00:18:02      19 阅读
  9. 学习.NET 8 MiniApis入门

    2024-07-10 00:18:02       17 阅读
  10. Windows使用 Gitee+PicGo 搭建Markdown图床

    2024-07-10 00:18:02       21 阅读