Transformer的前世今生 day02(神经网络语言模型

神经网络语言模型

  • 使用神经网络的方法,去完成语言模型的两个问题,下图为两层感知机的神经网络语言模型:
    在这里插入图片描述

以下为预备概念

感知机

  • 线性模型可以用下图来表示:输入经过线性层得到输出
    在这里插入图片描述
  • 线性层 / 全连接层 / 稠密层:假设输入有n个,输出有m个,则w、b、y的个数如下:
    在这里插入图片描述

独热编码

  • 目的是让计算机认识单词
  • 用矩阵的形式,存储所有单词。且在矩阵中,每一个元素都代表一个单词,这就要求矩阵的行列等于单词数,如下图:
    在这里插入图片描述
  • 独热编码有两个缺点:
    • 矩阵的尺寸很容易过大,因为他需要行列等于单词数
    • 相似单词之间的独热编码没有任何关联,通常使用余弦相似度来计算文本之间的相似度,但是现实世界中相似单词之间是有关联的

最近更新

  1. TCP协议是安全的吗?

    2024-03-18 06:58:04       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-18 06:58:04       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-18 06:58:04       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-18 06:58:04       20 阅读

热门阅读

  1. microk8s使用本地库的镜像部署服务

    2024-03-18 06:58:04       20 阅读
  2. Mapper.xml映射文件

    2024-03-18 06:58:04       19 阅读
  3. 蓝桥杯day3刷题日记--P9240 冶炼金属

    2024-03-18 06:58:04       17 阅读
  4. python request pandas excel 接口自动化测试框架

    2024-03-18 06:58:04       18 阅读
  5. 【XML】xml转Freemind思维导图

    2024-03-18 06:58:04       19 阅读
  6. string和stringbuilder

    2024-03-18 06:58:04       18 阅读
  7. Unity转换字符串中文繁简体

    2024-03-18 06:58:04       20 阅读
  8. python图形化编程turtle小乌龟

    2024-03-18 06:58:04       18 阅读