从零开始一步一步掌握大语言模型---(3-词表示-word representation)

词表示和语言模型

词表示是指把自然语言里面最基本的单位,也就是词,将其转换为机器所能理解的过程。

词表示的目的:

1. 计算词之间的相似度;

2. 推理词之间的关系。

1.最早是如何表示一个词呢?

        设目标词是X,则用X的近义词、反义词等放在一起表示。或者用X的上位词来表示,如NLP隶属于information sciences,sciences等等。但这种表示方法在于,词之间的细微差别难以准确识别。也受限于主观性,数据稀疏性,以及需要大量的人工标注

2.One-hot representation(独热编码)

把每一个词表示成一个独立的符号。每一个词,都会在和词表一样长的向量里面,只有一维对应于该词。该维度上为1,其余维度全为0来表示该词。这种方式对于计算文档之间的相似度时候十分有效,但是对于表示词的时候存在很大问题。因为这种方式会假设词和词向量之间是正交的(不相关的),从而导致任意两个词之间进行计算相似度都为0.

3.使用词的上下文去表示词

这种方式,还是先有一个词表,然后每个词,都用它和它的上下文出现的次数来表示。例如以star举例,它和shining,bright,trees等在文档中一起出现的次数分别是38,45,2,那么就用【,,,38,,,45,2,。。。】这个向量来表示这个词,其余词依此类推。这个向量的长度就是词表的长度,“,”表示star和其余词一起出现的次数,没写上罢了。是这种方式存在的问题是,当所用的词表越来越大时,所用的存储空间也会很大,就是每个词的向量长度都太长了。同时对于某些出现的比较不频繁的词,文档中和这个词一起出现的词就比较少,导致用这种方式所表示的向量比较稀疏,稀疏现象会导致对这个词的表示效果没那么好。

4.词嵌入表示(Word embedding)

是一种分布式的表示(Distribution representation)。这种方式的思想是通过建立一个低维的稠密的向量空间,将每个词尝试学习到这个空间中,用这个空间中某个位置来表示这个词。这种是可以利用大量的文档自动的学习到的。

语言模型

什么是语言模型,语言模型的任务是根据前面出现的单词,预测出下一个单词。

形式化定义如下:

p( Wn |  w1,w2,w3,...,wn-1)

语言模型主要要完成两方面工作:

1.计算一个序列的词成为一句话的概率。也就是计算一个序列的词的联合概率。就是查看已有的一句话或者一个序列的词成为符合语法的概率。

2.计算下一个词是什么。

如何去完成这两项工作?

过去人们假设,一个未来的词(还没出现的词)只会受到它前面的词的影响

引出了一个重要的内容,N-gram Model.

设是4-gram model,那么它就是要根据前面出现的3个词,去预测下一个哪个词出现的概率最大。应该是去词表里面找,一个个试,然后找出频度最大的那个。其实就是去大规模文档中,找这些词出现的频度,然后用频度去预测。

Neural Language Model

这是既N-gram model之后,利用深度学习的一项技术,是利用神经网络去学习词的分布式表示

如何做的呢?首先将每个词表示成一个低维向量,然后将设定的上下文长度的,例如是3,那就将这3个词的向量拼接在一起,就是首尾相接,形成一个更长的向量,然后给这个长向量做一个非线性变化,来预测下一个词出现的概率。

最近更新

  1. TCP协议是安全的吗?

    2024-03-25 09:12:01       19 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-25 09:12:01       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-25 09:12:01       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-25 09:12:01       20 阅读

热门阅读

  1. Windows + RTX4090驱动,CUDA安装

    2024-03-25 09:12:01       29 阅读
  2. 深入理解DBC文件:汽车行业的数据通信蓝图

    2024-03-25 09:12:01       18 阅读
  3. Simulink学习教程分享

    2024-03-25 09:12:01       16 阅读
  4. 滴滴基于 Clickhouse 构建新一代日志存储系统

    2024-03-25 09:12:01       21 阅读
  5. 精读《如何做好 CodeReview》

    2024-03-25 09:12:01       19 阅读
  6. 复习Day2_

    2024-03-25 09:12:01       18 阅读
  7. TCP重传机制详解——03DSACK

    2024-03-25 09:12:01       17 阅读
  8. 【boost_search搜索引擎】2.正排索引和倒排索引

    2024-03-25 09:12:01       16 阅读
  9. P1873 [COCI 2011/2012 #5] EKO / 砍树

    2024-03-25 09:12:01       17 阅读
  10. AI大模型的训练与优化

    2024-03-25 09:12:01       17 阅读
  11. 第三十二章 配置服务器访问

    2024-03-25 09:12:01       19 阅读