【跟马少平老师学AI】-【神经网络是怎么实现的】（七-1）词向量

一句话归纳：

1）神经网络不仅可以处理图像，还可以处理文本。

2）神经网络处理文本，先要解决文本的表示（图像的表示用像素RGB）。

3）独热编码词向量：

• 词表：{我，在，清华大学，读书，生活，美丽的，清华园，中}
• 词向量：

清华大学=[0,0,1,0,0,0,0,0]

清华园=[0,0,0,0,0,0,1,0]

美丽的=[0,0,0,0,0,1,0,0]

• 特点：向量太长，每两个向量之间的距离都是一样的。

4）稠密向量：

猪向量=[1.0,0.1,1.0]

羊向量=[1.0,0.2,1.0]

熊猫=[1.0,0.3,0]

白菜=[0,1.0,1.0]

竹子=[0,1.0,0.1]

可计算向量间的距离。

5）神经网络语言模型：

• 给定一句话的前n-1个词，预测第n个词是什么词的概率。
• 用神经网络实现的，为神经网络语言模型。

6）最大似然估计，通过让联合概率最大化估计概率的方法。

7）神经网络语言模型的似然函数：

8）对似然函数进行对数转换，取相反数，求最小值。

可以用梯度下降法了。

9）用BP算法训练的不仅是神经网络语言模型的参数，也包含词向量。

10）稠密词向量可以计算两个向量的距离，有语义意义。