【StableDiffusion】Embedding 底层原理,Prompt Embedding,嵌入向量

Embedding 是什么?

Embedding 是将自然语言词汇,映射为 固定长度 的词向量 的技术

在这里插入图片描述

· 说到这里,需要介绍一下 One-Hot 编码 是什么。

· One-Hot 编码 使用了众多 5000 长度的1维矩阵,每个矩阵代表一个词语。

· 这有坏处,它不仅计算量更大,而且,它是 不可移植的,因为每个词汇表中,每个 One-Hot 矩阵对应的 prompt 都不同。

· Embedding 能够将 One-Hot 编码的高维稀疏向量(矩阵) 转化为 低维连续的向量(矩阵),请看下面的例子

在这里插入图片描述

来看看,降维算法能够将这些被 Embedding 转化了的向量在 2维 坐标系上展现成什么样:

很明显,意思越是不相同的词语,他们的向量距离在二维平面上也相距越远

越是意思相近的词语(cat,猫;kitten,小猫),它们的向量在二维平面上的距离越近

在这里插入图片描述

而且,有语义关联的一些词语,它们的向量也是有特殊的数学关系的:

在这里插入图片描述

Embedding 将 text → vector 的具体过程

1.首先对句子进行处理,将句子切成单独的词语

2.被切的词语以 One-Hot 的编码格式存储

在这里插入图片描述

3.让代表你的词语的 One-Hot 编码的矩阵 和 嵌入矩阵(图中的矩阵E) 相乘,得到这句话的嵌入向量。

请注意,“嵌入矩阵”是提前被训练好的,也就是 Embedding 处理器 的本体。

在相乘之后,我们的自然语言句子的向量就从 4x5000的矩阵 → 4x128的矩阵

也就是,从 高维稀疏矩阵 → 低维稠密矩阵

这就是 Embedding 的作用机制!

在这里插入图片描述

相关推荐

  1. docker的底层原理

    2024-06-14 08:04:03       27 阅读
  2. Docker底层原理

    2024-06-14 08:04:03       17 阅读
  3. MySQL底层原理

    2024-06-14 08:04:03       20 阅读
  4. oracle底层原理

    2024-06-14 08:04:03       24 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-06-14 08:04:03       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-14 08:04:03       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-14 08:04:03       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-14 08:04:03       20 阅读

热门阅读

  1. NLP数据集的标注笔记0.1.000

    2024-06-14 08:04:03       7 阅读
  2. DES文件加密解密(增强版)

    2024-06-14 08:04:03       6 阅读
  3. 等保测评练习题11

    2024-06-14 08:04:03       5 阅读
  4. ES的高可用

    2024-06-14 08:04:03       6 阅读
  5. C++240613

    C++240613

    2024-06-14 08:04:03      6 阅读
  6. 通过图片demo生成随机图片

    2024-06-14 08:04:03       4 阅读
  7. HTTP与HTTPS

    2024-06-14 08:04:03       5 阅读
  8. 网络安全练气篇——Web与Http基础

    2024-06-14 08:04:03       7 阅读
  9. Postman接口测试工具:全面解析与应用指南

    2024-06-14 08:04:03       6 阅读
  10. 掌握Mock.js基本使用:快速模拟API实现增删改查

    2024-06-14 08:04:03       7 阅读
  11. IETAB 在线用印失败的问题排查

    2024-06-14 08:04:03       6 阅读
  12. HTML5 新元素

    2024-06-14 08:04:03       9 阅读
  13. 综合数据分析及可视化实战

    2024-06-14 08:04:03       8 阅读