BERT学习【BERT的例子以及作用】

一、case

1.case1

多输入单输出。通过输入一个句子(sequence),然后输出一个句子的分类(这个句子是正向还是负向)。将句子输入BERT,然后通过softmax输出分类。
在这里插入图片描述

2.case2

多输入多输出。输入一个句子,输出句子中每个单词的词性。每一个词对应一个向量,然后每一个向量分别做一个linear的transformer乘以矩阵,在经过softmax输出类别
在这里插入图片描述

3.case3

多输入单输出。输入两个句子,输出这两个句子是否相关。在这里插入图片描述
输入两个句子以及[SEP]和[CLS]到BERT中,然后在[CLS]对应位置,经过Lineartransformer,最后通过softmax输出分类。

在这里插入图片描述

4.case4

多输入多输出。将问题和文章输入到BERT中,通过RandomInitialized,与输入内容对应的向量做内积,通过softmax输出,选择可能性最大的内容输出。
在这里插入图片描述

二、work作用

1.例子

喝苹果汁的过和评估电脑的过是不一样的。因为将内容输入到BERT中,BERT是一个encoder,带有selfattention,会根据上下文的不同,果对应的向量也不同。
在这里插入图片描述
通过计算果的相似度,上面5句话是代表能吃的果,下面的5句话代表苹果公司,两两之间做相似度,形成一个10x10的矩阵。黄色代表相似度高,蓝色代表相似度低。
在这里插入图片描述

2.BERT根据上下文预测填空

BERT根据w2的上下文即w1、w3、w4,可以预测出w2的内容。
在这里插入图片描述

相关推荐

  1. BERT:深度学习领域中语言理解利器

    2024-03-10 22:36:04       46 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-10 22:36:04       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-10 22:36:04       100 阅读
  3. 在Django里面运行非项目文件

    2024-03-10 22:36:04       82 阅读
  4. Python语言-面向对象

    2024-03-10 22:36:04       91 阅读

热门阅读

  1. https 加密解密过程是什么?

    2024-03-10 22:36:04       39 阅读
  2. for-in,for-of

    2024-03-10 22:36:04       44 阅读
  3. GPT的磁盘管理

    2024-03-10 22:36:04       45 阅读
  4. volatile

    2024-03-10 22:36:04       43 阅读
  5. HTML5- 拖拽功能

    2024-03-10 22:36:04       37 阅读
  6. Flask基于配置文件添加项目config配置

    2024-03-10 22:36:04       39 阅读
  7. 深入了解 Python 的 compile() 函数

    2024-03-10 22:36:04       42 阅读
  8. python中def一个方法,就一定对应一个return吗

    2024-03-10 22:36:04       40 阅读
  9. AI辅助研发

    2024-03-10 22:36:04       45 阅读