多模态基础---BERT

1. BERT简介

BERT用于将一个输入的句子转换为word_embedding,本质上是一个transformer的Encoder。

1.1 BERT的两种训练方法

  1. 预测被遮挡的单词
  2. 预测两个句子是否是相邻的句子
    1和2是同时训练的
    在这里插入图片描述
    在这里插入图片描述

1.1 BERT的四种用法

  1. 预测句子的类别:输入一个句子,输出一个类别
  2. 预测句子中每个单词的类别:输入一个句子,输出每个单词的类别
  3. 预测两个句子是否相邻:输入两个句子,输出判断是否相邻的类别
  4. 预测某个问题在文章中的答案:输入一个问题和一篇文章,输出问题在文章中答案的位置(索引)didj

case1:在这里插入图片描述case2:
在这里插入图片描述case3:
在这里插入图片描述
case4:
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

相关推荐

  1. 】ALBEF

    2024-02-16 07:54:02       66 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-16 07:54:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-16 07:54:02       100 阅读
  3. 在Django里面运行非项目文件

    2024-02-16 07:54:02       82 阅读
  4. Python语言-面向对象

    2024-02-16 07:54:02       91 阅读

热门阅读

  1. GoRules:Go的业务规则引擎

    2024-02-16 07:54:02       61 阅读
  2. Educational Codeforces Round 161 (Rated for Div. 2)(A - E)

    2024-02-16 07:54:02       49 阅读
  3. 学习Spring的第十八天

    2024-02-16 07:54:02       58 阅读
  4. leetcode - 2149. Rearrange Array Elements by Sign

    2024-02-16 07:54:02       49 阅读
  5. mac安装docker-compose

    2024-02-16 07:54:02       60 阅读
  6. C语言-----习题

    2024-02-16 07:54:02       47 阅读
  7. 罗马数字转整数

    2024-02-16 07:54:02       61 阅读
  8. 深度学习代码块之计算模型参数量和显存大小

    2024-02-16 07:54:02       56 阅读
  9. 使用深度学习进行序列分类

    2024-02-16 07:54:02       52 阅读