对比学习概念与如何标注标签

对比学习公式讲述

对比学习倾向于将同一图像的转换视图之间的一致性最大化,而将不同图像的转换视图之间的一致性最小化。令f_\phi(\cdot)是一个输出特征空间R^d的卷积神经网络。一个图像x的两个增广图像补丁通过
f_\phi(\cdot)进行映射,生成一个查询特征q和一个关键特征k。此外,使用其他图像的补丁生成一个包含数千个负特征\{v_n\}^Q_{n=1}的队列。

该队列既可以使用当前批处理中的所有图像在线生成[1],也可以使用最近几个epoch的存储特征离线生成[4]。给定q,对比学习的目标是识别数千个特征\{v_n\}_{n=1}^Q中的k,可以表示为:L(\textbf q,\textbf k,\{v_n\})=-log\frac{e^{sim(\textbf q,\textbf k)/\tau}}{e^{sim(\textbf q,\textbf k)/\tau}+\sum^Q_{j=1}e^{sim(\textbf q,v_j)/\tau}}

式中\tau为温度参数,sim(\cdot,\cdot)相似性度量。在Exemplar[5]中,为了“在弱利用标签信息的同时保留每个正实例的唯一信息”,将\{v_n\}_{n=1}^Q中与属于同一类\textbf q的所有样本都剔除。

什么是对比学习(无监督任务)

对比学习往往解决第一件事:在原始任务如何把特征提取的更好,encoder编码器,我们该如何设计。

有了标签,模型就会安装这个标签(一遍是人给的)为上限进行学习,但如果没有标签了,就相当于不设定上限了(但是有监督任务效果确实往往比无监督好,无简单经常出现不收敛的情况)

如何标注标签

SimCLR Framework

数据增强得越大(me:原始数据被干扰得越厉害),模型,即encoder的泛化能力越强(me:能够面对各种被损坏的数据也能识别出哪种类别)

下面的直方图的y轴指准确率

SimCSE Framework

对比学习的关键就是如何选择正样本

相关推荐

  1. HTML标签介绍

    2024-03-10 20:12:02       60 阅读
  2. HTML概念W3C标准 及其规范

    2024-03-10 20:12:02       56 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-10 20:12:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-10 20:12:02       100 阅读
  3. 在Django里面运行非项目文件

    2024-03-10 20:12:02       82 阅读
  4. Python语言-面向对象

    2024-03-10 20:12:02       91 阅读

热门阅读

  1. SOC设计:关于reset的细节

    2024-03-10 20:12:02       41 阅读
  2. 字符集&字符编码

    2024-03-10 20:12:02       43 阅读
  3. 2024年及未来: AI辅助研发的革新之旅

    2024-03-10 20:12:02       40 阅读
  4. 在Linux/Ubuntu/Debian中测试USB驱动器(U盘)的速度

    2024-03-10 20:12:02       42 阅读
  5. C# Dictionary<string, string> 对key做筛选

    2024-03-10 20:12:02       45 阅读
  6. 【C语言】深入理解指针(扩展)

    2024-03-10 20:12:02       43 阅读
  7. Kafka整理-Consumer Group(消费者群组)

    2024-03-10 20:12:02       45 阅读