深度学习概念

AIGC数据生产:

AIGC在生成小图片时效果更佳(因为小图信息量更少,相同算力下效果更好);所以适合构造一些交通场景。比如护栏损坏:只mask原图的部分区域(图中白色区域),即可引导模型在mask处生成损坏的护栏。

基于此方法,可以大量生成交通稀缺样本用于模型训练。


数据挖掘:

多模型开集检索:多模态在此处指模型同时具备处理图像和文本的能力,开集是可以输入任意文本。

利用大模型对项目上采集的大量数据进行预处理生成特征底库。利用文本特征(比如用"塑料袋"文本生成的特征)在底库中进行搜索,对搜索结果进行topK排序,即可从大量数据中获取到包含塑料袋的图片。

基于此方法,可以基于大量真实数据 搜索到稀缺样本 用于 模型训练。


数据标注:

主动学习指:使用训练好的模型对Raw data(比如项目上收集的大量数据)做检测,人工校验后形成训练集;

使用大模型模拟主动学习的过程:

        1. 大模型对Raw data做检测,初步形成训练集(内部可能有错误标注)

        2. 使用置信学习,对1中的训练集进行进一步处理形成最终训练集(错误标注大大降低)

关于置信学习,参考
https://zhuanlan.zhihu.com/p/394985481
https://github.com/cleanlab/cleanlab

此方法,几乎不需要人工参与,达到了半监督学习的效果,可大量自动化生成训练数据


模型训练:


蒸馏:利用交通大模型(推理成本高、速度慢) 生成小模型(推理成本低、速度快) ;类似老师(大模型)教学生(小模型)

混合位置蒸馏:小模型的学习目标不只是logits特征,还包括了 卷积特征;理论上蒸馏效果更好

混合架构蒸馏:大模型和小模型的结构不同,比如用transformer架构训练的大模型,蒸馏到纯CNN架构的小模型, 或蒸馏到同时包含transformer、CNN架构的小模型;

预训练蒸馏:指使用已经训练好的模型 蒸馏小模型

训练时蒸馏:相对预训练蒸馏而言,训练时蒸馏指同时训练大模型和小模型,可以让小模型学习到大模型的动态能力

相关推荐

  1. 深度学习概念

    2024-04-23 01:12:01       13 阅读
  2. [深度学习] 常见名称概念

    2024-04-23 01:12:01       19 阅读
  3. 深度学习相关概念梳理

    2024-04-23 01:12:01       12 阅读
  4. 深度学习关键概念理解

    2024-04-23 01:12:01       12 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-04-23 01:12:01       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-23 01:12:01       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-23 01:12:01       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-23 01:12:01       18 阅读

热门阅读

  1. AJAX请求(axios篇)

    2024-04-23 01:12:01       14 阅读
  2. UDF小白入门

    2024-04-23 01:12:01       14 阅读
  3. git工具的安装及使用

    2024-04-23 01:12:01       12 阅读
  4. backtracking Leetcode 回溯算法题

    2024-04-23 01:12:01       11 阅读
  5. Linux文本处理三剑客:awk、grep和sed

    2024-04-23 01:12:01       13 阅读
  6. js高级 笔记03

    2024-04-23 01:12:01       11 阅读
  7. FastJson的使用

    2024-04-23 01:12:01       13 阅读