学习笔记之 机器学习之预测雾霾

  • 开发
  • 49

文章目录

Encoder-Decoder

  • 基础的Encoder-Decoder是存在很多弊端的，最大的问题就是信息丢失。Encoder将输入编码为固定大小的向量的过程实际上是一个“信息有损的压缩过程”，如果信息量越大，那么这个转化向量的过程对信息的损失就越大，同时，随着序列长度（sequence length）的增加，意味着时间维度上的序列很长，
  • 由于基础的Encoder-Decoder模型链接Encoder和Decoder的组件仅仅是一个固定大小的状态向量，这就使得Decoder无法直接无关注输入信息的更多细节。
  • 为了解决这些缺陷，随后又引入了Attention机制以及Bi-directional encoder layer等。Attention模型的特点是Encoder不再将整个输入序列编码为固定长度的中间向量，而是编码成一个【向量序列】。这样，在产生每一个输出的时候，都能够做到充分利用输入序列携带的信息。而且这种方法在翻译任务中取得了非常不错的成果。

在这里插入图片描述

Seq2Seq (序列到序列）

  • 输入序列和输出序列的长度是可变的。
  • Seq2Seq可以看作是Encoder-Decoder针对某一类任务的模型框架
阅读全部

相关推荐

  4. 机器学习之常用的回归预测模型

    2024-01-23 10:38:02       34 阅读

  5. 机器学习之正态分布

    2024-01-23 10:38:02       42 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-23 10:38:02       94 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-23 10:38:02       100 阅读

  9. 在Django里面运行非项目文件

    2024-01-23 10:38:02       82 阅读

  19. Python语言-面向对象

    2024-01-23 10:38:02       91 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-01-23 10:38:02       85 阅读

热门阅读

  3. 【Delphi 基础知识 24】Format函数的用法

    2024-01-23 10:38:02       49 阅读

  5. Linux稀碎知识点 -- 挂载点和分区

    2024-01-23 10:38:02       57 阅读

  7. C Primer Plus（第六版）13.11 编程练习 第1题

    2024-01-23 10:38:02       52 阅读

  8. 20240122周报—redis收官，网络开搞

    2024-01-23 10:38:02       60 阅读

  10. 编程笔记 html5&css&js 052 CSS伪类

    2024-01-23 10:38:02       55 阅读

  11. NLP自然语言处理原理应用讲解

    2024-01-23 10:38:02       59 阅读

  12. 自然语言处理的发展

    2024-01-23 10:38:02       58 阅读

  15. krpano制作无水印360°场景方法

    2024-01-23 10:38:02       53 阅读

  18. P1697 [USACO18JAN] Lifeguards B 题解

    2024-01-23 10:38:02       47 阅读

  20. 面试题（三）mybatis

    2024-01-23 10:38:02       52 阅读

  22. #Uniapp: onReachBottom页面触底的事件回调

    2024-01-23 10:38:02       58 阅读

  24. ERC20 解读

    2024-01-23 10:38:02       59 阅读

  25. #Uniapp:uni.request(OBJECT)

    2024-01-23 10:38:02       59 阅读

  26. C#6-10新增的内容

    2024-01-23 10:38:02       65 阅读