045、seq2seq

之——序列生成

杂谈

        基于RNN实现,通过RNN生成器不断获取输入,更新隐藏状态,将最后生成的隐藏状态传递给解码器,然后自循环迭代直到输出停止。


正文

1.训练

        训练时候解码器使用目标句子不断作为输入,就算解码错了输入还是目标句子。


2.推理


3.衡量生成序列的好坏

        n-gram是指输出序列的长度为n的词,比如输出ABCD,那么1-gram就是A、B、C、D,2-gram就是AB、BC、CD;

        Pn是预测中n-gram相对标签的精度,例如标签ABCDEF,预测ABBCD,那么P1=所有预测中1-gram和标签match的精度,B只match到一个,所以P1=4/5,以此类推P2=3/4(AB/BC/CD)……

        那么最终的BLEU定义:

        我们希望BLEU尽可能等于1,当预测比label断exp负数将很小,当n越大,Pn<1则1/2n越大。


相关推荐

  1. 【NLP练习】seq2seq

    2024-04-27 23:34:02       34 阅读
  2. NLP中的Seq2Seq与attention注意力机制

    2024-04-27 23:34:02       56 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-27 23:34:02       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-27 23:34:02       106 阅读
  3. 在Django里面运行非项目文件

    2024-04-27 23:34:02       87 阅读
  4. Python语言-面向对象

    2024-04-27 23:34:02       96 阅读

热门阅读

  1. 机器人系统能用MQTT5.0代替ROS2吗?

    2024-04-27 23:34:02       29 阅读
  2. LeetCode 1146. 快照数组【哈希表+二分查找】中等

    2024-04-27 23:34:02       38 阅读
  3. 大文件分片上传前端手写

    2024-04-27 23:34:02       32 阅读
  4. 机器视觉检测技术是什么?突出的亮点有哪些?

    2024-04-27 23:34:02       32 阅读
  5. web页面点击右键显示按钮

    2024-04-27 23:34:02       32 阅读
  6. 目前还能使用的免费证书

    2024-04-27 23:34:02       28 阅读
  7. SIC知识(8)--碳化硅的制备难点

    2024-04-27 23:34:02       28 阅读
  8. 诡异的linux系统负载问题

    2024-04-27 23:34:02       34 阅读
  9. Swift手撸轮播效果

    2024-04-27 23:34:02       28 阅读
  10. 001 rabbitmq减库存demo direct

    2024-04-27 23:34:02       31 阅读