发门网
机器学习：Non AutoregressiveSequence Generation
创始人
2024-06-01 12:29:35
0次

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
RNN，Transformer按照顺序输出
在这里插入图片描述
并行一下子输出会更快
在这里插入图片描述
左右方向的火车聚合起来后导致模糊，双头火车。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Vanilla NAT

在这里插入图片描述
每个字符对应一个数字，一个字符对应的重复次数。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
让数据集变得更干净，学习得更好。
在这里插入图片描述
随机生成句子，再用分类器打分看哪个句子好。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

NAT with Iterative Refinement

在这里插入图片描述
在这里插入图片描述

Mask Predict

在这里插入图片描述
每次mask一些不太合适的字，再送进去预测，不断的重复。
在这里插入图片描述
随着步数增加，每次mask的字数也在变少。
在这里插入图片描述
在这里插入图片描述

Insertion Transformer

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
训练数据这样生成。
在这里插入图片描述
在这里插入图片描述
让model倾向于生出中间的字，生出来的树也更balance binary tree
给字位置加权重。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

KERMIT

在这里插入图片描述
将encoder和decoder合在一起了。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

levenshtein Transformer

在这里插入图片描述
在这里插入图片描述
先生成很长句，然后删除错误字，再进行插入合适的字
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Base CTC

在这里插入图片描述
原本的CTC错字不能被修正
在这里插入图片描述
对其进行改良
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

apply ctc on text generation

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Knowledge Distillation in NAT

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：有关3dmax对齐技巧的那些事

下一篇：使用 HTML5 轻松验证表单插件

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播，要解决的几个问题是：1&...
Windows10添加群晖磁盘... 在使用群晖NAS时，我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章，在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
【PdgCntEditor】解... 一、问题背景 大部分的图书对应的PDF，目录中的页码并非PDF中直接索引的页码...
修复 爱普生 EPSON L4... L4151 L4153 L4156 L4158 L4163 L4165 L4166 L4168 L4...
Fluent中创建监测点 1 概述某些仿真问题，需要创建监测点，用于获取空间定点的数据࿰...
educoder数据结构与算法...                                                   ...
MySQL下载和安装（Wind... 前言：刚换了一台电脑，里面所有东西都需要重新配置，习惯了所...
MFC文件操作  MFC提供了一个文件操作的基类CFile，这个类提供了一个没有缓存的二进制格式的磁盘...