The two dominant approaches to neural text generation are fully autoregressive models, using serial beam search decoding, and non-autoregressive models, using parallel decoding with no output dependencies. This work proposes an autoregressive model with sub-linear parallel time generation. Noting that conditional random fields with bounded context can be decoded in parallel, we propose an efficient cascaded decoding approach for generating high-quality output. To parameterize this cascade, we introduce a Markov transformer, a variant of the popular fully autoregressive model that allows us to simultaneously decode with specific autoregressive context cutoffs. This approach requires only a small modification from standard autoregressive training, while showing competitive accuracy/speed tradeoff compared to existing methods on five machine translation datasets.
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Transformers在各种重要任务上推进了自然语言处理（NLP）领域。Transformer体系结构的基石是多头注意力（MHA）机制，它对序列元素之间的成对交互进行建模。尽管取得了巨大的成功，但目前的框架忽略了不同头部之间的相互作用，导致许多头部在实践中是多余的，这极大地浪费了模型的容量。为了提高参数效率，我们重新制定的MHA作为一个潜在的变量模型从概率的角度来看。我们提出了级联头碰撞注意力（CODA），显式模型之间的相互作用，通过层次变分分布的注意头。我们进行了大量的实验，并证明CODA优于Transformer基线，通过在语言建模中的\texttt{Wikitext-103}上的$0.6$困惑，以及在机器翻译中的\texttt{WMT14 EN-DE}上的$0.6$ BLEU，由于它在参数效率上的改进。\footnote{Our implementation is publicly available at \url{https://github.com/LZhengisme/CODA}.}
Jointly Trained Transformers models for Spoken Language Translation
传统的口语翻译（spoken language translation，缩写为AI）系统是基于流水线的系统，其中我们具有自动语音识别（Automatic Speech Recognition，缩写为ASR）系统以将源的模态从语音转换成文本，以及机器翻译（Machine Translation，缩写为MT）系统以将源文本翻译成目标语言的文本。序列-序列架构的最新进展已经减少了基于流水线的并行处理系统（级联ASR-MT）和端到端方法之间的性能差距。虽然端到端和级联ASR-MT系统达到了相当的性能水平，但我们可以使用ASR假设和oracle text w.r.t MT模型看到很大的性能差距。这种性能差距表明，由于噪声ASR假设，而不是甲骨文文本转录的MT系统容易大的性能下降。在这项工作中，通过在ASR和MT系统之间创建端到端的可区分管道来降低性能的这种退化。在这项工作中，我们训练的ASR目标作为辅助损失和两个网络连接通过神经隐藏表示的系统。该训练将具有到最终目标函数的端到端可微分路径，并且利用ASR目标以获得更好的性能。此架构已从BLEU从36.8改进到44.5。由于多任务训练，该模型还生成由预训练的MT模型使用的ASR假设。将所提出的系统与MT模型相结合，BLEU分数增加了1。所有的实验都是在How2语料库上进行的。最终的BLEU分数与How2数据集上的最佳语音翻译系统相当，没有额外的…
An End-to-end Chinese Text Normalization Model based on Rule-guided Flat-Lattice Transformer
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-中大媒体科学技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Databaker (Beijing) Technology Co., Ltd（标贝（北京）科技有限公司）
Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling
Hong Kong University of Science and Technology（香港科学与技术大学）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）；Independent Researcher（独立研究者）
