Confidence-Aware Scheduled Sampling for Neural Machine Translation
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）
调度采样是一种有效的方法，以减轻暴露偏差问题的神经机器翻译。它通过在训练过程中随机替换地面实况目标输入标记来模拟推理场景。尽管它取得了成功，但它的关键调度策略仅仅基于训练步骤，忽略了实时模型的能力，这限制了它的潜在性能和收敛速度。为了解决这个问题，我们提出了置信度感知计划抽样。具体来说，我们量化的模型预测的信心，在此基础上，我们设计细粒度的调度策略的实时模型的能力。通过这种方式，模型准确地暴露于高置信度位置的预测令牌和低置信度位置的真实令牌。此外，我们观察到香草计划抽样遭受退化到原来的教师强迫模式，因为大多数预测令牌是相同的地面真理令牌。因此，在上述置信度感知策略下，我们进一步暴露更多噪声令牌（例如，冗长和不正确的词序），而不是高置信度标记位置的预测值。我们在Transformer上评估了我们的方法，并在大规模WMT 2014英语-德语，WMT 2014英语-法语和WMT 2019中文-英语上进行了实验。实验结果表明，该方法在翻译质量和收敛速度上都明显优于Transformer和vanilla预定采样。
2021-07-22 cs.CL
Dynamic Scheduled Sampling with Imitation Loss for Neural Text Generation
Nanyang Technological University（南洋理工大学）
最先进的神经文本生成模型通常经过训练，以最大化以先前目标令牌为条件的地面实况序列中每个令牌的可能性。然而，在推理过程中，模型需要根据自己生成的标记进行预测。这种训练-测试差异被称为暴露偏倚。定时采样是一种课程学习策略，它在训练过程中逐渐将模型暴露于自己的预测中，以减轻这种偏差。大多数提出的方法都基于训练步骤设计调度器，这通常需要根据训练设置进行仔细调整。在这项工作中，我们引入了动态计划采样与模仿损失（DySI），它仅基于训练时间的准确性来保持时间表，同时通过引入模仿损失来增强课程学习，这试图使解码器的行为与教师强制解码器的行为难以区分。DySI普遍适用于所有训练设置，只需进行最小的调整。大量的实验和分析表明，DySI不仅在标准机器翻译基准测试中取得了显著的改进，而且显著提高了其他文本生成模型的鲁棒性。
2023-01-31 cs.CL
Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks
Google Research（谷歌研究院）
循环神经网络可以被训练来在给定一些输入的情况下产生令牌序列，如最近在机器翻译和图像描述中的结果所例示的。目前训练它们的方法包括在给定当前（循环）状态和先前令牌的情况下，最大化序列中每个令牌的可能性。在推理时，未知的先前标记然后被模型本身生成的标记替换。训练和推理之间的这种差异可能会产生错误，这些错误可能会沿着生成的序列快速积累。我们提出了一个课程学习策略，轻轻地改变训练过程，从一个完全指导计划使用真正的以前的令牌，对一个较少的指导计划，主要是使用生成的令牌。在几个序列预测任务上的实验表明，该方法产生了显着的改善。此外，它还成功用于我们2015年MSCOCO图像描述挑战赛的获奖作品。
2015-09-23 cs.CL cs.CV cs.LG
TA&AT: Enhancing Task-Oriented Dialog with Turn-Level Auxiliary Tasks and Action-Tree Based Scheduled Sampling
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对任务型对话中状态标签利用不充分、策略误差累积的问题，提出轮次级多任务编码目标与基于动作树的计划采样方法，在无持续预训练的方法中于MultiWOZ系列数据集上取得SOTA性能。
2024-01-28 cs.AI cs.CL
Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network
JD AI Research（京东人工智能研究院）；Sun Yat-sen University（中山大学）
尽管使用基于BERT的编码器进行视觉语言（VL）预训练以用于VL理解，但用于VL理解和生成的通用编码器-解码器的预训练仍然具有挑战性。困难源于这两个学科固有的不同特点，例如，VL理解任务利用跨模态的不受限制的消息传递，而生成任务仅采用视觉到文本的消息传递。在本文中，我们开始与两个流解耦设计的编码器-解码器结构，其中两个解耦的跨模态编码器和解码器涉及到单独执行每种类型的代理任务，同时VL理解和生成预训练。此外，对于VL预训练，主要方式是用掩码令牌替换一些输入视觉/单词令牌，并强制多模态编码器/解码器重建原始令牌，但在下游任务上进行微调时不涉及掩码令牌。作为替代方案，我们提出了一个主要的预定采样策略，优雅地减轻这种差异，通过预训练编码器-解码器在一个两遍的方式。大量的实验证明了我们的预训练编码器-解码器通过对四个VL理解和生成下游任务进行微调而具有令人信服的普遍性。源代码可从\url{https://github.com/YehLi/TDEN}获得。
2021-01-27 cs.CL cs.CV
A Semantics-Assisted Video Captioning Model Trained with Scheduled Sampling
Tsinghua University（清华大学）；Samsung Research China（三星中国研究院）
给定视频的特征，递归神经网络可以用于自动生成视频的字幕。用于视频描述的现有方法具有至少三个限制。首先，语义信息已被广泛应用于提高视频描述模型的性能，但现有的网络往往无法提供有意义的语义特征。第二，教师强迫算法通常用于优化视频描述模型，但在训练和推理期间，应用不同的策略来指导单词生成，导致性能不佳。第三，当前的视频描述模型倾向于生成不适当地表达视频内容的相对短的字幕。针对这三个问题，我们提出了三个相应的改进措施。首先，我们提出了一个度量来比较语义特征的质量，并利用适当的功能作为输入的语义检测网络（SDN）具有足够的复杂性，以产生有意义的语义特征的视频。然后，我们应用了一个预定的抽样策略，逐渐转移培训阶段从教师指导的方式向更多的自学方式。最后，利用句子长度对普通对数概率损失函数进行杠杆作用，从而缓解了短句生成倾向。我们的模型在YouTube 2 Text数据集上取得了比以前模型更好的结果，并且与MSR-VTT数据集上以前的最佳模型具有竞争力。
2020-07-24 cs.CL cs.CV
Differentiable Sampling with Flexible Reference Word Order for Neural Machine Translation
University of Maryland（马里兰大学）
尽管在纠正机器翻译中的曝光偏差方面取得了一些经验上的成功，但预定采样算法存在一个主要缺点：它们错误地假设参考翻译和采样序列中的单词在每个时间步长都是对齐的。我们新的可微分采样算法通过优化参考可以与采样输出对齐的概率来解决这个问题，基于模型本身预测的软对齐。结果，相对于整个预测序列评估每个时间步的输出分布。实验结果表明，我们的方法提高了BLEU相比，最大似然和预定的采样基线。此外，我们的方法是简单的训练，不需要采样时间表和产量的模型，实现更大的改进与更小的光束尺寸。
2019-05-04 cs.CL stat.ML
IndicTrans2: Towards High-Quality and Accessible Machine Translation Models for all 22 Scheduled Indian Languages
Nilekani Centre at AI4Bharat（AI4Bharat 尼勒卡尼中心）；Indian Institute of Technology Madras（马德拉斯印度理工学院）；Microsoft（微软）；National Institute of Information and Communications Technology（信息通信研究机构）；Flipkart（弗利普卡特）
本文提出IndicTrans2，首个支持印度全部22种法定语言的机器翻译模型，并发布最大平行语料库BPCC和首个覆盖22种语言的基准，以推动高质量、开放可获取的翻译系统。
2023-12-20 cs.CL
Mixed Cross Entropy Loss for Neural Machine Translation
Singapore University of Technology and Design（新加坡科技设计大学）
在神经机器翻译中，交叉熵（CE）是自回归模型的两种训练方法中的标准损失函数，即，教师强迫和定时抽样。在本文中，我们提出了混合交叉熵损失（混合CE）作为CE在两种训练方法中的替代品。在教师强迫中，用CE训练的模型将翻译问题视为一对一的映射过程，而在混合CE中，这个过程可以放宽到一对多。在计划抽样中，我们表明，混合CE有可能鼓励训练和测试行为彼此相似，更有效地减轻暴露偏差问题。我们在几个机器翻译数据集上证明了混合CE优于CE，WMT'16 Ro-En，WMT'16 Ru-En和WMT'14 En-De在教师强制和计划采样设置中。此外，在WMT'14 En-De中，我们还发现混合CE在多参考集以及具有挑战性的释义参考集上始终优于CE。我们还发现，使用混合CE训练的模型能够提供在翻译输出空间上定义的更好的概率分布。我们的代码可在https://github.com/haorannlp/mix上获得。
2021-06-30 cs.CL
DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation
Peking University（北京大学）；DeepSeek-AI（深势科技人工智能）
针对现有投机解码接受率衰减、高并发下吞吐量劣化问题，DSpark采用半自回归架构与置信度调度验证，在实测中显著提升大模型推理速度与系统性能边界。
2026-07-07 cs.AI cs.CL
Improving Generalization of Transformer for Speech Recognition with Parallel Schedule Sampling and Relative Positional Embedding
Tsinghua University（清华大学）；Sogou（搜狗）；UCLA（加州大学洛杉矶分校）
Transformer最近在许多序列到序列转换任务中显示出了有希望的结果。它利用了一些前馈自注意层，以取代递归神经网络（RNN）在基于注意力的编码器解码器（AED）架构。自我注意层通过将符号的正弦位置嵌入序列中以进行并行计算来学习时间依赖性。在训练过程中，可以获得比RNN顺序运算更快的迭代速度。Transformer的更深层也使其性能优于基于RNN的AED。然而，这种并行化能力在应用预定的采样训练时丢失。正弦位置嵌入的自注意可能会导致在不同位置具有相似声学或语义信息的较长序列的性能下降。为了解决这些问题，我们建议使用并行调度采样（PSS）和相对位置嵌入（RPE），以帮助Transformer推广到看不见的数据。我们提出的方法实现了7%的相对改善短话语和70%的相对增益长话语的10,000小时的普通话ASR任务。
2020-11-30 cs.CL eess.AS
Dynamic Oracle for Neural Machine Translation in Decoding Phase
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
在过去的几年里，端到端神经机器翻译（NMT）取得了快速的发展。然而，NMT在解码时存在训练和推理之间的差异，这可能导致严重的问题，因为模型可能处于训练期间从未见过的状态空间的一部分中。为了解决这个问题，提出了计划抽样。然而，有一定的局限性，在预定的采样，我们提出了两个动态的基于预言机的方法来改善它。我们设法减轻差异，改变训练过程向少指导计划，同时聚集预言机的演示。实验结果表明，与标准NMT系统相比，本文提出的方法提高了翻译质量。
2017-10-16 cs.CL
$k$-Neighbor Based Curriculum Sampling for Sequence Prediction
University of Liverpool（利物浦大学）
语言模型中的多步预测是具有挑战性的，由于训练和测试时间过程之间的差异。在测试时，序列预测器需要以过去的预测作为输入来进行预测，而不是在训练期间提供的过去的目标。这种差异称为暴露偏差，可能导致测试时生成的序列中出现复合错误。为了提高神经语言模型的泛化能力并解决复合错误，我们提出了\textit{Nearest-Neighbor Replacement Sampling} -一种基于课程学习的方法，该方法将最初确定的教师政策逐渐改变为随机政策。在给定的时间步长处的标记被替换为过去目标的采样的最近邻居，其截断概率与原始单词和其顶部$k$最相似单词之间的余弦相似度成比例。这允许学习者在教师提供的当前策略次优或难以学习时探索替代方案。所提出的方法是直接的，在线的，需要很少的额外的内存要求。我们报告我们的研究结果，两个语言建模基准，并发现所提出的方法进一步提高性能时，与预定的采样。
2021-01-22 cs.CL cs.LG
Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models
Google Research（谷歌研究院）
本文提出 Arithmetic Sampling 框架，利用大语言模型隐式定义的算术码本实现可并行、可证明多样且无偏一致的采样，并在 WMT 翻译上显著降低奖励估计方差、缩小与束搜索的 BLEU 差距。
2023-06-01 cs.CL cs.LG stat.ML
Parallel Sampling from Masked Diffusion Models via Conditional Independence Testing
Department of Statistics University of Oxford（统计学系牛津大学）
PUNT通过近似条件独立性检验识别并移除冲突的低置信度令牌，在掩码扩散模型中实现并行采样，平衡独立性与置信度，提升长序列生成准确率高达16%。
2025-10-24 cs.CL cs.LG
Understanding Performance Gap Between Parallel and Sequential Sampling in Large Reasoning Models
Google DeepMind（谷歌DeepMind）；National University of Singapore（新加坡国立大学）
本文研究大推理模型中并行与顺序采样性能差异，发现并行采样表现更优，提出探索不足是主要原因。
2026-04-07 cs.CL
Walk fast but be careful: Understanding Parallel Sampling in Masked Diffusion
UT Austin SDS（德克萨斯大学奥斯汀分校统计与数据科学系）；UT Austin CS（德克萨斯大学奥斯汀分校计算机科学系）；UT Austin ECE（德克萨斯大学奥斯汀分校电气与计算机工程系）
提出以图上随机游走为可验证沙盒，研究掩码扩散模型中的并行采样策略，理论上证明最低熵等并行采样并非普遍优于随机采样，并开发了二分采样器，实验表明不同图适用不同采样器。
2026-10-08 cs.AI cs.CL cs.LG
Parallel Attention Forcing for Machine Translation
University of Cambridge（剑桥大学）
基于注意力的自回归模型已经在各种序列到序列任务（包括文本到语音（TTS）和神经机器翻译（NMT））中实现了最先进的性能，但是可能难以训练。标准的培训方法，教师强迫，指导一个模型与参考回溯历史。在推理过程中，必须使用生成的回溯历史。这种不匹配限制了评估性能。引入了注意力强制来解决不匹配问题，用生成的背景历史和参考注意力来指导模型。虽然在像TTS这样的连续输出任务中取得了成功，但在像NMT这样的离散输出任务中，注意力强迫面临着额外的挑战。本文介绍了两个扩展的注意力强迫来应对这些挑战。(1)预定的注意力强制会自动打开和关闭注意力强制，这对于具有离散输出的任务至关重要。(2)并行注意力强制使训练并行，适用于基于transformer的模型。实验结果表明，该方法提高了基于RNN和Transformers的模型的性能。
2022-11-06 cs.CL
Curriculum-Based Neighborhood Sampling For Sequence Prediction
University of Liverpool（利物浦大学）
考虑到训练和测试之间的差异，语言模型中的多步预测任务是具有挑战性的。在测试时，需要语言模型在给定过去的预测作为输入的情况下进行预测，而不是在训练期间提供的过去的目标。这种差异称为暴露偏差，可能导致测试时生成的序列中出现复合错误。为了提高神经语言模型的泛化能力并解决复合错误，我们提出了一种基于课程学习的方法，该方法将最初确定的教师策略逐渐改变为逐渐随机的策略，我们将其称为\textit{Nearest-Neighbor Replacement Sampling}。在给定时间步处选择的输入被替换为过去目标的采样最近邻居，其截尾概率与原始单词及其前$k$最相似单词之间的余弦相似度成比例。这允许教师在教师提供次优策略或初始策略难以为学习者建模时探索替代方案。所提出的策略是直接的，在线的，需要很少的额外的内存要求。我们报告我们的主要研究结果，两个语言建模基准，并发现所提出的方法执行特别好，当与预定的采样，也试图减轻复合错误语言模型。
2018-09-16 cs.CL cs.LG stat.ML
