Rethinking Repetition Problems of LLMs in Code Generation
Key Laboratory of High Confidence Software Technologies (Peking University), Ministry of Education(高可信软件技术教育部重点实验室(北京大学));School of Computer Science, Peking University(北京大学计算机学院)
针对代码生成中被忽视的结构重复问题,本文形式化定义该现象,提出基于语法识别并惩罚关键 token 的 RPG 解码方法,并构建 CodeRepetEval 数据集,实验证明其在多个基准上显著减少重复、提升代码质量。
2025-05-15 cs.AI cs.CL cs.LG
Joint Repetition Suppression and Content Moderation of Large Language Models
Microsoft(微软)
针对大型语言模型易生成冒犯性内容及低资源场景下重复输出的问题,本文提出基于 token 与序列级非似然损失的联合训练框架,实现重复抑制与内容审核。
2023-06-05 cs.CL cs.LG
Taming Repetition in Dialogue Generation
Fuxi AI Lab, NetEase Inc.(网易伏羲人工智能实验室)
预训练语言模型的浪潮一直在不断提高机器生成的对话的质量,然而,一些生成的响应仍然遭受过度重复,有时重复话语中的单词,有时重复自我生成的响应中的单词,或两者兼而有之。不适当的单词重复会显著降低生成文本的质量。惩罚抽样是一种流行的解决方案,它降低了推理过程中现有词的抽样概率,但它非常容易受到静态权重设置不当的影响。设置太高会产生奇怪和不切实际的句子,而设置太低则会使抑制重复的任务变得微不足道。为了弥补上述方法的缺点,我们设计了一个上下文感知分类器来显式决定何时允许重复以及何时采用惩罚抽样。这样的分类器可以很容易地与现有的解码方法集成,在适当的情况下减少重复,同时保持文本的多样性。实验结果表明,该方法可以生成更高质量和更真实的对话。
2021-12-16 cs.CL
A Theoretical Analysis of the Repetition Problem in Text Generation
The Chinese University of Hong Kong(香港中文大学);Tencent(腾讯)
文本生成任务,包括翻译、摘要、语言模型等,近年来得到了快速的发展。尽管取得了显着的成就,重复的问题已被观察到几乎所有的文本生成模型破坏生成性能广泛。为了解决重复问题,已经提出了许多方法,但是没有现有的理论分析来说明为什么会发生这个问题以及如何解决这个问题。在本文中,我们提出了一个新的理论分析框架的重复问题。我们首先定义了平均重复概率(ARP)来定量描述重复问题。然后,我们进行了广泛的分析的马尔可夫生成模型,并得出了几个上界的平均重复概率与直观的理解。我们发现,大多数现有的方法基本上是显式或隐式最小化上界。基于我们的理论,我们表明,重复问题,不幸的是,我们的语言本身的特点造成的。一个主要原因是由于存在太多的词以高概率预测相同的词作为随后的词。因此,很容易回到这个词,形成重复,我们称之为高流入问题。此外,我们推导出一般生成模型的平均重复概率的浓度界。最后,基于理论上界,我们提出了一种新的再平衡编码方法来缓解高流入问题。实验结果表明,我们的理论框架是适用于一般的生成模型和我们提出的重新平衡编码方法,重复问题显着。本文的源代码可以从www.example.com获得。
2021-03-22 cs.CL
Word Salad Chopper: Reasoning Models Waste A Ton Of Decoding Budget On Useless Repetitions, Self-Knowingly
University of Minnesota(明尼苏达大学);Rice University(里士满大学);Stevens Institute of Technology(史蒂文斯理工学院);Lambda, Inc(Lambda公司)
本文发现大型推理模型(LRM)会自我意识到地陷入无用的“word salad”重复循环,并提出轻量级组件 WordSaladChopper,通过单层线性分类器检测并截断冗余 token,在最小质量损失下大幅节省解码预算。
2025-11-01 cs.CL
A Neural Model for Word Repetition
PSL University(巴黎文理研究大学);EHESS(法国社会科学高等研究院);CNRS(法国国家科学研究中心)
本研究通过训练深度神经网络模拟词语复述任务,结合行为测试与消融实验探究其与人类词语复述机制的异同,为衔接认知模型与大脑神经机制提供了初步探索。
2025-06-16 cs.AI cs.CL
Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data
Stanford University(斯坦福大学);Paul G. Allen School of Computer Science, University of Washington(华盛顿大学保罗·G·艾伦计算机科学学院)
本文研究数据重复对混合专家模型的影响,发现其比密集模型过拟合更严重,且随稀疏性加剧;强掩码正则化可缓解,但无法完全替代唯一数据。
2026-10-08 cs.CL cs.LG
What Is a Repeated Token Worth? The Scaling Geometry of Multi-Epoch Pretraining
本文通过将重复 token 与新数据及同数据一轮训练对比定价,揭示重复成本由额外轮数除以每参数唯一 token 数决定,并给出临界轮数及模型规模与轮数的权衡,为数据受限下的预训练提供经验指南。
2026-10-06 cs.CL
When More Becomes Less: Position-Dependent Repetition Effects in Language Models
The University of Hong Kong(香港大学)
该研究发现语言模型中目标 token 的重复效应与读取位置相关,位移重复会呈现倒U型规律,且该效应经多语言和多模型验证,归因于精确词汇重复而非其他因素。
2026-08-06 cs.CL cs.LG
Distinguishing Repetition Disfluency from Morphological Reduplication in Bangla ASR Transcripts: A Novel Corpus and Benchmarking Analysis
Department of Computer Science and Engineering(计算机科学与工程系);Islamic University of Technology(伊斯兰科技大学)
针对孟加拉语ASR转录无法区分重复不流利与形态重叠的问题,构建2万条标注语料库,测试发现微调BanglaBERT效果最优,为相关文本规范化系统提供基线与数据支撑。
2025-11-17 cs.CL
Adaptive Forgetting Curves for Spaced Repetition Language Learning
University of Cambridge(剑桥大学)
心理学家、教育学家和认知科学家都对遗忘曲线进行了广泛的研究。在智能辅导系统的背景下,为每个用户和知识成分(例如词汇)建模遗忘曲线应该使我们能够制定最佳的修订策略,以抵消记忆衰退并确保长期保留。在这项研究中,我们探讨了各种各样的遗忘曲线模型,结合心理和语言特征,我们使用这些模型来预测的概率单词回忆的英语作为第二语言的学习者。我们使用来自在线词汇教学平台的数据评估模型及其特征的影响,发现单词复杂度是一个高度信息化的特征,可以通过神经网络模型成功地学习。
2020-04-23 cs.CL cs.LG
Construction Repetition Reduces Information Rate in Dialogue
University of Amsterdam(阿姆斯特丹大学);University of Aberdeen(阿伯丁大学)
说话者在对话中经常重复结构。由于其独特的信息理论属性,重复可以被认为是一种成本效益的沟通策略。在这项研究中,我们关注的是词汇化结构的重复--即,重复出现的多词单位--在英语开放域口语对话中。我们假设说话人使用结构重复来降低信息率,从而导致对话过程中话语信息量的总体下降。我们进行了定量分析,测量的信息含量的结构和他们所包含的话语,估计信息含量的自适应神经语言模型。我们观察到构式的使用降低了话语的信息含量。这种促进作用(i)在整个对话中增加,(ii)通过重复来增强,(iii)作为重复频率和密度的函数而增长,(iv)对于指称结构的重复更强。
2022-10-15 cs.CL
Analyzing Effect of Repeated Reading on Oral Fluency and Narrative Production for Computer-Assisted Language Learning
Indian Institute of Information Technology, Allahabad(印度理工学院安拉阿巴德分校)
重复阅读(RR)可以帮助那些几乎没有流利阅读经验的学习者获得自信,速度和自动处理单词。重复阅读的好处包括帮助所有学习者回忆事实,帮助识别学习者的主要思想和词汇,提高理解力,加快阅读速度,提高单词识别的准确性,并帮助学习者从逐字阅读过渡到更有意义的措辞。因此,叙述性语言最终有助于提高学习者的口语流利性和叙述性产出。然而,有没有开放的音频数据集提供的口头回应的学习者的基础上,他们的RR实践。因此,在本文中,我们提出了我们的数据集,讨论其属性,并提出了一种方法来评估口语流利性和叙事生产的英语学习者使用声学,韵律,词汇和句法特征。结果表明,计算机辅助语言学习系统可以用来评估学习者口语流利性和叙述性产出的提高。
2020-06-25 cs.CL
Repetition, Not Length: Isolating the Counting Failure in Neural Text-to-Speech
BitmanagerAI;lab260;MTUCI(莫斯科通信与信息技术大学)
该研究隔离了神经文本到语音模型在重复文本上的计数失败,证明重复本身而非长度是主因,并通过对照实验和多种分析验证了该现象的稳健性。
2026-09-30 cs.CL cs.SD
Reinforced Medical Report Generation with X-Linear Attention and Repetition Penalty
Hebei University of Technology(河北工业大学);University of Oxford(牛津大学)
为了减少医生的工作量,基于深度学习的自动医疗报告生成最近吸引了越来越多的研究努力,其中注意力机制和强化学习与经典的编码器-解码器架构相结合,以增强深度模型的性能。然而,这些最先进的解决方案主要存在两个缺点:(i)它们的注意力机制不能利用高阶特征交互,以及(ii)由于使用基于TF-IDF的奖励函数,这些方法是脆弱的,会产生重复项。因此,在这项工作中,我们提出了一个加强的医疗报告生成解决方案,x-线性注意力和重复惩罚机制(ReMRG-XR),以克服这些问题。具体而言,x-线性注意力模块用于探索高阶特征交互并实现多模态推理,而重复惩罚用于在模型的训练过程中对重复项施加惩罚。在两个公共数据集上进行了广泛的实验研究,结果表明ReMRG-XR在所有指标方面都大大优于最先进的基线。
2020-11-16 cs.AI cs.CL cs.LG
Learning to Break the Loop: Analyzing and Mitigating Repetitions for Neural Text Generation
Tsinghua University(清华大学);Apple(苹果公司);Westlake University(西湖大学);The Chinese University of Hong Kong(香港中文大学)
虽然大规模神经语言模型,如GPT 2和BART,在各种文本生成任务上取得了令人印象深刻的结果,但它们往往会陷入基于最大化的解码算法(\textit{e.g.},贪婪搜索)的不期望的重复级循环中。这种现象是违反直觉的,因为在人类语料库中几乎没有连续的重复级别(例如,0.02\% in Wikitext-103).为了研究产生连续重复级别重复的根本原因,我们研究了重复令牌的概率与上下文中先前重复的概率之间的关系。通过定量实验,我们发现:1)语言模型具有重复前一句的偏好; 2)重复水平的重复具有\textit{self-reinforcement effect}:一个句子在上下文中重复的次数越多,继续生成该句子的概率越高; 3)初始概率越高的句子通常具有更强的自我强化效应。受我们的研究结果的启发,我们提出了一种简单有效的训练方法\textbf{DITTO}(Pseu \underline{D} o-Repet \underline{IT} ion Penaliza \underline{T} i \underline{O} n),其中模型学习从重复的伪数据中惩罚重复级别重复的概率。虽然我们的方法的动机是减少重复,实验表明,DITTO不仅减轻了重复问题,而不牺牲困惑,但也实现了更好的生成质量。在开放式文本生成(Wikitext-103)和文本摘要(CNN/DailyMail)上的大量实验证…
2022-10-09 cs.CL
A Dominant Self-Conditioning Direction Drives Repetition in Unconditional Continuous Diffusion Language Models
Zhejiang University(浙江大学);Westlake University(西湖大学);Ant Group(蚂蚁集团)
发现连续扩散语言模型(如ELF)的低困惑度源于过度重复,提出一维吸引子机制并设计ACE方法消除重复,提升文本质量。
2026-10-01 cs.CL
User-Initiated Repetition-Based Recovery in Multi-Utterance Dialogue Systems
Apple(苹果公司)
识别错误在人类交流中很常见。类似的错误经常导致对话系统或虚拟助理中的不希望的行为。在人类交流中,我们可以通过重复错误识别的单词或短语来恢复它们;然而在人机交流中,这种恢复机制不可用。在本文中,我们试图弥合这一差距,并提出了一个系统,允许用户纠正语音识别错误的虚拟助手通过重复误解的话。当用户重复短语的一部分时,系统重写原始查询以包含更正。这种重写允许虚拟助理成功地理解原始查询。我们提出了一个端到端的两步注意指针网络,可以通过将错误理解的话语与纠正后续合并在一起来生成重写的查询。我们评估的数据收集这项任务的模型,并比较所提出的模型,以基于规则的基线和标准指针网络。我们表明,重写原始查询是一种有效的方法来处理基于重复的恢复,该模型优于基于规则的基线,减少字出错率19%,相对于2%的误报率注释数据。
2021-08-02 cs.CL cs.SD eess.AS
Hybrid Reinforced Medical Report Generation with M-Linear Attention and Repetition Penalty
Hebei University of Technology(河北工业大学);Shenzhen University(深圳大学);University of Oxford(牛津大学)
为了减少医生的工作量,基于深度学习的自动医疗报告生成最近吸引了越来越多的研究努力,其中深度卷积神经网络(CNN)用于对输入图像进行编码,并且递归神经网络(RNN)用于将视觉特征自动解码为医疗报告。然而,这些最先进的方法主要遭受三个缺点:(i)不全面的优化,(ii)低阶和一维的注意力机制,和(iii)重复生成。在这篇文章中,我们提出了一种混合增强的医疗报告生成方法与m-线性注意力和重复惩罚机制(HReMRG-MR),以克服这些问题。具体而言,采用具有不同权重的混合奖励来弥补基于单一度量的奖励的局限性。我们还提出了一个线性复杂度的搜索算法来近似最佳的权重组合。此外,我们使用m-线性注意力模块来探索高阶特征交互并实现多模态推理,而重复惩罚则在模型的训练过程中对重复项进行惩罚。对两个公共数据集的广泛实验研究表明,HReMRG-MR在所有指标方面都大大优于最先进的基线。我们还进行了一系列的烧蚀实验,以证明我们提出的所有组件的有效性。我们还进行了奖励搜索玩具实验,以证明我们提出的搜索方法可以显着减少搜索时间,同时接近最佳性能。
2022-10-14 cs.AI cs.CL cs.CV
Reinforced Generative Adversarial Network for Abstractive Text Summarization
序列到序列模型为生成式摘要提供了一种可行的新方法,允许模型不再局限于简单地从原始文本中选择和重组句子。然而,这些模型有三个缺点:它们对原始文本细节的把握往往不准确,并且这种模型生成的文本往往存在重复,同时难以处理超出单词列表的单词。在本文中,我们提出了一种新的架构,结合了强化学习和对抗生成网络,以增强序列到序列的注意力模型。首先,我们使用混合指针生成器网络,直接从源文本复制单词,有助于准确再现信息,而不会牺牲生成器生成新词的能力。其次,我们使用时间内和解码器内的注意力来惩罚总结的内容,从而阻止重复。我们将我们的模型应用于我们自己提出的COVID-19论文标题摘要任务,并在ROUEG上实现了与当前模型的接近,同时带来了更好的可读性。
2021-08-18 cs.CL cs.LG