Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology Patna（印度理工学院帕纳瓦）
本文提出一种多语言语音纠错方法，通过序列标注器标记不流畅词并指导LLM指令微调，结合对比学习目标提升纠错可靠性，实验证明在印地语、孟加拉语和马拉地语上优于现有基线模型。
2026-05-12 cs.AI cs.CL
Distinguishing Repetition Disfluency from Morphological Reduplication in Bangla ASR Transcripts: A Novel Corpus and Benchmarking Analysis
Department of Computer Science and Engineering（计算机科学与工程系）；Islamic University of Technology（伊斯兰科技大学）
针对孟加拉语ASR转录无法区分重复不流利与形态重叠的问题，构建2万条标注语料库，测试发现微调BanglaBERT效果最优，为相关文本规范化系统提供基线与数据支撑。
2025-11-17 cs.CL
Multi-Task Learning for Domain-General Spoken Disfluency Detection in Dialogue Systems
Heriot-Watt University（赫瑞-瓦特大学）
自发的口语对话往往不流利，包含停顿，犹豫，自我纠正和错误的开始。处理这些现象对于理解说话者的意图和控制会话的流程至关重要。此外，该处理需要是逐词递增的，以允许进一步的下游处理尽早开始，以便处理真实的自发人类会话行为。此外，从开发人员的角度来看，非常希望能够开发出可以从“干净”示例中训练的系统，同时还能够概括相同数据上的非常多样化的不流利变化-从而提高数据效率和鲁棒性。在本文中，我们提出了一个多任务的LSTM为基础的模型，用于增量检测的不流利结构，它可以连接到任何组件的增量解释（例如，增量语义解析器），或者只是用来“清理”当前的话语，因为它正在产生。我们训练系统上的交换机对话行为（SWDA）语料库，并提出其准确性在这个数据集上。我们的模型优于以前的神经网络为基础的增量方法约10个百分点的SWDA，同时采用一个更简单的架构。为了测试模型的泛化潜力，我们在bAbI+数据集上评估了相同的模型，没有任何额外的训练。bAbI+是一个综合目标导向对话的数据集，我们控制不流利的分布及其类型。这表明，我们的方法有很好的泛化潜力，并揭示了更多的光，哪些类型的不流利可能服从域一般处理。
2018-10-08 cs.CL
Improving Readability for Automatic Speech Recognition Transcription
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）
现代自动语音识别（ASR）系统可以在识别准确性方面实现高性能。然而，由于语法错误，不流利和口语交流中常见的其他勘误，一个完全准确的成绩单仍然具有挑战性。许多下游任务和人类读者依赖于ASR系统的输出;因此，由扬声器和ASR系统引入的错误将传播到管道中的下一个任务。在这项工作中，我们提出了一种新的NLP任务，称为ASR后处理可读性（APR），旨在将嘈杂的ASR输出转换为人类和下游任务可读的文本，同时保持说话者的语义含义。此外，我们描述了一种方法来解决缺乏特定于任务的数据，通过使用语法错误校正（GEC）收集的数据集，然后通过文本到语音（TTS）和ASR合成APR任务的例子。此外，我们提出的指标借用类似的任务，以评估性能的APR任务。我们将基于几个开源和适应性预训练模型的微调模型与传统的管道方法进行了比较。我们的研究结果表明，微调模型显着提高性能的APR任务，暗示使用APR系统的潜在好处。我们希望我们工作中的阅读、理解和重写方法可以作为许多NLP任务和人类读者可以从中受益的基础。
2020-04-09 cs.CL
Towards End-to-End Spoken Grammatical Error Correction
ALTA Institute, Department of Engineering, University of Cambridge, UK
本文提出利用Whisper基础模型实现端到端口语语法纠错，替代传统级联ASR、不流利去除和GEC流程，实验表明端到端方法可行，但不流利去除优于级联，而数据不足限制整体性能。
2024-07-19 cs.CL cs.LG eess.AS
DRIVE: Disfluency-Rich Synthetic Dialog Data Generation Framework for Intelligent Vehicle Environments
Indian Institute of Technology Bombay（印度理工学院班加罗尔学院）
提出 DRIVE 框架下的 DiscoDrive 合成语料库，在七类车载多轮对话中动态融入不流利现象，验证其可提升模型性能、低资源增强效果与人评自然度。
2025-07-26 cs.CL
Arabic Dysarthric Speech Recognition Using Adversarial and Signal-Based Augmentation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出结合基于信号的语速节奏调整与PWG对抗增强的多阶段方法，并通过Conformer微调和文本纠正，显著提升阿拉伯语构音障碍语音识别性能。
2023-06-07 cs.CL cs.SD eess.AS
Learning from Mistakes: Self-correct Adversarial Training for Chinese Unnatural Text Correction
Jinan University（暨南大学）；Chiba University（千叶大学）；Guangxi Key Laboratory of Trusted Software（广西可信软件重点实验室）
针对文本纠错中的暴露偏差问题，提出与任务和模型无关的自我纠正对抗训练框架LIMIT，利用推理阶段暴露的错误进行训练并设计解码干预策略保持语义一致，实验证明其优于现有方法且可作为即插即用模块扩展。
2024-12-23 cs.CL
Reliability Crisis of Reference-free Metrics for Grammatical Error Correction
Nara Institute of Science and Technology（奈良科学技術研究所）
本文针对GEC无参考指标易被对抗性系统操纵的问题，提出攻击SOME、Scribendi、IMPARA及基于LLM指标的策略，揭示现有自动评估可靠性不足，呼吁更鲁棒的方法。
2025-09-30 cs.CL
Scaling and Prompting for Improved End-to-End Spoken Grammatical Error Correction
University of CambridgeUK（剑桥大学）
本研究针对端到端口语语法错误纠正（SGEC）与反馈生成，通过引入伪标注过程将训练数据扩展至约2500小时，并利用流利转录文本提示基于Whisper的E2E模型，显著提升了反馈生成性能并验证了提示训练对大模型的有效性。
2025-05-27 cs.CL cs.SD eess.AS
DomainInv: Domain Invariant Fine Tuning and Adversarial Label Correction For QA Domain Adaptation
Amazon（亚马逊）
本文提出域不变微调与对抗性标签修正的无监督问答领域自适应方法DomainInv，通过将目标表示靠近源域并修正远距离目标实例，在多个目标数据集上超越最强基线。
2023-05-04 cs.CL
An Adversarial Multi-Task Learning Method for Chinese Text Correction with Semantic Detection
Jiangnan University（江南大学）
提出一种对抗性多任务学习方法，结合掩码和评分语言模型及蒙特卡洛树搜索策略，有效提升中文文本纠正任务中字符多义性的建模与检测能力及语义合理性。
2023-06-28 cs.AI cs.CL
Beyond Hard Samples: Robust and Effective Grammatical Error Correction with Cycle Self-Augmenting
Soochow University（苏州大学）
本文评估前沿GEC方法对四类对抗攻击的鲁棒性，提出Cycle Self-Augmenting（CSA）方法，通过后训练中模型自增强数据与正则化数据循环训练，在不使用专门对抗样本的情况下显著提升模型鲁棒性与干净数据性能。
2023-10-23 cs.CL
Exploration and Exploitation: Two Ways to Improve Chinese Spelling Correction Models
Fudan University（复旦大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）
基于神经网络的序列到序列学习是一种有效的汉语拼写纠正框架，它以含有拼写错误的句子作为输入，输出纠正后的句子。然而，CSC模型可能无法纠正混淆集所覆盖的拼写错误，并且还会遇到不可见的拼写错误。我们提出了一种方法，该方法不断识别模型的弱点，以生成更有价值的训练实例，并应用特定于任务的预训练策略来增强模型。生成的对抗性示例逐渐添加到训练集中。实验结果表明，这种对抗性训练方法与预训练策略相结合，可以提高多个CSC模型在三个不同数据集上的泛化能力和鲁棒性，实现CSC任务的最新性能。
2021-06-01 cs.CL
Adversarial Grammatical Error Correction
Grammarly（Grammarly（ Grammarly公司））
最近的语法纠错（GEC）工作利用了神经机器翻译（NMT）的进展，从语法错误和纠正的句子的并行语料库中学习重写，实现了最先进的结果。与此同时，生成对抗网络（GANs）通过学习直接最小化人类生成文本和合成文本之间的差异，成功地在许多不同的任务中生成了逼真的文本。在这项工作中，我们提出了一个对抗性的学习方法，GEC，使用生成器的框架。生成器是一个Transformer模型，经过训练可以生成语法正确的句子。该模型是一个双对分类模型，用于根据语法纠正的质量来判断给定的一对语法错误-正确的句子。我们在并行文本上对生成器和生成器进行预训练，然后使用策略梯度方法进一步微调它们，该方法为可能是语法错误文本的真正纠正的句子分配高奖励。在FCE、CoNLL-14和EEE-19数据集上的实验结果表明，与基于NMT的基线相比，Adversarial-GEC可以实现具有竞争力的GEC质量。
2020-10-06 cs.AI cs.CL cs.LG
Speak & Improve Corpus 2025: an L2 English Speech Corpus for Language Assessment and Feedback
ALTA Institute（阿尔塔研究所）；University of Cambridge（剑桥大学）；Cambridge University Press and Assessment（剑桥大学出版社与评估部）；Enhanced Speech Technology Ltd（增强语音技术有限公司）
本文介绍Speak & Improve语料库2025，一个含整体评分和错误标注的L2英语口语数据集，旨在解决公开高质量标注数据缺乏问题，支持口语评估、反馈及ASR、GEC等技术研究。
2024-12-17 cs.CL
Gender Bias and Universal Substitution Adversarial Attacks on Grammatical Error Correction Systems for Automated Assessment
University of Cambridge（剑桥大学）
语法错误纠正（GEC）系统执行序列到序列任务，其中包含语法错误的输入词序列由GEC系统纠正这些错误，以输出语法正确的词序列。随着深度学习方法的出现，自动化GEC系统变得越来越流行。例如，GEC系统通常用于英语学习者的语音翻译，作为评估和反馈的一种形式-这些功能强大的GEC系统可以用于自动测量候选人流利程度的一个方面。从候选人的输入句子（或文章）到GEC系统的语法校正的输出句子的\textit{edits}的计数指示候选人的语言能力，其中较少的编辑表明更好的流利性。因此，编辑的计数可以被视为\textit{fluency score}，其中零表示完美的流畅性。然而，尽管基于深度学习的GEC系统非常强大和准确，但它们容易受到对抗攻击的影响：对手可以在系统的输入处引入小的特定变化，从而在输出处引起大的不期望的变化。当考虑将GEC系统应用于自动语言评估时，对手的目的可能是通过对语法不正确的输入句子进行小的更改来欺骗，从而隐藏GEC系统的错误，这样就不会发现编辑，并且候选人被不公正地授予完美的流利度分数。这项工作研究了一个简单的通用替代对抗攻击，非英语母语的人可以实际上采用欺骗GEC系统用于评估。
2022-08-19 cs.CL cs.CY cs.LG
AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；State University of New York at Buffalo（纽约州立大学布法罗分校）；Huawei International, Singapore（新加坡华为国际）
针对安全CoT微调中的“雪球效应”，本文提出AdvChain对抗性思维链微调范式，通过诱惑—纠正与犹豫—纠正样本训练模型自我纠正，提升抗攻击能力并降低过度拒绝。
2025-09-29 cs.AI cs.CL
TextShield: Beyond Successfully Detecting Adversarial Sentences in Text Classification
Johns Hopkins University（约翰斯·霍普金斯大学）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；China Agricultural University（中国农业大学）
对抗攻击是NLP中神经网络模型面临的主要挑战，这阻碍了模型在安全关键应用中的部署。最近的一项工作，基于检测的防御，旨在区分敌对的句子和良性的句子。然而，{以前的检测方法的核心限制是无法对对抗性句子给出正确的预测，这与其他范式的防御方法不同。针对这一问题，本文提出了文本屏蔽：（1）发现文本攻击与显著性信息之间的联系，提出了一种基于显著性的检测器，可以有效地检测输入句子是否具有对抗性。(2)我们设计了一个基于显著性的校正器，它将检测到的敌对句子转换为良性的。通过结合基于显著性的检测器和校正器，TextShield将仅检测范式扩展为检测-校正范式，从而填补了现有基于检测的防御的空白。综合实验表明，（a）在不同基准的各种攻击中，TextShield始终比最先进的防御方法具有更高或相当的性能。(b)我们的基于显著性的检测器在检测对抗性句子方面优于现有的检测器。
2023-02-03 cs.AI cs.CL
BERT-Defense: A Probabilistic Model Based on BERT to Combat Cognitively Inspired Orthographic Adversarial Attacks
Center of Cognitive Science（认知科学中心）；Natural Language Learning Group（自然语言学习组）；Technische Universität Darmstadt（达姆施塔特工业大学）
对抗攻击暴露了深度学习系统的重要盲点。虽然单词级和重复级攻击场景主要处理查找欺骗NLP模型的输入的语义释义，但字符级攻击通常会将错别字插入输入流。人们普遍认为，这些更容易通过拼写纠正模块进行防御。在这项工作中，我们表明，标准的拼写检查器和Pappii等人的方法。（2019），训练以防止插入，删除和交换，在Eger和Benz（2020）最近提出的字符级基准上表现不佳，其中包括更具挑战性的攻击，如视觉和语音扰动以及丢失的分词分割。相比之下，我们表明，一种未经训练的迭代方法，它将上下文无关的字符级别信息与来自BERT的掩蔽语言建模的上下文相关信息相结合，可以与来自Amazon Mechanical Turk（AMT）的通过3次学习监督的人类人群工作者相提并论。
2021-06-02 cs.CL cs.LG
Deep Learning Approaches for Detecting Adversarial Cyberbullying and Hate Speech in Social Networks
School of Information Technology University of Cincinnati Cincinnati, Ohio, USA；School of Human Services University of Cincinnati Cincinnati, Ohio, USA
本文针对社交网络中利用对抗技术规避检测的网络欺凌和仇恨言论问题，提出一种结合校正算法的深度学习方法，利用固定 epoch 为 100 的 LSTM 模型实现了高准确率并超越以往研究。
2024-05-30 cs.CL cs.CY cs.LG
