LARD: Large-scale Artificial Disfluency Generation
Centre for Research and Technology Hellas（希腊研究与技术中心）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
不流利性检测是实时对话系统中的一项关键任务。然而，尽管其重要性，它仍然是一个相对未开发的领域，主要是由于缺乏适当的数据集。与此同时，现有的数据集存在各种问题，包括类不平衡问题，这会显著影响模型在稀有类上的性能，正如本文所展示的那样。为此，我们提出LARD，一种方法，用于产生复杂和现实的人工不流畅，很少的努力。所提出的方法可以处理三种最常见的不流利：重复，替换和重新开始。此外，我们发布了一个新的大规模数据集，可以用于四个不同的任务：不流利检测，分类，提取和校正。LARD数据集上的实验结果表明，该方法产生的数据可以有效地用于检测和消除不流畅，同时也解决了现有数据集的局限性。
2022-05-03 cs.CL
Adversarial Training For Low-Resource Disfluency Correction
Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对低资源场景下的不流利修正问题，提出结合少量标注真实数据、大量无标注数据与合成不流利数据的对抗训练序列标注模型，在三种印度语言及英语口吃修正任务上取得显著提升，并建立新基准。
2023-06-10 cs.CL
Analysis of Disfluency in Children's Speech
University of Washington（华盛顿大学）；University of California Los Angeles（加州大学洛杉矶分校）
正如许多成人言语研究所表明的那样，不流利现象在自发言语中普遍存在。人们对儿童的语言理解较少，特别是对仍在发展语言技能的学龄前儿童。我们提出了一个新的数据集与注释的不流利的自发解释，从26名儿童（5- 8岁），采访了两次超过一年的时间。我们的初步分析表明，儿童的语音在我们的语料库和成人自发语音从两个语料库（Switchboard和CallHome）之间的显着差异。儿童有更高的不流利和填充率，往往更频繁地使用鼻腔填充停顿，平均表现出更长的reparandums比修复，与成人扬声器。尽管存在这些差异，但在成人（Switchboard）语音转录上训练的自动不流利检测系统在儿童语音上表现相当好，达到了比成人域外数据集（CallHome）高10%的F1分数。
2020-10-08 cs.CL
Inclusive ASR for Disfluent Speech: Cascaded Large-Scale Self-Supervised Learning with Targeted Fine-Tuning and Data Augmentation
Michigan State University（密歇根州立大学）；FRIENDS: The National Association of Young People Who Stutter（FRIENDS：全国口吃青年协会）
本文提出先用大规模自监督学习训练标准语音，再在不流利语音数据集上定向微调并引入数据增强，以显著降低口吃语音的词错误率，提升ASR包容性。
2024-10-01 cs.CL eess.AS
Fillers in Spoken Language Understanding: Computational and Psycholinguistic Perspectives
Heriot Watt University（赫瑞瓦特大学）；Télécom Paris（巴黎电信学院）；University Paris-Saclay（巴黎萨克雷大学）
不流利（即打断正常的话语流）在口语中无处不在。填充语（“uh”，“um”）是与其他类型的不流利表达相比出现频率最高的不流利表达。然而，据我们所知，没有一个资源，汇集了研究的角度影响口语语言理解（SLU）对这些言语事件。这篇文章的目的是调查的角度在一个整体的方式，即从考虑潜在的（心理）语言学理论，他们的注释和自动语音识别（ASR）和SLU系统的考虑，最后，他们的研究从生成的角度来看。本文旨在以一种平易近人的方式向SLU和对话式人工智能社区展示这些观点，并讨论我们认为每个领域的趋势和挑战。
2023-03-24 cs.CL cs.HC
RealTalk-CN: A Realistic Chinese Speech-Text Dialogue Benchmark With Cross-Modal Interaction Analysis
TMCC, College of Computer Science, Nankai University（TMCC，计算机科学学院，南开大学）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）
本文提出了首个中文多轮多领域语音-文本双模态任务型对话数据集RealTalk-CN，并设计了跨模态聊天任务以评估语音大模型在真实复杂场景下的鲁棒性与跨领域性能。
2025-08-06 cs.CL
Answering Unanswered Questions through Semantic Reformulations in Spoken QA
Macquarie University（麦考瑞大学）；Amazon.com, Inc.（亚马逊公司）
针对口语问答中因言语不流利、复杂句法和高具体性导致的未解答问题，提出SURF语义重构模型，并通过离线与线上实验验证其显著提升回答率和用户满意度。
2023-06-03 cs.AI cs.CL
Improving Named Entity Recognition in Telephone Conversations via Effective Active Learning with Human in the Loop
Dialpad Canada Inc.（Dialpad加拿大公司）
由于语音识别错误、不流利等，电话转录数据可能非常嘈杂。不仅注释这些数据对于注释者来说非常具有挑战性，而且即使在注释作业完成之后，这些数据也可能具有大量注释错误，从而导致非常差的模型性能。在本文中，我们提出了一个主动学习框架，该框架利用人类在循环学习中识别来自注释数据集的数据样本，以进行更有可能包含注释错误的重新注释。通过这种方式，我们大大减少了对整个数据集进行数据重新注释的需求。我们进行了广泛的实验与我们提出的方法命名实体识别，并观察到，通过重新注释只有约6%的训练实例的整个数据集，F1分数为某一实体类型可以显着提高约25%。
2022-11-02 cs.AI cs.CL cs.LG
Does the Appearance of Autonomous Conversational Robots Affect User Spoken Behaviors in Real-World Conference Interactions?
Kyoto University（京都大学）
本研究比较 ERICA 与 TELECO，发现更类人的机器人外观会使用户言语更流利、句法更复杂，并通过分类模型验证了相关语言特征的区分作用。
2025-03-17 cs.CL cs.HC cs.RO
ASR Benchmarking: Need for a More Representative Conversational Dataset
Diabolocom（迪亚博洛科姆公司）；ISIA Lab - University of Mons（蒙斯大学ISIA实验室）
针对现有ASR基准无法反映真实对话复杂性，本研究引入基于TalkBank的多语言对话数据集，发现SOTA模型性能显著下降，且词错误率与语音不流畅相关，凸显了构建更真实对话基准的必要性。
2024-09-18 cs.CL cs.SD eess.AS
LearnerVoice: A Dataset of Non-Native English Learners' Spontaneous Speech
Ringle（林格（Ringle））；KAIST（韩国科学技术院）；School of Computing, KAIST（韩国科学技术院计算学院）；University of Minnesota（明尼苏达大学）
该研究发布了含50.04小时非英语母语学习者自发语音的LearnerVoice数据集，证实其含更多二语自发语音特征，微调whisper-small.en可大幅降低词错率，为面向二语学习者的ASR优化提供数据支撑。
2024-10-04 cs.CL cs.SD eess.AS
SPEECH-COCO: 600k Visually Grounded Spoken Captions Aligned to MSCOCO Data Set
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；LIG（格勒诺布尔信息学实验室）；Voxygen（Voxygen公司）
本文提出了一种增强MSCOCO数据集的语音添加到图像和文本。语音字幕使用文本到语音（TTS）合成生成，导致616，767个语音字幕（超过600小时）与图像配对。为了听起来更自然，在信号中加入了不流畅和速度扰动。每个语音信号（WAV）都与JSON文件配对，该JSON文件包含口语字幕中每个单词/音节/音素的精确时间码。这样的语料库可以用于语言和视觉（LaVi）任务，包括代替文本的语音输入或输出。调查多模态学习计划的无监督语音模式发现也有可能与此语料库，所示的一个子集的语料库（10 h，10 k口语字幕）进行的初步研究。该数据集可在Zenodo上获得：https://zenodo.org/record/4282267
2020-11-23 cs.CL
Towards Better Understanding of Spontaneous Conversations: Overcoming Automatic Speech Recognition Errors With Intent Recognition
Avaya（亚美亚公司）；Poznań University of Technology（波兹南理工大学）
在本文中，我们提出了一种方法，用于纠正自动语音识别（ASR）的错误，使用有限状态转换器（FST）的意图识别框架。意图识别是一种功能强大的技术，用于面向回合的人机对话中的对话流管理。这种技术在人与人之间的对话中也非常有用，尽管它的目的是从对话中提取关键洞察力。我们认为，目前可用的意图识别技术不适用于人与人的对话，由于复杂的结构的话轮和各种不流利的自发对话中遇到的，加剧了语音识别错误和缺乏特定领域的标记数据。如果没有有效的关键洞察力提取技术，原始的人与人之间的对话记录仍然没有得到充分利用。我们的贡献包括一个新的FST的意图索引和算法的模糊意图搜索格-一个紧凑的图编码的ASR的假设。我们还开发了一个修剪策略来约束FST索引搜索的模糊性。提取的意图表示语言领域知识，并帮助我们改进（重新评分）原始成绩单。我们将我们的方法与仅使用最可能的转录假设（最佳路径）的基线进行比较，发现识别意图的总数增加了25%。
2019-08-21 cs.CL
Data Augmentation for Spoken Grammatical Error Correction
ALTA Institute, Department of Engineering（ALTA研究所，工程系）
针对SGEC标注数据稀缺问题，提出全自动生成含语法错误与不流利现象音频-文本对的方法及客观评估指标，并在S&I Corpus上验证其对书面GEC和SGEC的增强价值。
2025-07-25 cs.AI cs.CL cs.SD
Considerations for Ethical Speech Recognition Datasets
Sony AI（索尼人工智能）
本研究以自动语音识别为案例，分析当前语音AI数据集采集忽视数据主体保护与用户需求、引发模型歧视的问题，提出伦理型语音数据集的构建要求，旨在推动人文导向的数据集设计，兼顾用户权益与模型性能提升。
2023-05-03 cs.CL cs.CY cs.SD
Audio MultiChallenge: A Multi-Turn Evaluation of Spoken Dialogue Systems on Natural Human Interaction
Scale AI
Audio MultiChallenge通过多轮交互评估语音对话系统在自然对话中的表现，揭示模型在多轮对话、语音修复和长上下文处理上的挑战。
2025-12-16 cs.CL cs.LG cs.SD
