Toward a Reinforcement-Learning-Based System for Adjusting Medication to Minimize Speech Disfluency
University of Toronto(多伦多大学)
本文提出一个基于强化学习的系统,自动调整精神科药物以最小化言语不流畅,通过构建检测模块和患者模拟器,证明其能收敛到良好药物方案,作为概念验证。
2024-02-06 cs.CL cs.LG eess.AS
End-to-End Speech Recognition and Disfluency Removal
Macquarie University(麦考瑞大学);Oracle Corporation(甲骨文公司)
不流利检测通常是自动语音识别(ASR)系统和下游任务之间的中间步骤。相比之下,本文旨在研究端到端语音识别和不流利消除的任务。我们专门探讨是否有可能训练ASR模型直接映射到流利的成绩单,不依赖于一个单独的不流利检测模型。我们表明,端到端模型确实可以直接生成流畅的成绩单;然而,它们的性能略差于由ASR系统和不流畅检测模型组成的基线管道方法。我们还提出了两个新的指标,可用于评估综合ASR和不流利模型。本文的研究结果可以作为未来进一步研究端到端语音识别和不流利消除任务的基准。
2020-09-28 cs.CL cs.LG cs.SD
Adversarial Training For Low-Resource Disfluency Correction
Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对低资源场景下的不流利修正问题,提出结合少量标注真实数据、大量无标注数据与合成不流利数据的对抗训练序列标注模型,在三种印度语言及英语口吃修正任务上取得显著提升,并建立新基准。
2023-06-10 cs.CL
Disfluencies and Human Speech Transcription Errors
University of Washington(华盛顿大学)
本文探讨了与自发言语转录错误相关的语境,揭示了人类对不流利和其他会话言语现象的感知。新版本的Switchboard语料库提供了不流利的注释仔细的语音成绩单,连同结果显示的影响,转录错误的自动不流利检测的评价。
2019-04-08 cs.CL
DisfluencyFixer: A tool to enhance Language Learning through Speech To Speech Disfluency Correction
IIT Bombay(印度理工学院孟买分校)
DisfluencyFixer通过ASR、不流利修正和TTS流水线实现英语和印地语的语音到语音不流利修正,并提供转写、不流利类型及计数,为语言学习者提供一站式流利度提升工具。
2023-05-26 cs.CL cs.LG cs.SD
DisMo: A Morphosyntactic, Disfluency and Multi-Word Unit Annotator. An Evaluation on a Corpus of French Spontaneous and Read Speech
University of Louvain(鲁汶大学);University Paris Diderot(巴黎狄德罗大学);University of Geneva(日内瓦大学)
我们提出了DisMo,一个多层次的口语语料库,集成了部分的语音标记与基本的不流利检测和注释,多词单元识别注释。DisMo是一个混合系统,它结合了词汇资源、规则和基于条件随机场(CRF)的统计模型。在本文中,我们提出了第一个公开版本的DisMo法语。该系统在57k令牌语料库上进行了训练,并对其性能进行了评估,其中包括三个国家(比利时,法国和瑞士)的不同法语。DisMo支持多级注释方案,其中最小单词单元的标记化与多单词单元分组(每个具有关联的POS标签)以及用于注释不流利和话语现象的单独级别互补。我们提出了该系统的体系结构,语言资源和它的层次标签集。结果表明,DisMo实现了95%(最精细的标签集)的精度为96.8%(粗标签集)的POS标记非标点,语音对齐的transmitting的法语口语,同时也提供了大量的可能性自动多级注释。
2018-02-08 cs.CL
Augmenting Automatic Speech Recognition Models with Disfluency Detection
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对标准ASR模型难识别语音不流利、现有研究存在局限的问题,提出仅推理的增强方法,通过改进CTC强制对齐算法和分类模型检测开放集不流利,捕捉到74.13%的转录遗漏单词,具备下游应用潜力。
2024-09-17 cs.AI cs.CL
Learning to Hear Hesitation: Continual Learning for Disfluency-Aware ASR
Knowledge Technology, Department of Informatics, University of Hamburg(汉堡大学信息学系知识技术研究所)
针对ASR系统忽略非流畅导致信息丢失的问题,提出基于连续学习与显式非流畅标记的方法,在预训练模型中引入标记并持续训练,分析标记学习与ASR性能的权衡及跨方法共享的交叉注意力头机制。
2026-06-15 cs.AI cs.CL cs.SD
Controllable Time-Delay Transformer for Real-Time Punctuation Prediction and Disfluency Detection
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团)
近年来,随着自动语音识别(ASR)应用的日益广泛,自动插入标点符号和消除不流利的语音,对于提高文本的可读性以及后续应用(如机器翻译、对话系统等)的性能至关重要。在本文中,我们提出了一个可控的时间延迟Transformer(CT-Transformer)模型,共同完成标点预测和不流利检测任务在实时的。CT-Transformer模型有助于以可控的时间延迟冻结部分输出,以满足后续应用所需的部分解码中的实时的约束。我们进一步提出了一种快速解码策略,以最大限度地减少延迟,同时保持竞争力的性能。在IWSLT 2011基准数据集和内部中文标注数据集上的实验结果表明,该方法在F值上优于现有的模型,并实现了具有竞争力的推理速度。
2020-03-03 cs.CL cs.SD eess.AS
Automatic Speech Recognition for Non-Native English: Accuracy and Disfluency Handling
Doshisha University(同志社大学)
本研究评估五个ASR系统对非母语英语语音的识别,发现Whisper和AssemblyAI在朗读语音上接近人类水平,RevAI在自发言语上最佳,并分析了不流畅性处理差异。
2025-03-30 cs.CL cs.SD eess.AS
Smooth Operators: LLMs Translating Imperfect Hints into Disfluency-Rich Transcripts
Independent Researcher(独立研究者)
针对口语不流畅检测,提出利用大语言模型结合声学特征与带时间戳的不完美文本提示,生成完全标注的富含不流畅的转录,验证了模型对不完美输入的鲁棒性。
2025-06-23 cs.AI cs.CL cs.SD
DISCO: A Large Scale Human Annotated Corpus for Disfluency Correction in Indo-European Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出了涵盖英语、印地语、德语和法语四种印欧语系的高质量人工标注不流利纠正(DC)语料库,实验证明最先进DC模型在多语言上表现优异,且能显著提升下游机器翻译的BLEU分数。
2023-10-25 cs.CL cs.HC
Paediatric-HGNN: A Hybrid Heterogeneous Graph Neural Network for Detecting Disfluency in Children's Speech via Multiscale Acoustic Fusion
University of New South Wales(新南威尔士大学);Western Sydney University(西澳悉尼大学);Resourced Music Therapy(资源音乐治疗)
针对儿童言语中声学变异大、病理口吃与发育性不流畅难以区分的问题,提出Paediatric-HGNN框架,通过构建异构图捕获词汇与声学片段的分层关系,在儿童语料上实现82.4%加权准确率和0.386的典型不流畅F1分数。
2026-11-03 cs.CL cs.SD eess.AS
Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs
Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology Patna(印度理工学院帕纳瓦)
本文提出一种多语言语音纠错方法,通过序列标注器标记不流畅词并指导LLM指令微调,结合对比学习目标提升纠错可靠性,实验证明在印地语、孟加拉语和马拉地语上优于现有基线模型。
2026-05-12 cs.AI cs.CL
Correlational Neural Networks
University of Montreal(蒙特利尔大学);IBM Research India(IBM印度研究院);University of Sherbrooke(舍布鲁克大学);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
公共表示学习(CRL),其中不同的描述(或视图)的数据被嵌入在一个共同的子空间,最近受到了很多关注。两种流行的范例是基于典型相关分析(CCA)的方法和基于自动编码器(AE)的方法。基于CCA的方法通过在投影到公共子空间时最大化视图的相关性来学习联合表示。基于AE的方法通过最小化重建两个视图的误差来学习公共表示。这些方法中的每一种都有其自身的优点和缺点。例如,虽然对于迁移学习的任务,基于CCA的方法优于基于AE的方法,但是它们不如后者可扩展。在这项工作中,我们提出了一种基于AE的方法称为相关神经网络(CorrNet),显式地最大化的视图之间的相关性时,投影到共同的子空间。通过一系列的实验,我们证明了所提出的CorrNet是优于上述方法的能力,学习相关的共同表示。此外,我们采用CorrNet的几个跨语言的任务,并表明使用CorrNet学习的表示比使用其他国家的最先进的方法学习的表现更好。
2015-10-12 cs.CL cs.LG cs.NE
Causally Evaluating the Learnability of Formal Language Tasks
ETH Zürich(苏黎世联邦理工学院);University of Copenhagen(哥本哈根大学)
通过引入分箱半环控制目标属性频率,结合因果图模型和分解KL散度,证明标准相关性评估在形式语言任务可学习性分析中存在混淆偏差。
2026-06-08 cs.CL cs.FL
Generating Human Readable Transcript for Automatic Speech Recognition with Pre-trained Language Model
Microsoft(微软公司)
现代自动语音识别(ASR)系统可以在识别准确性方面实现高性能。然而,由于口语交流中常见的不流利、过滤词和其他勘误,一个完全准确的成绩单仍然很难阅读。许多下游任务和人类读者依赖于ASR系统的输出;因此,由扬声器和ASR系统引入的错误将传播到管道中的下一个任务。在这项工作中,我们提出了一个ASR后处理模型,旨在将不正确和嘈杂的ASR输出转换为人类和下游任务可读的文本。我们利用元数据提取(MDE)语料库构建一个特定于任务的数据集,我们的研究。由于数据集很小,我们提出了一种新的数据增强方法,并使用两阶段训练策略来微调RoBERTa预训练模型。在构建的测试集上,我们的模型在可读性感知WER(RA-WER)和BLEU指标上的表现优于生产两步基于流水线的后处理方法,分别为13.26和17.53。人类评估也表明,我们的方法可以生成更多的人类可读的转录比基线方法。
2021-02-22 cs.CL cs.SD eess.AS
Parsing Speech: A Neural Approach to Integrating Lexical and Acoustic-Prosodic Information
University of Washington(华盛顿大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
在会话语音中,声学信号提供线索,帮助听众消除歧义困难的分析。为了自动解析口语,我们引入了一个模型,该模型使用卷积神经网络在能量和音高轨迹上集成了转录文本和声学韵律特征,并结合了基于注意力的递归神经网络,该网络接受文本和韵律特征。我们发现,不同类型的声学韵律功能是单独的帮助,并在统计上显着改善解析和不流利检测F1分数在一个强大的纯文本的基线。对于这项研究与已知的句子边界,错误分析表明,声学韵律功能的主要好处是在句子不流利,附件的决定是最改善,和转录错误掩盖收益韵律。
2018-04-15 cs.CL cs.LG cs.SD
Speak & Improve Corpus 2025: an L2 English Speech Corpus for Language Assessment and Feedback
ALTA Institute(阿尔塔研究所);University of Cambridge(剑桥大学);Cambridge University Press and Assessment(剑桥大学出版社与评估部);Enhanced Speech Technology Ltd(增强语音技术有限公司)
本文介绍Speak & Improve语料库2025,一个含整体评分和错误标注的L2英语口语数据集,旨在解决公开高质量标注数据缺乏问题,支持口语评估、反馈及ASR、GEC等技术研究。
2024-12-17 cs.CL
VAKTA-SETU: A Speech-to-Speech Machine Translation Service in Select Indic Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出部署就绪的VAKTA-SETU语音到语音机器翻译系统,通过级联ASR、DC、MT和TTS模型支持英语、印地语和马拉地语互译,并利用LaBSE工具筛选语料训练TTMT,已公开数据与模型,服务于政府、游客、司法和农民等场景。
2023-05-21 cs.CL
Improving Distinction between ASR Errors and Speech Disfluencies with Feature Space Interpolation
ActionPower
微调预训练语言模型(LM)是自动语音识别(ASR)错误检测的一种流行方法。虽然错误检测系统通常利用LM捕获的统计语言原型,但有时预训练的知识可能会阻碍错误检测性能。例如,语音不流利的存在可能会使后处理系统混淆,从而将不流利但准确的翻译标记为ASR错误。这种混淆的发生是因为错误检测和不流利检测任务都试图在统计上不太可能的位置识别标记。本文提出了一种方案,以改善现有的LM为基础的ASR错误检测系统,无论是在检测分数和弹性,这样分散辅助任务。我们的方法采用了流行的混合方法在文本特征空间,可以用于任何黑盒ASR输出。为了证明我们的方法的有效性,我们进行后处理实验与传统的和端到端的ASR系统(英语和韩语)与5个不同的语音语料库。我们发现,我们的方法提高了ASR错误检测F1分数,并减少了错误地检测为ASR错误的正确转录的不流利的数量。最后,我们提出了在半监督ASR训练中直接利用所得LM的方法。
2021-08-04 cs.CL cs.SD eess.AS
Evaluating Spoken Language as a Biomarker for Automated Screening of Cognitive Impairment
Imperial College London(帝国理工学院);UK Dementia Research Institute(英国痴呆症研究所);Imperial College Healthcare NHS Trust(帝国理工学院医疗保健国民保健服务信托基金);University of Surrey(萨里大学);University of Southern California(南加州大学)
本研究利用可解释机器学习评估语音生物标志物,用于自动筛查阿尔茨海默病及相关痴呆症,展示随机森林模型在检测和预测严重性方面的有效性,以及风险分层对临床分流的贡献。
2026-03-02 cs.CL cs.LG
From Isolation to Entanglement: When Do Interpretability Methods Identify and Disentangle Known Concepts?
Boston University(波士顿大学);Harvard University(哈佛大学);Mila – Quebec AI Institute(魁北克AI研究所);Goodfire(Goodfire公司)
本文提出多概念评估框架,研究稀疏自编码器和探针等方法是否真正解缠概念,发现特征通常只对单一概念敏感,但概念分布在多个特征上,且干预特征常影响多个概念,表明相关性指标不足以证明干预选择性。
2026-06-12 cs.AI cs.CL cs.LG
Exploiting prompt learning with pre-trained language models for Alzheimer's Disease detection
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
本文提出基于提示的预训练语言模型微调方法,将AD分类误差作为训练目标并融合不流利特征,结合多模型与多范式决策投票,在ADReSS20测试集上取得84.20%和82.64%的平均检测准确率。
2023-03-31 cs.CL cs.LG cs.SD
Falsehood and Impossibility Are Different Directions in an AI's Representation of Language
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究通过对Gemma 3 4B IT模型的激活分析,发现其内部能区分语言的不可能性与虚假,但将偶然虚假混同于矛盾,且不可能性表征与真值、语义异常表征方向不同。
2026-08-19 cs.AI cs.CL
Evaluating the Causal Faithfulness of SHAP as a Candidate Attribution Method for SAE Features
Durham University(杜伦大学)
本研究以SST-2情感分类为测试平台,对比SHAP等归因方法与直接因果干预,发现方法间一致性不代表因果忠实性,且归因方法检测特征影响存在比缺失更可靠,提出需单独评估两类忠实性。
2026-10-14 cs.AI cs.CL cs.LG