Learning to Jointly Transcribe and Subtitle for End-to-End Spontaneous Speech Recognition
KU Leuven（鲁汶大学）
从新闻报道中的朗读到脱口秀和肥皂剧中的对话和自发的讲话，电视字幕是许多类型讲话的丰富的翻译来源。然而，字幕不是语音的逐字（即，精确）翻译，因此它们不能直接用于改进自动语音识别（ASR）模型。我们提出了一个多任务双解码器Transformer模型，共同执行ASR和自动字幕。ASR解码器（可能是预先训练的）预测逐字输出，字幕解码器生成字幕，同时共享编码器。这两个解码器可以是独立的或连接的。该模型被训练为联合执行这两项任务，并且能够有效地使用字幕数据。我们表现出定期ASR和自发和会话ASR的改进，将额外的字幕解码器。该方法不需要预处理（对齐、过滤、伪标记等）。的字幕。
2022-10-14 cs.CL cs.SD eess.AS
Towards Dog Bark Decoding: Leveraging Human Speech Processing for Automated Bark Classification
University of Michigan（密歇根大学）；National Institute of Astrophysics, Optics and Electronics (INAOE)（国家天体物理、光学和电子研究所（INAOE））
本文提出利用在人类语音上预训练的自监督语音表示模型进行狗吠分类，在狗识别、品种、性别和上下文四个任务上显著优于基线方法。
2024-04-29 cs.CL
LearnerVoice: A Dataset of Non-Native English Learners' Spontaneous Speech
Ringle（林格（Ringle））；KAIST（韩国科学技术院）；School of Computing, KAIST（韩国科学技术院计算学院）；University of Minnesota（明尼苏达大学）
该研究发布了含50.04小时非英语母语学习者自发语音的LearnerVoice数据集，证实其含更多二语自发语音特征，微调whisper-small.en可大幅降低词错率，为面向二语学习者的ASR优化提供数据支撑。
2024-10-04 cs.CL cs.SD eess.AS
End-to-End Text-to-Speech Based on Latent Representation of Speaking Styles Using Spontaneous Dialogue
rinna Co., Ltd.（Rinna株式会社）；Nagoya Institute of Technology（名古屋工业大学）
近年来的文本转语音（TTS）技术已经取得了与人类相当的质量，然而，它在口语对话中的应用还没有得到广泛的研究。本研究的目的是实现一个TTS，非常类似于人类的对话。首先，我们记录和转录真实的自发对话。第一阶段，训练变分自动编码器（VAE）-VITS或高斯混合变分自动编码器（GMVAE）-VITS，将话语级隐变量引入到端到端文本转语音（VITS）的变分推理中，并进行对抗学习。一个风格编码器，提取一个潜在的说话风格表示从语音训练联合TTS。在第二阶段中，训练风格预测器以预测将从对话历史合成的说话风格。在推理过程中，通过将风格预测器预测的说话风格表示传递给VAE/GMVAE-VITS，可以以适合于对话上下文的风格合成语音。主观评价结果表明，所提出的方法优于原来的VITS对话级的自然度。
2022-06-24 cs.CL cs.LG cs.SD
CORAA: a large corpus of spontaneous and prepared speech manually validated for speech recognition in Brazilian Portuguese
Federal University of Technology – Paraná（巴拉那联邦理工大学）；Federal University of Goias（戈亚斯联邦大学）
自动语音识别（ASR）是一项复杂而具有挑战性的任务。近年来，这一领域取得了重大进展。具体而言，就巴西葡萄牙语（BP）而言，直至二零二零年下半年，约有376小时公众可用于ASR任务。随着2021年初新数据集的发布，这一数字增加到574小时。然而，现有的资源是由音频组成的，只包含阅读和准备的演讲。缺乏包括自发语音的数据集，这在不同的ASR应用中是必不可少的。CORAA（Corpus of Annotated Audios）v1。290.77小时，BP中ASR的公开可用数据集，包含验证对（音频转录）。CORAA还包含欧洲葡萄牙语音频（4.69小时）。我们还提出了一个基于Wav 2 Vec 2.0 XLSR-53的公共ASR模型，并在CORAA上进行了微调。我们的模型在CORAA测试集和普通语音测试集上的单词出错率分别为24.18%和20.08%。当测量字符出错率时，我们得到CORAA和普通语音分别为11.02%和6.34%。CORAA语料库的组装，以改善在BP的ASR模型与现象，从自发的讲话，并激励年轻的研究人员开始他们的研究对葡萄牙语的ASR。所有语料库都可以在CC BY-NC-ND 4.0许可证下在https://github.com/nilc-nlp/CORAA上公开获得。
2021-11-18 cs.CL cs.SD eess.AS
SLIDE: Integrating Speech Language Model with LLM for Spontaneous Spoken Dialogue Generation
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Guangdong Provincial Public Security Department（广东省公安厅）；Shanghai Jiao Tong University（上海交通大学）
本文提出 SLIDE 框架，通过 LLM 生成对话文本、双塔 Transformer 预测音素时长、SLM 发声化，在 Fisher 数据集上实现语义连贯的自然口语对话生成。
2025-01-01 cs.CL cs.SD eess.AS
Automatic estimation of verbal fluency index in people with Motor Neuron Disease using ASR alignment and pause modelling
University of Sheffield（谢菲尔德大学）；Sheffield Institute for Translational Neuroscience (SITraN)（谢菲尔德转化神经科学研究所）；University of Edinburgh（爱丁堡大学）；Euan MacDonald Centre for Motor Neuron Disease Research, University of Edinburgh（爱丁堡大学尤安·麦克唐纳运动神经元疾病研究中心）
本研究提出一种结合ASR（WhisperX）和VAD（Silero）的系统，利用临床启发特征自动估计运动神经元疾病患者的言语流畅性指数（VFI），在P词和S词上分别达到R2 0.9和0.8，优于传统声学特征方法。
2026-10-01 cs.AI cs.CL eess.AS
Topic Identification For Spontaneous Speech: Enriching Audio Features With Embedded Linguistic Information
Aalto University（阿尔托大学）
针对低资源场景下ASR转录质量差及自发语音影响主题识别的问题，本文对比纯音频与混合多模态方案，验证了无ASR时纯音频方案可行，混合方案效果最优。
2023-07-21 cs.CL eess.AS
BEA-Base: A Benchmark for ASR of Spontaneous Hungarian
Hungarian Research Centre for Linguistics（匈牙利语言研究中心）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；SpeechTex Inc.（SpeechTex 公司）
匈牙利语有1500万人使用，但易于访问的自动语音识别（ASR）基准数据集-特别是自发语音-实际上一直不可用。在本文中，我们介绍了BEA-Base，一个子集的spoken匈牙利语数据库，主要包括140个扬声器的自发语音。它专门用于评估ASR，主要用于对话式AI应用程序。在定义了语音识别子集和任务之后，使用开源工具包开发了几个基线-包括经典的HMM-DNN混合和通过跨语言迁移学习增强的端到端方法。获得的最佳结果是基于多语言自监督预训练，与经典方法相比，识别错误率降低了45%-无需应用外部语言模型或额外的监督数据。结果表明，使用BEA-Base的匈牙利语音识别系统的培训和评估的可行性。
2022-02-01 cs.AI cs.CL cs.SD
CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition
College of Computer Science, Nankai University（南开大学计算机学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出CS-Dialogue数据集，包含200位说话人104小时自发中英文语码转换对话及完整转录，并通过Transformer、Conformer和Branchformer实验揭示了语码转换ASR的挑战及现有预训练模型的改进空间。
2025-03-12 cs.CL cs.SD eess.AS
Long-Tail Rebalancing for Non-Verbal Vocalization-Aware ASR: A Track 1 System for the NVVSpeech Challenge
Nanjing University（南京大学）；Jilin University（吉林大学）；Beijing Institute of Technology（北京理工大学）；National Taiwan University（国立台湾大学）；Shenzhen Pimei Technology Co., Ltd.（深圳匹美科技有限公司）；Northwestern Polytechnical University（西北工业大学）
针对NVVSpeech挑战赛中非语言发声识别任务，提出基于标签协调与两阶段采样（平方根类别采样+均匀微调）的数据中心ASR流水线，缓解长尾分布，获官方评分63.86并排名第四。
2026-09-24 cs.CL cs.SD eess.AS
Toward Conversational Hungarian Speech Recognition: Introducing the BEA-Large and BEA-Dialogue Datasets
ELTE Research Centre for Linguistics（ELTE语言研究研究中心）；Speechtex Ltd.（Speechtex公司）
本文介绍了BEA-Large和BEA-Dialogue两个匈牙利语语音数据集，用于提升对话式语音识别技术，并展示了基于这些数据集的ASR模型性能及说话人识别结果。
2026-01-14 cs.AI cs.CL cs.SD
Addressing the Blind Spots in Spoken Language Processing
Bar-Ilan University（巴伊兰大学）；University of Zürich（苏黎世大学）
本文指出非语言线索在人类交流中被忽视，提出开发通用自动手势分割与转录模型将其转为文本，以弥补NLP盲点，并呼吁研究界推动相关方法开发与验证。
2023-09-06 cs.CL cs.SD eess.AS
Evaluating ASR robustness to spontaneous speech errors: A study of WhisperX using a Speech Error Database
Khoury College of Computer Sciences（科里学院计算机科学学院）
本文利用SFUSED语音错误数据库的多维标注，评估WhisperX在5300个自发语音错误上的转写准确率，证明该数据库可作为ASR系统性能诊断的有效工具。
2025-08-18 cs.CL
WESR: Scaling and Evaluating Word-level Event-Speech Recognition
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
WESR提出词级事件-语音识别的扩展与评估框架，通过细化分类和专家标注的评估集，实现对非语言事件的精确定位，提升语音识别与处理的准确性。
2026-01-08 cs.AI cs.CL cs.SD
Towards Understanding Spontaneous Speech: Word Accuracy vs. Concept Accuracy
在本文中，我们描述了一种方法来自动评估的语音识别和理解能力的口语对话系统的训练时间表信息。我们使用单词准确度进行识别，使用概念准确度进行理解性能判断。这两个指标都是通过将这些模块的输出与正确的参考答案进行比较来计算的。我们报告的评价结果约10000话语的自发语音语料库。我们观察到单词准确性和概念准确性之间几乎呈线性关系。
1996-05-15 cmp-lg cs.CL
Impact of automatic speech recognition quality on Alzheimer's disease detection from spontaneous speech: a reproducible benchmark study with lexical modeling and statistical validation
Independent Researcher, Austin, Texas, USA（独立研究者，得克萨斯州奥斯汀）
本文研究了自动语音识别质量对阿尔茨海默病检测的影响，通过词汇特征和统计验证，发现高质量ASR可提升分类性能，强调ASR选择在临床语音AI系统中的关键作用。
2026-03-18 cs.CL cs.LG q-bio.QM
A Semantic Analyzer for the Comprehension of the Spontaneous Arabic Speech
这项工作是一个大型研究项目的一部分，名为“Oréoça”，旨在开发自动语音识别，翻译和合成阿拉伯语的工具。我们的注意力主要集中在试图改善我们的语义解码器的基础上的概率模型。为了实现这一目标，我们决定测试相关的上下文使用的影响，以及不同类型的上下文数据集成，语义解码器的有效性。调查结果令人满意。
2016-10-08 cs.CL
A Large Dataset of Spontaneous Speech with the Accent Spoken in São Paulo for Automatic Speech Recognition Evaluation
University of São Paulo（圣保罗大学）；Universidade Estadual Paulista（圣保罗州立大学）
本文提出了首个大型圣保罗口音巴西葡萄牙语自发语音语料库 NURC-SP Audio Corpus，并在其上微调 Wav2Vec2-XLSR-53 和 Distil-Whisper 模型进行 ASR 实验，最佳 WER 达 24.22%，证明了该语料库在 ASR 任务中的有效性。
2024-09-10 cs.CL eess.AS
Strong Alone, Stronger Together: Synergizing Modality-Binding Foundation Models with Optimal Transport for Non-Verbal Emotion Recognition
IIIT-Delhi（德里印度信息技术学院）；UPES（佩鲁梅技术与科学大学）；Reliance Jio AICoE（信实焦人工智能卓越中心）；University of Tartu（塔尔图大学）；IIT-Dharwad（达尔瓦德印度理工学院）；IIIT-Dharwad（达尔瓦德印度信息技术学院）
本研究提出MATA框架，通过最优传输协同多模态基础模型（如LanguageBind和ImageBind）的表示，在非语言声音情感识别任务中优于单一模型与基线融合方法，实现SOTA性能。
2024-09-21 cs.SD eess.AS
The Impact of ASR on the Automatic Analysis of Linguistic Complexity and Sophistication in Spontaneous L2 Speech
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
近年来，自动化的方法来评估语言的复杂性在第二语言（L2）的写作取得了显着的进展，在衡量学习者的表现，预测人类的评级的质量学习者的产品，并基准L2的发展。相比之下，在口语领域的工作相对较少，特别是在评估L2自发语音的全自动方法方面。虽然一个性能良好的ASR系统的重要性被广泛认可，很少有研究已经进行了调查，其性能对后续的自动文本分析的影响。在本文中，我们专注于这个问题，并检查使用国家的最先进的ASR系统的影响，随后自动分析的语言复杂性自发产生的L2语音。一组30个选定的措施被认为是，分为四类：句法，词汇，n-语法频率，和信息理论的措施。通过相关性分析确定了基于ASR生成与手动transmittance获得的这些测量值之间的一致性。还提出了在控制任务类型影响时，ASR性能对特定类型的复杂性措施的更有区别的影响。
2021-06-16 cs.CL
Towards Better Understanding of Spontaneous Conversations: Overcoming Automatic Speech Recognition Errors With Intent Recognition
Avaya（亚美亚公司）；Poznań University of Technology（波兹南理工大学）
在本文中，我们提出了一种方法，用于纠正自动语音识别（ASR）的错误，使用有限状态转换器（FST）的意图识别框架。意图识别是一种功能强大的技术，用于面向回合的人机对话中的对话流管理。这种技术在人与人之间的对话中也非常有用，尽管它的目的是从对话中提取关键洞察力。我们认为，目前可用的意图识别技术不适用于人与人的对话，由于复杂的结构的话轮和各种不流利的自发对话中遇到的，加剧了语音识别错误和缺乏特定领域的标记数据。如果没有有效的关键洞察力提取技术，原始的人与人之间的对话记录仍然没有得到充分利用。我们的贡献包括一个新的FST的意图索引和算法的模糊意图搜索格-一个紧凑的图编码的ASR的假设。我们还开发了一个修剪策略来约束FST索引搜索的模糊性。提取的意图表示语言领域知识，并帮助我们改进（重新评分）原始成绩单。我们将我们的方法与仅使用最可能的转录假设（最佳路径）的基线进行比较，发现识别意图的总数增加了25%。
2019-08-21 cs.CL
CCMAN: Cognitive Instability-Aware Cross-Modal Attention Network for Interpretable Temporal Biomarkers of Verbal Fluency Speech
University of Sheffield（谢菲尔德大学）
本文提出CCMAN跨模态注意力网络，融合语义、声学和语言信息，利用时间言语不稳定性作为可解释生物标志物，在843人言语数据上实现优于基线的认知衰退早期检测。
2026-09-15 cs.LG cs.SD eess.AS
A Scalable Pipeline for Enabling Non-Verbal Speech Generation and Understanding
ModelBest
本文提出了一种可扩展的自动标注框架，用于从自然语音中识别和整合非言语发声，创建了包含38,718个样本的NonVerbalSpeech-38K数据集，提升了非言语语音生成与理解的可控性和性能。
2026-01-13 cs.SD eess.AS
voc2vec: A Foundation Model for Non-Verbal Vocalization
Politecnico di Torino（都灵理工大学）；Kore University of Enna（恩纳科雷大学）；Università degli Studi di Palermo（巴勒莫大学）
本文提出voc2vec，一个基于10个数据集（约125小时音频）训练的非语言发声基础模型，在分类任务上优于语音/音频基础模型及OpenSmile、emotion2vec等强基线，是首个通用发声表示模型。
2025-02-22 cs.SD eess.AS
Listening Between the Lines: Synthetic Speech Detection Disregarding Verbal Content
Politecnico di Milano（米兰理工大学）
本研究探索仅基于背景成分而非言语内容进行合成语音检测，发现语音成分非关键因素，为检测器开发提供指导。
2024-02-08 cs.MM cs.SD eess.AS
Speaker Identity in Non-Verbal Vocalizations: Conditional Distillation and Mixture of Experts Approach
University of Michigan（密歇根大学）；National Taiwan University（国立台湾大学）；Signal Analysis and Interpretation Laboratory (SAIL)（信号分析与解释实验室）；University of Southern California（南加州大学）；National Taiwan University Artificial Intelligence Center of Research Excellence（国立台湾大学人工智能研究中心）
针对非语言发声的说话人验证难题，提出结合冻结Data2Vec自监督特征、ECAPA-TDNN和专家混合模块的框架，通过条件蒸馏和对比损失，将等错误率从38.93%降至22.66%。
2026-06-23 cs.AI cs.SD eess.AS
Laugh Betrays You? Learning Robust Speaker Representation From Speech Containing Non-Verbal Fragments
本文研究包含非语言笑声片段的说话人确认问题，提出Laughter-Splicing based Network（LSN）方法，在LL和SL任务上分别实现20%和22%的相对提升，同时保持中性语音性能。
2023-11-20 cs.SD eess.AS
The complementary roles of non-verbal cues for Robust Pronunciation Assessment
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
本文提出IntraVerbalPA发音评估框架，结合帧级和话语级非语言线索及音素持续时间优度指标，性能达到或超越现有研究。
2023-09-14 cs.CL cs.SD eess.AS
JVNV: A Corpus of Japanese Emotional Speech with Verbal Content and Nonverbal Expressions
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；National Institute of Informatics（信息学研究所）
本研究提出首个用大语言模型自动生成脚本的日语情感语音语料库JVNV，包含言语内容与非言语发声，经筛选得到514个音素覆盖均衡的脚本，在音素覆盖度、情感可识别性上优于现有语料库，为情感语音合成带来新挑战与宝贵资源。
2023-10-09 cs.SD eess.AS
NVMOS: Non-Verbal Vocalization Quality Assessment in Speech
University of Science and Technology of China（中国科学技术大学）
针对非语言发声（如笑声、叹息）的感知质量评估空白，构建NV-MOS数据集，提出首个专用模型NVMOS，通过局部聚焦模块达到专家级评估一致性。
2026-06-16 cs.AI cs.SD eess.AS
Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models
Tencent（腾讯）
本文提出一种基于语言模型的自发语音合成系统，通过系统性分类统一建模自发行为并引入细粒度韵律建模，在韵律和自发行为自然度上显著优于基线。
2024-07-18 cs.CL cs.LG cs.SD
Towards Spontaneous Style Modeling with Semi-supervised Pre-training for Conversational Text-to-Speech Synthesis
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；XVerse Inc.（元象科技）；The Chinese University of Hong Kong（香港中文大学）
针对自发性语音数据稀缺和标注成本高的问题，提出半监督预训练方法，结合文本与语音信息检测自发性行为，并利用语言感知编码器建模会话关系，实现表现性语音合成。
2023-08-31 cs.CL cs.LG cs.SD
DnR-nonverbal: Cinematic Audio Source Separation Dataset Containing Non-Verbal Sounds
LY Corporation（LY公司）
针对电影音频源分离中笑声、尖叫等非语言人声被误分为音效的问题，本文构建 DnR-nonverbal 数据集，并验证其可提升合成与真实电影音频中的分离效果。
2025-06-09 cs.SD eess.AS
Modelling Paralinguistic Properties in Conversational Speech to Detect Bipolar Disorder and Borderline Personality Disorder
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Sheffield（谢菲尔德大学）；Queen Mary University of London（伦敦玛丽女王大学）
双相情感障碍（BD）和边缘型人格障碍（BPD）是两种慢性精神健康状况，临床医生发现基于临床访谈区分具有挑战性，因为它们的症状重叠。在这项工作中，我们调查这两个条件的自动检测建模语言和非语言线索在一组采访。我们提出了一种新的方法建模的短期功能的可行性签名变换，并将其与广泛使用的高级统计功能。我们证明了我们提出的基于签名的模型的优越性能。此外，我们展示了不同的功能集的作用，在表征BD和BPD。
2021-02-18 cs.CL cs.LG cs.SD
AdaSpeech 3: Adaptive Text to Speech for Spontaneous Style
Microsoft（微软）
虽然最近的文本到语音（TTS）模型在合成阅读风格（例如，有声读物）语音，但是合成自发式语音（例如，播客或对话），主要是因为两个原因：1）缺乏用于自发语音的训练数据; 2）难以对自发语音中的填充停顿（um和uh）和不同节奏进行建模。在本文中，我们开发了AdaSpeech 3，这是一个自适应TTS系统，可以微调训练有素的阅读式TTS模型，用于自发式语音。具体来说，1）为了在文本序列中适当地插入填充停顿（FP），我们在TTS模型中引入了FP预测器; 2）为了对变化的节奏建模，我们引入了混合专家模型的时长预测器（MoE），它包含三个分别负责生成快、中、慢语音的专家，并对时长预测器和音高预测器进行微调以适应节奏; 3）为了适应其他说话人的音色，我们在解码器中对一些参数进行了微调，只需要少量的语音数据。为了解决训练数据缺乏的问题，我们挖掘了一个自发语音数据集，以支持我们的研究工作，并促进未来的研究自发TTS。实验表明，AdaSpeech 3合成的语音具有自然的FP和节奏的自发风格，并取得了更好的MOS和SMOS分数比以前的自适应TTS系统。
2021-07-06 cs.CL cs.LG cs.SD
Haha-Pod: An Attempt for Laughter-based Non-Verbal Speaker Verification
Wuhan University（武汉大学）；Duke Kunshan University（昆山杜克大学）；Mashang Consumer Finance Co., Ltd（马上消费金融股份有限公司）
该研究探索基于笑声的非语言说话人验证，构建了包含240多名说话人数据的Haha-Pod数据集，提出两阶段师生框架缩小语言与笑声信号的说话人内嵌入距离，在笑声验证任务上取得显著性能提升。
2023-10-09 cs.SD eess.AS
Detecting and analysing spontaneous oral cancer speech in the wild
University of Amsterdam（阿姆斯特丹大学）；Delft University of Technology（代尔夫特理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）
口腔癌是一种每年影响全球50多万人的疾病。到目前为止，对口腔癌言语的分析主要集中在阅读言语上。在本文中，我们1）呈现和2）分析了从YouTube收集的长达三小时的自发性口腔癌语音数据集。3)我们在这个数据集上为口腔癌语音检测任务设置了基线。对这些可解释的机器学习基线的分析表明，咝音和塞音是自发性口腔癌语音检测的最重要指标。
2020-07-28 cs.LG cs.SD eess.AS
A Novel Scheme to classify Read and Spontaneous Speech
TCS Research（塔塔咨询服务公司研究院）
针对远程电话访谈场景下区分有稿朗读与自发语音的需求，提出基于预训练DeepSpeech引擎提取字母序列特征的分类方案，少量自解释特征即可实现高效分类。
2023-06-13 cs.CL cs.SD eess.AS
Empirical Study Incorporating Linguistic Knowledge on Filled Pauses for Personalized Spontaneous Speech Synthesis
The University of Tokyo（东京大学）
本文通过实证研究探讨个性化自发语音合成中的填充停顿问题，提出结合非个性化外部填充停顿预测器的合成方法，揭示填充停顿位置与词语分别影响自然度和个体性的关键规律。
2023-09-19 cs.CL cs.SD eess.AS
Impact of Speech Mode in Automatic Pathological Speech Detection
Idiap Research Institute（Idiap研究所）
本文比较经典机器学习与深度学习在受控言语和自发言语上的病理性言语检测效果，发现深度学习更能捕捉自发言语中的判别线索。
2024-06-14 cs.LG cs.SD eess.AS
Generating coherent spontaneous speech and gesture from text
KTH Royal Institute of Technology（KTH皇家理工学院）
非言语人类交流包括言语（语音）和非言语信息（例如，手势和头部运动）。机器学习的最新进展大大改进了生成这两种类型数据的合成版本的技术：在语音方面，文本到语音系统现在能够使用无脚本语音音频作为源材料生成高度令人信服的，自发的语音。在运动方面，概率运动生成方法现在可以合成生动逼真的语音驱动3D手势。在本文中，我们首次将这两种最先进的技术以连贯的方式放在一起。具体来说，我们展示了一个在单扬声器音频和运动捕捉数据集上训练的概念验证系统，该系统能够从文本输入中同时生成语音和全身手势。与以前的联合语音和手势生成方法相比，我们从语音合成中生成全身手势，该语音合成是在来自同一个人的自发语音记录上训练的。我们通过可视化手势空间和文本-语音-手势对齐来说明我们的结果，并通过https://simonalexanderson.github.io/IVA2020上的演示视频。
2021-01-14 cs.GR cs.LG cs.SD
CASPER: A Large Scale Spontaneous Speech Dataset
Johns Hopkins University（约翰霍普金斯大学）；Edison Academy Magnet School（埃迪森磁校）；Meta
针对高质量自发语音数据稀缺的问题，本文提出引导并录制自然对话的新型可复现流程，发布含100多小时语音的CASPER数据集，并计划后续扩展。
2025-06-11 cs.CL cs.SD eess.AS
On the Use of Self-Supervised Speech Representations in Spontaneous Speech Synthesis
KTH Royal Institute of Technology（KTH皇家理工学院）
本文系统比较了6种自监督语音表示及其3个不同层在自发语音合成中的效果，并扩展基于SSL的MOS预测框架用于合成自发语音评分，在两个自发语音语料库上验证了可推广趋势。
2023-07-11 cs.HC cs.LG cs.SD
MHTTS: Fast multi-head text-to-speech for spontaneous speech with imperfect transcription
Digital Technology（360数字科技）
基于神经网络的端到端文语转换（TTS）技术大大提高了合成语音的质量。然而，如何有效地利用大量的自发语音，而无需转录，仍然是一个悬而未决的问题。在本文中，我们提出了MHTTS，一个快速的多扬声器TTS系统，是强大的转录错误和说话风格的语音数据。具体来说，我们引入了一个多头模型，并通过联合训练将文本信息从高质量的语料库与手动转录到自发语音与不完全识别的转录。MHTTS具有三个优点：1）我们的系统合成质量更好的多说话人的声音与更快的推理速度。2)我们的系统是能够正确的文本信息传输到数据与不完美的转录，模拟使用腐败，或提供的自动语音识别器（ASR）。3)我们的系统可以利用大量的真实自发语音与不完善的转录和合成表达的声音。
2022-02-04 cs.SD eess.AS
Improving robustness of spontaneous speech synthesis with linguistic speech regularization and pseudo-filled-pause insertion
The University of Tokyo（东京大学）
本文提出一种结合语言语音正则化与伪填充停顿插入的训练方法，通过稳定非填充停顿语音合成并利用预测模型采样伪填充停顿，显著提升了自发语音合成在面对多样化填充停顿插入时的鲁棒性和自然度。
2023-09-19 cs.SD eess.AS
Comparing Natural Language Processing Techniques for Alzheimer's Dementia Prediction in Spontaneous Speech
University College London（伦敦大学学院）
阿尔茨海默氏痴呆症（AD）是一种影响认知功能的无法治愈的、使人衰弱的和进行性的神经退行性疾病。早期诊断是重要的，因为治疗可以延缓病情进展，并给那些诊断的重要时间。开发分析自发言语的模型最终可以为AD的早期诊断提供有效的诊断方式。通过自发语音识别阿尔茨海默氏症痴呆症任务提供了声学预处理和平衡的数据集，用于通过自发语音的建模对AD和相关表型进行分类和预测。我们专门分析了自发语音数据集的文本转录，建立并比较了AD与对照组分类的众多模型的性能，以及对精神迷你状态考试分数的预测。我们严格训练和评估支持向量机（SVM）、梯度提升决策树（GBDT）和条件随机场（CRF）以及基于深度学习的Transformer模型。我们发现我们表现最好的模型是一个简单的词频-逆文档频率（TF-IDF）向量化器，作为SVM模型的输入，以及一个预训练的基于Transformer的模型“DistilBERT”，用作简单线性模型的嵌入层。我们证明了测试集的分类指标得分为0.81-0.82，RMSE为4.58。
2020-09-23 cs.CL cs.LG cs.SD
Unified speech and gesture synthesis using flow matching
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出基于最优传输条件流匹配的统一架构，从文本联合合成语音与3D手势，以更少步骤实现更优合成质量，提升自然度与跨模态一致性。
2024-01-09 cs.GR cs.HC cs.LG
Classification of Spontaneous and Scripted Speech for Multilingual Audio
Spotify Ltd（Spotify公司）；Queen Mary University of London（伦敦玛丽女王大学）
本文构建多语言音频中脚本化与即兴语音分类器，系统比较传统特征与音频变换器，后者在11种语言组及非播客领域均达最优性能。
2024-12-16 cs.CL cs.SD eess.AS
Alzheimer's Disease Detection from Spontaneous Speech through Combining Linguistic Complexity and (Dis)Fluency Features with Pretrained Language Models
RWTH Aachen University（亚琛工业大学）；University of Amsterdam（阿姆斯特丹大学）
在本文中，我们将语言复杂性和（不）流利性特征与预训练的语言模型相结合，用于2021年ADReSSo（通过自发语音识别阿尔茨海默氏痴呆症）挑战的阿尔茨海默病检测任务。测试集的准确率为83.1%，比基线模型提高了4.23%。我们的表现最好的模型，集成组件模型使用堆叠集成技术进行交叉验证和测试数据同样出色，表明它是强大的过拟合。
2021-06-16 cs.CL cs.SD eess.AS
What Do Speech Foundation Models Not Learn About Speech?
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究分析了Whisper等语音基础模型在Dynamic-SUPERB基准上对非语言线索的捕捉与逐层表示，通过零样本评估和逐层特征微调，揭示了模型的泛化能力、层间表示特征及下游任务适配程度。
2024-10-16 cs.CL cs.SD eess.AS
Early Dementia Detection Using Multiple Spontaneous Speech Prompts: The PROCESS Challenge
University of Sheffield（谢菲尔德大学）；University of Edinburgh（爱丁堡大学）
PROCESS挑战赛旨在通过提供包含神经科医生设计的三个提示的自发语音语料库，推动早期痴呆检测研究，其基线模型在分类和回归任务上分别取得55.0%的F1分数和2.98的RMSE。
2024-12-05 cs.CL cs.SD eess.AS
Measuring Entrainment in Spontaneous Code-switched Speech
Department of Computer Science（计算机科学系）；Columbia University（哥伦比亚大学）
本研究探讨人类间自发语码转换口语中的趋同现象，发现单语环境及对话代理文本中的趋同模式可推广至该场景，揭示了趋同的普遍性及其在语音技术中的应用潜力。
2024-03-26 cs.CL cs.SD eess.AS
Bailing-TTS: Chinese Dialectal Speech Synthesis Towards Human-like Spontaneous Representation
AI Lab, Giant Network（巨量引擎AI实验室）
Bailing-TTS 通过持续半监督学习和专用 transformer 多阶段训练，实现高质量、类人自发的中文方言语音合成。
2024-08-01 cs.CL cs.SD eess.AS
