End-to-End Text-to-Speech Based on Latent Representation of Speaking Styles Using Spontaneous Dialogue
rinna Co., Ltd.（Rinna株式会社）；Nagoya Institute of Technology（名古屋工业大学）
近年来的文本转语音（TTS）技术已经取得了与人类相当的质量，然而，它在口语对话中的应用还没有得到广泛的研究。本研究的目的是实现一个TTS，非常类似于人类的对话。首先，我们记录和转录真实的自发对话。第一阶段，训练变分自动编码器（VAE）-VITS或高斯混合变分自动编码器（GMVAE）-VITS，将话语级隐变量引入到端到端文本转语音（VITS）的变分推理中，并进行对抗学习。一个风格编码器，提取一个潜在的说话风格表示从语音训练联合TTS。在第二阶段中，训练风格预测器以预测将从对话历史合成的说话风格。在推理过程中，通过将风格预测器预测的说话风格表示传递给VAE/GMVAE-VITS，可以以适合于对话上下文的风格合成语音。主观评价结果表明，所提出的方法优于原来的VITS对话级的自然度。
2022-06-24 cs.CL cs.LG cs.SD
CALLS: Japanese Empathetic Dialogue Speech Corpus of Complaint Handling and Attentive Listening in Customer Center
The University of Tokyo（东京大学）；LINE Corp.（LINE公司）
本文提出日语客服中心共情对话语音语料库CALLS，通过模拟电话接线员场景扩展共情对话语音合成的应用范围，并实验证明混合不同领域语料会导致合成语音质量出现有偏差的改善。
2023-05-23 cs.CL cs.LG cs.SD
Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models
本文研究了使用目标说话人自动语音识别（TS-ASR）的同时语音识别和说话人日记的单通道对话录音。TS-ASR是一种在给定目标说话人的短样本话语的情况下仅自动提取和识别该说话人的语音的技术。TS-ASR的一个明显缺点是，当录音中的扬声器未知时，它不能使用，因为它需要在解码之前对目标扬声器进行采样。为了消除这种限制，我们提出了一种迭代法，其中（i）说话人嵌入的估计和（ii）基于估计的说话人嵌入的TS-ASR交替执行。我们使用非常具有挑战性的对话录音，其中扬声器重叠率超过20%，评估所提出的方法。我们证实，所提出的方法显着降低了字出错率（WER）和日记出错率（DER）。我们提出的方法结合i-向量说话人嵌入最终实现了WER，其与给定Oracle说话人嵌入的TS-ASR的WER仅相差2.1%。此外，我们的方法可以同时解决说话人日记作为一个副产品，并取得了更好的DER比传统的基于聚类的说话人日记方法的基础上的i-向量。
2019-09-17 cs.CL cs.SD eess.AS
PersonaTAB: Predicting Personality Traits using Textual, Acoustic, and Behavioral Cues in Fully-Duplex Speech Dialogs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanjing University, Suzhou（南京大学（苏州））；National University of Singapore（新加坡国立大学）；School of Data Science（数据科学学院）；School of Intelligence Science and Technology（智能科学与技术学院）；Department of ECE（电子与计算机工程系）
针对语音对话数据集缺乏人格标注导致人格感知对话智能体研究不足的问题，提出PersonaTAB流水线方法构建带多维度标注的对话数据集，设计基于大语言模型的对话人格预测系统，经人类评估验证其与人类判断的一致性优于现有方法。
2025-05-20 cs.CL cs.SD eess.AS
Freeze-Omni: A Smart and Low Latency Speech-to-speech Dialogue Model with Frozen LLM
Tencent Youtu Lab（腾讯优图实验室）；Nanjing University（南京大学）
本研究提出冻结LLM参数的Freeze-Omni语音-文本多模态架构，通过三阶段训练、多任务训练实现低延迟双向语音对话，保留骨干LLM智能水平，避免灾难性遗忘。
2024-12-08 cs.AI cs.CL cs.SD
Device Directedness with Contextual Cues for Spoken Dialog Systems
AWS AI Labs（AWS人工智能实验室）
在这项工作中，我们将打断验证定义为监督学习任务，其中仅使用音频信息将用户口语对话分类为真和假打断。在预训练模型成功之后，我们使用来自自监督表示学习模型的低级语音表示进行下游分类任务。此外，我们还提出了一种新的技术，将词汇信息直接注入语音表示，以提高在预训练过程中隐式学习的特定领域的语言信息。对口语对话数据进行的实验表明，我们提出的经过训练以完全从语音表示验证插入的模型比使用音频和自动语音识别的基线LSTM模型相对快38%，并实现了4.5%的相对F1分数改进（ASR）1-最佳假设。最重要的是，我们提出的最好的模型与词汇注入表示以及上下文特征提供了进一步的相对改善5.7%的F1得分，但只有22%比基线快。
2022-11-23 cs.CL cs.SD eess.AS
Toward Conversational Hungarian Speech Recognition: Introducing the BEA-Large and BEA-Dialogue Datasets
ELTE Research Centre for Linguistics（ELTE语言研究研究中心）；Speechtex Ltd.（Speechtex公司）
本文介绍了BEA-Large和BEA-Dialogue两个匈牙利语语音数据集，用于提升对话式语音识别技术，并展示了基于这些数据集的ASR模型性能及说话人识别结果。
2026-01-14 cs.AI cs.CL cs.SD
Joint Speech and Text Training for LLM-Based End-to-End Spoken Dialogue State Tracking
Brno University of Technology（布拉格技术大学）
提出联合训练口语DST数据和跨域文本DST数据的方法，解决口语数据稀缺和跨域泛化问题，无需目标域口语训练数据即可获得良好性能。
2026-06-23 cs.CL cs.SD eess.AS
Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech
我们描述了一种用于对会话语音中的对话行为进行建模的统计方法，即，类似言语行为的单元，如陈述、问题、反向通道、同意、不同意和道歉。我们的模型检测和预测的基础上的词汇，搭配，韵律线索，以及对话行为序列的话语连贯性的对话行为。对话模型是基于治疗会话的话语结构作为一个隐藏的马尔可夫模型和个人的对话行为的观察，从模型的状态。通过对话行为n-gram对可能的对话行为序列进行约束建模，将统计对话语法与单词n-gram、决策树和神经网络相结合，对每个对话行为的特殊词汇和韵律表现进行建模。我们开发了一个概率集成的语音识别与对话建模，以提高语音识别和对话行为分类的准确性。使用来自自发的人对人电话语音的Switchboard语料库的1，155个会话的大型手动标记数据库来训练和评估模型。我们实现了良好的对话行为标记准确率（65%基于错误，自动识别的单词和韵律，71%基于单词成绩单，相比之下，机会基线准确率为35%，人类准确率为84%）和单词识别错误的小幅减少。
2000-10-26 cs.CL
DailyTalk: Spoken Dialogue Dataset for Conversational Text-to-Speech
KAIST（韩国科学技术院）
当前的大多数文本转语音（TTS）数据集是个体话语的集合，包含很少的会话方面。在本文中，我们介绍了DailyTalk，一个高质量的会话语音数据集设计的会话TTS。我们从开放域对话数据集DailyDialog中采样、修改并记录了2,541个对话，这些对话继承了其注释属性。在我们的数据集之上，我们扩展了以前的工作作为我们的基线，其中非自回归TTS以对话中的历史信息为条件。从基线实验与一般和我们的新指标，我们表明，DailyTalk可以作为一个通用的TTS数据集，更重要的是，我们的基线可以代表上下文信息从DailyTalk。DailyTalk数据集和基线代码可免费供CC-BY-SA 4.0许可证的学术使用。
2023-03-13 cs.AI cs.CL eess.AS
Towards human-like spoken dialogue generation between AI agents from written dialogue
rinna Co., Ltd.（Rinna株式会社）
针对从书面对话生成类人口语对话的难题，研究提出基于离散token的CHATS系统，可同时生成双方语音、实现自然话轮转换，效果优于基线，对话更互动流畅且清晰可懂。
2023-10-02 cs.CL cs.LG cs.SD
Dialog-context aware end-to-end speech recognition
Carnegie Mellon University（卡内基梅隆大学）
现有的语音识别系统通常是在句子级别上构建的，尽管已知对话上下文（例如，跨越句子或说话者的更高级别的知识）可以帮助处理长对话。端到端语音识别系统的最新进展有望将所有可用信息（例如声学、语言资源）集成到单个模型中，然后对其进行联合优化。因此，这样的对话上下文信息也应该被集成到端到端模型中以进一步提高识别准确性，这似乎是自然的。在这项工作中，我们提出了一个对话上下文感知的语音识别模型，它显式地使用上下文信息超出会话级别的信息，在一个端到端的方式。我们的对话上下文模型捕获了一个历史的会话级上下文，使整个系统可以训练与对话上下文信息在一个端到端的方式。我们评估我们提出的方法上的开关板会话语音语料库，并表明我们的系统优于一个可比的双级端到端的语音识别系统。
2018-08-07 cs.CL
ParaBridge: Bridging Paralinguistic Perception and Dialogue Behavior in Speech Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent Hunyuan（腾讯混元）；Shenzhen Loop Area Institute（深圳河套学院）；Amphion Technology Co., Ltd.（Amphion科技有限公司）；Tsinghua University（清华大学）
提出ParaBridge，一种在线自我蒸馏方法，将推理阶段的副语言指令支架转化为稳定的模型行为，无需人工标注或外部奖励，显著提升语音语言模型对副语言线索的响应能力。
2026-09-15 cs.CL cs.SD eess.AS
Paralinguistics-Aware Speech-Empowered Large Language Models for Natural Conversation
Seoul National University（首尔大学）；NAVER Cloud（NAVER云）；Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究院）；NAVER AI Lab（NAVER人工智能实验室）
针对基于LLM的口语对话建模策略缺失问题，提出统一口语对话模型USDM，无需显式ASR/TTS系统，通过融入韵律的语音-文本模型及通用预训练方案，在DailyTalk数据集上生成自然口语响应，性能优于基线。
2024-11-28 cs.CL cs.SD eess.AS
UltraVoice: Scaling Fine-Grained Style-Controlled Speech Conversations for Spoken Dialogue Models
X-LANCE Lab, Shanghai Jiao Tong University（上海交通大学X-LANCE实验室）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）；Shanghai Innovation Institute（上海创新研究院）
UltraVoice是首个多细粒度语音风格控制的大规模语音对话数据集，经其微调的SLAM-Omni等模型，在风格可控性、核心对话能力及TTS模型训练上均获显著提升
2026-09-01 cs.CL eess.AS
Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs
Florida International University（佛罗里达国际大学）
针对2024年SLT-GenSEC挑战赛，提出基于上下文对话分割与提示优化的LLM语音情感识别方法，最佳提交未加权准确率超基线20%，获挑战赛最佳。
2024-10-27 cs.CL cs.SD eess.AS
On model architecture for a children's speech recognition interactive dialog system
South-West University "Neofit Rilski"（西南大学“内奥菲特·里尔斯基”）
这份报告提出了一个一般模型的信息系统的架构为儿童的语音识别。它提出了一个语音数据流的模型，以及它是如何工作的。这些研究的结果和静脉架构模型表明，研究需要集中在声学语音建模，以提高儿童的语音识别的质量和系统的可持续性噪声和传输环境的变化。另一个重要的方面是开发更精确的算法来建模自发的儿童语音。
2016-05-25 cs.CL cs.HC cs.SD
CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Wuhan AI Research（武汉人工智能研究院）
CoSTA是一种解耦生成与合成令牌空间的后处理框架，可提升口语对话模型的生成速度、降低延迟并保持响应质量，还具备跨架构迁移及与低速率分词互补的特性。
2026-10-16 cs.AI cs.CL cs.SD
WavChat: A Survey of Spoken Dialogue Models
Zhejiang University（浙江大学）；Microsoft（微软公司）；Alibaba Group（阿里巴巴集团）；Tencent YouTu Lab（腾讯优图实验室）
针对口语对话系统缺乏全面综述的问题，本文按时间顺序梳理现有系统并分为级联与端到端范式，深入分析核心技术、数据集及评估体系，为该领域学术研究与工业应用提供参考。
2024-11-26 cs.CL cs.LG cs.MM
Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation
Columbia University（哥伦比亚大学）；University of Rochester（罗切斯特大学）
本文提出Style-Talker框架，通过微调音频LLM和基于风格的TTS模型，结合用户输入音频的转录与语音风格生成响应，在保持对话自然度和连贯性的同时将速度提升50%以上。
2024-08-13 cs.AI cs.CL eess.AS
PSLM: Parallel Generation of Text and Speech with LLMs for Low-Latency Spoken Dialogue Systems
rinna Co., Ltd.（rinna公司）
本文提出PSLM，通过扩展大语言模型输入输出序列实现文本与语音并行生成，在口语问答中降低延迟并保持内容质量，并进一步利用多序列语音生成减少延迟。
2024-10-03 cs.AI cs.CL cs.LG
Aligning Spoken Dialogue Models from User Interactions
Department of Computer Science, Cornell University. Work done at Kyutai.（计算机科学系，康奈尔大学。在Kyutai工作）
本文提出一种新颖的偏好对齐框架，通过构建超15万个AI标注的语音偏好对数据集并利用离线对齐方法微调全双工语音到语音模型，有效提升了实时口语对话的事实性、安全性与上下文对齐能力。
2025-06-26 cs.CL cs.LG cs.SD
ClovaCall: Korean Goal-Oriented Dialog Speech Corpus for Automatic Speech Recognition of Contact Centers
Clova AI, NAVER Corp.（NAVER公司Clova人工智能实验室）；Hankuk University of Foreign Studies（韩国外国语大学）
通过呼叫的自动语音识别（ASR）对于各种应用至关重要，包括AI for Contact Center（AICC）服务。尽管ASR的进步，然而，大多数公开可用的基于呼叫的语音语料库，如Switchboard是老式的。此外，大多数现有的呼叫语料库是英语的，主要集中在开放域对话或一般情况下，如有声读物。在这里，我们介绍了一个新的大规模的韩国呼叫为基础的语音语料库下的目标导向的对话场景，从超过11,000人，即，ClovaCall语料库。ClovaCall包括餐馆预订域中的大约60，000对短句及其对应的口语。我们使用两个标准的ASR模型进行了密集的实验，验证了我们的数据集的有效性。此外，我们还通过https://github.com/ClovaAI/ClovaCall发布了ClovaCall数据集和基线源代码。
2020-05-17 cs.CL cs.LG cs.SD
Retrieval Augmented End-to-End Spoken Dialog Models
Google（谷歌公司）
本文提出检索增强的SLM（ReSLM），通过语音检索器获取音频中的文本实体并输入模型，提升语音对话状态跟踪性能，在DSTC-11上联合目标准确率达38.6%。
2024-02-02 cs.AI cs.CL cs.SD
STUDIES: Corpus of Japanese Empathetic Dialogue Speech Towards Friendly Voice Agent
The University of Tokyo（东京大学）；LINE Corp.（LINE公司）
我们提出的研究，一个新的语音语料库开发的语音代理，可以说在一个友好的方式。人类自然地控制他们的言语韵律来相互同情。通过将这种“移情对话”行为整合到口语对话系统中，我们可以开发出一种能够更自然地响应用户的语音代理。我们设计的研究语料库，包括一个发言者谁说话的同情对话者的情绪明确。我们描述了我们的方法来构建一个移情对话语音语料库和报告的研究语料库的分析结果。我们进行了一个文本到语音的实验，初步探讨如何我们可以开发更自然的语音代理，可以调整其说话风格对应于对话者的情绪。结果表明，使用对话者的情感标签和会话上下文嵌入可以产生与使用智能体的情感标签合成的语音相同程度的自然度。我们的研究语料库的项目页面是http://sython.org/Corpus/STUDIES。
2022-06-16 cs.AI cs.CL cs.HC
Stream RAG: Instant and Accurate Spoken Dialogue Systems with Streaming Tool Usage
Meta；Carnegie Mellon University（卡内基梅隆大学）
针对端到端语音对话系统易幻觉、工具集成延迟高的问题，提出流式RAG框架，通过并行预测工具查询降低延迟，构建AudioCRAG基准验证其可大幅提升问答准确率并减少工具使用延迟，且支持多模态输入。
2025-10-02 cs.CL cs.SD eess.AS
Encoding Word Confusion Networks with Recurrent Neural Networks for Dialog State Tracking
本文提出了一种新的方法来编码词混淆网络，它可以代表一个丰富的假设空间的自动语音识别系统，通过循环神经网络。我们证明了我们的方法的实用程序的任务，依赖于自动语音识别输出的口语对话系统中的对话状态跟踪。对混淆网络进行编码优于对神经系统中的自动语音识别的最佳假设进行编码，以用于在公知的第二对话状态跟踪挑战数据集上进行对话状态跟踪。
2017-08-09 cs.CL
Detecting Mental Manipulation in Speech via Synthetic Multi-Speaker Dialogue
Columbia University（哥伦比亚大学）；Red Hat（红帽公司）
本文提出首个通过合成多说话对话检测心理操控的研究，揭示语音与文本在检测准确性上的差异，强调多模态对话系统中模态意识的重要性。
2026-01-13 cs.CL
ZipVoice-Dialog: Non-Autoregressive Spoken Dialogue Generation with Flow Matching
Xiaomi Corp.（小米公司）
本文提出ZipVoice-Dialog模型，通过流匹配和课程学习策略提升语音对话生成的推理速度和准确性，同时发布OpenDialog数据集以促进研究发展。
2026-04-14 cs.CL eess.AS
Speaker-Aware Simulation Improves Conversational Speech Recognition
SpeechTex Ltd.（SpeechTex公司）；ELTE Research Centre for Linguistics（ELTE语言学研究中心）
本文提出面向说话人的模拟对话方法，通过生成合成对话数据提升匈牙利语对话语音识别性能。
2026-02-04 cs.CL cs.SD eess.AS
Task Oriented Dialogue as a Catalyst for Self-Supervised Automatic Speech Recognition
University of California, Berkeley（加州大学伯克利分校）；Amazon Alexa AI（亚马逊Alexa AI）
针对ASR系统错误导致NLU应用失败且助手无法离线学习的问题，提出自监督对比微调方法CLC，利用不成功对话中的伪影改进模型，在公开元数据集OD3和真实系统中分别实现最高19.2%和6.7%的性能提升。
2024-01-04 cs.CL cs.LG cs.SD
NTPP: Generative Speech Language Modeling for Dual-Channel Spoken Dialogue via Next-Token-Pair Prediction
Tencent（腾讯）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Shenzhen University（深圳大学）
针对 SLM 未充分利用双通道语音数据的问题，提出 NTPP 下一词元对预测范式，用仅解码器架构学习说话人无关的双通道口语对话，并提升对话能力与实时推理效率。
2025-06-11 cs.AI cs.CL cs.SD
The Speech-LLM Takes It All: A Truly Fully End-to-End Spoken Dialogue State Tracking Approach
本文提出利用语音大语言模型实现端到端语音对话状态跟踪，通过比较不同上下文管理策略，发现完整语音对话输入能获得最佳性能，同时压缩历史信息能保持准确性与效率的平衡。
2026-02-16 cs.AI cs.CL cs.LG
EMO-Reasoning: Benchmarking Emotional Reasoning Capabilities in Spoken Dialogue Systems
Zhejiang University（浙江大学）；UC Berkeley（伯克利大学）；National Taiwan University（台湾国立大学）；University of Southern California（南加州大学）
针对口语对话系统缺乏情绪推理评估整体系统的问题，本文提出EMO-Reasoning基准与跨轮次情绪推理评分，通过文本转语音生成数据集并评估七个系统，有效检测情绪不一致，推动情绪感知对话建模发展。
2025-08-26 cs.CL eess.AS
TurnGuide: Enhancing Meaningful Full Duplex Spoken Interactions via Dynamic Turn-Level Text-Speech Interleaving
The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies（华为技术）
提出TurnGuide方法，通过动态分割助手语音为对话轮次并交错生成轮次级文本和语音，解决全双工语音语言模型在连续双通道音频中集成离散文本令牌导致的时间对齐问题，显著提升语义连贯性和轮次交互性能。
2026-06-18 cs.CL cs.SD eess.AS
Synchronization and Turn-Taking in Full-Duplex Speech Dialogue Models
ASAPP Inc.（ASAPP公司）；Departamento de Computación, FCEyN, Universidad de Buenos Aires（计算机系，福克雷斯-恩分校，布宜诺斯艾利斯大学）
本文研究了全双工语音对话模型如何通过内部表示的同步协调交互，并发现噪声条件下同步性下降，内部状态编码了提前的轮流预测信息。
2026-05-19 cs.AI cs.CL cs.SD
Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems
Waseda University（早稻田大学）；Karlsruhe Institute for Technology（卡尔斯鲁厄理工学院）
本文提出一种模拟人类预测行为的对话系统方法，通过掩蔽未来音频片段训练ASR预测后续词语，并结合声学与语言学信息的交叉注意力算法检测话语结束，可在实际EOU前300ms进行预测并提升ASR性能。
2024-09-30 cs.CL cs.SD eess.AS
Data Augmentation for Training Dialog Models Robust to Speech Recognition Errors
Alexa AI, Amazon（亚马逊Alexa人工智能部门）
基于语音的虚拟助理，例如Amazon Alexa、Google assistant和Apple Siri，通常通过自动语音识别（ASR）将用户的音频信号转换为文本数据，并将文本馈送到下游对话模型以用于自然语言理解和响应生成。ASR输出是容易出错的;然而，下游对话模型通常是在无错误的文本数据上训练的，这使得它们在推理期间对ASR错误敏感。为了弥补这一差距，使对话模型对ASR错误更加鲁棒，我们利用ASR错误模拟器将噪声注入到无错误的文本数据中，随后用增强的数据训练对话模型。与处理ASR错误的其他方法（例如使用ASR网格或端到端方法）相比，我们的数据增强方法不需要对ASR或下游对话模型进行任何修改;我们的方法在推理时间期间也不会引入任何额外的延迟。我们进行了大量的实验基准数据和表明，我们的方法提高了下游对话模型的性能，在ASR错误的存在下，它是特别有效的低资源的情况下，有约束的模型大小或训练数据是稀缺的。
2020-06-10 cs.AI cs.CL cs.LG
Just ASR + LLM? A Study on Speech Large Language Models' Ability to Identify and Understand Speaker in Spoken Dialogue
University of Washington（华盛顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia University（哥伦比亚大学）
本文通过 Gaokao 与自建“What Do You Like?”数据集评估 Qwen-Audio 和 WavLLM，发现当前 SpeechLLM 主要依赖对话文本而非说话人识别，并提出身份关键型 SQA 评估框架。
2024-10-02 cs.CL eess.AS
Towards a Japanese Full-duplex Spoken Dialogue System
Nagoya University（名古屋大学）
本文提出首个公开的日语全双工口语对话模型，基于Moshi构建，通过大规模日语口语数据预训练、高质量立体声对话微调及合成数据增强，在自然度和有意义性上超越日语基线。
2025-06-03 cs.CL eess.AS
Mitigating the Impact of Speech Recognition Errors on Chatbot using Sequence-to-Sequence Model
National Taiwan University（国立台湾大学）
我们应用序列到序列模型，以减轻开放域端到端对话生成的语音识别错误的影响。我们把这个任务看作是一个领域自适应问题，其中ASR译文和原文处于两个不同的领域。在本文中，我们提出的模型包括两个单独的编码器为每个域数据，并使其隐藏状态相似，以确保解码器预测相同的对话文本。该方法表明，序列到序列模型可以学习具有相同含义的ASR transmits和原始文本对，并消除语音识别错误。在Cornell电影对话数据集上的实验结果表明，领域自适应系统有助于口语对话系统生成与原文答案更相似的响应。
2017-12-02 cs.CL
PRISM: Prosody-Integrated Multi-Agent Reasoning Framework for Empathetic Spoken Dialogue
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）
提出PRISM多智能体框架，通过解耦语音感知、响应生成和语音合成，并引入韵律到语言翻译机制，实现共情口语对话中的韵律适当性和知识集成。
2026-06-12 cs.CL
Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue
Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
Motion-Omni是端到端联合语音与全身动作生成框架，基于Qwen2.5-7B-Instruct实现，在动作指标接近教师级联的同时速度提升5.4倍，词错误率为全模态系统最低，还发布了相关数据集与评估协议。
2026-09-28 cs.CV cs.SD eess.AS
Adapting Text-based Dialogue State Tracker for Spoken Dialogues
KAIST（韩国科学技术院）；Electronics Telecommunications Research Institute (ETRI)（韩国电子通信研究院）
本文提出一种适配口语对话的模型，包含自动语音识别纠错、基于D3ST的槽位估计及后处理模块，验证了纠错与数据增强对提升鲁棒性的关键作用。
2024-01-09 cs.AI cs.CL
DuplexDrama: A Synthesized Dialogue Dataset with Scenarios, Full-Duplex Behaviors, Expressive Speech, and Sound Events
Zuoyebang Education Technology（作业帮教育科技）
DuplexDrama是首个涵盖场景、全双工行为、表现性语音和声音事件的合成对话数据集，通过4阶段流水线构建，包含超2000小时音频，并发布6400个双语对话子集以推进全双工对话模型研究。
2026-09-25 cs.CL
Advancing Speech Language Models by Scaling Supervised Fine-Tuning with Over 60,000 Hours of Synthetic Speech Dialogue Data
Beike Inc.（贝壳公司）
针对实时大型语音语言模型、尤其中文研究不足的问题，本文基于含700万段中英文对话、超过60,000小时的Ke-SpeechChat合成数据集进行监督微调，提出无缝语音模型KE-Omni。
2024-12-03 cs.AI cs.CL cs.HC
Utterance-Level Methods for Identifying Reliable ASR-Output for Child Speech
Centre for Language Studies, Radboud University, Netherlands（语言研究所以及鲁文大学，荷兰）；Department of Language and Communication, Radboud University, Netherlands（语言与交流系，鲁文大学，荷兰）
本文提出两种新型方法，用于在语句层面选择可靠的ASR输出，用于阅读语音和对话材料，通过英荷语数据集验证，结果显示最佳策略的精度超过97.4%，有效降低错误率。
2026-04-10 cs.AI cs.CL eess.AS
Speech Repairs, Intonational Boundaries and Discourse Markers: Modeling Speakers' Utterances in Spoken Dialog
在这篇论文中，我们提出了一个统计语言模型来解决语音修复，语调边界和话语标记语。而不是找到一个声学信号的最佳词的解释，我们重新定义的语音识别问题，使它也确定的POS标签，话语标记，语音修复和语调短语结尾（在确定话语单位的主要线索）。将这些额外的元素添加到语音识别问题中实际上可以更好地预测所涉及的单词，因为我们能够利用边界音调，话语标记和语音修复的预测来更好地解释接下来会出现什么单词。此外，我们可以利用声学信息，如沉默信息，它往往与语音修复和语调短语结尾共现，目前的语言模型只能视为噪声的声学信号。这个语言模型的输出是一个更全面的帐户发言者的回合，与部分的语音分配给每个单词，语调短语结尾和话语标记识别，语音修复检测和纠正。事实上，语调短语结尾、话语标记和语音修复的解决方案的识别允许语音识别器对说话者的话语进行建模，而不是简单地对所涉及的单词进行建模，并且因此它可以返回对说话者的回合的更有意义的分析以供稍后处理。
1997-12-23 cmp-lg cs.CL
Spoken DialogSum: An Emotion-Rich Conversational Dataset for Spoken Dialogue Summarization
Center for Language and Speech Processing（语言与语音处理中心）
Spoken DialogSum是一个用于语音对话摘要的富有情感的对话数据集，通过结合语音、摘要和非语言线索，提升情感摘要的生成效果。
2025-12-17 cs.AI cs.CL cs.LG
Towards Better Understanding of Spontaneous Conversations: Overcoming Automatic Speech Recognition Errors With Intent Recognition
Avaya（亚美亚公司）；Poznań University of Technology（波兹南理工大学）
在本文中，我们提出了一种方法，用于纠正自动语音识别（ASR）的错误，使用有限状态转换器（FST）的意图识别框架。意图识别是一种功能强大的技术，用于面向回合的人机对话中的对话流管理。这种技术在人与人之间的对话中也非常有用，尽管它的目的是从对话中提取关键洞察力。我们认为，目前可用的意图识别技术不适用于人与人的对话，由于复杂的结构的话轮和各种不流利的自发对话中遇到的，加剧了语音识别错误和缺乏特定领域的标记数据。如果没有有效的关键洞察力提取技术，原始的人与人之间的对话记录仍然没有得到充分利用。我们的贡献包括一个新的FST的意图索引和算法的模糊意图搜索格-一个紧凑的图编码的ASR的假设。我们还开发了一个修剪策略来约束FST索引搜索的模糊性。提取的意图表示语言领域知识，并帮助我们改进（重新评分）原始成绩单。我们将我们的方法与仅使用最可能的转录假设（最佳路径）的基线进行比较，发现识别意图的总数增加了25%。
2019-08-21 cs.CL
Hierarchical Summarization for Longform Spoken Dialog
Columbia University（哥伦比亚大学）；Microsoft（微软）；Stanford University（斯坦福大学）
我们每天都被对话包围着。这种媒介提供丰富多样的信息流，但系统地理解对话往往是不平凡的。尽管口头对话普遍存在，但自动语音理解和质量信息抽取仍然明显较差，特别是与书面散文相比时。此外，与理解文本相比，听觉交流带来了许多额外的挑战，例如说话者不流利，非正式的散文风格和缺乏结构。这些问题都表明，需要一个明显的语音定制的交互系统，以帮助用户理解和浏览口语领域。虽然个人自动语音识别（ASR）和文本摘要方法已经存在，但它们是不完善的技术;既不考虑用户目的和意图，也不解决口语引起的并发症。因此，我们设计了一个两阶段的ASR和文本摘要管道，并提出了一套语义分割和合并算法，以解决这些语音建模的挑战。我们的系统使用户能够轻松地浏览和导航内容，以及从这些底层技术的错误中恢复。最后，我们提出了一个评估系统，突出用户偏好的分层摘要作为一种工具，快速浏览音频和识别感兴趣的内容给用户。
2021-08-21 cs.AI cs.CL
X-Talk: On the Underestimated Potential of Modular Speech-to-Speech Dialogue System
MoE Key Lab of Artificial Intelligence, X-LANCE Lab, Shanghai Jiao Tong University（人工智能基础理论重点实验室，X-LANCE实验室，上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai AI Laboratory（上海人工智能实验室）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）；Audio, Speech and Language Processing Group, Northwestern Polytechnical University（语音与语言处理组，西北工业大学）；Fudan University（复旦大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）
X-Talk通过模块化设计和流水线优化，提升语音到语音对话系统的性能与灵活性，展示其在复杂语音任务中的潜力。
2025-12-21 cs.SD
URO-Bench: Towards Comprehensive Evaluation for End-to-End Spoken Dialogue Models
Shanghai Jiao Tong University（上海交通大学）
提出URO-Bench，首个涵盖多语言、多轮对话和副语言学的语音到语音基准，全面评估端到端语音对话模型在理解、推理和口语会话上的能力，揭示现有开源模型在指令遵循和高级音频理解上的不足。
2025-08-10 cs.CL eess.AS
An Overview of Hindi Speech Recognition
Einstein College of Engineering（爱因斯坦工程学院）；G H Raisoni College of Engg.（G H Raisoni工程学院）；Nagpur University（那格浦尔大学）；PG Dept. of Computer Science（计算机科学研究生部）；SGB Amravati University（SGB阿姆拉瓦蒂大学）
在这个信息技术时代，以方便的方式获取信息变得越来越重要。由于语音是人类交流的主要方式，人们自然希望能够与计算机进行口语对话。语音识别系统允许普通人对着计算机说话来检索信息。最好有一个本地语言的人机对话。印地语是印度最广泛使用的语言，是人机交互的自然主要人类语言候选者。印地语中有五对元音;一个成员比另一个长。本文概述了语音识别系统，包括语音是如何产生的，印地语音素的属性和特点。
2013-05-09 cs.CL cs.SD
