Improving End-of-turn Detection in Spoken Dialogues by Detecting Speaker Intentions as a Secondary Task
University of Michigan at Ann Arbor（密歇根大学安娜堡分校）；Microsoft（微软）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
本文主要研究了在二元口语对话中使用声学线索来模拟话轮转换。以前的研究表明，说话者的意图（例如，问一个问题，说出一个反向通道，等等）可以影响话轮转换行为，是口语对话中话轮转换的良好预测因子。然而，自动化系统在运行时并不容易使用说话者的意图;因此很难使用此信息来预测转向转换。为此，我们提出了一种多任务神经方法，用于同时预测话轮转换和说话人意图。我们的研究结果表明，添加说话人意图预测的辅助任务提高了口语对话中的话轮转换预测的性能，而不依赖于运行时的额外输入功能。
2018-05-09 cs.AI cs.CL
PERSIST: Who-What-When Memory Across Sessions for Full-Duplex Spoken Dialogue
Tsinghua University（清华大学）；Huawei Technologies Ltd.（华为技术有限公司）
针对多用户共享语音助手需跨会话记忆的问题，提出PERSIST系统，显式建模谁-什么-何时，用3W联合评分检索，并复用中间表示将延迟降至7.03毫秒，在SpokenTrace基准上端到端准确率达85.08%。
2026-10-07 cs.AI
A Dataset of Robot-Patient and Doctor-Patient Medical Dialogues for Spoken Language Processing Tasks
UK’s NHS（英国国家医疗服务体系）
提出MeDial-Speech数据集，包含机器人-患者和医生-患者的真实医疗对话语音数据，用于训练和评估医疗AI，并通过句子选择基准测试评估三个大语言模型。
2026-05-26 cs.AI
Dual-Axis Generative Reward Model Toward Semantic and Turn-taking Robustness in Interactive Spoken Dialogue Models
Zhejiang University（浙江大学）；Tongyi Fun Team, Alibaba Group（通义Fun团队，阿里巴巴集团）；Beijing University of Technology（北京理工大学）
本文提出双轴生成奖励模型，通过详细分类和标注数据集理解复杂交互动态，提供语义质量和交互时间的独立评估，提升口语对话模型的鲁棒性与性能。
2026-04-16 cs.AI
Variational Cross-domain Natural Language Generation for Spoken Dialogue Systems
University of Cambridge（剑桥大学）
跨领域自然语言生成是口语对话建模中的一个难点。给定对话管理器提供的语义表示，语言生成器应该生成传达所需信息的句子。传统的基于模板的生成器可以生成具有所有必要信息的句子，但这些句子的多样性不够。使用基于RNN的模型，生成的句子的多样性可能很高，但是在这个过程中会丢失一些信息。在这项工作中，我们改进了基于RNN的生成器，在生成过程中使用条件变分自编码器架构考虑潜在的信息在句子级别。我们证明了我们的模型优于原来的基于RNN的生成器，同时产生高度多样化的句子。此外，当训练数据有限时，我们的模型表现得更好。
2018-12-20 cs.AI cs.CL
Sequential Dialogue Context Modeling for Spoken Language Understanding
Google Research（谷歌研究院）
口语语言理解是面向目标的对话系统的一个关键组成部分，它将用户的话语解析成语义框架表示。传统上，SLU不利用超出前一个系统回合的对话历史，上下文歧义由下游组件解决。在本文中，我们探讨了新的方法，在一个基于递归神经网络（RNN）的语言理解系统的对话上下文建模。我们提出了顺序对话编码器网络，它允许编码的时间顺序从对话历史的上下文。我们比较了我们提出的架构与两个上下文模型的性能，一个只使用前一个回合的上下文，另一个在记忆网络中编码对话上下文，但失去了对话历史中的话语顺序。多域对话数据集的实验表明，所提出的架构的结果在降低语义帧出错率。
2017-07-07 cs.AI cs.CL cs.LG
TurnNat: Automatic Evaluation of Turn-Taking Naturalness in Dyadic Spoken Dialogue
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰霍普金斯大学）；Amazon Research（亚马逊研究院）；Amazon（亚马逊）
提出TurnNat框架，通过因果轮流预测模型估计双说话人语音活动状态，利用负对数似然度量时序异常性，实现对话级轮流自然性自动评估。
2026-07-07 cs.AI cs.CL
Let's Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation
KAIST（韩国科学技术院）
本文提出首个不依赖中间文本的面对面口语对话模型，并发布包含约340小时、约9,000段对话的大规模多模态语料库MultiDialog，通过语音-文本联合预训练适配大语言模型，实验验证了其在面对面交谈中的有效性。
2024-08-02 cs.AI cs.CV cs.HC
Self-supervised Dialogue Learning for Spoken Conversational Question Answering
Peking University（北京大学）；Yale University（耶鲁大学）；Peng Cheng Laboratory（鹏城实验室）
在口语会话式问答（SCQA）中，通过检索然后分析固定的口语文档（包括多部分会话）来生成对应问题的答案。大多数SCQA系统只考虑从有序的话语中检索信息。然而，对话的顺序对于建立一个健壮的口语问答系统是非常重要的，而话语顺序的改变会严重地导致低质量和不连贯的语料库。为此，我们引入了一种自监督学习方法，包括不连贯辨别、插入检测和问题预测，以显式捕获口语文档之间的共指消解和对话连贯性。具体来说，我们设计了一个联合学习框架，其中辅助自监督任务可以使预训练的SCQA系统实现更连贯和更有意义的口语对话学习。我们还利用所提出的自监督学习任务来捕获句内连贯性。实验结果表明，我们提出的方法提供了更连贯的，有意义的，适当的反应，产生优越的性能增益相比，原来的预训练语言模型。我们的方法在Spoken-CoQA数据集上实现了最先进的结果。
2021-06-24 cs.AI cs.CL cs.LG
Investigating Low-Cost LLM Annotation for~Spoken Dialogue Understanding Datasets
Laboratoire d’Informatique d’Avignon (LIA)（阿维尼翁计算机实验室（LIA））；Orange Innovation（奥兰治创新公司）
针对口语对话数据集语义表征不足的问题，本文研究利用大语言模型自动增强其语义标注，评估了微调适用性、标注知识捕获能力及半自动标注的影响。
2024-06-19 cs.AI cs.CL cs.HC
Team Flow at DRC2023: Building Common Ground and Text-based Turn-taking in a Travel Agent Spoken Dialogue System
Nagoya University（名古屋大学）
本文介绍Team Flow在DRC2023中开发的旅行代理对话系统，通过构建共同基础和基于文本的轮流发言，提升对话机器人的交互自然度。
2023-12-21 cs.AI cs.CL cs.RO
The Speech-LLM Takes It All: A Truly Fully End-to-End Spoken Dialogue State Tracking Approach
本文提出利用语音大语言模型实现端到端语音对话状态跟踪，通过比较不同上下文管理策略，发现完整语音对话输入能获得最佳性能，同时压缩历史信息能保持准确性与效率的平衡。
2026-02-16 cs.AI cs.CL cs.LG
RoleBreak: Benchmarking Long-Horizon Role-Playing Robustness in Spoken Dialogue
The University of Hong Kong（香港大学）；Kami AI
针对现有口语角色扮演基准短时程且以角色为中心的问题，提出RoleBreak基准，包含310个角色和6,688轮对话，评估九种配置，发现系统语义鲁棒性优于声音情感且长时程鲁棒性脆弱，扩大LLM可改善语义但非声音情感。
2026-09-16 cs.AI cs.CL
OLISIA: a Cascade System for Spoken Dialogue State Tracking
Orange Innovation（Orange创新中心）；Aix-Marseille Université（艾克斯-马赛大学）；Avignon Université（阿维尼翁大学）
本文提出OLISIA级联系统，集成ASR与DST模型，通过归一化ASR输出、数据增强及增大模型规模，在DSTC11 Track 3中排名第一，有效缩小了书面与口语对话的性能差距。
2023-08-31 cs.AI cs.CL cs.SD
MOSS-TTSD: Text to Spoken Dialogue Generation
OpenMOSS Team（OpenMOSS团队）
MOSS-TTSD 提出了一种多语言多轮对话生成模型，通过长上下文建模实现稳定、多角色的语音对话生成，支持零样本语音克隆和多种长形式场景。
2026-03-20 cs.AI cs.CL cs.SD
Joint Learning of Context and Feedback Embeddings in Spoken Dialogue
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出使用对比学习目标将简短对话上下文与反馈回应嵌入同一表示空间，该方法在美式英语对话的反馈排序任务中优于人类，且学到的嵌入包含了会话功能信息。
2024-06-11 cs.AI cs.CL cs.LG
Are cascade dialogue state tracking models speaking out of turn in spoken dialogues?
Orange Innovation, France（法国Orange创新公司）
本文分析了TOD系统中级联模型在复杂对话状态跟踪任务中的交互错误，发现非分类槽值错误是口语与文本对话系统差距的关键，并探索了改进转录及纠正错误的潜在方案。
2023-11-03 cs.AI cs.CL eess.AS
C3: A Bilingual Benchmark for Spoken Dialogue Models Exploring Challenges in Complex Conversations
Peking University（北京大学）；LIGHTSPEED
针对口语对话模型（SDM）缺乏全面性能基准的问题，该研究提出包含1079条中英文实例的双语基准C3，搭配与人类判断对齐的LLM评估方法，用于探究SDM应对口语歧义、语境依赖等复杂对话挑战的能力。
2025-10-05 cs.AI cs.CL
Team Flow at DRC2022: Pipeline System for Travel Destination Recommendation Task in Spoken Dialogue
Nagoya University（名古屋大学）
为了提高对话系统的交互能力，例如，为了适应不同的客户，举办了对话机器人大赛（DRC 2022）。作为其中一个团队，我们构建了一个对话系统，该系统具有包含四个模块的管道结构。自然语言理解（NLU）和自然语言生成（NLG）模块基于GPT-2模型，对话状态跟踪（DST）和策略模块基于手工规则设计。经过初赛，我们发现，低变化的训练样本的NLU和失败的建议，由于所使用的政策可能是有限的系统性能的主要原因。
2022-10-18 cs.AI cs.CL cs.RO
Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models
KAIST（韩国科学技术院）
提出模块化流式音视频前端AV-STE，在语音LLM前从噪声音频和唇部视频恢复语义令牌，冻结下游模型，提升全双工对话鲁棒性，响应连贯性显著提高。
2026-09-09 cs.AI cs.HC cs.SD
Spoken DialogSum: An Emotion-Rich Conversational Dataset for Spoken Dialogue Summarization
Center for Language and Speech Processing（语言与语音处理中心）
Spoken DialogSum是一个用于语音对话摘要的富有情感的对话数据集，通过结合语音、摘要和非语言线索，提升情感摘要的生成效果。
2025-12-17 cs.AI cs.CL cs.LG
DailyTalk: Spoken Dialogue Dataset for Conversational Text-to-Speech
KAIST（韩国科学技术院）
当前的大多数文本转语音（TTS）数据集是个体话语的集合，包含很少的会话方面。在本文中，我们介绍了DailyTalk，一个高质量的会话语音数据集设计的会话TTS。我们从开放域对话数据集DailyDialog中采样、修改并记录了2,541个对话，这些对话继承了其注释属性。在我们的数据集之上，我们扩展了以前的工作作为我们的基线，其中非自回归TTS以对话中的历史信息为条件。从基线实验与一般和我们的新指标，我们表明，DailyTalk可以作为一个通用的TTS数据集，更重要的是，我们的基线可以代表上下文信息从DailyTalk。DailyTalk数据集和基线代码可免费供CC-BY-SA 4.0许可证的学术使用。
2023-03-13 cs.AI cs.CL eess.AS
Decoding Workload and Agreement From EEG During Spoken Dialogue With Conversational AI
Chair of Neuroadaptive Human--Computer Interaction（神经适应性人机交互教授席位）；Brandenburg Technical University Cottbus--Senftenberg（勃兰登堡技术大学库滕堡-森芬根堡分校）；Auryal GmbH（Auryal公司）；Cottbus, Germany（库滕堡，德国）
本文提出通过EEG解码语音对话中的工作负荷与共识，验证了现有分类器在对话场景中的迁移能力，并探讨了其应用限制。
2026-02-02 cs.AI cs.HC
WavReward: Spoken Dialogue Models With Generalist Reward Evaluators
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出WavReward，一种基于音频语言模型和强化学习的语音对话评估器，并构建ChatReward-30K偏好数据集，在IQ与EQ评估上显著超越现有模型。
2025-09-23 cs.AI cs.LG cs.MM
Nearly Zero-Shot Learning for Semantic Decoding in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
本文提出了两种方法来处理稀缺数据的语义解码使用N-Best语音识别假设。首先，我们通过使用深度学习架构来学习特征，其中未知和已知类别的权重被联合优化。第二，使用无监督的方法来进一步调整权重。共享权重将先验知识注入未知类别。无监督调整（即风险最小化）在识别DSTC 3语料库上的几乎zero-shot数据时改进了F-度量。这种无监督的方法可以应用于两个假设：类边际的排名被假设为已知的，分类器的类条件得分被假设为遵循高斯分布。
2018-06-21 cs.AI cs.CL
Increasing faithfulness in human-human dialog summarization with Spoken Language Understanding tasks
Aix-Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息科学与系统实验室）；Enedis（恩吉斯公司）；International Laboratory on Learning Systems - ILLS - IRL CNRS（国际学习系统实验室（ILLS - IRL 法国国家科学研究中心））
针对对话摘要模型易产生不一致内容、忠实度不足的问题，本研究将口语理解的语义信息融入面向任务的人与人对话摘要，提出新评估标准与标注数据集，实验验证该方法可提升摘要准确率。
2024-09-16 cs.AI cs.CL
Attentive Contextual Carryover for Multi-Turn End-to-End Spoken Language Understanding
Alexa Speech, Amazon（亚马逊Alexa语音部门）
近年来，在端到端（E2E）口语语言理解（SLU）系统中已经看到了显著的进步，该系统直接从口语音频预测意图和时隙。虽然已经利用对话历史来改进传统的基于文本的自然语言理解系统，但是当前的E2E SLU方法还没有在多轮和面向任务的对话中结合这样的关键上下文信号。在这项工作中，我们提出了一个上下文E2E SLU模型架构，它使用了一个多头注意力机制，编码以前的话语和对话行为（由语音助手采取的行动）的多轮对话。我们详细介绍了替代方法，以将这些背景整合到最先进的经常性和基于transformer的模型中。当应用于语音助手收集的大量去识别的话语数据集时，我们的方法分别将平均单词和语义出错率降低了10.8%和12.6%。我们还提出了一个公开的数据集上的结果，并表明我们的方法显着提高了非上下文基线的性能
2021-12-13 cs.AI cs.CL
Semantic filtering by inference on domain knowledge in spoken dialogue systems
一般的自然对话处理需要大量的领域知识以及语言知识，以确保可接受的覆盖率和理解。在不同层次的对话处理中，有几种方法可以整合词汇资源（例如词典、同义词词典）和知识库或本体。我们集中在本文中，如何利用领域知识过滤的解释假设所产生的强大的语义分析器。我们使用领域知识来语义约束假设空间。此外，增加一个推理机制，使我们能够完成解释时，信息是不明确的。此外，我们简要地讨论了如何将其推广到一个预测性的自然交互系统。
2004-10-23 cs.AI cs.CL cs.HC
Optimizing Dialogue Management with Reinforcement Learning: Experiments with the NJFun System
Syntek Capital（辛泰克资本）；University of Pittsburgh（匹兹堡大学）；University of Pennsylvania（宾夕法尼亚大学）
设计口语对话系统的对话策略涉及许多重要的选择。本文提出了一种用于自动优化对话策略的强化学习方法，该方法解决了将强化学习应用于与人类用户的工作对话系统的技术挑战。我们报告的设计，建设和实证评估NJFun，实验口语对话系统，为用户提供有关有趣的事情在新泽西州做的信息。我们的研究结果表明，通过强化学习优化其性能，NJFun显著提高了系统性能。
2011-06-03 cs.AI cs.LG
TiCo: Time-Controllable Spoken Dialogue Model
MIT（麻省理工学院）；NTU（国立台湾大学）；NTU AI-CoRE（国立台湾大学AI-CoRE）
TiCo是一种能遵循时间约束指令生成可控时长语音响应的对话模型，通过引入时间标记器提升对时间的感知能力，有效减少响应时长误差。
2026-05-13 cs.AI cs.CL eess.AS
AV-Dialog: Spoken Dialogue Models with Audio-Visual Input
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·阿伦计算机科学与工程学院）；Meta AI Research（Meta AI研究院）
针对对话模型在嘈杂多说话者环境中的缺陷，提出首个多模态对话框架AV-Dialog，结合视听线索跟踪说话者、预测话轮转换并生成回复，通过多任务多阶段训练提升性能，为真实环境口语对话代理奠基。
2025-11-14 cs.AI cs.CL cs.CV
PSLM: Parallel Generation of Text and Speech with LLMs for Low-Latency Spoken Dialogue Systems
rinna Co., Ltd.（rinna公司）
本文提出PSLM，通过扩展大语言模型输入输出序列实现文本与语音并行生成，在口语问答中降低延迟并保持内容质量，并进一步利用多序列语音生成减少延迟。
2024-10-03 cs.AI cs.CL cs.LG
Neural User Simulation for Corpus-based Policy Optimisation for Spoken Dialogue Systems
Cambridge University Engineering Department（剑桥大学工程系）
用户模拟器是实现面向任务的对话系统离线训练的主要工具之一。对于这个任务，通常使用基于XML的用户模拟器（ABUS）。ABUS是基于手工制作的规则，其输出是语义形式。这两个属性都会产生问题，例如有限的多样性和无法连接文本级信念跟踪器。本文介绍了神经用户模拟器（NUS），其行为是从语料库中学习，并生成自然语言，因此需要一个更少的标记数据集比模拟器生成的语义输出。在这个主题上，它评估用户模拟器基于语料库的指标的过去的工作相比，我们使用NUS训练的政策，强化学习为基础的口语对话系统。通过评估使用模拟器训练的策略，将NUS与ABUS进行比较。进行跨模型评估，即在一个模拟器上进行训练，在另一个模拟器上进行测试。此外，经过训练的策略在真实用户上进行测试。在这两项评估任务中，NUS的表现都优于ABUS。
2018-05-17 cs.AI cs.CL stat.ML
An Analysis of User Behaviors for Objectively Evaluating Spoken Dialogue Systems
Kyoto University（京都大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出基于用户行为客观评估口语对话系统的框架，分析专注倾听、求职面试和初次见面交谈中的行为指标与主观评分关系，揭示不同任务应采用不同行为指标。
2024-01-23 cs.AI cs.CL cs.HC
Evaluating Bias in Spoken Dialogue LLMs for Real-World Decisions and Recommendations
Nanyang Technological University, Singapore（南洋理工大学，新加坡）；Soul AI Lab, China（灵魂AI实验室，中国）
该研究首次系统评估口语对话大语言模型的偏见，采用GUS和SNSR指标测试多类开源与闭源模型，发现闭源模型偏见更低、推荐任务易放大群体差异，还发布了FairDialogue数据集助力相关研究。
2025-09-27 cs.AI cs.CL
The Oracle Has Spoken: A Multi-Aspect Evaluation of Dialogue in Pythia
Columbia University（哥伦比亚大学）；J.P. Morgan AI Research（摩根大通人工智能研究）；University of California, Berkeley（加州大学伯克利分校）
本文通过多维度细粒度指标评估 Pythia 模型对话能力，发现模型规模影响有限而微调迅速饱和，并揭示基于同一评估器的指标存在可靠性问题。
2025-09-20 cs.AI cs.CL
MULTI-Bench: A Multi-Turn Interactive Benchmark for Assessing Emotional Intelligence ability of Spoken Dialogue Models
StepFun Inc（StepFun公司）；Nanyang Technological University（南洋理工大学）；The University of New South Wales（新南威尔士大学）；Peking University（北京大学）
提出了首个多轮交互基准Multi-Bench，用于评估语音对话模型的情感智能，发现当前模型在基础理解任务上表现良好，但在高级多轮交互和推理任务上仍有不足。
2025-11-02 cs.AI cs.CL cs.SD
Is one brick enough to break the wall of spoken dialogue state tracking?
Orange Innovation（Orange创新）
本文提出一种完全神经化的口语对话状态追踪方法，并与级联方法深入比较，表明联合优化在音频原生场景下具有竞争力，同时指出上下文传播需考虑先前上下文的不确定性。
2024-07-01 cs.AI cs.CL eess.AS
Thinking in Depth, Speaking Directly: Recurrent Latent Reasoning for Paralinguistically Grounded Spoken Dialogue
Tencent Hunyuan（腾讯混元）
针对共情口语对话中感知与推理脱节的问题，提出LoopSLM，利用循环Transformer进行潜在推理，以声学接地细化隐藏状态，无需思维链，在提升推理准确率的同时大幅降低延迟和令牌数。
2026-09-30 cs.AI cs.CL
CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Wuhan AI Research（武汉人工智能研究院）
CoSTA是一种解耦生成与合成令牌空间的后处理框架，可提升口语对话模型的生成速度、降低延迟并保持响应质量，还具备跨架构迁移及与低速率分词互补的特性。
2026-10-16 cs.AI cs.CL cs.SD
DialogSum: A Real-Life Scenario Dialogue Summarization Dataset
University of Edinburgh（爱丁堡大学）；Jilin University（吉林大学）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
大规模数据集的提出促进了新闻摘要深度神经模型的研究。深度学习也可能对口语对话摘要有用，这可以使一系列现实生活场景受益，包括客户服务管理和药物跟踪。为此，我们提出了DialogSum，一个大规模的标记对话摘要数据集。我们使用最先进的神经摘要器对DialogSum进行实证分析。实验结果表明，口语词汇、特殊的语篇结构、共指和省略、语用和社会常识等都是对话摘要的难点，需要特定的表示学习技术来解决。
2021-06-16 cs.AI cs.CL
IRAF: Interference-Resilient Adaptive Fusion for Noise-Robust End-to-End Full-Duplex Spoken Dialogue Systems
The Chinese University of Hong Kong（香港中文大学）；AudioLab Hong Kong, Huawei Leibniz Research Center（香港AudioLab，华为Leibniz研究中心）；Nanyang Technological University（南洋理工大学）
提出IRAF模块，通过逐帧预测可靠性门控来调节用户音频对LLM的贡献，提升全双工对话系统在干扰说话人环境下的响应质量和交互稳定性。
2026-06-04 cs.AI cs.SD eess.AS
Controllable Spoken Dialogue Generation: An LLM-Driven Grading System for K-12 Non-Native English Learners
Peking University（北京大学）；Tencent（腾讯）；China University of Political Science and Law（中国政法大学）；Independent Researcher（独立研究者）；Fudan University（复旦大学）
本文提出一种基于LLM的评分系统，通过四级分级系统控制词汇复杂度，提升非母语K-12英语学习者的口语对话质量与教学价值。
2026-04-24 cs.AI cs.CL
Neither Silence nor Overlap Is Failure: Intent-Conditioned Evaluation of Turn-Taking in Full-Duplex Spoken Dialogue Models
People Make Things
针对全双工口语对话模型，提出意图条件评估基准TACT，用连续概率分数替代二元规则，在十一个系统中最佳模型达0.47，与人类判断高度一致。
2026-09-24 cs.AI cs.CL cs.HC
A Spoken Dialogue System for Spatial Question Answering in a Physical Blocks World
University of Rochester（罗切斯特大学）
积木世界是一个经典的玩具领域，长期以来一直用于构建和测试空间推理系统。尽管它相对简单，但要完全复杂地处理这个领域，需要代理表现出丰富的功能，从视觉到自然语言理解。目前，人们对使用现代技术解决这些有限领域中的问题重新产生了兴趣。在这项工作中，我们解决空间问答在一个整体的方式，使用视觉系统，语音输入和输出介导的动画化身，一个对话系统，强大的解释空间查询，和一个约束求解器，得出答案的基础上3-D空间建模。这项工作的贡献包括一个语义解析器，空间问题映射到逻辑形式符合一般方法的意义表示，一个对话管理器的基础上的模式表示，和一个约束求解器的空间问题，提供答案与人类的感知。这些和其他组件被集成到多模式人机交互流水线中。
2019-11-06 cs.AI cs.CL cs.HC
WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Beijing University of Technology（北京工业大学）
本文提出端到端原生音频RAG框架WavRAG，通过WavRetriever直接检索原始音频并统一文本-音频知识，在性能相当的情况下较ASR-Text流程提速10倍。
2025-02-20 cs.AI cs.SD eess.AS
JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems
本文提出JAL-Turn框架，通过联合声学-语言建模实现高效实时轮流检测，利用交叉注意力模块整合预训练声学表示与语言特征，同时共享冻结的ASR编码器以并行处理，提升准确性和实时性。
2026-10-14 cs.AI cs.CL
DOROTHIE: Spoken Dialogue for Handling Unexpected Situations in Interactive Autonomous Driving Agents
University of Michigan（密歇根大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
在现实世界中，自动驾驶智能体在充满意外情况的高度动态环境中导航，其中预先训练的模型是不可靠的。在这些情况下，车辆立即可用的通常只有人类操作员。赋予自动驾驶智能体在连续和动态环境中导航的能力，并通过基于感觉运动的对话与人类进行交流变得至关重要。为此，我们介绍了对话的道路上处理不规则事件（DOROTHIE），一种新型的交互式仿真平台，使意外的情况下创建的飞行，以支持与自动驾驶代理人的经验研究的情况下沟通。基于这个平台，我们创建了情境对话导航（SDN），这是一个导航基准测试，共有183次试验，总共8415个话语，大约18.7小时的控制流和2.9小时的修剪音频。SDN的开发是为了评估智能体预测人类对话动作以及生成自己的对话动作和物理导航动作的能力。我们进一步为这些SDN任务开发了基于变压器的基线模型。我们的实证结果表明，在一个高度动态的环境中，语言引导导航是一个非常困难的任务，端到端的模型。这些结果将为未来强大的自动驾驶代理的工作提供见解。DOROTHIE平台、SDN基准和基线模型的代码可在https://github.com/sled-group/DOROTHIE上获得。
2022-10-22 cs.AI cs.CL cs.CV
NTPP: Generative Speech Language Modeling for Dual-Channel Spoken Dialogue via Next-Token-Pair Prediction
Tencent（腾讯）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Shenzhen University（深圳大学）
针对 SLM 未充分利用双通道语音数据的问题，提出 NTPP 下一词元对预测范式，用仅解码器架构学习说话人无关的双通道口语对话，并提升对话能力与实时推理效率。
2025-06-11 cs.AI cs.CL cs.SD
Chronological Thinking in Full-Duplex Spoken Dialogue Language Models
Nanyang Technological University（南洋理工大学）；StepFun；Mila
提出Chronological Thinking机制，让全双工对话模型在听用户说话时增量推理，不增加延迟，提升响应质量。
2026-06-15 cs.AI cs.CL
Exploiting Sentence and Context Representations in Deep Neural Models for Spoken Language Understanding
University of Cambridge（剑桥大学）
本文提出了一种用于统计口语对话系统的语义解码器组件的深度学习架构。在槽填充对话中，语义解码器从自动语音识别返回的n个最佳假设的集合预测对话动作和槽值对的集合。用于口语语言理解的大多数当前模型假设（i）如在序列标记器中的单词对齐的语义注释，以及（ii）去词汇化，或者使用尝试捕获形态变化但不缩放到其他域也不缩放到语言变化（例如，形态学、同义词、释义）。在这项工作中，语义解码器使用未对齐的语义注释进行训练，并使用分布式语义表示学习来克服显式去词汇化的局限性。所提出的架构使用一个卷积神经网络的句子表示和一个长短期记忆网络的上下文表示。结果是公开的DSTC 2语料库和车内语料库，这是类似于DSTC 2，但有一个显着较高的字出错率（WER）。
2016-10-13 cs.AI cs.CL cs.NE
Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation
Columbia University（哥伦比亚大学）；University of Rochester（罗切斯特大学）
本文提出Style-Talker框架，通过微调音频LLM和基于风格的TTS模型，结合用户输入音频的转录与语音风格生成响应，在保持对话自然度和连贯性的同时将速度提升50%以上。
2024-08-13 cs.AI cs.CL eess.AS
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语会话问答（SCQA）要求机器在给定语音话语和文本语料库的情况下对复杂的对话流程进行建模。与传统的文本问答任务不同，SCQA涉及音频信号处理、段落理解和上下文理解。然而，ASR系统引入了意想不到的噪声信号，这导致SCQA的性能下降。为了克服这个问题，我们提出了CADNet，一种新的上下文化的注意力蒸馏方法，它适用于交叉注意力和自我注意力，以获得ASR鲁棒的上下文嵌入表示的通道和对话历史，以提高性能。我们还介绍了口语传统的知识蒸馏框架提取ASR的鲁棒知识从教师模型的估计概率的学生。我们在Spoken-CoQA数据集上进行了广泛的实验，并证明了我们的方法在这项任务中取得了显着的性能。
2021-06-24 cs.AI cs.CL cs.IR
Real-Time Textless Dialogue Generation
School of Computer Science（计算机科学学院）
针对级联口语对话系统依赖文本中介导致的延迟高、节奏生硬等问题，本文提出实时无文本模型RTTL-DG，直接处理流式语音并融入副语言信号，实现低延迟、自然流畅的对话生成。
2025-01-08 cs.AI cs.CL cs.SD
