Neither Silence nor Overlap Is Failure: Intent-Conditioned Evaluation of Turn-Taking in Full-Duplex Spoken Dialogue Models
People Make Things
针对全双工口语对话模型，提出意图条件评估基准TACT，用连续概率分数替代二元规则，在十一个系统中最佳模型达0.47，与人类判断高度一致。
2026-09-24 cs.AI cs.CL cs.HC
SteerDuplex: Steerable Duplex Speech Dialogue Models
Scale AI；University of Maryland（马里兰大学）
针对全双工语音对话模型缺乏可操控性的问题，提出SteerDuplex模型和SteerBench基准，通过微调与两阶段强化学习，显著提升音频操控与打断处理能力。
2026-09-14 cs.AI cs.CL
JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems
本文提出JAL-Turn框架，通过联合声学-语言建模实现高效实时轮流检测，利用交叉注意力模块整合预训练声学表示与语言特征，同时共享冻结的ASR编码器以并行处理，提升准确性和实时性。
2026-03-27 cs.AI cs.CL
Chronological Thinking in Full-Duplex Spoken Dialogue Language Models
Nanyang Technological University（南洋理工大学）；StepFun；Mila
提出Chronological Thinking机制，让全双工对话模型在听用户说话时增量推理，不增加延迟，提升响应质量。
2026-06-15 cs.AI cs.CL
FD-Bench: A Full-Duplex Benchmarking Pipeline Designed for Full Duplex Spoken Dialogue Systems
Alibaba-NTU Global e-Sustainability CorpLab（阿里-NTU全球可持续性公司实验室）；College of Computing and Data Science（计算与数据科学学院）；Alibaba（阿里）
针对全双工口语对话系统缺乏打断等场景评测的问题，本文提出融合LLM、TTS和ASR的FD-Bench流水线，并对三个开源模型进行40余小时语音实验，揭示其在频繁打断与噪声下的不足。
2025-07-25 cs.CL eess.AS
Integrating Facial Generation into Full-Duplex Spoken Dialogue Systems
Graduate School of Informatics, Nagoya University, Japan（名古屋大学信息学研究科）
提出Moshi-Face，首个联合处理用户音频和面部输入并同时生成语音和面部运动的全双工对话模型，通过VQ-VAE面部编解码器和非自回归面部变换器实现实时视听对齐。
2026-06-23 cs.CL cs.CV cs.HC
How Should LLMs Listen While Speaking? A Study of User-Stream Routing in Full-Duplex Spoken Dialogue
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
研究探讨了全双工语音对话中用户流路由对LLM的影响，通过对比通道融合与交叉注意力路由策略，发现通道融合在语义接地和问答性能上更优，但易受上下文干扰；交叉注意力路由更稳健，但问答表现较差。
2026-05-11 cs.CL eess.AS
The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning
DeepMind（深度Mind）
本文提出了一种名为FLAIR的全双工语音对话模型，通过潜在推理同时进行语音感知和内部思考，以提高对话质量，该方法在多个语音基准测试中取得了竞争性的结果。
2026-06-04 cs.CL eess.AS
MTR-DuplexBench: Towards a Comprehensive Evaluation of Multi-Round Conversations for Full-Duplex Speech Language Models
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies（华为技术）
本文提出MTR-DuplexBench，用于评估全双工语音语言模型在多轮对话中的表现，涵盖对话质量、指令遵循和安全性等关键方面，揭示现有模型在多轮对话中的一致性问题。
2026-04-17 cs.AI cs.CL eess.AS
Conversation Is a Two-Body Problem: Dyadic Evaluation of Full-Duplex Dialogue Models
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对全双工对话模型单侧评估的不足，提出DyaFDB二元评估框架，让两个模型直接对话并双向评分，通过140场景、7560对话验证了模型间相互塑造，强调互为考官与被考者。
2026-10-07 cs.CL eess.AS
Optimizing Conversational Quality in Spoken Dialogue Systems with Reinforcement Learning from AI Feedback
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团）
本文提出多奖励RLAIF框架，通过结合语义、音频质量和情感一致性奖励，提升语音对话系统的对话质量。
2026-01-27 cs.CL cs.SD
Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models
Kyutai；Gradium
针对全双工对话模型交互性问题，提出基于强化学习的后训练对齐方法，从暂停处理、话轮转换、回馈和用户打断四个维度优化，并加入LLM奖励防止语义退化，在Moshi和PersonaPlex上取得一致改进。
2026-09-01 cs.CL eess.AS
TurnGuide: Enhancing Meaningful Full Duplex Spoken Interactions via Dynamic Turn-Level Text-Speech Interleaving
The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies（华为技术）
提出TurnGuide方法，通过动态分割助手语音为对话轮次并交错生成轮次级文本和语音，解决全双工语音语言模型在连续双通道音频中集成离散文本令牌导致的时间对齐问题，显著提升语义连贯性和轮次交互性能。
2026-06-18 cs.CL cs.SD eess.AS
SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model
NVIDIAUSA（NVIDIA美国）
本文提出SALM-Duplex双工S2S架构，通过通道融合、流式编码器和独立编解码器建模实现实时插话与低比特率语音对话，并公开训练推理代码。
2025-07-25 cs.CL cs.SD eess.AS
SALMONN-omni: A Codec-free LLM for Full-duplex Speech Understanding and Generation
Tsinghua University（清华大学）；ByteDance（字节跳动）；University of Cambridge（剑桥大学）
针对全双工语音理解与生成任务，提出无编解码器的SALMONN-omni模型，通过双工口语对话框架及“思考”机制实现异步生成，在多任务中表现通用且能处理复杂对话场景。
2024-11-27 cs.AI cs.CL cs.SD
TurnNat: Automatic Evaluation of Turn-Taking Naturalness in Dyadic Spoken Dialogue
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰霍普金斯大学）；Amazon Research（亚马逊研究院）；Amazon（亚马逊）
提出TurnNat框架，通过因果轮流预测模型估计双说话人语音活动状态，利用负对数似然度量时序异常性，实现对话级轮流自然性自动评估。
2026-07-07 cs.AI cs.CL
Controlling Backchannels in Streamable Full-duplex Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；AppTek（AppTek公司）；Charles University（查理大学）；Sesame AI（Sesame AI公司）；University of Edinburgh（爱丁堡大学）
本文提出一种轻量级反馈语头，从全双工模型隐藏状态预测并触发反馈语，跨7B和1B模型规模泛化，生成更频繁且时机更佳的反馈语，质量与真实反馈语相当。
2026-09-25 cs.CL cs.HC
DuplexCascade: Full-Duplex Speech-to-Speech Dialogue with VAD-Free Cascaded ASR-LLM-TTS Pipeline and Micro-Turn Optimization
SB Intuitions Corp.（SB Intuitions公司）；The University of Tokyo（东京大学）
DuplexCascade通过无VAD级联流水线和微轮询优化，实现全双工语音对话的高效交互与强对话智能。
2026-03-10 cs.AI cs.CL
PersonaTAB: Predicting Personality Traits using Textual, Acoustic, and Behavioral Cues in Fully-Duplex Speech Dialogs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanjing University, Suzhou（南京大学（苏州））；National University of Singapore（新加坡国立大学）；School of Data Science（数据科学学院）；School of Intelligence Science and Technology（智能科学与技术学院）；Department of ECE（电子与计算机工程系）
针对语音对话数据集缺乏人格标注导致人格感知对话智能体研究不足的问题，提出PersonaTAB流水线方法构建带多维度标注的对话数据集，设计基于大语言模型的对话人格预测系统，经人类评估验证其与人类判断的一致性优于现有方法。
2025-05-20 cs.CL cs.SD eess.AS
RoleBreak: Benchmarking Long-Horizon Role-Playing Robustness in Spoken Dialogue
The University of Hong Kong（香港大学）；Kami AI
针对现有口语角色扮演基准短时程且以角色为中心的问题，提出RoleBreak基准，包含310个角色和6,688轮对话，评估九种配置，发现系统语义鲁棒性优于声音情感且长时程鲁棒性脆弱，扩大LLM可改善语义但非声音情感。
2026-09-16 cs.AI cs.CL
Aligning Spoken Dialogue Models from User Interactions
Department of Computer Science, Cornell University. Work done at Kyutai.（计算机科学系，康奈尔大学。在Kyutai工作）
本文提出一种新颖的偏好对齐框架，通过构建超15万个AI标注的语音偏好对数据集并利用离线对齐方法微调全双工语音到语音模型，有效提升了实时口语对话的事实性、安全性与上下文对齐能力。
2025-06-26 cs.CL cs.LG cs.SD
Beyond Turn-Based Interfaces: Synchronous LLMs as Full-Duplex Dialogue Agents
Meta AI；University of Washington（华盛顿大学）
提出Synchronous LLMs，通过将时间信息整合到Llama3-8b并利用212k小时合成与2k小时真实语音数据训练，实现了超越现有最先进方法的全双工语音对话代理。
2024-09-23 cs.CL cs.LG cs.SD
OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation
Tongyi Lab（通义实验室）
本文提出端到端GPT模型OmniFlatten，通过多阶段后训练和扁平化数据操作将文本LLM适配为全双工语音对话模型，实现低延迟自然双向对话。
2025-01-03 cs.AI cs.CL cs.SD
FD-VAD: Semantic Endpoint Detection for Streaming Full-Duplex Speech
FD-VAD提出一种无需ASR的流式语义端点检测方法，直接基于音频窗口判断继续或停止，在TurnBench上取得最优EOT召回率，实现高效全双工语音交互。
2026-09-30 cs.CL eess.AS
The ICASSP 2026 HumDial Challenge: Benchmarking Human-like Spoken Dialogue Systems in the LLM Era
ICASSP 2026
ICASSP 2026发起HumDial挑战，通过大规模数据集评估语音对话系统在情感智能和全双工交互方面的类人能力。
2026-02-04 cs.CL cs.HC cs.SD
FlexDuo: A Pluggable System for Enabling Full-Duplex Capabilities in Speech Dialogue Systems
Kuaishou Technology（快手科技）
本文提出FlexDuo，一种即插即用的全双工控制模块，通过解耦双工控制与对话系统并引入显式Idle状态过滤噪声与缓冲语义，显著降低了错误打断率并提升了响应准确率。
2025-05-29 cs.CL cs.HC
Alibaba Group（阿里巴巴集团）
In this paper, we present Duplex Conversation, a multi-turn, multimodal spoken dialogue system that enables telephone-based agents to interact with customers like a human. We use the concept of full-duplex in telecommunication to demonstrate what a human-like interactive experience should be and how to achieve smooth turn-taking through three subtasks: user state detection, backchannel selection, and barge-in detection. Besides, we propose semi-supervised learning with multimodal data augmentation to leverage unlabeled data to increase model generalization. Experimental results on three sub-ta…
2022-06-14 cs.CL
WavChat: A Survey of Spoken Dialogue Models
Zhejiang University（浙江大学）；Microsoft（微软公司）；Alibaba Group（阿里巴巴集团）；Tencent YouTu Lab（腾讯优图实验室）
针对口语对话系统缺乏全面综述的问题，本文按时间顺序梳理现有系统并分为级联与端到端范式，深入分析核心技术、数据集及评估体系，为该领域学术研究与工业应用提供参考。
2024-11-26 cs.CL cs.LG cs.MM
Human-1 by Josh Talks: A Full-Duplex Conversational Modeling Framework in Hindi using Real-World Conversations
JoshTalks
本文通过适配Moshi架构，使用自定义印地语分词器和26,000小时真实对话数据训练，提出了首个开放、可复现的印地语全双工口语对话系统，实现了自然的打断、重叠和反馈行为。
2026-09-28 cs.AI cs.CL
From Turn-Taking to Synchronous Dialogue: A Survey of Full-Duplex Spoken Language Models
Jilin University, Changchun, China（吉林大学）；Hunan University, Changsha, China（湖南大学）
本文综述了LLM时代的全双工口语语言模型，提出工程化同步与学习式同步的分类法，并统一评估框架，指出同步数据稀缺、架构分歧和评估缺口等核心挑战，为人机通信发展提供路线图。
2025-09-18 cs.CL cs.SD eess.AS
Chain-of-Thought Reasoning in Streaming Full-Duplex End-to-End Spoken Dialogue Systems
Language Technologies Institute, Carnegie Mellon University, USA（语言技术研究所，卡内基梅隆大学，美国）；Sony Group Corporation, Japan（索尼集团，日本）
针对现有全双工口语对话系统架构复杂、语义推理弱的问题，提出流式思维链框架SCoT，分块交替处理输入与生成响应，实现更连贯可解释的响应及更低延迟的重叠交互。
2025-10-02 cs.CL cs.SD eess.AS
Unit-Based Agent for Semi-Cascaded Full-Duplex Dialogue Systems
Hunan University（湖南大学）；Gongdao Technology（公道科技）；Jilin University（吉林大学）
本文提出基于单元的半级联全双工对话系统，利用多模态大语言模型和辅助模块实现高效对话处理，实验显示其在挑战赛中表现优异。
2026-01-29 cs.CL cs.HC
Psychoacoustically Aligned Latent Smoothing for Adversarial Robustness of Full-Duplex Speech-to-Speech Dialogue Models
People Make Things
针对全双工语音对话模型的对抗攻击，提出心理声学校准的潜在平滑方法，以低质量损失显著降低劫持、静音和越狱成功率，并认证鲁棒性下限。
2026-09-24 cs.AI cs.CL cs.HC
Language Model Can Listen While Speaking
Shanghai Jiao Tong University（上海交通大学）；ByteDance Inc.（字节跳动公司）
本文提出边听边说的语言模型LSLM，通过融合流式语音编码与自回归语音生成实现全双工实时交互，并验证其对打断和噪声的鲁棒性。
2024-08-05 cs.AI cs.CL cs.HC
Agentic-DuplexGen: Decoupling Content, Timing, and Acoustics for Synthetic Dialogue Speech
Institute of Science Tokyo（科学东京大学）；Hokkaido University（北海道大学）
DuplexGen框架通过解耦对话的内容、时序与声学，生成更贴近真实对话的合成语音，构建了带多类标注的医患对话语料库，性能优于传统拼接式合成方法。
2026-08-25 cs.CL eess.AS
Easy Turn: Integrating Acoustic and Linguistic Modalities for Robust Turn-Taking in Full-Duplex Spoken Dialogue Systems
针对全双工对话中话轮转换检测依赖闭源、大模型或单模态的问题，提出开源双模态 Easy Turn 模型及 1,145 小时数据集，在开源测试集上达到最优准确率。
2025-09-28 cs.AI cs.CL
PersonaKit (PK): A Plug-and-Play Platform for User Testing Diverse Roles in Full-Duplex Dialogue
Department of Computer Science（计算机科学系）
本文提出PersonaKit平台，通过直观的JSON配置定义角色并测试不同的轮流策略，验证了复杂社会语言行为的研究框架。
2026-05-07 cs.AI cs.CL cs.HC
DuplexGen: Adaptive Synthesis of Human-AI Turn-Taking Dialogues
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Seoul National University（首尔大学）；Columbia University（哥伦比亚大学）；University of California, Berkeley（加州大学伯克利分校）；Georgia Institute of Technology（佐治亚理工学院）
DuplexGen框架通过将LLM预测与少量槽级人类偏好标注校准，生成场景自适应交替发言对话，契合人类偏好的效果优于未校准方法，证明人类校准对交替发言合成场景特定性的关键作用。
2026-09-01 cs.CL
A Full-duplex Speech Dialogue Scheme Based On Large Language Models
MThreads AI（MThreads人工智能公司）
本研究提出一种基于大语言模型的全双工语音对话系统，通过神经有限状态机实现实时交互决策，在更低延迟的同时实现了更优的打断准确率。
2024-10-29 cs.CL
S-MARC: Causal Streaming Reasoning for Full-Duplex Conversational Behavior Modeling
University of California, Berkeley（加州大学伯克利分校）；Zhejiang University（浙江大学）；South China University of Technology（华南理工大学）
提出S-MARC框架，通过流式因果层次建模意图到动作路径，预测高层交际功能和低层交互行为，并构建高质量语料库，实现全双工对话中的鲁棒行为检测与可解释推理。
2026-05-28 cs.AI cs.CL
Enabling Proactive Spoken Turns via a Generalized Style-Aware Full-Duplex Framework
Token Foundry, Alibaba Group（阿里巴巴集团Token Foundry）
该研究构建含LPS-TC控制器、WildTurn数据集及两级评估方案的风格感知全双工框架，结合半双工/全双工模型后，可实现更自然类人的主动口语交互，时机与响应质量表现优异。
2026-09-01 cs.AI cs.CL cs.SD
KABURI-TTS: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction
Nagoya University（名古屋大学）；National Institute of Informatics（信息学研究所）；Keio University（庆应义塾大学）；Waseda University（早稻田大学）
针对全双工对话中重叠等同时现象，提出KABURI-TTS，以每说话人音素栅格为输入，在语音活动条件下双声道渲染语音，实现可控双人对话生成，提升自然度并产生更多重叠与轮换。
2026-09-09 cs.CL cs.SD
Decoupling Turn-Taking from Semantics: A Decoupled Data Approach for Finite-State-Machine-Based Full-Duplex Dialogue
Kyoto University（京都大学）
该研究针对神经有限状态机框架依赖合成数据导致对话轮次自然度不足的问题，提出解耦数据方法，通过规则转换HH对话为FSM序列并结合SAC损失，提升对话轮次能力同时恢复LLM语义能力。
2026-09-04 cs.CL
Alignment-Free Text-Audiobox for Voice Dubbing and Full-Duplex Dialogue Synthesis
FAIR at Meta（Meta FAIR研究院）
该研究提出无对齐文本音频盒（Text-AB），基于流匹配扩散Transformer，在48万小时语音预训练后经微调，实现高质量配音与全双工对话合成，性能大幅优于现有系统。
2026-09-04 cs.CL eess.AS
BayLing-Duplex: Native Full-Duplex Speech Dialogue with a Single Autoregressive LLM
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)（中国科学院计算技术研究所智能信息处理重点实验室）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
提出BayLing-Duplex，一种原生全双工语音语言模型，通过单个自回归LLM决定何时听、说和停止，无需外部VAD模块，仅用少量特殊标记实现，在少量微调数据上达到高交互成功率并提升响应质量。
2026-06-15 cs.CL eess.AS
Instruct-FD: Can Your Full-Duplex Speech System Follow Turn-Taking Instructions?
Boson AI（玻色子人工智能公司）
研究全双工语音系统在明确指令下的轮流发言行为，引入Instruct-FD基准，开发相关工具，通过对六个先进系统测试发现遵循指令的轮流管理有差距，为构建适应性全双工对话系统指明关键方向。
2026-07-24 cs.AI cs.CL
Enabling Conversational Behavior Reasoning Capabilities in Full-Duplex Speech
Zhejiang University（浙江大学）；University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种基于图的思维框架，通过建模对话行为的因果推断，实现全双工语音交互中的行为推理与可解释性。
2025-12-25 cs.AI cs.CL
MultiTalk: Scaling Full-Duplex Speech Models to Long, Multi-Party, Bilingual Conversation
CUHK MMLab（香港中文大学多媒体实验室）；CPII under InnoHK（香港物流及供应链管理应用技术研发中心）
提出MultiTalk，通过57.6k小时合成数据训练双语全双工模型，并构建MultiTalkBench基准，显著提升长时多方对话性能。
2026-09-30 cs.AI cs.CL cs.SD
FLEXI: Benchmarking Full-duplex Human-LLM Speech Interaction
School of Computer Science and Engineering, Northeastern University, Shenyang, China（计算机科学与工程学院，东北大学，沈阳，中国）；NiuTrans Research（NiuTrans研究）；Kunming University of Science and Technology（昆明理工大学）
本文提出FLEXI基准，通过六类场景评估全双工语音LLM的延迟、质量与交互有效性，发现开源与商业模型在紧急意识等方面存在显著差距。
2025-09-26 cs.CL
Context Spanning: A Communication Framework for Full-Duplex Speech Models and External LLM Backends
Mindlogic（Mindlogic公司）
提出上下文跨越框架，通过实时分块预填充将外部LLM检索信息直接注入全双工语音模型，避免压缩损失，提升全双工基准和问答任务性能。
2026-09-29 cs.CL cs.SD eess.AS
Freeze-Omni: A Smart and Low Latency Speech-to-speech Dialogue Model with Frozen LLM
Tencent Youtu Lab（腾讯优图实验室）；Nanjing University（南京大学）
本研究提出冻结LLM参数的Freeze-Omni语音-文本多模态架构，通过三阶段训练、多任务训练实现低延迟双向语音对话，保留骨干LLM智能水平，避免灾难性遗忘。
2024-12-08 cs.AI cs.CL cs.SD
X2-Turn: Frame-Synchronous Dual-Head Modeling for Joint Streaming ASR and Turn State Prediction
本研究提出X2-Turn方法，基于预训练Voxtral Realtime模型构建帧同步双头结构，联合预测ASR token与细粒度轮次状态，在中英双语Easy-Turn测试集上验证了其轮次转换检测的准确性与低延迟优势。
2026-09-09 cs.CL eess.AS
Moshi: a speech-text foundation model for real-time dialogue
Kyutai（久泰公司）
本文提出全双工语音-文本基础模型 Moshi，通过语音到语音生成、并行双流建模和 Inner Monologue 时间对齐文本前缀，实现低延迟实时口语对话。
2024-10-02 cs.AI cs.CL cs.LG
Covo-Audio Technical Report
Covo-Audio是一款7B参数端到端LALM，通过大规模预训练和微调在多种任务中表现优异，包括语音文本建模、对话、语音理解等，并展示了其在实际对话助理中的应用潜力。
2026-03-16 cs.CL cs.SD eess.AS
