From Turn-Taking to Synchronous Dialogue: A Survey of Full-Duplex Spoken Language Models
Jilin University, Changchun, China(吉林大学);Hunan University, Changsha, China(湖南大学)
本文综述了LLM时代的全双工口语语言模型,提出工程化同步与学习式同步的分类法,并统一评估框架,指出同步数据稀缺、架构分歧和评估缺口等核心挑战,为人机通信发展提供路线图。
2025-09-18 cs.CL cs.SD eess.AS
Duplex Conversation: Towards Human-like Interaction in Spoken Dialogue Systems
Alibaba Group(阿里巴巴集团)
在本文中,我们提出了双工对话,多回合,多模态口语对话系统,使基于电话的代理人与客户像一个人。我们使用电信中全双工的概念来演示什么是类人的交互体验,以及如何通过三个子任务实现平滑的话轮转换:用户状态检测,反向信道选择和闯入检测。此外,我们提出了半监督学习与多模态数据增强,利用未标记的数据,以提高模型的泛化。三个子任务的实验结果表明,该方法取得了一致的改善与基线相比。我们将Duplex Conversation部署到阿里巴巴智能客户服务中,并分享生产中的经验教训。在线A/B实验表明,该系统可以显着减少响应延迟的50%。
2022-06-14 cs.CL
Enabling Proactive Spoken Turns via a Generalized Style-Aware Full-Duplex Framework
Token Foundry, Alibaba Group(阿里巴巴集团Token Foundry)
该研究构建含LPS-TC控制器、WildTurn数据集及两级评估方案的风格感知全双工框架,结合半双工/全双工模型后,可实现更自然类人的主动口语交互,时机与响应质量表现优异。
2026-09-01 cs.AI cs.CL cs.SD
Chain-of-Thought Reasoning in Streaming Full-Duplex End-to-End Spoken Dialogue Systems
Language Technologies Institute, Carnegie Mellon University, USA(语言技术研究所,卡内基梅隆大学,美国);Sony Group Corporation, Japan(索尼集团,日本)
针对现有全双工口语对话系统架构复杂、语义推理弱的问题,提出流式思维链框架SCoT,分块交替处理输入与生成响应,实现更连贯可解释的响应及更低延迟的重叠交互。
2025-10-02 cs.CL cs.SD eess.AS
The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning
DeepMind(深度Mind)
本文提出了一种名为FLAIR的全双工语音对话模型,通过潜在推理同时进行语音感知和内部思考,以提高对话质量,该方法在多个语音基准测试中取得了竞争性的结果。
2026-06-04 cs.CL eess.AS
M3-DuplexBench: A Multi-Turn, Multilingual, Multidomain Benchmark for Full-Duplex Spoken Dialogue Models
研究针对全双工口语对话系统多轮公平比较难、现有基准覆盖不足的问题,提出支持英日双语、涵盖两类对话场景的M3-DuplexBench基准,通过多设置实验揭示模型话轮特征与性能差异。
2026-10-12 cs.CL
Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对全双工口语模型在用户打断时响应延迟的问题,提出基于感知向量的激活引导方法,无需微调即可显著提升中断理解能力。
2026-06-11 cs.AI cs.CL eess.AS
Integrating Facial Generation into Full-Duplex Spoken Dialogue Systems
Graduate School of Informatics, Nagoya University, Japan(名古屋大学信息学研究科)
提出Moshi-Face,首个联合处理用户音频和面部输入并同时生成语音和面部运动的全双工对话模型,通过VQ-VAE面部编解码器和非自回归面部变换器实现实时视听对齐。
2026-06-23 cs.CL cs.CV cs.HC
Chronological Thinking in Full-Duplex Spoken Dialogue Language Models
Nanyang Technological University(南洋理工大学);StepFun;Mila
提出Chronological Thinking机制,让全双工对话模型在听用户说话时增量推理,不增加延迟,提升响应质量。
2026-06-15 cs.AI cs.CL
Full-duplex Spoken Language Modeling with Discrete Diffusion
NVIDIA(英伟达公司)
研究提出基于离散扩散的全双工口语模型Diffuplex,通过分离训练层面的“何时说”与“说什么”,实现了远超自回归模型的解码速度与更强语言智能,为口语智能体提供了新范式。
2026-10-14 cs.CL
Human-1 by Josh Talks: A Full-Duplex Conversational Modeling Framework in Hindi using Real-World Conversations
JoshTalks
本文通过适配Moshi架构,使用自定义印地语分词器和26,000小时真实对话数据训练,提出了首个开放、可复现的印地语全双工口语对话系统,实现了自然的打断、重叠和反馈行为。
2026-09-28 cs.AI cs.CL
Beyond Turn-Based Interfaces: Synchronous LLMs as Full-Duplex Dialogue Agents
Meta AI;University of Washington(华盛顿大学)
提出Synchronous LLMs,通过将时间信息整合到Llama3-8b并利用212k小时合成与2k小时真实语音数据训练,实现了超越现有最先进方法的全双工语音对话代理。
2024-09-23 cs.CL cs.LG cs.SD
Easy Turn: Integrating Acoustic and Linguistic Modalities for Robust Turn-Taking in Full-Duplex Spoken Dialogue Systems
针对全双工对话中话轮转换检测依赖闭源、大模型或单模态的问题,提出开源双模态 Easy Turn 模型及 1,145 小时数据集,在开源测试集上达到最优准确率。
2025-09-28 cs.AI cs.CL
JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems
本文提出JAL-Turn框架,通过联合声学-语言建模实现高效实时轮流检测,利用交叉注意力模块整合预训练声学表示与语言特征,同时共享冻结的ASR编码器以并行处理,提升准确性和实时性。
2026-10-14 cs.AI cs.CL
Neither Silence nor Overlap Is Failure: Intent-Conditioned Evaluation of Turn-Taking in Full-Duplex Spoken Dialogue Models
People Make Things
针对全双工口语对话模型,提出意图条件评估基准TACT,用连续概率分数替代二元规则,在十一个系统中最佳模型达0.47,与人类判断高度一致。
2026-09-24 cs.AI cs.CL cs.HC
SteerDuplex: Steerable Duplex Speech Dialogue Models
Scale AI;University of Maryland(马里兰大学)
针对全双工语音对话模型缺乏可操控性的问题,提出SteerDuplex模型和SteerBench基准,通过微调与两阶段强化学习,显著提升音频操控与打断处理能力。
2026-09-14 cs.AI cs.CL
TurnGuide: Enhancing Meaningful Full Duplex Spoken Interactions via Dynamic Turn-Level Text-Speech Interleaving
The Chinese University of Hong Kong(香港中文大学);Huawei Technologies(华为技术)
提出TurnGuide方法,通过动态分割助手语音为对话轮次并交错生成轮次级文本和语音,解决全双工语音语言模型在连续双通道音频中集成离散文本令牌导致的时间对齐问题,显著提升语义连贯性和轮次交互性能。
2026-06-18 cs.CL cs.SD eess.AS
DiffuPlex: Accelerating Full-Duplex Spoken Dialog Models via Rolling Masked Diffusion
University of Seoul(首尔大学)
DiffuPlex是一种滚动掩码扩散框架,通过预测多帧减少全双工口语对话模型的顺序计算,两种策略均实现显著速度提升,且基本保留交互与语言能力。
2026-10-09 cs.CL cs.SD
Reference-Guided Turn-Taking Style Transfer for Full-Duplex Spoken Language Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));The University of Melbourne(墨尔本大学);Lulula(卢卢拉)
本研究提出从模型对话中提取 initiative vector,可预判语音起始点并调整语音占比,通过参考录音实现说话者话轮转换风格向全双工口语语言模型的迁移。
2026-10-16 cs.AI cs.CL cs.SD
FLEXI: Benchmarking Full-duplex Human-LLM Speech Interaction
School of Computer Science and Engineering, Northeastern University, Shenyang, China(计算机科学与工程学院,东北大学,沈阳,中国);NiuTrans Research(NiuTrans研究);Kunming University of Science and Technology(昆明理工大学)
本文提出FLEXI基准,通过六类场景评估全双工语音LLM的延迟、质量与交互有效性,发现开源与商业模型在紧急意识等方面存在显著差距。
2025-09-26 cs.CL
DuplexDrama: A Synthesized Dialogue Dataset with Scenarios, Full-Duplex Behaviors, Expressive Speech, and Sound Events
Zuoyebang Education Technology(作业帮教育科技)
DuplexDrama是首个涵盖场景、全双工行为、表现性语音和声音事件的合成对话数据集,通过4阶段流水线构建,包含超2000小时音频,并发布6400个双语对话子集以推进全双工对话模型研究。
2026-09-25 cs.CL
Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models
Kyutai;Gradium
针对全双工对话模型交互性问题,提出基于强化学习的后训练对齐方法,从暂停处理、话轮转换、回馈和用户打断四个维度优化,并加入LLM奖励防止语义退化,在Moshi和PersonaPlex上取得一致改进。
2026-09-01 cs.CL eess.AS
SALMONN-omni: A Codec-free LLM for Full-duplex Speech Understanding and Generation
Tsinghua University(清华大学);ByteDance(字节跳动);University of Cambridge(剑桥大学)
针对全双工语音理解与生成任务,提出无编解码器的SALMONN-omni模型,通过双工口语对话框架及“思考”机制实现异步生成,在多任务中表现通用且能处理复杂对话场景。
2024-11-27 cs.AI cs.CL cs.SD
OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation
Tongyi Lab(通义实验室)
本文提出端到端GPT模型OmniFlatten,通过多阶段后训练和扁平化数据操作将文本LLM适配为全双工语音对话模型,实现低延迟自然双向对话。
2025-01-03 cs.AI cs.CL cs.SD
DuplexCascade: Full-Duplex Speech-to-Speech Dialogue with VAD-Free Cascaded ASR-LLM-TTS Pipeline and Micro-Turn Optimization
SB Intuitions Corp.(SB Intuitions公司);The University of Tokyo(东京大学)
DuplexCascade通过无VAD级联流水线和微轮询优化,实现全双工语音对话的高效交互与强对话智能。
2026-03-10 cs.AI cs.CL
F-Actor: Controllable Conversational Behaviour in Full-Duplex Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Edinburgh(爱丁堡大学);NatWest(国立西敏银行)
本文提出首个可训练的全双工对话语音模型,通过冻结音频编码器仅微调语言模型,在有限资源下实现高效训练,支持通过指令控制说话声音、话题和对话行为。
2026-04-15 cs.CL
PersonaKit (PK): A Plug-and-Play Platform for User Testing Diverse Roles in Full-Duplex Dialogue
Department of Computer Science(计算机科学系)
本文提出PersonaKit平台,通过直观的JSON配置定义角色并测试不同的轮流策略,验证了复杂社会语言行为的研究框架。
2026-05-07 cs.AI cs.CL cs.HC
Liberating LLM Capabilities in Full-Duplex Speech Models
Royal Zhang(皇家张)
提出Listen-Write-Speak (LWS)三通道范式,使LLM在共享因果注意力上下文中同时监听、书写可见文本并实时口语回应,无需架构修改,实现全双工交互。
2026-09-16 cs.AI cs.CL cs.SD
SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model
NVIDIAUSA(NVIDIA美国)
本文提出SALM-Duplex双工S2S架构,通过通道融合、流式编码器和独立编解码器建模实现实时插话与低比特率语音对话,并公开训练推理代码。
2025-07-25 cs.CL cs.SD eess.AS
RUBATO: Decoupled Clocks Allow Full-Duplex Models to Think as Fast as They Can
The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta Superintelligence Labs(Meta超级智能实验室)
本文提出RUBATO,通过为全双工模型各流分配独立时钟实现解耦,仅用两个极端速度训练即可适配任意解码速率,在5项口语推理任务中大幅优于基线模型,尤其在复杂中断场景下表现突出。
2026-10-14 cs.AI cs.CL cs.SD
Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);Center for Language, Intelligence and Machines, Shenzhen Loop Area Institute, Shenzhen(深圳环智中语言、智能与机器中心);School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)人工智能学院)
研究全双工口语语言模型受模态干扰问题,提出Lychee-FD框架及分层参数分离策略,通过实验验证该方法能有效提升模型性能,在语音智能和交互流畅性上取得显著进步,且不影响推理效率。
2026-10-30 cs.CL
S-MARC: Causal Streaming Reasoning for Full-Duplex Conversational Behavior Modeling
University of California, Berkeley(加州大学伯克利分校);Zhejiang University(浙江大学);South China University of Technology(华南理工大学)
提出S-MARC框架,通过流式因果层次建模意图到动作路径,预测高层交际功能和低层交互行为,并构建高质量语料库,实现全双工对话中的鲁棒行为检测与可解释推理。
2026-05-28 cs.AI cs.CL
Synchronization and Turn-Taking in Full-Duplex Speech Dialogue Models
ASAPP Inc.(ASAPP公司);Departamento de Computación, FCEyN, Universidad de Buenos Aires(计算机系,福克雷斯-恩分校,布宜诺斯艾利斯大学)
本文研究了全双工语音对话模型如何通过内部表示的同步协调交互,并发现噪声条件下同步性下降,内部状态编码了提前的轮流预测信息。
2026-05-19 cs.AI cs.CL cs.SD
Instruct-FD: Can Your Full-Duplex Speech System Follow Turn-Taking Instructions?
Boson AI(玻色子人工智能公司)
研究全双工语音系统在明确指令下的轮流发言行为,引入Instruct-FD基准,开发相关工具,通过对六个先进系统测试发现遵循指令的轮流管理有差距,为构建适应性全双工对话系统指明关键方向。
2026-07-24 cs.AI cs.CL
Full-Duplex-Bench-v3: Benchmarking Tool Use for Full-Duplex Voice Agents Under Real-World Disfluency
National Taiwan University(国立台湾大学);NVIDIA(英伟达)
本文提出全双工基准v3,用于评估在自然语音条件下和多步骤工具使用中语言模型的性能。通过六个模型配置评估准确性、延迟和轮流交流维度,发现GPT-Realtime在Pass@1和打断避免方面表现最佳,而Gemini Live 3.1具有最短延迟但轮流率最低。
2026-04-06 cs.CL eess.AS
Enabling Conversational Behavior Reasoning Capabilities in Full-Duplex Speech
Zhejiang University(浙江大学);University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于图的思维框架,通过建模对话行为的因果推断,实现全双工语音交互中的行为推理与可解释性。
2025-12-25 cs.AI cs.CL
BayLing-Duplex: Native Full-Duplex Speech Dialogue with a Single Autoregressive LLM
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(中国科学院计算技术研究所智能信息处理重点实验室);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
提出BayLing-Duplex,一种原生全双工语音语言模型,通过单个自回归LLM决定何时听、说和停止,无需外部VAD模块,仅用少量特殊标记实现,在少量微调数据上达到高交互成功率并提升响应质量。
2026-06-15 cs.CL eess.AS
Decoupling Turn-Taking from Semantics: A Decoupled Data Approach for Finite-State-Machine-Based Full-Duplex Dialogue
Kyoto University(京都大学)
该研究针对神经有限状态机框架依赖合成数据导致对话轮次自然度不足的问题,提出解耦数据方法,通过规则转换HH对话为FSM序列并结合SAC损失,提升对话轮次能力同时恢复LLM语义能力。
2026-09-04 cs.CL
Context Spanning: A Communication Framework for Full-Duplex Speech Models and External LLM Backends
Mindlogic(Mindlogic公司)
提出上下文跨越框架,通过实时分块预填充将外部LLM检索信息直接注入全双工语音模型,避免压缩损失,提升全双工基准和问答任务性能。
2026-09-29 cs.CL cs.SD eess.AS
FLM-Audio: Natural Monologues Improves Native Full-Duplex Chatbots via Dual Training
Beijing Academy of Artificial Intelligence, Beijing, China(北京人工智能研究院);Nanyang Technological University, Singapore(南洋理工大学)
FLM-Audio通过双训练策略和连续独白提升全双工聊天机器人的响应质量和体验。
2026-01-30 cs.AI cs.CL cs.SD
EchoChain: A Full-Duplex Benchmark for State-Update Reasoning Under Interruptions
Applied Machine Learning Research(应用机器学习研究)
EchoChain基准用于评估中断情况下全双工状态更新推理,识别三种常见失败模式,通过可控场景生成和标准化中断点,实现跨模型比较,结果显示中断导致状态更新错误显著增加,表明需大幅改进中生成状态修正能力。
2026-04-08 cs.AI cs.CL cs.LG
Controlling Backchannels in Streamable Full-duplex Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);AppTek(AppTek公司);Charles University(查理大学);Sesame AI(Sesame AI公司);University of Edinburgh(爱丁堡大学)
本文提出一种轻量级反馈语头,从全双工模型隐藏状态预测并触发反馈语,跨7B和1B模型规模泛化,生成更频繁且时机更佳的反馈语,质量与真实反馈语相当。
2026-09-25 cs.CL cs.HC
Game-Time: Evaluating Temporal Dynamics in Spoken Language Models
Massachusetts Institute of Technology, USA(麻省理工学院);National Taiwan University(台湾国立台湾大学);Academia Sinica(台湾“ Academia Sinica”);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立清华大学人工智能研究中心卓越研究中心)
本文提出Game-Time基准测试,用于评估口语语言模型在时间动态方面的能力,发现现有模型在时间约束下表现不佳,揭示了时间感知和全双工交互的不足。
2026-05-01 cs.AI cs.CL eess.AS
Unit-Based Agent for Semi-Cascaded Full-Duplex Dialogue Systems
Hunan University(湖南大学);Gongdao Technology(公道科技);Jilin University(吉林大学)
本文提出基于单元的半级联全双工对话系统,利用多模态大语言模型和辅助模块实现高效对话处理,实验显示其在挑战赛中表现优异。
2026-01-29 cs.CL cs.HC
Conversation Is a Two-Body Problem: Dyadic Evaluation of Full-Duplex Dialogue Models
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对全双工对话模型单侧评估的不足,提出DyaFDB二元评估框架,让两个模型直接对话并双向评分,通过140场景、7560对话验证了模型间相互塑造,强调互为考官与被考者。
2026-10-07 cs.CL eess.AS
Building a Taiwanese Mandarin Spoken Language Model: A First Attempt
本文首次尝试构建面向台湾 Mandarin 的端到端口语大语言模型,采用仅解码器 Transformer 架构并支持全双工实时多轮语音交互,同时提出合成对话数据训练方案与对话流畅性评估平台。
2024-12-27 cs.CL cs.SD eess.AS
SALMONN-omni: A Standalone Speech LLM without Codec Injection for Full-duplex Conversation
Tsinghua University(清华大学);ByteDance(字节跳动);University of Cambridge(剑桥大学)
SALMONN-omni是首个无需音频码本注入的独立全双工语音大语言模型,通过动态思考机制实现说话与聆听状态切换,在口语问答和开放域对话基准上相对现有开源全双工模型提升至少30%,并有效处理插话和回声消除等复杂场景。
2025-05-17 cs.AI cs.CL
FlexDuo: A Pluggable System for Enabling Full-Duplex Capabilities in Speech Dialogue Systems
Kuaishou Technology(快手科技)
本文提出FlexDuo,一种即插即用的全双工控制模块,通过解耦双工控制与对话系统并引入显式Idle状态过滤噪声与缓冲语义,显著降低了错误打断率并提升了响应准确率。
2025-05-29 cs.CL cs.HC
MultiPartyTurnBench: Benchmarking Floor Control in Multi-Party Spoken Dialogue
University of Maryland College Park(马里兰大学帕克分校)
该研究推出多场景话语权控制基准MultiPartyTurnBench,评估话轮结束检测与中断检测任务,发现现有系统在中断检测上表现接近随机,选择性话语权控制仍是多场景语音交互的未解决挑战。
2026-10-15 cs.AI cs.CL cs.SD
Moshi: a speech-text foundation model for real-time dialogue
Kyutai(久泰公司)
本文提出全双工语音-文本基础模型 Moshi,通过语音到语音生成、并行双流建模和 Inner Monologue 时间对齐文本前缀,实现低延迟实时口语对话。
2024-10-02 cs.AI cs.CL cs.LG
SALMONN-duo: Adaptive Dual-System Coordination for Full-Duplex Voice Agents
Tsinghua University(清华大学);ByteDance(字节跳动)
提出SALMONN-duo,一种受双过程理论启发的自适应双系统全双工语音代理,通过快速系统1与慢速系统2的协调委派,在实时交互中提升知识密集型与多跳推理准确性,并以成本感知强化学习优化性能与后端使用权衡。
2026-09-29 cs.CL eess.AS
IndicFDB: Benchmarking Full-Duplex Voice Agents across Indian Languages
针对全双工语音智能体,IndicFDB将基准扩展到印度十种语言,提供12,350个样本,并解决事件挖掘、时序评估和跨语言评判三大挑战,揭示商业API与开放模型间的性能权衡。
2026-09-29 cs.CL
VITA-QinYu: Expressive Spoken Language Model for Role-Playing and Singing
QinYu Team(秦宇团队);VITA-Team(VITA团队)
VITA-QinYu是首个支持角色扮演和演唱生成的端到端口语语言模型,通过混合语音-文本范式和多代码本音频令牌提升表达性,优于同类模型7个百分点,在演唱和对话任务中均取得显著成果。
2026-05-07 cs.AI cs.CL
Voice-Light: A Full-Duplex Cascaded Voice Agent with Causal Turn-Taking and Speculative Generation
Voice-Light提出级联全双工语音智能体,结合因果轮换与投机式生成,实现低延迟交互,并通过混合控制器在真实场景中平衡误切断与轮次召回率。
2026-09-21 cs.CL cs.SD eess.AS