FacePlex: Toward Natural Full-Duplex Conversational Avatars
Korea University(韩国大学);Klleon
提出FacePlex统一流式框架,通过滚动流匹配和滚动交叉注意力实现全双工下语音与面部运动的联合在线生成,在唇同步和运动保真度上优于音频驱动方法。
2026-09-29 cs.AI cs.CV cs.LG
Instruct-FD: Can Your Full-Duplex Speech System Follow Turn-Taking Instructions?
Boson AI(玻色子人工智能公司)
研究全双工语音系统在明确指令下的轮流发言行为,引入Instruct-FD基准,开发相关工具,通过对六个先进系统测试发现遵循指令的轮流管理有差距,为构建适应性全双工对话系统指明关键方向。
2026-07-24 cs.AI cs.CL
Beyond Monologue: Interactive Talking-Listening Avatar Generation with Conversational Audio Context-Aware Kernels
University of Science and Technology of China(中国科学技术大学);iFLYTEK(科大讯飞)
本文提出基于对话音频上下文感知核的交互式虚拟角色生成方法,通过引入多头高斯核解决谈话与倾听行为的时间尺度差异问题,构建了能同时处理双流音频输入的全双工虚拟代理,并在VoxHear数据集上验证了其在生成自然响应的全双工数字人类方面的优越性。
2026-04-11 cs.AI cs.SD
FLEXI: Benchmarking Full-duplex Human-LLM Speech Interaction
School of Computer Science and Engineering, Northeastern University, Shenyang, China(计算机科学与工程学院,东北大学,沈阳,中国);NiuTrans Research(NiuTrans研究);Kunming University of Science and Technology(昆明理工大学)
本文提出FLEXI基准,通过六类场景评估全双工语音LLM的延迟、质量与交互有效性,发现开源与商业模型在紧急意识等方面存在显著差距。
2025-09-26 cs.CL
Human-1 by Josh Talks: A Full-Duplex Conversational Modeling Framework in Hindi using Real-World Conversations
JoshTalks
本文通过适配Moshi架构,使用自定义印地语分词器和26,000小时真实对话数据训练,提出了首个开放、可复现的印地语全双工口语对话系统,实现了自然的打断、重叠和反馈行为。
2026-09-28 cs.AI cs.CL
A frontend-backend architecture for tool calls in full-duplex speech models
NVIDIA(英伟达)
提出前后端架构,通过双工语音转文本前端委派令牌并利用后端LLM执行工具调用,在保持低延迟交互的同时实现高召回率与强代理能力。
2026-09-22 cs.CL
F-Actor: Controllable Conversational Behaviour in Full-Duplex Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Edinburgh(爱丁堡大学);NatWest(国立西敏银行)
本文提出首个可训练的全双工对话语音模型,通过冻结音频编码器仅微调语言模型,在有限资源下实现高效训练,支持通过指令控制说话声音、话题和对话行为。
2026-04-15 cs.CL
Enabling Real-Time Conversations with Minimal Training Costs
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学)
针对传统大语言模型对话系统无法实时交互且现有双工方案训练成本高的问题,提出一种仅需少量额外训练的双工解码方法,通过对话查询与响应的并行解码实现信道分用,以低成本提升人机交互自然度。
2024-09-18 cs.CL
Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对全双工口语模型在用户打断时响应延迟的问题,提出基于感知向量的激活引导方法,无需微调即可显著提升中断理解能力。
2026-06-11 cs.AI cs.CL eess.AS
APEX-Voice: Can Voice Agents Complete Professional Workflows Through Full-Duplex Interaction
University of Maryland College Park(马里兰大学学院公园分校)
APEX-Voice基准测试通过120个专业工作流程评估五个前沿语音智能体,结果显示无一超过25%的Pass@1,证明流畅对话不等于可靠完成专业工作。
2026-09-29 cs.AI
VideoFDB: Evaluating Full-Duplex Vision-Speech Capabilities in Conversational Agents
NVIDIA;David AI
提出首个全双工视听到视听(AV2AV)对话基准VideoFDB,通过237个真实视频片段、感知与生成行为分类以及基于评分规则的LM评判框架,系统评估代理在非语言对话动态中的表现,发现现有系统存在字幕崩溃和视觉流忽视等缺陷。
2026-07-30 cs.CL cs.CV cs.HC
SALMONN-duo: Adaptive Dual-System Coordination for Full-Duplex Voice Agents
Tsinghua University(清华大学);ByteDance(字节跳动)
提出SALMONN-duo,一种受双过程理论启发的自适应双系统全双工语音代理,通过快速系统1与慢速系统2的协调委派,在实时交互中提升知识密集型与多跳推理准确性,并以成本感知强化学习优化性能与后端使用权衡。
2026-09-29 cs.CL eess.AS
Chronological Thinking in Full-Duplex Spoken Dialogue Language Models
Nanyang Technological University(南洋理工大学);StepFun;Mila
提出Chronological Thinking机制,让全双工对话模型在听用户说话时增量推理,不增加延迟,提升响应质量。
2026-06-15 cs.AI cs.CL
Game-Time: Evaluating Temporal Dynamics in Spoken Language Models
Massachusetts Institute of Technology, USA(麻省理工学院);National Taiwan University(台湾国立台湾大学);Academia Sinica(台湾“ Academia Sinica”);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立清华大学人工智能研究中心卓越研究中心)
本文提出Game-Time基准测试,用于评估口语语言模型在时间动态方面的能力,发现现有模型在时间约束下表现不佳,揭示了时间感知和全双工交互的不足。
2026-05-01 cs.AI cs.CL eess.AS
Telephone Surveys Meet Conversational AI: Evaluating a LLM-Based Telephone Survey System at Scale
Decibels Inc.(60分贝公司);University of Oxford(牛津大学)
本研究提出并大规模评估了一个集成TTS、LLM和STT的人工智能电话调查系统,在美国和秘鲁的测试表明其数据质量在结构化项目上接近人工访员,并支持无需培训访员的快速部署。
2025-03-12 cs.CL cs.HC
DRIP-R: A Benchmark for Decision-Making and Reasoning Under Real-World Policy Ambiguity in the Retail Domain
Interdisciplinary Transformation University Austria(跨学科转型大学奥地利);Amazon Berlin(亚马逊柏林)
DRIP-R基准测试通过现实零售政策模糊性构建无唯一正确解决方案的场景,评估LLM在模糊政策下的决策与推理能力,揭示其固有的系统性挑战。
2026-09-01 cs.AI cs.CL
ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion
AveraLabs(艾维拉实验室)
提出ConversationalVoice流水线,通过分离、重建和扩展将真实对话转化为全双工训练数据,保持高说话人相似度与语音质量,为后续模型训练提供基础。
2026-09-09 cs.CL cs.SD eess.AS
Enabling Streaming User Transcription in Full-Duplex Speech-to-Speech Models
NVIDIA(英伟达)
本文提出在双工语音到语音模型中并行添加轻量级ASR头,实现流式用户转录,在保持全双工对话能力的同时,取得10.21%的流式WER,并开源代码。
2026-09-15 cs.CL
DuplexMamba: Enhancing Real-time Speech Conversations with Duplex and Streaming Capabilities
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算学部);Tsinghua University(清华大学)
本文提出DuplexMamba,一种基于Mamba的端到端多模态双工模型,通过同时处理输入和生成输出的双工解码策略实现实时流式语音对话,在ASR和语音助手基准上性能媲美Transformer模型。
2025-04-03 cs.CL
SALMONN-omni: A Codec-free LLM for Full-duplex Speech Understanding and Generation
Tsinghua University(清华大学);ByteDance(字节跳动);University of Cambridge(剑桥大学)
针对全双工语音理解与生成任务,提出无编解码器的SALMONN-omni模型,通过双工口语对话框架及“思考”机制实现异步生成,在多任务中表现通用且能处理复杂对话场景。
2024-11-27 cs.AI cs.CL cs.SD
The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning
DeepMind(深度Mind)
本文提出了一种名为FLAIR的全双工语音对话模型,通过潜在推理同时进行语音感知和内部思考,以提高对话质量,该方法在多个语音基准测试中取得了竞争性的结果。
2026-06-04 cs.CL eess.AS
M3-DuplexBench: A Multi-Turn, Multilingual, Multidomain Benchmark for Full-Duplex Spoken Dialogue Models
研究针对全双工口语对话系统多轮公平比较难、现有基准覆盖不足的问题,提出支持英日双语、涵盖两类对话场景的M3-DuplexBench基准,通过多设置实验揭示模型话轮特征与性能差异。
2026-10-12 cs.CL
TurnGuide: Enhancing Meaningful Full Duplex Spoken Interactions via Dynamic Turn-Level Text-Speech Interleaving
The Chinese University of Hong Kong(香港中文大学);Huawei Technologies(华为技术)
提出TurnGuide方法,通过动态分割助手语音为对话轮次并交错生成轮次级文本和语音,解决全双工语音语言模型在连续双通道音频中集成离散文本令牌导致的时间对齐问题,显著提升语义连贯性和轮次交互性能。
2026-06-18 cs.CL cs.SD eess.AS
FD-VAD: Semantic Endpoint Detection for Streaming Full-Duplex Speech
FD-VAD提出一种无需ASR的流式语义端点检测方法,直接基于音频窗口判断继续或停止,在TurnBench上取得最优EOT召回率,实现高效全双工语音交互。
2026-09-30 cs.CL eess.AS
DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling
The University of Tokyo, Japan(东京大学,日本);National Institute of Advanced Industrial Science and Technology, Japan(日本国家先进工业科学与技术研究院)
针对现有大规模公共语音语料库不适用于全双工口语对话模型训练的问题,提出DuplexChat及DuplexChat-Pipe,通过特定流程构建分离说话者全双工对话语音,产出多语言语料库。
2026-07-07 cs.CL cs.SD eess.AS
Moshi: a speech-text foundation model for real-time dialogue
Kyutai(久泰公司)
本文提出全双工语音-文本基础模型 Moshi,通过语音到语音生成、并行双流建模和 Inner Monologue 时间对齐文本前缀,实现低延迟实时口语对话。
2024-10-02 cs.AI cs.CL cs.LG
DiffuPlex: Accelerating Full-Duplex Spoken Dialog Models via Rolling Masked Diffusion
University of Seoul(首尔大学)
DiffuPlex是一种滚动掩码扩散框架,通过预测多帧减少全双工口语对话模型的顺序计算,两种策略均实现显著速度提升,且基本保留交互与语言能力。
2026-10-09 cs.CL cs.SD
SteerDuplex: Steerable Duplex Speech Dialogue Models
Scale AI;University of Maryland(马里兰大学)
针对全双工语音对话模型缺乏可操控性的问题,提出SteerDuplex模型和SteerBench基准,通过微调与两阶段强化学习,显著提升音频操控与打断处理能力。
2026-09-14 cs.AI cs.CL
PersonaKit (PK): A Plug-and-Play Platform for User Testing Diverse Roles in Full-Duplex Dialogue
Department of Computer Science(计算机科学系)
本文提出PersonaKit平台,通过直观的JSON配置定义角色并测试不同的轮流策略,验证了复杂社会语言行为的研究框架。
2026-05-07 cs.AI cs.CL cs.HC
AgentIR: A Workload-Adaptive Cascade Retrieval Substrate for Long-Term Conversational Memory
University of Southern California(南加州大学)
针对长期对话记忆中索引动态增长、查询类型变化和亚10毫秒延迟预算的挑战,提出一种基于置信度触发的级联路由策略,通过自适应选择融合方法和是否运行稠密通道,在保持准确率的同时显著降低延迟并提升并发能力。
2026-05-24 cs.CL cs.DB cs.IR
Unit-Based Agent for Semi-Cascaded Full-Duplex Dialogue Systems
Hunan University(湖南大学);Gongdao Technology(公道科技);Jilin University(吉林大学)
本文提出基于单元的半级联全双工对话系统,利用多模态大语言模型和辅助模块实现高效对话处理,实验显示其在挑战赛中表现优异。
2026-01-29 cs.CL cs.HC
NemotronLabs VoiceChat: An Open Full-duplex Speech-to-Speech Model with Tool Calling Capabilities
NVIDIA(英伟达)
该论文提出开源全双工语音到语音模型NemotronLabs VoiceChat,通过流式架构整合语音编解码、RNN-T转录和工具调用,在多项基准上实现低接管率、高响应质量及82.5%工具选择F1,证明全双工交互与外部工具可统一集成。
2026-10-02 cs.AI cs.CL
SteerablePlex: Can We Steer Full-Duplex Models?
针对全双工语音模型难以控制的问题,提出SimIF-Bench基准,基于GDPO训练方案构建SteerablePlex,结合异步后端语言模型得到更可控的全双工用户模拟器,性能优于现有开源模型和GPT-Realtime。
2026-10-09 cs.CL eess.AS
MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models
Toyota Technological Institute at Chicago(丰田技术研究所(芝加哥))
本文提出MoshiRAG,通过异步框架结合紧凑接口与选择性检索,提升全双工语音模型的事实性,同时保持交互性。
2026-05-12 cs.CL eess.AS
IndicFDB: Benchmarking Full-Duplex Voice Agents across Indian Languages
针对全双工语音智能体,IndicFDB将基准扩展到印度十种语言,提供12,350个样本,并解决事件挖掘、时序评估和跨语言评判三大挑战,揭示商业API与开放模型间的性能权衡。
2026-09-29 cs.CL
ConvMemory v2: A Recall-Preserving Top-10 Evidence Reranker for Conversational Memory Retrieval
School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院)
提出ConvMemory v2,一种轻量级重排序器,在保留v1的Recall@10前提下,通过微调交叉编码器提升MRR和H@1,并分析其机制。
2026-06-09 cs.CL cs.IR