Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue
提出Duplex-MPE基准,用于评测全双工对话中语音助手在多方场景下的回答、沉默与停止能力,包含2,000个场景和四个评分指标,实验表明MiniCPM-o 4.5在多数能力上领先。
2026-11-03 cs.SD eess.AS
VoiceBench: Benchmarking LLM-Based Voice Assistants
National University of Singapore(新加坡国立大学)
针对现有语音助手评估基准缺失、忽略真实复杂场景的问题,研究推出首个多维度评估基准VoiceBench,含覆盖三类真实变异的真实与合成语音指令,实验揭示现有模型局限并提供研发方向。
2024-12-11 cs.AI cs.CL cs.SD
$τ$-Multilingual: Benchmarking Voice Agents Across Languages
Sierra;Mercor;Princeton University(普林斯顿大学)
提出τ-Multilingual多语言语音代理基准,扩展至五种语言,发现韩语和普通话任务完成度显著下降,并发布语言包与评估工具。
2026-09-30 cs.AI cs.CL cs.SD
VoiceWukong: Benchmarking Deepfake Voice Detection
Huazhong University of Science and Technology(华中科技大学)
本文提出 VoiceWukong 深度伪造语音检测基准,覆盖多语言、多工具与六类操纵,评测12种检测器、人类及 Qwen2-Audio,揭示现有方法在真实场景中的显著局限。
2024-09-10 cs.AI cs.CR cs.SD
DuplexCascade: Full-Duplex Speech-to-Speech Dialogue with VAD-Free Cascaded ASR-LLM-TTS Pipeline and Micro-Turn Optimization
SB Intuitions Corp.(SB Intuitions公司);The University of Tokyo(东京大学)
DuplexCascade通过无VAD级联流水线和微轮询优化,实现全双工语音对话的高效交互与强对话智能。
2026-03-10 cs.AI cs.CL
Privacy-Preserving End-to-End Full-Duplex Speech Dialogue Models
Nanyang Technological University(南洋理工大学);A*STAR;Huawei Leibniz Research Center(华为莱比锡研究中心);The Chinese University of Hong Kong(香港中文大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出两种流式匿名化方法,通过增强隐私保护在全双工语音对话模型中显著提升安全性,同时保持高效响应速度。
2026-03-09 cs.AI eess.AS eess.SP
AuthGlass: Benchmarking Voice Liveness Detection and Authentication on Smart Glasses via Comprehensive Acoustic Features
Tsinghua University(清华大学)
本文提出AuthG-Live和AuthG-Net方法,通过综合声学特征在智能眼镜场景下实现语音活度检测与认证,并发布AuthGlass数据集以促进相关研究。
2026-05-10 cs.HC cs.SD
MinMo: A Multimodal Large Language Model for Seamless Voice Interaction
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);FunAudioLLM Team(FunAudioLLM团队)
本研究提出面向无缝语音交互的8B参数多模态大模型MinMo,通过多阶段对齐训练与新型语音解码器,在语音理解生成基准上达SOTA,支持全双工对话与细粒度语音控制,延迟较低。
2025-01-10 cs.AI cs.CL cs.HC
Benchmarking and challenges in security and privacy for voice biometrics
VoicePrivacy organising committees
几十年来,语音技术的研究一直集中在提高可靠性上。随着这一点现在满足用户对各种应用的期望,语音技术今天无处不在。因此,对安全和隐私的关注现在已经成为当务之急。在这里,研究工作处于相对初期阶段,需要与安全,隐私,法律和道德专家等进行更多的多学科合作。这种合作目前正在进行中。为了帮助促进这些努力,本文提供了一些相关研究的高层次概述。它针对非语音受众,并描述了基准测试方法,该方法引领了传统研究的进展,现在推动了与语音生物识别相关的最新安全和隐私举措。我们描述:ASVspoof挑战与欺骗对策的发展有关;语音隐私倡议,促进隐私保护匿名化的研究。
2021-09-01 cs.CR cs.SD eess.AS
IRAF: Interference-Resilient Adaptive Fusion for Noise-Robust End-to-End Full-Duplex Spoken Dialogue Systems
The Chinese University of Hong Kong(香港中文大学);AudioLab Hong Kong, Huawei Leibniz Research Center(香港AudioLab,华为Leibniz研究中心);Nanyang Technological University(南洋理工大学)
提出IRAF模块,通过逐帧预测可靠性门控来调节用户音频对LLM的贡献,提升全双工对话系统在干扰说话人环境下的响应质量和交互稳定性。
2026-06-04 cs.AI cs.SD eess.AS
Benchmarking Fake Voice Detection in the Fake Voice Generation Arms Race
Vanderbilt University(范德比大学)
针对伪造语音检测基准聚合测试掩盖漏洞的问题,提出首个生态系统级基准,采用一对一协议评估17种生成器与8种检测器,揭示生成器可规避顶级检测器且无普遍鲁棒检测器,为下一代检测系统提供见解。
2025-10-17 cs.CR cs.SD eess.AS
Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Future Design Lab, Innovation Center of Yangtze River Delta, Zhejiang University(浙江大学长三角创新中心未来设计实验室);University of Virginia(弗吉尼亚大学)
针对全双工语音代理的封闭决策,提出DuplexJev,通过连接器将ASR隐藏状态输入冻结LLM,以单令牌分布读取选项,无需解码,实现快速批量决策并提升语音感知能力。
2026-10-05 cs.AI
VoiceAssistant-Eval: Benchmarking AI Assistants across Listening, Speaking, and Viewing
CUHK MMLab(香港中文大学多媒体实验室);SenseTime Research(商汤科技研究院);CPII under InnoHK(创新香港下的CPII)
本文提出 VoiceAssistant-Eval 多模态语音助手基准,覆盖听、说、看 13 类任务,并评测 21 个开源模型与 GPT-4o-Audio,揭示开源、小模型潜力及音频理解、多模态与安全短板。
2025-09-26 cs.AI cs.CL cs.CV
A Shaky Voice Is Not Always a Dodge: Benchmarking Textual and Vocal Evasion Detection in Earnings Calls
KakaoBank Corp.(Kakao银行股份有限公司);Yonsei University(延世大学)
该研究针对财报电话会议问答环节,构建了含505个问答对的DualEvasion基准,发现现有多模态模型难以检测声音置信度,孤立解读声学线索,与人类性能差距显著。
2026-08-31 cs.CL cs.SD
SpeechEQ: Benchmarking Emotional Intelligence Quotient in Socially Aware Voice Conversational Models
New York University(纽约大学);NVIDIA(英伟达);Carnegie Mellon University(卡内基梅隆大学);NYU Shanghai(上海纽约大学)
提出SpeechEQ框架,基于EQ-i 2.0理论构建2265个对话数据集,通过口语情商(SEQ)评分评估语音语言模型在主动多轮对话中的副语言社交线索推理能力,揭示端到端模型存在模态捷径、安全陷阱和上下文遗忘等瓶颈。
2026-11-03 cs.AI cs.CL cs.SD
DuplexAgent-RSI: Recursive Harness Improvement for Full-Duplex Voice Agent Collaboration
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Amphion Technology Co., Ltd(Amphion科技有限公司)
本研究提出DuplexAgent全双工语音智能体协作系统及Duplex-Harness-RSI递归工具改进闭环,通过模块化设计结合全双工交互与复杂任务执行,在基准测试中表现优于对比系统。
2026-10-09 cs.AI cs.SD
Liberating LLM Capabilities in Full-Duplex Speech Models
Royal Zhang(皇家张)
提出Listen-Write-Speak (LWS)三通道范式,使LLM在共享因果注意力上下文中同时监听、书写可见文本并实时口语回应,无需架构修改,实现全双工交互。
2026-09-16 cs.AI cs.CL cs.SD
Voila: Voice-Language Foundation Models for Real-Time Autonomous Interaction and Voice Role-Play
UC San Diego(加州大学圣地亚哥分校);MBZUAI(马克斯·普朗克人工智能研究所)
Voila是一种端到端语音-语言基础模型,通过全双工低延迟架构和分层多尺度Transformer实现195毫秒响应、人格感知语音生成及百万级声音定制,统一支持ASR、TTS和多语言语音翻译等任务,并已完全开源。
2025-05-05 cs.AI cs.CL cs.SD
Benchmarking LLM Judges for Voice-Agent Evaluation: Reliability, Calibration, and Human Oversight
Sprinklr AI
本研究对比人工与GPT-4.1、GPT-5对电信和零售语音智能体对话的评估,发现LLM评估可靠性依赖指标与配置,可作为规模化评估组成部分,支持混合评估 pipeline。
2026-09-17 cs.AI cs.ET
UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction
Alibaba Inc.(阿里巴巴公司)
本文提出UAF,一种统一音频前端LLM,通过将多种语音前端任务统一为序列预测问题,提升全双工语音交互的响应速度和中断准确性。
2026-04-30 cs.AI cs.SD eess.AS
When Voice Matters: Evidence of Gender Disparity in Positional Bias of SpeechLLMs
Department of Speech, Music and Hearing(语音、音乐与听觉系)
该研究首次针对SpeechLLM的MCQA性别偏差基准测试开展token级评估,发现文本域的位置偏差在语音域同样存在,且女性语音受影响更强,指出现有基准未覆盖语音偏差,需替代策略保障公平性。
2025-10-01 cs.SD eess.AS
From Intent to Action: Benchmarking LLM Safety in Vehicle Voice Command Authorization
University of Louisiana at Lafayette(路易斯安那大学拉法叶分校);Auburn University(奥本大学)
本研究提出一个202场景基准,评估LLM在车辆语音指令授权中的安全性,发现结构化决策虽提升一致性,但无法消除错误执行,需独立执行层保障安全。
2026-09-18 cs.AI cs.CL cs.RO
JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems
本文提出JAL-Turn框架,通过联合声学-语言建模实现高效实时轮流检测,利用交叉注意力模块整合预训练声学表示与语言特征,同时共享冻结的ASR编码器以并行处理,提升准确性和实时性。
2026-10-14 cs.AI cs.CL
EgoMem: Lifelong Memory Agent for Full-duplex Omnimodal Models
Beijing Academy of Artificial Intelligence, Beijing, China(北京人工智能研究院);Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China(中国科学院计算技术研究所);Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学深圳学院);Nanyang Technological University, Singapore(南洋理工大学)
EgoMem是一种专为全双工多模态模型设计的终身记忆代理,通过异步过程实现用户识别、个性化响应和长期记忆管理,实验显示其在准确性和一致性方面表现优异。
2026-01-30 cs.AI
SALMONN-omni: A Standalone Speech LLM without Codec Injection for Full-duplex Conversation
Tsinghua University(清华大学);ByteDance(字节跳动);University of Cambridge(剑桥大学)
SALMONN-omni是首个无需音频码本注入的独立全双工语音大语言模型,通过动态思考机制实现说话与聆听状态切换,在口语问答和开放域对话基准上相对现有开源全双工模型提升至少30%,并有效处理插话和回声消除等复杂场景。
2025-05-17 cs.AI cs.CL
Fun-Audio-Chat Technical Report
Alibaba Group(阿里巴巴集团)
Fun-Audio-Chat通过双分辨率语音表示和核心鸡尾酒训练,解决语音-文本模型的时间分辨率不匹配和灾难性遗忘问题,实现高效且高质量的音频理解与生成。
2026-01-20 cs.AI cs.CL cs.SD
HyWA: Architecture-Preserving Personalized Voice Activity Detection for Full-Duplex Voice Assistants
Huawei Noah’s Ark Lab(华为诺亚实验室);McGill University(麦吉尔大学)
HyWA通过超网络为VAD模型的选定层生成个性化权重,提升个性化语音活动检测的性能和部署效率。
2026-08-12 cs.AI cs.LG cs.SD
DuplexWorld: Can voice agents help you get through the day?
Centific Global Solutions Inc.(森蒂菲克全球解决方案公司);University of Maryland(马里兰大学)
DuplexWorld针对现有语音智能体评估基准的不足,构建含六大领域的156个场景开展评估,发现现有最优语音智能体在多维度仍有较大改进空间,并分析了相关性能与失败模式。
2026-08-12 cs.AI cs.CL cs.SD
Raon-Speech Technical Report
KRAFTON
本文提出 Raon-Speech,一个 9B 参数的语音语言模型,通过多阶段训练实现英语和韩语的语音理解、回答与生成,并扩展为全双工对话模型 Raon-SpeechChat,在语音任务上超越同类模型。
2026-04-08 cs.AI cs.CL cs.SD
Open-Source Manually Annotated Vocal Tract Database for Automatic Segmentation from 3D MRI Using Deep Learning: Benchmarking 2D and 3D Convolutional and Transformer Networks
University of Iowa(爱荷华大学);Shenandoah University(谢南多厄大学)
本研究评估深度学习算法从3D MRI自动分割声道的有效性,并发布开源手动标注数据库,基准测试2D/3D卷积及Transformer网络。
2025-02-28 cs.CV cs.SD eess.AS
Audio2Tool: Speak, Call, Act -- A Dataset for Benchmarking Speech Tool Use
Rivian and Volkswagen Group Technologies(Rivian和大众集团技术公司)
Audio2Tool数据集通过三个领域评估语音语言模型的工具调用能力,包含30000个查询,涵盖简单指令到复杂多意图任务,测试模型在不同挑战下的表现。
2026-04-28 cs.LG cs.SD eess.AS
A Harness for Synthesizing Diverse Naturalistic Full-Duplex Conversations
Tencent Americas(腾讯美洲);Wuhan University(武汉大学)
提出一种从关系事件列表合成带意图标注的全双工对话语音的流水线,覆盖42种现象,通过LLM生成事件并置于共享时钟,实验表明合成数据可提升全双工话轮管理性能。
2026-09-25 cs.AI eess.AS
TurnFSM for Full-Duplex Dialogue System: Internalizing State-Machine Logic for Streaming Semantic Voice Activity Detection and Utterance-Level Rejection
Tsinghua University(清华大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
针对全双工对话系统的现有模型缺陷,提出基于LLM的TurnFSM框架,通过内化状态机逻辑统一流式语义VAD与语句级拒绝,性能优于基线且具竞争力。
2026-09-07 cs.SD eess.AS
Voice-Light: A Full-Duplex Cascaded Voice Agent with Causal Turn-Taking and Speculative Generation
Voice-Light提出级联全双工语音智能体,结合因果轮换与投机式生成,实现低延迟交互,并通过混合控制器在真实场景中平衡误切断与轮次召回率。
2026-09-21 cs.CL cs.SD eess.AS
TASTE2: Text-Aligned Speech Modeling and Deployment toward Full-Duplex Voice Interaction
MediaTek Research(联发科技研究院);National Taiwan University(台湾大学);NVIDIA(英伟达)
TASTE2将TASTE扩展为增量对话栈,实现流式全双工语音交互,通过共享词表和增量解分词器提升性能,并首次系统表征副语言控制。
2026-09-09 cs.SD
FireRedChat: A Pluggable, Full-Duplex Voice Interaction System with Cascaded and Semi-Cascaded Implementations
FireRed Team Xiaohongshu(小红书 FireRed 团队)
FireRedChat提出了一种可插拔的全双工语音交互系统,通过集成流式pVAD和语义结束检测的控制器,将级联和半级联流水线升级为全双工,实现了低延迟、高鲁棒性的自然交互。
2025-09-08 cs.HC cs.SD
Do Bias Benchmarks Generalise? Evidence from Voice-based Evaluation of Gender Bias in SpeechLLMs
Department of Speech, Music and Hearing(语音、音乐与听觉系)
本文通过微调SpeechLLMs测试MCQA偏见基准的推广能力,发现其在不同任务间的泛化效果有限,并提出新的评估方法。
2026-02-01 cs.AI cs.CL cs.SD
MP-Bench: Evaluating Voice Agents as a Multiparty Conversation Participant
The University of Texas at Austin(德克萨斯大学奥斯汀分校);National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Meta AI
针对现有基准忽视多方对话场景的问题,提出首个多方对话基准MP-Bench,从轮次转换和反应恰当性评估语音智能体,发现实时智能体表现接近随机,揭示重大挑战。
2026-09-14 cs.AI cs.CL eess.AS
JoyAI-Talker: Full-Duplex Speech Interactive Large Model Built for Empathetic Voice Agents
JoyAI-Talker采用Thinker-Talker架构等技术,实现兼具强推理能力与共情交互的全双工语音对话系统,在基准测试及用户打断、背景语音场景下表现优异。
2026-08-04 cs.SD
The ICASSP 2026 HumDial Challenge: Benchmarking Human-like Spoken Dialogue Systems in the LLM Era
ICASSP 2026
ICASSP 2026发起HumDial挑战,通过大规模数据集评估语音对话系统在情感智能和全双工交互方面的类人能力。
2026-02-04 cs.CL cs.HC cs.SD
AudioMarkBench: Benchmarking Robustness of Audio Watermarking
Duke University(杜克大学);Google(谷歌公司)
针对音频水印鲁棒性研究不足的问题,提出首个系统基准AudioMarkBench,涵盖多语言数据集、3种水印方法及15种扰动,在无盒、黑盒和白盒设置下评估其抗水印移除与伪造能力,揭示了现有技术的漏洞。
2024-11-13 cs.CR cs.LG cs.SD
Benchmarking Automatic Speech Recognition coupled LLM Modules for Medical Diagnostics
Indian Institute of Technology, Delhi(印度理工学院德里分校)
本文提出并评估由医疗通话录音微调的 ASR 与 LLM 组成的两阶段医疗诊断系统,结合新型音频预处理和噪声、削波增强以提升跨麦克风与环境的鲁棒性。
2025-02-18 cs.LG eess.AS
Deriving Benchmarking Datasets from Long-Form Recordings: Challenges and Opportunities
LAAC, LSCP, DEC, ENS, EHESS, CNRS, PSL University, Paris, France(法国巴黎PSL大学、CNRS、EHESS、ENS、DEC、LSCP、LAAC);Laboratoire d'Informatique et Systèmes, Université Aix-Marseille, CNRS, France(法国国家科学研究中心、艾克斯-马赛大学信息与系统实验室);Signal Processing Research Centre, Tampere University, Finland(芬兰塔尔库大学信号处理研究中心)
针对儿童长时长录音用于早期语言研究的跨库复用难、缺标准基准、隐私合规差问题,提出含标准化数据集、可复现流水线、伦理生态系统的综合框架。
2026-07-07 cs.LG cs.SD eess.AS
Speaker Fuzzy Fingerprints: Benchmarking Text-Based Identification in Multiparty Dialogues
INESC-ID;Universidade de Lisboa(里斯本大学)
本研究利用大型预训练模型的模糊指纹,结合说话人特定标记和上下文建模,提升基于文本的多方对话说话人识别,在Friends和Big Bang Theory数据集上分别达到70.6%和67.7%的准确率,并分析了模糊话语的检测机制。
2025-04-21 cs.AI cs.CE cs.CL
RoleBreak: Benchmarking Long-Horizon Role-Playing Robustness in Spoken Dialogue
The University of Hong Kong(香港大学);Kami AI
针对现有口语角色扮演基准短时程且以角色为中心的问题,提出RoleBreak基准,包含310个角色和6,688轮对话,评估九种配置,发现系统语义鲁棒性优于声音情感且长时程鲁棒性脆弱,扩大LLM可改善语义但非声音情感。
2026-09-16 cs.AI cs.CL
Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction
Qwen-Audio-3.1-Realtime通过思考、行动、说话与协调机制,结合M²-OPD蒸馏和GRPO优化,将任务成功率提升至82.0%,并大幅降低背景语音干扰响应率。
2026-09-25 cs.AI cs.CL cs.SD
A Reliability Assessment of LALM Audio Judges for Full-Duplex Voice Agents
Salesforce Applied AI Research(Salesforce应用人工智能研究院)
研究评估Gemini模型作为全双工语音智能体音频评判的可靠性,以Gemini 2.5 Flash为基准与人类评分者对比,测试多个维度,发现其在一些维度表现良好,不同模型有差异,确定部署需谨慎领域,为LALM部署提供实证依据。
2026-07-10 cs.AI cs.CL cs.SD
Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition
The Ohio State University(俄亥俄州立大学);Air Force Research Laboratory(空军研究实验室)
研究评估九种模型在不同人口特征上的语音识别性能,发现LLM解码器在种族偏见上表现更公平,但Whisper在印度口音语音上出现病理学幻觉,且音频压缩对口音公平性影响更大。
2026-04-23 cs.AI cs.CL cs.SD
MMGenre: Benchmarking Singing Voice Synthesis across Multiple Musical Genres
Renmin University of China(中国人民大学);Carnegie Mellon University(卡内基梅隆大学)
研究跨多种音乐流派的歌声合成泛化能力,引入MMGenre基准及自动管道,涵盖多流派。评估显示流派辨别有限,零样本改进小,特定流派持续训练有显著提升,为多流派SVS评估提供框架,揭示关键挑战。
2026-07-09 cs.SD
Continue, Adapt, or Yield: In-Turn Adaptation to Overlapping Speech in Full-Duplex Agents
Besimple AI
针对全双工智能体评估忽视轮内适应的问题,提出Duplex Cue方法,区分听者意图与说话者行为,实验显示真人适应率68.2%远超PersonaPlex的34.8%,强调需同时衡量回应方式与是否继续说话。
2026-09-14 cs.CL cs.SD
FOCAL: A Novel Benchmarking Technique for Multi-modal Agents
FOCAL提出了一种新型基准测试技术,用于评估多模态代理的端到端推理能力、误差传播及对话效果。
2026-03-02 cs.SD
SOVA-Bench: Benchmarking the Speech Conversation Ability for LLM-based Voice Assistant
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团);Wuhan University(武汉大学);School of Artificial Intelligence(人工智能学院);School of Cyber Science and Engineering(网络科学与工程学院)
本文提出SOVA-Bench基准,系统评测基于LLM的语音助手在通用知识、语音理解及语义与声学生成方面的综合能力,为语音交互系统发展提供方向。
2025-06-03 cs.SD eess.AS
AudioTrust: Benchmarking the Multifaceted Trustworthiness of Audio Large Language Models
AudioTrust通过多维度评估音频大语言模型的可信度,揭示其在高风险音频场景下的局限性,为安全部署提供关键洞察。
2026-03-12 cs.AI cs.CL cs.SD
RelayS2S: A Dual-Path Speculative Generation for Real-Time Dialogue
Trinity College Dublin(都柏林三一学院);University College Dublin(都柏林大学)
RelayS2S通过双路径架构平衡实时对话中的延迟与响应质量,利用快速路径生成低延迟音频起始,慢路径生成高质量延续,通过轻量验证器实现无缝切换。
2026-09-10 cs.AI