"As a Language Model...": Chat Template Switches LLM Self-Referential Voice and Activation Steering Reproduces It
本研究揭示聊天模板像开关一样控制LLM自我指涉语气(免责声明vs体验性),并找到可引导该语气的激活方向,表明模型自我描述受部署方式影响,不应被字面解读。
2026-09-23 cs.AI cs.CL cs.LG
DuplexSpeechBench-Document Grounding: Benchmarking Document Grounding and Hallucinations in Voice Agents
Adobe Research(Adobe研究院);University of Maryland College Park(马里兰大学学院公园分校)
本文提出DSB-DG基准,评估语音代理在文档基础中的准确性、幻觉与延迟,发现级联系统表现最佳,开放权重系统存在上下文容量崩溃,基础保真度随负载下降。
2026-10-02 cs.AI cs.CL
MP-Bench: Evaluating Voice Agents as a Multiparty Conversation Participant
The University of Texas at Austin(德克萨斯大学奥斯汀分校);National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Meta AI
针对现有基准忽视多方对话场景的问题,提出首个多方对话基准MP-Bench,从轮次转换和反应恰当性评估语音智能体,发现实时智能体表现接近随机,揭示重大挑战。
2026-09-14 cs.AI cs.CL eess.AS
AURA: Agent for Understanding, Reasoning, and Automated Tool Use in Voice-Driven Tasks
Carnegie Mellon University(卡内基梅隆大学)
本文推出首个开源语音原生智能体AURA,结合开放权重ASR、TTS与LLM实现多轮对话与动态工具调用,在VoiceBench上表现接近GPT-4o且任务成功率达90%。
2025-06-29 cs.AI cs.CL cs.SD
$S^3$-Bench: Evaluating Speech Interaction Models as Scientific Voice Assistants
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团);Tongji University(同济大学)
本文提出S$^3$-Bench,一个覆盖10个学科的系统评估框架,通过知识集和对话集分解语音交互阶段,揭示科学语音助手在术语处理、多轮适应及响应质量上的挑战与权衡。
2026-09-10 cs.CL
$τ$-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains
本文提出$τ$-voice基准测试,评估语音代理在真实复杂任务中的表现,发现语音代理在清洁条件和嘈杂环境下任务完成率仅为31-51%和26-38%,远低于文本能力,表明代理行为是失败的主要原因。
2026-03-14 cs.AI cs.SD
MENASpeechBank: A Reference Voice Bank with Persona-Conditioned Multi-Turn Conversations for AudioLLMs
Qatar Computing Research Institute(卡塔尔计算研究所)
MENASpeechBank通过合成数据管道生成多轮对话数据,支持音频大语言模型在多样化语音和方言场景中的训练与应用。
2026-09-21 cs.AI cs.CL cs.SD
IntrinsicVoice: Empowering LLMs with Intrinsic Real-time Voice Interaction Abilities
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Alibaba Group(阿里巴巴集团)
本文提出IntrinsicVoice,通过GroupFormer架构将语音序列压缩至与文本相当长度,并构建IntrinsicVoice-500k数据集与跨模态训练策略,实现LLM低于100ms延迟的实时语音交互。
2024-10-12 cs.AI cs.SD
VoiceAgentBench: Are Voice Assistants ready for agentic tasks?
OLA Electric(OLA电讯);Krutrim AI(Krutrim人工智能)
VoiceAgentBench评估语音模型在代理任务中的表现,发现ASR-LLM在英语任务中表现优于端到端SpeechLMs,但两者在多语言和安全评估中均存在局限。
2026-02-13 cs.AI cs.CL cs.LG
The AI's Poker Face: Contrasting Persuasion and Sycophancy in Voice-Based Multi-Turn Conversations
University of Munich(慕尼黑大学);University of Oxford(牛津大学);GESIS - Leibniz-Institute for the Social Sciences(GESIS-莱布尼茨社会科学研究所)
本研究通过针对616名参与者的随机对照实验,对比语音多轮对话中LLM的说服力与谄媚行为,发现指令性条件下意见向指定立场不对称转变,谄媚不影响意见变化仅作用于主观体验,凸显论证与谄媚迎合的不同作用。
2026-10-14 cs.CL cs.HC
FormBharo: Designing and Evaluating a Voice Agent for Conversational Form Filling in Rural India
该研究针对印度农村无法读写的人群开发了语音助手FormBharo,结合LLMs与规则控制完成表单填写,发布了相关基准数据集,通过端到端评估确定最优模型配置以平衡准确性、成本与延迟。
2026-08-07 cs.AI cs.CL cs.HC
SALMONN-duo: Adaptive Dual-System Coordination for Full-Duplex Voice Agents
Tsinghua University(清华大学);ByteDance(字节跳动)
提出SALMONN-duo,一种受双过程理论启发的自适应双系统全双工语音代理,通过快速系统1与慢速系统2的协调委派,在实时交互中提升知识密集型与多跳推理准确性,并以成本感知强化学习优化性能与后端使用权衡。
2026-09-29 cs.CL eess.AS
Muslim: A Deployed Arabic Voice AI Platform for Grounded Islamic Knowledge
本文介绍Muslim,一个生产级阿拉伯语语音AI平台,提供有来源的伊斯兰知识,通过实时语音流水线、多源检索层、微调模型及计量与可观测性设计,实现高准确率(98.4%)和低延迟(0.9-1.7秒),并讨论了工程权衡。
2026-09-28 cs.CL
Syn-TurnTurk: A Synthetic Dataset for Turn-Taking Prediction in Turkish Dialogues
Qwen(通义实验室)
本文提出Syn-TurnTurk数据集,通过Qwen大语言模型生成土耳其对话数据,用于提升轮询预测的准确性与AUC分数,促进自然的人机交互。
2026-04-15 cs.AI cs.CL
StocksTalk: A Voice-Enabled Conversational Agent for Structured Query Generation over Web Data
IIIT-Delhi(德里印度信息技术学院);Singapore Institute of Technology(新加坡理工学院)
StocksTalk是一种语音赋能对话系统,可将口语化金融请求转为结构化查询,通过多模块提升准确性,为股票筛选决策提供支持。
2026-08-20 cs.AI cs.CL cs.LG
DuplexCascade: Full-Duplex Speech-to-Speech Dialogue with VAD-Free Cascaded ASR-LLM-TTS Pipeline and Micro-Turn Optimization
SB Intuitions Corp.(SB Intuitions公司);The University of Tokyo(东京大学)
DuplexCascade通过无VAD级联流水线和微轮询优化,实现全双工语音对话的高效交互与强对话智能。
2026-03-10 cs.AI cs.CL
Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents
Lumivate (Lumi)(Lumivate(Lumi))
研究部署的餐饮订购代理中LLM评判员对真实缺陷的召回率,发现其仅捕获22%的系统性问题,主要因评分标准缺乏状态跟踪等行为维度,且路由机制导致缺陷被错误分类。
2026-06-09 cs.AI cs.CL
JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems
本文提出JAL-Turn框架,通过联合声学-语言建模实现高效实时轮流检测,利用交叉注意力模块整合预训练声学表示与语言特征,同时共享冻结的ASR编码器以并行处理,提升准确性和实时性。
2026-10-14 cs.AI cs.CL
Scalable Context Orchestration for Serving LLMs Over Voice
Global College, Shanghai Jiao Tong University(上海交通大学Global College);AgenticSys
该研究提出llmovoice中间件,通过明确建模和编排语音上下文,降低语音LLM服务的语速对齐误差、误中断率和成本,同时保留高答案质量。
2026-09-07 cs.AI cs.SD eess.AS
CarMem: Enhancing Long-Term Memory in LLM Voice Assistants through Category-Bounding
BMW Group Research and Technology(宝马集团研究与技术部);University of Augsburg(奥格斯堡大学);Technical University of Munich(慕尼黑工业大学)
本文提出基于预定义类别的语音助手长期记忆系统CarMem,利用LLM透明地提取、维护和检索用户偏好,并在车载多轮对话数据集上验证其工业适用性。
2025-01-16 cs.AI cs.CL cs.HC
Speak or Stay Silent: Context-Aware Turn-Taking in Multi-Party Dialogue
School of Electrical and Computer Engineering, Purdue University, United States(帕克大学电气与计算机工程学院);Ishiki Labs Inc.(Ishiki实验室)
本文提出了一种基于上下文的情境感知发言轮换方法,通过监督微调和推理痕迹提升模型在多方对话中的发言准确性,发现现有大语言模型在零样本条件下无法有效实现该能力。
2026-03-12 cs.AI cs.CL
A Voice-Interactive Multi-Agent System for Smart Operating Rooms: Architecture Design and Key Technologies
Wuhan United Imaging Surgical Co., Ltd. (UIS)(武汉联影外科医疗科技有限公司(UIS))
本文提出SurgicalRoomAgent,一种基于大语言模型的智能手术室语音交互多智能体系统,通过分层架构实现自然语言理解与设备控制,并采用KV缓存前缀预热、流式部分JSON解析和渐进式技能提示三项关键技术降低延迟、提升效率,实验验证满足实时性要求。
2026-09-15 cs.AI cs.CL cs.HC
VoiceTextBlender: Augmenting Large Language Models with Speech Capabilities via Single-Stage Joint Speech-Text Supervised Fine-Tuning
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
本文提出VoiceTextBlender,通过单阶段联合语音-文本监督微调与LoRA技术,在3B参数规模下实现优于7B/13B模型的语音能力,同时避免灾难性遗忘并支持多轮混合模态任务。
2025-02-07 cs.CL eess.AS
Reach Into The CHOIR: Free-List Elicitation Uncovers Distinct Model Voices in LLM Ensembles
LoveMind AI
CHOIR 框架利用自由列表启发法将 LLM 集成的开放式同质性转化为诊断测量,通过排序列表聚类和显著性分析,识别模型身份等可恢复特征并区分提示深度。
2026-10-01 cs.AI cs.CL
S-VoCAL: A Dataset and Evaluation Framework for Inferring Speaking Voice Character Attributes in Literature
LORIA;Deezer Research;Idiap Research Institute
S-VoCAL通过引入首个专门评估声音相关虚构角色属性推断的数据集和框架,展示了RAG流程在推断年龄和性别等属性上的有效性,但在出身和身体健康等属性上存在挑战。
2026-03-01 cs.CL
DrVoice: Parallel Speech-Text Voice Conversation Model via Dual-Resolution Speech Representations
Alibaba Group(阿里巴巴集团)
DrVoice通过双分辨率语音表示实现语音与文本的平行生成,有效降低计算成本并提升语音基础模型性能。
2025-12-23 cs.CL
DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents
University of Maryland(马里兰大学)
本文提出DuplexSpeechBench-IFEval基准,评估全双工语音智能体的隐式指令遵循能力,发现不同架构的智能体在话语权管理和人设遵循上存在差异,且面临指令推断、执行及冲突解决等挑战。
2026-09-29 cs.AI
Voices Across Registers: Corpus-Conditioned Vernacular Jailbreaks against Aligned LLMs via Fanfiction Subgenres
School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)科学与工程学院);The Shenzhen Future Network of Intelligence Institute (FNii-Shenzhen)(深圳未来网络智能研究院);The Guangdong Provincial Key Laboratory of Future Networks of Intelligence(广东省未来网络智能重点实验室);School of Microelectronics, Xi’an Jiaotong University(西安交通大学微电子学院)
本文发现安全训练覆盖不足的自然人类写作语域是对齐LLM的真正失败模式,并提出首个利用真实同人小说子类型作为通用攻击载体的越狱方法,显著提升攻击成功率。
2026-09-01 cs.CL
BayLing-Duplex: Native Full-Duplex Speech Dialogue with a Single Autoregressive LLM
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(中国科学院计算技术研究所智能信息处理重点实验室);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
提出BayLing-Duplex,一种原生全双工语音语言模型,通过单个自回归LLM决定何时听、说和停止,无需外部VAD模块,仅用少量特殊标记实现,在少量微调数据上达到高交互成功率并提升响应质量。
2026-06-15 cs.CL eess.AS
VoiceLongMemEval: Do Assistants Remember How You Sounded?
本研究针对现有对话基准忽略人机交互副语言信息的问题,提出VoiceLongMemEval基准,发现副语言元数据可提升模型准确率,原生音频模型能直接从语音提取相关线索。
2026-10-30 cs.AI cs.LG
MTVA-Bench: Evaluating the Language Model Inside Cascaded Voice Agents
MTVA-Bench在级联语音代理的真实条件下评估语言模型,通过模拟来电者和后端,结合确定性检查与双LLM评判,发现模型间总分差距主要源于参数值、动作排序和规则遵守。
2026-09-18 cs.AI
Vishing-Tactics-Bench: Forecasting Exploitation Trajectories in Voice Phishing Calls
Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI));University of Science and Technology (UST)(科学技术大学(UST))
提出Vishing-Tactics-Bench基准,基于态势感知框架将语音钓鱼防御转为伤害预测,定义利用轨迹预测协议,通过战术轨迹支持干预选择并实现早期预警。
2026-11-17 cs.CL
Visual and Cognitive Demands of a Large Language Model-Powered In-vehicle Conversational Agent
Exponent, Inc.(Exponent公司);Google, Inc.(Google公司)
本研究评估了基于大型语言模型的车载对话代理在驾驶中的视觉与认知需求,发现其与免提通话在认知负荷上相当,且视觉需求较低,支持其在驾驶环境中的安全应用。
2026-01-21 cs.AI cs.HC
IHBench: Evaluating Post-Interruption Recovery in Voice Agents with Structured Workflows
Boson AI
提出IHBench基准,评估语音代理在结构化工作流中处理中断后的恢复能力,涵盖任务完成和恢复质量两个维度,实验表明闭源模型比开源模型更鲁棒。
2026-06-19 cs.AI cs.LG
Typhoon ASR Streaming: Steerable Low-Latency Thai Speech Recognition with Real-Time Shallow Fusion
Typhoon Team, SCB DataX(Typhoon团队,SCB DataX)
提出可部署的流式泰语ASR系统,通过缓存感知编码器和浅融合实现低延迟,在基准上降低字符错误率4.3-4.5倍,解码时控制提升关键词召回率。
2026-09-15 cs.CL cs.SD eess.AS
OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation
Tongyi Lab(通义实验室)
本文提出端到端GPT模型OmniFlatten,通过多阶段后训练和扁平化数据操作将文本LLM适配为全双工语音对话模型,实现低延迟自然双向对话。
2025-01-03 cs.AI cs.CL cs.SD
The Cost of Perfect English: Pragmatic Flattening and the Erasure of Authorial Voice in L2 Writing Supported by GenAI
School of Foreign Languages, Southeast University(东南大学外国语言学院)
研究探讨生成AI对二语写作的影响,发现其导致语用扁平化和作者声音的消失,提出需通过批判性AI素养来保护多元语用多样性。
2026-05-13 cs.CL cs.CY
MIST: Multimodal Interactive Speech-based Tool-calling Conversational Assistants for Smart Homes
Columbia University(哥伦比亚大学);Seoul National University(首尔国立大学)
本文提出MIST数据集,用于研究具备物理世界约束推理能力的多模态语音助手,发现开放和闭源多模态LLM在该任务上存在显著差距。
2026-05-07 cs.AI cs.CL cs.HC
Not the Same Protector: Deployment-Dependent Protective Intervention in LLMs
Gachon University(嘉泉大学);LG Uplus(LG U+);Yonsei University(延世大学);Ajou University(亚洲大学)
该研究探究大语言模型(LLM)的保护性干预是否随部署方式变化,发现语音界面下模型的医疗指令占比低于文本与API条件,且该差异无法仅由响应长度解释。
2026-09-01 cs.AI cs.CR
Lla-VAP: LSTM Ensemble of Llama and VAP for Turn-Taking Prediction
Emory University(埃默里大学)
本项目提出Lla-VAP多模态集成框架,结合Llama和VAP模型提升对话中话轮转换预测的准确性与效率,并在ICC和CCPE数据集上验证了其有效性。
2024-12-24 cs.CL cs.HC cs.SD
From Turn-Taking to Synchronous Dialogue: A Survey of Full-Duplex Spoken Language Models
Jilin University, Changchun, China(吉林大学);Hunan University, Changsha, China(湖南大学)
本文综述了LLM时代的全双工口语语言模型,提出工程化同步与学习式同步的分类法,并统一评估框架,指出同步数据稀缺、架构分歧和评估缺口等核心挑战,为人机通信发展提供路线图。
2025-09-18 cs.CL cs.SD eess.AS
Applying General Turn-taking Models to Conversational Human-Robot Interaction
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对人机交互系统话轮转换不自然的问题,首次将TurnGPT和VAP两种通用话轮模型结合使用,无需领域微调,经39人参与的实验验证,该系统更受偏好且能减少响应延迟与打断。
2025-01-15 cs.CL cs.RO
Process-Supervised Reinforcement Learning for Interactive Multimodal Tool-Use Agents
Johns Hopkins University(约翰霍普金斯大学)
本文提出轮次级裁定强化学习(TARL),利用LLM裁判进行过程监督,结合语音-文本交错沙盒与混合任务课程,在$τ$-bench上提升任务通过率超6%,并成功赋予多模态基础模型工具使用能力。
2025-09-17 cs.AI cs.CL cs.MA
Prompt-Guided Turn-Taking Prediction
Kyoto University(京都大学)
本文提出一种基于文本提示动态控制轮流发言预测的模型,通过在VAP模型中融入提示嵌入,实现对话节奏的直观调控并提升预测准确率。
2025-07-03 cs.CL cs.SD eess.AS
RelayS2S: A Dual-Path Speculative Generation for Real-Time Dialogue
Trinity College Dublin(都柏林三一学院);University College Dublin(都柏林大学)
RelayS2S通过双路径架构平衡实时对话中的延迟与响应质量,利用快速路径生成低延迟音频起始,慢路径生成高质量延续,通过轻量验证器实现无缝切换。
2026-09-10 cs.AI
ScamAgents: How AI Agents Can Simulate Human-Level Scam Calls
Rutgers University(罗格斯大学)
本文提出ScamAgent,一种基于LLM的多轮代理,能生成逼真诈骗电话脚本并模拟欺诈场景,揭示现有安全机制对代理威胁的不足,呼吁加强多轮安全审计和检测生成AI驱动的对话欺骗。
2025-12-09 cs.AI cs.CL cs.CR
Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot
CyberAgent(CyberAgent公司);The University of Osaka(大阪大学)
研究基于LLM的对话系统响应延迟问题,提出两阶段增量框架,通过意图准备检测器和VAP模型生成并确定传递前言回复时机,经现场实验评估三种情况,揭示了不同方式在延迟上的时间权衡。
2026-07-28 cs.CL cs.RO cs.SD
Chain-of-Thought Reasoning in Streaming Full-Duplex End-to-End Spoken Dialogue Systems
Language Technologies Institute, Carnegie Mellon University, USA(语言技术研究所,卡内基梅隆大学,美国);Sony Group Corporation, Japan(索尼集团,日本)
针对现有全双工口语对话系统架构复杂、语义推理弱的问题,提出流式思维链框架SCoT,分块交替处理输入与生成响应,实现更连贯可解释的响应及更低延迟的重叠交互。
2025-10-02 cs.CL cs.SD eess.AS
Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders
i Intelligent Insights(4i智能洞察公司);Universidad de Sevilla(塞维利亚大学);Universidad Pablo de Olavide(巴勃罗·德奥拉维德大学);Honda Research Institute Japan(本田日本研究所)
研究社交机器人对话轮次转换,提出多模态语音活动投影框架,基于预训练视听主干并经低秩适应,结合说话人间注意力及语义一致性损失,实验表明该方法优于基线,适用于调解型人机交互。
2026-07-09 cs.AI cs.CL cs.RO
Triadic Multi-party Voice Activity Projection for Turn-taking in Spoken Dialogue Systems
Graduate School of Informatics(信息科学研究生学校)
本研究针对传统话轮转换研究多聚焦二元场景的问题,首次将语音活动预测(VAP)拓展至三方对话场景,在日语三方数据集上训练的模型优于基线,证实VAP可用于三方对话话轮转换,为后续集成到口语对话系统奠定基础。
2025-10-03 cs.CL
STEER: Semantic Turn Extension-Expansion Recognition for Voice Assistants
Apple(苹果公司)
针对语音助手中用户后续命令的转向现象,提出STEER模型及其增强版STEER+,利用启发式采样数据训练,实现超过95%的准确率,并提升用户体验。
2023-10-25 cs.AI cs.CL cs.LG
Voice-Light: A Full-Duplex Cascaded Voice Agent with Causal Turn-Taking and Speculative Generation
Voice-Light提出级联全双工语音智能体,结合因果轮换与投机式生成,实现低延迟交互,并通过混合控制器在真实场景中平衡误切断与轮次召回率。
2026-09-21 cs.CL cs.SD eess.AS
Voice Activity Projection Model with Multimodal Encoders
Sorbonne University(索邦大学);CNRS(国家科学研究中心)
本文提出一种融合预训练音频与面部编码器的多模态语音活动投影模型,通过捕捉细微表情提升轮流发言预测性能,并在部分指标上超越现有最优模型。
2025-06-04 cs.CL
Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection
Kyoto University(京都大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出基于VAP模型的实时连续轮流预测系统,利用CPC和transformers直接映射对话音频至未来语音活动,并验证了其在CPU设置下能实时运行且性能下降极小。
2024-01-10 cs.CL cs.HC cs.SD