From Speech to Editable Concepts: Probing Emotion Recognition with Concept Bottleneck Models
University of Sheffield（谢菲尔德大学）
本研究将概念瓶颈模型应用于语音情感识别，通过实验揭示LLM对转录文本的偏差及概念移除对个体预测的显著影响，强调需关注细粒度可解释性。
2026-10-01 cs.AI cs.CL cs.SD
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge（剑桥大学工程系）；Shanghai Jiao Tong University（上海交通大学）
提出SimulS2S-LLM，通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译，利用边界感知提示和增量波束搜索，在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
Advancing Speech Summarization in Multi-modal LLMs with Reinforcement Learning
Microsoft CoreAI（微软核心人工智能）
提出多阶段强化学习训练框架，增强多模态大语言模型的语音摘要能力，显著超越强基线和更大模型，缩小与文本大模型的差距。
2025-09-23 cs.AI cs.CL eess.AS
Speech-to-Text Adapter and Speech-to-Entity Retriever Augmented LLMs for Speech Understanding
Google DeepMind（谷歌DeepMind）
针对大语言模型应用于语音领域时因表示不对齐导致性能下降的问题，提出带Speech2Text适配器的联合语音语言模型，再用语音转实体检索器增强，有效提升对话状态跟踪和语音识别性能。
2023-06-08 cs.AI cs.CL eess.AS
PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs
The Chinese University of Hong Kong Huawei Artificial Intelligence Laboratory (Leibniz)（香港中文大学华为人工智能实验室（莱布尼茨））
PROST-LLM通过逐步增强方法提升大语言模型在语音到语音翻译中的能力，采用三任务学习和模态链方法，结合自我采样和回译生成偏好对，最终通过偏好优化提升翻译性能。
2026-01-23 cs.CL
Speech LLMs in Low-Resource Scenarios: Data Volume Requirements and the Impact of Pretraining on High-Resource Languages
Department of Information Engineering（信息工程系）；Center for Augmented Intelligence（增强智能中心）
该研究针对低资源ASR任务，基于SLAM-ASR框架探究语音LLM的数据量需求，发现高资源语言预训练的投影器可缓解数据稀缺问题，并结合多语LLM在公开基准上验证性能，为相关研究提供方向。
2026-08-05 cs.AI cs.CL eess.AS
SparQLe: Speech Queries to Text Translation Through LLMs
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本研究提出 SparQLe 方法，通过模态适配器将自监督语音表征与指令微调的 LLMs 对齐，实现语音到文本翻译，有效保留语义内容，为多模态语音理解应用提供新方案。
2025-05-30 cs.AI cs.CL
How to Recognize New Words: A Comparison Between Context Biasing Methods and Speech LLMs
该研究对比了基于Whisper的上下文偏置方法与语音LLMs在识别ASR中生词的性能，发现前者可大幅降低偏置词错误率，后者在朗读语音上表现好但泛化性差，最终为方法选择提供了权衡依据。
2026-08-07 cs.CL
SIFT-50M: A Large-Scale Multilingual Dataset for Speech Instruction Fine-Tuning
Amazon AGI（亚马逊AGI）；Apple Inc.（苹果公司）
该研究构建含5000万样本的多语言语音指令微调数据集SIFT-50M，训练的SIFT-LLM在指令遵循基准上优于现有模型，同时提出EvalSIFT基准支持相关研究。
2025-04-17 cs.AI cs.CL eess.AS
SpeechMapper: Speech-to-text Embedding Projector for LLMs
Inria Paris（法国巴黎国家信息与自动化研究所）；NAVER LABS Europe（NAVER欧洲实验室）
SpeechMapper通过低成本预训练和高效指令微调，实现语音与大语言模型的高效集成，提升模型的稳健性和可推广性。
2026-02-04 cs.CL
VoxEmo: Benchmarking Speech Emotion Recognition with Speech LLMs
Department of Computer Science, University of Sheffield, United Kingdom（英国谢菲尔德大学计算机科学系）；Signal Analysis and Interpretation Laboratory (SAIL), Ming Hsieh Department of Electrical and Computer Engineering, University of Southern California, Los Angeles, CA 90089, USA（美国南加州大学电气与计算机工程系信号分析与解释实验室（SAIL））
VoxEmo是一个基于语音大语言模型的语音情感识别基准测试，通过提供多样化的提示复杂度和分布感知的软标签协议，评估模型在真实世界中的情感识别能力。
2026-03-09 cs.AI cs.CL cs.MM
Closing the Gap Between Text and Speech Understanding in LLMs
Université de Toulon, Aix Marseille Université, CNRS, LIS（法国图卢兹大学、马赛大学、CNRS、LIS）
SALAD通过主动选择和跨模态蒸馏提高语音与文本对齐，以更高效的方式弥合LLMs在语音理解上的性能差距。
2026-02-23 cs.AI cs.CL eess.AS
Enhancing Generalization of Speech Large Language Models with Multi-Task Behavior Imitation and Speech-Text Interleaving
Shenzhen International Graduate School（深圳国际研究生院）
针对语音大语言模型因缺乏标注数据导致泛化差的问题，提出仅依赖配对语音与文本的多任务行为模仿方法MTBI，结合语音-文本交错增强对齐效率，在提示与任务泛化上超越现有最优模型且所需监督数据更少。
2025-05-24 cs.CL cs.SD eess.AS
SURE-Voice: A Front-End Baseline for Speech-Evidence Filtering in Speech LLMs
该研究定义SURE-Challenge评估语音大语言模型生成前的准入步骤，以Qwen2-Audio和能量加Whisper评分规则开展实验，发现了仅答案评分遗漏的生成前错误模式。
2026-09-15 cs.CL cs.SD eess.AS
Universal Acoustic Adversarial Attacks for Flexible Control of Speech-LLMs
ALTA Institute, Department of Engineering, University of Cambridge（ALTA研究院，工程系，剑桥大学）
本研究针对语音大语言模型的安全漏洞，提出前置固定通用对抗音频的攻击方法，可实现无输出、改任务及属性选择性攻击，验证了Qwen2-Audio等模型的脆弱性，为提升模型鲁棒性提供依据。
2025-05-20 cs.CL cs.SD eess.AS
JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis
Korea University（高丽大学）
提出 JELLY 框架，通过多个部分 LoRA 微调 LLM，并结合情感感知 Q-former 编码器实现情感识别与上下文推理，以生成自然且情感恰当的对话语音。
2025-01-09 cs.CL cs.SD eess.AS
Can LLMs Understand Unvoiced Speech? Exploring EMG-to-Text Conversion with LLMs
Northwestern University, USA（西北大学，美国）
研究探索 LLMs 理解无声语音的潜力，提出 EMG 适配器模块将特征映射到 LLM 输入空间，在闭词汇任务上实现 0.49 WER，并在六分钟数据下性能提升近 20%。
2025-05-30 cs.CL
Distilling Knowledge from Large Language Models: A Concept Bottleneck Model for Hate and Counter Speech Recognition
St.Pölten University of Applied Sciences（施普伦茨大学应用科学学院）；University of Vienna（维也纳大学）
针对仇恨和反言论识别，提出透明方法SCBM，利用LLM将文本映射为基于形容词的可解释概念表示，再由轻量分类器预测，在多平台数据集上取得高准确率与可解释性，且与transformer融合能进一步提升性能。
2025-07-30 cs.AI cs.CL cs.LG
X-OPD: Cross-Modal On-Policy Distillation for Capability Alignment in Speech LLMs
Tencent Hunyuan（腾讯文心）；Zhejiang University（浙江大学）
提出X-OPD框架，通过跨模态在策略蒸馏对齐语音LLM与文本LLM的能力，利用文本教师模型评估语音模型的轨迹并提供令牌级反馈，显著缩小复杂任务性能差距。
2026-06-15 cs.AI cs.CL eess.AS
Towards Comprehensive Semantic Speech Embeddings for Chinese Dialects
Tencent AI Labs（腾讯AI实验室）；Tencent（腾讯）
本文提出通过仅使用ASR数据训练语音编码器，实现中文方言与普通话的跨方言语义对齐，并在新基准测试中展示了语音到语音检索和ASR性能的突破。
2026-01-12 cs.CL
Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs
Florida International University（佛罗里达国际大学）
针对2024年SLT-GenSEC挑战赛，提出基于上下文对话分割与提示优化的LLM语音情感识别方法，最佳提交未加权准确率超基线20%，获挑战赛最佳。
2024-10-27 cs.CL cs.SD eess.AS
Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training
University of Stuttgart（斯图加特大学）
针对大语言模型难以应用于语音领域的问题，提出融合多语言大语言模型与语音编码器的BLOOMZMMS模型，通过多指令训练实现知识跨模态迁移，在139种语言的多任务零样本评估中表现鲁棒。
2024-04-16 cs.CL cs.SD eess.AS
Enhancing Code-switched Text-to-Speech Synthesis Capability in Large Language Models with only Monolingual Corpora
The Chinese University of Hong Kong（香港中文大学）；Noah’s Ark Lab, Huawei（华为诺亚实验室）
本文提出CS-LLM，通过多语言语音任务和单语语料拼接构建语码转换数据，在仅用单语数据的情况下提升大语言模型的语码转换语音合成能力。
2025-08-22 cs.CL cs.SD eess.AS
Connecting Speech Encoder and Large Language Model for ASR
Tsinghua University（清华大学）；ByteDance（字节跳动）
本文比较全连接层、多头交叉注意力和Q-Former三种语音编码器到LLM的连接结构，证明Q-Former在多数据集、域外及长语音ASR中显著降低WER，并提出片段级Q-Former。
2023-09-26 cs.CL cs.SD eess.AS
Zero-Shot Speech LLMs for Multi-Aspect Evaluation of L2 Speech: Challenges and Opportunities
Centre for Language Studies（语言研究学院）
本文探讨了零样本语音大语言模型在二语发音多维度评估中的应用，分析了其在准确性、流利度、语调和完整性方面的评分表现及改进方向。
2026-01-20 cs.AI cs.CL cs.SD
The LLM Bottleneck: Why Open-Source Vision LLMs Struggle with Hierarchical Visual Recognition
Boston University（波士顿大学）
本文指出开源大语言模型缺乏对视觉世界的层级知识，导致视觉大语言模型在识别如水母鱼但无法识别脊椎动物时存在瓶颈，通过构建六种分类学和四个图像数据集的百万级多项选择视觉问答任务验证了这一问题。
2026-03-26 cs.AI cs.CL cs.CV
Can Speech LLMs Think while Listening?
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta Superintelligence Labs（Meta超智能实验室）
针对语音大语言模型推理能力不足与响应延迟高的问题，提出基于文本空间思维链微调提升准确率2.4倍，并利用熵度量“问题完整性”及DPO优化，实现延迟降低70%且不损准确率。
2025-10-08 cs.AI cs.CL eess.AS
Speech Recognition With LLMs Adapted to Disordered Speech Using Reinforcement Learning
Google Research（谷歌研究院）
本文提出用音频 token 替换低频文本 token 使 LLM 能处理语音，并采用基于句法和语义奖励的强化学习替代监督微调，显著提升对 disordered speech 的适应能力。
2024-12-25 cs.CL cs.LG cs.SD
TESU-LLM: Training Speech-LLMs Without Speech via Unified Encoder Alignment
KT Corporation（KT公司）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Sungkyunkwan University（成均馆大学）
本文提出 TESU-LLM 框架，通过统一编码器和轻量投影网络对齐语音、文本与 LLM 嵌入空间，仅用文本训练即可达到多模态训练基线的语音任务性能。
2025-06-01 cs.AI cs.CL cs.LG
Benchmarking Contextual and Paralinguistic Reasoning in Speech-LLMs: A Case Study with In-the-Wild Data
Institute of Infocomm Research (I 2 R)（信息通信研究所）
针对语音大语言模型在副语言推理上的不足，提出CP-Bench基准，通过两个QA数据集评估模型整合言语与非言语线索的能力，揭示现有评估空白，为构建情感智能语音模型提供方向。
2025-09-24 cs.AI cs.CL
When Large Language Models Meet Speech: A Survey on Integration Approaches
Kyoto University（京都大学）
本文综述了语音与大语言模型的集成方法，分为基于文本、潜在表示和音频标记三类，并探讨了应用与挑战。
2025-09-09 cs.CL cs.SD eess.AS
Multimodal LLMs are not all you need for Pediatric Speech Language Pathology
Ostbayerische Technische Hochschule（奥斯特拜尔技术大学）
本文提出一种分层方法对儿童语音障碍进行分类，通过微调语音表示模型和数据增强技术，提高了临床任务的性能，证明语音表示模型在各项任务中均显著优于基于大语言模型的最新方法。
2026-04-29 cs.CL
RetroThinker: Enabling Retrospective Thinking in Speech LLMs
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta Superintelligence Labs（Meta超级智能实验室基础人工智能研究部）
RetroThinker通过多阶段后训练框架，使语音大语言模型在推理中动态修正思维链，在GSM8K上以可比延迟获得11%的绝对准确率提升。
2026-09-11 cs.AI cs.CL eess.AS
Speech LLMs are Contextual Reasoning Transcribers
Microsoft Core AI（微软核心人工智能）
本文提出CoT-ASR，通过构建推理链使大模型先分析语音生成上下文分析，从而提升语音识别性能，实验显示WER和EER分别降低8.7%和16.9%。
2026-04-01 cs.CL
Language-Aware Distillation for Multilingual Instruction-Following Speech LLMs with ASR-Only Supervision
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）；AI Singapore（AI新加坡）；National University of Singapore（新加坡国立大学）；Institute for Infocomm Research (I$^2$R)（信息通信研究所）；A$^{*}$STAR（A*星）
本文提出一种语言感知蒸馏方法，通过查询库和门控网络提升多语言指令遵循语音大语言模型的性能，实现在Audio-MLQA基准上比现有基线提升32%。
2026-07-27 cs.CL
Personalization Without Stereotyping: Do Speech LLMs Know When to Turn a Deaf Ear?
Université Paris-Saclay（巴黎-萨克雷大学）；NAVER LABS Europe（NAVER欧洲实验室）
本研究针对语音大语言模型的刻板印象问题，构建BASIS-Bench基准评估8款模型，发现其虽能识别人口统计学线索却难实现恰当个性化，明确标签会放大刻板印象，强调需训练模型合理利用相关线索。
2026-10-22 cs.CL
Speech Signals Complement LLMs for Predicting Interpersonal Attraction in Speed Dating
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；NTT, Inc.（日本电报电话公司）
研究利用日语速配对话，结合仅基于转录本的LLM预测与语音预测器预测来估计参与者对约会对象的喜好，发现语音能补充LLM预测，二者结合可提高两两排序准确率，且互补性有条件，还明确了语音预测价值及互补性出现的情况。
2026-07-28 cs.CL
VocalBench-DF: A Benchmark for Evaluating Speech LLM Robustness to Disfluency
Shanghai Jiao Tong University（上海交通大学）
针对语音大语言模型对不流畅语音鲁棒性不足的问题，提出VocalBench-DF基准，评估22个模型发现性能显著下降，瓶颈在音素级处理和长上下文建模，需加强识别推理能力。
2025-10-17 cs.CL
VocalNet: Speech LLM with Multi-Token Prediction for Faster and High-Quality Generation
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）；Wuhan University（武汉大学）
VocalNet通过首次将多令牌预测（MTP）应用于语音大语言模型，实现了更快速、高质量的语音生成，在有限数据下性能与主流Omni LLMs相当，并开源了全部资源。
2025-04-22 cs.AI cs.CL cs.SD
Towards Spoken Mathematical Reasoning: Benchmarking Speech-based Models over Multi-faceted Math Problems
Institute for Infocomm Research (I 2 R), A*STAR, Singapore（信息与通信研究 institute（I2R），A*STAR，新加坡）；Centre for Frontier AI Research (CFAR), A*STAR, Singapore（前沿人工智能研究 centre（CFAR），A*STAR，新加坡）
针对语音模型数学推理能力研究不足的问题，提出覆盖多类数学题的Spoken-MQA基准，测试发现语音大语言模型在纯算术、口语化数学表达式理解、知识推理上存在明显短板。
2025-05-21 cs.CL
BatonVoice: An Operationalist Framework for Enhancing Controllable Speech Synthesis with Linguistic Intelligence from LLMs
Tencent（腾讯）
针对现有可控语音合成未充分利用LLM指令遵循能力的问题，提出操作主义框架BatonVoice，由LLM解析指令生成文本化声学特征计划，再由专用TTS模型生成语音，在可控、情感语音合成及零样本跨语言泛化上表现优异。
2025-09-30 cs.CL
MultiGen: Child-Friendly Multilingual Speech Generator with LLMs
Institute for Infocomm Research, Agency for Science, Technology, and Research (A*STAR), Singapore（信息与通信研究所，科技研究局（A*STAR），新加坡）
针对低资源语言下儿童友好型语音生成的难题，提出基于LLM架构的多语言生成模型MultiGen，支持三种低资源语言的文化适配交互，经主客观实验验证性能优于基线。
2025-09-04 cs.AI cs.CL eess.AS
Predicting Psychological Well-Being from Spontaneous Speech using LLMs
University of Edinburgh（爱丁堡大学）；Centre for Medical Informatics (CMI) Usher Institute University of Edinburgh（医学信息学中心（CMI）乌舍研究所爱丁堡大学）
研究利用大语言模型对自发语音进行零样本预测，探索其在心理幸福感评分中的应用，发现模型能提取语义信息，实现高达0.8的相关性，并通过统计分析和词云分析提升可解释性。
2026-05-11 cs.CL
CS3-Bench: Evaluating and Enhancing Speech-to-Speech LLMs for Mandarin-English Code-Switching
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
针对中英代码切换语音交互中语言对齐不足的问题，提出CS3-Bench基准，并采用识别链与关键词高亮方法，显著提升知识准确率与理解率。
2025-10-09 cs.CL
DirectSpeech2LLM: A Simple End-to-End Framework to Mitigate Prompt Overfitting in Speech-LLMs
IIIT Delhi（德里印度理工学院）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）
DirectSpeech2LLM提出一种简单端到端框架，通过基于距离的CTC损失对齐语音嵌入，缓解语音LLM的提示过拟合，实现零样本泛化至语音翻译和情感识别。
2026-10-07 cs.CL
EchoX: Towards Mitigating Acoustic-Semantic Gap via Echo Training for Speech-to-Speech LLMs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
EchoX通过利用语义表示并动态生成语音训练目标，整合声学与语义学习，以弥合声学-语义差距，从而在约六千小时训练数据下保持语音大语言模型的推理能力，并在多个知识问答基准上取得先进性能。
2025-09-11 cs.AI cs.CL cs.SD
Concept Bottleneck Large Language Models
提出概念瓶颈大型语言模型框架，将内在可解释性集成到LLMs中，在文本分类和生成任务上实现可解释推理、精确概念检测与安全控制，增强模型安全性与可信度。
2025-09-07 cs.CL cs.LG
Personalisation or Prejudice? Addressing Geographic Bias in Hate Speech Detection using Debias Tuning in Large Language Models
CSIC（西班牙国家研究委员会）
本文研究大语言模型在仇恨言论检测中的地理偏见问题，发现国家或语言个性化上下文会显著影响模型判断，并提出通过惩罚上下文不一致分类的去偏调优方法，有效提升模型在有无个性化上下文场景下的性能。
2025-05-04 cs.CL
Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach
Microsoft（微软）
研究同步语音翻译中仅解码器语言模型面临的挑战，提出基于固定长度块、回退前缀及教师标记前缀到前缀目标的CSSEL-P2P方法，经实验其在可比延迟下提升了流质量，证明无需架构改变可有效实现同步语音翻译。
2026-07-16 cs.CL
Roadmap towards Superhuman Speech Understanding using Large Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
本文提出一个五级语音LLMs发展路线图并设计SAGI Bechmark基准，揭示了模型在处理副语言线索和抽象声学知识方面的差距，为超人类语音理解提供关键见解。
2024-10-17 cs.AI cs.CL cs.SD
Analyzing Bias in False Refusal Behavior of Large Language Models for Hate Speech Detoxification
TU Dresden（德累斯顿理工大学）
研究分析了大型语言模型在仇恨言论净化中的虚假拒绝偏见，并提出通过中英互译策略减少此类拒绝行为。
2026-01-13 cs.CL
Causal Analysis and Mitigation of Spurious Onsets in Full-Duplex Speech LLMs
Massachusetts Institute of Technology（麻省理工学院）；Comcast Applied AI Research, Speech AI Team（康卡斯特应用人工智能研究，语音人工智能团队）
针对全双工语音LLM在用户沉默时虚假起始的问题，提出基于因果反事实的推理时方法，抑制虚假起始同时保留真实响应，无需重训练且实时运行。
2026-09-18 cs.CL
Speech Prefix-Tuning with RNNT Loss for Improving LLM Predictions
Google Inc.（谷歌公司）
针对大语言模型应用于语音识别的局限，提出结合RNNT损失的语音前缀调优及语言软提示方法，在10种印度语言测试中，微调与冻结大模型场景下均显著降低词错误率。
2024-06-20 cs.AI cs.CL cs.SD
In-context Language Learning for Endangered Languages in Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本研究探讨了LLMs通过上下文学习在语音识别中学习濒危语言的可能性，并展示了基于概率的方法在语言学习中的优势。
2026-01-27 cs.AI cs.CL
