SIFT-50M: A Large-Scale Multilingual Dataset for Speech Instruction Fine-Tuning
Amazon AGI(亚马逊AGI);Apple Inc.(苹果公司)
该研究构建含5000万样本的多语言语音指令微调数据集SIFT-50M,训练的SIFT-LLM在指令遵循基准上优于现有模型,同时提出EvalSIFT基准支持相关研究。
2025-04-17 cs.AI cs.CL eess.AS
SparQLe: Speech Queries to Text Translation Through LLMs
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本研究提出 SparQLe 方法,通过模态适配器将自监督语音表征与指令微调的 LLMs 对齐,实现语音到文本翻译,有效保留语义内容,为多模态语音理解应用提供新方案。
2025-05-30 cs.AI cs.CL
Closing the Distribution Gap in Adversarial Training for LLMs
Technical University of Munich, Germany(慕尼黑技术大学)
本文提出DAT方法,通过扩散模型近似真实分布,提升大语言模型对抗鲁棒性。
2026-02-18 cs.AI cs.CR cs.LG
X-OPD: Cross-Modal On-Policy Distillation for Capability Alignment in Speech LLMs
Tencent Hunyuan(腾讯文心);Zhejiang University(浙江大学)
提出X-OPD框架,通过跨模态在策略蒸馏对齐语音LLM与文本LLM的能力,利用文本教师模型评估语音模型的轨迹并提供令牌级反馈,显著缩小复杂任务性能差距。
2026-06-15 cs.AI cs.CL eess.AS
VoxEmo: Benchmarking Speech Emotion Recognition with Speech LLMs
Department of Computer Science, University of Sheffield, United Kingdom(英国谢菲尔德大学计算机科学系);Signal Analysis and Interpretation Laboratory (SAIL), Ming Hsieh Department of Electrical and Computer Engineering, University of Southern California, Los Angeles, CA 90089, USA(美国南加州大学电气与计算机工程系信号分析与解释实验室(SAIL))
VoxEmo是一个基于语音大语言模型的语音情感识别基准测试,通过提供多样化的提示复杂度和分布感知的软标签协议,评估模型在真实世界中的情感识别能力。
2026-03-09 cs.AI cs.CL cs.MM
Can Speech LLMs Think while Listening?
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta Superintelligence Labs(Meta超智能实验室)
针对语音大语言模型推理能力不足与响应延迟高的问题,提出基于文本空间思维链微调提升准确率2.4倍,并利用熵度量“问题完整性”及DPO优化,实现延迟降低70%且不损准确率。
2025-10-08 cs.AI cs.CL eess.AS
Closing the gap between open-source and commercial large language models for medical evidence summarization
Columbia University(哥伦比亚大学);National Library of Medicine(美国国家医学图书馆);National Institutes of Health(美国国立卫生研究院);Weill Cornell Medicine(威尔康奈尔医学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本研究通过微调PRIMERA、LongT5和Llama-2三种开源LLMs,在MedReview数据集上显著提升医学证据摘要性能,缩小了与商用模型的差距,并为领域特定任务的模型选择提供依据。
2024-07-25 cs.AI cs.CL
Benchmarking Contextual and Paralinguistic Reasoning in Speech-LLMs: A Case Study with In-the-Wild Data
Institute of Infocomm Research (I 2 R)(信息通信研究所)
针对语音大语言模型在副语言推理上的不足,提出CP-Bench基准,通过两个QA数据集评估模型整合言语与非言语线索的能力,揭示现有评估空白,为构建情感智能语音模型提供方向。
2025-09-24 cs.AI cs.CL
RetroThinker: Enabling Retrospective Thinking in Speech LLMs
The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta Superintelligence Labs(Meta超级智能实验室基础人工智能研究部)
RetroThinker通过多阶段后训练框架,使语音大语言模型在推理中动态修正思维链,在GSM8K上以可比延迟获得11%的绝对准确率提升。
2026-09-11 cs.AI cs.CL eess.AS
Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?
SB Intuitions
研究翻译增强的语音编码器预训练对语音大语言模型的影响,通过实验证明该方法能改善跨模态整合并提升下游任务性能。
2026-06-25 cs.CL cs.SD eess.AS
Evaluation of LLMs in Speech is Often Flawed: Test Set Contamination in Large Language Models for Speech Recognition
Samsung AI Center Cambridge(三星AI研究中心剑桥)
该研究揭示 LibriSpeech 和 Common Voice 评估集存在 LLM 预训练数据污染,并通过对比实验证明微量污染即可使模型对见过的转录赋予显著更高概率,强调需用留出数据评估基于 LLM 的语音系统。
2025-06-05 cs.CL eess.AS
Zero-Shot Speech LLMs for Multi-Aspect Evaluation of L2 Speech: Challenges and Opportunities
Centre for Language Studies(语言研究学院)
本文探讨了零样本语音大语言模型在二语发音多维度评估中的应用,分析了其在准确性、流利度、语调和完整性方面的评分表现及改进方向。
2026-01-20 cs.AI cs.CL cs.SD
Scheduled Interleaved Speech-Text Training for Speech-to-Speech Translation with LLMs
Sony Group CorporationJapan(索尼集团日本公司);Sony EuropeGermany(索尼欧洲德国分公司);Carnegie Mellon UniversityUSA(卡内基梅隆大学美国分校)
针对大语言模型适配语音模态时数据不足的问题,提出调度式交错语音-文本训练法,通过词级交错文本并逐步降比实现渐进模态适配,在CVSS数据集上微调LLaMA3.2-1B验证了其对翻译性能的提升作用,低资源语言效果更明显。
2025-06-12 cs.CL cs.SD eess.AS
Are Smaller Open-Weight LLMs Closing the Gap to Proprietary Models for Biomedical Question Answering?
Evidence Prime
本文通过BioASQ Task 13B Phase B评估小型开放权重LLMs在生物医学问答中的表现,结合片段检索、上下文学习和集成策略,证明其可与GPT-4o、Claude等专有模型相媲美甚至超越。
2025-09-23 cs.CL cs.IR cs.LG
Boosting Large Language Model for Speech Synthesis: An Empirical Study
Shanghai Jiao Tong University(上海交通大学);Microsoft Corporation(微软公司)
本文通过结合LLaMA/OPT和VALL-E,探索了三种将大语言模型与语音合成模型集成的方法,发现以LLM作为文本编码器的耦合方法效果最佳,显著降低了10.9%的词错误率。
2023-12-30 cs.CL cs.SD eess.AS
Nuha-Speech: Building General-Purpose Arabic Speech-LLMs
Elm Company(埃尔姆公司)
Nuha-Speech构建了含150万样本的阿拉伯语语音问答语料库,基于Qwen-Omni微调模型,并设计评估框架,以建立通用阿拉伯语语音大语言模型的基础设施。
2026-09-11 cs.CL
Encoder Awakening via Adapters: Effective Domain-Adaptive Fine-tuning of Speech-LLMs
Department of Electrical and Computer Engineering University of California Los Angeles(加利福尼亚大学洛杉矶分校电气与计算机工程系)
针对语音大语言模型在域偏移语音(如儿童和方言)上适应困难的问题,提出EAVA方法,通过在编码器层插入适配器并联合微调,显著提升ASR性能并达到新最优。
2026-10-12 cs.CL eess.AS
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge(剑桥大学工程系);Shanghai Jiao Tong University(上海交通大学)
提出SimulS2S-LLM,通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译,利用边界感知提示和增量波束搜索,在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
AutoSupervision: Closing the Feedback Loop in Scientific Workflows with Grounded Revision Verification
Shanghai AI Laboratory(上海人工智能实验室);University of California, Los Angeles(加州大学洛杉矶分校);The Hong Kong University of Science and Technology(香港科技大学)
本研究提出AutoSupervision,利用《自然·通讯》5.6万篇文章的评审记录构建数据集,发现LLM刻画评审关切表现较好但证据验证是瓶颈,为AI辅助科学工作流提供反馈循环闭合方案。
2026-07-31 cs.AI cs.CL
TESU-LLM: Training Speech-LLMs Without Speech via Unified Encoder Alignment
KT Corporation(KT公司);Department of Electrical and Computer Engineering(电气与计算机工程系);Sungkyunkwan University(成均馆大学)
本文提出 TESU-LLM 框架,通过统一编码器和轻量投影网络对齐语音、文本与 LLM 嵌入空间,仅用文本训练即可达到多模态训练基线的语音任务性能。
2025-06-01 cs.AI cs.CL cs.LG
VocalNet: Speech LLM with Multi-Token Prediction for Faster and High-Quality Generation
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团);Wuhan University(武汉大学)
VocalNet通过首次将多令牌预测(MTP)应用于语音大语言模型,实现了更快速、高质量的语音生成,在有限数据下性能与主流Omni LLMs相当,并开源了全部资源。
2025-04-22 cs.AI cs.CL cs.SD
MultiGen: Child-Friendly Multilingual Speech Generator with LLMs
Institute for Infocomm Research, Agency for Science, Technology, and Research (A*STAR), Singapore(信息与通信研究所,科技研究局(A*STAR),新加坡)
针对低资源语言下儿童友好型语音生成的难题,提出基于LLM架构的多语言生成模型MultiGen,支持三种低资源语言的文化适配交互,经主客观实验验证性能优于基线。
2025-09-04 cs.AI cs.CL eess.AS
PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs
The Chinese University of Hong Kong Huawei Artificial Intelligence Laboratory (Leibniz)(香港中文大学华为人工智能实验室(莱布尼茨))
PROST-LLM通过逐步增强方法提升大语言模型在语音到语音翻译中的能力,采用三任务学习和模态链方法,结合自我采样和回译生成偏好对,最终通过偏好优化提升翻译性能。
2026-01-23 cs.CL
In-context Language Learning for Endangered Languages in Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究探讨了LLMs通过上下文学习在语音识别中学习濒危语言的可能性,并展示了基于概率的方法在语言学习中的优势。
2026-01-27 cs.AI cs.CL
EchoX: Towards Mitigating Acoustic-Semantic Gap via Echo Training for Speech-to-Speech LLMs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
EchoX通过利用语义表示并动态生成语音训练目标,整合声学与语义学习,以弥合声学-语义差距,从而在约六千小时训练数据下保持语音大语言模型的推理能力,并在多个知识问答基准上取得先进性能。
2025-09-11 cs.AI cs.CL cs.SD
Extreme Speech Classification in the Era of LLMs: Exploring Open-Source and Proprietary Models
针对网络极端言论分类的社会文化复杂性与人工审核规模化难题,本文基于印度极端言论数据集,构建大语言模型分类框架,对比开源Llama与闭源OpenAI模型,发现领域微调可显著提升性能并缩小模型差距。
2025-02-21 cs.AI cs.CL
Roadmap towards Superhuman Speech Understanding using Large Language Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Noah’s Ark Lab, Huawei(华为诺亚方舟实验室)
本文提出一个五级语音LLMs发展路线图并设计SAGI Bechmark基准,揭示了模型在处理副语言线索和抽象声学知识方面的差距,为超人类语音理解提供关键见解。
2024-10-17 cs.AI cs.CL cs.SD
Federated Multilingual Speech-LLMs: Architecture and Aggregation Strategy Benchmarking
Telefónica Innovación Digital, Scientific Research(西班牙电信数字创新研究院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universidad Autónoma de Madrid(马德里自治大学)
针对多语言语音识别,提出联邦学习基准,评估四种语音-大语言模型架构,发现独立调整学习率和三组件适配可获最佳效果,FedProx有效性依赖架构,为隐私敏感分布式部署提供设计指导。
2026-09-22 cs.AI cs.CL
ACCORD: Closing the Commonsense Measurability Gap
University of Toronto(多伦多大学);Stevens Institute of Technology(史蒂文斯理工学院);Dalhousie University(达尔豪斯大学);Vector Institute(矢量研究院)
ACCORD通过受控多跳反事实和形式化要素解耦并量化LLM的常识推理能力,可自动生成任意复杂度基准,实验显示现有顶尖模型在适度扩展下性能降至随机水平,为未来改进提供空间。
2025-02-06 cs.AI cs.CL cs.LG
How to Recognize New Words: A Comparison Between Context Biasing Methods and Speech LLMs
该研究对比了基于Whisper的上下文偏置方法与语音LLMs在识别ASR中生词的性能,发现前者可大幅降低偏置词错误率,后者在朗读语音上表现好但泛化性差,最终为方法选择提供了权衡依据。
2026-08-07 cs.CL
Aligning Paralinguistic Understanding and Generation in Speech LLMs via Multi-Task Reinforcement Learning
Meta Reality Labs(Meta现实实验室)
本文提出通过多任务强化学习提升语音大语言模型对语用信息的理解与生成,实验表明在多个数据集上比监督模型和 proprietary 模型提升了8-12%的性能。
2026-03-16 cs.AI cs.CL
Empowering Dysarthric Speech: Leveraging Advanced LLMs for Accurate Speech Correction and Multimodal Emotion Analysis
Pegasystems Worldwide Pvt Ltd(Pegasystems全球私人有限公司);Capital Quants Solutions(Capital Quants解决方案公司);Vasavi College of Engineering(瓦萨维工程学院)
本文提出一种利用先进LLM进行构音障碍语音纠正与多模态情感分析的框架,通过OpenAI Whisper及微调的开源模型重建目标句子并识别情绪,显著提升了构音障碍患者的沟通能力。
2024-10-13 cs.AI cs.CL
Understanding Textual Capability Degradation in Speech LLMs via Parameter Importance Analysis
National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家级工程研究中心);University of Science and Technology of China(中国科学技术大学)
本文基于参数重要性估计分析语音 LLM 的文本能力退化机制,并验证逐层学习率调度与 LoRA 可保持参数分布、兼顾文本与口语问答性能。
2025-09-28 cs.AI cs.CL
Speech Prefix-Tuning with RNNT Loss for Improving LLM Predictions
Google Inc.(谷歌公司)
针对大语言模型应用于语音识别的局限,提出结合RNNT损失的语音前缀调优及语言软提示方法,在10种印度语言测试中,微调与冻结大模型场景下均显著降低词错误率。
2024-06-20 cs.AI cs.CL cs.SD
AudioChatLlama: Towards General-Purpose Speech Abilities for LLMs
Meta AI;University of Cambridge(剑桥大学)
本研究提出AudioChatLlama模型,在Llama-2基础上扩展端到端通用语音能力,无需配对数据,支持跨模态多任务,在语音问答上表现优于或持平级联系统,可利用对话上下文提升效果。
2024-04-12 cs.AI cs.CL
Harnessing Artificial Intelligence to Combat Online Hate: Exploring the Challenges and Opportunities of Large Language Models in Hate Speech Detection
Arizona State University(亚利桑那州立大学)
本研究通过文献综述与实证分析,探讨大语言模型在仇恨言论检测中的能力与限制,识别表现优异的模型及其影响因素。
2024-03-12 cs.AI cs.CL
SpeechMapper: Speech-to-text Embedding Projector for LLMs
Inria Paris(法国巴黎国家信息与自动化研究所);NAVER LABS Europe(NAVER欧洲实验室)
SpeechMapper通过低成本预训练和高效指令微调,实现语音与大语言模型的高效集成,提升模型的稳健性和可推广性。
2026-02-04 cs.CL
Enhancing Generalization of Speech Large Language Models with Multi-Task Behavior Imitation and Speech-Text Interleaving
Shenzhen International Graduate School(深圳国际研究生院)
针对语音大语言模型因缺乏标注数据导致泛化差的问题,提出仅依赖配对语音与文本的多任务行为模仿方法MTBI,结合语音-文本交错增强对齐效率,在提示与任务泛化上超越现有最优模型且所需监督数据更少。
2025-05-24 cs.CL cs.SD eess.AS
SpeechGen: Unlocking the Generative Power of Speech Language Models with Prompts
Graduate Institute of Communication Engineering, National Taiwan University(台湾大学传播研究所)
针对语音难以直接适配大语言模型、语音生成应用受限的问题,本文提出统一框架SpeechGen,通过提示调优激发语音语言模型的生成能力,仅需约10M可训练参数,兼具效率与效果潜力。
2023-08-25 cs.AI cs.CL cs.LG
MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
提出MetaSICL方法,利用高资源语音数据通过元学习增强听觉大语言模型的上下文学习能力,在低资源场景下优于直接微调。
2026-08-25 cs.AI cs.CL cs.SD
SURE-Voice: A Front-End Baseline for Speech-Evidence Filtering in Speech LLMs
该研究定义SURE-Challenge评估语音大语言模型生成前的准入步骤,以Qwen2-Audio和能量加Whisper评分规则开展实验,发现了仅答案评分遗漏的生成前错误模式。
2026-09-15 cs.CL cs.SD eess.AS
Universal Acoustic Adversarial Attacks for Flexible Control of Speech-LLMs
ALTA Institute, Department of Engineering, University of Cambridge(ALTA研究院,工程系,剑桥大学)
本研究针对语音大语言模型的安全漏洞,提出前置固定通用对抗音频的攻击方法,可实现无输出、改任务及属性选择性攻击,验证了Qwen2-Audio等模型的脆弱性,为提升模型鲁棒性提供依据。
2025-05-20 cs.CL cs.SD eess.AS
Soundwave: Less is More for Speech-Text Alignment in LLMs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对端到端语音 LLM 依赖大规模标注数据的问题,本文提出 Soundwave,通过高效训练策略和新架构弥合语音-文本表示与序列长度差异,仅用 1/50 数据便在语音翻译和 AIR-Bench 上超过 Qwen2-Audio,并保持对话智能。
2025-02-18 cs.AI cs.CL cs.SD
JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis
Korea University(高丽大学)
提出 JELLY 框架,通过多个部分 LoRA 微调 LLM,并结合情感感知 Q-former 编码器实现情感识别与上下文推理,以生成自然且情感恰当的对话语音。
2025-01-09 cs.CL cs.SD eess.AS
Way to Specialist: Closing Loop Between Specialized LLM and Evolving Domain Knowledge Graph
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学);Central South University(中南大学);Huazhong University of Science and Technology(华中科技大学)
针对通用大语言模型在专业知识推理任务中的不足,本文提出WTS框架,通过“LLM$\rightleftarrows$KG”双向增强范式,在无需专业训练的情况下提升模型专业能力,在6个数据集上的4个领域超越SOTA,最大提升11.3%。
2024-11-28 cs.AI cs.CL
When LLMs Meets Acoustic Landmarks: An Efficient Approach to Integrate Speech into Large Language Models for Depression Detection
The University of New South Wales(新南威尔士大学);Nanyang Technological University(南洋理工大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出一种利用声学标志将语音信号高效集成到大语言模型(LLMs)中的多模态方法,在DAIC-WOZ数据集上取得SOTA抑郁症检测效果,并拓展了LLMs处理语音信号的能力。
2024-09-23 cs.AI cs.SD eess.AS
Hearing to Translate: The Effectiveness of Speech Modality Integration into LLMs
Fondazione Bruno Kessler(布鲁诺·凯瑟尔基金会);Barcelona Supercomputing Center(巴塞罗那超级计算中心);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universitat Politècnica de València(瓦伦西亚理工大学);Soongsil University(顺天大学);Charles University(查尔斯大学);KIT(卡尔斯鲁厄理工学院)
本文评估了将语音模态整合到LLMs中的有效性,发现级联系统总体更可靠,但最新SpeechLLMs在某些情况下可匹配或超越级联系统,而SFM表现较差,强调整合LLM的重要性。
2026-04-25 cs.AI cs.CL cs.SD
LLMs-Integrated Automatic Hate Speech Recognition Using Controllable Text Generation Models
The University of Osaka(大阪大学);Ritsumeikan University(立命馆大学)
本文提出利用大语言模型和可控文本生成模型,通过课程学习逐步训练以提高仇恨言论识别的准确率和效率。
2026-01-08 cs.AI cs.SD eess.AS
Can LLMs Understand Unvoiced Speech? Exploring EMG-to-Text Conversion with LLMs
Northwestern University, USA(西北大学,美国)
研究探索 LLMs 理解无声语音的潜力,提出 EMG 适配器模块将特征映射到 LLM 输入空间,在闭词汇任务上实现 0.49 WER,并在六分钟数据下性能提升近 20%。
2025-05-30 cs.CL
PSLM: Parallel Generation of Text and Speech with LLMs for Low-Latency Spoken Dialogue Systems
rinna Co., Ltd.(rinna公司)
本文提出PSLM,通过扩展大语言模型输入输出序列实现文本与语音并行生成,在口语问答中降低延迟并保持内容质量,并进一步利用多序列语音生成减少延迟。
2024-10-03 cs.AI cs.CL cs.LG
Beyond Silent Letters: Amplifying LLMs in Emotion Recognition with Vocal Nuances
Columbia University(哥伦比亚大学)
本文提出 SpeechCueLLM 方法,将语音特征转换为自然语言描述,使 LLMs 无需架构更改即可通过文本提示进行多模态情感分析,在 IEMOCAP 和 MELD 数据集上显著提升了识别准确率。
2024-12-23 cs.AI cs.CL
Bridging ASR and LLMs for Dysarthric Speech Recognition: Benchmarking Self-Supervised and Generative Approaches
NLP Department(自然语言处理部门)
本研究系统基准测试了Wav2Vec等自监督模型及CTC、seq2seq和LLM增强解码策略在构音障碍语音识别中的表现,发现LLM增强解码能利用语言约束恢复音素和纠正语法,有效提升识别可懂度。
2025-08-11 cs.AI cs.SD eess.AS
Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Microsoft Corporation(微软公司);Microsoft Research Asia(微软亚洲研究院)
提出Convex Gate(C-Gate)桥接语音与LLM,通过凸包约束将语音表示限制在LLM输入嵌入流形内,在ASR和情感识别上取得联合最优性能,并揭示几何结构而非离散性是关键设计因素。
2026-10-16 cs.CL eess.AS
Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs
Florida International University(佛罗里达国际大学)
针对2024年SLT-GenSEC挑战赛,提出基于上下文对话分割与提示优化的LLM语音情感识别方法,最佳提交未加权准确率超基线20%,获挑战赛最佳。
2024-10-27 cs.CL cs.SD eess.AS