Reducing Prompt Sensitivity in LLM-based Speech Recognition Through Learnable Projection
Idiap Research Institute（Idiap研究 institute）；EPFL（苏黎世联邦理工学院）；Uniphore（Uniphore公司）；University of Zurich（苏黎世大学）；Brno University of Technology（布拉格技术大学）
本文提出一种可学习的提示投影模块，通过优化LLM输入空间提升语音识别性能，减少提示设计的不稳定性。
2026-01-28 cs.CL cs.LG eess.AS
RALL-E: Robust Codec Language Modeling with Chain-of-Thought Prompting for Text-to-Speech Synthesis
Microsoft（微软公司）；The University of Tokyo（东京大学）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对大语言模型驱动的零样本TTS鲁棒性差的问题，提出RALL-E方法，通过思维链提示拆解任务并结合时长引导的自注意力，显著降低词错率与难句错误率。
2024-05-19 cs.AI cs.CL cs.LG
Expressive Prompting: Improving Emotion Intensity and Speaker Consistency in Zero-Shot TTS
Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部认知计算与应用天津市重点实验室）；Kuaishou Technology Co., Ltd（快手科技有限公司）；Institute of Artificial Intelligence, China Telecom（中国电信人工智能研究院）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Huiyan Technology (Tianjin) Co., Ltd（慧眼科技（天津）有限公司）
本文提出一种两阶段提示选择策略，通过评估提示的音调特征、感知音频质量和文本情感一致性，提升零样本语音合成的情感表达和说话人一致性。
2026-04-03 cs.AI cs.CL cs.SD
Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models
University of Cambridge（剑桥大学）
本文提出一种通用声学对抗攻击方法，通过在输入语音前添加简短的对抗性声学片段，无需访问模型提示即可覆盖 ASR 基础模型的设置，成功控制 Whisper 模型将语音转录强制转变为语音翻译，揭示了多任务语音基础模型的新型安全风险。
2024-10-11 cs.CL cs.SD eess.AS
VoxEmo: Benchmarking Speech Emotion Recognition with Speech LLMs
Department of Computer Science, University of Sheffield, United Kingdom（英国谢菲尔德大学计算机科学系）；Signal Analysis and Interpretation Laboratory (SAIL), Ming Hsieh Department of Electrical and Computer Engineering, University of Southern California, Los Angeles, CA 90089, USA（美国南加州大学电气与计算机工程系信号分析与解释实验室（SAIL））
VoxEmo是一个基于语音大语言模型的语音情感识别基准测试，通过提供多样化的提示复杂度和分布感知的软标签协议，评估模型在真实世界中的情感识别能力。
2026-03-09 cs.AI cs.CL cs.MM
Revisiting Direct Speech-to-Text Translation with Speech LLMs: Better Scaling than CoT Prompting?
Barcelona Supercomputing Center, Spain（巴塞罗那超级计算中心，西班牙）；Universitat Politècnica de Catalunya, Spain（加泰罗尼亚理工大学，西班牙）；DFKI GmbH, Saarland Informatics Campus, Saarbrücken, Germany（德意志联邦计算机研究中心（DFKI） GmbH，萨尔布吕肯，德国）
本文比较了CoT和直接提示在增加S2TT数据量下的表现，发现直接提示在数据增加时表现更优，可能成为更大资源下的更有效方法。
2026-01-23 cs.CL cs.SD
Prompting Large Language Models with Audio for General-Purpose Speech Summarization
Massachusetts Institute of Technology（麻省理工学院）
本研究提出结合指令微调LLM与音频编码器的端到端语音摘要框架，经语音-文本配对数据训练后可通过提示实现跨领域多风格语音摘要，性能优于级联基线系统。
2024-06-10 cs.CL eess.AS
Prompting Large Language Models with Speech Recognition Abilities
Meta AI；University of Cambridge（剑桥大学）
本研究通过给LLaMA-7B接入小型音频编码器构建ASR系统，在MLS上较单语言基线提升18%，且冻结LLM或采用大步长时仍可实现多语言语音识别，为长音频处理提供可能。
2023-07-21 cs.AI cs.CL cs.LG
System Report for CCL25-Eval Task 10: Prompt-Driven Large Language Model Merge for Fine-Grained Chinese Hate Speech Detection
School of Economics and Management, Dalian University of Technology（经济管理学院，大连理工大学）
本文提出基于提示的LLM融合框架，通过三阶段方法提升细粒度中文仇恨言论检测的性能。
2025-12-10 cs.AI cs.CL
Leveraging the Potential of Prompt Engineering for Hate Speech Detection in Low-Resource Languages
Bangladesh Institute of Governance and Management (BIGM)（孟加拉国治理与管理研究所）；Department of Cyber Security Engineering, George Mason University（网络安全工程系，乔治·梅森大学）
本文针对低资源语言仇恨言论检测的数据集匮乏问题，在Llama2-7B模型上提出并评估了包括首创隐喻提示在内的六种提示策略，并与多种深度学习模型及词嵌入方法对比，证明了其在孟加拉语等语言中的有效性。
2025-06-30 cs.AI cs.CL
Speech Prefix-Tuning with RNNT Loss for Improving LLM Predictions
Google Inc.（谷歌公司）
针对大语言模型应用于语音识别的局限，提出结合RNNT损失的语音前缀调优及语言软提示方法，在10种印度语言测试中，微调与冻结大模型场景下均显著降低词错误率。
2024-06-20 cs.AI cs.CL cs.SD
LOGIC: Efficient and Robust Contextual Biasing for Speech LLMs via Logit-Space Integration
Microsoft（微软）
LOGIC通过logit空间整合实现语音大语言模型的高效且鲁棒的上下文偏差，有效降低实体识别错误率。
2026-09-25 cs.AI cs.CL cs.SD
Frozen Large Language Models Can Perceive Paralinguistic Aspects of Speech
Massachusetts Institute of Technology（麻省理工学院）；Meta
本研究提出带语音编码器的端到端系统，在完全冻结大语言模型权重的情况下使其感知语音副语言信息，在通用交互场景中实现了比基线更优质、更具共情的语音交互响应，是该方向的首次探索。
2025-05-19 cs.CL cs.SD eess.AS
Chain-of-Thought Prompting for Speech Translation
NVIDIA（英伟达）
提出利用ASR转录作为提示，通过类似思维链的两步过程引导语音翻译，采用LoRA适配T5，在6个AST任务上平均提升2.4 BLEU点。
2025-03-26 cs.CL
Do Bias Benchmarks Generalise? Evidence from Voice-based Evaluation of Gender Bias in SpeechLLMs
Department of Speech, Music and Hearing（语音、音乐与听觉系）
本文通过微调SpeechLLMs测试MCQA偏见基准的推广能力，发现其在不同任务间的泛化效果有限，并提出新的评估方法。
2026-02-01 cs.AI cs.CL cs.SD
Enhancing Generalization of Speech Large Language Models with Multi-Task Behavior Imitation and Speech-Text Interleaving
Shenzhen International Graduate School（深圳国际研究生院）
针对语音大语言模型因缺乏标注数据导致泛化差的问题，提出仅依赖配对语音与文本的多任务行为模仿方法MTBI，结合语音-文本交错增强对齐效率，在提示与任务泛化上超越现有最优模型且所需监督数据更少。
2025-05-24 cs.CL cs.SD eess.AS
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge（剑桥大学工程系）；Shanghai Jiao Tong University（上海交通大学）
提出SimulS2S-LLM，通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译，利用边界感知提示和增量波束搜索，在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
EmoVoice: LLM-based Emotional Text-To-Speech Model with Freestyle Text Prompting
Shanghai Jiao Tong University（上海交通大学）；Tongyi Speech Lab（通义语音实验室）；Tianjin University（天津大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University, Shanghai Innovation Institute（上海交通大学上海创新研究院）
提出情感可控 TTS 模型 EmoVoice，利用 LLM 实现细粒度自由格式自然语言情感控制，并采用音素增强变体设计提升内容一致性，同时构建高质量数据集，在多语种测试中达到 SOTA。
2025-08-13 cs.AI cs.CL eess.AS
Enhancing Large Language Model-based Speech Recognition by Contextualization for Rare and Ambiguous Words
Preferred Elements, Inc.（Preferred Elements公司）
本文提出一种基于LLM的ASR系统，通过在文本提示中提供关键词作为先验信息进行上下文化，利用Whisper编码器和PLaMo-100B解码器，在不修改架构的情况下显著提升了稀有和歧义词的识别性能。
2024-10-11 cs.CL cs.SD eess.AS
Prompting Large Language Models for Zero-Shot Domain Adaptation in Speech Recognition
University of Cambridge（剑桥大学）；Microsoft（微软）
本研究提出两种基于LLaMA的零样本ASR领域自适应方法（第二遍重打分和深度LLM融合），仅用领域文本提示即可有效降低域外数据集词错误率，并提升实体和词外词召回。
2023-06-28 cs.CL eess.AS eess.SP
Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers
Microsoft（微软）
介绍了一种用于文本到语音合成（TTS）的语言建模方法.具体来说，我们训练神经编解码器语言模型（称为Vall-E）使用离散代码来自现成的神经音频编解码器模型，并把TTS作为一个有条件的语言建模任务，而不是在以前的工作连续信号回归。在预训练阶段，我们将TTS训练数据扩展到60 K小时的英语语音，这是现有系统的数百倍。Vall-E出现了上下文学习能力，可以用来合成高质量的个性化语音，只需3秒的注册记录一个看不见的发言者作为声学提示。实验结果表明，Vall-E在语音自然度和说话人相似度方面明显优于现有的zero-shot TTS系统。另外，我们发现Vall-E在合成时可以保留说话人的情感和声音提示的声学环境。请访问https://aka.ms/valle查看我们工作的演示。
2023-01-05 cs.CL cs.SD eess.AS
An Investigation of Large Language Models for Real-World Hate Speech Detection
University at Buffalo（纽约州立大学布法罗分校）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Union County Magnet High School（联合县磁石高中）；East Chapel Hill High School（东教堂山高中）；Minhang Corsspoint Academy（闵行交汇点学院）
本研究针对在线仇恨言论检测的上下文依赖问题，利用五个数据集评估大型语言模型（LLMs），并提出四种提示策略，发现精心设计的推理提示能充分利用LLMs知识库捕捉上下文，显著超越现有基准模型。
2024-01-07 cs.AI cs.CL cs.CY
GOAT-TTS: Expressive and Realistic Speech Generation via A Dual-Branch LLM
Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）
针对当前TTS架构在声学特征丢失、严格对齐依赖和文本理解灾难性遗忘上的矛盾，提出双分支架构GOAT-TTS，通过模态对齐与模块化微调实现无需转录依赖的实时流式高质量语音合成。
2025-05-28 cs.CL cs.SD eess.AS
DirectSpeech2LLM: A Simple End-to-End Framework to Mitigate Prompt Overfitting in Speech-LLMs
IIIT Delhi（德里印度理工学院）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）
DirectSpeech2LLM提出一种简单端到端框架，通过基于距离的CTC损失对齐语音嵌入，缓解语音LLM的提示过拟合，实现零样本泛化至语音翻译和情感识别。
2026-10-07 cs.CL
Do What I Say: A Spoken Prompt Dataset for Instruction-Following
Karlsruhe Institute of Technology, Germany（卡尔斯鲁厄理工学院，德国）；Fondazione Bruno Kessler, Italy（布鲁诺·凯瑟尔基金会，意大利）；ACC Cyfronet AGH, Poland（AGH计算机科学与技术学院，波兰）；AGH University of Krakow, Poland（克拉科夫AGH大学，波兰）；Carnegie Mellon University, U.S.（卡内基梅隆大学，美国）
本文提出DOWIS数据集，用于评估语音指令下的SLLM性能，发现文本提示在低资源和跨语言任务中表现更优，但语音输出任务中语音提示能缩小差距。
2026-04-30 cs.CL
Prompts versus Rules: Auditing and Controlling Speech Naturalness Behaviors in Voice User Simulators
Dialpad Inc.（戴尔德公司）
本研究对比了基于LLM的提示词方法与基于规则的算法在语音用户模拟器中生成语音自然度行为的效果，发现规则算法更优，提出需语言学导向方法缩小真实用户行为模拟的差距。
2026-10-09 cs.CL
PersonaPlex: Voice and Role Control for Full Duplex Conversational Speech Models
PersonaPlex通过融合角色条件和语音克隆技术，实现全双工对话语音模型的语音与角色控制，提升角色一致性、说话人相似性和对话自然度。
2026-01-14 cs.CL
Full-text Error Correction for Chinese Speech Recognition with Large Language Model
Tencent（腾讯）；Tsinghua University（清华大学）
本文研究LLMs对长时语音识别全文的纠错能力，构建了中文全文纠错数据集ChFT，通过多提示和格式微调LLM，验证其在不同测试集上的有效性并确立了基线。
2024-12-23 cs.CL eess.AS
Can LLMs Separate Pasted Artifacts from User Speech? Absorption at Unmarked Prompt Seams
AIMS Lab, The University of Southern Mississippi（南密西西比大学AIMS实验室）
研究LLMs在未标记提示接缝处吸收后续用户评论的现象，提出SEAM基准，发现裸换行吸收率高，边界标记可降低但无法消除。
2026-10-06 cs.CL
AudioChatLlama: Towards General-Purpose Speech Abilities for LLMs
Meta AI；University of Cambridge（剑桥大学）
本研究提出AudioChatLlama模型，在Llama-2基础上扩展端到端通用语音能力，无需配对数据，支持跨模态多任务，在语音问答上表现优于或持平级联系统，可利用对话上下文提升效果。
2024-04-12 cs.AI cs.CL
How to Recognize New Words: A Comparison Between Context Biasing Methods and Speech LLMs
该研究对比了基于Whisper的上下文偏置方法与语音LLMs在识别ASR中生词的性能，发现前者可大幅降低偏置词错误率，后者在朗读语音上表现好但泛化性差，最终为方法选择提供了权衡依据。
2026-08-07 cs.CL
SpeechGen: Unlocking the Generative Power of Speech Language Models with Prompts
Graduate Institute of Communication Engineering, National Taiwan University（台湾大学传播研究所）
针对语音难以直接适配大语言模型、语音生成应用受限的问题，本文提出统一框架SpeechGen，通过提示调优激发语音语言模型的生成能力，仅需约10M可训练参数，兼具效率与效果潜力。
2023-08-25 cs.AI cs.CL cs.LG
Hateful Person or Hateful Model? Investigating the Role of Personas in Hate Speech Detection by Large Language Models
ScaDS.AI and TU Dresden（ScaDS.AI 和 梵高大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文研究 MBTI 人格角色提示对 LLM 仇恨言论分类的影响，通过人工调查与四模型、三数据集实验揭示角色导致的标签分歧和 logit 偏差。
2025-06-10 cs.CL
Human Speech Perception in Noise: Can Large Language Models Paraphrase to Improve It?
Saarland University（萨尔大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
该研究首次评估LLMs生成声学可懂改写句以改善噪声中语音感知的能力，并提出prompt-and-select方法，通过在生成流程中解耦文本与非文本属性，在-5 dB信噪比下使人类语音感知相对提升40%。
2024-08-07 cs.CL
Prompting the Hidden Talent of Web-Scale Speech Models for Zero-Shot Task Generalization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）
本文通过任务专用提示工程激发 Whisper 的零样本泛化能力，在 AVSR、CS-ASR 和 ST 任务上显著提升性能并揭示其潜在特性。
2023-08-16 cs.AI cs.CL cs.LG
PromptTTS: Controllable Text-to-Speech with Text Descriptions
Microsoft（微软）
使用文本描述作为提示来指导文本或图像的生成（例如，GPT-3或DALLE-2）最近引起了广泛的关注。除了文本和图像生成，在这项工作中，我们探讨了利用文本描述来指导语音合成的可能性。因此，我们开发了一个文本转语音（TTS）系统（简称为TTS），需要一个提示与风格和内容的描述作为输入，合成相应的语音。具体地说，语音合成TTS包括一个风格编码器和一个内容编码器，用于从提示中提取相应的表示，以及一个语音解码器，用于根据提取的风格和内容表示合成语音。与要求用户具有声学知识以理解诸如韵律和音高之类的风格因素的可控TTS中的先前工作相比，可控TTS更用户友好，因为文本描述是表达语音风格的更自然的方式（例如，“一位女士慢慢地对她的朋友耳语”）。鉴于没有带有提示的TTS数据集，为了对TTS任务进行基准测试，我们构建并发布了一个包含样式和内容信息以及相应语音的提示的数据集。实验结果表明，该方法能够生成风格控制精确、语音质量高的语音.音频样本和我们的数据集是公开的。
2022-11-22 cs.CL cs.LG cs.SD
SpeechComposer: Unifying Multiple Speech Tasks with Prompt Composition
Carnegie Mellon University（卡内基梅隆大学）；Renmin University of China（中国人民大学）；Shanghai Jiao Tong University（上海交通大学）
本研究提出仅解码器语音语言模型SpeechComposer，通过组合固定提示令牌统一多种语音任务，实现任务间结构化知识共享，在核心与组合任务上均取得优于或媲美单任务专家模型的性能。
2024-01-31 cs.AI cs.CL cs.SD
An Empirical Study of Speech Language Models for Prompt-Conditioned Speech Synthesis
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本研究实证分析了自回归与非自回归语音语言模型在提示条件语音合成中的表现，发现异质非平稳提示会损害音频质量，且说话者风格受内容影响，语义单元携带声学信息可能泄露。
2024-03-19 cs.CL cs.SD eess.AS
PromptTTS++: Controlling Speaker Identity in Prompt-Based Text-to-Speech Using Natural Language Descriptions
Tohoku University（东北大学）；LINE Corp.（LINE公司）
本文提出PromptTTS++，一种基于提示的TTS系统，通过引入说话人提示和扩散声学模型，利用自然语言描述有效控制说话人身份，优于无提示方法。
2023-12-27 cs.CL cs.LG cs.SD
MPE-TTS: Customized Emotion Zero-Shot Text-To-Speech Using Multi-Modal Prompt
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；TencentChina（腾讯中国）；Youtu Lab（你图实验室）
提出基于多模态提示的定制情感零样本语音合成系统，解耦语音内容、音色、情感和韵律，通过多模态情感编码器和韵律预测器提升自然度与相似性。
2025-05-24 cs.AI cs.SD eess.AS
Controlling Emotion in Text-to-Speech with Natural Language Prompts
University of Stuttgart（斯图加特大学）
本文提出一种基于自然语言情感提示的 TTS 条件化系统，通过在 transformer 架构中融合说话人与提示嵌入并动态更换训练提示，实现准确情感迁移且保持音色、音质与可懂度。
2024-06-11 cs.CL cs.SD eess.AS
Prompt-Unseen-Emotion: Zero-shot Expressive Speech Synthesis with Prompt-LLM Contextual Knowledge for Mixed Emotions
Institute for Infocomm Research (I2R), Agency for Science, Technology, and Research (A*STAR), Singapore（信息与通信研究所（I2R）、科技研究局（A*STAR）、新加坡）
本文提出PUE方法，利用LLM-TTS架构和情感引导提示学习，在零样本条件下实现未见情感及混合情感的表现力语音合成。
2025-06-03 cs.AI cs.SD eess.AS
Improving Child Speech Recognition and Reading Mistake Detection by Using Prompts
Centre for Language Studies, Radboud University（拉德堡德大学语言研究中心）
本文提出结合音频与文本知识、通过提示增强 Whisper 和指令微调 LLM 的多模态方法，显著提升荷兰语儿童朗读语音识别及错误检测性能。
2025-06-04 cs.AI cs.CL cs.SD
Enhancing Multilingual Speech Recognition through Language Prompt Tuning and Frame-Level Language Adapter
Meituan（美团）
本文针对多语言语音识别提出语言提示微调和帧级语言适配器两种参数高效方法，分别提升语言可配置与语言无关场景下的识别性能，并在七种语言上验证了显著效果。
2023-09-19 cs.CL cs.SD eess.AS
VoiceLDM: Text-to-Speech with Environmental Context
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出 VoiceLDM 模型，通过描述与内容双文本提示控制音频生成，借助 CLAP、Whisper 和双重无分类器引导实现免标注训练，并在环境音频、TTS 及零样本 TTA 上表现优异。
2023-09-24 cs.AI cs.CL cs.LG
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft（微软）
情绪存在于一个广泛的连续体上，将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别，以及如何使模型能够学习这些描述。在这项工作中，我们设计了一种方法来自动创建一个描述（或提示）为给定的音频计算声学特性，如音高，响度，语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后，我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联，从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究，
2022-11-14 cs.LG cs.SD eess.AS
LibriTTS-P: A Corpus with Speaking Style and Speaker Identity Prompts for Text-to-Speech and Style Captioning
LY Corp.（LY公司）
本文提出基于 LibriTTS-R 的 LibriTTS-P 语料库，通过人工与合成混合标注提供说话风格和身份提示，并验证其可提升可控 TTS 自然度及风格描述准确性。
2024-06-12 cs.CL cs.LG cs.SD
Unified Pathological Speech Analysis with Prompt Tuning
Shanghai Jiao Tong University（上海交通大学）
本研究提出基于提示调优的统一病理语音分析系统，仅微调少量参数即可高效检测阿尔茨海默病、抑郁症和帕金森病，实现跨任务知识共享，提升F1分数并加速收敛。
2024-11-05 cs.CL cs.SD eess.AS
INTapt: Information-Theoretic Adversarial Prompt Tuning for Enhanced Non-Native Speech Recognition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
本文提出INTapt方法，通过对抗提示微调在不更新预训练模型权重的情况下，将非母语英语语音特征向母语英语对齐，从而提升非母语语音识别性能。
2023-05-25 cs.CL cs.SD eess.AS
Adapting Whisper for Parameter-efficient Code-Switching Speech Recognition via Soft Prompt Tuning
School of Computer Science（计算机科学学院）；College of Computing and Data Science（计算与数据科学学院）；College of Computing（计算学院）
本文提出基于软提示调优的参数高效方法，增强Whisper在低资源语码转换语音识别中的表现，通过深度提示调优和SPT4ASR组合，在SEAME和ASRU2019上实现错误率降低，且不损害原有语言性能。
2025-06-16 cs.AI cs.CL cs.SD
HarmoniFuse: A Component-Selective and Prompt-Adaptive Framework for Multi-Task Speech Language Modeling
Jiutian Artificial Intelligence Research Institute, China Mobile, Beijing, China（九天人工智能研究院，中国移动，北京）；The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China（多媒体信息处理国家重点实验室，北京大学，北京）
HarmoniFuse通过门控语音编码器和提示自适应动态融合模块选择并融合任务相关语音表示，结合批量交错训练策略，在无需联合标注的情况下同时提升ASR和SER性能。
2025-09-23 cs.CL cs.SD eess.AS
Rapid Language Adaptation for Multilingual E2E Speech Recognition Using Encoder Prompting
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
针对CTC架构多语言语音识别难以融入语言提示的问题，提出自条件CTC框架下的编码器提示技术，实现零样本语言适配，平均降错28%，低资源语言降错41%。
2024-06-18 cs.CL cs.SD eess.AS
Retrieval Augmented Generation in Prompt-based Text-to-Speech Synthesis with Context-Aware Contrastive Language-Audio Pretraining
Beijing University of Posts and Telecommunications（北京邮电大学）
本文针对基于提示的TTS中语音提示选择问题，提出将检索增强生成（RAG）适配到TTS，并设计上下文感知对比语言-音频预训练模型CA-CLAP来提取风格相关特征，实验证明该方法优于基线。
2024-06-06 cs.SD eess.AS
Perceiver-Prompt: Flexible Speaker Adaptation in Whisper for Chinese Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institute of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）
针对中文构音障碍语音识别数据少、说话人差异大的问题，提出 Perceiver-Prompt，通过 LoRA 微调 Whisper 并利用可训练 Perceiver 生成定长说话人提示，CER 最高相对降低 13.04%。
2024-06-14 cs.AI cs.SD eess.AS
