What Are They Doing? Joint Audio-Speech Co-Reasoning
Research Center(研究中心);Concordia University(康考迪亚大学);Université de Montréal(蒙特利尔大学);Mila(米拉(魁北克人工智能研究所))
针对音频语音任务多单模态的现状,本文提出JASCO联合音频-语音协同推理任务,发布对应场景推理数据集,构建基准探究ALLMs的跨模态推理能力,并分析模型对不同模态的依赖特性。
2025-01-12 cs.CL cs.SD eess.AS
On the Effects of Heterogeneous Data Sources on Speech-to-Text Foundation Models
Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
本文提出 OWSM v3.2,通过代理任务过滤数据并利用开放 LLM 恢复标点与真实大小写,在训练数据减少15%的情况下超越 OWSM v3.1。
2024-06-13 cs.CL cs.SD eess.AS
Speech Translation with Foundation Models and Optimal Transport: UPC at IWSLT23
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Meta AI
该研究提交 IWSLT 2023 离线语音翻译系统,结合 wav2vec 2.0、mBART50、CTC、最优传输、知识蒸馏与 SegAugment 合成数据,在多个测试集上取得最佳单模型 31.2、29.8 和 33.4 BLEU。
2023-06-02 cs.CL cs.SD eess.AS
MOSEL: 950,000 Hours of Speech Data for Open-Source Speech Foundation Model Training on EU Languages
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
针对现有语音基础模型未真正开源权重、代码与训练数据的问题,本文构建MODEL语料,汇集95万小时欧盟24种官方语言语音数据,并发布44.1万小时无标注数据的CC-BY自动转写。
2024-10-01 cs.AI cs.CL cs.SD
Benchmarking Children's ASR with Supervised and Self-supervised Speech Foundation Models
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
该研究针对儿童 ASR 缺乏系统基准的问题,评估多种监督与自监督语音基础模型,并比较数据增强和 PEFT 微调策略,提出 PIF 损失以稳定增强数据微调。
2024-06-15 cs.CL cs.SD eess.AS
LESS: Large Language Model Enhanced Semi-Supervised Learning for Speech Foundational Models Using in-the-wild Data
LESS通过利用大规模语言模型校正野外数据生成的伪标签,提升了语音基础模型在多种语言和任务中的性能,显著降低了词错误率并提高了BLEU分数。
2026-03-13 cs.CL cs.SD eess.AS
AURA: Uncertainty-Routed Activation Editing for Acoustic Grounding in Speech Foundation Models
University of California Los Angeles(加州大学洛杉矶分校)
AURA通过基于交叉注意力不确定性路由的稀疏激活编辑,冻结模型参数,在非语音音频上将幻觉率从89.18%降至1.94%,并以约500倍更少的可训练参数接近LoRA的词错误率,实现AED语音模型的声学接地。
2026-09-22 cs.CL eess.AS
Unifying Model and Layer Fusion for Speech Foundation Models
针对语音基础模型的融合问题,提出统一模型与层融合的接口模块,通过整合多上游模型及其各层信息提升下游任务性能,实验证明其优于现有方法并分析了可扩展性与模型选择的重要性。
2025-11-11 cs.AI cs.CL eess.AS
Do speech foundation models really learn words?
University of Toronto(多伦多大学)
本文通过残差化方法剔除音素信息,证明HuBERT和wav2vec 2.0在深层确实学习到独立于词形的词汇表示,并能增强词汇发现任务中的高阶语言信息。
2026-09-10 cs.CL cs.SD
MERaLiON-SpeechEncoder: Towards a Speech Foundation Model for Singapore and Beyond
MERaLiON Team(MERaLiON团队);Institute for Infocomm Research (I 2 R), A*STAR, Singapore(信息通信研究所(I2R),A*STAR,新加坡)
MERaLiON-SpeechEncoder是新加坡开发的多语言语音基础模型,通过自监督掩码语言建模在20万小时数据上预训练,提升语音识别性能并保持多任务竞争力。
2025-09-11 cs.AI cs.CL eess.AS
Efficient Training of Self-Supervised Speech Foundation Models on a Compute Budget
National Taiwan University(台湾大学);ASUS Intelligent Cloud Services (AICS)(华硕智能云服务(AICS))
本文研究在有限计算预算下高效训练自监督语音基础模型,通过系统分析模型架构、模型规模和数据规模等因素,发现精简架构优于常见小型架构,数据规模仍至关重要,并揭示了给定计算预算下模型规模与数据规模之间的最优权衡。
2025-02-04 cs.CL cs.LG cs.SD
Speech foundation models in healthcare: Effect of layer selection on pathological speech feature prediction
Mayo Clinic(梅奥诊所)
本研究探索语音基础模型迁移学习中层选择对病理性语音特征预测的影响,发现最优层可显著提升性能但泛化性有限,而学习加权和方法兼顾了分布内性能与分布外泛化能力。
2024-06-21 cs.CL cs.LG eess.AS
Learning task-specific subspaces via interventional post-training of speech foundation models
University of Sheffield(谢菲尔德大学)
提出一种干预对比学习后训练方法,将语音基础模型的纠缠表示分解为内容和说话人子空间,提升说话人验证和关键词识别性能。
2026-06-25 cs.CL
Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model
NVIDIA(英伟达);National Taiwan University(台湾大学)
本文提出将单声道对话转换为伪立体声数据的流程,把训练数据扩展至17,600小时,并比较不同语音基础模型的离散单元,以提升口语对话生成模型性能。
2024-07-02 cs.CL cs.HC cs.SD
Efficient Domain Adaptation for Speech Foundation Models
Google LLC(谷歌有限责任公司)
基础模型(FM)是在广泛的数据上进行大规模训练的,并且能够适应广泛的下游任务,已经引起了研究界的极大兴趣。基础模型得益于不同模态、语言和应用领域等多种数据源,表现出较强的泛化能力和知识转移能力。在本文中,我们提出了一个开拓性的研究,建立一个有效的解决方案,基于FM的语音识别系统。我们采用最近开发的自监督BEST-RQ进行预训练,并提出使用JUST Hydra对源和无监督目标域数据进行联合微调。FM编码器适配器和解码器然后被微调到具有少量监督域内数据的目标域。在一个大规模的YouTube和语音搜索任务中,我们的方法被证明是数据和模型参数有效的。它仅使用21.6M监督域内数据和130.8M微调参数就达到了相同的质量,而731.1M模型则是在额外的300 M监督域内数据上从头开始训练的。
2023-02-03 cs.CL cs.LG cs.SD
Fast Speech Foundation Model Distillation Using Interleaved Stacking
IPAI;AIIS;Dept. of Intelligence and Information(智能与信息系)
提出交错堆叠方法加速语音基础模型蒸馏训练,通过保持层位置一致性解决性能下降问题,在SUPERB上验证有效性。
2026-06-17 cs.AI cs.CL cs.SD
A Large-Scale Evaluation of Speech Foundation Models
本文建立语音处理通用性能基准(SUPERB),提出使用冻结基础模型加轻量级预测头的统一多任务框架,验证了基础模型范式在语音处理任务中的有效性与泛化能力,并提供了可复现的基准测试平台与深入分析。
2024-05-29 cs.CL eess.AS eess.SP
FAMA: The First Large-Scale Open-Science Speech Foundation Model for English and Italian
Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会)
本文推出首个面向英语和意大利语的开放科学语音基础模型FAMA,基于15万小时以上开源数据训练,并发布1.6万小时新数据集,性能具竞争力且速度快达8倍。
2025-05-30 cs.AI cs.CL cs.SD
From Words to Waves: Analyzing Concept Formation in Speech and Text-Based Foundation Models
Qatar Computing Research Institute(卡塔尔计算研究所)
本文研究语音与文本基础模型中语义概念的形成,采用潜在概念分析无监督方法,分别及联合分析两类模型的概念结构,揭示跨模态语义抽象机制。
2025-06-01 cs.AI cs.CL cs.SD
HARNESS: Lightweight Distilled Arabic Speech Foundation Models
Amazon India(亚马逊印度);Qatar Computing Research Institute, HBKU, Qatar(卡塔尔计算研究所,HBKU,卡塔尔)
本文提出HARNESS,一种轻量级阿拉伯语语音基础模型,通过迭代自蒸馏实现高效准确率与效率的平衡,适用于自动语音识别、方言识别和语音情感识别任务。
2026-03-31 cs.AI cs.CL eess.AS
Speech Translation with Speech Foundation Models and Large Language Models: What is There and What is Missing?
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
本文聚焦语音到文本翻译任务,通过分析相关论文提出SFMs与LLMs整合方案的统一视角,梳理经验教训并指出评估局限,为未来工作提供建议以明确该类方案的优劣势。
2024-11-29 cs.CL
Moshi: a speech-text foundation model for real-time dialogue
Kyutai(久泰公司)
本文提出全双工语音-文本基础模型 Moshi,通过语音到语音生成、并行双流建模和 Inner Monologue 时间对齐文本前缀,实现低延迟实时口语对话。
2024-10-02 cs.AI cs.CL cs.LG
How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文分析三个多模态基础模型在跨语言文本与语音语义等价句子上的激活,揭示表征随层收敛、长度适配作用及模态与语言差距规律。
2025-02-20 cs.CL
AudioJudge: Understanding What Works in Large Audio Model Based Speech Evaluation
SCB 10X, SCBX Group(SCB 10X、SCBX集团);University of Southern California(南加州大学);Stanford University(斯坦福大学)
本文系统研究大型音频模型作为评判器(AudioJudge),提出音频拼接结合上下文学习及多维度集成方法,在语音评估中实现与人类偏好最高0.91的Spearman相关性,并揭示其冗长性和位置偏差问题。
2025-07-17 cs.CL cs.SD eess.AS
Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models
Nanyang Technological University(南洋理工大学);NVIDIA Research(英伟达研究院);IBM Research(IBM研究院);Tsinghua University(清华大学)
提出无监督自适应框架STAR,利用未标记数据提升语音基础模型在噪声和口音等领域的鲁棒性,通过新颖指标评估伪标签质量,实现平均13.5%的词错误率降低,并防止灾难性遗忘,数据高效且泛化性强。
2024-05-23 cs.AI cs.CL cs.LG
Lost in Phonation: Voice Quality Variation as an Evaluation Dimension for Speech Foundation Models
Department of Speech, Music and Hearing(语音、音乐与听觉系)
本研究推出VQ-Bench评估套件,发现语音基础模型(SFMs)对发声类型的解释存在性能差距,还会反映或放大人类社会偏见,为确保基于语音的AI的副语言解释责任性建立了可复现框架。
2026-08-17 cs.AI cs.CL eess.AS
Pre-Trained Foundation Model representations to uncover Breathing patterns in Speech
Apple(苹果公司)
本研究提出基于预训练基础模型(Wav2Vec2)表示和Conv-LSTM的语音呼吸频率估计方法,在26人数据上实现低至1.6次/分钟的误差。
2024-07-17 cs.CL cs.LG cs.SD
POWSM: A Phonetic Open Whisper-Style Speech Foundation Model
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);University of Texas, Austin(德克萨斯大学奥斯汀分校);University of British Columbia(不列颠哥伦比亚大学)
POWSM是一种能够联合执行多种语音任务的统一框架,实现了音频、文本和音素之间的无缝转换,并在低资源条件下提升了语音处理性能。
2026-01-16 cs.CL eess.AS
Transferring speech-generic and depression-specific knowledge for Alzheimer's disease detection
OPPO Research(OPPO研究院);Cambridge Trust(剑桥信托基金会)
本文针对AD语音检测训练数据稀疏问题,提出同时迁移语音通用基础模型知识和抑郁症检测任务知识的并行迁移框架,在ADReSSo数据集上取得0.928的F1分数。
2023-10-06 cs.CL cs.SD eess.AS
Investigating Zero-Shot Generalizability on Mandarin-English Code-Switched ASR and Speech-to-text Translation of Recent Foundation Models with Self-Supervision and Weak Supervision
National Taiwan University(国立台湾大学);ASUS Intelligent Cloud Services(华硕智能云服务)
本研究在三个语码转换语料库上评估了SeamlessM4T和Whisper等前沿基础模型,发现自监督模型接近监督模型性能,但句内语码转换表现仍有待提升,且Whisper变体在语码转换场景中保持有效。
2023-12-30 cs.CL eess.AS
Emotion Across Speech and Faces: Shared Affective Mechanisms in Multimodal Foundation Models
Center for Language and Speech Processing (CLSP), Johns Hopkins University(约翰霍普金斯大学语言与语音处理中心);Group on Language, Audio & Music (GLAM), Imperial College London(伦敦帝国理工学院语言、音频与音乐组)
该研究在Gemma-4-12B-it等3款多模态基础模型中识别出情感敏感神经元,发现语音与面部情感识别的表征在解码器级部分汇聚,且存在双向因果迁移,为跨模态情感机制提供了新分析。
2026-08-19 cs.CL eess.AS eess.IV
Linear Script Representations in Speech Foundation Models Enable Zero-Shot Transliteration
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
通过在语音基础模型中引入线性脚本表示,实现对语音识别输出脚本的零样本控制,提升多语言转写性能。
2026-01-06 cs.CL
What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study
本文研究了LLM为中心的语音生成中语音分词器设计的影响,通过引入多令牌预测和说话人感知生成,提升了语音生成的质量和准确性。
2026-01-16 cs.AI cs.CL eess.AS
Learning Multiple Utterance-Level Attribute Representations with a Unified Speech Encoder
LIA - Avignon Université, France(阿维尼翁大学LIA中心,法国)
本文提出统一的后训练框架,使语音基础模型能生成多种语句层面的表示,用于多语言语音检索和说话人识别。
2026-03-09 cs.CL
What do Speech Foundation Models Learn? Analysis and Applications
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田工业大学)
本论文通过轻量级分析框架研究语音基础模型各层编码的声学与语言知识,并为口语语言理解评估贡献命名实体识别与定位任务及端到端方法,以指导未来模型设计与应用。
2025-08-17 cs.CL eess.AS
HARNESS: Lightweight Distilled Arabic Speech Foundation Models
Qatar Computing Research Institute(卡塔尔计算研究院)
本文提出首个以阿拉伯语为中心的自监督语音模型系列HArnESS,通过迭代自蒸馏和低秩近似压缩出轻量学生模型,在阿拉伯语ASR、情感识别和方言识别上达到SOTA或可比性能。
2025-09-18 cs.CL
Slot Filling as a Reasoning Task for SpeechLLMs
本文提出通过推理任务提升语音大语言模型在槽填充任务中的性能,探讨了不同基础模型对推理语音LLM的影响。
2025-10-22 cs.CL
Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models
Apple MLR(苹果公司MLR部门)
本研究提出一种基于语音基础模型语言选择性维度的轻量语码转换检测方法,利用预训练语音编码器的帧级语言信息,在CS-FLEURS数据集14种语言对的平均F1值达0.798,为构建多语种语料库提供工具。
2026-10-16 cs.CL
How to Connect Speech Foundation Models and Large Language Models? What Matters and What Does Not
Sapienza University of Rome(罗马萨皮恩扎大学);Roma Tre University(罗马三大学);TranslatedItaly(译意大利);Pi School(皮学校);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);AGH University of Krakow(克拉科夫AGH大学);ACC Cyfronet AGH
本文通过组合5种适配器、2种LLM和2种SFM,在自动语音识别和语音翻译任务上系统评估语音基础模型与大语言模型连接方案,发现SFM对下游性能影响最大,适配器影响中等且依赖具体模型选择。
2025-06-03 cs.AI cs.CL cs.LG
RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
针对脑语言理解泛化难问题,提出RABBiT紧凑音频-fMRI编码器,依托脑调优等创新实现跨被试跨场景语音诱发脑响应的高精度零/少样本预测,支撑规模化脑语言分析。
2026-11-19 cs.CL
Talking to Robots: A Practical Examination of Speech Foundation Models for HRI Applications
Knowledge Technology, Department of Informatics, University of Hamburg(知识技术,信息学院,汉堡大学)
针对HRI中ASR系统需应对不完美音频和多样用户的挑战,本研究在涵盖六类难度的八个数据集上评估四个先进ASR系统,揭示其在性能、幻觉及偏见上的显著差异,指出这些局限对HRI任务、信任与安全的影响。
2025-08-25 cs.AI cs.CL cs.HC
AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing
AuK 是一个开源基础模型,通过统一接口实现语音生成与编辑,采用多模态大语言模型和混合流 Transformer 架构,经后训练优化与蒸馏,实现高效推理并在多项任务上取得领先性能。
2026-09-09 cs.CL cs.MM cs.SD
Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models
Carnegie Mellon University(卡内基梅隆大学);MBZUAI(穆扎布伊人工智能研究所)
本文研究语音基础模型中ASR幻觉问题,提出幻觉错误率HER指标,发现分布偏移与HER强相关,并揭示传统WER指标可能掩盖或隐藏幻觉风险。
2025-06-04 cs.CL
A cross-species neural foundation model for end-to-end speech decoding
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学);Microsoft(微软公司);University of Washington(华盛顿大学)
本文提出端到端BraIn-to-Text框架,通过单个可微神经网络将神经活动转化为连贯句子,利用跨任务、跨物种预训练神经编码器提升语音解码性能,降低词错误率至10.22%。
2026-05-13 cs.AI cs.CL
Vicarious Offense and Noise Audit of Offensive Speech Classifiers: Unifying Human and Machine Disagreement on What is Offensive
Rochester Institute of Technology(罗切斯特理工学院);Aston University(阿斯顿大学);George Mason University(乔治梅森大学)
本文通过噪声审计和新数据集,揭示了人类和机器对攻击性言论的分歧,并发现政治倾向和敏感问题影响攻击性判断。
2026-02-03 cs.CL cs.CY cs.LG
Speech Recognition Rescoring with Large Speech-Text Foundation Models
Amazon Science(亚马逊科学研究院)
本文提出利用多模态大型语言模型进行ASR重打分的新技术,结合判别式训练与跨模态知识迁移,实验证明其相对Whisper large ASR和纯文本LLM分别实现高达20%和15%的提升。
2024-09-25 cs.CL cs.SD eess.AS
OWSM-CTC: An Open Encoder-Only Speech Foundation Model for Speech Recognition, Translation, and Language Identification
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute Japan(日本本田研究所)
提出基于CTC的仅编码器语音基础模型OWSM-CTC,使用180k小时公开数据训练,在ASR和ST任务上取得竞争力且推理更快,促进开放科学。
2024-08-27 cs.CL cs.SD eess.AS
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology(计算、信息与技术学院);Institute of Neuroinformatics(神经信息研究所);Department of Computational Linguistics(计算语言学系)
针对Whisper等ASR模型识别非规范受损语音困难的问题,提出一种轻量级语义重链流水线,通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型,实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
Benchmarking Foundation Speech and Language Models for Alzheimer's Disease and Related Dementia Detection from Spontaneous Speech
Georgia Institute of Technology(佐治亚理工学院);Shandong Mental Health Center(山东精神卫生中心);University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德河谷分校);Kennesaw State University(肯尼索州立大学)
本研究基于PREPARE挑战赛数据集对多款开源基础语音与语言模型进行ADRD检测基准测试,发现Whisper-medium和带停顿标注的BERT分别在语音、语言模型中表现最优,ASR衍生声学嵌入的检测效果突出,为ADRD早期无创筛查提供参考。
2025-06-09 cs.CL cs.SD eess.AS
Self-supervised representations in speech-based depression detection
University of Cambridge(剑桥大学)
本文利用自监督预训练基础模型解决语音抑郁症检测的数据稀疏问题,通过融合ASR和情绪识别模型的多层表征,在DAIC-WOZ数据集上取得了最先进结果。
2023-07-06 cs.CL cs.SD eess.AS
UniWav: Towards Unified Pre-training for Speech Representation Learning and Generation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);NVIDIA(英伟达公司)
本文提出统一预训练框架 UniWav,通过联合学习表示编码器和生成式音频解码器,在语音识别、文本到语音和语音分词任务上取得与专用基础模型相当的性能,证明了单一通用基础模型替代多个专用模型的可行性。
2025-03-02 cs.CL cs.SD eess.AS
What does a network layer hear? Analyzing hidden representations of end-to-end ASR through speech synthesis
College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院)
与传统系统相比,端到端语音识别系统已经取得了有竞争力的结果。然而,在给定高度可变的声学信号的情况下,层之间涉及的复杂变换很难分析。在本文中,我们提出了我们的ASR探测模型,该模型从端到端ASR的隐藏表示中合成语音,以检查每层计算后的信息维护。听合成的语音,我们观察到随着层的深入,说话者的变化和噪声逐渐被去除,这与之前关于深度网络在语音识别中的作用的研究一致。本文是第一个研究分析端到端的语音识别模型,通过演示每一层听到什么。合成语音的说话人确认和语音增强测试也进一步证实了我们的观察。
2019-11-04 cs.CL cs.NE cs.SD
What shall we do with an hour of data? Speech recognition for the un- and under-served languages of Common Voice
Indiana University(印第安纳大学)
这份技术报告描述了为期三周的冲刺的方法和结果,为Common Voice项目的31种服务不足的语言制作可部署的语音识别模型。我们概述了预处理步骤,超参数选择,以及官方测试集的准确性。除此之外,我们还评估了多个任务的模型:封闭词汇语音识别,预转录,强制对齐和关键词定位。下面的实验使用Coqui STT,这是一个用于训练和部署神经语音到文本模型的工具包。
2021-05-10 cs.CL cs.LG cs.SD
What Do Self-Supervised Speech and Speaker Models Learn? New Findings From a Cross Model Layer-Wise Analysis
NTT Corporation(日本电信电话公司)
本文通过SUPERB探测任务和逐层跨模型对比分析,探究语音与说话人自监督模型的表征差异,发现内容表征与说话人表征能力关联弱、语音SSL部分层专于语言信息、说话人SSL重说话人表征而轻语言信息,为模型优化提供依据。
2024-01-31 cs.CL cs.SD eess.AS