Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology（计算、信息与技术学院）；Institute of Neuroinformatics（神经信息研究所）；Department of Computational Linguistics（计算语言学系）
针对Whisper等ASR模型识别非规范受损语音困难的问题，提出一种轻量级语义重链流水线，通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型，实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
Exploring Speech Foundation Models for Speaker Diarization in Child-Adult Dyadic Interactions
University of Southern California（南加州大学）；Boston University（波士顿大学）
本文评估语音基础模型在儿童-成人双人互动说话人日志中的表现，通过音频窗口、人群特征和训练数据比例等基准实验，证明其显著降低日志错误与说话人混淆。
2024-06-12 cs.CL cs.LG eess.AS
Muting Whisper: A Universal Acoustic Adversarial Attack on Speech Foundation Models
本文提出一种通用声学对抗攻击，通过学习Whisper的<|endoftext|>标记的声学实现并前置到语音上，使模型忽略语音并仅转录该标记，实现97%以上样本的静音效果，且可跨数据集迁移，既带来风险也有隐私保护等潜在益处。
2024-07-17 cs.CL cs.SD eess.AS
Resource-Efficient Adaptation of Speech Foundation Models for Multi-Speaker ASR
NVIDIA（英伟达）
本文研究语音基础模型在数据稀缺条件下的多说话人 ASR 适配问题，仅用电话数据进行适配并通过消融实验验证其泛化性与参数影响。
2024-12-03 cs.SD eess.AS
Self-supervised representations in speech-based depression detection
University of Cambridge（剑桥大学）
本文利用自监督预训练基础模型解决语音抑郁症检测的数据稀疏问题，通过融合ASR和情绪识别模型的多层表征，在DAIC-WOZ数据集上取得了最先进结果。
2023-07-06 cs.CL cs.SD eess.AS
Speech Translation with Foundation Models and Optimal Transport: UPC at IWSLT23
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Meta AI
该研究提交 IWSLT 2023 离线语音翻译系统，结合 wav2vec 2.0、mBART50、CTC、最优传输、知识蒸馏与 SegAugment 合成数据，在多个测试集上取得最佳单模型 31.2、29.8 和 33.4 BLEU。
2023-06-02 cs.CL cs.SD eess.AS
MOSEL: 950,000 Hours of Speech Data for Open-Source Speech Foundation Model Training on EU Languages
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
针对现有语音基础模型未真正开源权重、代码与训练数据的问题，本文构建MODEL语料，汇集95万小时欧盟24种官方语言语音数据，并发布44.1万小时无标注数据的CC-BY自动转写。
2024-10-01 cs.AI cs.CL cs.SD
Benchmarking Children's ASR with Supervised and Self-supervised Speech Foundation Models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究针对儿童 ASR 缺乏系统基准的问题，评估多种监督与自监督语音基础模型，并比较数据增强和 PEFT 微调策略，提出 PIF 损失以稳定增强数据微调。
2024-06-15 cs.CL cs.SD eess.AS
LESS: Large Language Model Enhanced Semi-Supervised Learning for Speech Foundational Models Using in-the-wild Data
LESS通过利用大规模语言模型校正野外数据生成的伪标签，提升了语音基础模型在多种语言和任务中的性能，显著降低了词错误率并提高了BLEU分数。
2026-03-13 cs.CL cs.SD eess.AS
Resource-Efficient Transfer Learning From Speech Foundation Model Using Hierarchical Feature Fusion
Google LLC（谷歌有限责任公司）
语音基础模型的自我监督预训练，然后进行监督微调，在自动语音识别（ASR）任务上显示出令人印象深刻的质量改进。由于基础模型通常非常大，因此为许多下游任务微调单独的基础模型是昂贵的。参数高效微调方法（例如适配器、稀疏更新方法）提供了一种替代范例，其中更新一小组参数以使基础模型适应新任务。然而，这些方法仍然存在高计算内存成本和低训练速度的问题，因为它们在每一步都需要通过整个神经网络进行反向传播。在本文中，我们分析了在语音识别任务的基础模型的不同层的功能的性能，并提出了一种新的分层特征融合方法的资源有效的迁移学习从语音基础模型。实验结果表明，与现有算法相比，该方法在语音识别任务上具有更好的性能，且可训练参数少，计算内存开销小，训练速度快。在所有层与Adapters相结合后，该方法可以实现与微调整个模型相同的性能，但$97\%$可训练的编码器参数更少，$53\%$训练速度更快。
2022-11-04 cs.LG cs.SD eess.AS
What Do Speech Foundation Models Not Learn About Speech?
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究分析了Whisper等语音基础模型在Dynamic-SUPERB基准上对非语言线索的捕捉与逐层表示，通过零样本评估和逐层特征微调，揭示了模型的泛化能力、层间表示特征及下游任务适配程度。
2024-10-16 cs.CL cs.SD eess.AS
HuBERT-VIC: Improving Noise-Robust Automatic Speech Recognition of Speech Foundation Model via Variance-Invariance-Covariance Regularization
School of Electrical Engineering（电气工程学院）
本文提出HuBERT-VIC，通过VICReg正则化调整含噪语音表示统计特性，提升语音基础模型抗噪鲁棒性，在LibriSpeech两个测试集上分别相对提升23.3%和13.2%。
2025-08-17 cs.AI cs.SD eess.AS
AURA: Uncertainty-Routed Activation Editing for Acoustic Grounding in Speech Foundation Models
University of California Los Angeles（加州大学洛杉矶分校）
AURA通过基于交叉注意力不确定性路由的稀疏激活编辑，冻结模型参数，在非语音音频上将幻觉率从89.18%降至1.94%，并以约500倍更少的可训练参数接近LoRA的词错误率，实现AED语音模型的声学接地。
2026-09-22 cs.CL eess.AS
SAGE: Spliced-Audio Generated Data for Enhancing Foundational Models in Low-Resource Arabic-English Code-Switched Speech Recognition
Emotech Ltd.（埃莫科技有限公司）
本文提出SAGE音频拼接数据生成方法，结合经验回放与少样本微调，有效提升了低资源阿拉伯语-英语语码转换语音识别性能，以更小模型规模超越了大规模多语言模型。
2025-06-27 cs.CL cs.SD eess.AS
Unifying Model and Layer Fusion for Speech Foundation Models
针对语音基础模型的融合问题，提出统一模型与层融合的接口模块，通过整合多上游模型及其各层信息提升下游任务性能，实验证明其优于现有方法并分析了可扩展性与模型选择的重要性。
2025-11-11 cs.AI cs.CL eess.AS
Do speech foundation models really learn words?
University of Toronto（多伦多大学）
本文通过残差化方法剔除音素信息，证明HuBERT和wav2vec 2.0在深层确实学习到独立于词形的词汇表示，并能增强词汇发现任务中的高阶语言信息。
2026-09-10 cs.CL cs.SD
MERaLiON-SpeechEncoder: Towards a Speech Foundation Model for Singapore and Beyond
MERaLiON Team（MERaLiON团队）；Institute for Infocomm Research (I 2 R), A*STAR, Singapore（信息通信研究所（I2R），A*STAR，新加坡）
MERaLiON-SpeechEncoder是新加坡开发的多语言语音基础模型，通过自监督掩码语言建模在20万小时数据上预训练，提升语音识别性能并保持多任务竞争力。
2025-09-11 cs.AI cs.CL eess.AS
Efficient Training of Self-Supervised Speech Foundation Models on a Compute Budget
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services (AICS)（华硕智能云服务（AICS））
本文研究在有限计算预算下高效训练自监督语音基础模型，通过系统分析模型架构、模型规模和数据规模等因素，发现精简架构优于常见小型架构，数据规模仍至关重要，并揭示了给定计算预算下模型规模与数据规模之间的最优权衡。
2025-02-04 cs.CL cs.LG cs.SD
Speech foundation models in healthcare: Effect of layer selection on pathological speech feature prediction
Mayo Clinic（梅奥诊所）
本研究探索语音基础模型迁移学习中层选择对病理性语音特征预测的影响，发现最优层可显著提升性能但泛化性有限，而学习加权和方法兼顾了分布内性能与分布外泛化能力。
2024-06-21 cs.CL cs.LG eess.AS
On-the-fly Routing for Zero-shot MoE Speaker Adaptation of Speech Foundation Models for Dysarthric Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；China National Research Council Canada（中国国家研究委员会加拿大）；Institute of Software（软件研究所）
本文提出一种基于MoE的零样本说话人自适应框架，通过即时预测路由参数动态组合适配器专家，在UASpeech语料库上实现构音障碍语音识别的实时处理与显著WER降低。
2025-05-28 cs.SD eess.AS
Learning task-specific subspaces via interventional post-training of speech foundation models
University of Sheffield（谢菲尔德大学）
提出一种干预对比学习后训练方法，将语音基础模型的纠缠表示分解为内容和说话人子空间，提升说话人验证和关键词识别性能。
2026-06-25 cs.CL
Self-Supervised Speech Quality Assessment (S3QA): Leveraging Speech Foundation Models for a Scalable Speech Quality Metric
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
本文提出自监督语音质量评估模型S3QA，利用WavLM嵌入余弦距离作为训练目标，在多种退化条件下预测语音质量，并与MOS和ASR性能对齐，实现可扩展的自动评估。
2025-10-08 cs.SD eess.AS
Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model
NVIDIA（英伟达）；National Taiwan University（台湾大学）
本文提出将单声道对话转换为伪立体声数据的流程，把训练数据扩展至17,600小时，并比较不同语音基础模型的离散单元，以提升口语对话生成模型性能。
2024-07-02 cs.CL cs.HC cs.SD
Evaluation of Speech Foundation Models for ASR on Child-Adult Conversations in Autism Diagnostic Sessions
Signal Analysis and Interpretation Laboratory（信号分析与解释实验室）；Department of Psychiatry（精神病学系）；Semel Institute of Neuroscience and Human Behavior（Semel神经科学与人类行为研究所）
本研究评估了Whisper等语音基础模型在自闭症诊断会话儿童-成人对话ASR中的表现，发现儿童语音识别存在明显性能下降，并通过LoRA微调显著提升了识别准确率。
2025-08-14 cs.LG cs.SD eess.AS
Outlier Reduction with Gated Attention for Improved Post-training Quantization in Large Sequence-to-sequence Speech Foundation Models
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）；Intel Labs（英特尔实验室）
针对 Whisper 语音模型蒸馏后 PTQ 受权重与激活异常值影响的问题，本文在学生模型注意力块中引入门控机制以减少异常值，实现有效 8 比特量化并降低词错误率。
2024-06-16 cs.SD eess.AS
Efficient Domain Adaptation for Speech Foundation Models
Google LLC（谷歌有限责任公司）
基础模型（FM）是在广泛的数据上进行大规模训练的，并且能够适应广泛的下游任务，已经引起了研究界的极大兴趣。基础模型得益于不同模态、语言和应用领域等多种数据源，表现出较强的泛化能力和知识转移能力。在本文中，我们提出了一个开拓性的研究，建立一个有效的解决方案，基于FM的语音识别系统。我们采用最近开发的自监督BEST-RQ进行预训练，并提出使用JUST Hydra对源和无监督目标域数据进行联合微调。FM编码器适配器和解码器然后被微调到具有少量监督域内数据的目标域。在一个大规模的YouTube和语音搜索任务中，我们的方法被证明是数据和模型参数有效的。它仅使用21.6M监督域内数据和130.8M微调参数就达到了相同的质量，而731.1M模型则是在额外的300 M监督域内数据上从头开始训练的。
2023-02-03 cs.CL cs.LG cs.SD
Fast Speech Foundation Model Distillation Using Interleaved Stacking
IPAI；AIIS；Dept. of Intelligence and Information（智能与信息系）
提出交错堆叠方法加速语音基础模型蒸馏训练，通过保持层位置一致性解决性能下降问题，在SUPERB上验证有效性。
2026-06-17 cs.AI cs.CL cs.SD
A Large-Scale Evaluation of Speech Foundation Models
本文建立语音处理通用性能基准（SUPERB），提出使用冻结基础模型加轻量级预测头的统一多任务框架，验证了基础模型范式在语音处理任务中的有效性与泛化能力，并提供了可复现的基准测试平台与深入分析。
2024-05-29 cs.CL eess.AS eess.SP
FAMA: The First Large-Scale Open-Science Speech Foundation Model for English and Italian
Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
本文推出首个面向英语和意大利语的开放科学语音基础模型FAMA，基于15万小时以上开源数据训练，并发布1.6万小时新数据集，性能具竞争力且速度快达8倍。
2025-05-30 cs.AI cs.CL cs.SD
Cascaded encoders for fine-tuning ASR models on overlapped speech
Google Inc.（谷歌公司）
本文提出一种级联RNN-T编码器配置的MT-ASR模型，通过结合基础模型与多说话人掩码模型，在不牺牲非重叠语音性能的前提下，显著提升了重叠语音的识别准确率。
2023-06-28 cs.SD eess.AS
Unfolding A Few Structures for The Many: Memory-Efficient Compression of Conformer and Speech Foundation Models
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）；Institute of Software（软件研究所）；Department of Electronic Engineering（电子工程系）
本文提出一种内存高效的模型压缩方法，通过训练并多次展开少量结构的种子模型来模拟大模型，结合自蒸馏最小化性能差距，在Conformer和wav2vec2上实现无性能损失的参数量减少。
2025-05-27 cs.SD eess.AS
From Words to Waves: Analyzing Concept Formation in Speech and Text-Based Foundation Models
Qatar Computing Research Institute（卡塔尔计算研究所）
本文研究语音与文本基础模型中语义概念的形成，采用潜在概念分析无监督方法，分别及联合分析两类模型的概念结构，揭示跨模态语义抽象机制。
2025-06-01 cs.AI cs.CL cs.SD
HARNESS: Lightweight Distilled Arabic Speech Foundation Models
Amazon India（亚马逊印度）；Qatar Computing Research Institute, HBKU, Qatar（卡塔尔计算研究所，HBKU，卡塔尔）
本文提出HARNESS，一种轻量级阿拉伯语语音基础模型，通过迭代自蒸馏实现高效准确率与效率的平衡，适用于自动语音识别、方言识别和语音情感识别任务。
2026-03-31 cs.AI cs.CL eess.AS
Speech Translation with Speech Foundation Models and Large Language Models: What is There and What is Missing?
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文聚焦语音到文本翻译任务，通过分析相关论文提出SFMs与LLMs整合方案的统一视角，梳理经验教训并指出评估局限，为未来工作提供建议以明确该类方案的优劣势。
2024-11-29 cs.CL
Knowledge Distillation from Multiple Foundation Models for End-to-End Speech Recognition
虽然通过自监督学习预训练的大型基础模型在包括自动语音识别（ASR）在内的许多任务中已经实现了最先进的性能，但在实践中通常需要知识蒸馏（KD）将大型教师模型学习到的知识转移到具有可承受的计算和存储成本的更小的学生模型中。本文提出了一种新的两阶段KD框架，从多个语音基础模型作为教师到一个单一的学生神经传感器模型的ASR的知识。在第一阶段，学生模型编码器使用从多个教师模型提取的嵌入进行预训练。在第二阶段，学生编码器根据ASR任务使用音频文本对进行微调。LibriSpeech 100小时子集上的实验表明，当只使用一个教师时，所提出的KD框架提高了流媒体和非流媒体学生模型的性能。当多个教师联合使用时，学生模型的性能可以进一步提高，单词错误率降低17.5%和10.6%。我们提出的框架可以与其他现有的KD方法相结合，以实现进一步的改进。通过在编码器预训练期间合并额外的未标记数据来获得进一步的WERR，从而在非流学生模型上获得55.0%的总相对WERR。
2023-03-20 cs.SD eess.AS
M-BEST-RQ: A Multi-Channel Speech Foundation Model for Smart Glasses
Meta；The Ohio State University（俄亥俄州立大学）
针对智能眼镜等多通道可穿戴设备现有任务模型无法利用大量无标注数据的问题，提出首个阵列几何无关的多通道语音基础模型M-BEST-RQ，在多个真实下游任务上性能达到或超越监督模型，仅用8小时标注数据的ASR效果超2000小时标注的监督基线。
2024-09-17 cs.SD eess.AS
Moshi: a speech-text foundation model for real-time dialogue
Kyutai（久泰公司）
本文提出全双工语音-文本基础模型 Moshi，通过语音到语音生成、并行双流建模和 Inner Monologue 时间对齐文本前缀，实现低延迟实时口语对话。
2024-10-02 cs.AI cs.CL cs.LG
Safeguarding Privacy in Edge Speech Understanding with Tiny Foundation Models
Department of Computer Science（计算机科学系）；University of Virginia（弗吉尼亚大学）
SpeechShield通过在边缘设备上利用小型基础模型实现语音隐私保护，有效过滤敏感信息并提升转录性能。
2025-11-30 cs.LG cs.SD eess.AS
How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文分析三个多模态基础模型在跨语言文本与语音语义等价句子上的激活，揭示表征随层收敛、长度适配作用及模态与语言差距规律。
2025-02-20 cs.CL
Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models
Nanyang Technological University（南洋理工大学）；NVIDIA Research（英伟达研究院）；IBM Research（IBM研究院）；Tsinghua University（清华大学）
提出无监督自适应框架STAR，利用未标记数据提升语音基础模型在噪声和口音等领域的鲁棒性，通过新颖指标评估伪标签质量，实现平均13.5%的词错误率降低，并防止灾难性遗忘，数据高效且泛化性强。
2024-05-23 cs.AI cs.CL cs.LG
Heterogeneous Reservoir Computing Models for Persian Speech Recognition
Meybod University（梅博德大学）；University Medical Center Hamburg-Eppendorf (UKE)（汉堡-埃彭多夫大学医学中心）
在过去的十年中，深度学习方法已逐渐融入传统的自动语音识别（ASR）框架，以创建声学、发音和语言模型。虽然它导致了ASR识别准确性的显著提高，但由于它们与硬件要求相关的硬约束（例如，计算能力和存储器使用），但不清楚这些方法是否是嵌入式ASR应用程序的计算效率和能量效率最高的选项。储备池计算（RC）模型（例如，另一方面，回声状态网络（ESN）和液态机（LSM））已经被证明训练便宜，具有少得多的参数，并且与新兴的硬件技术兼容。然而，它们在语音处理任务中的表现相对不如基于深度学习的模型。为了提高ASR应用中RC的准确性，我们提出了异构的单层和多层ESN来创建输入的非线性变换，以不同的尺度捕获时间上下文。为了测试我们的模型，我们在Farsdat波斯语数据集上执行了一个语音识别任务。由于据我们所知，标准RC尚未用于执行任何波斯语ASR任务，因此我们还训练了传统的单层和深层ESN，以提供比较基线。此外，我们将RC性能与标准的长短期记忆（LSTM）模型进行了比较。异构RC模型（1）表现出比标准RC模型更好的性能;（2）在识别准确性方面与LSTM不相上下，（3）大大减少了训练时间。
2022-05-25 cs.LG cs.SD eess.AS
Lost in Phonation: Voice Quality Variation as an Evaluation Dimension for Speech Foundation Models
Department of Speech, Music and Hearing（语音、音乐与听觉系）
本研究推出VQ-Bench评估套件，发现语音基础模型（SFMs）对发声类型的解释存在性能差距，还会反映或放大人类社会偏见，为确保基于语音的AI的副语言解释责任性建立了可复现框架。
2026-08-17 cs.AI cs.CL eess.AS
Pre-Trained Foundation Model representations to uncover Breathing patterns in Speech
Apple（苹果公司）
本研究提出基于预训练基础模型（Wav2Vec2）表示和Conv-LSTM的语音呼吸频率估计方法，在26人数据上实现低至1.6次/分钟的误差。
2024-07-17 cs.CL cs.LG cs.SD
POWSM: A Phonetic Open Whisper-Style Speech Foundation Model
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of British Columbia（不列颠哥伦比亚大学）
POWSM是一种能够联合执行多种语音任务的统一框架，实现了音频、文本和音素之间的无缝转换，并在低资源条件下提升了语音处理性能。
2026-01-16 cs.CL eess.AS
The Faetar Benchmark: Speech Recognition in a Very Under-Resourced Language
University of Toronto（多伦多大学）
本文提出Faetar自动语音识别基准，一个极度低资源的Franco-Provençal语变体语料库，含5小时标注和20小时无标签语音，并报告了使用无标签数据继续预训练的多语言基础模型达到30.4%最佳音素错误率的基线结果。
2025-05-26 cs.CL cs.SD eess.AS
On the Evaluation of Speech Foundation Models for Spoken Language Understanding
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；ASAPP（ASAPP公司）；National Taiwan University（台湾大学）
本文通过冻结/微调与不同预测头协议系统评估多种监督式和自监督语音基础模型，发现自监督模型在 SLUE 任务上常具竞争力，并发布 SLUE-PERB 开源工具包与排行榜。
2024-06-14 cs.CL cs.SD eess.AS
Continual Adaptation for Pacific Indigenous Speech Recognition
The University of Melbourne（墨尔本大学）；UNSW Sydney（新南威尔士大学悉尼分校）
针对太平洋土著语言数据稀缺和灾难性遗忘问题，研究语音基础模型的适应策略，发现LoRA在顺序学习中会灾难性遗忘，需定制鲁棒适应方法。
2026-06-18 cs.CL cs.SD eess.AS
Transferring speech-generic and depression-specific knowledge for Alzheimer's disease detection
OPPO Research（OPPO研究院）；Cambridge Trust（剑桥信托基金会）
本文针对AD语音检测训练数据稀疏问题，提出同时迁移语音通用基础模型知识和抑郁症检测任务知识的并行迁移框架，在ADReSSo数据集上取得0.928的F1分数。
2023-10-06 cs.CL cs.SD eess.AS
Structured Speaker-Deficiency Adaptation of Foundation Models for Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；National Research Council of Canada（加拿大国家研究委员会）
本文提出结构化说话人缺陷自适应方法，通过分离建模说话人身份与语音缺陷的适配器组合，显著提升 HuBERT 和 Wav2vec2-conformer 在构音障碍及老年语音识别上的泛化能力，并在 UASpeech 上取得最低词错误率。
2024-12-25 cs.SD eess.AS
Investigating Zero-Shot Generalizability on Mandarin-English Code-Switched ASR and Speech-to-text Translation of Recent Foundation Models with Self-Supervision and Weak Supervision
National Taiwan University（国立台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
本研究在三个语码转换语料库上评估了SeamlessM4T和Whisper等前沿基础模型，发现自监督模型接近监督模型性能，但句内语码转换表现仍有待提升，且Whisper变体在语码转换场景中保持有效。
2023-12-30 cs.CL eess.AS
Emotion Across Speech and Faces: Shared Affective Mechanisms in Multimodal Foundation Models
Center for Language and Speech Processing (CLSP), Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）；Group on Language, Audio & Music (GLAM), Imperial College London（伦敦帝国理工学院语言、音频与音乐组）
该研究在Gemma-4-12B-it等3款多模态基础模型中识别出情感敏感神经元，发现语音与面部情感识别的表征在解码器级部分汇聚，且存在双向因果迁移，为跨模态情感机制提供了新分析。
2026-08-19 cs.CL eess.AS eess.IV
Linear Script Representations in Speech Foundation Models Enable Zero-Shot Transliteration
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
通过在语音基础模型中引入线性脚本表示，实现对语音识别输出脚本的零样本控制，提升多语言转写性能。
2026-01-06 cs.CL
Learning Multiple Utterance-Level Attribute Representations with a Unified Speech Encoder
LIA - Avignon Université, France（阿维尼翁大学LIA中心，法国）
本文提出统一的后训练框架，使语音基础模型能生成多种语句层面的表示，用于多语言语音检索和说话人识别。
2026-03-09 cs.CL
What do Speech Foundation Models Learn? Analysis and Applications
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田工业大学）
本论文通过轻量级分析框架研究语音基础模型各层编码的声学与语言知识，并为口语语言理解评估贡献命名实体识别与定位任务及端到端方法，以指导未来模型设计与应用。
2025-08-17 cs.CL eess.AS
