Enhancing Multilingual Speech Recognition through Language Prompt Tuning and Frame-Level Language Adapter
Meituan（美团）
本文针对多语言语音识别提出语言提示微调和帧级语言适配器两种参数高效方法，分别提升语言可配置与语言无关场景下的识别性能，并在七种语言上验证了显著效果。
2023-09-19 cs.CL cs.SD eess.AS
Regularized Federated Learning for Privacy-Preserving Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
针对构音障碍与老年人语音识别中联邦学习面临的数据稀缺等问题，提出三类正则化技术，在基准数据集上实现显著词错误率降低，高通信频率下性能接近集中式训练。
2025-06-02 cs.AI cs.CL cs.SD
A Configurable Multilingual Model is All You Need to Recognize All Languages
Microsoft Research Asia（微软亚洲研究院）；Microsoft Speech and Language Group（微软语音与语言组）
多语种自动语音识别（ASR）模型由于其简化的模型训练和部署过程，近年来显示出巨大的前景。传统的方法或者训练通用多语言模型而不需要任何语言信息，或者使用1-hot语言ID（LID）向量来指导目标语言的识别。在实践中，可以提示用户预先选择他/她可以说的几种语言。没有LID的多语言模型不能很好地利用用户设置的语言信息，而有LID的多语言模型只能处理一种预先选择的语言。在本文中，我们提出了一种新的可配置的多语言模型（CMM），它只训练一次，但可以配置为不同的模型，根据用户的选择，通过提取特定语言的模块，以及一个通用的模型，从训练的CMM。特别地，单个CMM可以被部署到任何用户场景，其中用户可以预先选择语言的任何组合。经过75 K小时的匿名Microsoft多语言数据的训练，并使用10种语言的测试集进行评估，当用户选择1，2或3种语言时，建议的CMM从通用多语言模型分别提高了26.0%，16.9%和10.4%的相对单词错误减少。CMM在代码转换测试集上的表现也明显更好。
2021-07-13 cs.CL cs.SD eess.AS
Measuring the Effect of Transcription Noise on Downstream Language Understanding Tasks
OriginAI（奥里吉纳人工智能公司）
本文提出可配置框架，系统评估不同严重程度与类型的 ASR 转录噪声及清洗技术对三个 SLU 任务、四个模型的影响。
2025-02-19 cs.CL
Federated Heterogeneous Language Model Optimization for Hybrid Automatic Speech Recognition
Hong Kong Polytechnic University（香港理工大学）；Ant Group（蚂蚁集团）；Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology（香港科学与技术大学）；Shenzhen University（深圳大学）
本文提出了一种联邦异构语言模型优化方法，通过遗传算法和强化学习实现高效合并，提升混合自动语音识别系统的性能和可扩展性。
2026-03-05 cs.CL
Privacy-Preserving Adversarial Representation Learning in ASR: Reality or Illusion?
INRIA, France（法国国家信息与自动化研究所）
自动语音识别（ASR）是许多服务和应用中的关键技术。这通常需要用户设备将其语音数据发送到云以进行ASR解码。由于语音信号携带了大量关于说话者的信息，这引起了严重的隐私问题。作为解决方案，编码器可以驻留在每个用户设备上，其执行本地计算以匿名化表示。在本文中，我们专注于保护说话人身份，并研究用户可以在多大程度上被识别的基础上，他们的语音的编码表示，获得了一个深编码器-解码器架构训练的ASR。通过对开放和封闭两种说话人集的标准语料库的说话人辨识和验证实验，我们发现从标准结构中得到的表示仍然携带了大量关于说话人身份的信息。然后，我们建议使用对抗训练来学习在ASR中表现良好的表示，同时隐藏说话者身份。我们的研究结果表明，对抗性训练大大降低了闭集分类的准确性，但这并没有转化为增加的开集验证错误，因此在实践中增加了对说话人身份的保护。我们提出了这一负面结果背后的几个可能原因。
2019-11-12 cs.CL cs.LG
Privacy attacks for automatic speech recognition acoustic models in a federated learning framework
Avignon Université（阿维尼翁大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
本文研究了在自动语音识别（ASR）中从个性化说话人自适应神经网络声学模型（AM）中有效提取说话人信息的方法。这个问题在ASR声学模型的联邦学习的上下文中尤其重要，其中基于从多个客户端接收的更新在服务器上学习全局模型。我们提出了一种方法来分析信息的神经网络AM的基础上的神经网络足迹的所谓的指标数据集。使用这种方法，我们开发了两种攻击模型，旨在从更新的个性化模型中推断说话人身份，而无需访问实际用户的语音数据。在TED-LIUM 3语料库上的实验表明，本文提出的方法是非常有效的，可以提供1- 2%的等出错率（EER）。
2022-01-14 cs.CL cs.CR cs.SD
Voice Privacy with Smart Digital Assistants in Educational Settings
Merlyn Mind, Inc.（Merlyn Mind 公司）
语音助理设备的出现带来了令人愉快的用户体验，不仅在智能家居方面，而且在从教室到个性化学习/辅导的各种教育环境中。然而，使用语音作为交互方式也可能导致暴露用户的身份，并阻碍语音界面的更广泛采用;这在有儿童存在且需要保护其语音隐私的环境中尤其重要。为此，国家的最先进的技术在文献中提出的基础上，我们设计和评估一个实用和有效的框架，语音隐私的来源。该方法结合了说话人识别（SID）和语音转换方法，以在记录语音的设备上随机伪装用户的身份，同时确保用户的转换后的话语仍然可以被自动语音识别（ASR）解决方案成功地转录。我们评估的ASR性能的转换，在字的错误率，并显示这个框架的承诺，在保留输入语音的内容。
2021-03-24 cs.CL cs.CR cs.SD
ESPnet-SpeechLM: An Open Speech Language Model Toolkit
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Laboratories（三菱电机研究所）；LY Corporation（LY公司）；Renmin University of China（中国人民大学）；Brno University of Technology（布尔诺理工大学）；NVIDIA Research（英伟达研究院）
ESPnet-SpeechLM是一个开放工具包，将语音处理任务标准化为序列建模问题，提供数据预处理、预训练、推理和评估的连贯工作流，支持灵活配置，并展示了包括1.7B参数模型在内的多个用例，确保透明可复现。
2025-02-24 cs.CL cs.SD eess.AS
Evaluation of Speaker Anonymization on Emotional Speech
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；LIUM（勒芒大学信息实验室）；Le Mans Université（勒芒大学）
本文研究VPC说话人匿名化基线系统对语音情感信息的影响，实验发现该系统无法抵御知情攻击者的情绪识别，情感识别性能在IEMOCAP数据集上相对下降15%，幅度与语言信息保留的评估结果相近。
2023-04-15 cs.AI cs.CL eess.AS
Efficient Streaming LLM for Speech Recognition
Meta AI
针对现有大语言模型语音识别方法处理长流式音频泛化差、计算效率低的问题，提出线性扩展的流式语音识别模型SpeechLLM-XL，通过分块处理与有限注意力窗口降低成本，在基准测试上表现优异且长语音无质量下降。
2024-10-02 cs.AI cs.CL cs.SD
Children's Speech Recognition through Discrete Token Enhancement
Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（哈迈德·本·哈利法大学）
针对儿童语音识别数据稀缺且存在隐私问题的痛点，研究将离散语音token作为输入整合到识别系统中，探索单/多视图标签生成策略，在参数量减少约83%的情况下实现了接近原系统的性能，且验证了跨领域泛化能力。
2024-06-24 cs.CL cs.SD eess.AS
Evaluating Voice Conversion-based Privacy Protection against Informed Attackers
INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
语音数据传递敏感的说话者属性，如身份或口音。通过少量发现的数据，可以推断出这些属性并用于恶意目的：语音克隆，欺骗等。Anasterization旨在使数据不可识别，即，确保没有话语可以链接到其原始说话者。本文研究了基于语音转换的匿名化方法。在以前的工作相比，我们认为，各种链接攻击可以设计依赖于攻击者的知识的匿名方案。我们在三种攻击场景下比较了两种基于频率弯曲的转换方法和一种基于深度学习的方法。转换语音的效用是通过自动语音识别实现的单词错误率来测量的，而隐私保护是通过最先进的基于i向量或x向量的说话人验证实现的相等出错率的增加来评估的。我们的研究结果表明，语音转换方案是无法有效地防止攻击者，具有广泛的知识的类型的转换，以及它是如何被应用，但可能会提供一些保护知识较少的攻击者。
2020-02-13 cs.CL cs.SD eess.AS
ClaritySpeech: Dementia Obfuscation in Speech
Imperial College LondonUK（伦敦帝国理工学院）；Taibah University Saudi Arabia（沙特阿拉伯塔比赫大学）
本文提出ClaritySpeech框架，通过集成ASR、文本混淆和零样本TTS技术，在低数据环境下纠正痴呆症语音并保留说话人身份，有效提升了语音可访问性并增强了隐私保护。
2025-07-12 cs.CL cs.CR cs.LG
Machine Unlearning for Speech Question Answering in Large Audio-Language Models
Meta Platforms, Inc.（Meta平台公司）
本研究针对大型音频语言模型中的语音问答任务，提出多种机器遗忘策略（如梯度上升、任务算术和对齐微调），在降低高达80%隐私泄露率的同时，保持非私有任务性能接近不变。
2026-09-15 cs.CL cs.LG cs.SD
Improving Fairness and Robustness in End-to-End Speech Recognition through unsupervised clustering
Meta
针对自动语音识别存在群体公平性不足且需兼顾隐私的问题，研究提出用公开数据集训练的说话人ID模型提取话语嵌入做无监督声学聚类，以聚类ID为训练特征，在保护隐私的同时提升了端到端ASR的公平性与鲁棒性，各群体尤其不同口音性能均有提升。
2023-06-06 cs.CL cs.LG cs.SD
Optimizing the Privacy-Utility Balance using Synthetic Data and Configurable Perturbation Pipelines
Head of AI - Architecture & Strategy（人工智能架构与战略负责人）；Head of Data & Analytics - North America（数据与分析负责人（北美））；CTO Office - North America（北美首席技术官办公室）
本文提出利用GANs、上下文感知PII转换、可配置统计扰动和差分隐私等现代合成数据生成与扰动技术，在BFSI等数据敏感行业中优化隐私保护与数据效用平衡，提升运营效率并降低监管风险。
2025-04-24 cs.AI cs.CL cs.CR
Private Language Model Adaptation for Speech Recognition
Meta AI
语音模型自适应对于处理服务器端代理训练数据与用户本地设备上接收的实际数据之间的差异至关重要。通过使用联邦学习（FL），我们引入了一种在私人设备上连续适应神经网络语言模型（NNLM）的有效方法，并应用于自动语音识别（ASR）。为了解决设备上训练语料库中潜在的语音转录错误，我们进行了实证研究，比较了利用标记级置信度分数来提高FL设置中NNLM质量的各种策略。实验结果表明，与无模型自适应相比，该方法在两个语音评测数据集上分别实现了2.6%和10.8%的相对字错误率（WER）降低。我们还提供了分析，在评估我们提出的程序的隐私保证。
2022-06-15 cs.CL cs.LG cs.SD
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google（谷歌）
虽然当前最先进的自动语音识别（ASR）系统在典型语音上实现了高准确度，但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化（对该问题的常用解决方案）通常在基于服务器的训练环境中执行，从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中，我们提出了一种基于设备的ASR个性化的方法，具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话，并发现中位数相对字错误率提高了71%，只有50个短的话语，每个发言者。当在语音控制的家庭自动化平台上进行测试时，设备上的个性化模型显示出81%的任务成功率中位数，而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Multiformer: A Head-Configurable Transformer-Based Model for Direct Speech Translation
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
基于transformer的模型已经在自然语言处理的多个领域取得了最先进的成果。然而，它的直接应用到语音任务是不平凡的。这种序列的性质带来了诸如长序列长度和相邻令牌之间的冗余之类的问题。因此，我们认为常规的自我注意机制可能并不适合于它，人们提出了不同的方法来克服这些问题，例如使用有效的注意力机制。然而，这些方法的使用通常伴随着成本，这是由信息丢失引起的性能降低。在这项研究中，我们提出了Multiformer，一个基于transformer的模型，它允许在每个头上使用不同的注意力机制。通过这样做，该模型能够将自我注意力偏向于提取更多样化的令牌交互，并减少信息损失。最后，我们执行的头的贡献的分析，我们观察到，这些架构中的所有头的相关性是均匀分布的获得更好的结果。我们的研究结果表明，沿着不同的头部和层混合注意力模式比我们的基线高出0.7 BLEU。
2022-05-14 cs.AI cs.CL cs.MM
Introducing the Privacy-HSD Trade-off: Hate Speech Detection, but not at the Cost of Privacy
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Munich Data Science Institute（慕尼黑数据科学研究所）；University of Southern Denmark（南丹麦大学）；Technical University of Moldova（摩尔多瓦技术大学）；ICube, University of Strasbourg（斯特拉斯堡大学ICube研究所）
该研究针对仇恨言论检测（HSD）可能牺牲隐私的问题，提出隐私-HSD权衡概念，测试了多种文本私有化方法及新的AgnoSpeech技术，证明平衡两者虽难但可行，呼吁开展更多相关研究。
2026-08-20 cs.CL
Component-Aware Differential Privacy for Federated Multilingual Speech-LLMs
Telefónica Innovación Digital（西班牙电信数字创新）；Universidad Autónoma de Madrid（马德里自治大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
针对语音-LLM联邦学习中跨组件预算崩溃问题，提出α-split双池分配方法，恢复WER效用并以少量噪声开销增强编码器隐私保护。
2026-09-11 cs.CL
Anonymizing Speech with Generative Adversarial Networks to Preserve Speaker Privacy
University of Stuttgart（斯图加特大学）
为了保护语音数据的隐私，说话人匿名化的目的是通过改变语音记录中的声音来隐藏说话人的身份。这通常伴随着个人保护和下游应用程序数据可用性之间的隐私实用性权衡。这方面的挑战之一是创造出听起来尽可能自然的不存在的声音。在这项工作中，我们建议通过使用Wasserstein距离作为成本函数的生成对抗网络生成说话人嵌入来解决这个问题。通过将这些人工嵌入到语音到文本到语音的管道中，我们在隐私和实用性方面优于以前的方法。根据标准的客观指标和人工评估，我们的方法生成了原始录音的可理解和内容保护但隐私保护的版本。
2022-10-20 cs.CL cs.SD eess.AS
InfoShield: Privacy-Preserving Speech Representations for Mental Health Screening via Information-Theoretic Optimization
Shenzhen NeurStar Inc., China（深圳NeurStar公司，中国）；University of York, United Kingdom（约克大学，英国）；Shanghai Jiao Tong University, China（上海交通大学，中国）
提出InfoShield框架，通过最小化语音表示与敏感属性间的互信息，在保持抑郁分类性能的同时有效降低人口统计信息泄露风险。
2026-06-04 cs.AI cs.CL
May I Ask Who's Calling? Named Entity Recognition on Call Center Transcripts for Privacy Law Compliance
Brandeis University（布兰迪斯大学）；CallMiner Inc（CallMiner公司）
我们调查使用命名实体识别的一种新类型的用户生成的文本：呼叫中心的对话。这些对话将来自自发语音的问题与会话自动语音识别的新问题（包括不正确的识别）以及来自嘈杂的用户生成文本的其他常见问题相结合。使用我们自己的语料库和新的注释，训练自定义上下文字符串嵌入，并应用BiLSTM-CRF，我们在我们的新任务上匹配最先进的结果。
2020-10-29 cs.CL
Is Word Error Rate Enough? Rethinking Privacy Evaluation in Speech with Entity-Aware Metrics
Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所 (IIS)）；Jade University of Applied Sciences（亚德应用科学大学）；Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）
本研究将实体感知隐私指标从自然语言处理适配到语音隐私领域，评估两种混淆技术对命名实体的保护效果，并发现实体丰富数据微调对不同实体类别的攻击性能影响不一，最后给出基于时间对齐的指标选择建议。
2026-10-08 cs.CL cs.MM cs.SD
WavRx: a Disease-Agnostic, Generalizable, and Privacy-Preserving Speech Health Diagnostic Model
INRS（加拿大国家科学研究院）
提出WavRx语音健康诊断模型，通过捕捉通用语音表示中的呼吸和发音动态，在六个病理语音数据集上实现最先进的跨域泛化能力，并显著降低健康嵌入中的说话人身份泄露以保护隐私。
2024-06-26 cs.AI cs.CL eess.AS
Less Stress, More Privacy: Stress Detection on Anonymized Speech of Air Traffic Controllers
Saarland University（萨尔大学）
本文评估了在匿名化ATCO语音上进行压力检测的不同深度学习架构，在SUSAS和ATC模拟数据集上分别达到93.6%和80.1%的准确率，证明隐私保护不会阻碍高性能模型的构建。
2025-07-10 cs.CL cs.SD eess.AS
Preset-Voice Matching for Privacy Regulated Speech-to-Speech Translation Systems
Vosyn（沃辛公司）；Vector Institute（向量研究所）
提出预设语音匹配（PVM）框架，通过匹配同意说话者语音替代克隆，提升多说话者S2ST系统运行效率与语音自然度，并确保合规性。
2024-07-18 cs.CL cs.CR cs.LG
Paralinguistic Privacy Protection at the Edge
Imperial College London（伦敦帝国理工学院）
语音用户界面和数字助理正在迅速进入我们的生活，并成为跨越我们设备的单一接触点。这些始终在线的服务捕获我们的音频数据并将其传输到强大的云服务，以进行进一步处理和后续操作。通过这些设备收集的我们的语音和原始音频信号包含大量敏感的非语言信息，这些信息无论是故意的还是错误的触发都被传输给服务提供商。由于我们的情感模式和敏感属性，如我们的身份，性别，幸福，很容易使用深层声学模型推断，我们通过使用这些服务遇到了新一代的隐私风险。减轻基于语言的隐私泄露风险的一种方法是在传输语音数据之前利用基于云的处理与隐私保护、设备上的语言信息学习和过滤的组合。在本文中，我们介绍EDGY，一个可配置的，轻量级的，解开表示学习框架，转换和过滤高维语音数据，以识别和包含敏感属性的边缘卸载到云之前。我们评估EDGY的设备性能，并探索优化技术，包括模型量化和知识蒸馏，以实现资源受限设备上的私有，准确和高效的表示学习。我们的研究结果表明，EDGY运行在几十毫秒的“zero-shot”ABX分数或最小的性能损失约5.95%的字出错率（WER）在学习语言表示从原始语音信号，使用CPU和单核ARM处理器没有专门的硬件。
2022-09-30 cs.CL
Children's Voice Privacy: First Steps And Emerging Challenges
University of Lisbon（里斯本大学）；Idiap Research Institute（Idiap研究机构）；INESC-ID；Instituto Superior Técnico（技术高等学院）
本研究首次系统评估面向成人设计的语音匿名化技术在儿童语音上的表现，发现其虽能保护隐私但效用下降显著，并揭示了自动评估方法的不足。
2025-06-04 cs.AI cs.CL cs.CR
A Federated Approach for Hate Speech Detection
AI4Bharat；University of Alberta（阿尔伯塔大学）；Georgia Institute of Technology（佐治亚理工学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
由于社交媒体上创建的内容的规模，仇恨语音检测一直是高度关注的研究主题。尽管这项任务的关注和敏感性，仇恨言论检测中的隐私保护仍然没有得到充分研究。大多数研究都集中在集中式机器学习基础设施上，这可能会泄露数据。在本文中，我们表明，使用联邦机器学习可以帮助解决隐私问题，这是仇恨言论检测固有的问题，同时在F1分数方面获得高达6.81%的改进。
2023-02-18 cs.AI cs.CL cs.LG
A Federated Approach to Few-Shot Hate Speech Detection for Marginalized Communities
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Bielefeld University（比勒费尔德大学）
本文针对全球南方边缘化社区在低资源语言环境下的网络仇恨言论问题，发布多语言仇恨言论数据集REACT，并提出基于联邦学习的少样本检测方法，在保护隐私的同时验证了跨群体有效性和个性化模型的前景。
2025-04-11 cs.AI cs.CL
MemPrivacy: Privacy-Preserving Personalized Memory Management for Edge-Cloud Agents
MemTensor (Shanghai) Technology Co., Ltd.（MemTensor（上海）科技有限公司）；HONOR Device Co., Ltd.（HONOR设备有限公司）；Tongji University（同济大学）
MemPrivacy通过在边缘设备上识别隐私敏感内容并用语义结构化的占位符替代，实现隐私保护与语义保留的平衡，提升边缘-云代理的隐私安全与个性化内存效率。
2026-05-14 cs.CL cs.CR
Probing the Feasibility of Multilingual Speaker Anonymization
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
针对当前说话人匿名化研究多局限于英语的问题，研究将前沿系统的单语言组件替换为多语言版本，扩展至9种语言，实验验证了系统的有效性，发现英语训练的说话人嵌入可跨语言应用，且性能主要受语音合成组件质量影响。
2024-07-03 cs.CL cs.SD eess.AS
Translatotron 2: High-quality direct speech-to-speech translation with voice preservation
Google Research（谷歌研究院）
我们提出了Translatotron 2，这是一种可以端到端训练的神经直接语音到语音翻译模型。Translatotron 2由一个语音编码器，一个语言解码器，一个声学合成器和一个将它们连接在一起的注意力模块组成。在三个数据集上的实验结果一致表明，Translatotron 2在翻译质量（高达+15.5 BLEU）和语音生成质量上都大大优于原始Translatotron，并且接近级联系统。此外，我们提出了一个简单的方法，用于保存扬声器的声音从源语音到翻译语音在不同的语言。与现有的方法不同，该方法能够保留每个扬声器的声音，而不需要扬声器分割。此外，与现有方法相比，它更好地保护了说话者的隐私，并减轻了潜在的滥用语音克隆创建欺骗音频伪影。
2022-05-17 cs.CL cs.LG cs.SD
