Privacy-preserving Representation Learning for Speech Understanding
本文提出一种匿名化预训练编码器生成的语句级语音嵌入的框架，通过训练 Transformer 转换表示身份以保护隐私，在多项语音分类任务中优于基线且保持效用。
2023-10-26 eess.AS
FedCPC: An Effective Federated Contrastive Learning Method for Privacy Preserving Early-Stage Alzheimer's Speech Detection
针对联邦学习用于早期阿尔茨海默病语音检测时因分布式学习导致性能下降的问题，提出联邦对比预训练FedCPC方法，通过从原始数据学习更好表示并支持客户端共享数据，在保护隐私的同时实现了令人满意的检测性能。
2023-11-21 eess.AS
Revisiting the Privacy of Low-Frequency Speech Signals: Exploring Resampling Methods, Evaluation Scenarios, and Speaker Characteristics
Jade University of Applied Sciences, Oldenburg（奥尔登堡贾德应用科学大学）；Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）
本文研究了低频语音信号在隐私保护中的有效性，通过比较抗混叠滤波器对词错误率和语音活动检测的影响，探讨了重采样方法和说话人特征对隐私的影响。
2025-08-04 eess.AS
GhostVec: A New Threat to Speaker Privacy of End-to-End Speech Recognition System
针对说话人自适应ASR系统的隐私泄露，提出GhostVec攻击方法，无需外部参考即可提取说话人信息，实验达到10.83% EER和0.47 minDCF，验证了攻击有效性。
2023-11-17 eess.AS
Long-Term Conversation Analysis: Privacy-Utility Trade-off under Noise and Reverberation
Jade University of Applied Sciences（不来梅哈芬应用科学大学）
本文研究了在噪声和混响环境下，低成本隐私保护方法在隐私与效用之间的权衡，通过实验评估不同方法对隐私和效用的影响。
2024-08-01 eess.AS
Unlocking Foundation Models for Privacy-Enhancing Speech Understanding: An Early Study on Low Resource Speech Training Leveraging Label-guided Synthetic Speech Content
University of Southern California（南加州大学）
本研究探索用基础模型助力隐私增强语音计算，提出仅靠标签引导的预训练生成模型合成语音作为训练数据的方法，发现其零样本学习仍有挑战，但合成数据训练的模型可作为低资源ASU训练的有效初始化点，有望减少用户数据收集以增强隐私。
2023-06-13 cs.SD eess.AS
Examining the Interplay Between Privacy and Fairness for Speech Processing: A Review and Perspective
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；Technical University of Denmark（丹麦技术大学）
本文综述了语音处理全生命周期中隐私与公平性之间被忽视的相互作用，揭示隐私增强技术可能加剧偏见、偏见缓解可能削弱隐私，并呼吁开发兼顾隐私与公平性的算法。
2024-09-05 cs.SD eess.AS
Speech Coding, Speech Interfaces and IoT - Opportunities and Challenges
当使用当前的传输基础设施和应用时，诸如3GPP增强语音服务的最近的语音和音频编码标准匹配语音和音频传输中的可预见的需求和要求。然而，物联网技术的趋势和个人数字助理（PDA）的发展要求我们考虑语音和音频编解码器的未来需求。在这里，机遇和挑战被概括为三个概念：协作、统一和隐私。首先，未来越来越多的设备将是语音操作的，因此将语音命令集中到特定设备的能力变得至关重要。因此，我们需要允许设备之间的协作的方法，使得可以解决歧义。其次，这种协作可以通过语音操作设备之间的统一和标准化的通信协议来实现。为了实现这样的协作协议，我们需要为ad-hoc物联网网络开发分布式语音编码技术。然而，最后，合作将增加语音接口中隐私保护的需求，因此，支持隐私和产生信任的技术可能会有很高的需求。
2018-11-14 eess.AS
Speaker Privacy and Security in the Big Data Era: Protection and Defense against Deepfake
本文概述了应对深度伪造语音的三种技术：语音匿名化、深度伪造检测和水印，分别用于保护说话人属性及防御滥用，并总结了其方法、进展与挑战。
2025-09-09 eess.AS
New Challenges for Content Privacy in Speech and Audio
University of Southampton（南安普顿大学）；Fraunhofer AISEC（弗劳恩霍夫人工智能安全研究所）；Technical University Munich（慕尼黑工业大学）；Aflorithmic Labs Ltd.（Aflorithmic实验室有限公司）
语音和音频中的隐私有很多方面。在这一领域，隐私权的一个特别欠发达的领域涉及对与内容和背景有关的信息的考虑。语音内容可以包括单词及其含义，甚至包括文体标记、病态语音、语调模式或情感。更一般地，在野外捕获的音频可以包含背景语音或揭示上下文信息，诸如位置标记、房间特性、非语言声音或其他可听事件。音频记录设备和语音技术在日常生活中变得越来越普遍。与此同时，商业化的语音和音频技术并没有为消费者提供一系列隐私选择。即使在隐私受到法律监管或保护的地方，隐私保障和执行的技术解决方案也不足。这份立场文件介绍了语音和音频中内容隐私的三个重要而及时的研究挑战。我们强调当前的差距和机遇，并确定重点领域，这可能对开发道德和更安全的语音技术产生重大影响。
2023-01-21 cs.CR cs.SD eess.AS
Decaf: A privacy preserving speech codec using speaker disentanglement and canonical voice conversion
Microsoft（微软）
DECAF是一种隐私保护语音编解码器，通过说话人解耦和规范语音转换在0.5kbps下混淆声音，保持ASR性能，EER达43.5%，词错误率相对降低33.2%。
2026-09-18 eess.AS
Voice-Indistinguishability: Protecting Voiceprint in Privacy-Preserving Speech Data Release
Kyoto University（京都大学）；National Institute of Information and Communications Technology（国立信息与通信技术研究所）
随着亚马逊Echo和苹果HomePod等智能设备的发展，语音数据已经成为大数据的一个新维度。然而，隐私和安全问题可能会阻碍真实世界语音数据的收集和共享，这些数据包含说话者的可识别信息，即，声纹，被认为是一种生物识别。目前关于声纹隐私保护的研究既没有提供一个有意义的隐私-效用权衡，也没有提供一个正式和严格的隐私定义。在这项研究中，我们设计了一个新的和严格的隐私度量声纹隐私，这是所谓的声音不可否认性，通过扩展差分隐私。我们还提出了隐私保护语音数据发布满足语音不可否认性的机制和框架。在公开数据集上的实验验证了所提方法的有效性和效率。
2020-04-16 cs.CR cs.SD eess.AS
Anonymizing Speech with Generative Adversarial Networks to Preserve Speaker Privacy
University of Stuttgart（斯图加特大学）
为了保护语音数据的隐私，说话人匿名化的目的是通过改变语音记录中的声音来隐藏说话人的身份。这通常伴随着个人保护和下游应用程序数据可用性之间的隐私实用性权衡。这方面的挑战之一是创造出听起来尽可能自然的不存在的声音。在这项工作中，我们建议通过使用Wasserstein距离作为成本函数的生成对抗网络生成说话人嵌入来解决这个问题。通过将这些人工嵌入到语音到文本到语音的管道中，我们在隐私和实用性方面优于以前的方法。根据标准的客观指标和人工评估，我们的方法生成了原始录音的可理解和内容保护但隐私保护的版本。
2022-10-20 cs.CL cs.SD eess.AS
Universal Semantic Disentangled Privacy-preserving Speech Representation Learning
Amazon AGI（亚马逊人工智能实验室）
针对语音训练LLM的隐私问题，提出基于USC编解码器的解耦式语音表示学习方法，分离隐私安全的语义表示与说话人相关残差表示，兼顾内容保留与说话人隐私保护，实现SOTA重建效果并提出对应评估方法。
2025-05-20 cs.LG eess.AS
CLEAR: Online Speech Content Leakage Estimation through Cross-ASR Disagreement
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
CLEAR提出一种无参考的在线语音内容泄露估计方法，利用异构ASR系统的不一致性在运行时评估隐私保护效果，实现动态调整隐私强度并保留声学效用。
2026-09-28 cs.SD eess.AS
Privacy in Speech Technology
Department Information and Communications Engineering, Aalto University（信息与通信工程系，阿尔托大学）
本文系统梳理了语音技术中的隐私威胁、保护方法及其性能评估，并探讨了隐私感知与社会法律后果，为后续研究指明亟需改进的方向。
2025-11-10 cs.CR cs.SD eess.AS
Investigating Effective Speaker Property Privacy Protection in Federated Learning for Speech Emotion Recognition
MonotaRO Co., Ltd.（MonotaRO公司）；NICT（情报通信研究机构）；Tokyo Institute of Technology（东京工业大学）；University of Bremen（不来梅大学）
本文针对语音情感识别联邦学习中的属性推理攻击，提出通过分解声音属性并添加扰动来保护语音数据隐私，在保持效用的同时更有效地防止攻击。
2024-10-17 cs.SD eess.AS
Deep Residual Neural Networks for Image in Speech Steganography
Manipal Institute of Technology（马尼帕尔理工学院）
隐写术是将秘密信息隐藏在公开可见的载体信息中的艺术。理想情况下，它是在不修改载体的情况下完成的，并且秘密消息中的信息损失最小。最近，各种基于深度学习的隐写方法已被应用于不同的消息类型。我们提出了一种基于深度学习的技术，将源RGB图像消息隐藏在有限长度的语音段中，而不会造成感知损失。为了实现这一点，我们训练三个神经网络;一个编码网络，以隐藏在载体中的消息，解码网络，以重建来自载体的消息和一个额外的图像增强器网络，以进一步改善重建的消息。我们还讨论了未来的改进所提出的算法。
2020-03-30 cs.MM cs.SD eess.AS
A Speech Representation Anonymization Framework via Selective Noise Perturbation
University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
当将语音信号传送到诸如自动语音识别（ASR）和语音情感识别（SER）之类的云服务时，隐私和安全是主要关注点。语音匿名化的现有解决方案主要集中在语音转换或语音修改，以将原始话语转换为具有相似内容但不同或没有身份相关信息的另一个话语。然而，在隐私保护表示形式下共享语音数据的替代方法在很大程度上还未被探索。在本文中，我们提出了一个语音匿名化框架，通过噪声扰动的高效用表示使用预先训练的语音编码器提取的一个选定的子集，实现隐私。该子集使用基于transformer的隐私风险显着性估计器来选择。我们验证我们的框架上的四个任务，即自动说话人验证（ASV），ASR，SER和意图分类（IC）的隐私和效用评估。实验结果表明，与VoicePrivacy 2022挑战赛的语音匿名化基线相比，我们的方法能够实现具有竞争力甚至更好的实用性，提供相同水平的隐私。此外，易于控制的扰动量允许我们的框架具有灵活的隐私-效用权衡范围，而无需重新训练任何组件。
2022-10-28 cs.CR cs.SD eess.AS
Generating gender-ambiguous voices for privacy-preserving speech recognition
Queen Mary University of London（伦敦玛丽女王大学）
我们的声音编码了一种独特的可识别模式，可用于推断个人在使用语音识别服务时可能不希望透露的私人属性，如性别或身份。为了防止属性推断攻击以及语音识别任务，我们提出了一个生成对抗网络GenGAN，它可以合成隐藏说话者性别或身份的声音。拟议中的网络包括一个具有U-Net架构的生成器，该架构可以学习欺骗网络。我们的发电机只对性别信息的条件，并使用信号失真和隐私保护之间的对抗性损失。我们表明，GenGAN提高了隐私和效用之间的权衡相比，隐私保护的表示学习方法，考虑性别信息作为一个敏感的属性，以保护。
2022-07-03 cs.LG cs.SD eess.AS
Preech: A System for Privacy-Preserving Speech Transcription
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
机器学习的新进展使自动语音识别（ASR）系统变得实用且更具可扩展性。然而，这些系统构成了严重的隐私威胁，因为语音是敏感的声学和文本信息的丰富来源。虽然离线和开源的ASR消除了隐私风险，但其转录性能不如基于云的ASR系统，特别是对于现实世界的用例。在本文中，我们提出了Pr $εε$ ch，一个端到端的语音转录系统，位于中间点的隐私效用谱。相对于离线ASR，它以改进的性能保护说话者语音的声学特征并保护文本内容的隐私。此外，Pr $εε$ ch提供了几个控制旋钮，以实现可定制的实用性-可用性-隐私权衡。它依赖于基于云的服务，在用户端应用一系列隐私保护操作后转录语音文件。我们进行了全面的评估Pr $εε$ ch，使用不同的现实世界的数据集，证明其有效性。Pr $εε$ ch在单词出错率方面比Deep Speech提供了2%到32.25%（平均17.34%）的相对改进，同时完全模糊了说话者的语音生物特征，只允许对文本内容进行差异化的私密查看。
2020-07-03 cs.CR cs.SD eess.AS
Enforcing Speech Content Privacy in Environmental Sound Recordings using Segment-wise Waveform Reversal
Nantes Université（南特大学）；École Centrale Nantes（中央理工学院）；CNRS（国家科学研究中心）；LS2N（LS2N研究所）；UMRAE（UMRAE机构）；ENSA Nantes（南特艺术设计学院）；AAU-CRENAU（AAU-CRENAU机构）
研究针对环境声音录音中语音隐私问题，提出用逐段波形反转并结合语音活动检测和分离的方法，经实验评估，该方法能有效降低语音可懂度，最小化声源检测性下降，保持音频质量，消融研究突出组件贡献，随机拼接可增强算法鲁棒性。
2026-07-09 cs.SD eess.AS
Safeguarding Privacy in Edge Speech Understanding with Tiny Foundation Models
Department of Computer Science（计算机科学系）；University of Virginia（弗吉尼亚大学）
SpeechShield通过在边缘设备上利用小型基础模型实现语音隐私保护，有效过滤敏感信息并提升转录性能。
2025-11-30 cs.LG cs.SD eess.AS
WavShape: Information-Theoretic Speech Representation Learning for Fair and Privacy-Aware Audio Processing
Department of Electrical and Computer Engineering（电气与计算机工程系）
WavShape提出信息论语音表示学习框架，通过互信息估计过滤敏感属性，在三个数据集上降低81%敏感信息并保留97%任务信息，实现公平与隐私感知的音频处理。
2025-06-28 cs.AI cs.SD eess.AS
Privacy-preserving and Privacy-attacking Approaches for Speech and Audio -- A Survey
本文综述语音与音频领域的隐私攻击与保护方法，通过分类比较攻防场景及各类技术的贡献与局限，指出神经网络声控设备存在固有脆弱性，需更先进方法全面保护隐私。
2023-09-26 cs.CR eess.AS
Lightweight Protection for Privacy in Offloaded Speech Understanding
针对资源受限设备上的语音卸载隐私风险，提出轻量级系统XXX，通过选择性掩蔽短期细节保护隐私，在STM32H7上实现53.3倍加速和134.1倍内存缩减，同时保持准确率与隐私水平。
2024-01-22 cs.CR cs.SD eess.AS
Anonymization, Not Elimination: Utility-Preserved Speech Anonymization
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Nanhu Lab（南湖实验室）
本文提出一种两阶段框架，在保护语言内容和语音身份的同时保持实用性。通过生成语音编辑模型替换个人可识别信息，并引入F3-VA框架实现语音去标识，实验显示其在隐私保护下保持了较高的实用性。
2026-09-04 cs.AI eess.AS
Privacy-Preserving Speech Representation Learning using Vector Quantization
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究实验室）；Le Mans Université（勒芒大学）；LIUM（勒芒大学信息学实验室）
随着虚拟助理（例如，Siri、Alexa），语音识别的使用现在越来越广泛。然而，语音信号包含了很多敏感信息，比如说话人的身份，实验结果表明，语音识别网络深层提取的语音表示中包含说话人信息，本文旨在产生一种匿名的语音表示，同时保持语音识别性能。为此，我们提出使用矢量量化来约束表示空间，并诱导网络抑制说话人身份，量化字典大小的选择允许在实用性（语音识别）和隐私性（说话人身份隐藏）之间进行权衡。
2022-03-15 cs.AI cs.CL cs.CR
Adversarial speech for voice privacy protection from Personalized Speech generation
University of Science and Technology of China (USTC)（中国科学技术大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出基于I-FGSM对抗攻击的说话人保护方法，通过最小扰动语音使YourTTS无法生成目标说话人声音，实验验证了其有效性。
2024-01-22 cs.SD eess.AS
Understanding the Tradeoffs in Client-side Privacy for Downstream Speech Tasks
Carnegie Mellon University（卡内基梅隆大学）
随着用户越来越依赖基于云的计算服务，确保上传的语音数据保持私密性非常重要。现有的解决方案要么依赖于服务器端的方法，要么专注于隐藏说话人身份。虽然这些方法减少了某些安全问题，但它们没有让用户在客户端控制是否将其生物特征信息发送到服务器。在本文中，我们正式定义了客户端隐私，并讨论了它的三个独特的技术挑战：（1）在客户端设备上直接操作原始数据，（2）适应广泛的服务器端处理模型，（3）与有限带宽设备兼容的低时间和空间复杂度。解决这些挑战需要新的模型来实现高保真重建，敏感个人属性的隐私保护以及训练和推理过程中的效率。作为语音识别的客户端隐私的一步，我们研究了三种技术，包括信号处理、解纠缠表示学习和对抗训练。通过一系列性别和口音掩蔽任务，我们观察到每种方法都有其独特的优势，但没有一种方法能够有效地平衡性能，隐私和复杂性之间的权衡。这些见解要求对客户端隐私进行更多的研究，以确保基于云的语音处理服务的更安全部署。
2021-10-22 cs.CR cs.SD eess.AS
Is Word Error Rate Enough? Rethinking Privacy Evaluation in Speech with Entity-Aware Metrics
Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所 (IIS)）；Jade University of Applied Sciences（亚德应用科学大学）；Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）
本研究将实体感知隐私指标从自然语言处理适配到语音隐私领域，评估两种混淆技术对命名实体的保护效果，并发现实体丰富数据微调对不同实体类别的攻击性能影响不一，最后给出基于时间对齐的指标选择建议。
2026-10-08 cs.CL cs.MM cs.SD
Crowdotic: A Privacy-Preserving Hospital Waiting Room Crowd Density Estimation with Non-speech Audio
Manning College of Information & Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院）；Halıcıoğlu Data Science Institute, University of California, San Diego（加州大学圣地亚哥分校哈利西奥卢数据科学研究所）；School of Public Health & Health Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校公共卫生与健康科学学院）；University Health Services, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校大学健康服务部）；Miner School of Computer & Information Sciences, University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校迈纳计算机与信息科学学院）
本文首次提出基于非语音音频和Transformer模型进行医院候诊室人群密度估计，在避免使用语音内容的同时性能优于热像头等基线，并结合差分隐私提供隐私保障。
2023-09-20 cs.CR cs.LG cs.SD
User-Level Differential Privacy against Attribute Inference Attack of Speech Emotion Recognition in Federated Learning
University of Southern California（南加州大学）
本文研究联邦学习下语音情感识别系统的属性推理攻击问题，提出采用用户级差分隐私（UDP）来缓解隐私泄露，并通过实验证明其在单次模型更新场景下能有效平衡隐私保护与系统效用。
2022-05-17 cs.CR cs.SD eess.AS
The Privacy ZEBRA: Zero Evidence Biometric Recognition Assessment
越来越多的隐私立法要求保护语音技术中的隐私，尽管解决方案严重缺乏。虽然评价活动是长期以来证明有效的推动进展的工具，但考虑隐私对手的必要性意味着传统的评价方法必须适应对隐私和隐私保护解决方案的评估。本文介绍了在这个方向上的第一步：指标。我们介绍了零证据生物识别评估（ZEBRA）框架，并提出了两个新的隐私度量。它们衡量的是特定保障措施为人口提供的隐私保护的平均水平，以及个人在最坏情况下的隐私泄露。本文展示了他们的隐私保护评估的范围内的VoicePrivacy挑战的应用。虽然ZEBRA框架的设计考虑到语音应用程序，它是一个候选人纳入生物特征信息保护标准，并很容易扩展到隐私的研究，甚至超越语音和生物特征识别的应用程序。
2020-05-20 cs.CR eess.AS
Adversarial Privacy Protection on Speech Enhancement
College of Information Science and Engineering, Ningbo University（宁波大学信息科学与工程学院）
语音很容易在不知不觉中泄露，比如在不同的情况下被手机录下来。语音中的隐私内容可能通过语音增强技术被恶意提取。语音增强技术随着深度神经网络（DNN）的发展而迅速发展，但对抗性示例可能会导致DNN失败。在这项工作中，我们提出了一个对抗性的方法来降低语音增强系统。实验结果表明，生成的对抗性样例可以擦除原样例中的大部分内容信息，或者通过语音增强用目标语音内容替换。增强后的原始样本与增强后的对抗样本识别结果之间的单词出错率（WER）可达89.0%。增强对抗样本与目标样本的目标攻击WER较低，为33.75%。对抗扰动可以使原始示例的变化率超过1.4430。这项工作可以防止语音的恶意提取。
2022-06-16 cs.CR cs.LG cs.SD
An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition
Georgia Institute of Technology（佐治亚理工学院）；Kore University of Enna（恩纳科雷大学）；NTNU（挪威科技大学）
我们提出了一个集成学习框架与泊松子采样，有效地训练一组教师模型，发出一些差分隐私（DP）的训练数据的保证。通过DP下的提升，从训练数据中导出的学生模型几乎没有受到没有隐私保护的训练模型的模型退化。我们提出的解决方案利用了两种机制，即：（i）经由泊松子采样的隐私预算放大，以训练需要较少噪声来实现相同水平的隐私预算的目标预测模型，以及（ii）子采样技术和总体师生学习框架的组合，该总体师生学习框架在教师模型的输出处引入DP保留噪声并且将DP-通过噪声标签保持属性。保护隐私的学生模型然后用噪声标签进行训练，以从教师模型集合中学习具有DP保护的知识。语音命令识别和汉语连续语音识别的实验证据表明，我们提出的框架大大优于现有的DP保持算法在这两个语音处理任务。
2022-10-12 cs.AI cs.LG cs.SD
Emotionless: Privacy-Preserving Speech Analysis for Voice Assistants
Imperial College London（帝国理工学院）
语音交互在许多流行的物联网系统中提供了更人性化的体验。基于云的语音分析服务使用语音识别技术从语音输入中提取有用的信息。语音信号是一种丰富的资源，它揭示了说话者的几种可能状态，例如情绪状态，信心和压力水平，身体状况，年龄，性别和个人特质。服务提供商可以建立一个非常准确的用户的人口统计类别，个人喜好，并可能危及隐私。为了解决这个问题，提出了用户和云服务之间的隐私保护中间层来净化语音输入。它旨在保持实用性，同时保护用户隐私。它通过收集实时的语音数据并分析信号来实现这一点，以确保在与服务提供商共享此数据之前的隐私保护。准确地说，敏感的表示是通过使用转换函数从原始信号中提取，然后通过语音转换技术将其包装。基于情感识别的实验评估表明，该方法的有效性，敏感的情绪状态的扬声器的识别减少了约96%。
2019-08-09 cs.CR cs.LG cs.SD
Private kNN-VC: Interpretable Anonymization of Converted Speech
German Research Center for Artificial Intelligence（德国人工智能研究中心）；Technical University of Berlin（柏林技术大学）
本研究通过为kNN-VC添加可解释的韵律匿名化组件，显著提升了语音匿名化的隐私性，并揭示了韵律因素在说话人识别中的关键作用。
2025-05-23 cs.SD eess.AS
A Review of Speech-centric Trustworthy Machine Learning: Privacy, Safety, and Fairness
本文首次全面综述以语音为中心的机器学习在隐私、安全与公平性方面的可靠性挑战与应对，并指出未来研究方向。
2023-04-16 cs.LG cs.SD eess.AS
WavRx: a Disease-Agnostic, Generalizable, and Privacy-Preserving Speech Health Diagnostic Model
INRS（加拿大国家科学研究院）
提出WavRx语音健康诊断模型，通过捕捉通用语音表示中的呼吸和发音动态，在六个病理语音数据集上实现最先进的跨域泛化能力，并显著降低健康嵌入中的说话人身份泄露以保护隐私。
2024-06-26 cs.AI cs.CL eess.AS
Regularized Federated Learning for Privacy-Preserving Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
针对构音障碍与老年人语音识别中联邦学习面临的数据稀缺等问题，提出三类正则化技术，在基准数据集上实现显著词错误率降低，高通信频率下性能接近集中式训练。
2025-06-02 cs.AI cs.CL cs.SD
How Private is Low-Frequency Speech Audio in the Wild? An Analysis of Verbal Intelligibility by Humans and Machines
RWTH Aachen University（亚琛工业大学）；Delft University of Technology（代尔夫特理工大学）
本文评估低频音频在真实环境中保护言语隐私的有效性，通过模拟攻击并权衡语音活动检测性能与隐私，结合人类和机器可懂度分析其平衡。
2024-07-18 cs.HC cs.SD eess.AS
Differential privacy enables fair and accurate AI-based analysis of speech disorders while protecting patient data
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；University Hospital RWTH Aachen（亚琛工业大学医院）；Stanford University（斯坦福大学）；University of Antioquia（安蒂奥基亚大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）
首次研究差分隐私（DP）在病理性语音分析中的影响，发现高隐私级别下诊断准确性下降有限且性别偏见极小，但需解决年龄相关差异，为平衡隐私、效用与公平性奠定基础。
2025-05-30 cs.AI cs.CR cs.LG
Voice Conversion-based Privacy through Adversarial Information Hiding
The University of Edinburgh（爱丁堡大学）；SpeakUnique Ltd.（斯皮克尤尼克有限公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Southampton（南安普顿大学）
本文提出一种基于对抗信息隐藏的隐私保护语音转换机制，通过控制身份信息泄露实现说话人身份修改与源语音特征保留的权衡，优于CycleGAN等传统方法和ASR-TTS流程。
2024-09-23 cs.SD eess.AS
Privacy-preserving Speech Emotion Recognition through Semi-Supervised Federated Learning
Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）
语音情感识别（SER）是指从自然语音中识别人类情感。如果准确地完成，它可以在构建以人为中心的上下文感知智能系统方面提供许多好处。现有的SER方法在很大程度上是集中式的，没有考虑用户的隐私。联邦学习（FL）是一种分布式机器学习范式，用于处理隐私敏感个人数据的分散化。在本文中，我们提出了一个隐私保护和数据高效的SER方法，利用FL的概念。据我们所知，这是第一个联邦SER方法，它利用自我训练学习结合联邦学习，利用标记和未标记的设备上的数据。我们对IEMOCAP数据集的实验评估表明，即使在数据标签可用性低和高度非独立同分布的情况下，我们的联邦方法也可以学习可推广的SER模型。分布。我们表明，与完全监督的联邦同行相比，我们的方法平均只需10%的标记数据，就可以将识别率提高8.67%。
2022-02-05 cs.AI cs.LG cs.SD
Less Stress, More Privacy: Stress Detection on Anonymized Speech of Air Traffic Controllers
Saarland University（萨尔大学）
本文评估了在匿名化ATCO语音上进行压力检测的不同深度学习架构，在SUSAS和ATC模拟数据集上分别达到93.6%和80.1%的准确率，证明隐私保护不会阻碍高性能模型的构建。
2025-07-10 cs.CL cs.SD eess.AS
WavInWav: Time-domain Speech Hiding via Invertible Neural Network
CAS Key Laboratory of Electromagnetic Space Information, School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学与技术学院电磁空间信息关键实验室）
针对现有音频隐藏方法秘密音频恢复质量不佳的问题，提出基于流可逆神经网络的时域语音隐藏方法WavInWav，结合时域时频损失与加密技术，在多数据集上指标更优且抗噪性强。
2025-10-03 cs.AI cs.CR cs.LG
Adversarial Representation Learning for Robust Privacy Preservation in Audio
University of Helsinki（赫尔辛基大学）；Tampere University（坦佩雷大学）；Nokia Tech（诺基亚科技）
针对音频处理中的隐私泄露问题，提出一种对抗训练方法，通过定期替换语音分类器权重生成不变潜在表示，有效隐藏语音活动并显著降低隐私违规。
2024-01-03 cs.CR cs.LG cs.SD
LSEAD: A Privacy-Preserving LLM-Based Speech Analysis Framework for Early Alzheimer's Disease Screening
Saskatchewan Polytechnic（萨斯喀彻温理工学院）；Hebei University（河北大学）；University of Alberta（阿尔伯塔大学）；University of Regina（里贾纳大学）
本研究提出基于开源LLM的隐私保护语音分析框架LSEAD，在ADReSS系列数据集上使AD分类准确率提升最多5个百分点，为早期AD筛查提供了实用方案。
2026-08-10 cs.AI cs.LG eess.AS
VoxPrivacy: A Benchmark for Evaluating Interactional Privacy of Speech Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Loop Area Institute（深圳河套学院）；Amphion Technology Co., Ltd.（安丰科技有限公司）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
VoxPrivacy是首个评估语音语言模型交互隐私的基准，揭示了多数模型在隐私决策上的薄弱环节，并通过微调提升隐私保护能力。
2026-09-04 cs.AI cs.SD eess.AS
Preset-Voice Matching for Privacy Regulated Speech-to-Speech Translation Systems
Vosyn（沃辛公司）；Vector Institute（向量研究所）
提出预设语音匹配（PVM）框架，通过匹配同意说话者语音替代克隆，提升多说话者S2ST系统运行效率与语音自然度，并确保合规性。
2024-07-18 cs.CL cs.CR cs.LG
Representation Learning for Audio Privacy Preservation using Source Separation and Robust Adversarial Learning
Tampere University（坦佩雷大学）；University of Helsinki（赫尔辛基大学）；Nokia Tech（诺基亚技术公司）
本研究提出整合源分离与对抗表示学习来学习音频潜在表示，防止区分语音与非语音，从而在保持声学监测性能的同时显著提升语音隐私保护效果。
2023-08-09 cs.CR cs.LG cs.SD
Privacy against Real-Time Speech Emotion Detection via Acoustic Adversarial Evasion of Machine Learning
Syracuse University（雪城大学）
针对智能音箱语音助手通过语音情感识别非法监控用户情感的隐私问题，提出DARE-GP方案，通过约束遗传编程生成通用对抗音频扰动，可在真实声学环境中实时保护未见过的语音情感隐私、抵御未知黑盒分类器且保留转录内容，鲁棒性与真实部署有效性经商用智能音箱测试验证。
2023-12-18 cs.CR cs.LG cs.SD
Privacy attacks for automatic speech recognition acoustic models in a federated learning framework
Avignon Université（阿维尼翁大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
本文研究了在自动语音识别（ASR）中从个性化说话人自适应神经网络声学模型（AM）中有效提取说话人信息的方法。这个问题在ASR声学模型的联邦学习的上下文中尤其重要，其中基于从多个客户端接收的更新在服务器上学习全局模型。我们提出了一种方法来分析信息的神经网络AM的基础上的神经网络足迹的所谓的指标数据集。使用这种方法，我们开发了两种攻击模型，旨在从更新的个性化模型中推断说话人身份，而无需访问实际用户的语音数据。在TED-LIUM 3语料库上的实验表明，本文提出的方法是非常有效的，可以提供1- 2%的等出错率（EER）。
2022-01-14 cs.CL cs.CR cs.SD
