鲁棒的语音识别系统依赖云服务提供商进行推理。需要确保不可信的提供商无法推断出语音中的敏感内容。在语音内容上进行净化时，必须注意避免影响转录的准确性。为了首次利用小型语音基础模型（FMs）未被充分利用的能力，我们提出了一种新的用途：在资源受限的设备上增强语音隐私。我们引入了SpeechShield，一种边缘/云隐私保护语音推理引擎，可以在不损害转录准确性的情况下过滤敏感实体。我们利用基于时间戳的设备掩码方法，利用一个令牌到实体预测模型来过滤敏感实体。我们选择的掩码策略性地隐藏了输入的一部分并隐藏了敏感数据。被掩码的输入被发送到受信任的云服务或本地枢纽以生成掩码输出。SpeechShield的有效性取决于实体时间段的掩码程度。我们的恢复是一种基于置信度分数的方法，选择云和设备模型之间的最佳预测。我们在64位Raspberry Pi 4B上实现了SpeechShield。实验表明，我们的解决方案在不牺牲隐私的情况下实现了稳健的语音识别。SpeechShield在小于100MB内存的情况下，实现了最先进的语音转录性能，同时在设备上直接过滤约83%的私人实体。SpeechShield在内存上比先前的隐私保护语音框架小16倍，速度快3.3倍，计算效率高17倍，并且与现有离线转录服务相比，词错误率（WER）的相对减少为38.8-77.5%。
英文摘要：
Robust speech recognition systems rely on cloud service providers for inference. It needs to ensure that an untrustworthy provider cannot deduce the sensitive content in speech. Sanitization can be done on speech content keeping in mind that it has to avoid compromising transcription accuracy. Realizing the under utilized capabilities of tiny speech foundation models (FMs), for the first time, we propose a novel use: enhancing speech privacy on resource-constrained devices. We introduce SpeechShield, an edge/cloud privacy preserving speech inference engine that can filter sensitive entities without compromising transcript accuracy. We utilize a timestamp based on-device masking approach that utilizes a token to entity prediction model to filter sensitive entities. Our choice of mask strategically conceals parts of the input and hides sensitive data. The masked input is sent to a trusted cloud service or to a local hub to generate the masked output. The effectiveness of SpeechShield hinges on how well the entity time segments are masked. Our recovery is a confidence score based approach that chooses the best prediction between cloud and on-device model. We implement SpeechShield on a 64 bit Raspberry Pi 4B. Experiments show that our solution leads to robust speech recognition without forsaking privacy. SpeechShield with < 100 MB memory, achieves state-of-the-art (SOTA) speech transcription performance while filtering about 83% of private entities directly on-device. SpeechShield is 16x smaller in memory, 3.3x faster and 17x more compute efficient than prior privacy preserving speech frameworks and has a relative reduction in word error rate (WER) by 38.8-77.5% when compared to existing offline transcription services.
Boosting keyword spotting through on-device learnable user speech characteristics
Integrated Systems Laboratory (IIS), ETH Zurich（苏黎世联邦理工学院集成系统实验室）；Zurich Research Center, Huawei Technologies（华为技术有限公司苏黎世研究中心）；DEI, University of Bologna（博洛尼亚大学电子、计算机与工程系）
Keyword Spotting with Hyper-Matched Filters for Small Footprint Devices
Technion – Israel Institute of Technology, Faculty of Electrical and Computer Engineering（技术学院 – 以色列理工学院，电气与计算机工程学院）；Northwestern University, Department of Linguistics（西北大学，语言学系）
Weight, Block or Unit? Exploring Sparsity Tradeoffs for Speech Enhancement on Tiny Neural Accelerators
Bose Corp.（博士音响公司）；University of Oldenburg（奥尔登堡大学）
我们探索网络稀疏化策略，目的是将神经语音增强（SE）压缩到新一代基于低功耗微控制器的神经加速器（microNPU）的最佳配置。我们研究了三种独特的稀疏结构：权重修剪，块修剪和单元修剪，并讨论了它们的优点和缺点时，适用于SE。我们专注于计算吞吐量，内存占用和模型质量之间的相互作用。我们的方法支持上述所有三种结构，并联合学习整数量化权重和稀疏性。此外，我们展示了离线幅度为基础的修剪整数量化模型作为性能基线。虽然有效的语音增强是一个活跃的研究领域，我们的工作是第一个应用块修剪SE和第一个解决SE模型压缩的microNPU的上下文中。使用权重修剪，我们表明我们能够将已经紧凑的模型的内存占用从3.7MB压缩到87kB，同时仅损失0.1 dB SDR的性能。我们还显示了6.7倍的计算加速比，使用块修剪时相应的SDR下降仅为0.59 dB SDR。
REDDIT: Forgetting-Resistant Correction of Timestamp Drift in ASR via Replay-Based Distribution Editing
National Taiwan University（台湾大学）；Carnegie Mellon University（卡内基梅隆大学）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立清华大学人工智能研究中心（NTU AI-CoRE））
Tiny Noise-Robust Voice Activity Detector for Voice Assistants
Huawei Noah’s Ark Lab, Montreal Research Center, Montreal, Canada（华为诺亚方舟实验室，蒙特利尔研究中心，加拿大蒙特利尔）；Huawei Noah’s Ark Lab, Toronto Research Center, Toronto, Canada（华为诺亚方舟实验室，多伦多研究中心，加拿大多伦多）；McGill University, Montreal, Canada（麦吉尔大学，加拿大蒙特利尔）；Polytechnique Montreal, Montreal, Canada（蒙特利尔理工学院，加拿大蒙特利尔）
