A Fly on the Wall -- Exploiting Acoustic Side-Channels in Differential Pressure Sensors
University of California, Irvine(加州大学欧文分校);George Mason University(乔治梅森大学)
本研究发现差压传感器存在声学侧信道漏洞,提出可从其读数重建语音的BaroVox攻击,通过信号处理与深度学习方法实现较高识别准确率,揭示相关隐私风险并探讨防御策略。
2024-10-07 cs.SD eess.AS
Active Acoustic Source Tracking Exploiting Particle Filtering and Monte Carlo Tree Search
在本文中,我们解决了主动声源跟踪的机器人路径规划的一部分的任务。它表示规划机器人运动序列以增强声源的跟踪结果,例如,会说话的人类,通过融合来自多个位置的观察。从本质上讲,有两种策略是可能的:短期规划,这会导致贪婪的行为,长期规划,这会考虑机器人和源的一系列可能的未来运动。在这里,我们专注于第二种方法,因为它可能会提高跟踪性能相比,贪婪的行为,并提出了一个灵活的路径规划算法,利用蒙特卡洛树搜索(MCTS)和粒子滤波的基础上,奖励信息理论的考虑。
2019-09-09 eess.AS
Exploiting Large-scale Teacher-Student Training for On-device Acoustic Models
Amazon(亚马逊);University of Edinburgh(爱丁堡大学)
我们展示了Alexa语音团队对声学模型(AM)的半监督学习(SSL)的结果,实验时间超过3000小时,使我们的研究成为同类研究中最大的研究之一。我们讨论了在一个小的足迹设置的AM的SSL,表明一个较小的容量模型训练100万小时的无监督数据可以超过基线监督系统的14.3%字出错率减少(WERR)。当监督数据增加到7倍时,我们的收益减少到7.1%WERR;为了在更大的监督数据制度下提高SSL效率,我们采用逐步蒸馏到一个更小的模型,获得14.4%的WERR。然后,我们在低数据状态下使用更大的学生模型切换到SSL;虽然使用无监督数据的学习效率更高,但在这种设置下,学生模型可能优于教师模型。我们开发了一个理论草图来解释这种行为。
2021-06-11 cs.LG cs.SD eess.AS
Acoustic Cybersecurity: Exploiting Voice-Activated Systems
PeopleTec(PeopleTec公司)
本文研究针对语音助手的不可听声学攻击,在多个主流平台上验证了十二种攻击向量,攻击成功率约60%且可远程超100英尺激活设备,并提出融合声学屏蔽、信号处理、机器学习与用户认证的多层防御策略。
2023-11-23 cs.CR cs.LG cs.SD
Reproducing the Acoustic Velocity Vectors in a Spherical Listening Region
本文提出速度匹配空间声场重现算法,通过匹配声学速度矢量的球谐系数在整个球形听音区域内重现AVVs,仿真表明其所需扬声器少于压力匹配算法。
2024-09-05 eess.AS
Theory and investigation of acoustic multiple-input multiple-output systems based on spherical arrays in a room
Ben Gurion University of the Negev(内盖夫本-古里安大学);University of Music and Performing Arts, Graz(格拉茨音乐与表演艺术大学)
本文提出基于球形扬声器和麦克风阵列的MIMO系统理论框架,用于封闭声场空间分析,证明系统在自由场下秩为1,推广至房间后秩与显著反射数相关,并通过仿真和反射分析验证了理论。
2024-01-07 cs.SD eess.AS
Spherical Harmonic Sliced Wasserstein Displacement Interpolation for Acoustic Source and Reflection Density Modeling
NuSpace Audio
本文提出球谐切片Wasserstein插值方法,用于声源与反射密度建模,通过新展开高效拟合密度并评估插值,实验证明优于线性与几何插值并实现模型降阶。
2026-09-21 cs.SD eess.AS eess.SP
Online Acoustic System Identification Exploiting Kalman Filtering and an Adaptive Impulse Response Subspace Model
我们介绍了一种新的算法在线估计的声脉冲响应(AIR),它允许快速收敛,利用先验知识的基本结构的AIR。所提出的方法假设的变化的空气的声学场景被限制到一个低维流形,这是嵌入在一个高维空间的可能的空气估计。我们讨论了各种方法来局部近似的空气歧管的仿射子空间,假设切超平面的流形。这些模型假设的有效性进行了验证模拟数据。随后,我们描述了如何学习模型可以用来提高在线空气估计投影到一个自适应估计的子空间。确定子空间的参数是从当前AIR估计的局部邻域中的训练样本中学习的。这允许系统辨识算法受益于声学场景中的先前估计。为了评估训练数据AIR与当前AIR估计的接近程度,我们引入了欧几里德距离的概率扩展,其提高了具有相关激励信号的应用的性能。此外,我们描述了如何模型的缺陷,可以解决软投影的空气估计。该算法具有显着更快的收敛性能相比,一个高性能的最先进的算法。此外,我们表现出改善的稳态性能的语音激励系统辨识的情况下遭受高水平的干扰噪声和非唯一的解决方案。
2021-05-07 eess.AS
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong(香港中文大学)
本文研究了零资源环境下的自动语音识别(ASR)的无监督声学建模(UAM)问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要,而且对于许多非主流应用也至关重要,例如语言保护,语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本(子字级)语音单元的无监督发现。在零资源条件下,可以仅从声学信号推断语音单元,而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲,需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的,并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
发音特征对于声学信号失真具有固有的不变性,并且已经成功地被结合到用于正常语音的自动语音识别(ASR)系统中。它们在障碍语音识别中的实际应用通常受到从受损说话者收集此类专业数据的困难的限制。本文提出了一种跨域的声学发音(A2 A)反演方法,该方法利用15小时TORGO语料库的并行声学发音数据进行模型训练,然后跨域适应102.7小时UAS语音语料库并产生发音特征。采用基于混合密度网络的神经元A2 A反演模型。跨域特征自适应网络也被用来减少TORGO和UASpeech数据之间的声学失配。在这两项任务中,结合A2 A生成的发音特征始终优于仅使用声学特征构建的基于基准混合DNN/TDNN、CTC和Conformer的端到端系统。最好的多模态系统,结合视频模态和跨域发音功能,以及数据增强和学习隐藏单元贡献(LHUC)扬声器自适应产生最低的发表词错误率(WER)的24.82%的16个构音障碍的扬声器的基准UASpeech任务。
2022-03-19 cs.AI eess.AS
Optimal Interference Signal for Masking an Acoustic Source
Department of Applied Mathematics University of California, Santa Cruz, CA 95064, USA(应用数学系 加州大学圣克鲁兹分校);Department of Applied Mathematics Naval Postgraduate School, Monterey, CA 93943, USA(应用数学系 海军学院)
本文研究通过声源附近部署干扰信号实现目标区域声学掩蔽的问题,建立理论计算框架,推导球对称波动方程解析解,并分析优化单点力和双点力掩蔽性能,提出一般非对称情形的高效数值方法。
2025-08-20 cs.SD eess.AS math.AP
Spatial Reverberation and Dereverberation using an Acoustic Multiple-Input Multiple-Output System
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出利用包含球形麦克风阵列和球形扬声器阵列的声学多输入多输出系统,通过优化清晰度与直达混响声比来修改房间声场混响特性,并在仿真与听音实验中验证了混响与去混盲效果及对系统辨识误差的鲁棒性。
2024-01-07 cs.SD eess.AS
Gaunt coefficients for complex and real spherical harmonics with applications to spherical array processing and Ambisonics
Tampere University(坦佩雷大学)
本研究针对声学领域Gaunt系数定义不统一的问题,基于复、实球谐函数惯例定义Gaunt系数并给出球乘法矩阵形式,推导了文献缺失的实球谐Gaunt系数,提供可计算指定阶数系数的Matlab代码,并给出相关声学处理示例。
2024-07-09 cs.GR cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield(谢菲尔德大学)
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而,这些手工挑选的声学特征通常与识别没有明确的相关性。同时,基于深度神经网络(DNN)的自动语音识别器(ASR)在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明,该方法比目前广泛使用的基于短时客观可懂度(STOI)的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
Learning an Interpretable End-to-End Network for Real-Time Acoustic Beamforming
Xiamen University(厦门大学);Lund University(隆德大学)
本文提出DAMAS-FISTA-Net,一种基于模型展开的可解释端到端深度学习网络,用于实时声学波束形成,兼具计算高效性与物理可解释性,实验验证其性能优于现有方法。
2023-06-19 cs.SD eess.AS
SHroom: A Python Framework for Ambisonics Room Acoustics Simulation and Binaural Rendering
Ben Gurion University of the Negev(内盖夫本-古里安大学)
SHroom基于Ambisonics实现房间声学模拟和双耳渲染,通过SH基函数进行图像源贡献投影,具有高透明度和实时头部旋转能力。
2026-09-28 cs.SD eess.AS
Relative Transfer Function Vector Estimation for Acoustic Sensor Networks Exploiting Covariance Matrix Structure
本文针对声学传感器网络提出两种利用噪声协方差矩阵块对角结构的相对传递函数向量估计方法,改进的协方差白化方法在信噪比提升上略优于原方法,非对角块选择方法优于有偏的主特征向量估计。
2023-10-27 eess.AS
Localization and Tracking of an Acoustic Source using a Diagonal Unloading Beamforming and a Kalman Filter
University of Udine(乌迪内大学)
我们提出的信号处理框架和IEEE AASP挑战声源定位和跟踪(LOCATA)的一些结果。该系统是专为在单源场景的波达方向(DOA)估计。该框架由四个主要模块组成:预处理,语音活动检测(VAD),定位,跟踪。信号预处理包括对阵列采集的多通道信号进行短时傅里叶变换和互功率谱估计。VAD是用CPSD矩阵的基于迹线的阈值计算的。然后使用我们最近提出的对角卸载(DU)波束成形,它具有低复杂度和高分辨率的本地化计算。最后利用卡尔曼滤波器对DOA估计进行平滑处理。LOCATA开发数据集上的实验结果的根均方误差(RMSE)的7麦克风线性阵列,12麦克风伪球形阵列集成在一个原型头的人形机器人,和32麦克风球形阵列。
2018-12-04 cs.SD eess.AS
A Database with Directivities of Musical Instruments
本文构建了包含41种乐器辐射方向图的数据库,并提出将指向性参考到特定麦克风位置的方法,以实现无染色的物理正确可听化,数据以SOFA、OpenDAFF和GLL格式提供。
2023-07-05 cs.SD eess.AS
Robust Expectation-Maximization Algorithm for DOA Estimation of Acoustic Sources in the Spherical Harmonic Domain
声源的波达方向(DOA)估计因其广泛的应用而成为信号处理的研究热点。利用球形麦克风阵列(SMA),DOA估计可以应用在球谐(SH)域中,没有任何空间模糊。然而,环境混响和噪声会降低估计性能。在本文中,我们提出了一种新的期望最大化(EM)算法的确定性最大似然(ML)DOA估计L声源在空间非均匀噪声的存在下,在SH域。此外,一个新的封闭形式的克拉美罗界(CRB)的确定性ML DOA估计的信号模型在SH域。该算法的主要思想是考虑接收信号在SH域的一般模型,通过将ML估计分解为期望和最大化两步来降低ML估计的复杂度。该算法将复杂度从2L维空间降低到L2维空间。仿真结果表明,该算法在鲁棒性方面至少有6dB的改善,在均方根误差(RMSE)。此外,该算法的RMSE是非常接近的CRB相比,最近的方法在混响和噪声环境中的大范围的信号噪声比。
2017-11-05 eess.AS stat.AP
Sub-band Domain Multi-Hypothesis Acoustic Echo Canceler Based Acoustic Scene Analysis
Dolby Laboratories(杜比实验室)
本文提出利用子带域多假设回声消除器的统计特征进行声学场景分析,通过多策略互补滤波提取判别性特征,并在真实数据上验证了有效性。
2025-01-10 eess.AS
RTF-Based Binaural MVDR Beamformer Exploiting an External Microphone in a Diffuse Noise Field
除了抑制所有不期望的声源之外,用于听力设备的双耳降噪算法的重要目标是保留双耳线索,旨在保留声学场景的空间感知。众所周知的双耳降噪算法是双耳最小方差无失真响应波束形成器,其可以使用期望源的相对传递函数(RTF)向量来操纵,将期望源和所有麦克风之间的声学传递函数与参考麦克风相关联。在本文中,我们提出了一种计算效率高的方法来估计RTF矢量的扩散噪声场,需要一个额外的麦克风,在空间上分离的头戴式麦克风。假设头戴式麦克风信号和附加麦克风信号中的噪声分量之间的空间相干性为零,我们表明可以获得RTF向量的无偏估计。基于真实世界的录音,几个混响时间的实验结果表明,建议的RTF估计优于广泛使用的RTF估计的基础上,协方差白化和一个简单的有偏RTF估计的降噪和双耳线索保存性能。
2018-07-12 eess.AS