Pronunciation Dictionary-Free Multilingual Speech Synthesis by Combining Unsupervised and Supervised Phonetic Representations
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(科大讯飞研究院)
提出了一种结合无监督语音表示(UPR)和有监督语音表示(SPR)的多语种语音合成方法,避免了对目标语言发音词典的依赖。该方法采用预先训练好的wav 2 vec 2.0模型提取不确定性特征,采用连接主义时态分类(CTC)损失建立与语言无关的自动语音识别(LI-ASR)模型,从目标语言的音频数据中提取分段级的自动语音识别。然后,设计了一个声学模型,该模型首先从文本中分别预测UPR和SPR,然后组合预测的UPR和SPR以生成梅尔谱图。六种语言的实验结果表明,所提出的方法优于直接预测的方法,从字符或音素序列和消融模型,仅利用UPR或SPR的梅尔频谱图。
2022-06-02 cs.SD eess.AS
One-shot learning for acoustic identification of bird species in non-stationary environments
University of Milan(米兰大学)
这项工作介绍了在计算生物声学领域的一次性学习范式。即使,大多数相关文献假设可用的数据表征的整个类字典的问题,这是很少真正的栖息地的物种组成只知道在一定程度上。因此,这个问题需要解决的方法,能够应付非平稳性。为此,我们提出了一个框架,能够检测类字典中的变化,并在飞行中纳入新的类。我们设计了一个一次性的学习架构,由一个连体神经网络在logMel频谱图空间操作。我们广泛地研究了所提出的方法在两个数据集的各种鸟类使用合适的数字的优点。有趣的是,这样的学习方案表现出最先进的性能,同时考虑到极端的非平稳情况。
2021-05-01 cs.AI cs.LG cs.SD
Active Acoustic Source Tracking Exploiting Particle Filtering and Monte Carlo Tree Search
在本文中,我们解决了主动声源跟踪的机器人路径规划的一部分的任务。它表示规划机器人运动序列以增强声源的跟踪结果,例如,会说话的人类,通过融合来自多个位置的观察。从本质上讲,有两种策略是可能的:短期规划,这会导致贪婪的行为,长期规划,这会考虑机器人和源的一系列可能的未来运动。在这里,我们专注于第二种方法,因为它可能会提高跟踪性能相比,贪婪的行为,并提出了一个灵活的路径规划算法,利用蒙特卡洛树搜索(MCTS)和粒子滤波的基础上,奖励信息理论的考虑。
2019-09-09 eess.AS
Exploiting Large-scale Teacher-Student Training for On-device Acoustic Models
Amazon(亚马逊);University of Edinburgh(爱丁堡大学)
我们展示了Alexa语音团队对声学模型(AM)的半监督学习(SSL)的结果,实验时间超过3000小时,使我们的研究成为同类研究中最大的研究之一。我们讨论了在一个小的足迹设置的AM的SSL,表明一个较小的容量模型训练100万小时的无监督数据可以超过基线监督系统的14.3%字出错率减少(WERR)。当监督数据增加到7倍时,我们的收益减少到7.1%WERR;为了在更大的监督数据制度下提高SSL效率,我们采用逐步蒸馏到一个更小的模型,获得14.4%的WERR。然后,我们在低数据状态下使用更大的学生模型切换到SSL;虽然使用无监督数据的学习效率更高,但在这种设置下,学生模型可能优于教师模型。我们开发了一个理论草图来解释这种行为。
2021-06-11 cs.LG cs.SD eess.AS
Acoustic Cybersecurity: Exploiting Voice-Activated Systems
PeopleTec(PeopleTec公司)
本文研究针对语音助手的不可听声学攻击,在多个主流平台上验证了十二种攻击向量,攻击成功率约60%且可远程超100英尺激活设备,并提出融合声学屏蔽、信号处理、机器学习与用户认证的多层防御策略。
2023-11-23 cs.CR cs.LG cs.SD
Exploiting Parallel Audio Recordings to Enforce Device Invariance in CNN-based Acoustic Scene Classification
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
在训练和应用时看到的数据之间的分布不匹配仍然是机器学习所有应用领域的主要挑战。我们在机器监听的背景下研究这个问题(DCASE 2019挑战赛的任务1b)。我们提出了一种新的方法来学习域不变的分类器在一个端到端的方式,通过实施平等的隐藏层表示域并行的样本,即时间对齐的记录从不同的记录设备。我们的域自适应(DA)方法不需要分类标签,这使得数据收集过程更便宜。
2019-09-04 cs.LG cs.SD eess.AS
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong(香港中文大学)
本文研究了零资源环境下的自动语音识别(ASR)的无监督声学建模(UAM)问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要,而且对于许多非主流应用也至关重要,例如语言保护,语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本(子字级)语音单元的无监督发现。在零资源条件下,可以仅从声学信号推断语音单元,而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲,需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的,并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
Online Acoustic System Identification Exploiting Kalman Filtering and an Adaptive Impulse Response Subspace Model
我们介绍了一种新的算法在线估计的声脉冲响应(AIR),它允许快速收敛,利用先验知识的基本结构的AIR。所提出的方法假设的变化的空气的声学场景被限制到一个低维流形,这是嵌入在一个高维空间的可能的空气估计。我们讨论了各种方法来局部近似的空气歧管的仿射子空间,假设切超平面的流形。这些模型假设的有效性进行了验证模拟数据。随后,我们描述了如何学习模型可以用来提高在线空气估计投影到一个自适应估计的子空间。确定子空间的参数是从当前AIR估计的局部邻域中的训练样本中学习的。这允许系统辨识算法受益于声学场景中的先前估计。为了评估训练数据AIR与当前AIR估计的接近程度,我们引入了欧几里德距离的概率扩展,其提高了具有相关激励信号的应用的性能。此外,我们描述了如何模型的缺陷,可以解决软投影的空气估计。该算法具有显着更快的收敛性能相比,一个高性能的最先进的算法。此外,我们表现出改善的稳态性能的语音激励系统辨识的情况下遭受高水平的干扰噪声和非唯一的解决方案。
2021-05-07 eess.AS
Singer Identification Using Convolutional Acoustic Motif Embeddings
Technical University of Madrid(马德里理工大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校)
弗拉门戈歌唱的特点是音高不稳定,微音调的变化,大的颤音范围,以及高度的旋律变化。这些音乐特征使得弗拉门戈歌手的自动识别成为一项困难的计算任务。在这篇文章中,我们提出了一个端到端的管道弗拉门戈歌手识别的基础上声学主题嵌入。在所采取的方法中,直接从原始音频信号获得的基频被近似。这种近似降低了音频信号的高度可变性,并允许使用顺序模式挖掘技术发现小的旋律模式,从而创建主题字典。几个声学特征,然后使用卷积架构来提取固定长度嵌入的可变长度图案。我们在弗拉门戈歌手识别任务中测试了嵌入的质量,将我们的方法与以前的深度学习架构进行了比较,并研究了识别任务中动机模式和声学特征的影响。结果表明,动机模式识别弗拉门戈歌手发挥了至关重要的作用,通过最大限度地减少要学习的信号的大小,丢弃在识别任务中不相关的信息。提出的深度学习架构优于大规模音频分类问题中使用的密集模型。
2020-08-01 cs.SD eess.AS
Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
发音特征对于声学信号失真具有固有的不变性,并且已经成功地被结合到用于正常语音的自动语音识别(ASR)系统中。它们在障碍语音识别中的实际应用通常受到从受损说话者收集此类专业数据的困难的限制。本文提出了一种跨域的声学发音(A2 A)反演方法,该方法利用15小时TORGO语料库的并行声学发音数据进行模型训练,然后跨域适应102.7小时UAS语音语料库并产生发音特征。采用基于混合密度网络的神经元A2 A反演模型。跨域特征自适应网络也被用来减少TORGO和UASpeech数据之间的声学失配。在这两项任务中,结合A2 A生成的发音特征始终优于仅使用声学特征构建的基于基准混合DNN/TDNN、CTC和Conformer的端到端系统。最好的多模态系统,结合视频模态和跨域发音功能,以及数据增强和学习隐藏单元贡献(LHUC)扬声器自适应产生最低的发表词错误率(WER)的24.82%的16个构音障碍的扬声器的基准UASpeech任务。
2022-03-19 cs.AI eess.AS
Subspace Hybrid MVDR Beamforming for Augmented Hearing
Imperial College London(伦敦帝国理工学院);Meta Reality Labs Research(Meta现实实验室)
本文提出一种两阶段多通道语音增强算法,结合信号相关波束形成的自适应性与超指向性波束形成的鲁棒性,通过混合波束形成器和宽带子空间后置滤波器,在头戴式麦克风阵列的复杂声学场景中显著提升噪声抑制、可懂度和语音质量。
2023-11-30 cs.SD eess.AS eess.SP
Learning an Interpretable End-to-End Network for Real-Time Acoustic Beamforming
Xiamen University(厦门大学);Lund University(隆德大学)
本文提出DAMAS-FISTA-Net,一种基于模型展开的可解释端到端深度学习网络,用于实时声学波束形成,兼具计算高效性与物理可解释性,实验验证其性能优于现有方法。
2023-06-19 cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield(谢菲尔德大学)
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而,这些手工挑选的声学特征通常与识别没有明确的相关性。同时,基于深度神经网络(DNN)的自动语音识别器(ASR)在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明,该方法比目前广泛使用的基于短时客观可懂度(STOI)的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
Sparse Pursuit and Dictionary Learning for Blind Source Separation in Polyphonic Music Recordings
University of Bremen(不来梅大学);Colorado State University(科罗拉多州立大学)
提出了一种单声道音频信号盲分离算法。它基于一个参数模型,该模型描述了独立于音高的乐器声音的频谱特性。我们开发了一种新的稀疏追踪算法,可以匹配的离散频谱从记录的信号与连续的频谱提供的模型。我们首先使用该算法将来自记录的STFT谱图转换成一种新形式的对数频率谱图,其分辨率超过了梅尔谱图。然后,我们利用该表示的音高不变特性,以便通过相同的稀疏追踪方法来识别乐器的声音。由于表征乐器的模型参数事先不知道,我们训练包含它们的字典,使用修改后的亚当版本。将该算法应用于各种音频样本,我们发现,它能够产生高质量的分离结果时,模型假设得到满足,仪器是明确区分,但具有相似的频谱特性的仪器的组合构成了一个概念上的困难。虽然该模型的一个关键特征是它显式地对不和谐性进行建模,但它的存在仍然会阻碍稀疏追踪算法的性能。在一般情况下,由于其音高不变性,我们的方法是特别适合于处理从声学仪器的频谱,只需要一个最小数量的超参数被预设。此外,我们证明了为一个记录构建的字典可以应用于具有类似仪器的不同记录,而无需额外的训练。
2021-02-01 cs.LG cs.SD eess.AS
Relative Transfer Function Vector Estimation for Acoustic Sensor Networks Exploiting Covariance Matrix Structure
本文针对声学传感器网络提出两种利用噪声协方差矩阵块对角结构的相对传递函数向量估计方法,改进的协方差白化方法在信噪比提升上略优于原方法,非对角块选择方法优于有偏的主特征向量估计。
2023-10-27 eess.AS
Leveraging Language ID to Calculate Intermediate CTC Loss for Enhanced Code-Switching Speech Recognition
National Taiwan Normal University(國立臺灣師範大學)
针对语码转换训练数据稀缺导致ASR模型性能骤降的问题,本文提出将语言识别信息引入ASR编码器中间层,生成隐含语言区分性的声学特征以降低语言切换混淆,提升语码转换语音识别效果。
2023-12-15 cs.CL cs.SD eess.AS
Relative Transfer Function Estimation Exploiting Spatially Separated Microphones in a Diffuse Noise Field
University of Oldenburg(奥尔登堡大学)
许多多麦克风语音增强算法需要所需语音源的相对传递函数(RTF)向量,将所有阵列麦克风的声学传递函数与参考麦克风相关联。在本文中,我们提出了一种计算效率高的方法来估计RTF矢量在扩散噪声场,这需要一个额外的麦克风,在空间上分离的麦克风阵列,这样的麦克风阵列信号和额外的麦克风信号中的噪声分量之间的空间相干性是低的。假设这个空间相干性为零,我们表明,可以得到一个无偏估计的RTF向量。基于真实录音的实验结果表明,所提出的RTF估计器优于国家的最先进的估计器,只使用麦克风阵列信号的估计精度和降噪性能。
2018-07-12 cs.SD eess.AS
Unsupervised Low Latency Speech Enhancement with RT-GCC-NMF
University of Sherbrooke(舍布鲁克大学);Graz University of Technology(格拉茨工业大学)
在本文中,我们提出了RT-GCC-NMF:一个实时(RT),双通道盲语音增强算法,结合了非负矩阵分解(NMF)的字典学习算法与广义互相关(GCC)的空间定位方法。使用预先学习的通用NMF字典,RT-GCC-NMF以逐帧的方式通过基于其估计的到达时间延迟(TDOA)将各个字典原子与目标语音或背景干扰相关联来操作。我们评估RT-GCC-NMF对来自信号分离和评估活动(SiSEC)的语音和真实世界噪声的双通道混合物。我们证明了这种方法可以从很少的训练数据中推广到新的扬声器,声学环境和录音设置,并且在音频源分离(PEASS)分数的整体感知评估方法方面优于SiSEC挑战中的所有算法,并且与理想的二进制掩码基线相比。在很宽的输入信噪比范围内,我们表明,这种方法同时提高了PEASS和信噪比(SNR)为基础的盲源分离(BSS)评价客观质量指标,以及短期客观可懂度(STOI)和扩展的STOI(ESTOI)客观语音可懂度指标。NMF激活系数空间中的灵活的软掩蔽函数提供了对干扰抑制和目标扬声器保真度之间的权衡的实时控制。最后,我们使用非对称短时傅里叶变换(STFT)将RT-GCC-NMF的固有算法延迟从64 ms减少到2 ms,而不会损失性能。我们证明,在目前的硬件平台上,助听器的可容忍范围内的延迟是可能的。
2019-04-05 cs.SD eess.AS
RTF-Based Binaural MVDR Beamformer Exploiting an External Microphone in a Diffuse Noise Field
除了抑制所有不期望的声源之外,用于听力设备的双耳降噪算法的重要目标是保留双耳线索,旨在保留声学场景的空间感知。众所周知的双耳降噪算法是双耳最小方差无失真响应波束形成器,其可以使用期望源的相对传递函数(RTF)向量来操纵,将期望源和所有麦克风之间的声学传递函数与参考麦克风相关联。在本文中,我们提出了一种计算效率高的方法来估计RTF矢量的扩散噪声场,需要一个额外的麦克风,在空间上分离的头戴式麦克风。假设头戴式麦克风信号和附加麦克风信号中的噪声分量之间的空间相干性为零,我们表明可以获得RTF向量的无偏估计。基于真实世界的录音,几个混响时间的实验结果表明,建议的RTF估计优于广泛使用的RTF估计的基础上,协方差白化和一个简单的有偏RTF估计的降噪和双耳线索保存性能。
2018-07-12 eess.AS
Audio-Visual Model Distillation Using Acoustic Images
Istituto Italiano di Tecnologia(意大利理工学院);Università degli Studi di Genova(热那亚大学);Università di Verona(维罗纳大学);Huawei Technologies Ltd.(华为技术有限公司)
在本文中,我们研究了如何学习丰富和强大的特征表示的音频分类从视觉数据和声学图像,一种新的音频数据形态。以前的模型从单个麦克风获取的原始信号或频谱数据中学习音频表示,在分类和检索方面取得了显着的效果。然而,这样的表示对于可变的环境声音条件不是那么鲁棒。我们通过利用混合视听传感器获取的新的多模态标记动作识别数据集来解决这个缺点,该传感器提供RGB视频,原始音频信号和空间化声学数据,也称为声学图像,其中视觉和声学图像在空间上对齐并在时间上同步。利用这些更丰富的信息,我们以师生模式训练音频深度学习模型。特别是,我们从视觉和声学图像教师中提取知识到音频网络中。我们的实验表明,学习到的表示比从仅使用单麦克风音频数据训练的模型中学习到的特征更强大,并且具有更好的泛化能力。
2020-02-11 cs.CV cs.SD eess.AS
Exploiting Deep Sentential Context for Expressive End-to-End Speech Synthesis
Xiaomi(小米)
基于注意力的seq 2seq文本到语音系统,特别是那些使用自注意力网络(SAN)的系统,已经达到了最先进的性能。但是,具有丰富韵律的表达性语料库仍然具有挑战性,因为1)韵律方面,跨越不同的语义粒度并主要决定声学表达性,难以分类和标记; 2)当前的seq 2seq框架仅从文本编码器中提取韵律信息,这很容易被折叠为表达内容的平均表达。在本文中,我们提出了一个上下文提取器,这是建立在基于SAN的文本编码器,充分利用表达语料库的seq 2seq为基础的TTS的原始上下文。我们的上下文提取器首先收集韵律相关的原始上下文信息从不同的SAN层,然后聚合它们来学习一个全面的句子表示,以提高最终生成的语音的表达能力。具体来说,我们研究了两种上下文聚合方法:1)直接聚合,直接连接不同SAN层的输出,2)加权聚合,使用多头注意力自动学习不同SAN层的贡献。在两个表达性语料库上的实验表明,该方法能产生更自然、韵律变化更丰富的语音,并且加权聚合在表达性建模方面更有优势。
2020-08-03 cs.SD eess.AS
Exploiting Deep Neural Networks and Head Movements for Robust Binaural Localisation of Multiple Sources in Reverberant Environments
University of Sheffield(谢菲尔德大学);Technical University of Denmark(丹麦技术大学)
本文提出了一种新的机器听觉系统,该系统利用深度神经网络(DNN)和头部运动,在混响环境中对多个声源进行稳健的双耳定位。DNN用于学习源方位角和双耳线索之间的关系,包括完整的互相关函数(CCF)和耳间水平差(ILD)。与许多以前的双耳听力系统相比,所提出的方法不限于在额半野中定位声源。由于双耳线索的相似性,在前半和后半场,前后混淆经常发生。为了解决这个问题,头部运动策略被纳入本地化模型,以帮助减少前后错误。所提出的DNN系统相比,高斯混合模型(GMM)为基础的系统,采用耳间时间差(ITDs)和ILD作为本地化功能。我们的实验表明,DNN能够利用CCF中的信息,而这些信息在ITD提示中不可用,这与头部运动一起大大提高了在具有挑战性的声学场景下的定位精度,其中存在多个说话者和房间混响。
2019-04-05 cs.SD eess.AS
Senone-aware Adversarial Multi-task Training for Unsupervised Child to Adult Speech Adaptation
Institute for Infocomm Research, A*STAR(资讯通信研究院,新加坡科技研究局)
儿童语音的声学建模是具有挑战性的,因为声道中的生理差异引起的高声学可变性。公开数据集的缺乏使这项任务更具挑战性。在这项工作中,我们提出了一种特征自适应方法,通过利用对抗性多任务训练来最大限度地减少成人和儿童语音之间senone(绑定三音素状态)水平的声学不匹配,并利用大量转录的成人语音。我们验证所提出的方法上的三个任务:儿童语音识别,儿童发音评估,和儿童流畅度分数预测。实证结果表明,我们提出的方法始终优于竞争基线,实现了7.7%的相对误差减少语音识别和高达25.2%的相对收益的评估任务。
2021-02-23 cs.AI cs.SD eess.AS
Hidden in the Noise: Unveiling Backdoors in Audio LLMs Alignment through Latent Acoustic Pattern Triggers
针对音频大语言模型(ALLM)的安全隐患,本文提出HIN后门攻击框架,构建AudioSafe基准,通过实验验证现有ALLM易受声学特征触发器攻击且该攻击隐蔽性强。
2025-11-18 cs.CL cs.SD eess.AS
Exploiting spatial diversity for increasing the robustness of sound source localization systems against reverberation
Centro de Investigación en Tecnologías Software y Sistemas Multimedia para la Sostenibilidad (CITSEM)(可持续软件技术与多媒体系统研究中心);Universidad Politécnica de Madrid(马德里理工大学)
本文提出利用空间分集提高声源定位系统在混响环境中的鲁棒性,通过理论分析和仿真(混响时间达2秒)及实测验证,证明多个充分分离的小阵列组合效果最佳,并给出阵列尺寸、间距及SRP-PHAT融合建议。
2024-02-09 cs.SD eess.AS eess.SP
Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging Features For Elderly And Dysarthric Speech Recognition
The Chinese University of Hong Kong(香港中文大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文提出跨领域和跨语言的A2A反演方法,利用超声舌成像数据生成发音特征,在老年和构音障碍语音识别中显著降低词或字符错误率,优于仅用声学特征的基线系统。
2023-06-22 cs.AI eess.AS
Jet noise characterization for advanced pipeline leak detection
Politecnico di Milano(米兰理工大学);Eni S.p.A.(埃尼公司)
管道运输系统中的泄漏检测是运营商严重关注的问题,他们追求资产的完整性,减少损失和预防环境危害。当压力管道中出现孔时,相应的流体泄漏的特征在于湍流和特殊的声学噪声,其特征还取决于孔本身的大小。这项研究表明,通过利用由离开管道的流体产生并由水听器内部记录的声学噪声(压力瞬变),或者通过考虑相应的振动(例如,加速度信号)沿管道的外壳传播。为此目的,已经使用多个校准喷嘴在燃料箱区域中的16 ID连接管道上进行了声学噪声产生的几个实验活动。提出了检测和分类程序,以控制泄漏的存在,并估计孔的大小,使用压力和振动信号。
2022-01-31 cs.LG cs.SD eess.AS
Waveform-based Voice Activity Detection Exploiting Fully Convolutional networks with Multi-Branched Encoders
在这项研究中,我们提出了一个编码器-解码器结构的系统,完全卷积网络直接在时域波形上实现语音活动检测(VAD)。所提出的系统处理输入波形以识别其片段是语音还是非语音。这种新的波形为基础的VAD算法,简称为“WVAD”,有两个主要特点。首先,与使用频谱特征的大多数传统VAD系统相比,WVAD中采用的原始波形包含更全面的信息,因此应该有助于更准确的语音/非语音预测。第二,基于多分支架构,WVAD可以通过使用编码器的集合(称为WEVAD)来扩展,其在话语中并入多个属性信息,并且因此可以针对指定的声学条件产生更好的VAD性能。我们在两个数据集上评估了WVAD和WEVAD的VAD任务:首先,在AURORA 2上进行的实验表明,WVAD优于许多最先进的VAD算法。接下来,TMHINT任务证实,通过组合话语中的多个属性,WEVAD的表现甚至比WVAD更好。
2020-06-19 eess.AS
Spatial Speech Perception Systems: A Survey of Sound Source Localization, Directional Enhancement, and Speech Recognition
University College London(伦敦大学学院)
本文综述了利用麦克风阵列进行声源定位、方向性增强和语音识别的空间语音感知系统,涵盖经典信号处理与学习方法,并讨论了鲁棒性、多说话人、实时性等挑战及应用。
2026-07-03 eess.AS