Empirical Evaluation of Speaker Adaptation on DNN based Acoustic Model
Northwestern Polytechnical University（西北工业大学）；Xiaomi（小米）
说话人自适应的目的是从一个与说话人无关的声学模型中估计出一个特定于说话人的声学模型，以最大限度地减少由于说话人变异而引起的训练条件和测试条件之间的不匹配。自从深度学习模型成为主流以来，人们提出了多种神经网络自适应方法。但是，仍然缺乏不同的方法之间的实验比较，特别是当基于DNN的声学模型已经取得了很大进展。在本文中，我们的目标是通过提供三个典型的说话人自适应方法：LIN，LHUC和KLD的实证评估，以缩小这一差距。在强TDNN-LSTM声学模型上进行了不同大小自适应数据的自适应实验。更具挑战性的是，本文所研究的源和目标是标准普通话说话人模型和带口音普通话说话人模型。我们比较了不同方法及其组合的性能。说话人的口音程度也是衡量说话人自适应性能的重要指标。
2018-10-25 cs.CL cs.SD eess.AS
Revisiting joint decoding based multi-talker speech recognition with DNN acoustic model
Brno University of Technology（布尔诺理工大学）；NTT Corporation（日本电信电话株式会社）
在典型的多说话者语音识别系统中，基于神经网络的声学模型预测每个说话者的senone状态后验。这些稍后由单独应用于每个说话者特定输出流的单说话者解码器使用。在这项工作中，我们认为，这样的计划是次优的，并提出了一个原则性的解决方案，解码所有扬声器联合。我们修改声学模型来预测所有扬声器的联合状态后验，使网络能够表达语音信号的部分扬声器的属性的不确定性。我们采用了一个联合解码器，可以利用这种不确定性与更高层次的语言信息。为此，我们重温解码算法中使用的阶乘生成模型在早期的多说话者语音识别系统。与这些早期的工作相比，我们用DNN代替了GMM声学模型，DNN提供了更大的建模能力并简化了部分推理。我们展示了联合解码的优势，在混合TIDIGITS数据集上的概念验证实验。
2022-04-15 cs.LG cs.SD eess.AS
Deep Neural Network based Distance Estimation for Geometry Calibration in Acoustic Sensor Networks
Paderborn University（帕德博恩大学）；FAU Erlangen-Nuernberg（埃尔朗根-纽伦堡大学）
我们提出了一种在混响室中基于深度神经网络（DNN）的距离估计方法，用于支持无线声学传感器网络中的几何校准任务。来自声学信号的信号扩散信息经由相干扩散功率比聚合以获得距离相关特征，该距离相关特征借助于DNN映射到源到麦克风距离估计。然后将这些信息与来自紧凑型麦克风阵列的到达方向估计相结合，以推断传感器网络的几何形状。与许多其他几何校准方法不同，所提出的方案只需要传感器节点的采样时钟大致同步。在模拟中，我们表明，建议的DNN为基础的距离估计推广到看不见的声学环境，并获得传感器节点位置的精确估计。
2020-06-24 cs.SD eess.AS
DNN-based Acoustic-to-Articulatory Inversion using Ultrasound Tongue Imaging
Universidad Industrial de Santander（桑坦德工业大学）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE Lendület舌部发音研究组）
语音是说话器官协调运动的结果。存在几种可用的方法来对发音运动和所得到的语音信号的关系进行建模。相反的问题通常被称为声学发音倒置（AAI）。在本文中，我们已经实现了几种不同的深度神经网络（DNN）来估计来自声学信号的发音信息。有几个以前的工作有关执行这项任务，但他们中的大多数是使用电磁关节造影（EMA）跟踪发音运动。与EMA相比，如果考虑到设备成本、便携性、安全性和可视化结构，超声舌成像（UTI）是一种成本效益更高的技术。看到这一点，我们的目标是训练DNN，以获得UT图像时，使用语音作为输入。我们还测试了两种方法来表示发音信息：1）EigenTongue空间和2）原始超声图像。作为一个客观的质量衡量重建的UT图像，我们使用MSE，结构相似性指数（SSIM）和复小波SSIM（CW-SSIM）。我们的实验结果表明，CW-SSIM是UTI上下文中最有用的错误度量。我们测试了三种不同的系统配置：a）由2个隐藏层组成的简单DNN，其中64 x64像素的UTI文件作为目标; b）相同的简单DNN，但将超声图像投影到EigenTongue空间作为目标; c）以及由5个隐藏层组成的更复杂的DNN，其中UTI文件投影到EigenTongue空间。在主观实验中，受试者发现具有两个隐藏层的神经网络更适合于这种反演任务。
2019-04-12 cs.SD eess.AS q-bio.TO
Contaminated speech training methods for robust DNN-HMM distant speech recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
尽管在过去几年中取得了显著的进步，但最先进的语音识别技术仅在近距离通话条件下提供令人满意的性能。另一方面，在恶劣的声学条件下的远距离语音识别的鲁棒性仍然是未来人机交互应用的关键问题。为此，在语音增强、声学场景分析以及声学建模方面的若干进展最近有助于提高该领域的最新技术水平。获得鲁棒声学建模的最有效方法之一是基于使用污染语音，这被证明有助于减少训练和测试条件之间的声学失配。在本文中，我们在现代DNN-HMM系统的背景下修改了这种经典方法，并提出了三种方法，即非对称上下文窗口，基于近距离对话的监督和基于近距离对话的预训练。使用真实和模拟数据获得的实验结果显示，使用这三种方法具有显着的优势，与基线系统相比，总体上降低了15%的错误率。使用小尺寸的高质量训练集和大尺寸的高质量训练集也证实了相同的性能趋势。
2017-10-10 cs.CL cs.SD eess.AS
Three-Module Modeling For End-to-End Spoken Language Understanding Using Pre-trained DNN-HMM-Based Acoustic-Phonetic Model
Ping An Technology（平安科技）；Yanshan University（燕山大学）
在口语语言理解（SLU）中，用户所说的话被转换为他/她的意图。最近关于端到端SLU的工作表明，可以通过预训练方法提高准确性。我们使用语音预训练和三模块建模重新审视Lugosch等人提出的想法;但是，为了简化端到端SLU模型的构建，我们使用来自DNN-HMM的开源声学语音模型作为音素模块混合自动语音识别（ASR）系统，而不是从头开始训练。因此，我们只对单词模块的语音进行微调，并在单词和意图模块上应用多目标学习（MTL）来共同优化SLU性能。MTL在意图分类出错率方面相对降低了40%（从1.0%降低到0.6%）。请注意，我们的三模块模型是一个流方法。所提出的三模块建模方法的最终结果在FluentSpeech上产生了99.4%的意图准确性，与Lugosch等人相比，意图出错率降低了50%。虽然我们专注于实时流方法，但我们也列出了非流方法进行比较。
2022-04-07 cs.CL cs.SD eess.AS
What Makes Codec Tokens Effective for Target Speaker Extraction? A Semantic-Acoustic Disentanglement Perspective
Wuhan University（武汉大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文针对目标说话人提取任务，提出任务感知的判别-生成框架，通过语义-声学解耦建模，在Libri2Mix数据集上将dWER从0.388降至0.118，同时保持良好感知质量与说话人一致性。
2026-10-14 cs.SD
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield（谢菲尔德大学）
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而，这些手工挑选的声学特征通常与识别没有明确的相关性。同时，基于深度神经网络（DNN）的自动语音识别器（ASR）在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明，该方法比目前广泛使用的基于短时客观可懂度（STOI）的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
DCTNet and PCANet for acoustic signal feature extraction
Duke University（杜克大学）；University of Oxford（牛津大学）
我们介绍了使用DCTNet，一个有效的近似和替代PCANet，声学信号分类。在PCANet中，局部样本协方差矩阵（PCA）的特征函数被用作卷积和特征提取的滤波器组。当特征函数被离散余弦变换（DCT）函数很好地近似时，PCANet和DCTNet的每一层本质上是一个时频表示。我们将DCTNet与短时傅立叶变换（STFT）、频谱图和线性频谱系数（LFSC）等谱特征表示方法相关联。鲸鱼发声数据的实验结果表明，DCTNet提高了分类率，证明了DCTNet的适用性，如水声信号处理问题。
2016-04-28 cs.LG cs.SD
Robust Acoustic Scene Classification using a Multi-Spectrogram Encoder-Decoder Framework
University of Kent（肯特大学）；Graz University of Technology（格拉茨理工大学）；University of Lubeck（吕贝克大学）；University of Science and Technology of China（中国科学技术大学）
本文提出了一种用于声学场景分类（ASC）的编码器-解码器网络模型，ASC的任务是从音频记录的声学签名中识别出音频记录的场景。我们在前端使用多个低级频谱图特征，通过训练有素的CNN-DNN前端编码器转换为更高级别的特征。然后，高级特征及其组合（经由经训练的特征组合器）被馈送到不同的解码器模型中，用于后端分类，所述解码器模型包括随机森林回归、DNN和专家的混合专家模型。我们报告了广泛的实验来评估该框架在各种ASC数据集上的准确性，包括LITIS Rouen和IEEE AASP声学场景和事件检测和分类挑战赛（DCASE）2016年任务1，2017年任务1，2018年任务1A和1B以及2019年任务1A和1B。实验结果突出了两个主要贡献;第一个是通过新颖的C-DNN架构编码器网络从多频谱图输入中进行高级特征提取的有效方法，第二个是所提出的解码器，该解码器使框架能够在各种数据集上实现有竞争力的结果。事实上，一个单一的框架是高度竞争的几个不同的挑战是一个指标，其鲁棒性执行一般ASC任务。
2020-02-11 cs.SD eess.AS
Exploring Gaussian mixture model framework for speaker adaptation of deep neural network acoustic models
University of Avignon（阿维尼翁大学）；STC-innovations Ltd（STC创新有限公司）
在本文中，我们研究了用于深度神经网络（DNN）声学模型自适应的GMM衍生（GMMD）特征。在GMMD特征上训练的DNN的适应是通过用于GMMD特征提取的辅助GMM模型的最大后验（MAP）适应来完成的。我们探讨融合的适应GMMD功能与传统的功能，如瓶颈和MFCC功能，在两个不同的神经网络架构：DNN和时间延迟神经网络（TDNN）。我们分析和比较不同类型的自适应技术，如i-向量和特征空间自适应技术的基础上最大似然线性回归（fMLLR）与建议的适应方法，并探讨其互补性，使用各种类型的融合，如特征级，后验级，格级和其他，以发现最佳的组合方式。在TED-LIUM语料库上的实验结果表明，所提出的自适应技术可以有效地集成到不同级别的DNN和TDNN设置中，并在识别性能方面提供额外的增益：相对于基于最大似然线性回归（fMLLR）说话者自适应DNN基线的强特征空间自适应技术，相对字错误率降低（WERR）高达6%，与在传统特征上训练的说话人独立（SI）DNN基线模型相比，相对WERR高达18%。对于TDNN模型，与SI基线相比，所提出的方法实现了高达26%的相对WERR，并且与通过使用i向量调整的模型相比，该方法实现了13%的相对WERR。从不同的角度对适应的GMMD特征进行分析，证明了它们在不同层次上的有效性。
2020-03-15 cs.CL cs.SD eess.AS
Exploring Feature Extraction Technique Parameters for Acoustic Gunshot Classification
Certus Innovations
本文系统研究了特征提取技术及其参数对声学枪声分类的影响，使用ResNet-18在23000条枪声数据集上评估，发现正确技术可提升top-1准确率20%，参数优化可再提升4.7%。
2026-06-19 cs.AI cs.SD
Deep Learning-Based Joint Control of Acoustic Echo Cancellation, Beamforming and Postfiltering
Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
我们介绍了一种新的方法，用于控制免提语音通信设备，其中包括基于模型的声学回声消除器（AEC），最小方差无失真响应（MVDR）波束形成器（BF）和频谱后置滤波器（PF）的功能。在AEC去除早期回波分量的同时，MVDR BF和PF抑制残余回波和背景噪声。作为关键创新，我们建议使用单个深度神经网络（DNN）来联合控制各种算法组件的自适应。这允许在存在高电平干扰双端通话的情况下快速收敛和高稳态性能。使用时域语音提取损失函数的DNN的端到端训练避免了单独控制策略的设计。
2022-08-10 cs.SD eess.AS
Deep Filtering: Signal Extraction and Reconstruction Using Complex Time-Frequency Filters
International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
从具有额外不期望信号的单通道混合信号中提取信号最常用时频（TF）掩模来执行。通常，利用深度神经网络（DNN）来估计掩模，并且逐元素地应用于复杂混合短时傅立叶变换（STFT）表示以执行提取。理想的掩模幅度对于TF仓中的单独不期望的信号为零，并且对于总的相消干涉为未定义的。通常，掩码有一个上限，以有限的提取能力为代价提供定义良好的DNN输出。我们提出用DNN估计每个混合TF箱的复TF滤波器，其将相应混合物中的STFT区域映射到期望的TF箱，以解决混合TF箱中的相消干扰。DNN通过最小化所提取的信号与地面实况期望信号之间的误差来优化，从而允许学习TF滤波器而不必指定地面实况TF滤波器。我们将我们的方法与复杂的和实值的TF掩码进行比较，通过从Google AudioSet语料库中分离出各种不同的声音和噪声类来分离语音。我们还处理混合STFT与陷波滤波器和零整个时间帧，模拟传输过程中的数据包丢失，证明我们的方法的重建能力。所提出的方法优于基线，特别是当陷波滤波器和时间帧归零。
2019-12-09 cs.SD eess.AS
Augmenting Bottleneck Features of Deep Neural Network Employing Motor State for Speech Recognition at Humanoid Robots
对于人形机器人，机器人在运动或晃动时，由于电机、风扇等机械部件产生的内部噪声严重影响了语音识别的准确性。提出了一种新的人形机器人语音识别系统，该系统利用电机的开/关状态作为辅助信息来寻找相关的输入特征。为此，我们考虑瓶颈特征，这些特征已成功应用于基于深度神经网络（DNN）的自动语音识别（ASR）系统。当学习要捕捉的瓶颈特征时，除了声学特征作为第一深度神经网络（DNN）的输入之外，我们首先利用电机开/关状态数据作为补充信息，用于初步的声学建模。然后，用于主要声学建模的第二DNN采用从第一DNN抛出的瓶颈特征和声学特征两者。在TIMIT数据库上进行音素出错率（PER）测试，实验结果表明，与传统系统相比，该算法有明显的提高（相对提高11%）。
2018-08-27 cs.AI cs.SD eess.AS
A two-stage speaker extraction algorithm under adverse acoustic conditions using a single-microphone
Bar-Ilan University（巴伊兰大学）；OriginAI
在这项工作中，我们提出了一个两阶段的方法，混响和噪声条件下的说话人提取。给定期望扬声器的参考信号，首先从噪声混合信号中提取干净但仍然混响的期望扬声器。在第二阶段中，通过联合去混响和残余噪声和干扰减少来进一步增强所提取的信号。所提出的架构包括两个子网络，一个用于提取任务，第二个用于去混响任务。我们提出了一个训练策略，这种架构，并表明，所提出的方法的性能是与其他国家的最先进的（SOTA）的方法时，适用于WHAMR！数据集。此外，我们提出了一个新的数据集更现实的不利的声学条件，并表明我们的方法优于竞争的方法时，应用到这个数据集以及。
2023-03-13 cs.SD eess.AS
End-to-End Classification of Reverberant Rooms using DNNs
Imperial College（帝国理工学院）；Queen Mary, University of London（伦敦大学玛丽女王学院）
混响存在于我们的工作场所、家庭、音乐厅和剧院。本文研究了深度学习如何利用混响对语音的影响，根据录音的房间对录音进行分类。文献中的现有方法依赖于领域专业知识来手动选择声学参数作为分类器的输入。从混响语音中估计这些参数会受到估计误差的不利影响，从而影响分类精度。为了克服以前提出的方法的局限性，本文展示了DNN如何通过直接对混响语音频谱进行操作来执行分类，并提出了一种具有注意力机制的CRNN。研究了由DNN学习的混响语音表示和声学参数之间的关系。为了进行评价，使用来自在7个真实房间中测量的ACE挑战数据集的AIR。在实验中，CRNN分类器在使用5小时的训练数据时的分类准确率为78%，在使用10小时的训练数据时的分类准确率为90%。
2020-11-01 cs.SD eess.AS
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution（马尔瓦迪教育基金会集团机构）
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清，加上身体受损，限制了他们的沟通，造成缺乏信心，影响了生活方式。本文试图提高自动语音识别（ASR）系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率，提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的，并测试了系统的性能。实验结果表明，采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化，在训练时间为5：30：17时，识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
Bandwidth-Scalable Fully Mask-Based Deep FCRN Acoustic Echo Cancellation and Postfiltering
Technische Universität Braunschweig（布伦瑞克工业大学）；GN Audio A/S（GN音频公司）
尽管当今的语音通信系统支持从窄带到超宽带以及更高的各种带宽，但是用于声学回声消除（AEC）的现有技术DNN方法缺乏模块化和带宽可扩展性。我们提出的DNN模型建立在全卷积递归网络（FCRN）的基础上，并在各种带宽上引入可扩展性，最高可达全频带（FB）系统（48 kHz采样率）。这种模块化方法允许对具有专用损耗的基于掩模的AEC和后置滤波器级进行联合宽带（WB）预训练，然后在FB数据上对它们进行单独训练。第三个轻量级盲带宽扩展级在FB数据上单独训练，灵活地允许将WB后置滤波器输出扩展到更高的带宽，直到达到FB。由此，能够可靠地抑制高频噪声和回波。在ICASSP 2022声学回声消除挑战盲测试集上，我们报告了具有竞争力的性能，即使在高度延迟的回声和动态回声路径变化下也显示出鲁棒性。
2022-11-07 cs.SD eess.AS
Investigation of Deep Neural Network Acoustic Modelling Approaches for Low Resource Accented Mandarin Speech Recognition
Key Laboratory of Human-Machine Intelligence-Synergy Systems, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院人机智能协同系统重点实验室）；Cambridge University Engineering Dept（剑桥大学工程系）；The Chinese University of Hong Kong（香港中文大学）
针对低资源多口音普通话识别，本文比较多种DNN声学建模方案，并提出显式利用口音信息的改进MLAN tandem HMM系统，使字错误率相对基线绝对降低0.8%至1.5%。
2024-06-14 cs.SD eess.AS
Time-Contrastive Learning Based DNN Bottleneck Features for Text-Dependent Speaker Verification
Aalborg University（奥尔堡大学）
本文提出了一种基于时间对比学习（TCL）的语音信号瓶颈（BN）特征提取方法，并将其应用于文本相关（TD）说话人确认（SV）。众所周知，语音信号在且仅在短时间间隔内表现出准稳态行为，TCL方法旨在利用这种时间结构。更具体地说，它训练深度神经网络（DNN）来区分通过均匀分割语音信号获得的时间事件，与现有的基于DNN的BN特征提取方法形成对比，现有的基于DNN的BN特征提取方法使用标记数据训练DNN来区分说话者或密码短语或音素或它们的组合。在说话人验证的上下文中，固定密码短语的语音数据用于TCL-BN训练，而用于TCL-BN训练的密码短语被排除用于SV，使得学习的特征可以被认为是通用的。该方法在RedDots Challenge 2016数据库上进行了评价。实验结果表明，TCL-BN在文本相关的说话人确认中优于现有的说话人和口令鉴别BN特征以及Mel倒谱系数特征。
2019-05-11 cs.LG cs.SD
Predicting EEG Responses to Attended Speech via Deep Neural Networks for Speech
Eriksholm Research Centre（埃里克肖尔姆研究中心）；Linköping University（林雪平大学）；University of Stuttgart（斯图加特大学）；Technical University of Denmark（丹麦技术大学）；Oticon A/S（奥迪康公司）
在多说话者环境中关注感兴趣的语音流可能是一项具有挑战性的任务，特别是对于有听力障碍的听众。研究表明，用脑电图（EEG）评估的神经反应受到听者听觉注意的调制，揭示了对被关注语音的选择性神经跟踪（NT）。NT方法主要依赖于手工设计的声学和语言语音特征来预测神经反应。直到最近，没有特定语言信息的深度神经网络（DNN）模型才被用于提取NT的语音特征，这表明分层DNN层中的语音特征可以预测整个听觉通路的神经反应。在这项研究中，我们进一步研究了类似的DNN模型对语音的适用性，以预测EEG中观察到的竞争语音的神经反应。我们使用64通道采集系统记录了17名听力正常的听众的EEG数据，这些听众被指示参加两个竞争性谈话者之一。我们的数据显示，DNN提取的语音特征比手工设计的声学特征更能预测EEG反应。此外，对分层DNN层的分析表明，早期的层产生了最高的预测。此外，我们发现使用DNN提取的语音特征比使用手工设计的声学特征在听觉注意力分类准确性上有显着提高。这些发现为开发新的NT措施以评估和进一步推进听力技术开辟了新的途径。
2023-02-27 cs.HC cs.SD eess.AS
NeuralKalman: A Learnable Kalman Filter for Acoustic Echo Cancellation
Tencent AI Lab（腾讯AI实验室）
针对声学回声消除中卡尔曼滤波器无法建模非线性和参数调整困难的问题，本文提出NeuralKalman混合方法，用深度神经网络估计非线性信号和状态方程参数，显著提升FDKF性能并超越强基线。
2023-12-26 cs.SD eess.AS
Informed Source Extraction With Application to Acoustic Echo Reduction
International Audio Laboratories（国际音频实验室）
知情说话人提取的目的是从混合源中提取目标语音信号，给出关于所需说话人的先验知识。最近的基于深度学习的方法利用说话者判别模型，该模型将目标说话者发出的参考片段映射到封装目标说话者特征的单个嵌入向量中。然而，这种建模故意忽略了参考信号的时变特性。在这项工作中，我们假设一个参考信号是可用的，是时间相关的目标信号。为了考虑到这种相关性，我们提出了一个时变源判别模型，捕获的参考信号的时间动态。我们还表明，现有的方法和所提出的方法可以推广到非语音源以及。实验结果表明，所提出的方法显着提高提取性能时，应用在声学回声减少的情况下。
2021-10-26 cs.AI cs.SD eess.AS
Syllable based DNN-HMM Cantonese Speech to Text System
The Hong Kong Polytechnic University（香港理工大学）
本文构建了基于音节声学模型的粤语语音转文本系统，采用 DNN-HMM 混合模型与 I-vector 说话人自适应技术，实验表明基于 ONC 的声学建模取得了 9.66% 词错率的最佳性能。
2024-02-13 cs.CL cs.SD eess.AS
W-Net BF: DNN-based Beamformer Using Joint Training Approach
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）
声学波束形成器已被广泛用于增强音频信号。目前最好的方法是广义特征值波束形成器的DNN动力变体，以及直接计算波束形成滤波器的基于DNN的滤波估计方法。这两种方法虽然有效，但在普遍性方面都有盲点。我们提出了一种新的方法，将这两种方法结合到一个单一的框架，试图利用两者的最佳功能。由此产生的模型，称为W-Net波束形成器，包括两个组件：第一个计算噪声屏蔽的参考，第二个使用估计波束形成滤波器。包括各种各样的房间和噪声条件，包括静态和移动噪声源的数据的结果表明，所提出的波束形成器优于其他方法在所有测试的评估指标。
2020-02-29 cs.SD eess.AS
Comparative Evaluation of Acoustic Feature Extraction Tools for Clinical Speech Analysis
Department of Psychiatry（精神病学系）；Linguistic Data Consortium, Department of Linguistics（语言数据联盟，语言学系）
本研究比较了 OpenSMILE、Praat 和 Librosa 在精神分裂症谱系障碍与健康对照临床语音分析中的一致性，发现工具间差异显著，并识别出 F0 均值、HNR 和 MFCC1 为有效判别特征，呼吁标准化与交叉验证。
2025-08-17 cs.SD eess.AS
An Features Extraction and Recognition Method for Underwater Acoustic Target Based on ATCNN
College of Automation, Harbin Engineering University（哈尔滨工程大学自动化学院）；College of Business, Anshan Normal University（鞍山师范学院商学院）
面对复杂的海洋环境，利用舰船辐射噪声进行水声目标识别具有极大的挑战性。受听觉感知神经机制的启发，提出了一种基于深度可分离卷积（DWS）和时间扩张卷积神经网络的水声信号深度训练神经网络--听觉感知启发的时间扩张卷积神经网络（ATCNN），实现了水声信号的检测和分类。ATCNN模型由受听觉感知启发的可学习特征提取器和集成层以及受语言模型启发的时间扩张卷积组成。本文采用深度可分离卷积滤波器将原始时域舰船辐射噪声信号分解为不同的频率分量，然后提取基于听觉感知的信号特征。深度特征在集成层上集成。时间扩张卷积用于长期上下文建模。因此，像语言模型一样，类内和类间信息可以充分用于UATR。对于UATR任务，分类正确率达到90.9%，是对比实验中最高的。实验结果表明，ATCNN在提高UATR分类性能方面具有很大的潜力。
2020-11-29 cs.SD eess.AS
Speaker-Invariant Training via Adversarial Learning
Microsoft AI and Research（微软人工智能与研究部）
我们提出了一种新的对抗性多任务学习方案，旨在主动减少说话者间的特征变异性，同时最大化其senone可区分性，以提高基于深度神经网络（DNN）的ASR系统的性能。我们称该方案为说话人不变训练（SIT）。在SIT中，DNN声学模型和说话人分类器网络被联合优化，以最小化senone（绑三音子状态）分类损失，同时最小化说话人分类损失。通过这种对抗性多任务学习，学习了说话人不变和senone区分的深度特征。使用SIT，可以学习输出概率方差显著降低的规范DNN声学模型，而无需在训练或测试中使用显式的说话者独立（SI）变换或特定于说话者的表示。在CHiME-3数据集上进行评估，SIT比传统的SI声学模型实现了4.99%的相对字错误率（WER）改善。通过额外的无监督说话人自适应，说话人自适应（SA）SIT模型比SA SI声学模型实现了4.86%的相对WER增益。
2019-04-30 cs.AI cs.CL cs.SD
Unsupervised Feature Learning Based on Deep Models for Environmental Audio Tagging
University of Surrey（萨里大学）；Queen Mary University of London（伦敦玛丽女王大学）
环境音频标记的目的是预测感兴趣的声学场景中某些声学事件的存在或不存在。本文主要从声学建模和特征学习两个方面对音频标注进行研究。我们建议使用一个包含无监督特征学习的收缩深度神经网络（DNN）框架来处理多标签分类任务。对于声学建模，考虑到只有块（或话语）级而不是帧级标签可用，将块的大的上下文帧集合馈送到DNN中以对预期标签执行多标签分类。为了提高DNN的泛化能力，还采用了丢弃和背景噪声感知训练。对于无监督特征学习，我们建议使用对称或非对称深度去噪自动编码器（sDAE或aDAE）从Mel滤波器组（MFB）特征中生成新的数据驱动特征。这些新特征对背景噪声进行了平滑处理，并且与上下文信息更加紧密，可以进一步提高DNN基线的性能。与DCASE 2016音频标记挑战的标准高斯混合模型（GMM）基线相比，我们提出的方法在开发集上获得了从0.21到0.13的显著相等出错率（EER）降低。与开发集上的强DNN基线相比，所提出的aDAE系统可以获得相对6.7%的EER降低。最后，结果还表明，我们的方法在DCASE 2016音频标注任务的评估集上获得了最先进的性能，EER为0.15，而该挑战赛的一等奖EER为0.17。
2016-11-29 cs.CV cs.LG cs.SD
Spatial Diffuseness Features for DNN-Based Speech Recognition in Noisy and Reverberant Environments
我们提出了一种用于基于深度神经网络（DNN）的自动语音识别的空间扩散特征，以提高混响和噪声环境中的识别精度。该特征是从多个麦克风信号实时计算的，而不需要知道或估计到达方向，并且表示每个时间和频率区间中的扩散噪声的相对量。结果表明，使用扩散功能作为一个额外的输入到一个基于DNN的声学模型导致减少字出错率的REVERB挑战语料库，无论是相比logmelspec功能提取的噪声信号，和功能增强谱减法。
2015-02-16 cs.CL cs.NE cs.SD
Singing voice synthesis based on convolutional neural networks
Techno-Speech, Inc.（Techno-Speech公司）；Nagoya Institute of Technology（名古屋工业大学）
本文描述了一种基于卷积神经网络（CNN）的歌唱声合成方法。目前正在提出基于深度神经网络（DNN）的歌唱声音合成系统，并且正在提高合成歌唱声音的自然度。在这些系统中，乐谱特征序列和从歌唱声音中提取的声学特征序列之间的关系由DNN建模。然后，通过训练的DNN以帧为单位输出任意乐谱的声学特征序列，并且通过使用参数生成算法来获得歌唱声音的自然轨迹。由于歌唱声音包含丰富的表达，需要一种强大的技术来准确地建模它们。在所提出的技术中，歌唱声音的长期依赖性由CNN建模。以由长期帧组成的段为单位生成声学特征序列，并且在没有参数生成算法的情况下获得自然轨迹。主观听觉测试的实验结果表明，所提出的架构可以合成自然发声的歌声。
2019-06-25 cs.LG cs.SD eess.AS
Hybrid AHS: A Hybrid of Kalman Filter and Deep Learning for Acoustic Howling Suppression
Tencent AI Lab（腾讯人工智能实验室）；Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
针对深度学习 AHS 中离线训练与流式推理不匹配的问题，提出融合 Kalman 滤波器与 SARNN 的混合框架，在仿真和真实数据上均取得优于基线的啸叫抑制效果。
2023-05-04 cs.SD eess.AS
Improving End-To-End Modeling for Mispronunciation Detection with Effective Augmentation Mechanisms
National Taiwan Normal University（台湾师范大学）
近年来，端到端（E2 E）模型，它允许采取的频谱向量序列的第二语言（第二语言）学习者的话语作为输入，并产生相应的音素级序列作为输出，引起了研究的关注，在开发的发音错误检测（MD）系统。然而，由于缺乏足够的L2扬声器的标记语音数据用于模型估计，E2 E MD模型相对于建立在DNN-HMM声学模型上的传统模型容易过拟合。为了缓解这一关键问题，我们在本文中提出了两种建模策略，以提高E2 E MD模型的区分能力，每一种都可以隐式地利用编码在预训练声学模型中的语音和音韵特征，并分别包含在训练数据的参考转录本中。第一个是输入增强，其目的是从DNN-HMM声学模型中提取有关语音识别的知识。第二种是标签增强，它设法从训练数据的转录本中捕获更多的语音模式。在L2-ARCTIC英语数据集上进行的一系列实证实验似乎证实了我们的E2 E MD模型与一些顶级E2 E MD模型和基于DNN-HMM声学模型的经典发音评分方法相比的有效性。
2021-10-17 cs.AI cs.SD eess.AS
A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer
Georgia Institute of Technology（佐治亚理工学院）；University of Enna Kore（恩纳 Kore 大学）
我们提出了一种变分贝叶斯（VB）方法来学习深度神经网络（DNN）模型中的潜变量分布，以解决训练和测试条件之间的声学不匹配问题。而不是在传统的最大后验估计中进行点估计，在估计大量的模型参数时存在维数灾难的风险，我们将注意力集中在通过VB推理框架估计可管理的DNN潜变量数量上。为了实现模型转移，从源域学习的知识被编码在潜在变量的先验分布中，并且在贝叶斯意义上与来自目标域的一小组自适应数据进行最佳组合，以近似对应的后验分布。声学场景分类中设备自适应的实验结果表明，我们提出的VB方法可以在目标设备上获得很好的改进，并始终优于13个最先进的知识转移算法。
2022-02-20 cs.AI cs.LG cs.NE
Learning Filterbanks for End-to-End Acoustic Beamforming
Università Politecnica delle Marche（马尔凯理工大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
最近的工作单声道源分离表明，性能可以通过使用短窗口的完全学习滤波器组来提高。另一方面，众所周知，对于常规波束成形技术，性能随着长分析窗口而增加。这也适用于依赖于深度神经网络（DNN）来估计空间协方差矩阵的大多数混合神经波束成形方法。在这项工作中，我们试图弥合这两个世界之间的差距，并探索完全端到端的混合神经波束形成，其中，而不是使用短时傅里叶变换，分析和合成滤波器组也与DNN共同学习。详细地说，我们探讨了两种不同类型的学习滤波器组：完全学习和分析。我们使用最近的清晰度挑战数据进行了详细的分析，并表明通过使用学习滤波器组，有可能超过基于预言掩码的短窗口波束成形。
2022-02-19 cs.LG cs.SD eess.AS
SonicSieve: Bringing Directional Speech Extraction to Smartphones Using Acoustic Microstructures
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）
SonicSieve通过生物启发式声学微结构在智能手机上实现定向语音提取，提升信号质量并优于传统麦克风阵列。
2026-02-11 cs.HC cs.LG cs.SD
Attentive Adversarial Learning for Domain-Invariant Training
Microsoft Corporation（微软公司）
对抗性域不变训练（ADIT）被证明可以有效地抑制声学建模中的域可变性的影响，并提高了自动语音识别（ASR）的性能。在ADIT中，辅助域分类器从深度神经网络（DNN）声学模型中获取等权重的深度特征，并通过优化对抗性损失函数来训练辅助域分类器以提高其域不变性。在这项工作中，我们提出了一个专注的ADIT（AADIT），在其中，我们提出了一个注意力机制的域分类器自动加权输入的深度功能，根据其在域分类的重要性。通过这种精心的重新加权，AADIT可以专注于更容易受到域变化影响的语音成分的域标准化，并生成具有ADIT改进的域不变性和句音区分度的深度特征。最重要的是，注意力块仅作为DNN声学模型的外部组件，不参与ASR，因此AADIT可用于改进任何DNN架构的声学建模。更一般地说，相同的方法可以通过辅助鉴别器改进任何对抗学习系统。在CHiME-3数据集上进行评估，AADIT在多条件模型和强ADIT基线上分别实现了13.6%和9.3%的相对WER改进。
2019-04-28 cs.CL cs.LG cs.SD
Exploring Optimal DNN Architecture for End-to-End Beamformers Based on Time-frequency References
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）
声学波束形成器已被广泛用于增强音频信号。目前，最好的方法是广义特征值和最小方差无失真响应波束形成器的深度神经网络（DNN）变体，以及用于直接计算波束形成滤波器的基于DNN的滤波器估计方法。这两种方法都是有效的;然而，它们在普遍性方面存在盲点。因此，我们提出了一种新的方法，将这两种方法结合到一个单一的框架中，试图利用两者的最佳功能。由此产生的模型称为W-Net波束形成器，包括两个组件;第一个组件计算时频参考，第二个组件用于估计波束形成滤波器。包括各种各样的房间和噪声条件，包括静态和移动噪声源的数据的结果表明，所提出的波束形成器优于其他方法的所有测试的评估指标，这意味着所提出的架构允许有效的计算的波束形成滤波器。
2020-08-11 cs.SD eess.AS
SoundCompass: Navigating Target Sound Extraction With Effective Directional Clue Integration In Complex Acoustic Scenes
SoundCompass通过整合SPIN模块、SH嵌入和CoI策略，有效提取复杂声学场景中的目标声音。
2026-01-27 cs.AI cs.SD eess.AS
Analysis Acoustic Features for Acoustic Scene Classification and Score fusion of multi-classification systems applied to DCASE 2016 challenge
Korea University（高丽大学）；Office of Naval Research（美国海军研究办公室）
本文描述了一种声学场景分类方法，该方法在2016年IEEE AASP挑战声学场景和事件的检测和分类中获得了第四名的成绩。为了完成后续的任务，本文从特征提取、特征变换和得分融合三个方面进行了研究。在特征提取部分，研究了几种有效的声场景分类特征。为了解决同一个声音在不同的地方可以听到的问题，一个特征变换应用于更好地分离分类。从这些，几个系统的基础上不同的功能集设计分类。最终的结果是通过融合各个系统来确定的。通过使用挑战数据库进行的实验证明和验证了该方法。
2018-07-13 cs.SD eess.AS
Do WaveNets Dream of Acoustic Waves?
University of Illinois（伊利诺伊大学）
各种消息来源都报道了WaveNet深度学习架构能够生成高质量的语音，但据我们所知，还没有关于训练WaveNet的解释或可视化的研究。本研究探讨了WaveNet理解语音的可能性，通过无监督地学习在其感受野的语音信号的声学上有意义的潜在表示，我们还试图解释的机制，其中的特征提取进行。通过对激活和已知声学特征的奇异值分解和线性回归分析，（例如F0），关键发现是（1）在较高层中的激活与光谱特征高度相关;（2）WaveNet显式地执行音高提取，尽管被训练为直接预测下一个音频样本，以及（3）为了进行所述特征分析，潜在信号表示在基带和宽带分量之间来回转换。
2018-02-23 cs.NE cs.SD
Neural Kalman Filters for Acoustic Echo Cancellation
Technische Universität Braunschweig（布伦瑞克工业大学）；Carl von Ossietzky University Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）；GN Audio A/S（GN音频公司）
本文研究了利用深度神经网络支持频域自适应卡尔曼滤波器（FDKF）以克服噪声协方差估计限制，在相同框架下对比了多种神经卡尔曼滤波变体，证明其实现了更快的收敛、更好的回声消除及双讲语音保留。
2025-01-22 cs.SD eess.AS
IsoNet: Face-Guided Speech Extraction for Compact Microphone Arrays
Department of Electronics and Computer Engineering, Thapathali Campus, Institute of Engineering, Tribhuvan University（电子与计算机工程系，Thapathali校区，工程学院，塔波胡万大学）
IsoNet通过结合多通道STFT特征、GCC-PHAT空间线索和面部条件视觉嵌入，实现了在紧凑麦克风阵列上的目标语音提取，其在复杂声学环境中的性能优于传统方法。
2026-10-30 cs.LG cs.SD
Improving Trajectory Modelling for DNN-based Speech Synthesis by using Stacked Bottleneck Features and Minimum Generation Error Training
University of Edinburgh（爱丁堡大学）
我们提出了两种新的技术--堆叠瓶颈特征和最小生成错误训练标准--来提高基于深度神经网络（DNN）的语音合成的性能。这些技术解决了当前典型的基于DNN的合成框架内的逐帧独立性和忽略静态和动态特征之间的关系的相关问题。堆叠瓶颈特征，这是一个声学通知的语言表示，提供了一种有效的方法，包括在输入更详细的语言背景。最小生成误差训练准则最小化跨话语的总体输出轨迹误差，而不是独立地最小化每帧的误差，并且因此考虑静态和动态特征之间的相互作用。这两种技术可以很容易地结合起来，以进一步提高性能。我们提出了客观和主观的结果，证明了所提出的技术的有效性。主观结果表明，将这两种技术相结合，可以产生比传统DNN或长短期记忆（LSTM）递归神经网络（RNN）系统更自然的合成语音。
2016-04-05 cs.CL cs.NE cs.SD
User Environment Detection with Acoustic Sensors Embedded on Mobile Devices for the Recognition of Activities of Daily Living
Instituto de Telecomunicações, Universidade da Beira Interior（贝拉内政大学电信研究所）；Altranportugal（Altran葡萄牙公司）；Universidade da Beira Interior（贝拉内政大学）；Universidade Lusófona de Humanidades e Tecnologias（卢索福纳人文与技术大学）；Universidad de Alicante（阿利坎特大学）
用户所处环境的检测对于日常生活活动（ADL）的识别具有极端用途。ADL可以通过使用在许多现成的移动设备中可用的传感器来识别，包括磁性和运动，并且环境也可以使用声学传感器来识别。本文的研究分为两个部分：首先，我们讨论了使用声传感器（即，麦克风），其次，我们将该信息与运动和磁传感器融合（即，运动和磁传感器）用于识别日常生活的站立活动。使用模式识别技术进行环境和ADL的识别，以开发包括数据采集、数据处理、数据融合和人工智能方法的系统。本研究所探讨的人工智能方法是由不同类型的人工神经网络（ANN）所组成，比较不同类型的ANN并选择最佳方法在系统开发的不同阶段实施。结论指出，使用具有归一化数据的深度神经网络（DNN）识别ADL的准确率为85.89%，使用具有非归一化数据的前馈神经网络识别环境的准确率为86.50%，使用具有归一化数据的DNN识别站立活动的准确率为100%。
2017-10-31 cs.SD eess.AS physics.data-an
Cross-Utterance Language Models with Acoustic Error Sampling
Cambridge University（剑桥大学）
如何有效地利用语言模型中丰富的上下文信息是自动语音识别的一个长期研究课题。本文提出了一种跨话语LM（CULM），它通过使用提取网络从过去和未来话语中获得上下文向量来增加标准长短期记忆（LSTM）LM的输入。提取网络使用另一个LSTM将周围的话语编码成向量，这些向量使用LSTM最终隐藏状态的投影或多头自关注层集成到上下文向量中。此外，提出了一种声学误差采样技术，以减少训练和测试时间之间的不匹配。这是通过将可能的ASR错误考虑到模型训练过程中来实现的，并且因此可以改善字出错率（WER）。在AMI和Switchboard数据集上进行的实验表明，CULM优于LSTM LM基线WER。特别是，CULM与自我关注的基于层的提取网络和声学误差采样实现了0.6%的绝对WER减少AMI，0.3%的WER减少交换机部分和0.9%的WER减少Eval2000测试集的Callhome部分在各自的基线。
2020-08-19 cs.CL cs.LG cs.SD
Transfer Learning from Adult to Children for Speech Recognition: Evaluation, Analysis and Recommendations
University of Southern California（南加利福尼亚大学）
儿童语音识别是具有挑战性的，主要是由于儿童的身体和发音特征和表达的固有高度可变性。由于儿童生活中快速变化的发展阶段，这种变化表现在声学结构和语言使用上。部分挑战是由于缺乏大量可用的儿童语音数据进行有效建模。本文试图在深度神经网络（DNN）框架下，利用从成人模型到儿童模型的迁移学习，解决儿童自动语音识别（ASR）任务在多个儿童语音语料库上的大词汇量评估的关键挑战。本文提出了一个系统的和广泛的分析建议迁移学习技术考虑到影响儿童的语音识别从以前的文献的关键因素。评估（i）早期GMM-HMM和较新的DNN模型的比较，（ii）标准自适应技术与迁移学习的有效性，（iii）各种自适应配置在解决儿童语音中存在的变化方面，（a）声学频谱变化，（b）发音变化和语言约束。我们的分析涵盖了（i）DNN模型参数的数量（用于适应），（ii）适应数据的数量，（iii）儿童的年龄，（iv）年龄依赖-独立适应。最后，我们提供了建议（i）在各种上述分析参数的有利策略，和（ii）潜在的未来研究方向和相关的挑战/问题，坚持在DNN为基础的ASR儿童的语音。
2018-05-08 cs.CL cs.SD eess.AS
Binaural Signal Representations for Joint Sound Event Detection and Acoustic Scene Classification
Tampere University（坦佩雷大学）
声音事件检测和声学场景分类是两个被广泛研究的音频任务，是声景物分析研究的重要组成部分。考虑到声音事件和声学场景之间的共享信息，联合执行这两项任务是复杂机器收听系统的自然部分。在本文中，我们研究了几种空间音频特征在训练执行SED和ASC的联合深度神经网络（DNN）模型中的有用性。实验进行两个不同的数据集，包含双耳录音和同步的声音事件和声学场景标签，以分析单独或联合执行SED和ASC之间的差异。所提出的结果表明，使用特定的双耳功能，主要是广义互相关相位变换（GCC-PHAT）和正弦和余弦的相位差，导致在单独的和联合的任务相比，基线方法的基础上logmel能量只有一个更好的表现模型。
2022-09-13 cs.CV cs.LG cs.SD
Distributed Microphone Speech Enhancement based on Deep Learning
Yuan Ze University（元智大学）；National Chi Nan University（国立暨南国际大学）
语音相关应用在复杂噪声环境中的性能较差。因此，本研究主要通过引入基于应用于分布式麦克风架构的深度神经网络（DNN）的语音增强（SE）系统来解决这个问题，然后研究三种不同的DNN模型结构的有效性。第一个系统为每个麦克风构建DNN模型，以增强记录的嘈杂语音信号，第二个系统将所有嘈杂的记录组合成一个大的特征结构，然后通过DNN模型进行增强。对于第三种系统，首先使用通道相关的DNN来增强相应的噪声输入，并且将所有通道增强的输出馈送到DNN融合模型中以构建几乎干净的信号。所有三个DNN SE系统都在扩散噪声场环境中的语音信号的声学频域中操作。在台湾普通话噪声听力测试（TMHINT）数据库上进行了评估实验，结果表明，所有三个基于DNN的SE系统都提供了具有改善的语音质量和可懂度的原始噪声污染信号，而第三个系统提供了最高的信噪比（SNR）改善和最佳的语音可懂度。
2020-05-24 cs.LG cs.SD eess.AS
A Novel Transfer Learning Method Utilizing Acoustic and Vibration Signals for Rotating Machinery Fault Diagnosis
South China University of Technology（华南理工大学）
针对旋转机械故障诊断中训练与实际数据分布差异导致性能下降的问题，提出一种利用声学和振动信号结合MAVgram特征融合与DNN分类器的迁移学习方法，通过预训练与微调提升诊断性能。
2023-10-20 cs.AI cs.SD eess.AS
A Comparative Re-Assessment of Feature Extractors for Deep Speaker Embeddings
University of Eastern Finland（东芬兰大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
现代自动说话人验证在很大程度上依赖于在梅尔频率倒谱系数（MFCC）特征上训练的深度神经网络（DNN）。虽然有基于相位，韵律和长期时间操作的替代特征提取方法，但它们尚未被基于DNN的方法广泛研究。我们的目标是通过对VoxCeleb和SITW数据集上的14个特征提取器进行广泛的重新评估来填补这一空白。我们的研究结果表明，配备频谱质心，群延迟函数和综合噪声抑制等技术的功能为深层说话人嵌入提取提供了有前途的替代方案。实验结果表明，等错误率（EER）相对于基线降低了16.3%（VoxCeleb）和25.1%（SITW）。
2020-07-30 cs.LG cs.SD eess.AS
On Architectures and Training for Raw Waveform Feature Extraction in ASR
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
随着基于神经网络的建模在自动语音识别（ASR）中的成功，许多研究直接基于原始波形来研究声学建模和特征提取器的学习。最近，一系列研究集中在仅音频数据的特征提取器的无监督预训练上，以提高下游ASR性能。在这项工作中，我们调查的有用性，这些前端框架之一，即wav2vec，在没有额外的未转录数据的混合ASR系统的设置。我们将此框架与手动定义的标准Gammatone特征集以及作为ASR系统训练监督的声学模型的一部分提取的特征进行比较。我们研究了使用预训练的特征提取器的好处，并探索如何额外利用使用不同特征训练的现有声学模型。最后，我们系统地研究所描述的功能的组合，以进一步提高性能。
2021-10-05 cs.CL cs.LG cs.SD
In-filter Computing For Designing Ultra-light Acoustic Pattern Recognizers
Indian Institute of Science（印度科学理工学院）；Washington University in St. Louis（圣路易斯华盛顿大学）
我们提出了一种新的滤波器内计算框架，可用于设计用于智能物联网（IoT）的超轻型声学分类器。不同于传统的声学模式识别器，其中的特征提取和分类是独立设计的，所提出的架构集成的卷积和非线性滤波操作直接到一个支持向量机（SVM）的内核。这种集成的结果是基于模板的SVM，其内存和计算占用（训练和推理）足够轻，可以在基于FPGA的物联网平台上实现。虽然所提出的滤波器内计算框架足够通用，但在本文中，我们使用基于声学特征提取算法的级联非对称谐振器与内毛细胞（CAR-IHC）来证明这一概念。整个系统已优化使用时间复用和并行流水线技术的Xilinx斯巴达7系列现场可编程门阵列（FPGA）。我们表明，该系统仅使用约1.5k个查找表（LUT）和约2.8k个触发器（FF）就可以在基准声音识别任务中实现稳健的分类性能，这比其他方法有显着改进。
2021-09-11 cs.LG cs.NE cs.SD
