Crafting Adversarial Examples For Speech Paralinguistics Applications
University of Notre Dame(圣母大学)
计算语言学分析越来越多地用于广泛的网络应用,包括安全敏感的应用,如说话人验证,欺骗性语音检测和医疗诊断。虽然最先进的机器学习技术,如深度神经网络,可以提供强大而准确的语音分析,但它们容易受到对抗攻击的影响。在这项工作中,我们提出了一个端到端的方案,通过直接扰动音频记录的原始波形而不是特定的声学特征来生成用于计算语言学应用的对抗性示例。我们的实验表明,所提出的对抗性扰动可能会导致最先进的深度神经网络的性能显著下降,而对音频质量的影响微乎其微。
2019-01-11 cs.CR cs.LG cs.SD
End-to-end Ensemble-based Feature Selection for Paralinguistics Tasks
Aalto University(阿尔托大学)
近年来的事件突出了远程医疗解决方案的重要性,这种解决方案有可能实现远程治疗和诊断。相关的,计算副语言学,语音处理的一个独特的子领域,旨在提取有关说话者的信息,并形成远程医疗应用的重要组成部分。在这项工作中,我们专注于两个语言学问题:口罩检测和呼吸状态预测。为这些任务开发的解决方案可能是无价的,并有可能帮助监测和限制COVID-19等病毒的传播。目前为这些任务提出的最先进的方法是基于深度神经网络(如ResNets)与特征工程相结合的集成。虽然这些集成可以实现高精度,但它们也具有较大的占地面积,并且需要大量的计算能力,从而降低了对具有有限资源的设备的可移植性。这些缺点还意味着,先前提出的解决方案由于其尺寸和速度而不可行用于远程医疗系统中。另一方面,采用较轻的功能设计系统可能很费力,并增加了进一步的复杂性,使其难以快速创建可部署的系统。这项工作提出了一种基于集成的自动特征选择方法,使快速和内存效率的系统的发展。特别是,我们提出了一种基于输出梯度的方法,在训练一个较小的集合之前,使用大的,性能良好的集合来发现基本特征。在我们的实验中,我们观察到使用基于输出梯度特征的神经网络集成可以显著减少(25-32%)推理时间。我们的方法提供了一种简单的方法来提高系统的速度,并实现实时使用,同时使用所有光谱特征保持具有竞争力的结果。
2022-10-28 cs.SD eess.AS
Aalto's End-to-End DNN systems for the INTERSPEECH 2020 Computational Paralinguistics Challenge
Aalto University(阿尔托大学)
端到端神经网络模型(E2E)在不同的INTERSPEECH ComparE任务上表现出显著的性能优势。以前的工作要么应用E2E模型的单个实例的任务或相同的E2E架构的不同任务。然而,应用单个模型是不稳定的,或者使用相同的体系结构,而没有充分利用特定于任务的信息。在ComparE 2020任务中,我们研究了应用E2E模型的集合来实现强大的性能,并为每个任务开发特定于任务的修改。ComparE 2020引入了三个子挑战:呼吸子挑战,用于预测患者在说话时佩戴的呼吸带的输出;老年子挑战,用于估计老年说话者的唤醒和效价水平;以及面罩子挑战,用于分类说话者是否佩戴面罩。在这些任务中的每一个上,集成都优于单个E2E模型。在呼吸子挑战中,我们研究了多损失策略对任务绩效的影响。在老年子挑战中,预测效价和唤醒水平促使我们研究多任务训练并实施数据采样策略来处理类不平衡。在掩模子挑战中,使用没有功能工程的E2E系统与功能工程基线相比具有竞争力,并且在与功能工程基线相结合时提供了大量收益。
2020-08-06 cs.LG cs.SD eess.AS
Paralinguistic Emotion-Aware Validation Timing Detection in Japanese Empathetic Spoken Dialogue
本文提出了一种结合语音和情感信息的模型,用于检测日语共情口语对话中的验证时机,通过自监督学习和多任务训练提升验证时机检测的准确性。
2026-03-10 cs.SD
Paralinguistics-Aware Speech-Empowered Large Language Models for Natural Conversation
Seoul National University(首尔大学);NAVER Cloud(NAVER云);Artificial Intelligence Institute, Seoul National University(首尔大学人工智能研究院);NAVER AI Lab(NAVER人工智能实验室)
针对基于LLM的口语对话建模策略缺失问题,提出统一口语对话模型USDM,无需显式ASR/TTS系统,通过融入韵律的语音-文本模型及通用预训练方案,在DailyTalk数据集上生成自然口语响应,性能优于基线。
2024-11-28 cs.CL cs.SD eess.AS
Advancing Audio Emotion and Intent Recognition with Large Pre-Trained Models and Bayesian Inference
Aalto University(阿尔托大学)
本研究利用大型预训练模型和贝叶斯推断,在ACM多媒体副语言挑战赛中通过多模态融合和贝叶斯层提升音频情感与意图识别性能,分别达到85.4%和60.2%的UAR及0.614的rho值。
2023-10-16 cs.SD eess.AS
Eureka-Audio: Triggering Audio Intelligence in Compact Language Models
Eureka-Audio通过紧凑架构和统一端到端设计,在低参数量下实现高性能音频理解,匹配甚至超越大模型表现。
2026-02-15 cs.AI cs.SD
A Temporal-oriented Broadcast ResNet for COVID-19 Detection
University of Augsburg(奥格斯堡大学);Johannes Kepler University Linz(约翰内斯·开普勒林茨大学);Imperial College London(帝国理工学院)
从呼吸和咳嗽等音频信号中检测COVID-19,可以作为一种快速有效的预测试方法,以减少病毒传播。由于深度学习网络在建模时间序列方面的良好效果,并且由于在野外快速识别COVID的应用程序需要较低的计算量,因此我们提出了一种面向时间的广播残差学习方法,该方法可以在较小的模型大小下实现高效计算和高精度。基于EfficientNet的结构,我们提出了一种新的基于时间的ResNet~(TorNet)网络,它由一个广播学习块(AB块)和一个卷积层组成,AB块包含多个广播残差块(BC ResBlocks)。通过AB块,该网络可以有效地获得有用的音频-时间特征和更高级别的嵌入,其计算量远远低于通常用于建模时间信息的递归神经网络(RNN)。TorNet在INTERPSEECH 2021计算副语言学挑战赛COVID-19咳嗽子挑战赛中取得了72. 2%的未加权平均召回率(UAR),这显示了具有竞争力的结果,比其他最先进的替代方案具有更高的计算效率。
2022-03-31 cs.LG cs.SD eess.AS
PARSA-Bench: A Comprehensive Persian Audio-Language Model Benchmark
PARSA-Bench是首个针对波斯语言和文化评估大音频-语言模型的基准,包含16个任务和8000多个样本,涵盖语音理解、语篇分析和文化语音理解,揭示模型在文化相关任务中的局限性。
2026-09-16 cs.CL cs.SD
Pretrained audio neural networks for Speech emotion recognition in Portuguese
Universidade de São Paulo(圣保罗大学)
语音情感识别(SER)的目标是识别语音的情感方面。巴西葡萄牙语的SER挑战是用葡萄牙语的短片段提出的,根据非语言元素(笑,哭等)将其分为中性,非中性女性和非中性男性。此数据集包含约$50$分钟的巴西葡萄牙语语音。由于数据集偏小,我们研究了迁移学习和数据增强技术的组合是否可以产生积极的结果。因此,通过将称为SpecAugment的数据增强技术与用于迁移学习的预训练音频神经网络(PANN)相结合,我们能够获得有趣的结果。PANN(CNN 6、CNN 10和CNN 14)在一个名为AudioSet的大型数据集上进行预训练,该数据集包含超过$5000$小时的音频。在SER数据集上对它们进行微调,并将验证集上表现最好的模型(CNN10)提交给挑战,从挑战提供的基线的$0.54$获得$0.73$的$F1$评分。此外,我们还测试了Transformer神经架构的使用,该架构在大约$600$小时的巴西葡萄牙语音频数据上进行了预训练。Transformers以及更复杂的PANN模型(CNN14)无法推广到SER数据集中的测试集,并且没有超过基线。考虑到数据集大小的限制,目前SER的最佳方法是使用PANN(特别是CNN 6和CNN 10)。
2022-10-26 cs.LG cs.SD eess.AS
Escaping the Procrustean Bed: Groupwise Orthogonal Connectors for Audio-Language Models
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);ASUS AICS
研究音频语言模型压缩中存在的问题,提出ORCA方法,通过分组使查询输出指向不同方向,在SAKURA多跳推理中表现出色,提升分数,减少查询冗余并提高跨说话者方差。
2026-07-08 cs.SD
Enhancing Emotional Text-to-Speech Controllability with Natural Language Guidance through Contrastive Learning and Diffusion Models
Technical University of Munich(慕尼黑工业大学);University of Augsburg(奥格斯堡大学);Imperial College London(伦敦帝国理工学院);Alibaba Group(阿里巴巴集团)
提出 ParaEVITS 情感 TTS 框架,结合 ParaCLAP 文本-音频编码与扩散模型,使用自然语言描述控制情感渲染并保持语音质量。
2024-09-10 cs.SD eess.AS
Edge-Cloud Collaborative Speech Emotion Captioning via Token-Level Speculative Decoding in Audio-Language Models
本文提出基于不确定性引导推测解码的边缘-云协同框架,通过轻量级边缘模型和云验证器的协同,提升语音情绪描述的准确率和效率,同时降低延迟和隐私风险。
2026-03-12 cs.SD
Characterizing Types of Convolution in Deep Convolutional Recurrent Neural Networks for Robust Speech Emotion Recognition
University of Southern California(南加州大学)
由于深度卷积神经网络能够减少变化因素,因此在包括语音识别、音频事件检测和计算语言学在内的广泛的语音和音频处理应用中正在积极研究深度卷积神经网络,以从语音中学习。然而,研究已经建议在构建用于语音应用的深度卷积神经网络时偏向于某种类型的卷积运算,尽管使用不同类型的卷积运算已经有了有希望的结果。在这项工作中,我们研究了四种类型的卷积运算在不同的输入功能语音情感识别在嘈杂和干净的条件下,以获得全面的理解。由于情感行为信息已被证明反映了精神状态的时间变化,并且卷积运算在时间上被局部应用,因此所有深度神经网络共享深度递归子网络架构以用于进一步的时间建模。我们提出了详细的定量模块性能分析,以深入了解所提出的架构内的信息流。特别是,我们展示了情感信息和其他无关信息的相互作用,从一个模块到另一个的进展。最后,我们证明了我们所有的深度神经网络在eNTERFACE'05语料库上提供了最先进的性能。
2018-01-13 cs.CL cs.LG cs.MM
MoE Adapter for Large Audio Language Models: Sparsity, Disentanglement, and Gradient-Conflict-Free
ERNIE Team, Baidu(百度ERNIE团队);College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出MoE-Adapter,通过稀疏混合专家架构解耦音频信息,缓解梯度冲突,提升音频语义和非语言任务的性能。
2026-01-08 cs.AI cs.SD eess.AS
DeepSpectrumLite: A Power-Efficient Transfer Learning Framework for Embedded Speech and Audio Processing from Decentralised Data
University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院)
深度神经语音和音频处理系统具有大量的可训练参数、相对复杂的架构,并且需要大量的训练数据和计算能力。这些限制使得将这些系统集成到嵌入式设备中并将其用于实时,真实世界的应用更具挑战性。我们通过引入DeepSpectrumLite来解决这些限制,DeepSpectrumLite是一种开源的轻量级迁移学习框架,用于使用预训练的图像卷积神经网络(CNN)进行设备上的语音和音频识别。该框架从原始音频信号中实时创建和增强Mel频谱图,然后用于微调特定的预训练CNN以用于目标分类任务。随后,当在消费级Motorola moto e7 plus智能手机上使用DenseNet121模型时,整个管道可以实时运行,平均推理延迟为242.0 ms。DeepSpectrumLite分散运行,无需上传数据进行进一步处理。通过在一组语音学任务上获得最先进的结果,我们证明了所提出的迁移学习方法对嵌入式音频信号处理的适用性,即使在数据稀缺的情况下。我们为用户和开发人员提供了一个广泛的命令行界面,该界面在https://github.com/DeepSpectrum/DeepSpectrumLite上有全面的文档记录和公开提供。
2021-04-23 cs.LG cs.SD eess.AS
AudioLens: Multi-Perspective Speech Clustering with Reasoning Audio-Language Models
University of California, Irvine(加利福尼亚大学欧文分校);Dartmouth College(达特茅斯学院);Purdue University Northwest(普渡大学西北分校)
该研究提出音频多视角聚类任务,构建基准AudioLens-Bench,开发经推理蒸馏和偏好优化训练的AudioLens-R1模型,实验显示其在语音聚类任务中性能优于基线模型。
2026-08-27 cs.AI cs.SD
Cascaded Cross-Modal Transformer for Audio-Textual Classification
National University of Science and Technology Politehnica Bucharest(布加勒斯特理工国立科技大学);University of Bucharest(布加勒斯特大学)
针对训练数据有限的语音分类问题,提出级联跨模态 Transformer(CCMT),通过结合多语言 BERT 和 Wav2Vec2.0 音频特征进行多模态学习,在多项基准数据集上取得优异性能并获胜。
2024-07-24 cs.CL cs.LG cs.SD
A Simple Baseline for Audio-Visual Scene-Aware Dialog
Technion(以色列理工学院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
最近提出的视听场景感知对话任务为学习虚拟助手,智能扬声器和汽车导航系统的更多数据驱动方式铺平了道路。然而,到目前为止,人们对如何有效地从过多的传感器中提取有意义的信息知之甚少,这些传感器会影响这些设备的计算引擎。因此,在本文中,我们提供并仔细分析了一个简单的基线视听场景感知对话,这是训练端到端。我们的方法区分在数据驱动的方式有用的信号从分散注意力的注意力机制。我们评估所提出的方法,最近推出的和具有挑战性的视听场景感知数据集,并展示了关键功能,允许超过目前的最先进的CIDEr超过20\%。
2019-04-11 cs.AI cs.CL cs.CV
Neural Architecture Search on Acoustic Scene Classification
Xiaomi AI Lab(小米人工智能实验室)
卷积神经网络被广泛应用于声场景分类(ASC)任务中,但它们通常具有沉重的计算负担。在这项工作中,我们提出了一个受MobileNetV 2启发的轻量级但高性能的基线网络,它用单向卷积核取代了方形卷积核,以在时间和频率维度上交替提取特征。此外,我们探索了一个动态的架构空间的基础上提出的基线与最近的神经架构搜索(NAS)范式,首先训练一个超网,包括所有候选网络,然后应用一个著名的进化算法NSGA-II发现更高效的网络,具有更高的精度和更低的计算成本。实验结果表明,我们搜索的网络能够胜任ASC任务,在DCASE 2018任务5评估集上达到90.3%的F1分数,标志着新的最先进的性能,同时与我们的基线网络相比节省了25%的FLOP。
2020-08-05 cs.LG cs.SD eess.AS
LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT
Damo Academy, Alibaba Group(达摩院,阿里巴巴集团)
本文提出统一音频-文本大语言模型 LauraGPT,结合连续与离散音频表示及一步式编解码器声码器,通过多任务微调在多种音频识别、理解与生成任务上取得与强基线相当或更优的性能。
2024-07-03 cs.AI cs.LG cs.MM
Baseline Systems For The 2025 Low-Resource Audio Codec Challenge
Collaboration AI, Cisco Systems, Inc.(Collaboration AI,思科系统公司)
本文介绍了2025年低资源音频编解码器挑战赛的基线系统,采用带残差矢量量化的卷积神经编解码器,通过对抗与重建目标端到端训练,覆盖透明与增强两个赛道。
2025-10-07 cs.LG cs.SD