Explaining Speech Classification Models via Word-Level Audio Segments and Paralinguistic Features
Politecnico di Torino(都灵理工大学);Bocconi University(博科尼大学)
提出一种通过词级音频片段和副语言特征输入扰动解释语音分类模型的方法,验证其忠实性与合理性,为语音模型可解释性研究提供新途径。
2023-09-14 cs.CL cs.SD eess.AS
Deep Neural Baselines for Computational Paralinguistics
LMU Munich(慕尼黑大学);Tawny GmbH(塔尼有限公司)
从口语中检测困倦是一项雄心勃勃的任务,这是由Interspeech 2019计算副语言学挑战赛(ComparE)解决的。我们提出了一种端到端的深度学习方法来检测和分类反映人类声音中困倦的模式。我们的方法完全基于适度复杂的深度神经网络架构。它可以直接应用于音频数据,而不需要任何特定的特征工程,从而保持可转移到其他音频分类任务。然而,我们的方法与最先进的机器学习模型相似。
2019-07-05 cs.CL cs.SD eess.AS
ParA-LLM: A Unified Approach to Paralinguistic and Acoustic Speech Understanding
Adobe Research(Adobe研究院);University of Maryland, College Park(马里兰大学学院公园分校);OpenAI
针对音频大模型忽视副语言信息的问题,提出ParA-LLM,通过两阶段课程训练和120万问答对,在ParA-Bench等基准上超越GPT-4o-Audio,显著提升说话人与声学特征理解。
2026-09-22 cs.AI cs.LG cs.SD
Crafting Adversarial Examples For Speech Paralinguistics Applications
University of Notre Dame(圣母大学)
计算语言学分析越来越多地用于广泛的网络应用,包括安全敏感的应用,如说话人验证,欺骗性语音检测和医疗诊断。虽然最先进的机器学习技术,如深度神经网络,可以提供强大而准确的语音分析,但它们容易受到对抗攻击的影响。在这项工作中,我们提出了一个端到端的方案,通过直接扰动音频记录的原始波形而不是特定的声学特征来生成用于计算语言学应用的对抗性示例。我们的实验表明,所提出的对抗性扰动可能会导致最先进的深度神经网络的性能显著下降,而对音频质量的影响微乎其微。
2019-01-11 cs.CR cs.LG cs.SD
Improving Speech Emotion Recognition with Unsupervised Speaking Style Transfer
Zhejiang Lab(之江实验室);Xinjiang University(新疆大学);University of Hamburg(汉堡大学)
本文提出EmoAug无监督风格转换模型,通过分离语义与副语言编码并重建语音,增强情感表达并平衡数据,在IEMOCAP上超越现有方法并缓解过拟合。
2023-12-28 cs.AI cs.SD eess.AS
On the Contribution of Lexical Features to Speech Emotion Recognition
Computer Science Department Technical University of Cluj-Napoca, Romania
本研究探讨词汇特征在语音情感识别中的作用,证明基于词汇的方法在MELD数据集上取得优于声学模型的性能,并分析了SSL表示、Transformer层和去噪影响。
2025-09-06 cs.CL cs.SD eess.AS
Heard but Not Heeded: Paralinguistic Information Encoding and Loss in Audio-Language Models
Carnegie Mellon University(卡内基梅隆大学)
本研究分析四种开源音频-语言模型的副语言信息编码与丢失,发现模型虽在音频编码器顶层强编码说话风格,但信息在输出前退化,模型分内容、声学驱动两类,揭示了模型编码与使用信息的差距。
2026-09-02 cs.AI cs.SD
Advancing Audio Emotion and Intent Recognition with Large Pre-Trained Models and Bayesian Inference
Aalto University(阿尔托大学)
本研究利用大型预训练模型和贝叶斯推断,在ACM多媒体副语言挑战赛中通过多模态融合和贝叶斯层提升音频情感与意图识别性能,分别达到85.4%和60.2%的UAR及0.614的rho值。
2023-10-16 cs.SD eess.AS
Auden-Voice: General-Purpose Voice Encoder for Speech and Language Understanding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Tencent AI Lab, USA(腾讯AI实验室(美国))
针对大型音频语言模型编码器难以平衡语音身份与副语言线索的问题,本研究提出通用语音编码器Auden-Voice,通过多任务训练实现平衡表示,与LLMs集成表现优异,代码等将随Auden工具包发布。
2025-11-19 cs.SD eess.AS
Teach me with a Whisper: Enhancing Large Language Models for Analyzing Spoken Transcripts using Speech Embeddings
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);IBM Research AI(IBM研究院人工智能部门)
提出一种音频-语言知识蒸馏方法,利用Whisper语音嵌入增强语言模型分析口语转录文本,无需测试时音频输入,性能优于传统模型。
2023-11-13 cs.CL cs.SD eess.AS
Towards Interpretable Framework for Neural Audio Codecs via Sparse Autoencoders: A Case Study on Accent Information
University of Southern California(南加州大学)
本文通过稀疏自编码器分析神经音频编解码器的可解释性,探讨口音信息的编码机制,发现DAS和SpeechTokenizer在可解释性上表现最佳,低比特率EnCodec变体也具有较高可解释性。
2026-07-08 cs.SD
The ACM Multimedia 2022 Computational Paralinguistics Challenge: Vocalisations, Stuttering, Activity, & Mosquitoes
Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学);FAU(埃尔朗根-纽伦堡大学);MPI(马克斯·普朗克研究所);TH Nürnberg(纽伦堡应用技术大学);FORTH(希腊研究与技术基金会);University of Surrey(萨里大学);University of Oxford(牛津大学)
ACM Multimedia 2022计算副语言学挑战赛首次在明确定义的条件下在研究竞赛中解决了四个不同的问题:在发声和口吃子挑战赛中,必须对人类非语言发声和语音进行分类;活动子挑战赛旨在从智能手表传感器数据中识别音频之外的人类活动;在蚊子子挑战中,需要检测蚊子。我们描述了子挑战、基线特征提取和基于通常的CompPaRE和BoAW特征的分类器、auDeep工具包以及使用DeepSpectRum工具包从预训练的CNN中进行深度特征提取;此外,我们还添加了端到端顺序建模和log-mel-128-BNN。
2022-05-13 cs.LG cs.SD eess.AS
Eureka-Audio: Triggering Audio Intelligence in Compact Language Models
Eureka-Audio通过紧凑架构和统一端到端设计,在低参数量下实现高性能音频理解,匹配甚至超越大模型表现。
2026-02-15 cs.AI cs.SD
ParaStyleTTS: Toward Efficient and Robust Paralinguistic Style Control for Expressive Text-to-Speech Generation
University of New South Wales(新南威尔士大学);CSIRO's Data61(澳大利亚CSIRO数据61)
本文提出轻量可解释的 ParaStyleTTS,通过两级风格适配架构仅用文本提示控制韵律与副语言风格,在质量可比 LLM 方案的同时显著提速、降参并节省显存。
2025-10-21 cs.SD eess.AS
MERaLiON-SER: Robust Speech Emotion Recognition Model for English and SEA Languages
MERaLiON Team Institute for Infocomm Research (I 2 R), A*STAR, Singapore(MERaLiON团队信息与通信研究所(I 2 R),A*STAR,新加坡)
针对英语和东南亚语言的语音情感识别问题,提出MERaLiON-SER模型,通过加权分类交叉熵与CCC损失的混合目标联合建模离散和维度情感,在多语言基准上优于现有模型,为情感感知智能体系统提供基础。
2025-11-12 cs.AI cs.SD
CodecBench: A Comprehensive Benchmark for Acoustic and Semantic Evaluation
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
本文提出 CodecBench,一个在四个数据域上从声学和语义两个角度综合评估音频编解码器性能的基准,旨在揭示现有局限并推动音频编解码器发展。
2025-08-28 cs.SD eess.AS
SmoothCLAP: Soft-Target Enhanced Contrastive Language\--Audio Pretraining for Affective Computing
CHI -- Chair of Health Informatics, TUM University Hospital, Munich, Germany(健康信息学系,塔尔博特大学医院,德国慕尼黑);Huawei, Netherlands(华为,荷兰);GLAM, Imperial College London, UK(GLAM,伦敦帝国学院,英国)
SmoothCLAP通过引入软目标和副语言特征,改进了对比语言-音频预训练,以更准确地捕捉情感的连续性,从而提升情感计算任务的性能。
2026-01-18 cs.SD eess.AS
AudioBench: A Universal Benchmark for Audio Large Language Models
Institute for Infocomm Research (I 2 R), A*STAR, Singapore(信息通信研究所(I2R),A*STAR,新加坡);Centre for Frontier AI Research (CFAR), A*STAR(前沿人工智能研究中心(CFAR),A*STAR)
AudioBench 提出包含 8 个任务和 26 个数据集的通用基准,系统评估音频大语言模型在语音、音频场景和副语言理解上的指令跟随能力,并开源工具包、数据与排行榜以推动后续研究。
2025-05-06 cs.CL cs.SD eess.AS
SLAP: Learning Speaker and Health-Related Representations from Natural Language Supervision
该研究提出SLAP模型,通过对比学习对齐语音与说话者及健康元数据的自然语言描述,在零样本和微调场景下的副语言相关任务中实现性能提升与强泛化能力。
2025-10-02 cs.SD eess.AS
DASB - Discrete Audio and Speech Benchmark
Concordia University(康科迪亚大学);Mila-Quebec AI Institute(蒙特利尔AI研究院);Avignon Université(阿维尼昂大学);Université de Montréal(蒙特利尔大学);Université Laval(拉瓦尔大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);Indiana University(印第安纳大学)
本文提出DASB基准,用于评估离散音频token在语音、通用音频和音乐领域的表现,发现离散表示不如连续表示鲁棒,需精细调参,语义token优于声学token,但与连续特征仍有差距。
2026-04-21 cs.AI cs.SD eess.AS
Generative Spoken Dialogue Language Modeling
Meta AI Research(元人工智能研究院);EHESS(法国高等社会科学研究院);Inria(法国国家信息与自动化研究所)
我们介绍dGSLM,第一个“无文本”模型能够生成自然主义口语对话的音频样本。它使用了最近在无监督口语单元发现方面的工作,再加上一个双塔Transformer架构,该架构具有在2000小时的双通道原始会话音频(Fisher数据集)上训练的交叉注意力,没有任何文本或标签。我们表明,我们的模型能够在两个通道中同时生成语音,笑声和其他非语言信号,并且与基于文本的级联模型相比,再现了更自然和流畅的话轮转换。
2022-11-22 cs.CL cs.LG cs.SD
Edge-Cloud Collaborative Speech Emotion Captioning via Token-Level Speculative Decoding in Audio-Language Models
本文提出基于不确定性引导推测解码的边缘-云协同框架,通过轻量级边缘模型和云验证器的协同,提升语音情绪描述的准确率和效率,同时降低延迟和隐私风险。
2026-03-12 cs.SD
Escaping the Procrustean Bed: Groupwise Orthogonal Connectors for Audio-Language Models
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);ASUS AICS
研究音频语言模型压缩中存在的问题,提出ORCA方法,通过分组使查询输出指向不同方向,在SAKURA多跳推理中表现出色,提升分数,减少查询冗余并提高跨说话者方差。
2026-07-08 cs.SD
StyleBreak: Revealing Alignment Vulnerabilities in Large Audio-Language Models via Style-Aware Audio Jailbreak
Hongyi Li, Chengxuan Zhou, Chu Wang, Sicheng Liang, Yanting Chen, Qinlin Xie, Jiawei Ye, Jie Wu(作者团队)
针对现有大音频语言模型音频越狱攻击未考虑语音表达风格影响的问题,提出风格感知越狱框架StyleBreak,通过两阶段转换与查询自适应策略网络高效挖掘模型对齐漏洞。
2025-11-12 cs.SD
PARSA-Bench: A Comprehensive Persian Audio-Language Model Benchmark
PARSA-Bench是首个针对波斯语言和文化评估大音频-语言模型的基准,包含16个任务和8000多个样本,涵盖语音理解、语篇分析和文化语音理解,揭示模型在文化相关任务中的局限性。
2026-09-16 cs.CL cs.SD
Afrispeech Semantics: Evaluating Audio Semantic Reasoning in Spoken Language Models Across Domains and Accents
University of Florida(佛罗里达大学)
提出五项语义与副语言推理任务(蕴含、一致性、合理性、口音漂移、口音约束),评估音频语言模型在口音变化、领域迁移和语义过度推断下的推理能力,揭示当前评估的局限性。
2026-06-11 cs.AI cs.CL cs.SD
The SLT 2026 SmartGlasses Challenge: Benchmarking Egocentric Multi-Talker Speech Recognition and Understanding with Audio-Language Models
Northwestern Polytechnical University(西北工业大学);Huawei(华为);AIShell Inc(AIShell公司);Shanghai Jiao Tong University(上海交通大学);Nanjing University(南京大学);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学);Rokid
本文介绍IEEE SLT 2026智能眼镜挑战赛,构建含714个真实场景会话的106小时四通道自我中心语音数据集,评估TSA-ASR与SLU,发现说话人重叠影响TSA-ASR性能、音频-语言模型难理解副语言声学。
2026-08-13 cs.SD eess.AS
MoE Adapter for Large Audio Language Models: Sparsity, Disentanglement, and Gradient-Conflict-Free
ERNIE Team, Baidu(百度ERNIE团队);College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出MoE-Adapter,通过稀疏混合专家架构解耦音频信息,缓解梯度冲突,提升音频语义和非语言任务的性能。
2026-01-08 cs.AI cs.SD eess.AS
Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations
National Taiwan University(国立台湾大学);NVIDIA
本文构建多情绪、多强度的恶意语音指令数据集,评估多个前沿 LALM,发现情绪类型与表达强度会导致显著且非单调的安全失效。
2025-10-19 cs.AI cs.CL cs.SD
AudioLens: Multi-Perspective Speech Clustering with Reasoning Audio-Language Models
University of California, Irvine(加利福尼亚大学欧文分校);Dartmouth College(达特茅斯学院);Purdue University Northwest(普渡大学西北分校)
该研究提出音频多视角聚类任务,构建基准AudioLens-Bench,开发经推理蒸馏和偏好优化训练的AudioLens-R1模型,实验显示其在语音聚类任务中性能优于基线模型。
2026-08-27 cs.AI cs.SD
Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition
DFG's Reinhart Koselleck project(德国科研基金Reinhart Koselleck项目);EU H2020 project(欧盟H2020项目)
研究音频语言模型中显式声学线索的对齐性,通过eGeMAPS特征提取六种可解释声学概念标记,发现对齐标记提升UAR,而错乱标记降低性能,模型对符号线索敏感但仍部分依赖音频信号。
2026-06-05 cs.AI cs.CL cs.SD
INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval
National Taiwan University(台湾大学);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(台湾大学人工智能卓越研究中心)
研究针对现有语音检索系统无法适配多样用户意图的问题,构建首个指令感知语音检索基准INSPIRE,评估四类检索范式,发现当前无方法能稳健处理所有检索意图,凸显统一架构的必要性。
2026-08-18 cs.CL cs.SD eess.AS
SEABED: SouthEast Asian Benchmark for Evaluating Audio Reasoning
Centific AI Research(Centific 人工智能研究院)
针对现有音频推理基准偏重英语和通用领域的问题,提出SEABED,一个基于真实东南亚语音语料构建的六任务问答基准,含5,404个问答对,评估显示最先进模型Gemini 3.5 Flash仅达50.3%加权平均准确率,并额外检验推理是否基于音频证据。
2026-09-22 cs.AI cs.SD
VoxMem: Benchmarking Multimodal Memory in Large Audio Language Models
University of Melbourne(墨尔本大学);University of New South Wales(新南威尔士大学)
VoxMem提出一个多模态记忆基准,通过声学证据与记忆操作分类法,在34,743个口语会话上评估15个大型音频语言模型,发现模型在保留说话内容上远优于其他声学信息,且复杂操作下性能显著下降。
2026-09-29 cs.SD eess.AS
LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT
Damo Academy, Alibaba Group(达摩院,阿里巴巴集团)
本文提出统一音频-文本大语言模型 LauraGPT,结合连续与离散音频表示及一步式编解码器声码器,通过多任务微调在多种音频识别、理解与生成任务上取得与强基线相当或更优的性能。
2024-07-03 cs.AI cs.LG cs.MM
Evaluation of Audio Language Models for Fairness, Safety, and Security
Computer Science, Taibah University, Saudi Arabia(塔布大学计算机科学系,沙特阿拉伯);La Sapienza, University of Rome, Rome, Italy(罗马大学拉·萨皮恩扎分校,意大利);CISPA Helmholtz Center for Information Security, Saarbrücken, Germany(信息安全赫尔姆霍茨研究中心,德国萨尔布吕肯);University of Cagliari, Cagliari, Italy(卡利亚里大学,意大利卡利亚里)
本文提出一种结构化分类方法,评估音频语言模型在公平性、安全性和安全性方面的表现,揭示音频信息整合对语义推理的影响。
2026-02-25 cs.AI cs.SD
Acoustic Interference: A New Paradigm Weaponizing Acoustic Latent Semantic for Universal Jailbreak against Large Audio Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong Polytechnic University(香港理工大学);The Chinese University of Hong Kong(香港中文大学)
本文提出了一种新的声学干扰方法,通过利用声学潜在语义对大型音频语言模型进行通用劫持,揭示了安全对齐的脆弱性。
2026-05-18 cs.CR cs.SD
Step-Audio 2 Technical Report
StepFun Audio Team(StepFun音频团队)
Step-Audio 2 是一个面向工业级音频理解与语音对话的端到端多模态大模型,通过潜在音频编码器、推理强化学习、离散音频 token 生成及 RAG 等机制,在多个基准上取得领先性能。
2025-08-27 cs.CL cs.SD eess.AS
SonicBench: Dissecting the Physical Perception Bottleneck in Large Audio Language Models
Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Institute of Digital Twin, EIT(宁波空间智能与数字衍生关键实验室,数字孪生研究院,EIT);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院);Shenzhen University of Advanced Technology(深圳先进技术大学);Shenzhen MSU-BIT University(深圳MSU-BIT大学);Amazon AGI(亚马逊人工智能)
SonicBench通过评估大音频语言模型在物理属性感知上的能力,揭示其在基础听觉理解上的不足,指出瓶颈在于对齐和解码阶段。
2026-01-16 cs.CL cs.SD
A Temporal-oriented Broadcast ResNet for COVID-19 Detection
University of Augsburg(奥格斯堡大学);Johannes Kepler University Linz(约翰内斯·开普勒林茨大学);Imperial College London(帝国理工学院)
从呼吸和咳嗽等音频信号中检测COVID-19,可以作为一种快速有效的预测试方法,以减少病毒传播。由于深度学习网络在建模时间序列方面的良好效果,并且由于在野外快速识别COVID的应用程序需要较低的计算量,因此我们提出了一种面向时间的广播残差学习方法,该方法可以在较小的模型大小下实现高效计算和高精度。基于EfficientNet的结构,我们提出了一种新的基于时间的ResNet~(TorNet)网络,它由一个广播学习块(AB块)和一个卷积层组成,AB块包含多个广播残差块(BC ResBlocks)。通过AB块,该网络可以有效地获得有用的音频-时间特征和更高级别的嵌入,其计算量远远低于通常用于建模时间信息的递归神经网络(RNN)。TorNet在INTERPSEECH 2021计算副语言学挑战赛COVID-19咳嗽子挑战赛中取得了72. 2%的未加权平均召回率(UAR),这显示了具有竞争力的结果,比其他最先进的替代方案具有更高的计算效率。
2022-03-31 cs.LG cs.SD eess.AS
InstructTTSEval: Benchmarking Complex Natural-Language Instruction Following in Text-to-Speech Systems
Fudan University(复旦大学)
针对TTS系统难以执行复杂自然语言指令的问题,提出InstructTTSEval基准,含三个任务共6000个测试用例,用Gemini自动评估,揭示现有模型仍有较大提升空间。
2025-06-19 cs.CL cs.SD eess.AS
Cascaded Cross-Modal Transformer for Audio-Textual Classification
National University of Science and Technology Politehnica Bucharest(布加勒斯特理工国立科技大学);University of Bucharest(布加勒斯特大学)
针对训练数据有限的语音分类问题,提出级联跨模态 Transformer(CCMT),通过结合多语言 BERT 和 Wav2Vec2.0 音频特征进行多模态学习,在多项基准数据集上取得优异性能并获胜。
2024-07-24 cs.CL cs.LG cs.SD
LLM can Read Spectrogram: Encoder-free Speech-Language Modeling
Microsoft, USA(微软公司,美国)
提出 Mel-LLM,一种无需专用语音编码器、直接将梅尔频谱图补丁通过线性投影输入 LLM 的架构,在 ASR 和 TTS 任务上验证了其可行性,ASR 性能与有编码器方案相当,TTS 初步可行。
2026-09-22 cs.SD eess.AS
FireRedAudio: A General-Purpose Audio Language Model with Decoupled Continuous Representations for Understanding and Generation
Xiaohongshu(小红书)
FireRedAudio是首个公开的统一音频-语言模型,采用解耦连续表示,支持音频理解、多语种ASR、各类TTS及语音编辑,性能优于相关模型。
2026-08-28 cs.CL cs.SD