Audio-to-Intent Using Acoustic-Textual Subword Representations from End-to-End ASR
Apple（苹果公司）
准确预测用户与设备上（例如，电话上）的语音助理（VA）交互的意图对于实现与VA的自然的、有吸引力的和以隐私为中心的交互至关重要。为此，我们提出了一种新的方法来预测用户的意图（用户说话的设备或不）直接从声学和文本信息编码的子字令牌，这是通过一个端到端的ASR模型。与音素和/或完整词的建模相比，直接对子词标记建模具有至少两个优点：（i）与音素级表示相比，它提供了唯一的词汇表表示，其中每个标记具有语义意义，（ii）每个子词标记具有可重用的“子”词声学模式（其可用于构造多个完整单词），从而导致比完整单词大大减少的词汇空间。为了学习音频到意图分类的子词表示，我们提取：（i）来自E2 E-ASR模型的声学信息，该模型为子词令牌提供帧级CTC后验概率，以及（ii）来自预先训练的连续词袋模型的文本信息，该模型捕获子词令牌的语义含义。我们的方法的关键是，它结合了声学子词级后验与文本信息的位置编码的概念，以同时考虑多个ASR假设的方式。我们表明，我们的方法为音频到意图的分类提供了更强大和更丰富的表示，并且具有高度的准确性，能够以99%的真阳性率正确地减轻93.3%的非预期用户音频调用智能助手。
2022-10-21 cs.CL cs.HC cs.SD
Multimodal Audio-textual Architecture for Robust Spoken Language Understanding
INRS-EMT（加拿大国家科学研究院-能源材料电信中心）；Noah’s Ark Lab（诺亚方舟实验室）
针对级联口语理解中的ASR错误传播问题，提出融合Wav2Vec音频特征与BERT/RoBERTa文本特征的多模态理解模块，经多数据集多ASR引擎验证，有效提升了低质量转录下的口语理解鲁棒性。
2023-06-13 cs.CL cs.LG eess.AS
Cascaded Cross-Modal Transformer for Request and Complaint Detection
Politehnica University of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）
本文提出级联跨模态 Transformer（CCMT），结合 ASR 转录与多语言翻译，将 BERT 模型与 Wav2Vec2.0 音频特征融合，用于电话对话中的客户请求与投诉检测，在 ACM Multimedia 2023 挑战赛上取得优异的 UAR 表现。
2023-07-27 cs.CL cs.LG cs.MM
Decoding while Adapting: Zero-Shot Online Speaker Adaptation via Audio-Textual Prompts for Elderly Speech Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学）；Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所）；National Research Council Canada, Canada（加拿大国家研究理事会）
提出一种基于跨语句音频-文本提示的说话人自适应方法，实现零样本实时适应未见说话人，在老年人语音数据集上显著降低词错误率/字符错误率，并大幅提升实时因子。
2026-06-16 cs.SD eess.AS
Conversational Speech Recognition by Learning Audio-textual Cross-modal Contextual Representation
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出一种基于跨模态对话表示的对话ASR系统，通过结合预训练语音文本模型与条件潜变量模块提取历史上下文与对话级属性，在HKUST和MagicData-RAMC数据集上相对标准Conformer分别提升8.8%和23%准确率。
2024-04-28 cs.CL cs.SD eess.AS
Generative Spoken Dialogue Language Modeling
Meta AI Research（元人工智能研究院）；EHESS（法国高等社会科学研究院）；Inria（法国国家信息与自动化研究所）
我们介绍dGSLM，第一个“无文本”模型能够生成自然主义口语对话的音频样本。它使用了最近在无监督口语单元发现方面的工作，再加上一个双塔Transformer架构，该架构具有在2000小时的双通道原始会话音频（Fisher数据集）上训练的交叉注意力，没有任何文本或标签。我们表明，我们的模型能够在两个通道中同时生成语音，笑声和其他非语言信号，并且与基于文本的级联模型相比，再现了更自然和流畅的话轮转换。
2022-11-22 cs.CL cs.LG cs.SD
Teaching Audio Models to Reason: A Unified Framework for Source- and Layer-wise Distillation
Jiutian Artificial Intelligence Research Institute, China Mobile, Beijing, China（九天人工智能研究院，中国移动，北京）；The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China（多媒体信息处理国家重点实验室，北京大学，北京）
本文提出统一知识蒸馏框架，通过源级与层级双维度蒸馏将文本模型的推理能力迁移到音频模型，在保持声学能力的同时显著提升音频推理性能。
2025-09-23 cs.CL cs.SD eess.AS
GigaChat Audio: Time-aware Large Audio Language Model
SaluteDevices, Russia（SaluteDevices）
研究音频条件语言模型长录音时间定位难题，提出时间感知音频语言模型，利用合成监督交织时间标记与音频令牌，在多基准测试中实现高精度，支持相关描述与总结，通过消融实验明确多因素影响，并发布模型权重和数据集。
2026-07-14 cs.CL eess.AS
Streaming parallel transducer beam search with fast-slow cascaded encoders
Meta AI
在许多语音识别应用中需要具有严格延迟约束的流式ASR。为了实现所需的延迟，与非流传输ASR模型相比，流传输ASR模型由于缺乏未来的输入上下文而牺牲了准确性。以前的研究表明，RNN传感器的流和非流ASR可以通过级联因果和非因果编码器来统一。这项工作通过利用两个具有可变输入上下文大小的流传输非因果编码器来改进这种级联编码器框架，这两个编码器可以在不同的音频间隔（例如，快速和慢速）产生输出。我们提出了一种新的并行时间同步束搜索算法的传感器解码的快慢编码器，其中慢编码器纠正从快速编码器产生的错误。该算法实现了高达20%的WER减少，在公共Librispeech数据集和内部数据集上的令牌发射延迟略有增加。我们还探讨了通过在快速和慢速编码器之间分配处理来减少计算的技术。最后，我们探讨在快速编码器中共享参数以减少内存占用。这使得边缘设备上的低延迟处理具有低计算成本和低内存占用。
2022-03-29 cs.CL cs.SD eess.AS
Multi-modal Dense Video Captioning
Tampere University（坦佩雷大学）
密集视频描述是从未修剪的视频中定位感兴趣的事件并为每个定位的事件产生文本描述（字幕）的任务。以往的密集视频描述中的大部分作品都是单纯基于视觉信息而完全忽略了音轨。然而，音频，特别是语音，是人类观察者理解环境的重要线索。在本文中，我们提出了一种新的密集的视频描述方法，能够利用任何数量的事件描述的方式。具体来说，我们展示了如何音频和语音模态可以提高密集的视频描述模型。我们应用自动语音识别（ASR）系统来获得语音的时间对齐的文本描述（类似于字幕），并将其视为与视频帧和相应的音轨一起的单独输入。我们制定的字幕任务作为一个机器翻译的问题，并利用最近提出的Transformer架构转换成文本描述的多模态输入数据。我们在ActivityNet Captions数据集上展示了我们的模型的性能。消融研究表明，相当大的贡献，从音频和语音组件，这表明这些方式包含大量的补充信息，视频帧。此外，我们通过利用从原始YouTube视频中获得的类别标签，对ActivityNet Caption结果进行了深入分析。代码公开：github.com/v-iashin/MDVC
2020-05-05 cs.CL cs.CV cs.LG
SoccerNet-Echoes: A Soccer Game Audio Commentary Dataset
SimulaMet；OsloMet；Forzasys；University of Central Florida（佛罗里达中央大学）；University of Liège（列日大学）；KAUST（科威特大学）
本文提出SoccerNet-Echoes数据集，通过Whisper模型生成足球比赛广播音频解说的自动转录文本并经Google Translate翻译，扩展SoccerNet数据集的文本信息层，支持增强动作识别等下游应用，为体育分析多模态算法开发提供综合资源。
2024-05-12 cs.IR cs.LG cs.MM
ESPnet-SDS: Unified Toolkit and Demo for Spoken Dialogue Systems
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）；Kyoto University（京都大学）；Hugging Face
本文提出开源工具包ESPnet-SDS，为级联和端到端口语对话系统构建统一网页界面，并提供延迟、理解能力、响应质量及音频质量等自动化评估指标，通过对比实验揭示当前端到端系统在音频质量和响应多样性上的不足。
2025-03-11 cs.CL cs.SD eess.AS
Transformer-based Cascaded Multimodal Speech Translation
Imperial College London（帝国理工学院）；University of Sheffield（谢菲尔德大学）
本文介绍了伦敦帝国理工学院为IWIT 2019评估活动开发的级联多模态语音翻译系统。该体系结构包括一个自动语音识别（ASR）系统，其次是基于transformer的多模态机器翻译（MMT）系统。虽然ASR组件在实验中是相同的，但MMT模型在整合视觉上下文的方式（简单条件反射与注意力）、所利用的视觉特征类型（池化、卷积、动作类别）和底层架构方面有所不同。对于后者，我们探讨了典型的Transformer和它的审议版本添加剂和级联变量，不同的是，他们如何整合文本的注意。通过大量的实验，我们发现：（1）所研究的视觉整合方案往往会损害Transformer和加法审议的翻译效果，但却能显著提高级联审议的翻译效果;（2）不一致分析表明，Transformer和级联审议对视觉模态的整合效果优于加法审议。
2019-11-08 cs.CL
CaTT-KWS: A Multi-stage Customized Keyword Spotting Framework based on Cascaded Transducer-Transformer
Northwestern Polytechnical University（西北工业大学）；Tencent Technology Co., Ltd（腾讯科技有限公司）
自定义关键词识别（KWS）在边缘设备上部署以实现免提用户体验方面具有很大的潜力。然而，在实际应用中，对于发现数十个甚至数百个关键字，虚警（FA）将是严重的问题，这极大地影响了用户体验。为了解决这个问题，在本文中，我们利用最近的进展，换能器和Transformer为基础的声学模型，并提出了一个新的多级定制的KWS框架命名为级联换能器-Transformer KWS（CaTT-KWS），其中包括一个基于换能器的关键字检测器，一个帧级的电话预测器为基础的力对齐模块和一个基于Transformer的解码器。具体来说，流转换器模块用于发现音频流中的关键词候选项。然后利用音素预测器预测出的音素后验子进行强制对齐，完成第一阶段的关键词验证，细化关键词的时间边界。最后，Transformer解码器进一步验证触发的关键字。我们提出的CaTT-KWS框架有效地降低了FA率，而不会明显损害关键字识别的准确性。具体来说，我们可以在一个具有挑战性的数据集上每小时获得令人印象深刻的0.13 FA，与基于传感器的检测模型相比，FA的相对减少超过90%，而关键字识别准确率仅下降不到2%。
2022-07-04 cs.SD eess.AS
Speech Retrieval-Augmented Generation without Automatic Speech Recognition
University of Michigan（密歇根大学）；AWS AI Labs（AWS AI实验室）
本文提出SpeechRAG框架，通过微调语音编码器对齐文本与语音嵌入空间，实现无需ASR的直接语音检索，并利用语音语言模型以音频片段为条件进行生成，在ASR错误较高时优于传统级联文本方法。
2025-01-03 cs.AI cs.CL eess.AS
Combining Textual and Spectral Features for Robust Classification of Pilot Communications
1 Department of Computer Science, University of Nebraska Omaha, Omaha, NE, USA 2 Aviation Institute, University of Nebraska Omaha, Omaha, NE, USA 3 Durham School of Architectural Engineering \& Construction, University of Nebraska Lincoln, Lincoln, NE, USA 4 School of Graduate Studies, Embry-Riddle Aeronautical University Daytona Beach, Daytona Beach, FL, USA
本文提出一种双流水线机器学习框架，结合文本与频谱特征对无塔台机场的飞行员无线电通信进行分类，频谱特征结合深度模型F1超91%，数据增强提升鲁棒性，为空中交通监控提供低成本可扩展方案。
2025-09-11 cs.CY cs.SD eess.AS
Audio Sentiment Analysis via Distillation and Cross-Modal Integration of Generated Multilingual Transcripts
University of Bucharest（布加勒斯特大学）；PPC Romania（罗马尼亚PPC）
研究语音情感分析难题，提出通过跨模态变压器集成音频与文本信息的多模态方案，经自动语音识别生成转录本并翻译为多语言文本，还进行知识蒸馏，实验证明该方法能提升多模态情感分类性能及增强单模态音频模型。
2026-07-09 cs.AI cs.CL cs.LG
MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models
MOSS-Audio-Tokenizer通过同质Transformer架构实现端到端音频分词，支持高保真重建并提升语音合成和语音识别性能。
2026-02-12 cs.SD eess.AS
Zero-shot audio captioning with audio-language model guidance and audio context keywords
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
提出ZerAuCap框架，利用预训练大语言模型和音频-语言模型引导，结合音频上下文关键词，实现零样本音频描述生成，在AudioCaps和Clotho数据集上取得最优结果。
2023-11-14 cs.AI cs.CL cs.SD
Spoken Conversational Agents with Large Language Models
NVIDIA Research（NVIDIA研究）
本文探讨了如何通过大语言模型构建语音对话代理，涵盖从级联到端到端系统的路径，以及跨模态对齐和联合训练等关键技术，同时讨论了隐私、安全和评估中的开放问题。
2025-12-02 cs.CL cs.MA cs.NE
Causal Tracing of Audio-Text Fusion in Large Audio Language Models
研究通过因果追溯分析大型音频语言模型在音频理解过程中音频特征与文本上下文的融合机制，揭示不同模型在层间和token级的融合策略及信息瓶颈。
2026-09-24 cs.CL cs.SD
Cascaded Multilingual Audio-Visual Learning from Videos
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）；IBM Research AI（IBM研究院人工智能部门）；Columbia University（哥伦比亚大学）；NYU（纽约大学）
在本文中，我们探讨了从教学视频中学习的自监督视听模型。之前的工作表明，这些模型在大规模视频数据集上训练后，可以将口语和声音与视觉内容联系起来，但它们只在英语视频上进行训练和评估。为了学习多语言视听表示，我们提出了一种级联方法，该方法利用在英语视频上训练的模型，并将其应用于其他语言的视听数据，例如日语视频。通过我们的级联方法，与仅在日本视频上进行训练相比，检索性能提高了近10倍。我们还将在英语视频上训练的模型应用于图像的日语和印地语口语字幕，实现了最先进的性能。
2021-11-08 cs.CL cs.CV cs.MM
Talk, Don't Write: A Study of Direct Speech-Based Image Retrieval
The University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）
基于语音的图像检索已经被研究作为联合表示学习的代理，通常不强调检索本身。因此，目前还不清楚基于语音的检索在实践中的效果如何--无论是在绝对意义上，还是与将自动语音识别（ASR）与强大的文本编码器相结合的替代策略相比。在这项工作中，我们广泛研究和扩展编码器架构，训练方法（包括单峰和多峰预训练）和其他因素的选择。我们的实验涵盖了三个数据集的不同类型的语音：Flickr音频，地点音频和本地化叙事。我们最好的模型配置实现了比现有技术更大的增益，例如，Flickr Audio的一次召回率从21.8%提高到33.2%，Places Audio的一次召回率从27.6%提高到53.4%。我们还展示了我们最好的基于语音的模型可以匹配或超过级联ASR到文本编码时，语音是自发的，重音，或以其他方式难以自动转录。
2021-06-15 cs.CL cs.CV cs.IR
GlobeAudio: A Multilingual Multicultural Benchmark for Naturalistic Evaluation of Large Audio-Language Models
Singapore University of Technology and Design（新加坡科技设计大学）
提出GlobeAudio基准，包含5637道多语言多选题，评估大型音频-语言模型在自然音频条件下的听觉推理和文化理解能力，发现开源模型和低资源语言存在显著性能差距。
2026-06-06 cs.AI cs.CL
Using Phonemes in cascaded S2S translation pipeline
University of Liechtenstein（列支敦士登大学）
本文研究在级联语音到语音翻译流水线中使用音素作为文本表示，训练开源序列到序列模型于WMT17数据集，发现音素方法质量相当且资源需求更低，更适合低资源语言。
2025-04-22 cs.CL cs.LG cs.SD
Hiding Tool Latency in On-Device Cascaded Voice Agent through Speculative Execution
Qualcomm Technologies, Inc. (QTI)（高通技术公司）
针对端侧级联语音代理，提出推测性工具执行方法，通过预测工具调用并缓存结果来隐藏工具延迟，实测中位首次音频响应时间从5.79秒降至4.60秒，延迟更稳定。
2026-10-07 cs.SD
SpeakerSleuth: Can Large Audio-Language Models Judge Speaker Consistency across Multi-turn Dialogues?
Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院）
本文提出SpeakerSleuth基准测试，评估大型音频-语言模型在多轮对话中判断说话者一致性的能力，发现模型在识别声音不一致性和处理文本上下文时存在显著偏差。
2026-04-20 cs.CL
Logbook: Extremely Long-form Audio Event Understanding
针对现有音频基准局限于短片段的问题，提出Logbook基准，涵盖十分钟至六天的录音，要求系统输出无间隙分割及事件标签和描述；通过比较52个系统，发现任务可行但最佳系统未达人类水平，且端到端优于级联，但长上下文下性能下降。
2026-10-07 cs.AI cs.CL cs.LG
This Paper Had the Smartest Reviewers -- Flattery Detection Utilising an Audio-Textual Transformer-Based Approach
University of Augsburg（奥格斯堡大学）；TU Munich（慕尼黑工业大学）；University of Passau（帕绍大学）；TU Dortmund（多特蒙德工业大学）；Imperial College London（伦敦帝国学院）
本研究构建了一个20小时的音频文本数据集，采用AST、Wav2Vec2、Whisper和RoBERTa等模型，提出了一种基于Transformer的多模态奉承检测方法，在未见数据上取得了高达87.16%的未加权平均召回率。
2024-06-25 cs.CL cs.SD eess.AS
Designing Textual Interfaces To Enhance Llm Reasoning On Audio-Visual Question Answering
University of Edinburgh（爱丁堡大学）；Chinese University of Hong Kong（香港中文大学）；Nanjing University（南京大学）
本研究探究文本接口设计对视听问答任务多模态推理提示优化的影响，对比三种接口设计，基于Qwen3-Omni和Gemini实验发现直接优化有模型依赖增益，接口设计是优化有效性的重要因素。
2026-10-15 cs.AI cs.CL eess.AS
Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling
Hong Kong University of Science and Technology（香港科学与技术大学）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）；Independent Researcher（独立研究者）
本文提出Talker-T2AV，通过共享骨干和模态特定解码器实现音频视频联合生成，提升跨模态一致性与生成效率。
2026-08-05 cs.CL cs.CV cs.MM
Direct Speech-to-speech Translation without Textual Annotation using Bottleneck Features
ByteDance AI-Lab（字节跳动人工智能实验室）
语音翻译是直接将不同语言之间的语音转换为另一种语音，在同声传译等任务中具有巨大的潜力。最先进的模型通常包含用于音素序列预测的辅助模块，这需要对训练数据集进行文本注释。我们提出了一个直接的语音到语音翻译模型，可以在没有任何文本注释或内容信息的情况下训练。我们建议使用瓶颈特征作为模型的中间训练目标，而不是在模型中引入辅助音素预测任务，以确保系统的翻译性能。对普通话-粤语语音翻译的实验结果表明，该方法是可行的，其性能可以与级联系统的翻译和合成质量相媲美。
2022-12-12 cs.CL cs.SD eess.AS
Multilingual and Multimodal Abuse Detection
ShareChat
社交媒体平台上存在滥用内容是不可取的，因为它严重阻碍了健康和安全的社交媒体互动。虽然自动滥用检测已经在文本领域得到了广泛的研究，但音频滥用检测仍然没有得到研究。在本文中，我们试图从多模态的角度在多语言的社交媒体设置的会话音频中的滥用检测。我们的关键假设是，随着音频的建模，结合来自其他模态的判别信息可能对这项任务非常有益。我们提出的方法，MADA，明确地侧重于两种形式以外的音频本身，即，基本的情感表达的虐待音频和语义信息封装在相应的文本形式。观察证明，MADA在ADIMA数据集上表现出优于仅音频方法的收益。我们在10种不同的语言上测试了所提出的方法，并通过利用多种模式观察到0.6%-5.2%的一致收益。我们还进行了广泛的消融实验，以研究每种方式的贡献，并观察最佳结果，同时利用所有方式在一起。此外，我们进行实验，以经验证实，潜在的情绪和虐待行为之间有很强的相关性。
2022-04-03 cs.CL cs.LG cs.SD
A Practical Synthesis of Detecting AI-Generated Textual, Visual, and Audio Content
AI Labs, King/Microsoft R\&D, CSPaper Stockholm, Sweden
本文综述AI生成文本、图像与音频的检测与缓解方法，涵盖统计分析、模型流水线、水印指纹及集成技术，并结合多领域案例讨论鲁棒性与人在环验证，为应对开放挑战提供指南。
2025-09-26 cs.CL cs.LG
Probing Audio-Generation Capabilities of Text-Based Language Models
Algoverse AI Research（Algoverse AI研究）
本研究探讨了基于文本的大型语言模型（LLMs）通过代码中介生成音频的能力，采用三层方法逐步增加复杂性，并用FAD和CLAP分数评估，发现LLMs能生成基础音频但随复杂性增加性能下降，表明其音频生成能力仍处初级阶段。
2025-05-04 cs.CL cs.SD eess.AS
Audio-Oriented Multimodal Machine Comprehension: Task, Dataset and Model
Peking University（北京大学）；Tencent（腾讯）；Peng Cheng Laboratory（鹏城实验室）
近年来，机器阅读理解（Machine Comprehension，MC）引起了广泛的研究兴趣，但现有方法主要属于机器阅读理解任务范畴，即挖掘文本输入（段落和问题）来预测答案（选项或文本跨度）。然而，有很多MC任务除了接受文本输入之外还接受音频输入，例如英语听力理解测试。本文研究面向音频的多模态机器理解问题，其目标是根据给定的音频和文本信息回答问题。为了解决这个问题，我们提出了一个动态模态间和模态内注意力（DIIA）模型，以有效地融合两种模态（音频和文本）。DIIA可以作为一个独立的组件工作，因此可以很容易地集成到现有的MC模型。此外，我们进一步开发了一个多模态知识蒸馏（MKD）模块，使我们的多模态MC模型，以准确地预测答案的基础上，无论是文本或音频。因此，所提出的方法可以处理各种任务，包括：面向音频的多模态机器理解，机器阅读理解和机器听力理解，在一个单一的模型，使公平的比较我们的模型和现有的单峰MC模型。实验结果和分析证明了所提方法的有效性。首先，所提出的DIIA在准确性方面将基线模型提高了21.08%;其次，在单峰场景下，MKD模块允许我们的多模态MC模型显著优于单峰模型高达18.87%，这些模型仅使用音频或文本数据进行训练和测试。
2021-07-04 cs.CL
Learning to Unify Audio, Visual and Text for Audio-Enhanced Multilingual Visual Answer Localization
Systems Engineering Institute（系统工程研究所）；Xi’an Jiaotong University（西安交通大学）；Shenzhen Institute of Advanced Technology（深圳先进技术研究院）；Chinese Academy of Sciences（中国科学院）
针对多语言视觉答案定位中忽略音频导致信息不完整的问题，提出统一音频-视觉-文本跨度定位方法，整合三模态特征并设计一致性模块，实验证明优于现有最先进方法。
2024-11-05 cs.AI cs.CL cs.HC
'Warriors of the Word' -- Deciphering Lyrical Topics in Music and Their Connection to Audio Feature Dimensions Based on a Corpus of Over 100,000 Metal Songs
University of Vienna（维也纳大学）；University of Bamberg（班贝格大学）
我们研究了金属音乐的音乐和抒情内容之间的联系，结合自动提取的高层次的音频特征和定量文本分析的语料库124.288歌词从这种类型。基于该文本语料库，首先使用潜在狄利克雷分配（LDA）构建主题模型。对于503首歌曲的子样本，使用音频特征模型提取预测感知音乐硬度/沉重和黑暗/阴郁的分数。通过结合音频特征和文本分析，我们（1）提供了金属流派中抒情主题的全面概述，（2）能够确定硬度和其他音乐维度的水平是否与特别刺耳（和其他）文本主题的出现有关。二十个典型的主题被确定和投影到一个主题空间，使用多维尺度（MDS）。经过Bonferroni校正后，发现音乐的硬度和黑暗与“残酷的死亡”、“反乌托邦”、“古老和神秘主义”、“宗教和撒旦主义”、“战斗”和“（心理）疯狂”等文本主题呈正相关，而与“个人生活”和“爱情和浪漫”等主题呈负相关。
2019-11-13 cs.CL cs.SD eess.AS
Speech Emotion Recognition Using Multi-hop Attention Mechanism
Adobe Research（奥多比研究院）
在本文中，我们感兴趣的是利用语音情感分类任务的话语的文本和声学数据。基线方法使用两个深度神经网络（DNN）独立地对来自音频和文本的信息进行建模。然后将来自两个DNN的输出融合以进行分类。相对于单独使用这两种方式的知识，我们提出了一个框架，利用声学信息与词汇数据。建议的框架使用两个双向长短期记忆（BLSTM）获得隐藏的话语表示。此外，我们提出了一个注意力机制，称为多跳，这是训练自动推断模态之间的相关性。多跳注意力首先计算对应于音频信号的文本数据的相关段。然后将相关的文本数据应用于音频信号的注意部分。为了评估该系统的性能，在IEMOCAP数据集上进行了实验。实验结果表明，所提出的技术优于国家的最先进的系统的6.5%的加权精度方面的相对改善。
2019-05-09 cs.AI cs.CL cs.LG
Killing two birds with one stone: Can an audio captioning system also be used for audio-text retrieval?
IRIT（图卢兹计算机科学研究所）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；CNRS（法国国家科学研究中心）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工智能与自然智能研究所（ANITI））
本研究探索未经微调的音频字幕生成系统在音频-文本检索中的潜力，利用交叉熵损失值实现检索，在AudioCaps上文本到音频R@1达0.382，超过无外部数据的最先进方法。
2023-08-29 cs.CL cs.IR cs.SD
Fusing Audio, Textual and Visual Features for Sentiment Analysis of News Videos
Engineering and Technology Institute, University Center of Belo Horizonte (UNI-BH)（贝洛奥里藏特大学中心（UNI-BH）工程技术学院）；CEFET-MG（米纳斯吉拉斯联邦教育技术中心（CEFET-MG））；Federal University of Minas Gerais (UFMG)（米纳斯吉拉斯联邦大学（UFMG））
本文提出了一种新的方法来执行情感分析的新闻视频，基于融合的音频，文本和视觉线索提取的内容。所提出的方法的目的是有助于符号话语的研究，关于这个媒体宇宙的民族精神（身份）的建设，这已成为现代生活的数百万人的核心部分。为了实现这一目标，我们应用最先进的计算方法（1）从面部表情中自动识别情感，（2）提取参与者语音中的调制，以及（3）从与感兴趣的视频相关的隐藏字幕中进行情感分析。更具体地说，我们计算的功能，如识别的情绪，字段大小的参与者，发声概率，声音响度，语音基频和情感分数（极性）从文本句子中的封闭式字幕的视觉强度。实验结果与数据集包含520注释的新闻视频从三个巴西和一个美国流行的电视新闻节目表明，我们的方法实现了高达84%的准确性的情绪（紧张程度）分类任务，从而证明了其高潜力的媒体分析师在几个应用程序中使用，特别是在新闻领域。
2016-04-09 cs.CL
Evaluating Multimodal Large Language Models on Spoken Sarcasm Detection
University of Groningen, The Netherlands（Groningen大学，荷兰）
本文系统评估了LLMs和MLLMs在英汉口语讽刺检测中的表现，发现音频相关组合最优，且Qwen-Omni等模型具备跨语言多模态讽刺理解潜力。
2026-10-20 cs.CL cs.MM
Introducing Auxiliary Text Query-modifier to Content-based Audio Retrieval
NTT Corporation（NTT公司）
公共网站上提供的音频数据量正在迅速增长，需要一个访问所需数据的有效机制。我们提出了一种基于内容的音频检索方法，可以检索到的目标音频是类似的，但略有不同的查询音频通过引入辅助文本信息，描述了查询和目标音频之间的差异。虽然传统的基于内容的音频检索的范围限于与查询音频相似的音频，但是所提出的方法可以通过将辅助文本查询修饰符的嵌入添加到查询样本音频在共享潜在空间中的嵌入来调整检索范围。为了评估我们的方法，我们构建了一个数据集，包括两个不同的音频片段和描述差异的文本。实验结果表明，该方法比基线更准确地检索成对音频。我们还证实了基于可视化，该方法获得了共享的潜在空间，其中音频差异和相应的文本表示为相似的嵌入向量。
2022-07-20 cs.CL cs.IR cs.LG
Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning
Nanyang Technological University（南洋理工大学）
自动音频字幕（AAC）是一个跨模态的任务，它生成自然语言来描述输入音频的内容。大多数先前的作品通常提取单模态声学特征，因此对于跨模态解码任务是次优的。在这项工作中，我们提出了一种新的AAC系统称为CLIP-AAC学习交互式跨模态表示与声学和文本信息。具体地说，CLIP-AAC在预训练的编码器中引入音频头和文本头来提取音频文本信息。此外，我们还应用对比学习，通过学习音频信号与其配对字幕之间的对应关系来缩小域差异。实验结果表明，所提出的CLIP-AAC方法在Clotho数据集上的NLP评估指标方面超过了最佳基线。消融研究表明，预训练模型和对比学习都有助于AAC模型的性能增益。
2022-04-12 cs.CL cs.SD eess.AS
Auffusion: Leveraging the Power of Diffusion and Large Language Models for Text-to-Audio Generation
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出Auffusion系统，通过将文本到图像扩散模型框架适配到文本到音频任务，有效利用其生成优势和跨模态对齐能力，在有限数据和计算资源下超越现有方法，并通过消融研究和可视化评估了文本-音频对齐性能。
2024-01-02 cs.AI cs.CL cs.SD
Automatically augmenting an emotion dataset improves classification using audio
University of Hamburg（汉堡大学）；Department of Informatics, Knowledge Technology Group（信息学系知识技术组）
在这项工作中，我们解决了语音情感分类的问题。情感计算领域的一个问题是，注释数据的数量非常有限。另一方面，由于说话者之间的差异，同样的情感可以用语言表达的方式是巨大的。这是限制性能和泛化的因素之一。我们提出了一个简单的方法，提取音频样本的电影使用文本情感分析。因此，可以自动构建具有积极，消极情绪和中性语音的音频样本的更大数据集。我们表明，在这样的数据集上预训练递归神经网络在具有挑战性的Advertising语料库上会产生更好的结果。该实验显示了将文本情感分析与声音信息相结合的潜在益处。
2018-03-30 cs.CL
Multimodal Magic Elevating Depression Detection with a Fusion of Text and Audio Intelligence
University of Sanya（三亚学院）；Academician Workstation of Chunming Rong, University of Sanya（三亚学院戎春明院士工作站）
本研究提出基于师生架构的多模态融合模型，结合多头注意力与加权迁移学习，在 DAIC-WOZ 数据集上 F1 达 99.1%，有效提升了抑郁症分类准确率。
2025-01-31 cs.CL cs.SD eess.AS
ALARM: Audio-Language Alignment for Reasoning Models
ALARM通过自我改写和多编码器融合，提升推理模型的音频理解能力，实现更高效的音频推理性能。
2026-03-10 cs.CL
Cascaded Mutual Modulation for Visual Reasoning
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Research Center for Brain-inspired Intelligence, CASIA（中国科学院自动化研究所类脑智能研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
视觉推理是一种特殊的视觉问答问题，其本质上是多步骤和组合的，并且还需要密集的文本-视觉交互。我们提出CMM：级联互调制作为一种新的端到端的视觉推理模型。CMM包括对问题和图像的多步骤理解过程。在每一步中，我们使用了一个逐行线性调制（Film）技术，使文本/视觉管道相互控制。实验表明，CMM显着优于大多数相关的模型，并达到国家的最先进的视觉推理基准：CLEVR和NLVR，从合成和自然语言收集。消融研究证实，我们的多步骤框架和我们的视觉引导的语言调节是至关重要的任务。我们的代码可在https://github.com/FlamingHorizon/CMM-VR上获得。
2018-09-06 cs.AI cs.CL cs.CV
Hybrid Emotion Recognition: Enhancing Customer Interactions Through Acoustic and Textual Analysis
School of Computing（计算机学院）；Informatics Institute of Technology（信息技术学院）；Swansea University（斯旺西大学）
本研究提出一种结合深度学习、NLP和大语言模型的混合情感识别系统，融合声学与文本分析，在联络中心实现精准情感检测，提升客户交互质量与运营效率。
2025-03-27 cs.CL
Automated Audio Captioning and Language-Based Audio Retrieval
Carnegie Mellon University（卡内基梅隆大学）
本项目参与DCASE 2022任务6，针对自动音频字幕生成与基于语言的音频检索两个子任务，基于Clotho数据集改进基线模型，最终音频检索模型超越基线，字幕生成接近基线。
2023-05-15 cs.CL cs.IR cs.SD
Con Instruction: Universal Jailbreaking of Multimodal Large Language Models via Non-Textual Modalities
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Technical University of Darmstadt（达姆施塔特工业大学）
本文提出 Con Instruction 方法，通过优化对抗性图像或音频在嵌入空间中与目标指令对齐，实现对多模态大语言模型的通用越狱攻击，并引入 ARC 框架评估攻击效果，在多个模型上取得最高攻击成功率。
2025-05-31 cs.CL cs.CR cs.LG
Audio-Aware Large Language Models as Judges for Speaking Styles
National Taiwan University（国立台湾大学）；Microsoft（微软）
本文提出用音频感知大语言模型自动评判口语模型的说话风格，并通过人类评估验证Gemini-2.5-pro可达到接近人类间一致性，同时指出现有SLM仍需改进。
2025-06-06 cs.AI cs.CL eess.AS
SEA-HELM Audio: Evaluating Multilingual ASR-LLM Pipeline Performance Across SEA-HELM Subsets
AI Singapore（新加坡人工智能研究院）
该研究推出SEA-HELM Audio多语言评估框架，对比五种语言下ASR-LLM流水线语音与文本输入的性能，发现语音输入存在显著退化，凸显仅文本基准的局限，为多语言语音智能体评估提供工具。
2026-10-19 cs.CL cs.SD
