AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering
National Taiwan University（国立台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
AQAScore通过音频问答评估文本到音频生成的语义对齐，利用大型语言模型的推理能力，有效捕捉语义不一致性。
2026-01-21 cs.AI cs.CL cs.LG
Attention-Based Methods For Audio Question Answering
Tampere University（坦佩雷大学）
提出基于自注意力与交叉注意力的音频问答模型，在Clotho-AQA上显著提升是/否和单词答案准确率，并发布修订数据集。
2023-05-31 cs.CL cs.LG cs.SD
Reinforcement Learning Outperforms Supervised Fine-Tuning: A Case Study on Audio Question Answering
Xiaomi Corporation（小米公司）
本文针对音频问答任务，将GRPO强化学习应用于Qwen2-Audio-7B-Instruct，仅用38k样本即在MMAU Test-mini上达到64.5%的准确率，并证明RL显著优于SFT。
2025-05-14 cs.AI cs.CL cs.SD
Knowledge Fusion and Semantic Knowledge Ranking for Open Domain Question Answering
Arizona State University（亚利桑那州立大学）
开放领域问答需要系统检索外部知识，并通过组合分布在多个句子上的知识来执行多跳推理。在最近引入的开放领域问答挑战数据集QASC和OpenBookQA中，我们需要执行事实检索并组合事实以正确回答问题。在我们的工作中，我们学习了一个语义知识排序模型，通过Lucene的信息检索系统检索到的知识重新排名。我们进一步提出了一个“知识融合模型”，利用外部检索的知识和基于BERT的语言模型的知识，并提高了基于BERT的语言模型的知识理解。在OpenBookQA和QASC数据集上，具有语义重新排序的知识的知识融合模型优于以前的尝试。
2020-04-17 cs.AI cs.CL cs.LG
Multi-granularity hierarchical attention fusion networks for reading comprehension and question answering
Alibaba Group（阿里巴巴集团）
本文描述了一种新的层次注意网络的阅读理解风格的问答，其目的是回答一个给定的叙述段落的问题。在该方法中，注意力和融合进行水平和垂直跨层的问题和段落之间的不同粒度的水平。具体来说，它首先编码的问题和段落与细粒度的语言嵌入，以更好地捕捉各自的表示在语义层面。然后提出了一种多粒度融合方法，充分融合来自全局和关注表示的信息。最后，引入层次注意网络，通过多层次软对齐逐步关注答案广度。在大规模SQuAD和TriviaQA数据集上的实验验证了该方法的有效性。在撰写本文时（2018年1月12日），我们的模型在SQuAD排行榜上获得了单个和集成模型的第一名。我们还在TriviaQA、AddSent和AddOne-Sent数据集上实现了最先进的结果。
2018-11-29 cs.CL
Music Understanding LLaMA: Advancing Text-to-Music Generation with Question Answering and Captioning
Tencent PCG（腾讯平台与内容事业群）；National University of Singapore（新加坡国立大学）
针对文本到音乐生成缺乏带字幕的大规模公开数据集的问题，提出能完成音乐问答与字幕生成的MU-LLaMA模型，配套构建MusicQA数据集，实验显示其性能超越现有SOTA模型。
2023-08-22 cs.AI cs.CL cs.MM
RFiD: Towards Rational Fusion-in-Decoder for Open-Domain Question Answering
Westlake University（西湖大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出RFiD模型，通过利用FiD编码器区分因果关系与虚假特征并引导解码器生成答案，在NQ和TriviaQA数据集上提升了开放域问答的精确匹配分数和因果识别能力。
2023-05-26 cs.AI cs.CL
RAVEN: Query-Guided Representation Alignment for Question Answering over Audio, Video, Embedded Sensors, and Natural Language
Worcester Polytechnic Institute（伍斯特理工学院）
针对多模态问答中模态不一致易误导融合模型的问题，提出核心为QuART查询条件跨模态门控模块的RAVEN架构，经三阶段训练，搭配新发布的AVS-QA数据集，在多个基准上实现显著准确率提升且模态损坏下鲁棒性优异。
2025-09-05 cs.CL cs.CV cs.LG
ORCA: Open-ended Response Correctness Assessment for Audio Question Answering
Brno University of Technology（布尔诺科技大学）；Universidad Autónoma de Madrid（马德里自治大学）；University of Buenos Aires（布宜诺斯艾利斯大学）；Tufts University（塔夫茨大学）；University of Maryland（马里兰大学）
本文提出ORCA模型，通过三阶段标注流程实现轻量级回答正确性与分歧建模，实验显示其在已见和未见基准上均优于基线模型，且能有效识别问题项。
2026-06-29 cs.AI cs.CL cs.SD
Enhancing Temporal Understanding in Audio Question Answering for Large Audio Language Models
Qualcomm Technologies Inc.（高通技术公司）
针对大型音频语言模型时间推理能力不足的问题，研究提出利用LLM生成时间问答对的数据增强方法，结合课程学习微调模型，并在端侧实现验证了CPU推理可行性。
2024-12-13 cs.CL cs.SD eess.AS
Data-Balanced Curriculum Learning for Audio Question Answering
Maastricht University（马斯特里赫特大学）
针对音频问答中数据集不平衡与训练不稳定问题，提出结合课程学习与统计数据平衡的方法，通过难度标注、过滤与引导解码，在DCASE 2025基准上准确率达64.2%，较基线提升11.7%。
2025-07-09 cs.SD eess.AS
RA-QA: A Benchmarking System for Respiratory Audio Question Answering Under Real-World Heterogeneity
本文提出RA-QA基准系统，通过标准化数据生成流程和统一评估协议，整合900万组异构问答对，评估通用音频语言模型和领域特定架构在现实异质性下的表现。
2026-06-29 cs.LG cs.SD eess.AS
Audiopedia: Audio QA with Knowledge
Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出Audiopedia知识密集型音频问答任务及通用框架，通过音频实体链接和知识增强多模态模型提升大型音频语言模型的推理能力。
2024-12-29 cs.LG cs.MM cs.SD
Learning from Audio-Dependency Errors: Data Curation Strategies Based on Model Confusion Patterns in Audio Question Answering
Independent Researcher（独立研究者）
提出一种诊断性数据策展方法，通过探测音频-语言模型在不同音频条件下的混淆模式，筛选强音频依赖样本进行微调，在音频问答任务上提升准确率。
2026-06-23 cs.SD eess.AS
Why Your Tokenizer Fails in Information Fusion: A Timing-Aware Pre-Quantization Fusion for Video-Enhanced Audio Tokenization
School of Electrical Engineering and Telecommunications, University of New South Wales（新南威尔士大学电气工程与电信学院）；Dolby Laboratories（杜比实验室）
本文研究了视频增强音频分词中重建质量下降的根本原因，提出了一种面向时间的预量化融合方法，通过在分词器架构中合理定位融合位置，结合时间轴上的特征融合，实现了高保真重建和下游任务的优越性能。
2026-04-13 cs.SD eess.AS
Designing Textual Interfaces To Enhance Llm Reasoning On Audio-Visual Question Answering
University of Edinburgh（爱丁堡大学）；Chinese University of Hong Kong（香港中文大学）；Nanjing University（南京大学）
本研究探究文本接口设计对视听问答任务多模态推理提示优化的影响，对比三种接口设计，基于Qwen3-Omni和Gemini实验发现直接优化有模型依赖增益，接口设计是优化有效性的重要因素。
2026-10-15 cs.AI cs.CL eess.AS
Clotho-AQA: A Crowdsourced Dataset for Audio Question Answering
Tampere University（坦佩雷大学）
音频问答（AQA）是多模态翻译任务，其中系统分析音频信号和自然语言问题，以生成期望的自然语言答案。在本文中，我们介绍Clotho-AQA，一个数据集的音频问答，包括1991个音频文件，每个之间的持续时间为15至30秒，从Clotho数据集选择。对于每个音频文件，我们使用Amazon Mechanical Turk通过众包收集六个不同的问题和相应的答案。问题和答案由不同的注释器生成。在每个音频的六个问题中，两个问题每个都被设计为有“是”和“否”作为答案，而剩下的两个问题有其他单字答案。对于每个问题，我们从三个不同的注释者那里收集答案。我们还提出了两个基线实验来描述我们的数据集的AQA任务的使用-基于LSTM的多模态二进制分类器的“是”或“否”类型的答案和基于LSTM的多模态多类分类器的828个单字的答案。二元分类器实现了62.7%的准确率，多类分类器实现了54.2%的前1准确率和93.7%的前5准确率。Clotho-AQA数据集可在https://zenodo.org/record/6473207在线免费获得。
2022-06-17 cs.LG cs.SD eess.AS
Late Audio-Visual Fusion for In-The-Wild Speaker Diarization
MERL（三菱电机研究实验室）
针对真实场景视频中说话人多、话语短、画面说话人不一致的问题，提出后期融合音频与视觉子系统的音视频日志模型，并在 AVA-AVD 上刷新 SOTA。
2023-09-27 cs.CL cs.SD eess.AS
Event-Grounded Question Answering over Long Audio via Structured Retrieval
Qualcomm Technologies, Inc., India（印度高通技术公司）；Qualcomm Technologies, Inc., USA（美国高通技术公司）；University of Turku, Finland（芬兰图尔库大学）
提出LA-RAG框架，通过音频基础模型将长音频转为带时间戳的事件记录并存入SQL数据库，结合意图感知检索和LLM生成，实现低延迟高精度的长音频问答，在多个基准上提升时间定位F1达11-17%。
2026-06-29 cs.AI cs.LG eess.AS
AQA-TTRL: Self-Adaptation in Audio Question Answering with Test-Time Reinforcement Learning
The University of Tokyo（东京大学）
提出AQA-TTRL框架，通过测试时强化学习利用无标签数据实现音频语言模型的在线自适应，采用多数投票生成伪标签、置信度加权和多次采样策略，在MMAU等基准上显著提升性能。
2026-11-02 eess.AS
Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition
视听信息融合使得能够改进在复杂声学场景中执行的语音识别的性能，嘈杂的环境。因此，需要探索一种有效的视听融合策略，以保证视听对齐和模态可靠性。不同于以前的端到端的方法，其中的视听融合进行编码后，每一个模态，在本文中，我们建议将一个专注的融合块到编码过程中。结果表明，在编码器模块中提出的视听融合方法可以丰富视听表示，因为这两种模态之间的相关性被利用。根据基于变换器的架构，我们使用具有单向或双向交互的基于多头注意力的视听融合来实现嵌入式融合块。该方法可以充分结合两个流，削弱对音频模态的过度依赖。在LRS 3-TED数据集上的实验表明，与现有方法相比，该方法在干净、可见和不可见噪声条件下的识别率平均分别提高了0.55%、4.51%和4.61%。
2020-08-06 cs.LG cs.MM cs.SD
Improving Audio Question Answering with Variational Inference
Idiap Research Institute, Martigny, Switzerland（日内瓦研究所）；École Polytechnique Fédérale de Lausanne, Lausanne, Switzerland（洛桑联邦理工学院）
本文通过改进的变分推断优化器提升音频问答任务的预测准确性与校准性。
2026-01-19 cs.SD eess.AS
Cross-Modal Bottleneck Fusion For Noise Robust Audio-Visual Speech Recognition
Seoul National University（首尔大学）
CoBRA通过跨模态瓶颈融合机制，在噪声环境下提升音频视觉语音识别的鲁棒性和效率。
2026-02-09 eess.AS
Multi-Scale Attention for Audio Question Answering
Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）
针对音频问答在细粒度场景中时间推理不足的问题，提出多尺度窗口注意力融合模型MWAFM，通过异步混合注意力和多尺度窗口注意力聚合跨模态时间上下文并捕获不同长度声音事件，实验证明其有效性。
2023-05-29 cs.AI cs.MM cs.SD
Machine Unlearning for Speech Question Answering in Large Audio-Language Models
Meta Platforms, Inc.（Meta平台公司）
本研究针对大型音频语言模型中的语音问答任务，提出多种机器遗忘策略（如梯度上升、任务算术和对齐微调），在降低高达80%隐私泄露率的同时，保持非私有任务性能接近不变。
2026-09-15 cs.CL cs.LG cs.SD
Exploring Audio-Visual Information Fusion for Sound Event Localization and Detection In Low-Resource Realistic Scenarios
本研究针对低资源场景下的声音事件定位与检测问题，提出跨模态师生学习框架、两阶段视听融合策略及视频像素交换增强技术，在DCASE 2023挑战赛SELD任务中取得第一名。
2024-06-21 eess.AS eess.SP
RMS-AQA: A Two-Stage Spatial Audio Question Answering Benchmark for Real-World Domestic Environments
NVIDIA（英伟达）
针对家庭具身助手的空间音频理解需求，提出双阶段SAQA基准RMS-AQA，结合真实FOA录音与RIR合成数据，并引入轻量空间插件，实验揭示并发源、远距离及域差距为主要挑战。
2026-10-27 cs.SD eess.AS
Audio-Visual Person Verification based on Recursive Fusion of Joint Cross-Attention
Computer Research Institute of Montreal (CRIM)（蒙特利尔计算机研究所）
本文提出一种基于联合交叉注意力递归融合的视听人物验证方法，通过递归细化联合特征表示并引入BLSTMs增强时间建模，有效捕获模态内与模态间关系，在Voxceleb1数据集上显著提升了融合性能。
2024-04-26 cs.CV cs.SD eess.AS
Complementary Fusion of Multi-Features and Multi-Modalities in Sentiment Analysis
Beijing Forestry University（北京林业大学）；Carnegie Mellon University（卡内基梅隆大学）
情感分析主要基于文本，近十年来发展迅速，引起了学术界和工业界的广泛关注。然而，现实世界中的信息通常来自多种形式，如音频和文本。因此，本文基于音频和文本，考虑多模态情感分析的任务，提出了一种新的融合策略，包括多特征融合和多模态融合，以提高音频-文本情感分析的准确性。我们称之为DFF-ATMF（Deep Feature Fusion - Audio and Text Modality Fusion）模型，它由两个并行的分支组成，即基于音频模态的分支和基于文本模态的分支。其核心机制是多特征向量和多通道注意的融合。在CMU-MOSI数据集和最近发布的CMU-MOSEI数据集上的实验，都是从YouTube上收集的情感分析，显示了我们的DFF-ATMF模型非常有竞争力的结果。此外，凭借注意力权重分布热图，我们还证明了使用DFF-ATMF学习的深度特征是互补的，并且是鲁棒的。令人惊讶的是，DFF-ATMF在IEMOCAP数据集上也取得了新的最先进的结果，表明所提出的融合策略对于多模态情感识别也具有良好的泛化能力。
2019-12-11 cs.CL cs.SD eess.AS
FusionAudio-1.2M: Towards Fine-grained Audio Captioning with Multimodal Contextual Fusion
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出两阶段多模态融合流程，构建含120万条细粒度描述和600万问答对的FusionAudio数据集，并据此训练出对齐与指令跟随能力更强的CLAP音频编码器。
2025-06-01 cs.AI cs.SD eess.AS
A Self-Adjusting Fusion Representation Learning Model for Unaligned Text-Audio Sequences
Tsinghua University（清华大学）；Hebei University of Science and Technology（河北科技大学）；Northeast Electric Power University（东北电力大学）
在多模态情感分析中，模态间交互起着不可或缺的作用。由于不同模态的序列通常是不对齐的，如何整合各模态的相关信息来学习融合表示一直是多模态学习的核心挑战之一。本文提出了一种自调整融合表示学习模型（SA-FRLM），用于直接从未对齐的文本和音频序列中学习鲁棒的跨模态融合表示。与以往的工作不同，我们的模型不仅充分利用了不同模态之间的相互作用，而且最大限度地保护了单峰特性。具体来说，我们首先采用跨模态对齐模块来将不同的模态特征投影到相同的维度。然后，采用跨模态协作注意力模型的文本和音频序列之间的模态间的相互作用和初始化的融合表示。在此基础上，提出了交叉模态调整Transformer作为SA-FRLM的核心单元，以保护SA-FRLM原有的单峰特性。它可以通过使用单模态流来动态地适应融合表示。我们在公共多模态情感分析数据集CMU-MOSI和CMU-MOSEI上评估了我们的方法。实验结果表明，我们的模型有显着提高的性能，所有的指标对未对齐的文本音频序列。
2022-11-12 cs.AI cs.CL cs.SD
Towards Spatial Audio Understanding via Question Answering
Audio Research Group, Tampere University, Tampere, Finland（塔尔皮奥大学音频研究组）
本文提出基于问答范式的一阶环绕声空间音频理解框架，构建了STARSS23的细粒度文本描述与QA数据集，并开发基线模型，仅用场景级监督即取得与帧级监督SELD模型相当的性能。
2025-07-12 cs.SD eess.AS
Audio Deepfake Detection with Self-Supervised WavLM and Multi-Fusion Attentive Classifier
本文提出结合自监督WavLM模型与新型多融合注意力（MFA）分类器进行音频深度伪造检测，首次利用WavLM提取利于欺骗检测的特征，并在ASVspoof数据集上取得领先或具竞争力的结果。
2024-01-10 eess.AS
Attention-based cross-modal fusion for audio-visual voice activity detection in musical video streams
Bytedance AI Lab（字节跳动人工智能实验室）
以前很多视听人声相关的作品都把重点放在语音上，忽略了互联网上越来越多的音乐视频流中的歌声。对于处理不同的音乐视频数据，语音活动检测是必要的步骤。本文试图检测语音和演唱的目标表演者的声音在音乐视频流使用视听信息。为了整合音频和视觉模态的信息，提出了一种多分支网络来学习音频和图像表示，并通过基于语义相似性的注意力融合表示，通过锚发声的概率来形成声学表示。实验结果表明，在复杂的声学环境中，该多分支网络的性能远优于纯音频模型，表明基于语义相关的跨模态信息融合是合理和成功的。
2021-06-21 cs.SD eess.AS
Summary of DCASE 2026 Task 5: Audio-Dependent Question Answering
The Chinese University of Hong Kong（香港中文大学）；Ant Group（蚂蚁集团）；University of Rochester（罗切斯特大学）；Shanghai Jiao Tong University（上海交通大学）；King's College London（伦敦国王学院）
DCASE 2026任务5聚焦音频相关问答，用音频依赖过滤管道构建评估集。比赛分两轨道，众多团队参与。成均馆大学团队取得较好成绩，还分析了常见构建模块、测试方法及各系统普遍遗漏的项目。
2026-07-22 eess.AS
Audio Spatially-Guided Fusion for Audio-Visual Navigation
Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学联合研究实验室，具身智能）；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语言认知计算国际联合研究实验室）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）
本文提出一种音频空间引导融合方法，通过自适应提取空间状态信息，实现多模态特征动态对齐与融合，提升在未知声源分布下的导航泛化能力。
2026-04-02 cs.AI cs.SD eess.AS
Omni-CLST: Error-aware Curriculum Learning with guided Selective chain-of-Thought for audio question answering
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）；MiLM Plus, Xiaomi Inc.（MiLM Plus，小米公司）
针对音频问答中高质量数据利用不足的问题，本文提出Omni-CLST框架，通过误差感知课程学习和引导式选择性思维链提升推理效率，并在MMAU-mini和MMAR上取得领先性能。
2025-09-18 cs.AI cs.SD eess.AS
Stable Hybrid Cross-Attention Fusion for Audio-Visual Event Recognition
ResoSight
提出一种结合VideoMAE和AST的混合交叉注意力融合框架，通过FiLM音频条件、双向交叉注意力融合和多模态Transformer编码，在AVE数据集上达到91.74%的验证准确率和83.85%的测试准确率。
2026-06-02 eess.AS eess.SP
Unveiling Audio Deepfake Origins: A Deep Metric learning And Conformer Network Approach With Ensemble Fusion
Idiap Research Institute（Idiap研究机构）；Tallinn University of Technology（塔林技术大学）
本文提出一种结合深度度量N-pair损失、真实强调与伪造分散框架、Conformer网络及集成分数-嵌入融合的音频深度伪造来源追踪系统，在域内外场景中均优于基线方法。
2025-06-02 cs.AI cs.CL cs.SD
Multimodal Magic Elevating Depression Detection with a Fusion of Text and Audio Intelligence
University of Sanya（三亚学院）；Academician Workstation of Chunming Rong, University of Sanya（三亚学院戎春明院士工作站）
本研究提出基于师生架构的多模态融合模型，结合多头注意力与加权迁移学习，在 DAIC-WOZ 数据集上 F1 达 99.1%，有效提升了抑郁症分类准确率。
2025-01-31 cs.CL cs.SD eess.AS
AURA Score: A Metric For Holistic Audio Question Answering Evaluation
Carnegie Mellon University（卡内基梅隆大学）
针对现有音频问答评估指标忽视上下文与部分正确性的问题，提出AURA分数新指标及首个基准AQEval，实现与人类判断最先进的相关性。
2025-10-06 cs.AI eess.AS
Multi-target DoA Estimation with an Audio-visual Fusion Mechanism
National University of Singapore（新加坡国立大学）
空间\ac{DoA}域的大多数先前研究集中于单一模态。然而，人类使用听觉和视觉来检测声源的存在。有了这个动机，我们建议使用神经网络与音频和视频信号的多扬声器定位。异构传感器的使用可以提供补充信息，以克服单模态的挑战，如噪声，混响，照明变化，和闭塞。我们试图解决这些问题，通过引入一个自适应加权机制的视听融合。我们还提出了一种新的视频模拟方法，该方法从与声学特征同步的嘈杂目标3D注释中生成视觉特征。实验结果表明，视听融合一致提高说话人DoA估计的性能，而自适应加权机制显示出明显的好处。
2021-05-13 cs.RO cs.SD eess.AS
Perception-Inspired Bayesian Causal Fusion for Audiovisual Source Localization
Aalto University（阿尔托大学）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
提出一种受人类感知启发的贝叶斯因果融合方法，通过推断共同原因后验来门控视听融合，避免无关模态干扰，在无需重训练下提升定位精度并降低误差。
2026-09-30 eess.AS
Double Entendre: Robust Audio-Based AI-Generated Lyrics Detection via Multi-View Fusion
Deezer Research（DeepZ研究）
提出多模态后期融合管道DE-detect，结合自动转录歌词与语音特征，解决AI生成音乐检测中泛化差和依赖清晰歌词的问题，提升鲁棒性。
2025-06-28 cs.AI cs.CL cs.SD
Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；Georgia Institute of Technology（佐治亚理工学院）
针对低质量视频下端到端视听语音识别性能提升有限的问题，提出基于唇形-音节子词关联的视觉预训练与音频引导跨模态融合编码器，在少量数据下实现优于当前最优系统的性能。
2024-03-09 cs.AI cs.CL cs.SD
Large-scale Contrastive Language-Audio Pretraining with Feature Fusion and Keyword-to-Caption Augmentation
Mila, Quebec Artificial Intelligence Institute（米拉魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of California San Diego（加州大学圣地亚哥分校）；LAION
本文提出一种结合特征融合与关键词到字幕增强的对比语言-音频预训练流程，并发布633,526对音频-文本数据集，模型在零样本分类等任务上达到或接近非零样本的最先进性能。
2024-03-21 cs.SD eess.AS
AMFFCN: Attentional Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement
Trinity College Dublin（都柏林圣三一学院）；Hubei University of Chinese Medicine（湖北中医药大学）
视听语音增强系统被认为是分离和增强说话人语音的最有前途的解决方案之一。传统的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱，并且这些方法a）不足以充分和有效地使用数据，b）不能选择性地处理特征。所提出的模型解决了这些缺点，通过a）应用在编码阶段逐层融合音频和视觉特征的模型，并且将融合的音频-视觉特征馈送到每个对应的解码器层，并且更重要的是，b）将软阈值注意力引入到模型中以软地选择信息模态。本文提出了一种基于注意力的视听图像多层特征融合模型，在解码器的每一层采用软阈值注意力单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-09-27 cs.SD eess.AS
Dual Transformer Decoder based Features Fusion Network for Automated Audio Captioning
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）
本文提出 LHDFF 模型，通过残差 PANNs 编码器融合低维与高维音频特征，并采用双 Transformer 解码器并行生成描述，实验表明其性能优于现有音频描述模型。
2023-05-30 cs.SD eess.AS
Towards Multilingual Audio-Visual Question Answering
IIIT-Delhi（德里印度信息技术学院）；Reliance Jio AICoE（信实吉奥人工智能卓越中心）；University of Tartu（塔尔图大学）
针对AVQA以英语为主、多语言复现成本高的问题，本文利用机器翻译构建八种语言的数据集，并提出融合多模态基础模型的MERA框架及MERA-L/C/T模型以建立多语言AVQA基准。
2024-06-13 cs.CV cs.LG cs.MM
AQUALLM: Audio Question Answering Data Generation Using Large Language Models
Reliance Jio AICoE（信实Jio人工智能卓越中心）
针对音频问答数据集缺乏的问题，提出基于大型语言模型的AQUALLM框架，利用现有音频-字幕标注生成大规模高质量AQA数据，并构建三个基准数据集，显著提升模型性能与泛化能力。
2023-12-28 cs.AI cs.CL cs.LG
Attentive AV-FusionNet: Audio-Visual Quality Prediction with Hybrid Attention
TH-Ingolstadt（因戈尔施塔特应用技术大学）；Dolby Germany GmbH（杜比德国有限公司）
本文提出一种结合学习音频特征和手工设计视频特征的混合注意力模型，用于提升音频-视觉质量预测的准确性和鲁棒性。
2026-01-22 cs.MM eess.AS eess.IV
Improving Noise Robust Audio-Visual Speech Recognition via Router-Gated Cross-Modal Feature Fusion
Dept. Artificial Intelligence（人工智能系）；Hanyang University（翰阳大学）
提出路由器门控跨模态融合框架，通过动态加权音频和视觉特征，在噪声下AVSR词错误率相对降低16.51%-42.67%。
2025-08-26 cs.AI cs.CV cs.MM
Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention
School of Computer Science and Engineering, Vellore Institute of Technology (VIT) University（计算机科学与工程学院，维洛雷理工学院（VIT大学））
本文提出AVT-CA模型，通过音频-视频Transformer融合与交叉注意力机制，提升多模态情感识别的准确率和F1分数。
2026-01-20 cs.CL cs.CV cs.LG
Multimodal Fusion with Deep Neural Networks for Audio-Video Emotion Recognition
École de Technologie Supérieure, University of Québec（魁北克大学高等技术学院）
本文提出了一种新的深度神经网络（DNN），用于情感识别的音频，视频和文本模态的多模态融合。所提出的DNN架构具有独立和共享的层，旨在学习每种模态的表示，以及最佳组合表示以实现最佳预测。在Wild数据集中的AVEC情感分析上的实验结果表明，所提出的DNN可以实现比在特征级执行模态早期融合的其他最先进的系统更高水平的一致性相关系数（CCC）（即，级联）和在分数级的后期融合（即，加权平均）融合。所提出的DNN在用于预测唤醒、效价和喜欢的数据集的发育分区上分别实现了0.606、0.534和0.170的CCC。
2019-07-06 cs.CV eess.AS eess.IV
