Audio-Visual Speaker Diarization Based on Spatiotemporal Bayesian Fusion
INRIA Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院)
说话人日志化包括将语音信号分配给参与对话的人。提出了一种视听时空日志化模型。该模型非常适合具有挑战性的场景,包括参与多方互动的多个参与者,同时他们四处走动,并将头转向其他参与者,而不是面对摄像机和麦克风。将多人视觉跟踪与多语音源定位相结合,以解决语音到人的关联问题。后者是解决在一个新的视听融合方法,理由如下:双耳频谱特征首先从麦克风对提取,然后监督视听对齐技术将这些功能映射到图像上,最后半监督聚类方法分配双耳频谱特征可见的人。这种方法的主要优点是,它在原则上的方式多人同时发出的语音信号处理。的日记本身被铸造成一个潜在的变量时间图形模型,推断扬声器的身份和语音转向,基于输出的视听关联过程,在每个时间片执行,并在动态的日记变量本身。所提出的配方产生一个有效的精确推理过程。一个新的数据集,其中包含视听训练数据,以及一些场景,涉及几个参与者进行正式和非正式的对话,介绍。所提出的方法经过了几种最先进的日记化算法的彻底测试和基准测试。
2016-11-03 cs.CV cs.SD
Efficient Audio-Visual Fusion for Video Classification
University of Surrey(萨里大学)
提出Attend-Fusion高效音视频融合方法,在YouTube-8M数据集上以更低模型复杂度实现与较大基线模型相当的性能。
2024-11-08 cs.CV
STNet: Deep Audio-Visual Fusion Network for Robust Speaker Tracking
College of Computer Science and Technology, Taiyuan University of Technology(太原理工大学计算机科学与技术学院);Peking University(北京大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
针对音视频说话人跟踪中跨模态交互挖掘不足的问题,提出带深度融合模型的STNet,通过视觉引导声学测量、跨模态注意力及质量感知模块实现鲁棒跟踪,在两个数据集上性能优于现有方法。
2024-10-08 cs.AI cs.CV
Dynamic Multi-Target Fusion for Efficient Audio-Visual Navigation
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);No. 59 Middle School of Urumqi(乌鲁木齐市第五十九中学)
提出DMTF-AVN,通过多目标架构和Transformer机制融合视听信息,在Replica和Matterport3D上取得最优导航性能。
2025-09-23 cs.AI cs.CV
EGOFALLS: A visual-audio dataset and benchmark for fall detection using egocentric cameras
University of Groningen(格罗宁根大学)
本文提出EGOFALLS视觉-音频多模态跌倒检测数据集与基准,采用第一人称相机视频描述符及后期决策融合,实验证明视听融合可提升检测性能。
2023-11-02 cs.AI cs.CV
Lift-Attend-Splat: Bird's-eye-view camera-lidar fusion using transformers
FiveAI
针对自动驾驶相机-激光雷达融合中单目深度估计可能是不必要瓶颈的问题,提出Lift-Attend-Splat方法,通过注意力机制在鸟瞰视角融合多传感器特征,在nuScenes数据集上的3D检测效果优于依赖单目深度的基线。
2024-05-21 cs.CV cs.LG
Exploring Emotion Features and Fusion Strategies for Audio-Video Emotion Recognition
University of Science and Technology of China(中国科学技术大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
基于音视频的情感识别的目的是将给定的视频分类为基本情感。在本文中,我们描述了我们在2019年的方法,主要探讨了音频和视觉模态的情感特征和特征融合策略。对于情感特征,我们使用语音谱图和Log Mel谱图来探索音频特征,并使用不同的CNN模型和不同的情感预训练策略来评估几个面部特征。在融合策略方面,我们探索了模态内和跨模态融合的方法,如设计注意力机制突出重要的情感特征,探索了跨模态特征融合的特征拼接和因子化双线性池(FBP)。经过仔细评估,我们在AFEW验证集上获得了65.5%,在测试集上获得了62.48%,在挑战中排名第三。
2020-12-27 cs.CV
Cross-Attention is Not Always Needed: Dynamic Cross-Attention for Audio-Visual Dimensional Emotion Recognition
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所)
本文针对音视频情感识别中模态互补关系强弱不一的问题,提出动态交叉注意力(DCA),通过门控层动态选择交叉关注或未关注特征,并在RECOLA和Aff-Wild2数据集上验证了其性能提升。
2024-03-28 cs.CV
DTFSal: Audio-Visual Dynamic Token Fusion for Video Saliency Prediction
University of Tehran(德黑兰大学)
针对视听显著性预测中听觉线索融合难、计算成本高的问题,提出DTFSal框架,通过多尺度视觉编码器、LTEB、DLTFB模块及AMFB融合视听特征,在六个基准上实现SOTA性能且保持计算效率。
2025-04-16 cs.CV
Unveiling the Power of Audio-Visual Early Fusion Transformers with Dense Interactions through Masked Modeling
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出利用掩码重建框架训练视听早期融合Transformer,并通过分解局部表示降低注意力融合的计算复杂度,在多个视听任务上取得优越性能。
2023-12-02 cs.AI cs.CV cs.LG
Rethink Cross-Modal Fusion in Weakly-Supervised Audio-Visual Video Parsing
National University of Singapore(新加坡国立大学)
针对弱监督音视频解析中早期融合纠缠不相关模态的问题,提出信使引导的中期融合变压器及跨音频预测一致性,减少不相关跨模态上下文,提升单模态事件检测性能。
2023-11-14 cs.CV
AVT2-DWF: Improving Deepfake Detection with Audio-Visual Fusion and Dynamic Weighting Strategies
针对多模态Deepfake检测挑战,提出AVT2-DWF框架,通过音视频双Transformer提取时空特征,并利用动态权重融合解决异构信息融合问题,在多个数据集上实现了最先进的检测性能。
2024-03-22 cs.CV
End-to-End Audiovisual Fusion with LSTMs
Imperial College London(帝国理工学院);University of Twente(特文特大学)
最近已经提出了几种端到端的深度学习方法,其同时从输入图像中提取视觉特征并执行视觉语音分类。然而,联合提取音频和视觉特征并进行分类的研究非常有限。本文提出了一种基于双向长短期记忆(BLSTM)网络的端到端视听模型。据我们所知,这是第一个视听融合模型,它同时学习直接从像素和频谱图中提取特征,并对语音和非语言发声进行分类。该模型由多个相同的流组成,每个模态一个,直接从嘴部区域和频谱图中提取特征。每个流/模态中的时间动态由BLSTM建模,并且多个流/模态的融合经由另一BLSTM发生。在AVIC数据库中,4种非语言发声的平均F1比仅音频分类的绝对改善1.9%。与此同时,所提出的端到端视听融合系统提高了AVIC数据库的最新性能,使平均F1测量值绝对增加了9.7%。我们还进行视听语音识别实验的OuluVS 2数据库使用不同的意见,口,正面的配置文件。建议的视听系统显着优于音频只有模型的所有意见时,声学噪声高。
2017-09-12 cs.CV
Relevance-guided Audio Visual Fusion for Video Saliency Prediction
School of Computer Science, Nanjing University of Information Science and Technology(南京信息工程大学计算机科学学院);Jiangsu Collaborative Innovation Center of Atmospheric Environment and Equipment Technology, Nanjing University of Information Science and Technology(南京信息工程大学江苏省大气环境与装备技术协同创新中心);College of Computer and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
提出相关性引导的视听显著性预测网络AVRSP,通过RAVF模块动态调整音频特征保留,并利用MS和MRG模块优化多尺度视觉特征融合,在六个数据集上取得有竞争力的性能。
2024-11-18 cs.CV
GAIS: Frame-Level Gated Audio-Visual Integration with Semantic Variance-Scaled Perturbation for Text-Video Retrieval
School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
针对文本-视频检索中现有方法未充分利用音频语义或融合策略粗糙的问题,提出GAIS框架,通过帧级门控融合模块实现细粒度视听整合,结合语义方差缩放扰动正则化文本嵌入,在多个数据集上提升检索性能且保持计算效率。
2025-11-18 cs.AI cs.CV
Improving Noise Robust Audio-Visual Speech Recognition via Router-Gated Cross-Modal Feature Fusion
Dept. Artificial Intelligence(人工智能系);Hanyang University(翰阳大学)
提出路由器门控跨模态融合框架,通过动态加权音频和视觉特征,在噪声下AVSR词错误率相对降低16.51%-42.67%。
2025-08-26 cs.AI cs.CV cs.MM
Audio-Visual Person Verification based on Recursive Fusion of Joint Cross-Attention
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所)
本文提出一种基于联合交叉注意力递归融合的视听人物验证方法,通过递归细化联合特征表示并引入BLSTMs增强时间建模,有效捕获模态内与模态间关系,在Voxceleb1数据集上显著提升了融合性能。
2024-04-26 cs.CV cs.SD eess.AS
Integrating both Visual and Audio Cues for Enhanced Video Caption
视频字幕是指为特定的短视频片段自动生成一个描述性的句子,近年来取得了显著的成功。然而,大多数现有的方法更多地关注视觉信息,而忽略了同步的音频线索。我们提出了三种多模态深度融合策略,以最大限度地发挥视听共振信息的优势。第一个探讨了从低阶到高阶对跨模态特征融合的影响。第二种方法通过共享相应前端网络的权值来建立视听短期依赖关系。第三个扩展的时间依赖性,长期通过共享多模态记忆跨视觉和听觉模态。大量的实验验证了我们的三个跨模态融合策略的有效性在两个基准数据集,包括微软研究视频到文本(MSRVTT)和微软视频描述(MSVD)。值得一提的是,共享权重可以有效地协调视听特征融合,并在BELU和METEOR指标上实现最先进的性能。此外,我们首先提出了一个动态的多模态特征融合框架,以处理部分模态丢失的情况。实验结果表明,即使在音频缺席模式下,我们仍然可以获得可比的结果与额外的音频模态推断模块的帮助。
2017-12-09 cs.CV
Kernel-based Sensor Fusion with Application to Audio-Visual Voice Activity Detection
Technion-Israel Institute of Technology(以色列理工学院)
在本文中,我们解决的问题,多个视图的数据融合中存在的噪声和干扰。最近的研究已经接近这个问题,使用内核的方法,特别是依赖于产品的内核分别为每个视图构建。从图论的角度来看,我们分析这种融合方法在一个离散的设置。更具体地说,基于一个统计模型的数据点之间的连接,我们提出了一个算法的内核带宽的选择,一个参数,其中,正如我们所示,有重要的影响,这种融合方法的鲁棒性的干扰。然后,我们考虑融合视听语音信号测量由一个单一的麦克风和由一个视频摄像机指向说话人的脸。具体来说,我们解决语音活动检测的任务,即,在存在诸如键盘敲击和办公室噪声的结构化干扰的情况下,检测语音和非语音段。提出了一种基于音视频信号的语音端点检测算法。仿真结果表明,该算法优于竞争的融合和语音活动检测方法。此外,我们证明了一个适当的选择的内核带宽确实会导致性能的提高。
2016-04-11 cs.CV
Multi-level Attention Fusion Network for Audio-visual Event Recognition
University of Sherbrooke(舍布鲁克大学);University of Mons(蒙斯大学)
事件分类本质上是顺序的和多模态的。因此,深度神经模型需要动态地关注视频的最相关时间窗口和/或模态。在这项研究中,我们提出了多级注意力融合网络(MAFnet),一个架构,可以动态地融合视觉和音频信息的事件识别。受神经科学先前研究的启发,我们在不同层次的视觉和听觉路径上将两种模式结合起来。此外,网络在与分类事件相关的给定时间窗口处动态地突出显示模态。在AVE(Audio-Visual Event)、UCF 51和Kinetics-Sounds数据集上的实验结果表明,该方法能有效提高视听事件分类的准确率。代码可在:https://github.com/numediart/MAFnet
2021-06-12 cs.CV cs.MM
United we stand, Divided we fall: Handling Weak Complementary Relationships for Audio-Visual Emotion Recognition in Valence-Arousal Space
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所(CRIM))
针对视听模态弱互补导致情绪识别特征表征差的问题,提出门控递归联合交叉注意力方法,通过门控机制自适应调控信息流,结合分层门控提升性能,在Affwild2数据集上取得更优的效价与唤醒度识别效果。
2025-03-21 cs.CV cs.SD eess.AS
Dynamic Cross Attention for Audio-Visual Person Verification
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所(CRIM))
提出动态交叉注意力(DCA)模型,通过条件门控层根据音视频模态间的强弱互补关系动态选择特征,在Voxceleb1数据集上持续提升性能并超越现有最先进方法。
2024-04-22 cs.CV cs.LG cs.SD
Advances in Online Audio-Visual Meeting Transcription
Microsoft(微软)
本文描述了一个系统,通过使用麦克风阵列和360度摄像头生成扬声器注释的会议记录。该系统的特点是它能够处理重叠的语音,这在现实环境中一直是一个未解决的问题超过十年。我们表明,这个问题可以通过使用连续语音分离方法来解决。此外,我们描述了一种在线视听扬声器日记化方法,利用人脸跟踪和识别,声源定位,扬声器识别,如果可用的话,以前的扬声器信息的鲁棒性,以各种现实世界的挑战。所有组件都集成在一个称为SRD的会议转录框架中,SRD代表“分离,识别和日记化”。使用录音的自然会议,涉及多达11名与会者的实验结果报告。与高度调谐的波束形成器相比,连续语音分离将字错误率(WER)提高了16.1%。当会议出席者的完整列表可用时,WER和演讲者归因的WER之间的差异仅为1.0%,这表明准确的单词到演讲者的关联。当50%的与会者对系统未知时,这一比例略微增加到1.6%。
2019-12-10 cs.CL cs.CV cs.SD
Residual Cross-Modal Fusion Networks for Audio-Visual Navigation
School of Computer Science and Technology, Xinjiang University, Urumqi, China(新疆大学计算机科学与技术学院);Joint International Research Laboratory of Silk Road Multilingual Cognitive(丝绸之路多语认知联合国际实验室);School of Mechatronic Engineering and Automation Shanghai University, Shanghai, China(上海大学机电工程与自动化学院)
本文提出残差跨模态融合网络,通过双向残差交互实现音频视觉信息互补建模,提升跨域导航性能。
2026-01-11 cs.AI cs.CV cs.RO
Leveraging TCN and Transformer for effective visual-audio fusion in continuous emotion recognition
Chinatelecom Cloud(天翼云科技有限公司)
本文提出一种结合TCN和Transformer的多模态融合模型,有效整合视觉与音频信息以提升连续情感识别准确率,在ABAW竞赛的表情分类挑战中优于基线并获第3名。
2023-09-06 cs.CV
Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain
Ruhr University Bochum(波鸿鲁尔大学);NTT Corporation(日本电报电话公司)
估计多个说话者的位置对于自动语音识别或说话者日记化等任务可能是有帮助的。例如,当应用波束成形或分配唯一的扬声器身份时,这两种应用都受益于已知的扬声器位置。最近,已经提出了几种利用增强了视觉数据的声学信号来完成这项任务的方法。然而,声学和视觉模态都可能在特定的空间区域中被破坏,例如由于较差的照明条件或背景噪声的存在。本文提出了一种新的视听数据融合框架的扬声器定位分配个人的动态流权重的特定区域中的定位空间。这种融合是通过一个神经网络实现的,它结合了各个音频和视频跟踪器的预测,基于它们的时间和位置依赖的可靠性。一个性能评估使用视听记录产生有前途的结果,与建议的融合方法优于所有的基线模型。
2021-02-24 cs.AI cs.CL cs.CV
Baton: Explicit Semantic Blueprints for Joint Video-Audio Generation
Fudan University(复旦大学);Tencent Hunyuan(腾讯幻元)
提出Baton框架,通过VA-Planner生成语义对齐的模态感知规划令牌作为蓝图,注入扩散骨干以协调视频和音频去噪,解决现有方法因缺乏共享长期规划导致的跨模态对齐脆弱问题。
2026-06-01 cs.CV
Dynamic Inter-Class Confusion-Aware Encoder for Audio-Visual Fusion in Human Activity Recognition
School of Automation Science and Engineering, Xi’an Jiaotong University, Xi’an, China(自动化科学与工程学院,西安交通大学,西安,中国);School of Software Engineering, Xi’an Jiaotong University, Xi’an, China(软件工程学院,西安交通大学,西安,中国)
本文提出动态类间混淆感知编码器DICCAE,通过动态调整类间混淆损失在细粒度类别级别对齐音视频表示,并引入融合模态的训练框架与聚类引导的自监督预训练策略,在VGGSound数据集上取得接近最先进的65.5%准确率。
2025-07-12 cs.CV
Multimodal Fusion with Deep Neural Networks for Audio-Video Emotion Recognition
École de Technologie Supérieure, University of Québec(魁北克大学高等技术学院)
本文提出了一种新的深度神经网络(DNN),用于情感识别的音频,视频和文本模态的多模态融合。所提出的DNN架构具有独立和共享的层,旨在学习每种模态的表示,以及最佳组合表示以实现最佳预测。在Wild数据集中的AVEC情感分析上的实验结果表明,所提出的DNN可以实现比在特征级执行模态早期融合的其他最先进的系统更高水平的一致性相关系数(CCC)(即,级联)和在分数级的后期融合(即,加权平均)融合。所提出的DNN在用于预测唤醒、效价和喜欢的数据集的发育分区上分别实现了0.606、0.534和0.170的CCC。
2019-07-06 cs.CV eess.AS eess.IV
Deep Fusion: An Attention Guided Factorized Bilinear Pooling for Audio-video Emotion Recognition
University of Science and Technology of China(中国科学技术大学)
由于情感概念的抽象性和情感表达的多样性,情感自动识别是一个具有挑战性的课题。虽然对情绪的定义还没有统一的认识,但人类的情绪状态通常可以被听觉和视觉系统感知。受人类这种认知过程的启发,在AER中同时利用音频和视频信息是很自然的。然而,大多数传统的融合方法只建立一个线性的范例,如特征级联和多系统融合,这很难捕捉音频和视频之间的复杂关联。在本文中,我们引入了因子分解双线性池(FBP),以深入整合音频和视频的特征。具体地,通过嵌入的注意力机制从各个模态中选择特征以获得情感相关区域。整个流水线可以在一个神经网络中完成。在2018年的音频-视频子挑战的AFEW数据库上进行了验证,所提出的方法实现了62.48%的准确率,优于最先进的结果。
2019-01-15 cs.CV cs.HC cs.LG
Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation
Character AI;Yale University(耶鲁大学)
该研究提出音视频生成统一范式Ovi,通过双DiT模块分块跨模态融合实现音视频同步生成,在大规模数据上训练后可产出带自然语音和匹配音效的电影级视频片段。
2025-09-30 cs.CV cs.MM cs.SD
EgoVIS@CVPR: PAIR-Net: Enhancing Egocentric Speaker Detection via Pretrained Audio-Visual Fusion and Alignment Loss
Indiana University(印第安纳大学)
针对第一人称视频主动说话者检测难题,本文提出 PAIR-Net,融合部分冻结 Whisper 与微调 AV-HuBERT,并以模态间对齐损失缓解不平衡,在 Ego4D 上取得 76.6% mAP 的最先进结果。
2025-09-26 cs.CV
Improving Speech Related Facial Action Unit Recognition by Audiovisual Information Fusion
University of South Carolina(南卡罗来纳大学)
从自发的面部表情中识别面部动作单位是一个挑战,特别是当它们伴随着语音时。主要原因是信息是从单一来源提取的,即,视觉通道,在目前的实践中。然而,面部活动与自然人类通信中的语音高度相关。本文提出了一种新的视听融合框架,而不是仅仅提高视觉观察,它最好地利用视觉和声学线索识别语音相关的面部AU。特别是,一个动态贝叶斯网络(DBN)明确建模的语义和动态生理之间的关系AU和音素以及测量不确定性。一个试点的视听AU编码的数据库已被收集到评估建议的框架,其中包括一个“干净”的子集,包含正面的脸在良好控制的情况下,一个具有挑战性的子集与大的头部运动和闭塞。在该数据库上的实验已经证明,所提出的框架在识别语音相关的AU产生显着的改善相比,最先进的视觉为基础的方法,特别是对于那些AU的视觉观察在语音过程中受损,更重要的是还优于特征级融合方法,通过明确地建模和利用AU和音素之间的生理关系。
2017-06-29 cs.CV
KAN-Based Fusion of Dual-Domain for Audio-Driven Facial Landmarks Generation
Chonnam National University(全南国立大学)
针对音频驱动说话人脸中稳定且对齐的面部关键点生成难题,提出 KFusion of Dual-Domain,将音频分为双域以学习情绪与面部上下文,并通过基于 KAN 的机制融合,实现优于近期模型的高效关键点生成。
2024-09-09 cs.CV cs.MM
Panoramic Video Salient Object Detection with Ambisonic Audio Guidance
Bytedance(字节跳动)
视频显著目标检测(VSOD)作为计算机视觉的一个基本问题,在过去的十年中得到了广泛的讨论。然而,所有现有的工作都集中在解决2D场景中的VSOD问题。随着VR设备的快速发展,全景视频已经成为2D视频的一种有前途的替代方案,以提供真实世界的沉浸感。在本文中,我们的目标是解决视频显著目标检测问题的全景视频,其相应的立体混响音频。提出了一种多模态融合模块,该模块采用两个伪连体的音视频上下文融合(ACF)模块,有效地进行音视频交互。配备有球形位置编码的ACF块使得3D上下文中的融合能够从等矩形帧和立体混响音频捕获像素与声源之间的空间对应。实验结果验证了我们提出的组件的有效性,并表明我们的方法在ASOD60K数据集上达到了最先进的性能。
2022-11-26 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University(东国大学)
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中,我们提出了一种多模态的面部表情识别方法,利用音频信息以及面部图像提供了一个重要的线索,以区分一些模糊的面部表情。具体来说,我们引入了模态融合模块(MFM)融合视听信息,其中图像和音频特征提取Swin Transformer。此外,我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为(ABAW)挑战中进行了评估。
2023-03-19 cs.CV
Enhanced Multimodal Content Moderation of Children's Videos using Audiovisual Fusion
University of Central Florida(中佛罗里达大学)
针对儿童视频中视觉无害但音频有害的问题,提出融合音频模态与提示学习、冻结 CLIP 主干的视听多模态审核方法,并在 MOB 数据集的监督和少样本设置下验证。
2024-05-09 cs.CV
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for Visual Question Answering
Tohoku University(东北大学);RIKEN Center for AIP(理化学研究所人工智能研究中心)
视觉问答(VQA)的一个关键解决方案是如何融合从输入图像和问题中提取的视觉和语言特征。我们发现,一个注意力机制,使两种模式之间的密集,双向的相互作用,有助于提高准确性的预测答案。具体来说,我们提出了一个简单的架构,是完全对称的视觉和语言表示,其中每个问题的话出席图像区域和每个图像区域出席问题的话。它可以堆叠起来形成一个层次结构,用于图像-问题对之间的多步交互。我们通过实验表明,所提出的架构实现了一个新的国家的最先进的VQA和VQA 2.0,尽管它的小尺寸。我们还提出了定性评估,演示了如何提出的注意力机制可以产生合理的注意力地图的图像和问题,从而导致正确的答案预测。
2018-12-01 cs.CV
Audio-3DVG: Unified Audio -- Point Cloud Fusion for 3D Visual Grounding
Hanyang University(汉阳大学);University of Toronto(多伦多大学);University Health Network(大学健康网络);Knovel Engineering Lab(Knovel工程实验室);Michigan State University(密歇根州立大学);KU Leuven(鲁汶大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Max Planck Research School for Intelligent Systems (IMPRS-IS)(马克斯·普朗克智能系统研究学校);University of Stuttgart(斯图加特大学);UC Berkeley(伯克利大学);Johns Hopkins University(约翰霍普金斯大学)
提出Audio-3DVG框架,通过融合音频与点云信息,结合对象提及检测与音频引导注意力模块,在标准3DVG数据集上实现了基于音频的3D视觉定位新SOTA性能,并与基于文本的方法相竞争。
2025-08-13 cs.AI cs.CV cs.LG
Resource aware design of a deep convolutional-recurrent neural network for speech recognition through audio-visual sensor fusion
KU Leuven(鲁汶大学)
当今的自动语音识别系统仅依赖于声学信号,并且在噪声条件下通常不能很好地执行。执行多模态语音识别-同时处理声学语音信号和唇读视频-显著增强了此类系统的性能,特别是在嘈杂的环境中。这项工作提出了这样一个自动语音识别视听系统的设计,考虑到内存和计算的要求。首先,设计了一个用于声学语音识别的长短期记忆神经网络。其次,使用卷积神经网络对唇读特征进行建模。这些与LSTM网络相结合,以建模时间依赖性并在视频上执行自动唇读。最后,结合听觉语音和视觉唇读网络,同时处理听觉和视觉特征。一个注意力机制确保模型在噪声环境中的性能。该系统的TCD-TIMIT '唇说话者'数据集上进行评估的视听音素识别与干净的音频和加性白噪声在SNR为0 dB。它分别实现了75.70%和58.55%的音素准确率,在所有噪声水平下都比最先进的音素准确率高出14个百分点。
2018-03-13 cs.CV
Cross-Modal Binary Attention: An Energy-Efficient Fusion Framework for Audio-Visual Learning
Peter L. Reichertz Institute for Medical Informatics of TU Braunschweig and Hannover Medical School(图林根工业大学和汉诺威医学院医学信息学研究所);Lower Saxony Center for AI and Causal Methods in Medicine (CAIMed)(下萨克森人工智能与因果医学方法中心)
提出CMQKA和SNNergy,通过高效二进制操作实现线性复杂度的跨模态融合,显著提升音频视觉任务的能耗效率和性能
2026-01-31 cs.CV cs.LG cs.MM
Rethinking the constraints of multimodal fusion: case study in Weakly-Supervised Audio-Visual Video Parsing
Beijing University of Posts and Telecommunications(北京邮电大学);University of Technology Sydney(悉尼科技大学);Australian AI Institute(澳大利亚人工智能研究所)
对于多模态任务,一个好的特征提取网络应该尽可能多地提取信息,并确保所提取的特征嵌入和其他模态特征嵌入具有极好的相互理解。在特征融合中,后者往往比前者更为关键。因此,选择最优的特征提取网络配置是多模态任务中一个非常重要的子问题。现有的研究大多忽略了这个问题或采用遍历的方法。本文将此问题建模为一个优化问题。借鉴数学中极值转换的一般做法,提出了一种将最优化问题转化为比较上界问题的新方法。与传统方法相比,减少了时间成本。同时,针对多模态时间序列问题中特征相似度和特征语义相似度不一致的问题,借鉴对比学习的思想,提出了一种多模态时间序列对比损失(MTSC)算法。基于上述问题,我们证明了我们的方法在视听视频解析任务中的可行性。大量的分析表明,我们的方法促进了不同模态特征的融合。
2021-05-30 cs.CV
Audio Does Matter: Importance-Aware Multi-Granularity Fusion for Video Moment Retrieval
Zhejiang University(浙江大学);Peking University(北京大学);Zhejiang Gongshang University(浙江工商大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学)
提出重要性感知多粒度融合模型(IMG),动态加权音频并多粒度融合音视频,解决视频时刻检索中噪声音频干扰问题,构建新数据集并达到最先进性能。
2025-10-25 cs.CV cs.IR cs.MM
Audio-Visual Fusion Layers for Event Type Aware Video Recognition
KAIST(韩国科学技术院);Harvard University(哈佛大学);POSTECH(浦项科技大学);Adobe Research(Adobe研究)
人类大脑在任何时候都不断地被来自外部世界的多感官信息及其复杂的相互作用所淹没。这些信息通过在我们的大脑中绑定或分离而自动分析。虽然这项任务对人类大脑来说似乎毫不费力,但建造一台可以执行类似任务的机器是极具挑战性的,因为复杂的交互无法通过单一类型的集成来处理,而是需要更复杂的方法。在本文中,我们提出了一个新的模型来解决多任务学习方案中的多感官整合问题与个别事件特定的层。与以往使用单一类型融合的作品不同,我们设计了特定于事件的层来处理不同的视听关系任务,从而实现不同的视听形成方式。实验结果表明,我们的事件特定层可以发现视频中的视听关系的独特属性。此外,虽然我们的网络是用单个标签来制定的,但它可以输出额外的真正的多标签来表示给定的视频。我们证明了我们提出的框架也暴露了流行的基准数据集的视频数据类别明智和明智的方式的模态偏差。
2022-02-12 cs.CV eess.IV
Inconsistency-Aware Cross-Attention for Audio-Visual Fusion in Dimensional Emotion Recognition
Computer Research Institute of Montreal(蒙特利尔计算机研究所)
针对音视频模态间弱互补关系会降低交叉注意力特征质量的问题,提出不一致感知交叉注意力 IACA,通过两阶段门控机制自适应选择相关特征,并在 Aff-Wild2 数据集上验证了模型鲁棒性。
2024-06-30 cs.CV
AVFF: Audio-Visual Feature Fusion for Video Deepfake Detection
University of Maryland - College Park(马里兰大学帕克分校);Reality Defender Inc.(Reality Defender公司)
提出两阶段跨模态学习方法AVFF,通过自监督学习捕捉音视觉对应关系并结合互补掩码与特征融合策略提取表征,在FakeAVCeleb数据集上取得98.6%准确率和99.1% AUC,显著超越现有方法。
2024-06-05 cs.CV cs.MM cs.SD
Audio-Visual Event Localization via Recursive Fusion by Joint Co-Attention
Texas State University(德克萨斯州立大学);University of Trento(特伦托大学);EPFL(洛桑联邦理工学院)
视听事件定位任务的主要挑战在于如何有效地融合来自多模态的信息。最近的研究表明,注意力机制对融合过程是有益的。在本文中,我们提出了一种新的联合注意力机制与多模态融合方法的视听事件定位。特别是,我们提出了一个简洁而有效的架构,有效地学习表示从多种形式的联合方式。最初,视觉特征与听觉特征相结合,然后变成联合表示。接下来,我们利用联合表示来分别处理视觉特征和听觉特征。在这种联合注意的帮助下,产生了新的视觉和听觉特征,从而两种特征可以享受彼此的相互改进的好处。值得注意的是,联合共同关注单元是递归的,这意味着它可以被执行多次以逐渐获得更好的联合表示。在公共AVE数据集上的大量实验表明,该方法比现有方法取得了更好的结果。
2020-08-14 cs.CV cs.SD eess.AS
Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention
School of Computer Science and Engineering, Vellore Institute of Technology (VIT) University(计算机科学与工程学院,维洛雷理工学院(VIT大学))
本文提出AVT-CA模型,通过音频-视频Transformer融合与交叉注意力机制,提升多模态情感识别的准确率和F1分数。
2026-01-20 cs.CL cs.CV cs.LG
On the Behavior of Audio-Visual Fusion Architectures in Identity Verification Tasks
Pacific Northwest National Laboratory(太平洋西北国家实验室);Oregon State University(俄勒冈州立大学);North Carolina State University(北卡罗来纳州立大学)
该研究针对身份验证任务中的音视频融合架构,对比不同融合方式,发现输出嵌入平均法在全模态及单模态缺失场景下均能降低错误率,且对嵌入空间的利用更充分。
2023-11-09 cs.CV cs.LG cs.SD
Audio Visual Speech Recognition using Deep Recurrent Neural Networks
Samsung R&D Institute India(三星研发研究院(印度))
在这项工作中,我们提出了一种使用深度递归神经网络(RNN)的视听自动语音识别(AV-ASR)系统的训练算法。首先,我们训练一个具有连接主义时间分类(CTC)目标函数的深度RNN声学模型。然后,从声学模型获得的帧标签用于使用深瓶颈网络执行视觉特征的非线性降维。音频和视觉特征被融合并用于训练融合RNN。使用视觉模态的瓶颈特征有助于模型在训练过程中正确收敛。我们的系统进行了评估GRID语料库。我们的研究结果表明,视觉模态的存在下,在不同程度的噪声的字符出错率(CER)显着改善,即使在没有噪声数据的模型进行训练。我们还提供了两种融合方法:特征融合和决策融合的比较。
2016-11-09 cs.CL cs.CV cs.LG
Attention Bottlenecks for Multimodal Fusion
Google Research(谷歌研究院)
人类通过同时处理和融合来自视觉和音频等多种模态的高维输入来感知世界。与此形成鲜明对比的是,机器感知模型通常是特定于模态的,并且针对单峰基准进行了优化,因此来自每个模态的最终表示或预测的后期融合(“后期融合”)仍然是多模态视频分类的主导范例。相反,我们引入了一种新的Transformer为基础的架构,使用“融合瓶颈”的模态融合在多个层次。与传统的成对自我注意相比,我们的模型迫使不同模态之间的信息通过少量的瓶颈潜伏期,要求模型整理和浓缩每个模态中最相关的信息,只共享必要的信息。我们发现,这样的策略提高了融合性能,同时降低了计算成本。我们进行了彻底的消融研究,并在多个视听分类基准上取得了最先进的结果,包括Audioset,Epic-Kitsound和VGGSound。所有代码和模型都将被发布。
2022-11-30 cs.CV
Recursive Joint Attention for Audio-Visual Fusion in Regression based Emotion Recognition
École de technologie supérieure(高等技术学院)
本文提出递归联合注意力与LSTM相结合的音视频融合模型,用于回归式情绪识别,在Affwild2和Fatigue数据集上显著优于现有方法。
2023-04-17 cs.CV cs.SD eess.AS
LAVA: Layered Audio-Visual Anti-tampering Watermarking for Robust Deepfake Detection and Localization
School of Computer Science and Engineering(计算机科学与工程学院);UNSW Sydney(新南威尔士大学悉尼分校);School of Information and Communication Technology(信息与通信技术学院);Griffith University(格里菲斯大学)
LAVA通过跨模态水印融合与校准感知对齐,提升深度伪造篡改检测与定位的鲁棒性,实验表明其检测性能接近完美,抗压缩与多模态错位能力强。
2026-08-11 cs.CV
Continuous Emotion Recognition with Audio-visual Leader-follower Attentive Fusion
Nanyang Technological University(南洋理工大学);Huazhong University of Science and Technology(华中科技大学)
我们提出了一个视听时空深度神经网络:(1)一个视觉块,包含一个预先训练的2D-CNN,然后是一个时间卷积网络(TCN);(2)一个听觉块,包含几个并行的TCN;(3)一个领导者-追随者注意融合块,结合视听信息。具有大历史覆盖的TCN使我们的模型能够在大得多的窗口长度内利用时空信息(即,300)与基线和现有技术方法相比(即,36或48)。融合块强调视觉模态,同时使用模态间注意力机制利用噪声听觉模态。为了充分利用数据和减少过拟合,对训练集和验证集进行交叉验证。一致性相关系数(CCC)中心用于合并来自每个折叠的结果。在Aff-Wild 2数据库的测试(验证)集上,所实现的CCC对于效价为0.463(0.469),对于唤醒为0.492(0.649),这显著优于基线方法,其中对应的CCC对于效价和唤醒分别为0.200(0.210)和0.190(0.230)。该代码可在https://github.com/sucv/ABAW2上获得。
2021-08-17 cs.CV cs.MM