Self-attention fusion for audiovisual emotion recognition with incomplete data
Tampere University(坦佩雷大学);Aarhus University(奥胡斯大学)
在本文中,我们考虑的问题,多模态数据分析的视听情感识别的用例。我们提出了一种能够从原始数据中学习的架构,并描述了三种不同的模态融合机制。虽然大多数以前的作品认为在推理过程中的任何时候都存在两种模态的理想情况下,我们评估的鲁棒性的模型在无约束的设置,其中一种模态是缺席或嘈杂,并提出了一种方法来减轻这些限制的形式的模态辍学。最重要的是,我们发现,采用这种方法不仅可以在一种模态的不存在/噪声表示下大幅提高性能,而且还可以提高标准理想环境中的性能,优于竞争方法。
2022-01-26 cs.CV cs.SD eess.AS
Facial Affect Recognition based on Transformer Encoder and Audiovisual Fusion for the ABAW5 Challenge
Hefei University of Technology(合肥工业大学)
在本文中,我们提出了我们的解决方案,第五届研讨会和比赛的情感行为分析在野外(ABAW),其中包括四个子挑战的效价唤醒(VA)估计,表达(Expr)分类,行动单位(AU)检测和情绪反应强度(ERI)估计。第五届ABAW竞赛的重点是利用不同的模式和数据集进行面部情感识别。在我们的工作中,我们使用大量的sota模型提取强大的音频和视觉特征。Transformer Encoder和TEMMA融合了这些特性。此外,为了避免不同特征之间的尺寸差异可能带来的影响,我们设计了一个仿射模块来将不同的特征对齐到相同的尺寸。大量的实验证明了该方法的优越性。对于VA估计子挑战,我们的方法获得的平均一致性相关系数(CCC)为0.6066。对于表达分类子挑战,平均F1评分为0.4055。对于AU检测子挑战,平均F1评分为0.5296。对于情绪反应强度估计子质询,验证集上的平均pearson相关系数为0.3968。四个子挑战的结果都以较大幅度超过基线。
2023-03-20 cs.CV
Continuous-Time Audiovisual Fusion with Recurrence vs. Attention for In-The-Wild Affect Recognition
University of Augsburg(奥格斯堡大学);University of Nottingham(诺丁汉大学)
在本文中,我们提出了我们提交的第三届情感行为分析在野外(ABAW)的挑战。学习多模态序列之间的复杂相互作用对于从野外视听数据中识别维度影响至关重要。递归和注意力是文献中两种广泛使用的序列建模机制。为了清楚地了解视听情感识别中的递归模型和注意力模型之间的性能差异,我们提出了一个基于LSTM-RNNs,自我注意力和跨模态注意力的融合模型的综合评估,并对效价和唤醒估计进行了训练。特别是,我们研究了一些关键设计选择的影响:CNN骨干的建模复杂性,这些骨干为时间模型提供了功能,有和没有端到端的学习。我们通过系统地调整网络架构设计和训练优化中涉及的超参数,在野生ABAW语料库上训练视听情感识别模型。我们对视听融合模型的广泛评估表明,LSTM-RNN在与低复杂度CNN骨干结合并以端到端的方式训练时可以优于注意力模型,这意味着注意力模型可能不一定是连续时间多模态情感识别的最佳选择。
2022-03-29 cs.CV cs.LG cs.SD
Enhanced Multimodal Content Moderation of Children's Videos using Audiovisual Fusion
University of Central Florida(中佛罗里达大学)
针对儿童视频中视觉无害但音频有害的问题,提出融合音频模态与提示学习、冻结 CLIP 主干的视听多模态审核方法,并在 MOB 数据集的监督和少样本设置下验证。
2024-05-09 cs.CV
Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain
Ruhr University Bochum(波鸿鲁尔大学);NTT Corporation(日本电报电话公司)
估计多个说话者的位置对于自动语音识别或说话者日记化等任务可能是有帮助的。例如,当应用波束成形或分配唯一的扬声器身份时,这两种应用都受益于已知的扬声器位置。最近,已经提出了几种利用增强了视觉数据的声学信号来完成这项任务的方法。然而,声学和视觉模态都可能在特定的空间区域中被破坏,例如由于较差的照明条件或背景噪声的存在。本文提出了一种新的视听数据融合框架的扬声器定位分配个人的动态流权重的特定区域中的定位空间。这种融合是通过一个神经网络实现的,它结合了各个音频和视频跟踪器的预测,基于它们的时间和位置依赖的可靠性。一个性能评估使用视听记录产生有前途的结果,与建议的融合方法优于所有的基线模型。
2021-02-24 cs.AI cs.CL cs.CV
Enhancing Human Action Recognition and Violence Detection Through Deep Learning Audiovisual Fusion
Amirkabir University of Technology(阿米尔卡比尔理工大学)
提出融合音频与视频的 HFBDL 混合融合方法,在扩展 RLVS 数据集和自建真实视频集上取得高准确率,用于公共场所暴力检测。
2024-08-04 cs.CV cs.LG cs.MM
Probing Multimodal Fusion in the Brain: The Dominance of Audiovisual Streams in Naturalistic Encoding
Distributed and Intelligent Optimization Research Laboratory(分布式智能优化研究实验室);Electrical Engineering Department(电气工程系);Amirkabir University of Technology(阿米尔卡比尔技术大学)
该研究利用 X-CLIP 与 Whisper 构建大脑编码模型,通过 ID/OOD 严格测试揭示简单线性模型泛化更优,并表明视听连续流在自然多模态神经编码中占主导。
2025-07-25 cs.CV
Ambient Sound Helps: Audiovisual Crowd Counting in Extreme Conditions
Baidu Research(百度研究院);German Aerospace Center(德国航空航天中心);City University of Hong Kong(香港城市大学);Northwestern Polytechnical University(西北工业大学);Technical University of Munich(慕尼黑工业大学)
视觉人群计数最近已经被研究作为一种方式,使人们在人群场景中从图像计数。尽管成功,但基于视觉的人群计数方法可能无法在极端条件下捕获信息特征,例如,夜间成像和遮挡。在这项工作中,我们介绍了一个新的任务,视听人群计数,其中视觉和听觉信息集成计数的目的。我们收集了一个大规模的基准测试,名为audiovISual Crowd cOunting(DISCO)数据集,由1,935个图像和相应的音频片段以及170,270个注释实例组成。为了融合这两种模式,我们利用线性特征融合模块,该模块对视觉和听觉特征进行仿射变换。最后,我们使用所提出的数据集和方法进行了广泛的实验。实验结果表明,在不同的光照、噪声和遮挡条件下,引入听觉信息有利于人群计数。将发布数据集和代码。代码和数据已提供
2020-05-16 cs.CV
Multi-Glimpse LSTM with Color-Depth Feature Fusion for Human Detection
Fudan University(复旦大学);Hohai University(河海大学)
随着Kinect和Intel Realsense等深度相机的发展,基于RGB-D的人体检测由于其在各种应用中的使用而受到持续的研究关注。在本文中,我们提出了一种新的多一瞥LSTM(MG-LSTM)网络,其中多尺度上下文信息被顺序集成,以提高人体检测性能。此外,我们提出了一种基于MG-LSTM网络的特征融合策略,以更好地融合RGB和深度信息。据我们所知,这是第一次尝试利用LSTM结构进行基于RGB-D的人体检测。我们的方法在两个公开的数据集上实现了卓越的性能。
2017-11-03 cs.CV
AUD-TGN: Advancing Action Unit Detection with Temporal Convolution and GPT-2 in Wild Audiovisual Contexts
University of Science and Technology of China(中国科学技术大学)
针对自然环境面部动作单元检测问题,提出AUD-TGN方法,结合MFCC、Log-Mel特征与VGGish网络增强音频提取,利用时间建模与预训练GPT-2实现多模态上下文感知融合,显著提升检测准确率。
2024-03-20 cs.CV
COLD Fusion: Calibrated and Ordinal Latent Distribution Fusion for Uncertainty-Aware Multimodal Emotion Recognition
University of Nottingham(诺丁汉大学);University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院);Unilever R&D(联合利华研发中心)
本文提出COLD Fusion框架,通过校准与序数约束的潜在分布融合量化模态不确定性,在AVEC 2019 CES和IEMOCAP上显著提升音视频情感识别性能。
2023-10-16 cs.CV cs.HC cs.MM
End-To-End Audiovisual Feature Fusion for Active Speaker Detection
Zhejiang Lab(之江实验室);Dalhousie University(达尔豪斯大学);University of Electronic Science and Technology of China(电子科技大学);Zhejiang University(浙江大学)
主动说话人检测在人机交互中起着至关重要的作用。最近,出现了一些端到端的视听框架。然而,这些模型的推理时间没有探索,不适用于实时应用程序,由于其复杂性和大的输入大小。此外,他们还探索了一种类似的特征提取策略,该策略在音频和视觉输入上使用ConvNet。本文提出了一种新的双流端到端框架,该框架将通过VGG-M从图像中提取的特征与从音频波形中提取的原始Mel频率倒谱系数特征相融合。该网络有两个连接到每个流的BiGRU层,以在融合之前处理每个流的时间动态。融合后,一个BiGRU层被附加到模拟联合时间动态。在AVA-ActiveSpeaker数据集上的实验结果表明,与采用ConvNet的模型相比,我们的新特征提取策略对噪声信号具有更好的鲁棒性,并且推理时间更短。所提出的模型在44.41 ms内进行预测,这对于实时应用来说足够快。我们表现最好的模型达到了88.929%的准确率,几乎相同的检测结果的最先进的工作。
2022-07-27 cs.CV cs.MM cs.SD
Two Stream LSTM: A Deep Fusion Framework for Human Action Recognition
Queensland University of Technology(昆士兰科技大学)
在本文中,我们解决的问题,从视频序列的人体动作识别。受计算机视觉中通过自动特征学习和深度学习方法获得的示例性结果的启发,我们将注意力集中在通过卷积神经网络(CNN)学习显着的空间特征上,然后借助长短期记忆(LSTM)网络映射它们的时间关系。我们在本文中的贡献是一个深度融合框架,它更有效地利用了CNN的空间特征和LSTM模型的时间特征。我们还广泛评估了它们的优点和缺点。我们发现,通过组合这两组特征,全连接特征有效地充当了一种注意力机制,将LSTM引导到卷积特征序列的有趣部分。我们的融合方法的意义是它的简单性和有效性相比,其他国家的最先进的方法。评估结果表明,这种分层多流融合方法具有更高的性能相比,单流映射方法,使其能够实现高精度优于目前最先进的方法在三个广泛使用的数据库:UCF11,UCFSports,jHMDB。
2017-04-04 cs.CV
CineBrain: A Large-Scale Multi-Modal Brain Dataset During Naturalistic Audiovisual Narrative Processing
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
CineBrain通过多模态融合编码器和神经潜在解码器实现动态视频重建,利用fMRI和EEG互补优势提升视觉保真度,并揭示听觉输入对视觉感知的影响。
2025-12-13 cs.CV
Mitigating Audiovisual Mismatch in Visual-Guide Audio Captioning
Tencent AI Lab(腾讯AI实验室);Institute of Automation, Chinese Academy of Sciences(自动化研究所)
针对真实场景中视觉引导音频字幕的视听不匹配问题,提出熵感知门控融合框架与批量视听洗牌技术,有效抑制误导性视觉线索并增强模型鲁棒性,在AudioCaps基准上性能提升且推理速度约快6倍。
2025-05-28 cs.CV cs.MM cs.SD
See, Hear, and Understand: Benchmarking Audiovisual Human Speech Understanding in Multimodal Large Language Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Kookmin University(国民大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出AV-SpeakerBench基准测试,通过3212道多选题评估多模态大语言模型在真实视频中对语音的细粒度理解能力,发现Gemini 2.5 Pro在音频视觉融合方面表现最佳。
2026-04-10 cs.AI cs.CV cs.LG
Audiovisual Speaker Tracking using Nonlinear Dynamical Systems with Dynamic Stream Weights
Ruhr University Bochum(波鸿鲁尔大学)
数据融合在许多需要高效处理多模态感知观测的技术应用中起着重要作用。一个突出的例子是视听信号处理,它在自动语音识别、说话人定位和相关任务中获得了越来越多的关注。如果与声学信息适当结合,额外的视觉提示可以帮助提高这些应用中的性能,特别是在不利的声学条件下。基于瞬时传感器可靠性测量的声和视频流的动态加权是在这种情况下进行数据融合的有效方法。本文提出了一个框架,扩展了完善的非线性动力系统的理论与动态流权重的概念为任意数量的感官观察。它包括一个递归状态估计器的基础上的高斯滤波范例,它将动态流权重到一个框架密切相关的扩展卡尔曼滤波器。此外,一个凸优化方法来估计预言动态流的权重在完全观测的动态系统利用Dirichlet先验。这作为动态流权重估计器的通用参数学习框架的基础。所提出的系统是独立的应用程序,可以很容易地适应特定的任务和要求。使用视听扬声器跟踪任务的研究被认为是在这项工作中的一个典型应用。在实验中证明了基于动态流权重的估计框架在最先进的方法上的改进的跟踪性能。
2019-03-14 cs.CV cs.SD eess.AS
ARN-LSTM: A Multi-Stream Fusion Model for Skeleton-based Action Recognition
Universiti Sains Malaysia(马来西亚理科大学);College of Technology and Business(科技与商学院);Shenzhen Polytechnic University(深圳职业技术大学);Institute of Applied Artificial Intelligence of the Guangdong-Hong Kong-Macao Greater Bay Area(粤港澳大湾区应用人工智能研究院)
针对传统方法难以同时捕捉动作序列空间运动与时间动态的问题,提出ARN-LSTM多流融合模型,整合关节、运动和时间信息,在NTU RGB+D数据集上性能优于现有方法,尤其提升群体动作识别效果。
2024-11-29 cs.CV
Visual Speech Recognition Using PCA Networks and LSTMs in a Tandem GMM-HMM System
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Sabanci University(萨班哲大学);Istanbul Technical University (ITU)(伊斯坦布尔理工大学)
自动视觉语音识别是模式识别中的一个有趣的问题,特别是当音频数据是有噪声的或不容易获得时。这也是一个非常具有挑战性的任务,主要是因为与可听话语相比,视觉表达中的信息量较低。在这项工作中,主成分分析应用于从视频数据中提取的图像补丁,以学习两级卷积网络的权重。然后提取块直方图作为无监督学习特征。这些特征被用来学习一组具有长短期记忆细胞的递归神经网络,以获得时空特征。最后,将获得的特征用于串联GMM-HMM系统进行语音识别。我们的研究结果表明,所提出的方法已经优于基线技术应用于OuluVS 2视听数据库的短语识别与正面视图交叉验证和测试句子的正确性分别达到79%和73%,相比基线的74%的交叉验证。
2017-10-19 cs.CV
Auxiliary Multimodal LSTM for Audio-visual Speech Recognition and Lipreading
University of the Chinese Academy of Sciences(中国科学院大学)
视听语音识别(Aduio-visual Speech Recognition,AVSR)是多模态学习的一种应用,它利用视频和音频信息进行自动语音识别(Automatic Speech Recognition,ASR),使ASR系统具有更好的鲁棒性和准确性。传统的AVSR模型通常将AVSR作为推理或投影处理,但严格的先验限制了它的能力。随着深度学习的复兴,深度神经网络(Deep Neural Networks,DNN)已成为ASR、图像分类、自然语言处理等传统分类任务的重要工具。AVSR中使用了一些DNN模型,如多模态深度自动编码器(MDAE),多模态深度信念网络(MDBN)和多模态深度玻尔兹曼机(MDBM),它们实际上比传统方法更好。然而,这样的DNN模型有几个缺点:(1)它们没有平衡模态融合和时态融合,甚至没有时态融合;(2)这些模型的架构不是端到端的,训练和测试变得繁琐。我们提出了一个DNN模型,辅助多模态LSTM(am-LSTM),以克服这种弱点。该方法可实现一次训练和测试,易于训练和自动防过拟合。同时考虑了系统的可扩展性和灵活性。实验表明,am-LSTM在三个数据集上的性能明显优于传统方法和其他DNN模型。
2017-03-17 cs.CV
Temporal-Anchor3DLane: Enhanced 3D Lane Detection with Multi-Task Losses and LSTM Fusion
Department of Computer Science and Engineering(计算机科学与工程系);National Institute of Technology Karnataka (NITK)(卡纳塔克国家理工学院)
Temporal-Anchor3DLane通过多任务损失和LSTM融合提升3D车道检测的鲁棒性
2025-12-05 cs.CV
JoVALE: Detecting Human Actions in Video Using Audiovisual and Language Contexts
Hanyang University(汉阳大学);Seoul National University(首尔大学)
提出多模态VAD架构JoVALE,通过以动作者为中心的融合网络整合视听特征与图像描述模型生成的场景上下文,在AVA等基准上实现最先进性能。
2025-02-03 cs.CV
Long Short-Term Memory with Gate and State Level Fusion for Light Field-Based Face Recognition
长短期记忆(LSTM)是一种突出的递归神经网络,用于从时间序列和多视图数据等序列数据中提取依赖关系,在不同的视觉识别任务中取得了令人印象深刻的结果。传统的LSTM网络可以学习一个模型,从一个输入序列中事后提取信息。然而,如果同时获取两个或更多个相关数据序列,传统的LSTM网络可能只能连续处理这些序列,而不能利用它们的相互依赖性所带来的信息。在这种情况下,本文提出了两种新型的LSTM单元架构,它们能够从同时获取的多个序列中联合学习,旨在为识别任务创建更丰富、更有效的模型。新型LSTM细胞架构的有效性通过将其集成到基于深度学习的方法中进行评估,用于多视图光场图像的人脸识别。新的细胞架构共同学习光场图像中可用的场景水平和垂直视差,以从两个方向捕获更丰富的空间-角度信息。使用三种具有挑战性的评估协议对IST-EURECOM LFFD数据集进行的全面评估显示了使用新型LSTM细胞架构进行人脸识别的优势,而不是最先进的基于光场的方法。这些结果突出了从相关输入序列中学习时新型细胞架构的附加值。
2020-06-01 cs.CV
LSTM-CF: Unifying Context Modeling and Fusion with LSTMs for RGB-D Scene Labeling
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学)
RGB-D场景的语义标记对于包括感知机器人在内的许多智能应用至关重要。它从同时感测的光度(RGB)和深度通道生成像素级和细粒度标签贴图。本文通过以下方法解决了这个问题:i)开发一种新的长短期模糊上下文融合(LSTM-CF)模型,该模型可以从多个通道的光度和深度数据中捕获和融合上下文信息; ii)将该模型集成到深度卷积神经网络(CNN)中进行端到端训练。具体而言,光度和深度通道中的上下文分别通过堆叠几个卷积层和长短期记忆层来捕获;记忆层沿着垂直方向对图像中的短程和长程空间依赖性进行编码。另一个长短期记忆的融合层用于整合来自不同通道的垂直方向的上下文,并将融合的垂直上下文沿水平方向进行双向传播,以获得真正的2D全局上下文。最后,融合的上下文表示与从光度通道中提取的卷积特征相连接,以提高精细尺度语义标记的准确性。我们提出的模型已经建立了一个新的技术状态,即,在大规模SNORGBD数据集和NYUDv 2数据集上,37个类别的平均分类准确率分别为48.1%和49.4%(提高2.2%和5.4%)。
2016-07-26 cs.CV cs.NE
Demand Forecasting in Bike-sharing Systems Based on A Multiple Spatiotemporal Fusion Network
Southwestern University of Finance and Economics(西南财经大学)
自行车共享系统(BSS)在全球范围内越来越受欢迎,并吸引了广泛的研究兴趣。研究了BSS系统中的需求预测问题。空间和时间特征是BSS需求预测的关键,但提取时空动态是一个挑战。另一个挑战是捕捉时空动态和外部因素之间的关系,如天气,一周中的一天,一天中的时间。为了解决这些挑战,我们提出了一个多时空融合网络MSTF-Net。MSTF-Net由多个时空块组成:3D卷积网络(3D-CNN)块,eidetic 3D卷积长短期记忆网络(E3 D-LSTM)块和全连接(FC)块。具体地,3D-CNN块突出显示提取每个片段中的短期时空依赖性(即,接近度,周期和趋势); E3 D-LSTM块进一步提取所有片段的长期时空依赖性; FC块提取外部因素的非线性相关性。最后,融合E3 D-LSTM和FC块的潜在表示以获得最终预测。对于两个真实世界的数据集,它表明,MSTF-Net优于七个国家的最先进的模型。
2021-11-08 cs.CV
Noise-Robust AV-ASR Using Visual Features Both in the Whisper Encoder and Decoder
Technische Universit\"at Braunschweig Institute for Communications Technology Schleinitzstr. 22, 38106 Braunschweig, Germany
本研究提出在Whisper编码器和解码器中同时使用视觉特征,以提升音频视觉识别在噪声环境下的鲁棒性,实验表明在不同噪声条件下均取得显著改进。
2026-01-26 cs.CL cs.CV cs.SD
A Computer Vision Based Approach for Stalking Detection Using a CNN-LSTM-MLP Hybrid Fusion Model
BRAC University(BRAC大学);SINTEF Digital(SINTEF数字公司)
提出一种基于CNN-LSTM-MLP混合融合模型的计算机视觉方法,从最少视频帧中提取面部、姿态和距离特征以检测跟踪行为,在自建数据集上达到89.58%的测试准确率。
2024-02-05 cs.CV
Multilevel neural networks with dual-stage feature fusion for human activity recognition
Departamento de Informática, Universidad Carlos III de Madrid(信息学院,卡洛斯三世大学);Departamento de Teoría de la Señal y Comunicaciones, Universidad Carlos III de Madrid(信号与通信理论系,卡洛斯三世大学);CEIEC, Universidad Francisco de Vitoria(CEIEC,弗朗西斯科·维多利亚大学)
本文提出双阶段特征融合的多级网络架构,通过结合晚融合与中间融合提升人类活动识别的准确性,实验表明双融合架构优于单一晚融合方法。
2026-04-17 cs.AI cs.CV
Memory-Augmented LSTM Autoencoder for Unsupervised Activity Recognition with IMU Sensor Fusion
Faculty of Biomedical Engineering, Amirkabir University of Technology (Tehran Polytechnic)(生物医学工程学院,阿米尔卡比尔技术大学(德黑兰理工大学))
提出一种完全无监督的时空特征融合框架,使用记忆增强自编码器,通过短时间窗口的多传感器IMU数据增强活动表示,在DaLiAc和PAMAP2上分别达到96.6%和98.4%的准确率,超越监督和无监督方法。
2026-06-19 cs.AI cs.CV
A Novel Two Stream Decision Level Fusion of Vision and Inertial Sensors Data for Automatic Multimodal Human Activity Recognition System
Academy of Scientific and Innovative Research (AcSIR)(科学与创新研究院);CSIR-Central Electronics Engineering Research Institute (CEERI)(CSIR-中央电子工程研究所);Birla Institute of Technology and Science Pilani(毕拉理工学院皮拉尼分校);Edge Hill University(边山大学)
本文提出一种基于视觉与惯性传感器数据的双流决策级融合多模态人类活动识别系统,通过结合CNN与正则化LSTM提取时空特征,在四个基准数据集上取得了优于现有方法的准确率。
2023-06-27 cs.CV
Hybrid Mutimodal Fusion for Dimensional Emotion Recognition
Hunan University(湖南大学)
在本文中,我们详细介绍了我们针对2021年多模态情感挑战(MuSe)的MuSe压力子挑战和MuSe生理子挑战的解决方案。MuSe-压力子挑战的目标是从视听记录中以时间连续的方式预测情绪唤醒和效价的水平,MuSe-生理子挑战的目标是从a)与b)来自压力人群的皮肤电反应(也称为皮肤电活动(EDA))信号融合的人类注释中预测心理生理唤醒的水平。Ulm-TSST数据集是视听文本Ulm-Trier Social Stress数据集的一个新子集,其特征在于在Trier Social Stress Test(TSST)诱导的压力情况下使用德语。对于MuSe-Stress子挑战,我们在三个方面突出了我们的解决方案:1)视听特征和生物信号特征用于情绪状态识别。2)利用具有自注意力机制的长短期记忆(LSTM)来捕获特征序列内的复杂时间依赖性。3)采用后期融合策略,充分利用多模态序列间的互补信息,进一步提高模型的识别性能。我们提出的模型在测试集上分别实现了效价和唤醒的CCC为0.6159和0.4609,这两个都排在前3位。对于MuSe-Physio子挑战,我们首先从多个模态中提取视听特征和生物信号特征。然后,利用具有自注意力机制的LSTM模块、门控卷积神经网络(GCNN)以及LSTM网络来对序列中的复杂时间依赖性进行建模。最后,采用了后期融合策略。我们提出的方法在测试集上也达到了0.5412的CCC,排…
2021-10-16 cs.CV
Multi-Perspective LSTM for Joint Visual Representation Learning
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico - Universidade de Lisboa(里斯本大学高等技术学院)
我们提出了一种新的LSTM细胞架构,能够学习从多个视角捕获的视觉序列中的视角内和视角间关系。我们的架构采用了一种新的经常性的联合学习策略,使用额外的门和记忆在细胞水平。我们证明,通过使用所提出的细胞来创建一个网络,更有效和更丰富的视觉表示学习识别任务。我们验证了我们提出的架构的性能的上下文中的两个多视角的视觉识别任务,即唇读和人脸识别。我们考虑了三个相关的数据集,并将结果与融合策略、其他现有的多输入LSTM架构和替代识别解决方案进行了比较。实验结果表明,我们的解决方案的性能优越的考虑基准,无论是在识别精度和复杂性。我们在https://github.com/arsm/MPLSTM上公开发布我们的代码。
2021-05-06 cs.CV
Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion
Wuhan University(武汉大学);Tencent AI Lab(腾讯AI实验室);University at Buffalo(纽约州立大学布法罗分校)
从手-物体图像中准确地重建手和物体形状对于理解人-物体交互以及人类日常活动是重要的。与裸手姿态估计不同,手-对象交互对手及其操纵对象都构成了强约束,这表明手的配置可能是对象的关键上下文信息,反之亦然。然而,目前的方法通过训练一个双分支网络来分别重建手和物体,两个分支之间几乎没有通信来解决这个任务。在这项工作中,我们建议考虑手和对象共同在特征空间,并探讨这两个分支的互惠性。我们广泛研究了具有MLP或LSTM单元的跨分支特征融合架构。在所研究的架构中,具有LSTM单元的变体通过手部特征增强了对象特征,表现出最佳的性能增益。此外,我们采用了一个辅助的深度估计模块,以增加输入的RGB图像与估计的深度图,这进一步提高了重建精度。在公共数据集上进行的实验表明,我们的方法显着优于现有的方法在重建精度的对象。
2021-03-22 cs.CV
Improving Urban Flood Prediction using LSTM-DeepLabv3+ and Bayesian Optimization with Spatiotemporal feature fusion
Guangdong University of Technology(广东工业大学);University of Exeter(埃克塞特大学)
本研究提出一种结合CNN与RNN优势的LSTM-DeepLabv3+混合特征融合模型,利用贝叶斯优化筛选关键因素,实现了高精度、高效率的城市洪水预测。
2023-04-19 cs.AI cs.CV cs.LG
Script Identification in Natural Scene Image and Video Frame using Attention based Convolutional-LSTM Network
Jadavpur University(贾达布尔大学);Institute of Engineering & Management(工程与管理学院);Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校);Indian Statistical Institute(印度统计研究所)
脚本识别在分析文档和视频中起着重要作用。本文主要研究场景文本图像和视频脚本中的脚本识别问题。由于图像质量低,背景复杂,字符布局相似,一些文字如希腊文,拉丁文等,在这些情况下的文本识别变得具有挑战性。在本文中,我们提出了一种新的方法,该方法涉及使用CNN-LSTM框架提取局部和全局特征,并动态加权用于脚本识别。首先,我们将图像转换为补丁,并将它们馈送到CNN-LSTM框架中。基于注意力的补丁权重在LSTM之后应用softmax层计算。接下来,我们将这些权重与相应的CNN进行分片乘法,以产生局部特征。全局特征也从LSTM的最后一个单元状态中提取。我们采用的融合技术,动态加权的局部和全局功能为一个单独的补丁。在SIW-13、CVSI 2015、ICDAR-17和MLe 2 e四个公共脚本识别数据集上进行了实验。所提出的框架实现了优越的结果相比,传统的方法。
2018-08-07 cs.CV
CNN-LSTM Based Multimodal MRI and Clinical Data Fusion for Predicting Functional Outcome in Stroke Patients
CREATIS(CREATIS实验室);Université Lyon1(里昂第一大学);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院);INSA-Lyon(里昂国立应用科学学院);Hospices Civils de Lyon(里昂民用医院);CarMeN(CarMeN实验室);INRA(法国国家农业研究院);LARIS(LARIS实验室);Universite d’Angers(昂热大学)
临床结局预测在卒中患者管理中起着重要作用。从机器学习的角度来看,主要挑战之一是处理患者入院时的异构数据,即多维图像数据和标量临床数据。提出了一种基于多模态卷积神经网络-长短期记忆(CNN-LSTM)的集成模型。对于每个MR图像模块,专用网络使用改良Rankin量表(mRS)提供临床结局的初步预测。通过合并专用于特定类型MR图像的每个模块的初步概率获得最终mRS评分,该特定类型MR图像由临床元数据加权,此处为年龄或美国国立卫生研究院卒中量表(NIHSS)。实验结果表明,该模型超越了基线,并提供了一种在深度学习架构中自动编码MR图像时空背景的原始方法。使用NIHSS的拟定模型达到了最高AUC(0.77)。
2022-05-11 cs.CV cs.LG eess.IV
Recursive Joint Attention for Audio-Visual Fusion in Regression based Emotion Recognition
École de technologie supérieure(高等技术学院)
本文提出递归联合注意力与LSTM相结合的音视频融合模型,用于回归式情绪识别,在Affwild2和Fatigue数据集上显著优于现有方法。
2023-04-17 cs.CV cs.SD eess.AS
Deformable Convolutions and LSTM-based Flexible Event Frame Fusion Network for Motion Deblurring
Huawei Technologies Oy (Finland) Co. Ltd(华为技术(芬兰)有限公司)
针对事件帧数量固定导致时间分辨率下降且难适应动态曝光的问题,本文提出基于 LSTM 事件特征提取与可变形卷积的 DLEFNet,支持灵活数量事件帧融合,并在合成与真实数据集上优于现有方法。
2023-06-01 cs.AI cs.CV cs.LG
Multimodal Chaptering for Long-Form TV Newscast Video
Moments Lab Research(Moments Lab 研究院)
提出一种基于冻结神经网络与LSTM的两阶段多模态融合方法,用于电视新闻视频自动章节划分,在IoU为90%时精确率达82%,显著提升了广播内容的分析、索引与管理能力。
2024-03-20 cs.AI cs.CV cs.MM
Dense Multimodal Fusion for Hierarchically Joint Representation
School of Computer Science(计算机学院);Northwestern Polytechnical University(西北工业大学);Chinese Academy of Sciences(中国科学院)
多模态通过以不同的方式描述相同的内容,可以提供比单一模态更有价值的信息。因此,通过融合不同模态的特征来学习有效的联合表示被寄予厚望。然而,以前的方法主要集中在融合由单峰深度网络生成的浅层特征或高级表示,这些方法仅捕获跨模态的部分层次相关性。在本文中,我们提出了密集集成的表示之间的不同的模态特定的网络,这被命名为密集多模态融合(DMF)之间的多个共享层的greenstacking。不同共享层中的联合表示可以捕获不同级别的相关性,并且共享层之间的连接也提供了一种有效的方式来学习分层相关性之间的依赖性。这两个属性共同促成了DMF中的多条学习路径,从而实现了更快的收敛、更低的训练损失和更好的性能。我们评估我们的模型上三个典型的多模态学习任务,包括视听语音识别,跨模态检索,和多模态分类。实验结果表明,该模型能够学习到更有效的联合表示。
2018-10-08 cs.CV cs.MM
Dynamic Multi-Target Fusion for Efficient Audio-Visual Navigation
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);No. 59 Middle School of Urumqi(乌鲁木齐市第五十九中学)
提出DMTF-AVN,通过多目标架构和Transformer机制融合视听信息,在Replica和Matterport3D上取得最优导航性能。
2025-09-23 cs.AI cs.CV
Three-Stream Fusion Network for First-Person Interaction Recognition
Korea University(高丽大学)
第一人称交互识别是一项具有挑战性的任务,因为不稳定的视频条件所造成的相机佩戴者的运动。针对第一人称视角下的人机交互识别问题,提出了一种三流融合网络,该网络由三流结构和三流相关融合两部分组成。三码流结构捕捉目标外观,目标运动和摄像机自我运动的特性。同时,三个流的相关融合结合的特征图的三个流中的每一个考虑之间的相关性的目标外观,目标运动和摄像机自我运动。融合后的特征向量对摄像机运动具有鲁棒性,并能补偿摄像机自运动噪声。使用融合的特征向量对短期间隔进行建模,并且长短期记忆(LSTM)模型考虑视频的时间动态。我们在两个公共基准数据集上对所提出的方法进行了评估,以验证我们的方法的有效性。实验结果表明,所提出的融合方法成功地生成了一个有区别的特征向量,我们的网络在第一人称视频中的表现优于所有竞争活动识别方法,其中发生了相当大的相机自我运动。
2020-02-19 cs.CV
Deep fusion of gray level co-occurrence matrices for lung nodule classification
University of Isfahan(伊斯法罕大学);University of Thi-Qar(济加尔大学)
肺癌是一种严重威胁人类健康的疾病,数百万人因癌症晚期诊断而死亡;因此,尽早发现这种疾病至关重要。CT扫描被认为是检测和分类肺结节的有效解决方案之一。分析CT高准确度的必要性。肺的扫描图像被认为是检测和分类肺癌的关键挑战之一。介绍了一种新的基于长短期记忆(LSTM)的深度融合结构,其中,通过新的体积灰度共生矩阵(GLCM)计算从肺结节计算的纹理特征被应用于将结节分类为:良性、恶性和模糊。提出了一种改进的Otsu分割方法,并将其与水trider优化算法(WSA)相结合,用于肺结节的检测。Otsu-WSA阈值可以克服在以前的阈值方法中存在的限制。扩展实验通过考虑基于2D-GLCM计算的2D切片融合以及该3D-GLCM与基于体积2.5D-GLCM计算的LSTM融合结构的近似来评估该融合结构。所提出的方法通过LIDC-IDRI数据集进行训练和评估,其中2D-GLCM融合的准确度、灵敏度和特异性分别为94.4%、91.6%和95.8%,2.5D-GLCM融合的准确度、灵敏度和特异性分别为97.33%、96%和98%。对于3D-GLCM融合,相同的产率分别为98.7%、98%和99%。所得到的结果和分析表明,WSA-Otsu方法需要更少的执行时间,并产生一个更准确的阈值处理。研究发现,基于3D-GLCM的LSTM性能优于同类算法。
2022-11-05 cs.CV cs.LG eess.IV
Perception Reinforcement Using Auxiliary Learning Feature Fusion: A Modified Yolov8 for Head Detection
Shenzhen University(深圳大学);The Chinese University of Hong Kong(香港中文大学)
提出改进的Yolov8,利用ALFF模块和噪声校准的分布焦点损失增强目标感知,在Yolov8n和Yolov8m上提升头部检测精度与鲁棒性。
2023-10-14 cs.CV
DNN driven Speaker Independent Audio-Visual Mask Estimation for Speech Separation
University of Stirling(斯特林大学);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);University of Sheffield(谢菲尔德大学)
人类的听觉皮层擅长选择性地抑制背景噪音,以专注于目标说话者。已知大脑中的选择性注意过程是根据上下文利用可用的音频和视觉线索来更好地关注目标说话者,同时过滤掉其他噪音。在这项研究中,我们提出了一种新的基于深度神经网络(DNN)的视听(AV)掩模估计模型。所提出的AV掩模估计模型结合了音频和抗噪声视觉特征的时间动态,以改进掩模估计和语音分离。对于最佳AV特征提取和理想二进制掩码(IBM)估计,利用混合DNN架构来利用堆叠的长短期记忆(LSTM)和卷积LSTM网络的互补优势。在语音质量和可懂度方面的比较仿真结果表明,我们提出的AV掩模估计模型相比,音频和视觉掩模估计方法的扬声器相关和独立的情况下,显着的性能改善。
2018-07-31 cs.CV cs.LG cs.SD
AVATAR submission to the Ego4D AV Transcription Challenge
Google Research(谷歌研究院)
在这份报告中,我们描述了我们提交给Ego 4D视听(AV)语音转录挑战赛2022。我们的流水线基于AVATAR,AVATAR是AV-ASR的最先进的编码器-解码器模型,可执行频谱图和RGB图像的早期融合。我们描述了数据集,实验设置和消融。我们的最终方法在挑战测试集上实现了68.40的WER,超过基线43.7%,并赢得了挑战。
2022-11-18 cs.CV cs.MM cs.SD
Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features
University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
研究针对传统人脸识别在无约束环境中表现不佳的问题,提出质量感知自适应融合方法 QAAF 用于多模态效价-唤醒估计,在 VA 估计任务中取得良好效果,且经 VA 训练的特征在编码身份上表现出色,确立了多模态 VA 估计为传统人脸识别的互补软生物特征模态。
2026-07-24 cs.CV
End-To-End Visual Speech Recognition With LSTMs
Imperial College London(帝国理工学院);Univ. of Twente(特文特大学)
传统的视觉语音识别系统包括两个阶段,特征提取和分类。最近,已经提出了几种深度学习方法,其从嘴部图像中自动提取特征,并旨在取代特征提取阶段。然而,联合学习的特征和分类的研究是非常有限的。在这项工作中,我们提出了一个端到端的视觉语音识别系统的基础上长短记忆(LSTM)网络。据我们所知,这是第一个同时学习直接从像素中提取特征并执行分类的模型,并且在视觉语音分类中也实现了最先进的性能。该模型由两个流,分别从嘴和差分图像直接提取特征。每个流中的时间动态由LSTM建模,两个流的融合通过双向LSTM(BLSTM)进行。OuluVS2数据库的绝对改善率为9.7%,与使用类似视觉前端的其他方法相比,CUAVE数据库的绝对改善率为1.5%。
2017-01-20 cs.CL cs.CV
RealDiffFusionNet: Neural Controlled Differential Equation Informed Multi-Head Attention Fusion Networks for Disease Progression Modeling Using Real-World Data
Central Bucks High School South(中央巴克斯南高中);Lockheed Martin(洛克希德·马丁公司)
本文提出 RealDiffFusionNet,融合 Neural CDE、多头注意力与多模态真实世界数据,以建模不规则疾病进展,并在 OSIC 和 ADNI 上验证其 RMSE 优势。
2025-01-02 cs.CV cs.LG q-bio.QM
Multi-modal Conditional Attention Fusion for Dimensional Emotion Prediction
Renmin University of China(中国人民大学)
连续维度情感预测是一项具有挑战性的任务,其中各种模态的融合通常实现最先进的性能,例如早期融合或晚期融合。本文提出了一种新的多模态融合策略--条件注意力融合,它可以在每个时间步动态地关注不同的模态。采用长短期记忆递归神经网络(LSTM-RNN)作为基本的单模态模型来捕获长时间依赖。分配给不同模态的权重由当前输入特征和最近的历史信息自动决定,而不是在任何情况下固定。我们在基准数据集AVEC 2015上的实验结果表明,我们的方法的有效性,优于几种常见的融合策略的价预测。
2017-09-04 cs.CV cs.LG cs.MM
SlowFast Rolling-Unrolling LSTMs for Action Anticipation in Egocentric Videos
University of Padova(帕多瓦大学)
由于人类行为固有的多模态性质,以自我为中心的视频中的动作预期是一项艰巨的任务。此外,某些动作比其他动作发生得更快或更慢,这取决于参与者或周围的上下文,每次都可能发生变化,并导致不同的预测。基于这一思想,我们建立在RULSTM架构,这是专门设计用于预测人类的行动,并提出了一种新的基于注意力的技术,同时评估,从三种不同的方式,即RGB,光流,和提取的对象中提取的慢和快的功能。两个分支以不同的时间尺度处理信息,即,帧速率和几个融合方案被认为是提高预测精度。我们在EpicKitchen-55和EGTEA Gaze+数据集上进行了广泛的实验,并证明了我们的技术系统地改善了RULSTM架构在不同预期时间的Top-5准确度指标的结果。
2021-09-02 cs.AI cs.CV cs.LG
Modeling Spatial-Temporal Clues in a Hybrid Deep Learning Framework for Video Classification
Fudan University(复旦大学)
根据内容语义对视频进行分类是具有广泛应用的重要问题。在本文中,我们提出了一种用于视频分类的混合深度学习框架,该框架能够对视频中的静态空间信息、短期运动以及长期时间线索进行建模。具体而言,空间和短期运动特征分别提取两个卷积神经网络(CNN)。然后,这两种基于CNN的特征被组合在一个正则化的特征融合网络中进行分类,该网络能够学习和利用特征关系来提高性能。此外,长短期记忆(LSTM)网络被应用于这两个特征之上,以进一步对较长期的时间线索进行建模。这项工作的主要贡献是混合学习框架,可以模拟视频数据的几个重要方面。我们还表明,(1)在正则化融合网络中结合空间和短期运动特征优于使用具有softmax层的CNN的直接分类和融合,以及(2)基于序列的LSTM与传统的分类策略高度互补,而不考虑时间帧顺序。广泛的实验进行了两个流行的和具有挑战性的基准,UCF-101人的行动和哥伦比亚消费者视频(CCV)。在这两个基准测试中,我们的框架实现了迄今为止最好的报告性能:UCF-101上的$91.3\%$和CCV上的$83.5\%$。
2015-04-07 cs.CV cs.MM
Efficient Two-Stream Network for Violence Detection Using Separable Convolutional LSTM
Islamic University of Technology(伊斯兰科技大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织数据61中心)
从监控录像中自动检测暴力是活动识别的一个子集,值得特别关注,因为它在无人安全监控系统,互联网视频过滤等方面具有广泛的适用性。我们提出了一种利用可分离卷积LSTM的高效双流深度学习架构(SepConvLSTM)和预训练的MobileNet,其中一个流将背景抑制帧作为输入,而其他流处理相邻帧的差异。我们采用了简单快速的输入预处理技术,通过抑制非移动背景来突出帧中的移动对象,并捕捉帧之间的运动。由于暴力行为大多以身体动作为特征,这些输入有助于产生区分特征。SepConvLSTM是通过将ConvLSTM的每个门处的卷积操作替换为依赖可分离卷积来构造的,该卷积能够在使用少得多的参数的同时产生鲁棒的长距离时空特征。我们尝试了三种融合方法来组合两个流的输出特征图。在三个标准公共数据集上对所提出的方法进行了评估。我们的模型在更大和更具挑战性的RWF-2000数据集上的准确性优于2%以上,同时匹配较小数据集上的最新结果。我们的实验使我们得出结论,所提出的模型在计算效率和检测精度方面都是优越的。
2021-04-20 cs.CV cs.LG
Deep Learning Classification of Photoplethysmogram Signal for Hypertension Levels
Universite Gustave Eiffel (IFSTTAR)(古斯塔夫·埃菲尔大学(IFSTTAR));National Institute of Technology, Patna(巴特那国立理工学院);Research Institute of Science and Engineering, University of Sharjah(沙迦大学科学与工程研究院);Jamia Millia Islamia University(贾米亚·米利亚·伊斯兰大学)
本研究利用STFT和多种神经网络及机器学习分类器对高血压患者PPG信号进行分类,LSTM模型在精度和特异性上最优,堆叠集成方法实现100%准确率。
2024-05-23 cs.CV cs.MM