Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning
Nanyang Technological University（南洋理工大学）；ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科创中心）；Zhejiang University（浙江大学）
视听语音识别（AVSR）在提高语音识别的抗噪性方面取得了显著的成就。主流方法集中于融合音频和视觉输入以获得模态不变表示。然而，这种表示倾向于过度依赖音频模态，因为在干净的条件下，它比视频模态更容易识别。因此，AVSR模型低估了视觉流在噪声污染面前的重要性。为此，我们利用视觉模态特定的表示提供稳定的补充信息的AVSR任务。具体来说，我们提出了一个强化学习（RL）为基础的框架，称为MSRL，在自回归解码过程中，代理动态协调模态不变和模态特定的表示。我们定制了与特定于任务的指标直接相关的奖励函数（即，字出错率），这鼓励MSRL有效地探索最佳集成策略。在LRS3数据集上的实验结果表明，该方法在清洁和各种噪声条件下都达到了最先进的水平。此外，我们证明了更好的通用性MSRL系统比其他基线时，测试集包含不可见的噪声。
2023-02-02 cs.CV cs.MM cs.SD
Discriminative Multi-modality Speech Recognition
Xpeng motors（小鹏汽车）
视觉通常被用作音频语音识别（ASR）的补充模态，特别是在噪声环境中，其中独奏音频模态的性能显著恶化。结合视觉模态后，ASR升级为多模态语音识别（MSR）。在本文中，我们提出了一个两阶段的语音识别模型。在第一阶段中，目标语音从背景噪声中分离出来，并借助相应的嘴唇运动视觉信息，使模型清晰地“听”。在第二阶段，音频模态再次结合视觉模态，通过MSR子网络更好地理解语音，进一步提高识别率。我们还做了一些其他的重要贡献：我们引入了一个基于伪3D残差卷积（P3 D）的视觉前端来提取更多的区分特征;我们用时间卷积网络（TCN）升级了1D ResNet的时间卷积块，这更适合于时间任务; MSR子网络建立在逐元素注意力门控递归单元（EleAtt-GRU）之上，在长序列中比Transformer更有效。我们在LRS 3-TED和LRW数据集上进行了广泛的实验。我们的两阶段模型（音频增强的多模态语音识别，AE-MSR）始终达到了最先进的性能，由一个显着的利润，这表明了AE-MSR的必要性和有效性。
2020-05-13 cs.CL cs.CV cs.SD
Multimodal Emotion Recognition with Vision-language Prompting and Modality Dropout
Soul AI；Shanghai Soulgate Technology Co., Ltd.（上海Soulgate科技有限公司）
针对多模态情感识别任务，提出融合视觉语言提示微调的EmoVCLIP、模态丢弃、GPT-4提示Baichuan及自训练策略的方案，在MER2024-SEMI赛道测试集上以90.15%准确率获第一。
2024-09-11 cs.AI cs.CV
Camera-LiDAR Cross-modality Gait Recognition
Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）
本文提出首个相机与激光雷达跨模态步态识别框架 CL-Gait，通过双流网络、对比预训练和基于单目深度估计的伪点云生成策略缓解三维与二维模态差异，实验验证了该任务的挑战性与可行性。
2024-07-04 cs.CV
Towards Robust and Realible Multimodal Misinformation Recognition with Incomplete Modality
Nanjing University（南京大学）；China University of Petroleum（中国石油大学）；Nanjing University of Science and Technology（南京理工大学）
针对多模态虚假信息识别中模态不完整导致鲁棒性差的问题，提出多专家模态不完整学习网络（MMLNet），通过协作推理、适配器和对比学习补偿缺失信息，在三个基准上超越现有方法。
2025-10-14 cs.CV cs.MM
Modality Attention for End-to-End Audio-visual Speech Recognition
Tsinghua University（清华大学）；Sogou Inc.（搜狗公司）
视听语音识别（AVSR）系统被认为是解决鲁棒语音识别的最有前途的方案之一，尤其是在噪声环境下。在本文中，我们提出了一种新的多模态注意的视听语音识别方法，可以自动学习融合表示从两个模态的重要性的基础上。我们的方法是使用最先进的序列到序列（Seq2seq）架构实现的。实验结果表明，从2%到36%的相对改善，单独的听觉模态获得取决于不同的信号噪声比（SNR）。与传统的特征拼接方法相比，我们提出的方法可以实现更好的识别性能在干净和噪声条件下。我们相信，基于通道注意的端到端方法可以很容易地推广到其他多通道任务的相关信息。
2019-04-23 cs.CL cs.CV cs.SD
Multi-modality action recognition based on dual feature shift in vehicle cabin monitoring
Continental-NTU Corporate Lab, Nanyang Technological University（大陆集团-南洋理工大学企业实验室）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；Continental Automotive Singapore Pte. Ltd.（大陆汽车新加坡私人有限公司）
针对车内DAR任务多模态融合研究不足的问题，提出基于双特征偏移的高效多模态方法DFS，通过跨模态交互与单模态时域传播结合共享特征提取，在Drive&Act数据集上实现良好性能与效率提升。
2024-01-26 cs.CV
MoRA: Missing Modality Low-Rank Adaptation for Visual Recognition
The Pennsylvania State University（宾夕法尼亚州立大学）；Intel（英特尔）；NVIDIA（英伟达）
MoRA通过引入模态共有与模态特定参数的低秩适配方法，在缺失模态场景下实现跨模态交互与模态内灵活性，以极少可训练参数和推理时间取得显著性能提升。
2025-11-09 cs.CV
OpenSR: Open-Modality Speech Recognition via Maintaining Multi-Modality Alignment
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
针对新领域语音识别标注语料不足的问题，提出OpenSR系统，通过维持预训练音素空间多模态对齐实现零样本模态迁移，结合聚类提示调优应对领域偏移，在LRS2上取得SOTA性能。
2023-06-10 cs.CL cs.CV
Modality Compensation Network: Cross-Modal Adaptation for Action Recognition
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
随着RGB-D相机的普及，多模态视频数据已变得更可用于人类动作识别。这项任务的一个主要挑战是如何有效地利用它们的补充信息。在这项工作中，我们提出了一个模态补偿网络（MCN）来探索不同模态之间的关系，并提高人类动作识别的表示。我们把RGB/光流视频作为源模态，骨架作为辅助模态。我们的目标是在辅助模态的帮助下，从源模态中提取更多的鉴别特征。我们的模型建立在深度卷积神经网络（CNN）和长短期记忆（LSTM）网络的基础上，通过模态自适应块将源模态和辅助模态的数据连接起来，以实现自适应表示学习，网络学习补偿测试时甚至训练时的骨架损失。根据训练过程中源数据和辅助数据的对齐情况，我们探索了多种自适应方案，从不同的层次上缩小源数据和辅助数据之间的距离。此外，骨架只在训练阶段需要。在测试时，我们的模型能够提高源数据的识别性能。实验结果表明，MCN优于国家的最先进的方法上广泛使用的动作识别基准。
2020-01-31 cs.CV
Domain Private and Agnostic Feature for Modality Adaptive Face Recognition
Chongqing University（重庆大学）
异构人脸识别是一个具有挑战性的任务，由于大的模态差异和不足的跨模态样本。现有的研究主要集中在鉴别特征变换、度量学习和跨模态人脸合成等方面。然而，跨模态人脸总是由域（模态）和身份信息耦合的事实很少受到关注。因此，如何学习和利用领域私有特征和领域无关特征进行模态自适应人脸识别是本文研究的重点。具体而言，本文提出了一种特征聚合网络（FAN），它包括解纠缠表示模块（DRM），特征融合模块（FFM）和自适应惩罚度量（APM）学习会话。首先，在DRM中，专门设计了两个子网，即域专用网络和域无关网络，分别用于学习模态特征和身份特征。其次，在FFM中，将身份特征与领域特征相融合，实现跨模态的双向身份特征变换，在很大程度上进一步理清了模态信息和身份信息。第三，考虑到跨模态数据集中存在的分布不平衡，这增加了模型偏差的风险，在我们的FAN中提出了自适应硬对惩罚的身份保持引导度量学习。提出的APM还保证了跨模态的类内紧凑性和类间分离。在基准跨模态人脸数据集上的大量实验表明，我们的FAN优于SOTA方法。
2020-08-10 cs.CV
Multimodal Emotion Recognition with Modality-Pairwise Unsupervised Contrastive Loss
Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
情感识别涉及到几个现实世界的应用。随着可用模式的增加，情绪的自动理解正在更准确地执行。多模态情感识别（MER）的成功主要依赖于监督学习范式。然而，数据注释是昂贵的、耗时的，并且由于情感表达和感知取决于若干因素（例如，年龄、性别、文化）获得具有高可靠性的标签是困难的。受此启发，我们专注于MER的无监督特征学习。我们考虑离散的情感，并作为模态的文本，音频和视觉使用。我们的方法，是基于成对模式之间的对比损失，是MER文献中的第一次尝试。与现有的MER方法相比，我们的端到端特征学习方法有几个不同之处（和优点）：i）它是无监督的，因此学习缺乏数据标记成本; ii）它不需要数据空间增强，模态对齐，大量的批量大小或时期; iii）它只在推理时应用数据融合; iv）它不需要在情感识别任务上预先训练的骨干。在基准数据集上的实验表明，该方法的性能优于几种基线方法和无监督学习方法。特别是，它甚至超过了一些监督MER的最先进的。
2022-07-23 cs.AI cs.CV cs.LG
Can Text-to-image Model Assist Multi-modal Learning for Visual Recognition with Visual Modality Missing?
University of Southern California（南加州大学）
本文提出多模态学习框架GTI-MM，利用文本到图像模型生成合成图像填补缺失的视觉模态数据，实验证明该方法有效提升了视觉模态缺失场景下的数据效率与模型鲁棒性。
2024-02-14 cs.CV
A Robust Incomplete Multimodal Low-Rank Adaptation Approach for Emotion Recognition
Zhejiang University（浙江大学）
本文提出MCULoRA方法，通过解耦模态组合的共享信息和动态调整参数微调，提升不完整多模态学习模型的训练效率和下游任务准确性。
2025-07-15 cs.AI cs.CV cs.LG
Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition
Imperial College London, UK（伦敦帝国学院，英国）；NatWest AI Research, UK（英国NatWest人工智能研究）
本文提出Dr.SHAP-AV框架，通过Shapley值分析音频-视觉语音识别中模态贡献，揭示噪声环境下模型对视觉的依赖及音频贡献的稳定性，推动模态加权机制和Shapley归因作为标准诊断工具。
2026-06-07 cs.CV cs.SD eess.AS
Modality Mixer for Multi-modal Action Recognition
KAIST（韩国科学技术院）
在多模态动作识别中，重要的是不仅要考虑不同模态的互补性，还要考虑全局动作内容。在本文中，我们提出了一种新的网络，命名为模态混合器（M-Mixer）网络，利用互补信息跨模态和时间上下文的动作多模态动作识别。我们还介绍了一个简单而有效的循环单元，称为多模态上下文单元（MCU），它是M-Mixer的核心组件。我们的MCU对一种模态的序列进行时间编码（例如，RGB）与其他模态的动作内容特征（例如，深度，IR）。这一过程鼓励M-Mixer利用全球行动内容，并补充其他模式的补充信息。因此，我们提出的方法在NTU RGB+D 60，NTU RGB+D 120和NW-UCLA数据集上的性能优于最先进的方法。此外，我们通过进行全面的消融研究证明了M-Mixer的有效性。
2023-02-21 cs.CV
HCMS: Hierarchical and Conditional Modality Selection for Efficient Video Recognition
Fudan University（复旦大学）；University of Maryland（马里兰大学）
视频本质上是多模态的。传统的视频识别流水线通常融合多模态特征以提高性能。然而，这不仅在计算上昂贵，而且忽略了不同视频依赖于不同模式进行预测的事实。本文介绍了分层和条件模态选择（HCMS），一个简单而有效的多模态学习框架，有效的视频识别。HCMS以低成本模式运作，即，默认情况下，音频线索，并在每个输入的基础上动态地决定是否使用计算昂贵的模态，包括外观和运动线索。这是通过以分层方式组织的三个LSTM的协作来实现的。特别是，在高成本模态上操作的LSTM包含门控模块，该门控模块将较低级别的特征和历史信息作为输入，以自适应地确定是否激活其相应的模态;否则，它只是重复使用历史信息。我们进行了广泛的实验上的两个大规模的视频基准，FCVID和ActivityNet，结果表明，所提出的方法可以有效地探索多模态信息，提高分类性能，同时需要更少的计算。
2022-12-06 cs.CV
On Modality Bias Recognition and Reduction
National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Shandong University（山东大学）；Shandong Artificial Intelligence Institute（山东人工智能研究院）；University of Florence（佛罗伦萨大学）
使多模态数据中的每一个模态都有贡献对于学习通用的多模态模型至关重要。然而，现有的方法，往往是占主导地位的一个或几个模态模型训练过程中，导致次优性能。本文将这一问题称为情态偏向，并试图在多情态分类的背景下对其进行系统而全面的研究。在进行了几次实证分析之后，我们认识到一种模态对模型预测的影响更大，因为这种模态与实例标签之间存在虚假的相关性。为了初步促进对模态偏差问题的评估，我们分别为彩色数字识别和视频动作识别任务构建了两个数据集，符合Out-of-Distribution（OoD）协议。与视觉问答任务中的基准合作，我们经验地证明了现有方法在这些OoD数据集上的性能下降，这可以作为证明模态偏差学习的证据。此外，为了克服这个问题，我们提出了一个即插即用的损失函数方法，从而每个标签的特征空间是自适应学习根据训练集统计。此后，我们将此方法应用于八个基线，以测试其有效性。从四个数据集上关于上述三个任务的结果来看，与基线相比，我们的方法产生了显着的性能改善，证明了其在减少模态偏差问题上的优越性。
2022-09-27 cs.CV
Modality Agnostic Heterogeneous Face Recognition with Switch Style Modulators
Idiap Research Institute（伊迪亚普研究所）
针对异质人脸识别中跨模态域差距大、现有方法需针对特定模态对单独训练的问题，提出含SSMB自动路由机制的模态无关框架，可端到端训练并适配预训练模型，多基准实验验证有效，代码将开源。
2024-07-11 cs.CV
Local Area Transform for Cross-Modality Correspondence Matching and Deep Scene Recognition
Yonsei University（延世大学）
建立对应关系是各种图像处理和计算机视觉应用中的基本任务。特别是，找到由不同模态条件引起的非线性变形图像对之间的对应关系是一个具有挑战性的问题。本文介绍了一种高效而强大的图像变换称为局部区域变换（LAT）的模态鲁棒对应估计。具体而言，LAT将图像从强度域变换到局部区域域，该局部区域域在非线性强度变形（特别是辐射、光度和光谱变形）下是不变的。此外，强大的特征描述符与LAT重新制定了几个实际应用。此外，提出了LAT卷积层和接收块，并利用这些新组件，提出了称为LAT网络的深度神经网络，特别是用于场景识别任务。实验结果表明，LA变换的图像提供了一致的非线性变形的图像，即使在随机强度变形。与传统方法相比，LAT降低了平均绝对差。此外，与LAT的描述符的重新制定显示出优越性，传统的方法，这是一个很有前途的结果的任务，跨频谱和模态对应匹配。局部区域可以被认为是强度域的替代域，以实现鲁棒的对应匹配、图像识别和许多应用：例如特征匹配、立体匹配、密集对应匹配、图像识别和图像检索。
2019-01-03 cs.CV
Modality-Collaborative Transformer with Hybrid Feature Reconstruction for Robust Emotion Recognition
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所语音声学与内容理解重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对多模态情感识别中联合表示构建效率低和模态特征缺失导致性能下降的问题，提出MCT-HFR框架，通过注意力编码器平衡模态内/间关系并引入局部特征想象与全局特征对齐，在两个基准上超越先进基线。
2023-12-26 cs.AI cs.CV
A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
该研究针对音视频语音识别中dropout提升缺失帧鲁棒性却降低完整数据性能的问题，从模态偏差角度揭示原因，提出MBH假说与MDA-KD框架，结合适配器应对模态完全缺失，经MISP数据集验证有效。
2024-03-07 cs.CV cs.LG cs.MM
Multi-Task and Multi-Modal Learning for RGB Dynamic Gesture Recognition
手势识别由于在人机交互中的各种应用可能性而变得越来越流行。现有的多模态手势识别系统采用多模态数据作为输入以提高准确性，但此类方法需要更多的模态传感器，这将极大地限制其应用场景。因此，我们提出了一个端到端的多任务学习框架，在训练二维卷积神经网络。该框架可以使用深度模态来提高训练过程中的准确性，并通过在推理过程中仅使用RGB模态来节省成本。我们的框架被训练来学习多任务学习的表示：手势分割和手势识别。深度模态包含手势位置的先验信息。因此，它可以用来作为监督手势分割。设计了一个即插即用的多尺度解码器模块来实现手势分割，该模块包含两个子解码器。它分别用于较低阶段和较高阶段，可以帮助网络关注关键目标区域，忽略无关信息，提取更多的判别特征。此外，MSD模块和深度模态仅用于训练阶段以提高手势识别性能。在推理过程中只需要RGB模态和网络，而不需要MSD。在三个公开的手势识别数据集上的实验结果表明，与现有的手势识别框架相比，我们提出的方法提供了优越的性能。此外，在其他基于2D CNN的框架中使用所提出的即插即用MSD也获得了出色的准确性提高。
2021-10-29 cs.CV
Cross-modal Prompting for Balanced Incomplete Multi-modal Emotion Recognition
本文提出跨模态提示方法，通过增强模态特定特征和动态加权提升多模态情绪识别的准确性和鲁棒性。
2025-12-27 cs.CV
UniLoc: Towards Universal Place Recognition Using Any Single Modality
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
UniLoc提出一种通用地点识别方法，支持任意单一模态（自然语言、图像或点云），通过层次化匹配和自注意力池化模块，在KITTI-360上实现跨模态优越性能。
2024-12-16 cs.CV
Cooperative Training of Deep Aggregation Networks for RGB-D Action Recognition
University of Wollongong（卧龙岗大学）；Motovis Inc（魔视智能科技有限公司）；Chinese Academy of Sciences（中国科学院）；National University of Defense Technology（国防科技大学）
提出了一种新的深度神经网络训练范式，该范式利用了多个异构源中的联合信息。具体而言，在基于RGB-D的动作识别任务中，它在RGB视觉特征和深度特征上协同训练单个卷积神经网络（名为c-ConvNet），并深度聚合这两种特征以进行动作识别。传统的ConvNet只使用一个softmax损失函数来学习基于同质模态的分类的深度可分离特征，而c-ConvNet通过联合优化同质和异质模态的排名损失和softmax损失来增强深度学习特征的区分能力，并削弱不期望的模态差异。排序损失包括模态内和跨模态三元组损失，并且它减少了模态内和跨模态特征变化。此外，RGB和深度数据之间的相关性嵌入在c-ConvNet中，并且可以通过任何一种模态进行检索，并且即使只有一种模态可用，也有助于识别。该方法在两个大型RGB-D动作识别数据集，ChaLearn ISoGD和NTU RGB+D数据集以及一个小型数据集SYSU 3D HOI上进行了广泛的评估，并取得了最先进的结果。
2017-12-05 cs.CV
Solution to the 10th ABAW Expression Recognition Challenge: A Robust Multimodal Framework with Safe Cross-Attention and Modality Dropout
University of Science and Technology of China（中国科学技术大学）；Unisound AI Technology Co., Ltd.（Unisound人工智能技术有限公司）
本文提出一种鲁棒多模态框架，通过安全交叉注意力和模态dropout处理现实环境中的遮挡和缺失模态问题，提升情绪识别性能。
2026-03-09 cs.AI cs.CV
Explore Human Parsing Modality for Action Recognition
Sun Yat-sen University（中山大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Changchun University of Science and Technology（长春理工大学）
针对骨架缺乏外观且RGB含噪声的问题，提出双分支框架EPP-Net，首次结合人体姿态与人体解析模态进行动作识别，在NTU RGB+D等基准上取得更优性能。
2024-01-04 cs.CV
MMGait: Benchmarking and Unifying Gait Recognition across Heterogeneous Modalities
Beijing Normal University（北京师范大学）；The Hong Kong University of Science and Technology（香港科技大学）；Watrix Technology Limited Co. Ltd（眼神科技）
提出MMGait多传感器步态基准，并设计OmniGait++统一框架，在共享身份空间内实现单模态、跨模态和多模态识别，验证了异构模态下统一识别的可行性。
2026-09-11 cs.CV
MIR-GAN: Refining Frame-Level Modality-Invariant Representations with Adversarial Network for Audio-Visual Speech Recognition
Nanyang Technological University（南洋理工大学）；University of Aberdeen（阿伯丁大学）
本文提出MIR-GAN对抗网络，通过细化帧级模态不变表示来弥合音视频语音识别中模态分布差距，在LRS3和LRS2基准上超越现有最优方法。
2023-06-18 cs.CV cs.MM cs.SD
Multimodal Prompting with Missing Modalities for Visual Recognition
National Yang Ming Chiao Tung University（国立阳明交通大学）；Google（谷歌）
在本文中，我们解决了视觉识别多模态学习中的两个挑战：1）在真实世界的训练或测试过程中出现模态缺失时; 2）当计算资源无法对重型Transformer模型进行微调时。为此，我们建议利用快速学习，同时减轻上述两个挑战。具体来说，我们的模态缺失感知提示可以插入到多模态Transformers中，以处理一般的模态缺失情况，而与训练整个模型相比，只需要不到1%的可学习参数。我们进一步探讨了不同提示配置的效果，并分析了丢失模态的鲁棒性。进行了大量的实验，以显示我们的提示学习框架的有效性，提高了各种缺失模态情况下的性能，同时减轻了繁重的模型重新训练的要求。代码可用。
2023-03-09 cs.CV
RAMer: Reconstruction-based Adversarial Model for Multi-party Multi-modal Multi-label Emotion Recognition
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）
针对现实多方场景下模态缺失及现有方法忽略模态特性的问题，提出RAMer模型，通过重构特征、对比学习、人格辅助任务及堆叠打乱策略提升性能，在三个基准上实现双人及多方MMER的SOTA效果。
2025-08-30 cs.AI cs.CV
EmoMM: Benchmarking and Steering MLLM for Multimodal Emotion Recognition under Conflict and Missingness
School of Future Technology, South China University of Technology（华南理工大学未来技术学院）
本文提出EmoMM基准，用于研究多模态情绪识别中模态冲突和缺失性下的MLLM决策机制，发现视频贡献崩溃现象，并提出CHASE机制减轻决策偏差，提升模型在复杂情感场景中的可靠性。
2026-05-01 cs.AI cs.CV
Towards Universal Khmer Text Recognition
Techo Startup Center, Ministry of Economy and Finance, Cambodia（技术创业中心、经济财政部、柬埔寨）；Osaka Metropolitan University, Japan（大阪 metropolitan 大学、日本）
本文提出了一种通用柬埔寨文字识别框架，通过模态感知自适应特征选择技术提升多模态文本识别性能，并建立了首个全面的基准测试集。
2026-02-28 cs.CV
Fine-grained Action Analysis: A Multi-modality and Multi-task Dataset of Figure Skating
Dalian University of Technology（大连理工大学）
本文构建来自世界花样滑冰锦标赛的MMFS数据集，以RGB、骨架和评分等多模态数据及256类时空标签支持动作识别与质量评估，并提供基线基准。
2024-04-09 cs.AI cs.CV
Few-shot Learning with Deep Triplet Networks for Brain Imaging Modality Recognition
QMENTA（QMENTA公司（注：QMENTA是一家公司，此处按原文提取））
图像模态识别对于当前临床环境中的高效成像工作流程至关重要，其中多种成像模态用于更好地理解复杂疾病。正在开发新的罕见模式的新兴生物标志物，以帮助这种理解，但这些图像的可用性往往是有限的。这种情况下提出了识别新的成像模式，而无需大量收集和注释。在这项工作中，我们提出了一个基于深度三元组网络的有限训练样本的少样本学习模型。我们表明，所提出的模型是更准确地区分不同的方式比传统的卷积神经网络分类器有限的样本时。此外，我们评估了这两个分类器的性能时，提出了嘈杂的样本，并提供了一个初步检查所提出的模型如何可以将不确定性的措施，对样本外的例子更强大。
2019-08-27 cs.CV stat.ML
Mutual Modality Trust with Lightweight Reconstruction Regularization for Fine-grained Tire Pattern Recognition
School of Communications and Information Engineering, Xi’an University of Posts and Telecommunications（西安邮电大学通信与信息工程学院）；School of Artificial Intelligence, Hainan Normal University（海南师范大学人工智能学院）；School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能与光电学院）
针对现有细粒度轮胎识别技术的局限，提出含双分支独立推理和增强特征融合的轻量级方法，利用互模态信任、频域分层引导模块及轻量级重建正则化提升性能，建立数据集并经实验验证了算法优越性。
2026-07-28 cs.CV
Multimodal Emotion Recognition in Conversations via Class-Wise Adaptive Modality Fusion and Affective Geometry
Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；Universitat Pompeu Fabra（庞培法布拉大学）
本研究提出一种结合外观与几何视觉表示、类别自适应模态融合及效价-唤醒先验的ERC方法，在MELD和IEMOCAP上显著提升性能，验证了结构化面部线索与情感几何的互补价值。
2026-09-10 cs.CV
PSUMNet: Unified Modality Part Streams are All You Need for Efficient Pose-based Action Recognition
Centre for Visual Information Technology（视觉信息技术中心）
基于姿势的动作识别主要通过以单片方式处理输入骨架的方法来解决，即姿势树中的关节作为一个整体来处理。然而，这样的方法忽略了这样的事实，即动作类别的特征通常是局部动作动态，仅涉及涉及手（例如"拇指向上"）或腿（例如"踢"）的部分关节组的小子集。虽然存在基于零件分组的方法，但是在全局姿势帧内不考虑每个零件组，导致这样的方法不足。此外，常规方法采用独立的模态流（例如，关节、骨骼、关节速度、骨骼速度）并且在这些流上多次训练它们的网络，这大大增加了训练参数的数量。为了解决这些问题，我们引入了PSUMNet，这是一种可扩展和高效的基于姿势的动作识别的新方法。在表示层面上，我们提出了一个全球性的帧为基础的部分流的方法，而不是传统的模态为基础的流。在每个部件流中，来自多个模态的关联数据被统一并由处理管道消耗。在实验中，PSUMNet在广泛使用的NTURGB + D 60/120数据集和密集关节骨架数据集NTU 60-X/120-X上实现了最先进的性能。PSUMNet是高效的，优于使用100%-400%更多参数的竞争方法。PSUMNet还推广到SHREC手势数据集，具有竞争力的性能。总体而言，PSUMNet的可扩展性，性能和效率使其成为动作识别和部署在计算受限的嵌入式和边缘设备上的有吸引力的选择。代码和预训练模型可访问www.example.com
2022-08-11 cs.CV cs.GR cs.MM
Self-attention fusion for audiovisual emotion recognition with incomplete data
Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）
在本文中，我们考虑的问题，多模态数据分析的视听情感识别的用例。我们提出了一种能够从原始数据中学习的架构，并描述了三种不同的模态融合机制。虽然大多数以前的作品认为在推理过程中的任何时候都存在两种模态的理想情况下，我们评估的鲁棒性的模型在无约束的设置，其中一种模态是缺席或嘈杂，并提出了一种方法来减轻这些限制的形式的模态辍学。最重要的是，我们发现，采用这种方法不仅可以在一种模态的不存在/噪声表示下大幅提高性能，而且还可以提高标准理想环境中的性能，优于竞争方法。
2022-01-26 cs.CV cs.SD eess.AS
Mixture-of-Modality-Experts with Holistic Token Learning for Fine-Grained Multimodal Visual Analytics in Driver Action Recognition
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出MoME框架与HTL策略，通过类标记和时空标记提升多模态学习的专家细化与知识传递，验证了在驾驶员行为识别任务中优于单模态和多模态基线的方法。
2026-04-07 cs.CV
Bridging the Skeleton-Text Modality Gap: Diffusion-Powered Modality Alignment for Zero-shot Skeleton-based Action Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出基于扩散模型的骨架-文本对齐框架TDSM，通过将文本特征纳入反向扩散过程实现统一潜在空间匹配，并引入三重态扩散损失增强判别力，在ZSAR任务中显著超越现有方法。
2025-07-16 cs.CV
Federated Dialogue-Semantic Diffusion for Emotion Recognition under Incomplete Modalities
Shenzhen MSU-BIT University（深圳MSU-BIT大学）；Beijing Institude of Technology（北京理工大学）
针对不完整模态情感识别问题，提出FedDISC框架，首次将联邦学习引入缺失模态恢复，通过联邦聚合模态特定扩散模型并结合交替冻结聚合策略，在多个数据集上实现了优于现有方法的情感分类性能。
2025-11-01 cs.CV
Orientation recognition and correction of Cardiac MRI with deep neural network
Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学类脑智能科学与技术研究院）
本文研究了心脏MRI图像中的方向校正问题，并提出了一种通过深度神经网络进行方向识别的框架。对于多模态MRI，我们引入了一种迁移学习策略，将我们提出的模型从单模态迁移到多模态。我们将所提出的网络嵌入到方向校正命令行工具中，该工具可以对2D DICOM和3D NIFTI图像进行方向校正。我们的源代码、网络模型和工具可在https://github.com/Jy-stdio/MSCMR_orient/上获得
2022-11-21 cs.CV eess.IV
Boosting Continuous Sign Language Recognition via Cross Modality Augmentation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
连续手语识别（SLR）处理未对齐的视频-文本对，并使用单词出错率（WER），即，编辑距离，作为主要的评价指标。由于它是不可微的，我们通常使用连接主义时间分类（CTC）目标损失来优化学习模型，这使得顺序对齐的后验概率最大化。由于优化间隙，具有最高解码概率的预测句子可能不是WER度量下的最佳选择。为了解决这个问题，我们提出了一种新的架构与跨模态增强。具体来说，我们首先通过模拟WER的计算过程来增加跨模态数据，即，在文本标签及其相应视频上的替换、删除和插入。通过这些真实和生成的伪视频-文本对，我们提出了多个损失项来最小化视频和地面真实标签之间的跨模态距离，并使网络区分真实和伪模态之间的差异。所提出的框架可以很容易地扩展到其他现有的基于CTC的连续SLR架构。在两个连续的SLR基准上进行了广泛的实验，即，RWTH-PHOENIX-Weather和CSL的仿真结果验证了该方法的有效性。
2020-10-11 cs.CV
DRKF: Decoupled Representations with Knowledge Fusion for Multimodal Emotion Recognition
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院）
针对多模态情感识别中模态异质性和情感不一致的挑战，提出DRKF方法，通过解耦表示学习和知识融合，在IEMOCAP、MELD和M3ED上取得SOTA性能。
2025-08-03 cs.AI cs.CV cs.MM
Elevating Skeleton-Based Action Recognition with Efficient Multi-Modality Self-Supervision
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院人形机器人与机器人研究所）；Institute for Artificial Intelligence, University of Stuttgart（斯图加特大学人工智能研究所）；School of Robotics, Hunan University（湖南大学机器人学院）
本文针对基于骨架的动作识别中多模态自监督学习的模态性能差异和模态单一问题，提出隐式知识交换模块、三种新模态以及关系型跨模态知识蒸馏框架，在提升性能的同时保持高效。
2024-01-11 cs.CV cs.MM cs.RO
Neural Collaborative Graph Machines for Table Structure Recognition
Tencent YouTu Lab（腾讯优图实验室）
最近，表结构识别在深度图模型的帮助下取得了令人印象深刻的进展。他们中的大多数人利用单一的视觉线索的表格元素或简单地结合视觉线索与其他形式通过早期融合，推理他们的图形关系。然而，无论是早期的融合，也不是单独的推理，在多个模态，可以是适当的所有品种的表结构具有很大的多样性。相反，预计不同的模式将以不同的模式为不同的表的情况下相互合作。在社区中，表结构推理的模态内-模态间交互的重要性仍然是未被探索的。在本文中，我们定义它为异构表结构识别（Hetero-TSR）问题。为了填补这一空白，我们提出了一种新的神经协作图机（NCGM）配备了堆叠的协作块，交替提取内模态上下文和模型间的模态交互的分层方式。它能更鲁棒地表示表格元素的模态间关系，从而显著提高识别性能。我们还表明，建议的NCGM可以调节合作模式的不同形式的条件下的上下文内的模态线索，这是至关重要的多样化表的情况下。基准测试的实验结果表明，我们提出的NCGM实现了最先进的性能，并击败了其他当代方法的大幅度，特别是在具有挑战性的情况下。
2022-03-10 cs.CV
MacJEPA: Missingness-Robust Audio-Visual Recognition from Untrimmed Egocentric Videos
Peter L. Reichertz Institute for Medical Informatics, Hannover Medical School（汉诺威医学院彼得·L·赖歇茨医学信息学研究所）；Lower Saxony Center for Artificial Intelligence and Causal Methods in Medicine (CAIMed)（下萨克森州医学人工智能与因果方法中心（CAIMed））
MacJEPA通过掩码上下文查询JEPA和窗口局部模态丢弃，在未修剪自我中心视频中实现视听识别对时间局部传感器中断的鲁棒性，单阶段联合优化，无需测试时适应，在Epic-Kitchens-100和Epic-Sounds上超越缺失模态基线。
2026-10-12 cs.CV
Pedestrian Attribute Recognition via Hierarchical Cross-Modality HyperGraph Learning
School of Computer Science and Technology, Anhui University（计算机科学与技术学院，安徽大学）
本文针对行人属性识别中属性知识与上下文信息利用不足的问题，提出构建多模态知识图谱，并引入知识图谱引导的跨模态超图学习框架，在多个PAR基准数据集上验证了其有效性。
2025-09-26 cs.AI cs.CV
Cross-modal knowledge distillation for action recognition
University of Bonn（波恩大学）
在这项工作中，我们解决了这样一个问题，即如何在RGB视频等模态上训练的动作识别网络可以适应于识别另一种模态的动作，如3D人体姿势序列。为此，我们提取源模态的训练教师网络的知识，并将其转移到目标模态的学生网络的一个小集合。对于跨模态知识蒸馏，我们不需要任何注释数据。相反，我们使用两种模态的序列对作为监督，这是直接获得的。在以前的作品相比，使用KL损失的知识蒸馏，我们表明，交叉熵损失与相互学习的一个小合奏的学生网络表现得更好。事实上，所提出的跨模态知识蒸馏方法几乎达到了在完全监督下训练的学生网络的准确性。
2019-10-10 cs.CV
Modality Disentangled Learning for Incomplete Multimodal Emotion Recognition: A Primitive Memory Distillation Perspective
Jiangsu University（江苏大学）；Griffith University（格里菲斯大学）；National University of Singapore（新加坡国立大学）；University of New South Wales（新南威尔士大学）；Fujian University of Technology（福建理工大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；Tsinghua University（清华大学）；Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）；Queen Mary University of London（伦敦玛丽女王大学）
本文针对不完整多模态情感识别中现有方法忽略模态异质性的问题，提出PriMD框架，通过解耦语义与原语构建记忆库，在多数据集上实现SOTA性能与更强鲁棒性。
2026-10-27 cs.CV
Dynamic Modality and View Selection for Multimodal Emotion Recognition with Missing Modalities
Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学）；École de Technologie Supérieure (ÉTS)（高等技术学院）
本研究提出动态模态与视角选择方法，在缺失模态下优于基线，证明其处理多模态情感识别的鲁棒性与适应性。
2024-04-18 cs.CV cs.LG cs.SD
TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs
针对大视频语言模型测试时的模态缺失问题，提出带Fisher锚定恢复的测试时自蒸馏框架，在多数据集模态缺失场景下性能优于基线方法且保持稳定。
2026-08-20 cs.AI cs.CV
