iCub! Do you recognize what I am doing?: multimodal human action recognition on multisensory-enabled iCub robot
Tilburg University（蒂尔堡大学）
本研究使用多传感器数据（即，颜色和深度）来识别多模态人机交互环境中的人类动作。在这里，我们采用了iCub机器人观察人类合作伙伴的预定义的行动，使用四种不同的工具对20个对象。我们表明，所提出的多模态集成学习利用了三个彩色摄像头和一个深度传感器的互补特性，在大多数情况下，与使用单一模态训练的模型相比，提高了识别精度。结果表明，所提出的模型可以部署在iCub机器人，需要多模态动作识别，包括社会任务，如合作伙伴特定的适应，和上下文行为理解，仅举几例。
2022-12-17 cs.CV cs.LG cs.RO
Multimodal Emotion Recognition Using Multimodal Deep Learning
Center for Brain-like Computing and Machine Intelligence（类脑计算与机器智能中心）；Department of Computer Science and Engineering（计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）
为了提高情感模型的性能并降低获取生理信号的成本，我们采用多模态深度学习方法从多个生理信号中构建情感模型。对于单峰增强任务，我们指出，通过深度自动编码器（DAE）模型生成的共享表示，在SEED数据集上实现了82.11%的最佳识别准确率。对于多模态促进任务，我们证明了双模态深度自动编码器（BDAE）在SEED和DEAP数据集上分别实现了91.01%和83.25%的平均准确率，这远远优于最先进的方法。对于跨模态学习任务，我们的实验结果表明，通过基于EEG的DAE作为训练样本生成的共享表示和基于眼睛的DAE作为测试样本生成的共享表示，在SEED数据集上实现了66.34%的平均准确率，反之亦然。
2016-02-26 cs.CV cs.HC cs.LG
Deep Impression: Audiovisual Deep Residual Networks for Multimodal Apparent Personality Trait Recognition
Radboud University（拉德堡德大学）
在这里，我们开发了一个视听深度残差网络，用于多模态表观人格特质识别。该网络经过端到端的训练，可以从视频中预测人们的大五人格特质。也就是说，该网络不需要任何特征工程或视觉分析，如人脸检测，人脸地标对齐或面部表情识别。近日，该网络以0.9109的测试准确率获得ChaLearn First Imperial Challenge第三名。
2016-09-16 cs.CV
RoHyDR: Robust Hybrid Diffusion Recovery for Incomplete Multimodal Emotion Recognition
School of Computer Science and Engineering（计算机科学与工程学院）；South China University of Technology（华南理工大学）；School of Future Technology（未来技术学院）；University of Oxford（牛津大学）；Pengcheng Laboratory（鹏城实验室）；Department of Computer Science（计算机科学系）
针对不完整多模态情感识别，提出RoHyDR框架，通过混合扩散与对抗学习在单模态、多模态、特征及语义层面恢复缺失信息，并在两个基准上超越现有方法，实现鲁棒识别。
2025-05-23 cs.AI cs.CV cs.LG
A Novel Approach to for Multimodal Emotion Recognition : Multimodal semantic information fusion
School of Computer Science and Communication Engineering（计算机与通信工程学院）；Harbin University of Commerce（哈尔滨商业大学）
针对多模态情感识别中异构数据融合和模态相关性利用的挑战，提出融合对比学习与视觉序列压缩的DeepMSI-MER方法，在IEMOCAP和MELD数据集上显著提升识别准确性与鲁棒性。
2025-02-12 cs.AI cs.CV
Transferring General Multimodal Pretrained Models to Text Recognition
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文提出了一种新的方法，OFA-OCR，将多模态预训练模型转换为文本识别。具体来说，我们将文本识别重新转换为图像描述，并直接将统一的视觉语言预训练模型转移到最终任务。在没有对大规模注释或合成文本识别数据进行预训练的情况下，OFA-OCR的性能优于基线，并在中文文本识别基准测试中达到了最先进的性能。此外，我们还使用OFA-OCR构建了一个OCR管道，并证明它可以通过产品级API实现具有竞争力的性能。代码（https：//github.com/OFA-Sys/OFA）和演示（https：//modelscope.cn/studios/damo/ofa_ocr_pipeline/summary）是公开的。
2022-12-19 cs.CV
FAF: A novel multimodal emotion recognition approach integrating face, body and text
University of Nantong（南通大学）；Nanjing University of Science and Technology（南京理工大学）
多模态情感分析在情感识别中表现更好，依赖于更全面的情感线索和多模态情感数据集。在本文中，我们开发了一个大型的多模态情感数据集，命名为“HED”数据集，以促进情感识别任务，并相应地提出了一种多模态情感识别方法。为了提高识别的准确性，“特征后特征”的框架被用来探索关键的情感信息，从对齐的人脸，身体和文本样本。我们采用各种基准测试来评估“HED”数据集，并与我们的方法进行性能比较。实验结果表明，所提出的多模态融合方法的五类分类准确率达到83.75%，与单模态相比，性能分别提高了1.83%、9.38%和21.62%.有效地利用了各通道之间的互补性，提高了情感识别的性能。我们还建立了多通道在线情绪预测平台，旨在为更多用户提供免费的情绪预测。
2022-11-20 cs.AI cs.CV
ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Hong Kong University of Science and Technology（香港科技大学）
本文提出轻量级多模态数据集ERIT，包含老年人情绪反应的文本、图像及七类情绪标签，并通过实验验证其在老年人情绪识别和神经多模态融合研究中的价值。
2024-07-25 cs.CL cs.CV cs.CY
Correlation Net: Spatiotemporal multimodal deep learning for action recognition
Hiroshima University（广岛大学）；Universitas Brawijaya（布劳爪哇大学）
本文描述了一个网络，捕捉多模态相关性在任意时间戳。所提出的方案作为一个互补的，扩展的多模态卷积神经网络（CNN）的网络。深度CNN的动作识别需要空间流和时间流，但是过拟合减少和融合这两个流仍然是开放的问题。现有的融合方法对两个流进行平均。在这里，我们提出了一个具有香农融合的相关网络，用于学习预训练的CNN。远程视频可以由任意时间上的时空相关性组成，其可以通过从简单的全连接层形成相关性网络来捕获。这种方法被认为是对现有网络融合方法的补充。在UCF-101和HMDB-51数据集上的对比实验验证了多模态相关的重要性。多模态相关提高了视频识别结果的准确性。
2019-12-16 cs.CV
A Deep Learning-based Multimodal Depth-Aware Dynamic Hand Gesture Recognition System
Systems \& Software Lab (SSL), Department of Computer Science
本文提出了一种基于深度学习的多模态深度感知动态手部姿态识别系统，通过量化深度值和改进多模态融合CRNN架构，提高了识别准确性和参数效率。
2021-11-05 cs.CV cs.HC cs.LG
Research on facial expression recognition based on Multimodal data fusion and neural network
Huazhong University of Science and Technology（华中科技大学）；Anyang Institute of Technology（安阳工学院）
人脸表情识别是神经网络应用于模式识别的一个具有挑战性的课题。目前的人脸识别研究大多基于单源人脸数据，普遍存在识别准确率低、鲁棒性差的缺点。提出了一种基于多模态数据融合的人脸表情识别神经网络算法。该算法基于多模态数据，以人脸图像、图像方向梯度直方图和人脸特征点为输入，建立CNN、LNN和HNN三个子神经网络进行数据特征提取，利用多模态数据特征融合机制提高人脸表情识别的准确率。实验结果表明，得益于多模态数据的互补性，该算法与传统的人脸表情识别算法相比，在准确性、鲁棒性和检测速度上都有很大的提高。特别是在部分遮挡、光照和头部姿态变换的情况下，该算法也表现出较高的置信度。
2021-09-26 cs.AI cs.CV
MultiMAE-DER: Multimodal Masked Autoencoder for Dynamic Emotion Recognition
Florida International University（佛罗里达国际大学）
本文提出MultiMAE-DER，一种用于动态情感识别的多模态掩码自编码器，通过预训练模型微调与优化六种融合策略增强跨域特征相关性，在多个数据集上显著提升了WAR指标。
2024-05-16 cs.CV
Deep Auto-Encoders with Sequential Learning for Multimodal Dimensional Emotion Recognition
Deakin University（迪肯大学）；University of Sydney（悉尼大学）；University of Tasmania（塔斯马尼亚大学）；Queensland University of Technology（昆士兰科技大学）
多模态维度情感识别已经引起了情感计算界的极大关注，许多方案得到了广泛的研究，在这一领域取得了重大进展。然而，对于大多数现有方法，仍有几个问题没有得到解答，包括：（i）如何同时从多模态数据中学习紧凑但具有代表性的特征，（ii）如何有效地从多模态流中捕获互补特征，以及（iii）如何以端到端的方式执行所有任务。为了解决这些挑战，在本文中，我们提出了一种新的深度神经网络架构，该架构由双流自动编码器和长短期记忆组成，用于有效地整合视觉和音频信号流以进行情感识别。为了验证我们提出的架构的鲁棒性，我们进行了广泛的实验，在野生数据集：RECOLA的多模态情感。实验结果表明，该方法实现了国家的最先进的识别性能，并超过了现有的计划显着的保证金。
2020-04-28 cs.CV
Towards Adaptive Fusion of Multimodal Deep Networks for Human Action Recognition
Departemen Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya（计算机科学系，信息学院，布拉格亚大学）
本文提出了一种基于多模态深度网络的自适应融合方法，通过门控机制提升人类动作识别的准确性和鲁棒性。
2025-12-04 cs.CV
Video Emotion Open-vocabulary Recognition Based on Multimodal Large Language Model
BOSS ZhiPin（BOSS直聘）
针对传统固定标签忽略复杂场景细微情感变化的问题，提出基于MLLMs生成视频开放词汇情感标签的解决方案，在MER2024挑战赛MER-OV任务中取得显著优势。
2024-08-22 cs.CV
MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition
Renmin University of China（中国人民大学）；National University of Singapore（新加坡国立大学）
由于标注成本高、标注模糊等原因，标注语料缺乏规模和多样性，阻碍了多模态情感识别研究。在本文中，我们提出了一个预训练模型\textbf{MEmoBERT}的多模态情感识别，学习多模态联合表示通过自监督学习从大规模的未标记的视频数据，在纯粹的体积。此外，与传统的“预训练，微调”范式不同，我们提出了一种基于martext的方法，将下游的情感分类任务重新定义为一个掩码文本预测任务，使下游任务更接近预训练。在IEMOCAP和MSP-IMPROV两个基准数据集上进行的大量实验表明，我们提出的MEmoBERT显著提高了情感识别性能。
2021-10-27 cs.CV eess.IV
Learning multimodal representations for sample-efficient recognition of human actions
INESC-ID（里斯本高等理工学院信息与通信技术研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等理工学院）；National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）
人类以丰富多样的方式与环境互动。然而，这种行为的人工代理的代表性往往是有限的。在这项工作中，我们提出了\textit{motion concepts}，一种新的多模态表示人类在家庭环境中的行动。运动概念包括动作的运动学的概率描述及其上下文背景，即在表演期间保持的位置和对象。此外，我们提出了在线运动概念学习（OMCL），一种新的算法，学习新的运动概念，从动作演示和识别以前学到的运动概念。该算法进行评估的虚拟现实的家庭环境中存在的人类化身。OMCL在一次性识别任务上优于标准运动识别算法，证明了其在人类动作样本有效识别方面的潜力。
2019-03-06 cs.AI cs.CV cs.LG
Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention
Nanjing University of Posts and Telecommunications（南京邮电大学）
由于单模态生物识别系统的不稳定性和局限性，多模态系统越来越受到研究者的关注。然而，如何利用不同模态之间的独立和互补信息仍然是一个关键和具有挑战性的问题。本文提出了一种基于指纹和手指静脉的多模态生物特征融合识别算法（Fingerprint Finger Veins-Channel Spatial Attention Fusion Module，FPV-CSAFM）。具体来说，对于每一对指纹和手指静脉图像，我们首先提出了一个简单而有效的卷积神经网络（CNN）来提取特征。然后，我们建立了一个多模态特征融合模块（通道空间注意力融合模块，CSAFM），充分融合指纹和手指静脉之间的互补信息。与现有的融合策略不同，该融合方法可以根据不同模态在信道和空间维度上的重要性动态调整融合权重，从而更好地融合不同模态之间的信息，提高整体识别性能。为了评估我们的方法的性能，我们在多个公共数据集上进行了一系列实验。实验结果表明，该算法在基于指纹和手指静脉的三种多模态数据集上均取得了良好的识别性能。
2022-09-06 cs.CV
Lumos : Empowering Multimodal LLMs with Scene Text Recognition
Meta Reality Labs（元宇宙实验室）；Meta
本文提出首个端到端多模态问答系统Lumos，通过场景文本识别组件提取第一人称视角图像文本以增强多模态大语言模型输入，并探讨了系统架构与建模技术以克服STR质量、延迟等挑战，评估显示其高质量与高效率。
2024-06-01 cs.CL cs.CV cs.LG
Leveraging Retrieval Augment Approach for Multimodal Emotion Recognition Under Missing Modalities
Inner Mongolia University（内蒙古大学）
本文提出RAMER框架，通过检索相似多模态情感数据填补缺失模态信息，提升缺失模态下多模态情感识别性能，实验证明其优于现有最先进方法。
2024-09-19 cs.AI cs.CV
A Robust Incomplete Multimodal Low-Rank Adaptation Approach for Emotion Recognition
Zhejiang University（浙江大学）
本文提出MCULoRA方法，通过解耦模态组合的共享信息和动态调整参数微调，提升不完整多模态学习模型的训练效率和下游任务准确性。
2025-07-15 cs.AI cs.CV cs.LG
Multimodal Latent Emotion Recognition from Micro-expression and Physiological Signals
University of St Andrews（圣安德鲁斯大学）
该研究聚焦微表情与生理信号的多模态潜在情绪识别，提出含新型网络、加权融合及引导注意力模块的多模态学习框架，实验证明其性能优于基准方法。
2023-08-23 cs.AI cs.CV
Multimodal Semi-Supervised Learning for Text Recognition
AWS AI Labs（亚马逊云科技人工智能实验室）；Technion（以色列理工学院）
直到最近，公开的真实世界文本图像的数量还不足以训练场景文本识别器。因此，大多数现代训练方法依赖于合成数据，并以完全监督的方式运行。然而，最近公开的真实世界文本图像的数量显著增加，其中包括大量未标记的数据。利用这些资源需要半监督方法;然而，现有的几种方法不考虑视觉语言的多模态结构，因此对于最先进的多模态架构来说是次优的。为了弥补这一差距，我们提出了多模态文本识别器（SemiMTR）的半监督学习，它在每个模态训练阶段利用未标记的数据。值得注意的是，我们的方法避免了额外的训练阶段，并保持了当前的三阶段多模式训练过程。我们的算法首先通过将自监督学习与监督训练相结合的单阶段训练来预训练视觉模型。更具体地说，我们扩展了现有的视觉表示学习算法，并提出了第一个基于对比度的场景文本识别方法。在文本语料库上预训练语言模型后，我们通过文本图像的弱增强视图和强增强视图之间的顺序、字符级、一致性正则化来微调整个网络。在一个新的设置中，一致性分别在每个模态上强制执行。大量的实验验证了我们的方法优于当前的训练方案，并在多个场景文本识别基准测试中取得了最先进的结果。
2022-05-08 cs.AI cs.CV cs.LG
Bridging Modalities and Transferring Knowledge: Enhanced Multimodal Understanding and Recognition
University of Bristol（布里斯托大学）；University of Würzburg（乌尔姆大学）；Processing Speech and Images (PSI)（语音与图像处理组）
本文提出多模态对齐、翻译、融合和转移方法，提升复杂输入的理解与识别能力，涵盖空间语言、医学文本、知识图谱和动作识别等多个领域。
2025-12-23 cs.CV
Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks
University of Koblenz-Landau（科布伦茨-兰道大学）
在本文中，我们提出了融合-GCN，一种使用图卷积网络（GCN）的多模式动作识别方法。基于GCN的动作识别方法最近为基于GCN的动作识别提供了最先进的性能。使用Fusion-GCN，我们建议将各种传感器数据模式集成到一个图中，该图使用GCN模型进行训练，用于多模式动作识别。附加的传感器测量被合并到图形表示中，或者在通道维度（引入附加节点属性）上或者在空间维度（引入新节点）上。Fusion-GCN在两个公共可用数据集（UTD-MHAD和MMACT数据集）上进行了评估，并展示了RGB序列、惯性测量和骨架序列的灵活融合。我们的方法在UTD-MHAD数据集上获得了可比的结果，并通过融合骨骼估计和加速度计测量，将大规模MMACT数据集的基线提高了高达12.37%（F1-Measure）的显著幅度。
2021-09-27 cs.CV
Patch as Node: Human-Centric Graph Representation Learning for Multimodal Action Recognition
本文提出PAN框架，通过人本图表示学习提升多模态动作识别性能，结合双路径和统一网络结构实现高效融合。
2025-12-26 cs.CV
GSPR: Multimodal Place Recognition Using 3D Gaussian Splatting for Autonomous Driving
Beijing Institute of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）
提出基于3D Gaussian Splatting的多模态场景识别网络GSPR，将多视角图像与LiDAR点云融合为统一场景表示，利用3D图卷积和transformer提取特征，在三个数据集上实现了SOTA性能与良好泛化。
2025-03-06 cs.CV
MMIS: Multimodal Dataset for Interior Scene Visual Generation and Recognition
MSA University（MSA大学）
本研究推出包含近16万张图像、配套文本描述与语音标注的多模态室内场景数据集MMIS，覆盖多样室内空间风格布局，可支撑图像生成、检索等多模态表征学习研究。
2024-07-08 cs.CV
Robust Face Recognition via Multimodal Deep Face Representation
University of Technology, Sydney（悉尼科技大学）
人脸图像出现在多媒体应用中，例如，社交网络和数字娱乐通常表现出显著的姿态、光照和表情变化，导致传统人脸识别算法的性能显著下降。本文提出了一个全面的深度学习框架，使用多模态信息联合学习人脸表示。提出的深度学习结构由一组精心设计的卷积神经网络（CNN）和一个三层堆叠自动编码器（SAE）组成。CNN的集合从多模态数据中提取互补的面部特征。然后，提取的特征连接起来，形成一个高维的特征向量，其维数是由SAE压缩。所有CNN都使用来自公开可用的CASIA-WebFace数据库的9，000名受试者的子集进行训练，这确保了这项工作的可重复性。使用所提出的单CNN架构和有限的训练数据，在LFW数据库上实现了98.43%的验证率。得益于多模态数据中包含的互补信息，我们的小集成系统使用公开的训练集在LFW上实现了高于99.0%的识别率。
2015-09-01 cs.CV
Handwriting Recognition in Historical Documents with Multimodal LLM
针对历史手写文献OCR难度大、现有Transformer模型依赖人工标注且泛化性差的问题，本文评估了多模态大模型Gemini的手写文档转录准确率，并与当前最优Transformer方法做对比。
2024-10-31 cs.CV
FusionEnsemble-Net: An Attention-Based Ensemble of Spatiotemporal Networks for Multimodal Sign Language Recognition
University of Waterloo（滑铁卢大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出FusionEnsemble-Net，通过基于注意力的融合模块动态结合RGB视频与雷达数据，并集成四种时空网络，在大规模意大利手语数据集上实现了99.44%的识别准确率，有效提升了多模态孤立手势识别的鲁棒性。
2025-08-12 cs.AI cs.CV cs.LG
Auxiliary Multimodal LSTM for Audio-visual Speech Recognition and Lipreading
University of the Chinese Academy of Sciences（中国科学院大学）
视听语音识别（Aduio-visual Speech Recognition，AVSR）是多模态学习的一种应用，它利用视频和音频信息进行自动语音识别（Automatic Speech Recognition，ASR），使ASR系统具有更好的鲁棒性和准确性。传统的AVSR模型通常将AVSR作为推理或投影处理，但严格的先验限制了它的能力。随着深度学习的复兴，深度神经网络（Deep Neural Networks，DNN）已成为ASR、图像分类、自然语言处理等传统分类任务的重要工具。AVSR中使用了一些DNN模型，如多模态深度自动编码器（MDAE），多模态深度信念网络（MDBN）和多模态深度玻尔兹曼机（MDBM），它们实际上比传统方法更好。然而，这样的DNN模型有几个缺点：（1）它们没有平衡模态融合和时态融合，甚至没有时态融合;（2）这些模型的架构不是端到端的，训练和测试变得繁琐。我们提出了一个DNN模型，辅助多模态LSTM（am-LSTM），以克服这种弱点。该方法可实现一次训练和测试，易于训练和自动防过拟合。同时考虑了系统的可扩展性和灵活性。实验表明，am-LSTM在三个数据集上的性能明显优于传统方法和其他DNN模型。
2017-03-17 cs.CV
Feature-Based Dual Visual Feature Extraction Model for Compound Multimodal Emotion Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tianjin Normal University（天津师范大学）
针对第八届ABAW竞赛复合情绪识别的不确定性与模态冲突问题，提出融合ViT与ResNet特征的多模态识别方法，在C-EXPR-DB等数据集上取得更优性能。
2025-03-21 cs.CV
ICANet: A Method of Short Video Emotion Recognition Driven by Multimodal Data
Zhengzhou University（郑州大学）；school of Cyber Science and Engineering（网络与数据科学学院）
针对单模态短视频情感识别准确率低、相似情绪难区分的问题，提出融合音频、视频、光流三模态的ICANet方法，在IEMOCAP基准上准确率达80.77%，超现有SOTA方法15.89%。
2024-12-09 cs.CV
A-MESS: Anchor based Multimodal Embedding with Semantic Synchronization for Multimodal Intent Recognition
Nanchang Research Institute of Zhejiang University（浙江大学南昌研究院）；Jiangxi Qiushi Higher Research Institute（江西求是高等研究院）
针对多模态意图识别中模态内在联系与语义表示不足的问题，提出A-MESS框架，通过基于锚点的多模态嵌入模块融合输入，并利用三元组对比学习语义同步策略优化表示，实验证明其达到SOTA水平。
2025-04-02 cs.AI cs.CV
Weakly-supervised Multi-task Learning for Multimodal Affect Recognition
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；Department of Electronic and Computer Engineering（电子与计算机工程系）；The Hong Kong University of Science and Technology（香港科技大学）
多通道情感识别是人机交互中增强人际关系的一个重要方面。然而，相关的数据是很难得到的，特别是昂贵的注释，这构成了一个具有挑战性的障碍，建立强大的多模态影响识别系统。在这些相对较小的数据集上训练的模型往往会过拟合，与简单的基线相比，使用复杂的最先进模型所获得的改进是微不足道的。同时，有许多不同的多模态情感识别数据集，尽管每个数据集可能很小。在本文中，我们建议使用弱监督多任务学习来利用这些数据集，以提高每个数据集的泛化性能。具体来说，我们探讨了三个多模态情感识别任务：1）情感识别; 2）情感分析;和3）讽刺识别。我们的实验结果表明，多任务处理可以使所有这些任务受益，实现了高达2.9%的准确率和3.3%F1分数的提高。此外，我们的方法也有助于提高模型性能的稳定性。此外，我们的分析表明，如果任务高度相关，弱监督可以提供与强监督相当的贡献。
2021-04-23 cs.CL cs.CV cs.MM
Multimodal Affect Recognition using Kinect
Louisiana State University（路易斯安那州立大学）
在过去的十年里，情感识别得到了研究者的极大关注。感知导航的计算机系统和设备具有从交互式机器人、智能在线教师到基于情感的导航助手的许多应用。在这项研究中，来自多个模态的数据，如面部，头部，手部，身体和语音被用于情感识别。该研究使用Kinect等颜色和深度传感设备进行面部特征提取和人体关节跟踪。跨多帧的时间特征用于情感识别。事件驱动的决策层融合被用来结合来自每个单独的模态的结果，使用多数投票来识别情绪。该研究还通过将特征与基于规则的情感模板进行匹配来实现情感识别。实验结果表明，多模态情感识别率相结合的情感模板和监督学习是更好的识别率相比，基于监督学习单独。使用时间特征获得的识别率高于仅使用基于位置的特征获得的识别率。
2016-07-09 cs.CV cs.HC
MCN-CL: Multimodal Cross-Attention Network and Contrastive Learning for Multimodal Emotion Recognition
School of Computer and Information Engineering, Anhui University of Finance and Economics, Anhui, 233030, China（计算机与信息工程学院，安徽财经大学，安徽，233030，中国）；State Key Laboratory of Cognitive Science and Mental Health, Institute of Psychology, Chinese Academy of Sciences, Beijing, 100045, China（认知科学与心理健康国家重点实验室，心理学研究所，中国科学院，北京，100045，中国）
针对多模态情感识别现存的类别不均衡、时序建模难、模态异质性融合难问题，本文提出MCN-CL方法，通过三元查询机制与难负样本挖掘策略优化特征，在两个基准数据集上取得了优于SOTA的性能。
2025-11-14 cs.AI cs.CV
VSRo-200: A Romanian Visual Speech Recognition Dataset for Studying Supervision and Multimodal Robustness
University of Bucharest（布加勒斯特大学）
本文介绍罗马尼亚语视觉语音识别数据集VSRo-200，通过伪标签和人工转录注释样本，建立低资源视觉语音识别基准。研究监督质量影响，评估域转移鲁棒性及噪声下视听语音识别，证明其表示可转移至其他基准，为相关研究提供新测试平台。
2026-07-10 cs.CV
FV2ES: A Fully End2End Multimodal System for Fast Yet Effective Video Emotion Recognition Inference
在最新的社交网络中，越来越多的人更喜欢通过文字、语音、丰富的面部表情，在视频中表达自己的情感。多模态视频情感分析技术可以根据图像中的人类表情和手势、语音中的音调以及识别的自然语言来帮助自动理解用户的内心世界。然而，在现有的研究中，声学模态相对于视觉模态和文本模态长期处于边缘地位。也就是说，提高声学模态对整个多模态情感识别任务的贡献往往更加困难。此外，虽然通过引入常见的深度学习方法可以获得更好的性能，但这些训练模型的复杂结构总是导致推理效率低下，特别是当暴露于高分辨率和长长度视频时。此外，缺乏完全端到端的多模态视频情感识别系统阻碍了其应用。在本文中，我们设计了一个完全多模态的视频到情感系统（FV 2 ES），其优点有三：（1）在声谱上采用层次注意方法，突破了声学模态的有限贡献，在IEMOCAP和CMU-MOSEI数据集上均优于现有模型的性能;（2）引入多尺度视觉提取和单分支推理的思想，在保证预测精度的同时提高了效率;（3）将数据预处理进一步集成到对齐的多模态学习模型中，可以显著降低计算成本和存储空间。
2022-09-21 cs.CV
LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion Recognition from Unaligned Multimodal Sequences
Beijing University of Posts and Telecommunications（北京邮电大学）；East China Normal University（华东师范大学）；Shanghai University of International Business and Economics（上海对外经贸大学）
学习模态融合表示和处理不对齐的多模态序列在多模态情感识别中是有意义和具有挑战性的。现有的方法使用定向成对注意或消息中心来融合语言、视觉和听觉模态。然而，这些方法在融合特征时引入了信息冗余，并且没有考虑模态的互补性而效率低下。在本文中，我们提出了一个有效的神经网络学习模态融合表示与CB-Transformer（LMR-CBT）的多模态情感识别从非对齐的多模态序列。具体来说，我们首先分别对三种模态进行特征提取，得到序列的局部结构。然后，我们设计了一种新的跨模态块的Transformer（CB-Transformer），它可以实现不同模态的互补学习，主要分为局部时间学习，跨模态特征融合和全局自注意表示。此外，我们拼接融合的功能与原始功能的分类序列的情感。最后，我们在三个具有挑战性的数据集IEMOCAP，CMU-MOSI和CMU-MOSEI上进行了单词对齐和未对齐的实验。实验结果表明，我们提出的方法在这两种设置的优越性和效率。与主流方法相比，我们的方法达到了国家的最先进的最少数量的参数。
2021-12-03 cs.CL cs.CV cs.LG
Integrating Audio Narrations to Strengthen Domain Generalization in Multimodal First-Person Action Recognition
University of Pittsburgh（匹兹堡大学）
针对第一人称活动识别的域偏移问题，提出整合运动、音频、外观特征的多模态框架，通过音频旁白增强音文对齐等策略，在ARGO1M数据集上实现SOTA性能，提升跨场景泛化能力。
2024-09-15 cs.AI cs.CV cs.LG
DMCL: Distillation Multiple Choice Learning for Multimodal Action Recognition
Istituto Italiano di Tecnologia（意大利理工学院）；Università di Genova（热那亚大学）；Boston University（波士顿大学）；Università di Verona（维罗纳大学）；Huawei Ireland Research Center（华为爱尔兰研究中心）
在这项工作中，我们解决了使用多模态数据学习专家网络集成的问题，同时考虑在测试时可能丢失模态的现实和具有挑战性的情况。我们的目标是利用多种模式的互补信息，以使整体和每个单独的网络受益。我们为多模态数据引入了一个新的蒸馏多选择学习框架，其中不同的模态网络从头开始在合作环境中学习，相互加强。由于其他模态的指导，使用我们的方法学习的模态网络比单独训练的模态网络实现了更高的准确性。我们在三个视频动作识别基准数据集上评估了这种方法。我们获得国家的最先进的结果相比，其他方法，在测试时丢失的方式。
2019-12-23 cs.CV
SNN-Driven Multimodal Human Action Recognition via Sparse Spatial-Temporal Data Fusion
School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（信息与通信工程学院，北京邮电大学）
本文提出了一种基于SNN的多模态人体动作识别框架，通过稀疏时空数据融合提升识别准确率和能效。
2025-12-22 cs.CV
Data-Augmented Multimodal Feature Fusion for Multiclass Visual Recognition of Oral Cancer Lesions
MSA University（MSA大学）
本文提出一种数据增强驱动的多模态特征融合框架，用于提升口腔癌病变的多类视觉识别性能。
2026-01-05 cs.CV
Concurrent Activity Recognition with Multimodal CNN-LSTM Structure
Rutgers University（罗格斯大学）
我们介绍了一个系统，识别并发的活动，从现实世界中的数据捕获的多个不同类型的传感器。识别分两步实现。首先，我们从多模态数据中提取空间和时间特征。我们将每种数据类型输入一个提取空间特征的卷积神经网络，然后输入一个提取感官数据中时间信息的长短期记忆网络。然后在第二步中融合提取的特征用于决策。其次，我们实现了并发活动识别与一个单一的分类器，编码一个二进制输出向量，其中的元素表示相应的活动类型是否正在进行中。我们用来自不同领域的三个数据集测试了我们的系统，这些数据集使用不同的传感器记录，并实现了与专门为这些领域设计的现有系统相当的性能。我们的系统是第一个使用单一模型来解决多传感器数据的并发活动识别，该模型具有可扩展性，训练简单，易于部署。
2017-02-06 cs.CV
Deep Multimodal Feature Analysis for Action Recognition in RGB+D Videos
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（信息通信研究院）
RGB或深度序列上的单模态动作识别最近已被广泛探索。人们普遍认为，这两种模式都有不同的优势和局限性的行动识别任务。因此，对RGB + D视频的分析可以帮助我们更好地研究这两种模式的互补特性，并实现更高的性能水平。在本文中，我们提出了一种新的基于深度自动编码器的共享特定特征分解网络，将输入的多模态信号分离成一个层次的组件。此外，基于特征的结构，提出了一种结构化稀疏学习机，该学习机利用混合范数在组件内应用正则化，并在组件之间进行分组选择，以获得更好的分类性能。我们的实验结果显示了我们的跨模态特征分析框架的有效性，通过在五个具有挑战性的基准数据集上实现最先进的动作分类精度。
2016-12-26 cs.CV
Mixture-of-Modality-Experts with Holistic Token Learning for Fine-Grained Multimodal Visual Analytics in Driver Action Recognition
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出MoME框架与HTL策略，通过类标记和时空标记提升多模态学习的专家细化与知识传递，验证了在驾驶员行为识别任务中优于单模态和多模态基线的方法。
2026-04-07 cs.CV
Egocentric Activity Recognition with Multimodal Fisher Vector
Singapore University of Technology and Design（新加坡科技设计大学）；Institute for Infocomm Research（新加坡资讯通信研究院）
随着可穿戴设备的日益可用性，自我中心活动识别的研究最近受到了广泛关注。在本文中，我们建立了一个多模态自我中心活动数据集，其中包括自我中心的视频和传感器数据的20个细粒度和不同的活动类别。我们提出了一种新的策略，从传感器数据中提取时间的似然特征。我们建议应用Fisher核框架来融合视频和时间增强传感器特征。实验结果表明，通过精心设计的特征提取和融合算法，传感器数据可以增强信息丰富的视频数据。我们公开了多模态自我中心活动数据集，以促进未来的研究。
2016-01-25 cs.CV cs.MM
MANet: Multimodal Attention Network based Point- View fusion for 3D Shape Recognition
三维形状识别作为三维视觉研究的一个重要课题，受到了越来越多的关注。3D数据的激增鼓励了基于3D数据的各种深度学习方法。现在已经有许多基于点云数据或多视图数据的深度学习模型。然而，在大数据时代，整合两种不同模态的数据以获得统一的3D形状描述符势必会提高识别精度。因此，本文提出了一种基于多模态注意力机制的融合网络用于三维形状识别。考虑到多视点数据的局限性，提出了一种软注意方案，利用全局点云特征对多视点特征进行过滤，实现了两种特征的有效融合。更具体地说，我们通过挖掘每个多视图图像对整体形状识别的贡献来获得增强的多视图特征，然后融合点云特征和增强的多视图特征以获得更具鉴别力的3D形状描述符。在ModelNet40数据集上进行了相关实验，实验结果验证了该方法的有效性。
2020-02-28 cs.CV
Evaluating Multimodal Large Language Models for Heterogeneous Face Recognition
Idiap Research Institute（日内瓦研究所）
本文评估了多模态大语言模型在异构人脸识别中的性能，发现其在跨模态条件下表现欠佳，凸显了当前模型的局限性及生物识别评估的重要性。
2026-01-21 cs.CV
Multimodal Knowledge Distillation for Egocentric Action Recognition Robust to Missing Modalities
I3A – University of Zaragoza（萨拉戈萨大学I3A研究中心）；Technical University of Darmstadt, Department of Computer Science（达姆施塔特技术大学计算机科学系）
KARMMA通过多模态知识蒸馏实现抗缺失模态的自体视觉动作识别，以轻量模型提升机器人部署效率。
2026-02-27 cs.CV
Multimodal Video Emotion Recognition with Reliable Reasoning Priors
Lenovo Research（联想研究院）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）；Institute of Automation, CAS（中国科学院自动化研究所）；Macau University of Science and Technology（澳门科学理工学院）；School of Computer Science and Technology, UCAS（中国科学院大学计算机科学与技术学院）
本研究利用多模态大语言模型生成推理先验，注入融合阶段，并引入平衡双对比学习缓解类别不平衡，在MER2024基准上显著提升多模态情感识别性能。
2025-07-29 cs.AI cs.CV
From Unimodal to Multimodal: improving sEMG-Based Pattern Recognition via deep generative models
School of Design Arts and Media, Nanjing University of Science and Technology（南京理工大学设计艺术与传媒学院）
本文提出利用深度生成模型从前臂sEMG信号生成虚拟IMU信号，并与sEMG信号共同输入多模态CNN进行手势识别，在六个数据库上验证其准确率显著优于单模态sEMG方法，且接近真实多模态性能，从而在不增加硬件成本的情况下弥合单模态与多模态HGR的差距。
2023-09-18 cs.CV
