Improving Pose Estimation through Contextual Activity Fusion
University of the Witwatersrand（威特沃特斯兰德大学）
这项研究提出了活动融合到现有的姿态估计架构，以提高其预测能力的想法。这是由现代机器学习架构中发现的更高级别概念的兴起以及活动上下文对于姿势估计问题是有用的信息的信念所激发的。为了分析这个概念，我们采用现有的深度学习架构，并通过额外的1x1卷积来增强它，以将活动信息融合到模型中。我们在一个常见的姿势估计数据集上进行评估和比较，并显示了我们的基线模型的性能改进，特别是在不常见的姿势和典型的困难关节。此外，我们进行了一个消融分析，表明性能的改善，实际上从活动信息。
2021-11-03 cs.CV cs.LG
RealNet: Combining Optimized Object Detection with Information Fusion Depth Estimation Co-Design Method on IoT
Shanghai Jiao Tong University（上海交通大学）
深度估计和目标检测识别在深度学习人工智能指导下的自动驾驶技术中发挥着重要作用。我们提出了一种混合结构称为RealNet：一种协同设计方法，结合模型流线型识别算法，深度估计算法与信息融合，并将它们部署在Jetson-Nano无人驾驶车辆与单目视觉传感器。我们使用ROS进行实验。该方法适用于实时性要求较高的移动平台。该方法的创新点在于利用信息融合技术来补偿输出图像帧速率不足的问题，提高了单目视觉下目标检测和深度估计的鲁棒性。目标检测基于YOLO-v5。我们简化了其DarkNet 53的网络结构，实现了高达0.01s的预测速度。深度估计基于VNL深度估计，其考虑3D全局空间中的多个几何约束。它通过计算虚拟法向矢量VN与标签的偏差来计算损失函数，可以获得更深的深度信息。针对深度图输出的帧速率不足的问题，采用Pestrian融合算法。该算法基于角点特征匹配，求解三维目标到二维点的运动估计深度，比VNL计算速度快。通过对VNL输出和PADV输出进行插值，实现信息融合。实验表明，该方法能有效地消除深度信息的抖动，提高鲁棒性。在控制端，该方法结合目标检测和深度估计的结果计算目标位置，并采用纯跟踪控制算法对其进行跟踪。
2022-04-24 cs.AI cs.CV
Virtual Fusion with Contrastive Learning for Single Sensor-based Activity Recognition
University College Dublin（都柏林大学学院）；Posts and Telecommunications Institute of Technology（邮电技术学院）
针对单传感器 HAR 视角受限而多传感器融合成本高的问题，提出训练时利用多传感器无标签数据、推理时仅用单传感器的 Virtual Fusion，并通过 AFVF 扩展达到基准最优性能。
2023-12-01 cs.AI cs.CV cs.LG
Interactive Fusion of Multi-level Features for Compositional Activity Recognition
Nanjing University of Science and Technology（南京理工大学）；Huawei Inc.（华为公司）
为了理解一个复杂的动作，需要整合多个信息源，包括外观、位置和语义特征。然而，由于这些特征在模态和维度上往往存在显著差异，因此难以融合。在本文中，我们提出了一个新的框架，实现这一目标的交互式融合，即在不同的空间投影功能，并指导它使用辅助预测任务。具体来说，我们实现了三个步骤，即位置到外观特征提取，语义特征交互，语义到位置的预测框架。我们在两个动作识别数据集上评估了我们的方法，Something-Something和Charades。交互式融合实现了一致的精度增益，超越了现成的动作识别算法。特别是，在Something-Else上，Something-Something的组成设置，交互式融合报告在前1精度方面获得了2.9%的显着增益。
2020-12-10 cs.CV
Ensemble Learning for Fusion of Multiview Vision with Occlusion and Missing Information: Framework and Evaluations with Real-World Data and Applications in Driver Hand Activity Recognition
University of California San Diego（加州大学圣地亚哥分校）
针对多视角视觉中遮挡、噪声和传感器失效造成的信息缺失，本文提出含插补方案的多摄像头后期融合学习框架，并在驾驶员手部活动识别中验证其优于单摄像头及其他集成方法。
2023-09-29 cs.AI cs.CV cs.LG
LoRA-Based Cascaded Multimodal Fusion for Action Recognition in Medical Training Environments
Quince（Quince公司）；Vanderbilt University（范德堡大学）
研究面向医疗训练环境的动作识别，提出基于LoRA的级联多模态融合框架，结合特定模态适应与顺序融合，无需重新训练组件，在两个数据集上评估，结果显示该策略优于单模态模型且性能有竞争力。
2026-07-14 cs.AI cs.CV
Triple Spectral Fusion for Sensor-based Human Activity Recognition
School of Electronics and Communication Engineering, the Shenzhen Campus of Sun Yat-sen University（南方科技大学深圳校区电子与通信工程学院）；Aviation University of Air Force（空军航空大学）；College of Computer Science, Chongqing University（重庆大学计算机学院）；Department of Computer Science and Software Engineering, the University of Western Australia（西澳大学计算机科学与软件工程系）
本文提出三频谱融合框架，通过自适应滤波和图傅里叶变换提升传感器数据融合与长期上下文关联性，实验表明其在多个基准数据集上表现优异。
2026-05-04 cs.AI cs.CV cs.HC
ICM-Fusion: In-Context Meta-Optimized LoRA Fusion for Multi-Task Adaptation
PolyU
提出ICM-Fusion框架，结合元学习与上下文适配，通过任务向量算术和F-VAE重建融合LoRA，解决多任务融合中的权重冲突与遗忘，显著降低多任务损失并提升少样本性能。
2025-08-06 cs.CV
SWTF: Sparse Weighted Temporal Fusion for Drone-Based Activity Recognition
National University of Ireland（爱尔兰国立大学）；Birla Institute of Technology and Science（比尔拉科学技术学院）；Bournemouth University（伯恩茅斯大学）
过去几年，基于无人机摄像头的人类活动识别（HAR）受到了计算机视觉研究界的高度关注。一个健壮高效的HAR系统在视频监控、人群行为分析、体育分析、人机交互等领域有着举足轻重的作用。使它具有挑战性的是复杂的姿势，理解不同的观点，以及行动发生的环境场景。为了解决这样的复杂性，在本文中，我们提出了一种新的稀疏加权时间融合（SWTF）模块，利用稀疏采样的视频帧获得全局加权时间融合的结果。拟议的SWTF分为两个部分。首先，一个时间段网络，稀疏采样一组给定的帧。第二，加权时间融合，其结合了从光流导出的特征图与原始RGB图像的融合。接下来是基础网络，它包括一个卷积神经网络模块以及为我们提供活动识别的完全连接的层。SWTF网络可以用作现有深度CNN架构的插件模块，用于通过消除对单独时间流的需要来优化它们以学习时间信息。它已经在三个公开的基准数据集上进行了评估，即Okutama，MOD 20和Drone-Action。所提出的模型在各自的数据集上获得了72.76%，92.56%和78.86%的准确率，从而大大超过了以前的最先进性能。
2022-11-10 cs.CV
Domain Generalization for Activity Recognition via Adaptive Feature Fusion
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）；Pengcheng Laboratory（鹏城实验室）
人类活动识别需要努力使用训练数据集建立一个可推广的模型，希望在测试数据集上取得良好的性能。然而，在实际应用中，训练和测试数据集可能会由于各种原因，如不同的身体形状，行为风格和习惯，具有完全不同的分布，损害模型的泛化性能。虽然这样的分布间隙可以通过现有的领域自适应方法来减小，但是它们通常假设可以在训练阶段访问测试数据，这是不现实的。在本文中，我们考虑了一个更实际和具有挑战性的场景：域广义活动识别（DGAR），其中测试数据集\emph{cannot}在训练过程中被访问。为此，我们提出了\emph{Adaptive Feature Fusion for Activity Recognition~(AFFAR)}，一个领域泛化的方法，学习融合域不变和域特定的表示，以提高模型的泛化性能。AFFAR在两个领域中发挥了最大的作用，其中领域不变表示增强了跨领域的可转移性，而领域特定表示利用了每个领域的模型识别能力。在三个公共HAR数据集上的实验表明了该方法的有效性。此外，我们将AFVAR应用于实际应用，即，儿童注意缺陷多动障碍（ADHD）的诊断，这也证明了我们的方法的优越性。
2022-07-21 cs.AI cs.CV cs.LG
Manipulated Object Proposal: A Discriminative Object Extraction and Feature Fusion Framework for First-Person Daily Activity Recognition
检测和识别与人类交互的对象是第一人称（自我中心）日常活动识别的中心。然而，由于噪声摄像机运动和频繁的变化，在视点和规模，以前的大多数自我中心的动作识别方法无法捕捉和建模高度区分对象的功能。在这项工作中，我们提出了一种新的管道第一人称日常活动识别，旨在更具鉴别力的对象特征表示和对象运动特征融合。我们的对象特征提取和表示管道受到最近成功的对象假设和基于深度卷积神经网络的检测框架的启发。我们的主要贡献是一个简单而有效的操纵对象的建议生成方案。该方案利用运动线索，如运动边界和运动幅度（相比之下，相机运动通常被认为是“噪声”的大多数以前的方法），以生成一个更紧凑和有区别的一组对象的建议，这是更密切相关的对象被操纵。然后，我们从这些基于区域的卷积神经网络（R-CNN）的操纵对象的建议学习更多的歧视性对象检测器。同时，我们开发了一个基于网络的特征融合方案，更好地结合了对象和运动特征。我们在实验中表明，所提出的框架显着优于国家的最先进的识别性能上具有挑战性的第一人称日常活动基准。
2016-05-31 cs.CV
Attention-Based Sensor Fusion for Human Activity Recognition Using IMU Signals
Missouri University of Science and Technology（密苏里科技大学）；Stony Brook University（石溪大学）
使用诸如嵌入有惯性测量单元（IMU）传感器的智能手表的可穿戴设备的人类活动识别（HAR）具有与我们的日常生活相关的各种应用，诸如锻炼跟踪和健康监测。在本文中，我们提出了一种新的基于注意力的方法，使用多个IMU传感器佩戴在不同的身体位置的人类活动识别。首先，设计了一个传感器特征提取模块，利用卷积神经网络（CNN）从单个传感器中提取最具鉴别力的特征。其次，开发了一种基于注意力的融合机制来学习不同身体位置的传感器的重要性，并生成注意力特征表示。最后，应用传感器间特征提取模块来学习传感器间的相关性，传感器间的相关性被连接到分类器以输出预测的活动类别。使用五个公共数据集对所提出的方法进行了评估，它在各种活动类别上的表现优于最先进的方法。
2021-12-20 cs.CV eess.SP
DFTerNet: Towards 2-bit Dynamic Fusion Networks for Accurate Human Activity Recognition
Central South University（中南大学）
深度卷积神经网络（DCNN）目前在人类活动识别应用中很流行。然而，面对现代人工智能基于传感器的游戏，很多研究成果无法在便携式设备上得到实际应用。DCNN通常是资源密集型的，并且太大而不能部署在便携式设备上，因此这限制了复杂活动检测的实际应用。此外，由于便携式设备不具备高性能的图形处理单元（GPU），动作游戏（ACT）体验几乎没有任何改善。此外，为了处理多传感器协作，所有以前的人类活动识别模型通常平等地对待来自不同传感器信号源的表示。然而，不同类型的活动应采取不同的融合策略。本文提出了一种新的方案。该方案用于训练2位卷积神经网络，其权重和激活约束为{-0.5，0，0.5}。它考虑了不同传感器信号源和活动类型之间的相关性。这个模型，我们称之为DFTerNet，旨在为实际应用提供更可靠的推理和更好的权衡。我们的基本思想是直接在预训练的滤波器组中利用权重和激活的量化，并针对不同的活动类型采用动态融合策略。实验表明，通过使用动态融合策略，可以超过基线模型性能高达5%的活动识别，如OPPORTUNITY和PAMAP 2数据集。使用所提出的量化方法，我们能够实现更接近于全精度对应的性能。这些结果也使用UniMiB-SHAR数据集进行了验证。此外，所提出的方法可以在CPU上实现约9倍的加速和约11倍的内存节省。
2018-09-29 cs.AI cs.CV cs.HC
Multi-View Fusion Transformer for Sensor-Based Human Activity Recognition
Alibaba Group（阿里巴巴集团）
基于传感器的人类活动识别（HAR）作为泛在计算和机器学习的基础问题，近年来引起了广泛关注并取得了长足进展。HAR的目标是根据从多模态传感器（如加速度计和陀螺仪）收集的丰富时间序列数据的可用性来识别人类活动。然而，最近的深度学习方法专注于数据的一个视图，即，时间视图，而浅层方法倾向于利用手工特征进行识别，例如，统计观点。在本文中，提取一个更好的功能，以提高性能，我们提出了一种新的方法，即多视图融合Transformer（MVFT）以及一种新的注意力机制。首先，MVFT编码三个信息视图，即，时间、频繁和统计视图以生成多视图特征。其次，新的注意机制揭示内部和跨视图的线索，催化三个视图之间的相互作用，详细的关系建模。此外，在两个数据集上的大量实验表明，我们的方法优于几个国家的最先进的方法。
2022-02-16 cs.AI cs.CV cs.LG
OccLoff: Learning Optimized Feature Fusion for 3D Occupancy Prediction
Wuhan University（武汉大学）
OccLoff提出熵掩码稀疏融合编码器、可迁移代理损失及自适应难样本加权，提升三维占用预测精度并降低计算成本，在nuScenes和SemanticKITTI上验证有效。
2024-11-06 cs.CV
Expansion-Squeeze-Excitation Fusion Network for Elderly Activity Recognition
Nanjing University of Science and Technology（南京理工大学）
由于老年人活动中存在个体行为和人-物交互，因此老年人活动识别是一项具有挑战性的任务。因此，我们试图通过仔细融合多模态特征来有效地聚合来自RGB视频和骨架序列的动作和交互的判别信息。近年来，利用非线性注意力机制提出了一些非线性多模态融合方法，该机制是从挤压和激励网络（SENet）扩展而来的。受此启发，我们提出了一种新的扩展-挤压-激励融合网络（ESE-FN），以有效地解决老年人活动识别的问题，它学习模态和通道方式的扩展-挤压-激励（ESE）注意力，以便以模态和通道方式融合多模态特征。此外，我们设计了一个新的多模态损失（ML）保持单模态特征和融合的多模态特征之间的一致性，通过增加单一模态上的最小预测损失和融合模态上的预测损失之间的差异的惩罚。最后，我们在最大规模的老年人活动数据集上进行了实验，即，ETRI-Activity 3D（包括110，000多个视频和50多个类别），以证明与最先进的方法相比，所提出的ESE-FN实现了最佳的准确性。此外，更广泛的实验结果表明，所提出的ESE-FN在正常动作识别任务方面也与其他方法相当。
2022-04-24 cs.CV stat.ML
Brain-optimized inference improves reconstructions of fMRI brain activity
University of Minnesota（明尼苏达大学）
该研究提出大脑优化推理方法，通过迭代优化重建图像与fMRI脑活动的一致性来提升解码效果，验证了其优于基础解码方法，并揭示了视觉皮层不同区域的优化速率差异。
2023-12-12 cs.AI cs.CV cs.LG
Recurrent Neural Networks for Driver Activity Anticipation via Sensory-Fusion Architecture
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Brain Of Things Inc.（Brain Of Things公司）
预测人类未来的行为是机器人技术中广泛研究的问题，需要时空推理。在这项工作中，我们提出了一种深度学习方法，用于预测感官丰富的机器人应用。我们介绍了一个感官融合架构，共同学习，以预测和融合来自多个感官流的信息。我们的架构由循环神经网络（RNN）组成，它使用长短期记忆（LSTM）单元来捕获长时间依赖性。我们以序列到序列预测的方式训练我们的架构，它明确地学习预测未来，只给出部分时间上下文。我们还引入了一个新的损失层的预期，防止过度拟合，并鼓励早期预测。我们使用我们的架构来预测驾驶机动几秒钟之前，他们发生在一个自然的驾驶数据集1180英里。机动预期的背景来自安装在车辆上的多个传感器。我们的方法显示出显着的改善，在国家的最先进的机动预期的精度从77.4%提高到90.5%，召回率从71.2%提高到87.4%。
2015-09-16 cs.AI cs.CV cs.RO
Real-Time Human Activity Recognition on Edge Microcontrollers: Dynamic Hierarchical Inference with Multi-Spectral Sensor Fusion
Nanyang Technological University（南洋理工大学）；Henan University（河南大学）
HPPI-Net通过多光谱传感器融合和分层推理实现边缘微控制器上的实时人类活动识别，提升准确率并降低资源消耗。
2026-01-29 cs.AI cs.CV eess.SP
CORE-ReID V2: Advancing the Domain Adaptation for Object Re-Identification with Optimized Training and Ensemble Fusion
Iwate Prefectural University（岩手县立大学）；CyberCore Co., Ltd.（CyberCore有限公司）；Satya Wacana Christian University（沙塔瓦卡纳基督教大学）
CORE-ReID V2通过CycleGAN预训练和ECAB/SECAB集成融合，在无监督域自适应下提升行人及车辆重识别性能，达到顶尖mAP和Rank-k精度，并支持轻量骨干网络。
2025-08-06 cs.AI cs.CV
An Optimized PatchMatch for Multi-scale and Multi-feature Label Fusion
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；LaBRI（拉布拉第尼研究所）；UMR 5800（法国国家科研机构（UMR 5800））；PICTURA（PICTURA研究中心）；Bordeaux INP（波尔多国立应用科学学院）；McConnell Brain Imaging Centre（麦康奈尔脑成像中心）；Montreal Neurological Institute（蒙特利尔神经科学研究所）；McGill University（麦吉尔大学）
本文提出一种基于优化PatchMatch的标签融合框架（OPAL），通过多尺度和多特征策略加速相似块搜索，在海马分割中取得最高中位Dice系数（89.9%和90.1%），精度接近专家间变异性，并实现体积高度相关。
2025-09-24 cs.CV
Self-Supervised Multimodal Fusion Transformer for Passive Activity Recognition
University of Bristol（布里斯托大学）
Wi-Fi信号的普及为医疗保健等领域的人类感知和活动识别提供了重要机会。最常用于无源Wi-Fi感测的传感器基于无源Wi-Fi雷达（PWR）和信道状态信息（CSI）数据，然而，当前系统不能有效地利用通过多个传感器获取的信息来识别不同的活动。在本文中，我们探索新的性能的Transformer架构的多模态传感器融合。我们研究了不同的信号处理技术，从PWR和CSI数据中提取多个基于图像的特征，如频谱图，尺度图和马尔可夫转移场（MTF）。首先，我们提出了融合Transformer，注意力为基础的多模态和多传感器融合模型。实验结果表明，我们的融合Transformer的方法可以实现有竞争力的结果相比，ResNet架构，但更少的资源。为了进一步改进我们的模型，我们提出了一个简单有效的多模态和多传感器自监督学习（SSL）框架。自监督Fusion Transformer的性能优于基线，达到了95.9%的F1分数。最后，我们展示了这种方法在使用1%（2分钟）到20%（40分钟）的标记训练数据进行训练时，如何显着优于其他方法。
2022-08-15 cs.CV cs.HC cs.LG
Distilled Mid-Fusion Transformer Networks for Multi-Modal Human Activity Recognition
University of New South Wales（新南威尔士大学）
提出基于知识蒸馏的多模态中间融合方法DMFT，通过教师模型提取时空特征并蒸馏至轻量学生模型，在公开数据集上实现高效且鲁棒的活动识别。
2023-05-05 cs.CV cs.HC
Multi-Stage Based Feature Fusion of Multi-Modal Data for Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）
为了适当地帮助人类满足他们的需求，人类活动识别（HAR）系统需要能够融合来自多种模态的信息。我们的假设是，多模态传感器，视觉和非视觉往往提供补充信息，解决其他方式的局限性。在这项工作中，我们提出了一个多模态框架，学习有效地结合RGB视频和IMU传感器的功能，并显示其对MMAct和UTD-MHAD数据集的鲁棒性。我们的模型分为两个阶段进行训练，在第一阶段，每个输入编码器学习有效地提取特征，在第二阶段，学习组合这些单独的特征。与UTD-MHAD数据集上的仅视频和仅IMU设置相比，我们显示出22%和11%的显着改进，以及MMAct数据集上的20%和12%。通过大量的实验，我们证明了我们的模型的鲁棒性zero shot设置，和有限的注释数据设置。我们进一步与使用更多输入模态的最先进的方法进行比较，并表明我们的方法在更困难的MMAct数据集上显着优于其他方法，并在UTD-MHAD数据集上进行优化。
2022-11-08 cs.CV
EDNet: Edge-Optimized Small Target Detection in UAV Imagery -- Faster Context Attention, Better Feature Fusion, and Hardware Acceleration
Sorbonne University（索邦大学）；University of California, Berkeley（加州大学伯克利分校）；Imperial College London（伦敦帝国学院）
本文提出基于增强 YOLOv10 的 EDNet 边缘检测框架，通过 XSmall 检测头、Cross Concat、C2f-FCA 与 WIoU 提升无人机小目标检测精度和速度。
2025-01-10 cs.AI cs.CV cs.LG
FusionFM: Fusing Eye-specific Foundational Models for Optimized Ophthalmic Diagnosis
Department of Ophthalmology, Yong Loo Lin School of Medicine, National University of Singapore, Singapore（新加坡国立大学 Yong Loo Lin 医学院眼科系）；Centre for Innovation and Precision Eye Health, Yong Loo Lin School of Medicine, National University of Singapore, Singapore（新加坡国立大学 Yong Loo Lin 医学院创新与精准眼科健康中心）；Singapore Eye Research Institute, Singapore National Eye Centre, Singapore, Singapore（新加坡眼科研究院）；Ophthalmology and Visual Science Academic Clinical Program, Duke-NUS Medical School, Singapore, Singapore（杜克-国立新加坡大学医学学校眼科与视觉科学学术临床项目）；Centre for Medical Image Computing, University College London, London, United Kingdom（伦敦大学学院医学图像计算中心）；Joint Shantou International Eye Center, Shantou University and the Chinese University of Hong Kong, Shantou, China（汕尾国际眼科中心，汕尾大学及香港中文大学）；Department of Ophthalmology, Stadtspital Zürich, Zurich, Switzerland（苏黎世州立医院眼科部）；Spross Research Institute, Zurich, Switzerland（苏黎世 Spross 研究院）；Institute of High Performance Computing, A*STAR, Singapore（新加坡 A*STAR 高性能计算研究院）；NIHR Biomedical Research Centre, Moorfields Eye Hospital NHS Foundation Trust, London, United Kingdom（英国国家健康服务基金会 Moorfields 眼科医院生物医学研究中心）；Institute of Ophthalmology, University College London, London, United Kingdom（伦敦大学学院眼科研究院）
本文提出FusionFM评估套件及两种融合方法，系统比较四种眼科基础模型在眼病和全身病预测上的表现，发现DINORET和RetiZero最优且融合可适度提升部分任务性能。
2025-08-15 cs.AI cs.CV
Morphology-optimized Multi-Scale Fusion: Combining Local Artifacts and Mesoscopic Semantics for Deepfake Detection and Localization
The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院）
针对Deepfake伪造区域定位中局部与全局信息融合不佳的问题，提出利用局部与全局视角独立预测篡改区域，并采用形态学操作融合输出以抑制噪声、增强空间连贯性，有效提升了定位的准确性与鲁棒性。
2025-09-17 cs.CV
Dynamic Inter-Class Confusion-Aware Encoder for Audio-Visual Fusion in Human Activity Recognition
School of Automation Science and Engineering, Xi’an Jiaotong University, Xi’an, China（自动化科学与工程学院，西安交通大学，西安，中国）；School of Software Engineering, Xi’an Jiaotong University, Xi’an, China（软件工程学院，西安交通大学，西安，中国）
本文提出动态类间混淆感知编码器DICCAE，通过动态调整类间混淆损失在细粒度类别级别对齐音视频表示，并引入融合模态的训练框架与聚类引导的自监督预训练策略，在VGGSound数据集上取得接近最先进的65.5%准确率。
2025-07-12 cs.CV
Temporal Fusion Network for Temporal Action Localization:Submission to ActivityNet Challenge 2020 (Task E)
Huazhong University of Science and Technology（华中科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
该技术报告分析了我们在Activitynet Challenge 2020举办的HACS竞赛中使用的一种时间动作定位方法。我们的任务目标是在未经裁剪的视频中定位动作的开始时间和结束时间，并预测动作类别。首先，我们利用视频级特征信息训练多个视频级动作分类模型。其次，本文着重于生成高质量的时态建议，为此，我们应用BMN生成大量的建议，以获得高召回率。然后，我们使用一种称为Refine Network的级联结构网络来细化这些建议，该网络可以在地面实况的监督下预测位置偏移和新的IOU。为了使建议更加准确，我们使用双向LSTM，Nonlocal和Transformer来捕获每个建议的局部特征与视频数据的全局特征之间的时间关系。最后，通过融合多个模型的结果，在mAP方面，我们的方法在验证集上获得40.55%，在测试集上获得40.53%，并且在该挑战中达到Rank 1。
2020-06-13 cs.CV
CLCE: An Approach to Refining Cross-Entropy and Contrastive Learning for Optimized Learning Fusion
University of Glasgow（格拉斯哥大学）
提出CLCE方法，将标签感知对比学习与交叉熵损失结合，通过困难负样本挖掘提升性能，在十二个基准上显著优于CE，并缓解了对比学习对大批量的依赖。
2024-11-15 cs.AI cs.CV cs.LG
A Novel Two Stream Decision Level Fusion of Vision and Inertial Sensors Data for Automatic Multimodal Human Activity Recognition System
Academy of Scientific and Innovative Research (AcSIR)（科学与创新研究院）；CSIR-Central Electronics Engineering Research Institute (CEERI)（CSIR-中央电子工程研究所）；Birla Institute of Technology and Science Pilani（毕拉理工学院皮拉尼分校）；Edge Hill University（边山大学）
本文提出一种基于视觉与惯性传感器数据的双流决策级融合多模态人类活动识别系统，通过结合CNN与正则化LSTM提取时空特征，在四个基准数据集上取得了优于现有方法的准确率。
2023-06-27 cs.CV
CLIP-Optimized Multimodal Image Enhancement via ISP-CNN Fusion for Coal Mine IoVT under Uneven Illumination
School of Artificial Intelligence, China University of Mining and Technology (Beijing)（中国矿业大学（北京）人工智能学院）；Ministry of Emergency Management Big Data Center（应急管理部大数据中心）
针对煤矿IoVT不均匀光照下图像质量差的问题，提出ISP-CNN融合架构结合CLIP无监督优化的两阶段增强方法，在降低计算复杂度的同时提升PSNR、SSIM和VIF指标，适用于边缘设备实时部署。
2025-02-26 cs.CV
A Multiple Source Hourglass Deep Network for Multi-Focus Image Fusion
Centro de Informática (CIn), Universidade Federal de Pernambuco (UFPE)（伯南布哥联邦大学信息中心）；Center for Advanced Methods in Biological Image Analysis (CAMBIA), California Institute of Technology（加州理工学院生物图像分析先进方法中心）
多焦点图像融合旨在提高所获取的具有不同焦平面的图像突发的质量。为了解决该任务，通常建立活动水平测量和融合规则，以从源中选择和融合最相关的信息。然而，这种方法的设计是非常困难的，有时限制在解空间，其中最佳的全聚焦图像不包含。然后，我们在这里提出了两个快速和直接的方法，基于深度神经网络的图像融合。我们的解决方案使用以端到端方式训练的多源沙漏架构。模型是数据驱动的，可以很容易地推广到其他类型的融合问题。聚焦图的识别采用图像分割的方法，融合采用加权平均的方法。我们为基于回归的融合函数设计了一个训练损失函数，它允许网络学习活动水平测量和融合规则。实验结果表明，我们的方法具有可比的结果与国家的最先进的方法与60倍的计算效率提高520X520分辨率的图像。
2019-08-28 cs.CV
YOLO-TS: Real-Time Traffic Sign Detection with Enhanced Accuracy Using Optimized Receptive Fields and Anchor-Free Fusion
Sun Yat-sen University（中山大学）；Wuhan University of Technology（武汉理工大学）；Southeast University（东南大学）；Hong Kong Baptist University（香港浸会大学）；City University of Hong Kong（香港城市大学）
本文提出实时交通标志检测网络 YOLO-TS，通过优化多尺度感受野、无锚多尺度特征融合及缓解空洞卷积网格效应的专用模块，在 TT100K 和 CCTSDB2021 数据集上同时提升了检测精度与速度。
2024-10-22 cs.CV
MEx: Multi-modal Exercises Dataset for Human Activity Recognition
Robert Gordon University（罗伯特戈登大学）
墨西哥：Multi-modal Exercises Dataset是一个多传感器、多模态数据集，用于对人体活动识别（HAR）和多模态融合算法进行基准测试。收集该数据集的灵感来自于需要识别和评估运动表现的质量，以支持肌肉骨骼疾病（MSD）患者。我们选择了物理治疗师定期推荐给MSD患者的7项运动，并使用四个传感器（压力垫，深度相机和两个加速度计）收集数据。该数据集包含三种数据形式;数值时间序列数据，视频数据和压力传感器数据，在推理HAR和运动质量评估时提出了有趣的研究挑战。本文介绍了我们的评估数据集上的HAR任务的标准分类算法的数量，通过比较不同的特征表示算法为每个传感器。这些结果为每个传感器设定了参考性能，暴露了它们在未来任务中的优势和劣势。此外，我们可视化压力垫数据，以探索传感器捕捉运动性能质量的潜力。随着多模态融合技术的发展，MEx不仅可以作为HAR算法的基准，也可以作为多个应用领域中异构数据类型融合算法的基准。
2019-08-13 cs.AI cs.CV cs.LG
Human Activity Recognition Using Visual Object Detection
University of Pretoria（比勒陀利亚大学）；Malmö University（马尔默大学）
视觉人类活动识别（HAR）和与其他传感器的数据融合可以帮助我们跟踪地下矿工的行为和活动，几乎没有障碍。现有的模型，如Single Shot Detector（SSD），在COCO数据集上训练，用于检测矿工的当前状态，如受伤矿工与未受伤矿工。Tensorflow用于实现机器学习算法的抽象层，虽然它使用Python来处理节点和张量，但实际算法运行在C++库上，在性能和开发速度之间提供了良好的平衡。本文进一步讨论了用于确定机器学习的准确性的评估方法，以及通过数据融合来提高采矿环境中检测到的人的活动/状态的准确性的方法。
2019-05-02 cs.CV cs.LG stat.ML
CMD-HAR: Cross-Modal Disentanglement for Wearable Human Activity Recognition
CMD-HAR通过交叉模态解耦和时空注意力机制，提升可穿戴设备中人类活动识别的准确性和部署效率。
2026-02-05 cs.AI cs.CV
Multi-Level Sequence GAN for Group Activity Recognition
Queensland University of Technology（昆士兰科技大学）
我们提出了一种新的半监督，多层次的顺序生成对抗网络（MLS-GAN）架构的群体活动识别。与以前利用手动注释的个人人类动作预测的工作相比，我们允许模型学习自己的内部表示，以发现有助于最终群体活动识别任务的相关子活动。生成器被输入通过LSTM网络在时间上映射的人级和场景级特征。通过新的门控融合单元，能够考虑长期的依赖关系，探索所有个人的行动之间的关系，学习一个中间表示或“行动代码”的当前组活动的基于XML的功能融合。该网络通过允许它执行组动作分类以及对抗性真/假验证来实现其半监督行为。我们对不同的架构变体进行了广泛的评估，以证明所提出的架构的重要性。此外，我们表明，利用人的水平和场景水平的功能，有利于组活动预测比只使用人的水平的功能。我们提出的架构在排球和集体活动数据集上的运动和基于行人的分类任务方面优于当前最先进的结果，表明它对于有效学习群体活动具有灵活性。
2018-12-18 cs.CV
Second Sight: Using brain-optimized encoding models to align image distributions with human brain activity
University of Minnesota（明尼苏达大学）
本文提出Second Sight，通过迭代优化图像分布使其与体素级编码模型预测和人脑活动对齐，实现高质量图像重建，并揭示视觉皮层不同区域的收敛与表征差异。
2023-06-01 cs.CV cs.LG q-bio.NC
Integrating Features for Recognizing Human Activities through Optimized Parameters in Graph Convolutional Networks and Transformer Architectures
Khalifa University（哈利法大学）；Abu Dhabi University（阿布扎比大学）
本研究提出一种特征融合技术，将Transformer与参数优化的图卷积网络（PO-GCN）的最终层特征集成输入分类器，在四个公开数据集上验证了该方法显著提升了人类活动识别的准确率与F1分数。
2024-08-29 cs.AI cs.CV cs.RO
Process Optimization and Deployment for Sensor-Based Human Activity Recognition Based on Deep Learning
Northeastern University（东北大学）；Liaoning University（辽宁大学）
针对传感器人体活动识别面临的挑战，提出基于多注意力交互的综合优化流程，结合扩散模型数据增强、多分支时空交互网络及多损失融合策略，并在三个公开数据集和嵌入式设备上验证了有效性。
2025-03-22 cs.AI cs.CV eess.SP
View-invariant Deep Architecture for Human Action Recognition using late fusion
未知视角下的人体动作识别是一项具有挑战性的任务。我们提出了一个视图不变的深度人类动作识别框架，这是一个新的整合两个重要的动作线索：运动和形状的时间动态（STD）。运动流将动作的运动内容封装为RGB动态图像（RGB-DI），由微调的InceptionV 3模型处理。STD流使用从基于结构相似性指数矩阵（SSIM）的关键深度人类姿势帧中挖掘的基于人类姿势模型（HPM）的视图不变特征来学习动作的长期视图不变形状动态。为了预测测试样本的分数，三种类型的后期融合（最大值，平均值和产品）技术应用于个人流分数。为了验证所提出的新框架的性能，使用跨主题和跨视图验证方案在三个可供参考的基准上进行实验- NUCLA多视图数据集，UWA 3D-II活动数据集和NTU RGB-D活动数据集。我们的算法在准确性、受试者操作特征（ROC）曲线和曲线下面积（AUC）方面显着优于现有的最新技术。
2019-12-08 cs.CV
Hierarchical Deep Feature Fusion and Ensemble Learning for Enhanced Brain Tumor MRI Classification
Department of Computer Science and Artificial Intelligence（计算机科学与人工智能系）；Dongguk University（东国大学）
本研究提出双集成框架，结合预训练ViT的深度特征提取与优化ML分类器，通过特征级和分类器级双层集成，在两个脑肿瘤MRI数据集上超越现有方法，提升诊断准确性。
2025-06-14 cs.CV
Robust Object Tracking with Crow Search Optimized Multi-cue Particle Filter
Delhi Technological University（德里理工大学）；Defence Research and Development Organization（国防研究与发展组织）；Netaji Shubhas Institute of Technology（内塔吉·苏巴斯理工学院）；Bharat Electronics Ltd.（巴拉特电子有限公司）
粒子滤波（PF）被广泛应用于目标非线性、非高斯状态的估计。然而，由于样本简并和退化的固有问题，其性能受到影响。为了解决这一问题，我们提出了一种新的基于乌鸦搜索优化的重定位方法，以克服被检测为离群值的低性能粒子。所提出的具有转导可靠性的离群点检测机制实现了所提出的PF跟踪框架的更快收敛。此外，我们提出了一个自适应模糊融合模型，以整合多线索提取每个评估粒子。利用该融合模型对粒子进行自动提升和抑制，不仅提高了重构方法的性能，而且实现了最优状态估计。所提出的跟踪器的性能进行评估超过12个基准视频序列，并与国家的最先进的解决方案进行比较。定性和定量的结果表明，所提出的跟踪器不仅优于现有的解决方案，但也有效地处理各种跟踪的挑战。结果的平均值，我们实现了CLE的7.98和F-措施的0.734。
2018-06-11 cs.CV
Inertial Sensor Data To Image Encoding For Human Action Recognition
卷积神经网络（CNN）是计算机视觉领域中成功的深度学习模型。为了最大限度地发挥CNN模型在惯性传感器数据人体动作识别中的优势，本文采用4种空间域方法将惯性传感器数据转换为活动图像，并将其应用于一种新的融合框架中。这四种类型的活动图像是信号图像（SI），Gramian角场（GAF）图像，马尔可夫转移场（MTF）图像和递归图（RP）图像。此外，为了创建一个多模态融合框架，并利用活动图像，我们使每种类型的活动图像的多模态卷积与两个空间域滤波器：Prewitt滤波器和High-boost滤波器。Resnet-18是一种CNN模型，用于从多模态中学习深度特征。从每个ReNet的最后一个池层中提取学习特征，然后通过基于典型相关的融合（CCF）进行融合，以提高人体动作识别的准确性。这些高度信息化的特征被用作多类支持向量机（SVM）的输入。三个公开的惯性数据集上的实验结果表明，所提出的方法优于当前国家的最先进的。
2021-05-28 cs.CV cs.HC cs.LG
Multi-focus thermal image fusion
Brno University of Technology（布尔诺理工大学）；EUP Mataró, Tecnocampus（马塔罗EUP，Tecnocampus）
提出了一种新的多聚焦热图像融合算法。该算法是基于局部活动性分析和先进的预选图像融合过程。该算法将物体温度测量误差提高到5摄氏度。通过半总出错率、均方根误差、互相关和目视检查对算法进行了评价。据我们所知，这是第一个致力于多聚焦热图像融合的工作。为了测试所提出的算法，我们获得了六个热图像集的目标在不同的焦深。
2022-03-16 cs.CV
COMPASS: Fusion-Matched Supervision for Missing-Modality Human Sensing
Universität Bern（伯恩大学）；Xi’an Jiaotong University（西安交通大学）；Nanyang Technological University（南洋理工大学）
COMPASS通过代理令牌和共享空间实现多模态融合，解决缺失模态导致的信息丢失和融合接口不匹配问题，提升多模态感知的鲁棒性。
2026-09-25 cs.CV
A Fusion-Guided Inception Network for Hyperspectral Image Super-Resolution
Department of Computer Science, Aalto University（艾尔沃斯大学计算机科学系）
本文提出融合引导Inception网络FGIN，通过光谱-空间融合、多尺度特征提取与优化上采样实现高光谱图像单图超分辨率，在公开数据集上取得竞争性性能。
2025-05-06 cs.CV
Skeleton Focused Human Activity Recognition in RGB Video
The Hong Kong Polytechnic University（香港理工大学）
数据驱动的方法学习视觉特征的最佳表示，如骨架帧或RGB视频，目前是活动识别的主要范例。虽然已经取得了很大的改进，从现有的单一模式的方法与越来越大的数据集，融合的各种数据模态在特征级很少尝试。在本文中，我们提出了一个多模态特征融合模型，利用骨架和RGB模态来推断人类活动。其目的是通过有效利用不同数据模态之间的互补信息来提高活动识别的准确性。对于骨架模态，我们建议使用图卷积子网络来学习骨架表示。而对于RGB模态，我们将使用RGB视频中的时空感兴趣区域，并从骨架模态中提取注意力特征来指导学习过程。该模型可以通过反向传播算法以端到端的方式单独或统一地训练。NTU-RGB+D和Northwestern-UCLA Multiview数据集的实验结果达到了最先进的性能，这表明所提出的针对RGB模态的基于子驱动的注意力机制增加了不同数据模态之间的相互通信，并为推断人类活动带来了更多的区分特征。
2020-04-29 cs.CV cs.LG eess.IV
Egocentric Activity Recognition with Multimodal Fisher Vector
Singapore University of Technology and Design（新加坡科技设计大学）；Institute for Infocomm Research（新加坡资讯通信研究院）
随着可穿戴设备的日益可用性，自我中心活动识别的研究最近受到了广泛关注。在本文中，我们建立了一个多模态自我中心活动数据集，其中包括自我中心的视频和传感器数据的20个细粒度和不同的活动类别。我们提出了一种新的策略，从传感器数据中提取时间的似然特征。我们建议应用Fisher核框架来融合视频和时间增强传感器特征。实验结果表明，通过精心设计的特征提取和融合算法，传感器数据可以增强信息丰富的视频数据。我们公开了多模态自我中心活动数据集，以促进未来的研究。
2016-01-25 cs.CV cs.MM
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University（堪萨斯州立大学）
人类活动识别是计算机视觉中一个新兴的重要领域，它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络（CNN）和递归神经网络（RNN）的组合，卷积神经网络（CNN）从数据中执行特征提取，递归神经网络（RNN）确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络：一种递归Transformer（ReT），一种用于对数据序列进行预测的专用神经网络，以及一种视觉Transformer（ViT），一种用于从图像中提取显著特征的Transformer，以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
Single Image Cloud Detection via Multi-Image Fusion
DZYNE Technologies（DZYNE技术公司）；University of Kentucky（肯塔基大学）
遥感图像中的云、雪和阴影等伪影给包括语义分割和目标检测在内的各种任务带来了挑战。开发用于识别这种伪影的算法的主要挑战是收集带注释的训练数据的成本。在这项工作中，我们将探讨如何利用多图像融合的最新进展来引导单图像云检测。我们证明了一个优化的网络来估计图像质量也隐含地学习检测云。为了支持我们的方法的训练和评估，我们收集了一个大型的Sentinel-2图像数据集，以及土地覆盖的每像素语义标签。通过各种实验，我们证明了我们的方法减少了对带注释的训练数据的需求，提高了云检测性能。
2020-07-29 cs.CV
Quantized Distillation: Optimizing Driver Activity Recognition Models for Resource-Constrained Environments
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Stuttgart（斯图加特大学）
提出量化蒸馏框架，结合知识蒸馏与模型量化优化3D MobileNet，在保持准确性的同时实现驾驶员活动识别模型规模缩小3倍、推理速度提升1.4倍。
2023-11-10 cs.CV cs.RO
Feature engineering workflow for activity recognition from synchronized inertial measurement units
The University of Auckland（奥克兰大学）；IMeasureU Ltd（IMeasureU有限公司）；Vicon Motion Systems Ltd（Vicon运动系统有限公司）；Auckland Bioengineering Institute, The University of Auckland（奥克兰大学生物工程研究所）
无处不在的可穿戴传感器推动了物联网的发展，但也对体育科学和精准医学产生了影响。虽然从智能手机数据或其他类型的惯性测量单元（IMU）中识别人类活动已经发展成为机器学习最突出的日常生活示例之一，但时间序列特征工程的底层过程似乎仍然很耗时。这个漫长的过程阻碍了基于IMU的机器学习在运动科学和精准医学中的应用。这篇文章讨论了一个功能工程的工作流程，自动提取的时间序列特征的基础上的FRESH算法（特征提取基于可扩展的假设测试），以确定统计上显着的功能，从同步IMU传感器（IMeasureU有限公司，新西兰）。特征工程工作流程有五个主要步骤：时间序列工程、自动时间序列特征提取、优化的特征提取、专用分类器的拟合以及优化的机器学习管道的部署。工作流程进行了讨论的情况下，用户特定的跑步-步行分类，并证明了一个多用户多活动分类的推广。
2019-12-18 cs.CV cs.LG stat.ML
