多模态信息融合

Frequency-Domain Dual-Branch Fusion for Medical Visual Question Answering

用于医学视觉问答的频域双分支融合

Yusra Tariq, Rakesh Chandra Joshi

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出频域双分支融合模块，结合BiomedCLIP与BioBART，在PMC-VQA预训练后于VQA-RAD、SLAKE微调，提升医学VQA性能且架构轻量高效。

Comments 7 Pages, 4 figures, under review at AAAI 27

Parameter-Dynamic Adaptive Fusion and Calibration Network for RGBT Tracking

用于RGBT跟踪的参数动态自适应融合与校准网络

Zhaoding Ding, Chenglong Li, Jiandong Jin, Kewei Ying, Wentao Wu

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 针对现有RGBT跟踪器融合参数无法适配目标状态变化的问题，提出PAFCNet，通过TA-HyperNet生成目标条件参数，实现动态融合与时序校准，在多RGBT跟踪基准上取得竞争力性能。

Comments 9 pages,4 figures; Under review

Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification

多模态分类中用于缺失任意模态的协同学习

Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

机构 * GFZ Helmholtz Center for Geosciences（德国波茨坦地学研究中心亥姆霍兹中心） ； INRAE, UMR TETIS, University of Montpellier（法国蒙彼利埃大学农业环境与生态研究院、蒙彼利埃大学TETIS联合研究单位） ； INRIA, EVERGREEN, University of Montpellier（法国蒙彼利埃大学信息与自动化研究所、EVERGREEN实验室） ； CIRAD, UMR TETIS, University of Montpellier（法国蒙彼利埃大学国际农业研究磋商组织、蒙彼利埃大学TETIS联合研究单位） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 针对多模态分类中因操作约束导致训练和推理时模态可用性不一致、存在缺失任意模态的问题，提出多模态协同学习框架，引入特征和决策层面利用信息的两种方法，实验证明在不同缺失模态条件下有显著鲁棒性提升。

Comments Accepted at Discovery Science 2026

Neuromorphic Object Detection: An In-Depth Study and Future Directions

神经形态目标检测：深入研究与未来方向

Jianing Li, Dianze Li, Arren Glover, Xiaopeng Fan, Guoqi Li, Chiara Bartolozzi, Ryad B. Benosman, Yonghong Tian

机构 * Peking University（北京大学） ； Peng Cheng Laboratory（鹏城实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Chinese Academy of Sciences（中国科学院） ； Italian Institute of Technology（意大利理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Pittsburgh（匹兹堡大学） ； Sorbonne Université（索邦大学） ； INSERM（法国国家健康与医学研究院） ； CNRS（法国国家科学研究中心） ； Institut de la Vision（视觉研究所） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 针对传统相机在特定条件下目标检测的挑战，本文对神经形态目标检测算法进行全面调查和基准测试，从多视角探索现有方法，评估多种模型并分析结果，讨论未解决问题，为该领域研究提供资源与方向。

Comments Accepted by Proceedings of the IEEE

MAGE-Vein: Multi-Instance Age and Gender Estimation from Finger Vein Images

MAGE-Vein：从手指静脉图像进行多实例年龄和性别估计

Katsuki Tanaka, Koichi Ito, Takafumi Aoki, Masakazu Fujio, Yosuke Kaga, Kanade Oshima, Kenta Takahashi

机构 * Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院） ； Hitachi, Ltd.（日立有限公司） 纠错

专题命中 融合架构与评测 ：feature-level fusion(abstract)；分类 cs.CV

AI总结 针对手指静脉图像年龄估计难题，提出MAGE-Vein多实例多任务学习框架，通过混合特征级融合提取衰老特征并抑制噪声，结合性别分类优化消除血管差异，在平衡数据集上取得良好效果，推翻传统认知。

Comments accepted to IJCB2026

Ocular Verification for Virtual Reality

虚拟现实中的眼部验证

Husanpreet Singh, Robert Tran, Ayushree Kharel, Sudipta Banerjee

机构 * University of Wyoming（怀俄明大学） ； San Diego State University（圣地亚哥州立大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 研究虚拟现实中眼部验证，评估虹膜质量指标局限性，用生成模型应对数据挑战，进行单模态与多模态识别及融合，发现部分指标在VR数据上失效，图像调整利于眼周识别，多模态融合降低错误接受率。

EmoEUS: Uncertainty Supervision for Multimodal Emotion Recognition in Conversation

EmoEUS：对话中多模态情感识别的不确定性监督

Zilong Huang, Kong Aik Lee, Junjie Li, Zhe Li, Man-Wai Mak

机构 * Dept. of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（香港理工大学电子与电气工程系） ； Speech, Language, and Cognition Laboratory, The University of Hong Kong（香港大学语音、语言与认知实验室） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.MM

AI总结 研究对话中多模态情感识别，提出EmoEUS框架，通过动态加权模态执行不确定性感知多模态融合，并引入显式监督损失，实验证明该框架优于现有方法。

Comments Accept by Interspeech 2026

BanClickThumb: A Multimodal Dataset and Transformer Fusion Benchmarks for Clickbait Detection in Bengali YouTube Videos

BanClickThumb：用于孟加拉语YouTube视频中标题党检测的多模态数据集和Transformer融合基准测试

Md. Ariful Islam, Md Tanvirul Islam, Md. Maruf Hossain Miru, Md Khalid Syfullah

机构 * Department of Computer Science and Engineering, Bangladesh Army University of Science and Technology（孟加拉国陆军科技大学计算机科学与工程系） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 针对孟加拉语YouTube视频标题党检测，公开多模态数据集BanClickThumb，用其对单模态和多模态方法进行基准测试，提出多模态模型BanClickFusionFormer，结合ViT和XLM - RoBERTa，证明多模态融合有效性，提供基准支持低资源多模态内容分析研究。

The 2nd International StepUP Competition for Biometric Footstep Recognition: From Steps to Strides

第二届生物特征足迹识别国际StepUP竞赛：从单步到跨步

Robyn Larracy, Anant Gupta, Gourav Gupta, Ethan Eddy, Maxime Devanne, Cyril Meyer, Jin-Chern Chiou, Yueh-Shan Lee, Zong-Han Lu, Aaron Tabor, Erik Scheme

机构 * University of New Brunswick（新不伦瑞克大学） ； ArogyaPandit Private Limited（阿罗吉亚潘迪特私人有限公司） ； Institute of Electrical and Control Engineering, National Yang Ming Chiao Tung University（国立阳明交通大学电气与控制工程研究所） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)；分类 cs.CV

AI总结 第二届生物特征足迹识别国际StepUP竞赛利用大规模数据集应对三项关键挑战，吸引26个注册者。ArogyaPandit研究团队用时空卷积神经网络结合集成评分策略获8.00%最佳等错误率，顶级方案展示相关策略价值，不过识别未知个人鞋类用户仍具挑战。

Comments Accepted to the 2026 IEEE International Joint Conference on Biometrics (IJCB)

HSEmotion Team at the 11th ABAW Challenge: Multi-Task Learning and Ambivalence/Hesitancy Video Recognition

第11届ABAW挑战赛中的HSEmotion团队：多任务学习与矛盾/犹豫视频识别

Aleksei Bakin, Andrey V. Savchenko

机构 * Central University（中央大学） ； Sber AI Lab（Sber人工智能实验室） ； HSE University（俄罗斯高等经济研究大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 在第11届ABAW挑战赛中，团队用冻结轻量级面部提取器等方法进行多任务学习，在s - Aff - Wild2数据集上超ConvNeXt基线；扩展视听管道用于矛盾/犹豫视频识别，在BAH数据集上提升性能，无需微调重型骨干，展示了轻量级融合的优势。

Comments to be submitted to ABAW-11 workshop of ECCV 2026

Multimodal EEG-IMU Fusion for Motor Assessment: Leveraging Task-Dependent Complementarity for Robustness

用于运动评估的多模态脑电-惯性测量单元融合：利用任务相关互补性提高鲁棒性

Zhenan Yin, Lalitha Pranathi Pulavarthy, Saptarshi Purkayastha

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.SP

AI总结 研究针对运动障碍评估中多传感模式整合不足问题，通过同步记录脑电-惯性测量单元数据，评估特定任务模态性能和多模态融合。结果表明脑电和惯性测量单元各有优势，后期融合可利用互补性提高评估可靠性，为大规模临床验证提供依据。

Edge-Assisted Multimodal UAV Localization with Resource-Efficient Compression and Robust Fusion

基于资源高效压缩和鲁棒融合的边缘辅助多模态无人机定位

Zhong Ye, Yinghui He, Guanding Yu, Pavel Loskot

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.SP

AI总结 设计多模态无人机定位框架，利用相机、LiDAR和雷达传感模态。通过信息瓶颈压缩等模块应对传感节点资源有限、数据差异大及模态数据退化缺失等挑战，实验表明该框架能准确可靠定位无人机。

EgoInertia-MI: A Multimodal Egocentric Vision and IMU Benchmark for Motor Impairment Assessment

EgoInertia-MI：用于运动障碍评估的多模态自我中心视觉与惯性测量单元基准测试

Fatemah Alhamdoosh, Pietro Pala, Abduallah Mohamed, DK Arvind

机构 * University of Florence（佛罗伦萨大学） ； Meta Reality Labs（元现实实验室） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 研究针对运动障碍评估，结合自我中心视觉与惯性测量单元信号创建EgoInertia-MI数据集，设动作识别等任务并评估基线，发现多模态融合性能最佳，凸显两者结合用于运动评估的潜力。

RESOLVE: A Multi-Resolution and Multi-Modal Dataset for Roadside Cooperative Perception

RESOLVE：用于路边协同感知的多分辨率多模态数据集

Shaozu Ding, Linan Song, Marco De Vincenzi, Dajiang Suo

机构 * The Polytechnic School, Arizona State University（亚利桑那州立大学理工学院） ； Department of Computer Science and Engineering, New York University（纽约大学计算机科学与工程系） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出RESOLVE数据集，包含多分辨率LiDAR和相机-LiDAR同步数据，用于评估路边3D检测与跟踪中的单模态与融合架构，揭示多模态融合如何补偿LiDAR点稀疏性。

Comments Accepted to ECCV 2026. Including supplementary material

Active Adversarial Perturbation-driven Associative Memory Retrieval for RGB-Event Visual Object Tracking

主动对抗扰动驱动的关联记忆检索用于RGB-事件视觉目标跟踪

Xiao Wang, Xufeng Lou, Zikang Yan, Lan Chen, Sibao Chen, Yaowei Wang, Yonghong Tian, Jin Tang

机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； School of Electronic and Information Engineering, Anhui University（安徽大学电子信息工程学院） ； Peng Cheng Laboratory（鹏城实验室） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； School of Computer Science, Peking University（北京大学计算机学院） ； School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 提出APRTrack框架，通过分层对抗扰动模拟模态退化与局部缺失，并设计足迹引导的通道校准Hopfield检索实现鲁棒的历史信息补偿，在多个数据集上验证了有效性。

Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models

基于可微搜索的视觉基础模型层特定提示融合发现

Xi Xiao, Xingjian Li, Yunbei Zhang, Cheng Han, Tianming Liu, Tianyang Wang, Runmin Jiang, Jihun Hamm, Xiao Wang, Min Xu

机构 * UAB（阿拉巴马大学伯明翰分校） ； CMU（卡内基梅隆大学） ； Tulane（杜兰大学） ； UMKC（密苏里大学堪萨斯分校） ； UGA（佐治亚大学） ； ORNL（橡树岭国家实验室） 纠错

专题命中 融合架构与评测 ：hybrid fusion(abstract)；分类 cs.CV

AI总结 研究视觉提示微调中提示与图像令牌的融合方案，提出可微架构搜索方法联合优化可学习提示及其融合方式，在34个数据集上取得一致提升。

Comments ECCV 2026

Geometry-Aware Superpixel Graph Transformer with Metadata for Skin Lesion Classification

几何感知超像素图变换器结合元数据用于皮肤病变分类

Muhammad Azeem, Tanveer Hussain, Amr Ahmed, Ardhendu Behera

机构 * Edge Hill University（埃奇希尔大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出一种基于区域的图学习框架，将病变建模为超像素图，利用几何边属性和元数据上下文节点，通过边缘感知图变换器实现多模态融合，在四个公开数据集上取得优于现有方法的分类性能。

Comments Accepted at MICCAI 2026

Heterogeneous and Adept Snapshot Distillation for 3D Semantic Segmentation

异构与专长快照蒸馏用于3D语义分割

Xiaopei Wu, Yuenan Hou, Junkai Xu, Wenxiao Wang, Binbin Lin, Yu Li, Ping Li, Haifeng Liu, Deng Cai, Wanli Ouyang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Hangzhou Dianzi University（杭州电子科技大学） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 提出异构和专长快照知识蒸馏（HAS-KD），通过信息导向异构蒸馏（IHD）和专长快照蒸馏（ASD）将多模态模型和多个模型专家的知识高效迁移到点云网络，在ScanNetV2和S3DIS上取得最先进结果。

Comments 11 pages

HERO: Hypothesis-Driven Evidence Retrieval from Omics for Multi-Task Breast Cancer Analysis

HERO：基于假设驱动的组学证据检索用于多任务乳腺癌分析

Xiangyu Li, Ran Su

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出HERO框架，将组学数据作为形态学假设进行显式检索，通过稀疏通路先验和TF-IDF检索实现可审计的多模态乳腺癌分析，在TCGA-BRCA上取得多项预测任务的最优结果。

Comments 11 pages, 3 figures, Early accepted at MICCAI 2026

An approach with Visual and Tabular Mamba to multimodal medical data using Mixed Fusion

一种基于视觉和表格Mamba的混合融合多模态医疗数据方法

Matheus B. Rocha, Gustavo B. Dettogni, Renato A. Krohling

机构 * Labcin - Nature Inspired Computing Lab, Federal University of Esp\'irito Santo, Vit\'oria, Brazil PPGI - Graduate Program in Computer Science, Federal University of Esp\'irito Santo, Vit\'oria, Brazil 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出基于Mamba架构的混合融合方法，通过视觉和表格两种Mamba变体处理图像与临床数据，在癌症分类中实现可解释性，在NDB-UFES数据集上表现优于Transformer。

Comments 15 pages. accepted to 36th Brazilian Conference on Intelligent Systems

OlfactProfile: Profile-Conditioned Odor Prediction from Audiovisual Content

OlfactProfile: 基于用户嗅觉特征从视听内容预测气味

Zhengyu Lou, Bosheng Qin, Yanan Wang, Duanduan Yin, Wentao Ye, Yu Xin

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.MM

AI总结 提出OlfactProfile框架，通过结构化场级用户嗅觉特征调制，实现从视听内容预测气味，优于基线模型和通用多模态大模型，在背景气味和情感气味预测上提升显著。

Comments 10 pages, 5 figures

Spatio-Temporal Fusion Model for Standard View Classification of Echocardiographic Videos

超声心动图视频标准视图分类的时空融合模型

Bo Gou, Jicheng Zhang, Jianlong Xiong, Tao He, Bentian Liu, Hai Wu, Yijiao Wang, Yu Zhang, Yujia Yang, Yun Dai, Jian Liu, Jie Wang

机构 * Department of Ultrasound, The First Affiliated Hospital of Chengdu Medical College, School of Clinical Medicine, Chengdu Medical College（成都医学院第一附属医院超声科，临床医学院） ； College of Computer Science, Sichuan University（四川大学计算机学院） ； Department of Medical Ultrasound, West China Hospital of Sichuan University（四川大学华西医院超声科） ； Cancer Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College（中国医学科学院北京协和医学院肿瘤医院） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)；分类 cs.CV

AI总结 针对超声心动图视图分类中数据稀缺、时空特征难以融合的问题，提出基于不确定性感知的CNN-LSTM双流融合模型，在最大公开数据集EV9V上取得竞争性能。

A Comparative and Hybrid Study of CNN and Transformer Models for Multi-Class Virus Classification in Transmission Electron Microscopy

CNN与Transformer模型在透射电子显微镜多类病毒分类中的比较与混合研究

Md Mahmudul Hoque, Md Kawser Islam, Md. Mamunur Rahman Moon, Abdullah Rakib Akand, Md. Hadi Al-amin, H. M. Azrof

专题命中 融合架构与评测 ：feature-level fusion(abstract)；分类 eess.IV

AI总结 本研究比较了CNN和Transformer模型在TEM图像中22类病毒分类的性能，通过加权交叉熵缓解类别不平衡，Swin Transformer表现最佳，混合策略进一步提升了宏F1分数。

Comments 10 pages, 10 figures. Accepted on Springer LNCS Conference ICTIS 2026, Thailand

Journal ref Springer LNCS Conference ICTIS 2026, Thailand

Malformer: A Multi-Modal Malware Detector Using Transformers

Malformer：一种基于Transformer的多模态恶意软件检测器

Samuel Howard, Kshitiz Aryal, Mahmoud Abdelsalam, Maanak Gupta, Andrew Wheeler, Pradip Kunwar

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 本研究提出四模态恶意软件检测模型Malformer，融合文本、图像、图形、音频表示，采用多模态Transformer融合，在201549个样本数据集上准确率98.3%，优于单/双模态检测器，为恶意软件防御提供稳健基础。

Pedagogical AI in Mental Health: A Tri-Stream Fine-Tuned LLM Framework for Automated Clinical Supervision and Risk Triage

心理健康领域的教学式AI：用于自动化临床监督与风险分诊的三通路微调大语言模型框架

Shreeya Sharma, Ravish Gupta, Saket Kumar, Abhishek Aggarwal

机构 * Microsoft（微软） ； BigCommerce ； University at Buffalo, The State University of New York（纽约州立大学布法罗分校） ； Amazon（亚马逊） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)

AI总结 针对精神医疗的监督缺口，提出三通路微调Mistral-7B-instruct框架，实现自动化临床监督与风险分诊，提升效率并解决冷启动问题。

Comments 14 pages, 1 figure, 2 tables. Accepted for publication in AICTC 2026, Lecture Notes in Networks and Systems, vol. 2165, Springer

A decodability criterion predicts when hidden-state selection beats majority voting in large language models

可解码性准则预测大型语言模型中隐藏状态选择何时优于多数投票

Zhixiang wang, Ziliang Hong, Ulas Bagci

机构 * Northwestern University（西北大学） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)

AI总结 该研究提出可解码性准则及CASE方法，可预测大型语言模型中隐藏状态选择何时优于多数投票，CASE在通用和医疗LLM的中、高难度问题上均有显著提升，且预测可跨领域迁移。

On the Estimation of Chernoff Information

关于Chernoff信息的估计

Kadircan Aksoy, Peter Jung

专题命中 融合架构与评测 ：information fusion(abstract)

AI总结 针对Chernoff信息非参数估计的难题，通过导数条件重构优化并结合k近邻法与二分法，证明了导数估计量的L₂一致性，提出了Chernoff信息的非参数估计方法。

MUPA$^{2}$E: Multimodal Unified Perception with Asymmetric Attention for Emotion Assessment

MUPA²E：用于情绪评估的非对称注意力多模态统一感知框架

Stefanos Gkikas, Eric Nichols, Christian Arzate Cruz, Randy Gomez

机构 * Honda Research Institute Japan（日本本田研究所） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 本文提出MUPA²E多模态统一感知框架，用共享非对称注意力骨干处理面部视频与EEG，在DMER数据集上对比多配置，发现时长线索影响分类，控制时长后准确率下降，证明统一架构处理异质信号的可行性。

Conformal Fusion Under Missing Modalities

缺失模态下的共形融合

Alireza Moayedikia

机构 * Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 本文提出MCCF架构，解决缺失模态下的多模态融合问题，该架构兼具模态缺失鲁棒性与校准不确定性，在多基准测试中表现出良好的覆盖率与精度性能。

UniPolymer: A Unified Framework for Property Prediction, Structure Recommendation, and Evaluation in Polyimide Design

UniPolymer：聚酰亚胺设计中用于属性预测、结构推荐与评估的统一框架

Junquan Hu, Zhihui Wang, Peng Xu, Xinru Guo, Xintong Li, Kun Lu, Ben Fei

机构 * The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)

AI总结 UniPolymer是聚酰亚胺设计的统一框架，通过建立结构-属性映射、生成候选并评估排序，提升了属性预测与候选评估性能，减少了高成本实验的候选数量。