多模态信息融合

From 2D Grids to 1D Tokens: Reforming Shared Representations for Multimodal Image Fusion

从二维网格到一维标记：重塑多模态图像融合的共享表示

Yuchen Xian, Yunqiu Xu, Yang He, Yi Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 通用Image Fusion ：image fusion(title,abstract)；multimodal image fusion(title,abstract)；分类 cs.CV

AI总结 提出基于冻结预训练图像标记器的紧凑一维标记接口，通过选择性标记编辑（STE）稀疏更新关键标记，在保持融合骨干网络不变的同时引导全局外观一致性，实现全局连贯与局部保真的最佳平衡。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

MFEN:Multi-Frequency Expert Network for Visible-Infrared Person Re-ID

MFEN：用于可见光-红外行人重识别的多频专家网络

Xulin Li, Yan Lu, Bin Liu, Qinhong Yang, Qi Chu, Tao Gong, Nenghai Yu

机构 * University of Science and Technology of China（中国科学技术大学） ； Anhui Province Key Laboratory of Digital Security（安徽省数字安全重点实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 红外-可见光融合 ：visible-infrared(title,abstract)；分类 cs.CV

AI总结 提出多频专家网络（MFEN），通过多频调制和混合专家设计自适应组合不同频带，结合随机频率增强和频率辅助优化，解决可见光-红外图像模态差异问题。

Comments CVPR Highlight

DroneShield-AI: A Multi-Modal Sensor Fusion Framework for Real-Time Autonomous Drone Threat Detection, Behavioral Intent Classification, and Swarm Intelligence in Contested Airspace

DroneShield-AI：一种用于受争议空域中实时自主无人机威胁检测、行为意图分类和群体智能的多模态传感器融合框架

Marius Bayizere

机构 * Independent Researcher（独立研究者） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(title,abstract)；分类 cs.CV、cs.RO

AI总结 提出DroneShield-AI框架，集成RF信号分类、声学检测、YOLOv8视觉检测等六层处理，通过行为意图分类引擎（BICE）实现六类威胁分类并提前30秒预警，以及图神经网络群体智能模块（GNN-SIM）分析多无人机编队，在低成本硬件上达到96.1%检测精度和142ms延迟。

Comments 23 pages, 6 figures, 11 tables. Code available at https://github.com/bayizeremarius/DroneShield-AI

Bridging the Modality Gap in Forensic Image Retrieval

弥合法医图像检索中的模态差距

Ricardo González-Gazapo, Annette Morales-González, Yoanna Martínez-Díaz, Heydi Méndez-Vázquez, Milton García-Borroto

机构 * Advanced Technologies Application Center (CENATAV)（先进技术应用中心（CENATAV）） ； Centro de Sistemas Complejos, Facultad de Física, Universidad de La Habana（哈瓦那大学物理学院复杂系统中心） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV、eess.IV

AI总结 提出统一检索框架，利用多模态大语言模型生成文本描述并结合视觉与文本特征融合，提升纹身、人脸素描等法医任务的检索精度与鲁棒性。

Comments 23 pages, 5 figures, paper submitted to Elsevier journal

Context-Aware Multimodal Claim Verification in Spoken Dialogues

口语对话中的上下文感知多模态声明验证

Chaewan Chun, Delvin Ce Zhang, Dongwon Lee

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 提出MAD2基准和上下文感知多模态融合方法，验证对话音频中的声明，发现对话结构比虚假信息框架对验证更重要。