多模态信息融合

From 2D Grids to 1D Tokens: Reforming Shared Representations for Multimodal Image Fusion

从二维网格到一维标记：重塑多模态图像融合的共享表示

Yuchen Xian, Yunqiu Xu, Yang He, Yi Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 通用Image Fusion ：image fusion(title,abstract)；multimodal image fusion(title,abstract)；分类 cs.CV

AI总结 提出基于冻结预训练图像标记器的紧凑一维标记接口，通过选择性标记编辑（STE）稀疏更新关键标记，在保持融合骨干网络不变的同时引导全局外观一致性，实现全局连贯与局部保真的最佳平衡。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Mitigating Content Shift and Hallucination in GenAI Image Editing via Structural Refinement

通过结构细化减轻生成式AI图像编辑中的内容偏移和幻觉

Luxi Zhao, Michael S. Brown

机构 * Department of Electrical Engineering & Computer Science（电气工程与计算机科学系） 纠错

专题命中 通用Image Fusion ：image fusion(abstract)；分类 cs.CV

AI总结 提出一种后处理框架，通过建立粗空间和光度对应关系并融合输入图像与GenAI增强图像，在保留感知增强的同时抑制幻觉内容，从而解决黑盒GenAI图像编辑中的结构保持问题。

MFEN:Multi-Frequency Expert Network for Visible-Infrared Person Re-ID

MFEN：用于可见光-红外行人重识别的多频专家网络

Xulin Li, Yan Lu, Bin Liu, Qinhong Yang, Qi Chu, Tao Gong, Nenghai Yu

机构 * University of Science and Technology of China（中国科学技术大学） ； Anhui Province Key Laboratory of Digital Security（安徽省数字安全重点实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 红外-可见光融合 ：visible-infrared(title,abstract)；分类 cs.CV

AI总结 提出多频专家网络（MFEN），通过多频调制和混合专家设计自适应组合不同频带，结合随机频率增强和频率辅助优化，解决可见光-红外图像模态差异问题。

Comments CVPR Highlight

IB-HFN: Information Bottleneck-Driven SAR-Optical Fusion Network for High-Fidelity Cloud Removal

IB-HFN: 信息瓶颈驱动的SAR-光学融合网络用于高保真云去除

Haojun Guo, Fan Feng, Ziquan Wang, Yongsheng Zhang, Ying Yu

机构 * Institute of Geospatial Information, Information Engineering University（测绘信息研究院，信息工程大学） 纠错

专题命中 遥感融合与全色锐化 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出IB-HFN网络，通过双流骨干、空间信息瓶颈融合模块和联合优化策略，抑制SAR散斑噪声并保留光学细节，实现高保真云去除。

DroneShield-AI: A Multi-Modal Sensor Fusion Framework for Real-Time Autonomous Drone Threat Detection, Behavioral Intent Classification, and Swarm Intelligence in Contested Airspace

DroneShield-AI：一种用于受争议空域中实时自主无人机威胁检测、行为意图分类和群体智能的多模态传感器融合框架

Marius Bayizere

机构 * Independent Researcher（独立研究者） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(title,abstract)；分类 cs.CV、cs.RO

AI总结 提出DroneShield-AI框架，集成RF信号分类、声学检测、YOLOv8视觉检测等六层处理，通过行为意图分类引擎（BICE）实现六类威胁分类并提前30秒预警，以及图神经网络群体智能模块（GNN-SIM）分析多无人机编队，在低成本硬件上达到96.1%检测精度和142ms延迟。

Comments 23 pages, 6 figures, 11 tables. Code available at https://github.com/bayizeremarius/DroneShield-AI

A Multi-Modal Sensor Fusion Instrument for Measuring Regional Human Mobility: The Distributed Human Data Engine (DHDE)

多模态传感器融合仪器用于测量区域人类流动性：分布式人类数据引擎（DHDE）

Amil Khanzada, Takuji Takemoto

机构 * Headquarters for Regional Revitalization, University of Fukui, Japan（复兴地区总部，福井大学，日本） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(title,abstract)

AI总结 提出分布式人类数据引擎（DHDE），通过融合边缘AI相机、数字意图信号、行为记录和气象数据，解决外围区域人类流动性测量中传感器稀疏和行为异质性问题，验证了稀疏传感器补偿方法，并发现“低活力悖论”。

Comments 32 pages, 4 figures, 3 tables. Pre-print of a manuscript submitted for peer review (v2)

Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning

面向接触丰富机器人强化学习的自监督多感官预训练

Rickmer Krohn, Vignesh Prasad, Gabriele Tiboni, Georgia Chalvatzaki

机构 * Interactive Robot Perception & Learning (PEARL) Lab, TU Darmstadt, Germany（图腾机器人感知与学习实验室，图腾施塔德大学，德国） ； Hessian.AI（海斯堡人工智能） ； Robotics Institute Germany (RIG)（德国机器人研究所（RIG）） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 提出MSDP框架，通过掩码自编码和跨模态预测学习多感官表示，并采用非对称架构（评论家使用交叉注意力提取动态特征，演员使用稳定池化表示）加速策略学习，在模拟和真实机器人任务中展现出鲁棒性和高效性。

Comments 8 pages, 11 figures

Journal ref IEEE Robotics and Automation Letters, 2026, Vol. 11, No. 6, pp. 6799-6806

Bridging the Modality Gap in Forensic Image Retrieval

弥合法医图像检索中的模态差距

Ricardo González-Gazapo, Annette Morales-González, Yoanna Martínez-Díaz, Heydi Méndez-Vázquez, Milton García-Borroto

机构 * Advanced Technologies Application Center (CENATAV)（先进技术应用中心（CENATAV）） ； Centro de Sistemas Complejos, Facultad de Física, Universidad de La Habana（哈瓦那大学物理学院复杂系统中心） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV、eess.IV

AI总结 提出统一检索框架，利用多模态大语言模型生成文本描述并结合视觉与文本特征融合，提升纹身、人脸素描等法医任务的检索精度与鲁棒性。

Comments 23 pages, 5 figures, paper submitted to Elsevier journal

Context-Aware Multimodal Claim Verification in Spoken Dialogues

口语对话中的上下文感知多模态声明验证

Chaewan Chun, Delvin Ce Zhang, Dongwon Lee

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 提出MAD2基准和上下文感知多模态融合方法，验证对话音频中的声明，发现对话结构比虚假信息框架对验证更重要。

DAPFAM: A Domain-Aware Family-level Dataset to benchmark cross domain patent retrieval

DAPFAM: 一个领域感知的家族级数据集用于跨领域专利检索基准测试

Iliass Ayaou, Denis Cavallucci, Hicham Chibane

机构 * Institut National des Sciences de l'Univers, Strasbourg（斯特拉斯堡国家科学大学） 纠错

专题命中 融合架构与评测 ：hybrid fusion(abstract)

AI总结 DAPFAM通过引入基于IPC3重叠的新方案，构建了包含1247个查询家族和45336个目标家族的家族级基准数据集，通过249次实验揭示跨领域检索中的显著领域差距，展示了段落级检索和密集方法的效果。