多模态大模型

SpaMEM: Benchmarking Dynamic Spatial Reasoning via Perception-Memory Integration in Embodied Environments

SpaMEM：具身环境中通过感知-记忆集成进行动态空间推理的基准测试

Chih-Ting Liao, Xi Xiao, Chunlei Meng, Zhangquan Chen, Yitong Qiao, Weilin Zhou, Tianyang Wang, Xu Zheng, Xin Cao

机构 * The University of New South Wales（新南威尔士大学） ； The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Xinjiang University（新疆大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出SpaMEM基准，通过动作条件场景变换和多模态数据，分层评估多模态大模型在具身环境中的空间信念演化能力，揭示坐标一致性和视觉记忆瓶颈。

A Theory-Guided LLM Pedagogical Agent for STEM+C Scaffolding Without Over-Reliance

理论引导的LLM教学代理：用于STEM+C支架式教学，避免过度依赖

Clayton Cohn, Surya Rayala, Siyuan Guo, Hanchen David Wang, Naveeduddin Mohammed, Umesh Timalsina, Shruti Jain, Ryan Li, Angela Eeds, Menton Deweese, Pamela J. Osborn Popp, Rebekah Stanton, Shakeera Walker, Ashwin T S, Meiyi Ma, Gautam Biswas

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出基于证据-决策-反馈框架的多智能体协作代理Copa，结合社会认知理论与社会建构主义，通过自适应对话支持促进STEM+C学习，实验证明其能增强学生信心和概念表达能力而不导致依赖。

Comments Submitted to Computers & Education. Currently under review

Learning-to-Defer with Expert-Conditional Advice

基于专家条件建议的学习-延迟决策

Yannis Montreuil, Leïna Montreuil, Axel Carlier, Lai Xing Ng, Wei Tsang Ooi

机构 * School of Computing（计算学院） ； Département de Mathématiques（数学系） ； National University of Singapore（新加坡国立大学） ； Sorbonne University（索邦大学） ； Fédération ENAC（ENAC联合会） ； ISAE-SUPAERO ； ONERA ； Agency for Science, Technology and Research（科技研究局） ； Université de Toulouse（图卢兹大学） ； Institute for Infocomm Research（信息与通信研究所） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 研究在决策时可为专家提供额外信息（建议）的延迟学习问题，提出一种在复合专家-建议动作空间上的增广替代损失，并证明其一致性保证和最优策略恢复能力。

ConSensus: Multi-Agent Collaboration for Multimodal Sensing

ConSensus：面向多模态感知的多智能体协作

Hyungjun Yoon, Mohammad Malekzadeh, Sung-Ju Lee, Fahim Kawsar, Lorena Qendro

机构 * KAIST（韩国科学技术院） ； Nokia Bell Labs（诺基亚贝尔实验室） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 提出ConSensus，一种无需训练的多智能体协作框架，通过将多模态感知任务分解为专用智能体并采用混合融合机制，在五个基准上平均准确率提升7.1%，融合token成本降低12.7倍。

Comments Accepted to ACL 2026 Findings

Variational Adapter for Cross-modal Similarity Representation

变分适配器用于跨模态相似性表示

WenZhang Wei, Zhipeng Gui, Dehua Peng, Tiandi Ye, Huayi Wu

机构 * School of Remote Sensing and Information Engineering（遥感与信息工程学院） ； Wuhan University（武汉大学） ； School of Data Science and Engineering（数据科学与工程学院） ； East China Normal University（华东师范大学） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing（测绘遥感信息工程国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 针对跨模态匹配中细粒度标注稀缺导致二元分类边界压缩和假负样本问题，提出变分适配器VACSR，将匹配任务重构为变分推断问题，通过构建潜在相似性空间和正则化缓解过拟合，在图像-文本检索、域泛化和基类到新类泛化任务上验证了有效性。

Comments Accepted by the 43rd International Conference on Machine Learning (ICML 2026)

Multimodal Fusion via Self-Consistent Task-Gradient Fields

通过自洽任务梯度场的多模态融合

Jiayu Xiong, Jing Wang, Jun Xue, Wanlong Wang, Jianlong Kwan, Xiaosen Lyu, Zhouqiang Jiang

机构 * Xiamen Key Laboratory of Computer Vision and Pattern Recognition, Huaqiao University, Xiamen, Fujian, China（厦门计算机视觉与模式识别重点实验室，华侨大学，厦门，福建，中国） ； Huaqiao University, Xiamen, Fujian, China（华侨大学，厦门，福建，中国） ； Wuhan University, Wuhan, Hubei, China（武汉大学，武汉，湖北，中国） ； Nakashima Lab, SANKEN, The University of Osaka, Osaka, Japan（Nakashima实验室，SANKEN，大阪大学，大阪，日本） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 提出自洽场自编码器（SCFAE），利用自洽场原理平衡任务学习与特征组织，通过任务损失和重构损失在互补子空间中分离特征，从而鲁棒处理缺失数据和不均匀输入。

Comments ICML 2026 accepted paper

VisionPulse: Dynamic Visual Sparsity for Efficient Multimodal Reasoning

VisionPulse: 用于高效多模态推理的动态视觉稀疏性

Hengbo Xu, Shengjie Jin, Yanbiao Ma, Zhiwu Lu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出VisionPulse框架，通过步骤级视觉令牌剪枝，利用视觉注意力质量估计保留预算，仅保留关键令牌，在几乎不损失准确率的情况下减少推理开销和推理轨迹长度。

Comments Accepted at ICML 2026

HQ-JEPA: Hybrid Quantum Joint-Embedding Predictive Architecture for Cross-Modal Remote Sensing Representation Learning

HQ-JEPA: 用于跨模态遥感表示学习的混合量子联合嵌入预测架构

Md Aminur Hossain, Ayush V. Patel, Sanjay K. Singh, Biplab Banerjee

机构 * Space Applications Centre, Indian Space Research Organisation（印度空间研究组织空间应用中心） ； Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay（印度理工学院孟买资源工程研究中心） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出HQ-JEPA混合量子-经典架构，通过联合嵌入预测、跨模态对齐、SIGReg高斯正则化和量子保真度损失，在Sentinel-1/2图像上学习语义表示，在GeoBench分类和分割任务上取得优于强基线的性能。

Comments 19 pages

TRINE: A Token-Aware, Runtime-Adaptive FPGA Inference Engine for Multimodal AI

TRINE: 一种面向多模态AI的令牌感知、运行时自适应FPGA推理引擎

Hyunwoo Oh, Hanning Chen, Sanggeon Yun, Yang Ni, Suyeon Jang, Behnam Khaleghi, Fei Wen, Mohsen Imani

机构 * University of California, Irvine（加州大学尔湾分校） ； Purdue University Northwest（北达科他州立大学） ； Qualcomm（高通） ； Samsung（三星） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态AI中不同计算/内存模式导致嵌入式平台实时性不足的问题，提出TRINE，一种无需重配置的单比特流FPGA加速器与编译器，通过统一层映射、运行时模式切换、令牌剪枝和依赖感知层卸载，实现端到端多模态推理，在Alveo U50和ZCU104上相比RTX 4090和Jetson Orin Nano分别降低延迟22.57倍和6.86倍，功耗仅20-21W。

Comments Accepted to DAC 2026

Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation

捕捉注视转移以引导：跨模态融合增强用于VLM幻觉缓解

Zheng Qi, Chao Shang, Evangelia Spiliopoulou, Nikolaos Pappas

机构 * AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出GIFT方法，通过预计算视觉显著性图并跟踪注视转移，在解码时增强对显著视觉信息和用户查询的注意力，以缓解视觉语言模型中的幻觉问题。

Comments ICML 2026

Geometry-based Schrödinger Bridges for Trustworthy Multimodal Fusion

基于几何的薛定谔桥用于可信多模态融合

Jiayu Xiong, Jing Wang, Qi Zhang, Wanlong Wang, Jun Xue

机构 * Department of Computer Science（计算机科学系） ； Techonology, Huaqiao University（技术学系，华侨大学） ； Xiamen Key Laboratory of Computer Vision（厦门计算机视觉实验室） ； Pattern Recognition, Huaqiao University（模式识别，华侨大学） ； Tongji University（同济大学） ； School of Cyber Science（网络科学学院） ； Engineering, Wuhan University（工程学院，武汉大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出基于几何的多模态融合方法GMF，利用扩散薛定谔桥的初始速度平方作为独立于预测的可靠性信号，以提升对低质量数据的鲁棒性。

Comments ICML 2026 accepted paper

LiteViLNet: Lightweight Vision-LiDAR Fusion Network for Efficient Road Segmentation

LiteViLNet: 轻量级视觉-激光雷达融合网络用于高效道路分割

Daojie Peng, Bingtao Wang, Fulong Ma, Liang Zhang, Jun Ma

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Shandong University（山东大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出轻量级多模态网络LiteViLNet，通过双流编码器、深度可分离卷积和多尺度特征融合模块，在KITTI数据集上以14.04M参数达到96.36% MaxF，实现精度与效率的平衡。

Parallel Tempering Initial Sampling in Inference-Time Reward Alignment

推理时奖励对齐中的并行回火初始采样

Myeongjun Oh, Gwangho Kim, Sungyoon Lee

机构 * Department of Artificial Intelligence（人工智能系） ； Department of Computer Science（计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对推理时奖励对齐中标准SMC方法因初始采样陷入局部模式的问题，提出基于并行回火的PATHS方法，通过耦合多条回火链实现高效探索，提升对齐质量。

Comments 31 pages, 11 figures

IAF-Net: Illumination-Adaptive Fusion for Low-Light Urban Road Segmentation

IAF-Net：用于低光照城市道路分割的照明自适应融合网络

Bingtao Wang, Daojie Peng, Fulong Ma, Jun Ma, Liang Zhang

机构 * The Shandong University（山东大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出IAF-Net，通过照明自适应融合模块动态调整RGB与几何特征的融合权重，并利用亮度调制注意力解码器增强低光照特征选择，实现不同光照条件下鲁棒的道路分割。

D-SECURE: Dual-Source Evidence Combination for Unified Reasoning in Misinformation Detection

D-SECURE：用于虚假信息检测中统一推理的双源证据融合

Samudi Amarasinghe, Gagandeep Singh, Priyanka Singh

机构 * School of Information Technology（信息科技学院） ； Electrical Engineering The University of Queensland, Brisbane, Australia（电气工程学院，昆士兰大学，布里斯班，澳大利亚） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出D-SECURE框架，通过融合内部篡改检测（HAMMER）和外部证据检索（DEFAME）实现多模态虚假新闻的统一推理与可解释报告。

UniRTL: Unifying Code and Graph for Robust RTL Representation Learning

UniRTL：统一代码和图以实现稳健的RTL表示学习

Yi Liu, Hongji Zhang, Lei Chen, Mingxuan Yuan, Qiang Xu

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong, Hong Kong SAR（计算机科学与工程系，香港中文大学，香港特别行政区） ； Noah's Ark Lab, Huawei, Hong Kong SAR（华为诺亚实验室，香港特别行政区） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 提出UniRTL多模态预训练框架，通过互掩码建模和分层训练策略联合利用RTL代码与控制数据流图，实现细粒度对齐，在性能预测和代码检索任务上优于现有方法。

Comments Forty-Third International Conference on Machine Learning (ICML 2026)

Bridging the Gap Between Natural Language and Market Dynamics via High-Dimensional Representation Learning

弥合自然语言与市场动态之间的差距：基于高维表示学习

Yujin Jeong, Noelle Jung, Brian Y. C. Leung

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 本文通过用密集FinBERT嵌入替代离散情感评分，在Transformer架构中探索高维表示学习，以提升金融新闻对短期股价预测的准确性。

When Entropy Is Not Enough: Multi-Modal Classification of Encrypted and Compressed Data Fragments

当熵不够时：加密和压缩数据片段的多模态分类

Fabio De Gaspari, Dorjan Hitaj, Samuele Salaris, Luigi V. Mancini

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 针对短数据片段（512-2048字节）中加密与压缩数据难以区分的问题，提出多模态集成架构Triumvir，融合统计、序列和空间表示，在二分类和多分类任务上分别提升高达4.5和6.4个百分点。

Comments 20 pages

Best-Arm Identification-Based Trust Region Selection for Bayesian Optimization on Multimodal Functions

基于最佳臂识别的多模态函数贝叶斯优化信任区域选择

Nobuo Namura, Sho Takemori

机构 * Fujitsu Limited（富士通有限公司） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 提出一种结合最佳臂识别与信任区域贝叶斯优化的轨迹感知框架，通过预测局部优化器最终性能并逐步淘汰次优候选，加速多模态函数全局优化。

Comments 19 pages, 13 figures

Neurosim: A Fast Simulator for Neuromorphic Robot Perception

Neurosim: 一种用于神经形态机器人感知的快速模拟器

Richeek Das, Pratik Chaudhari

机构 * GRASP Laboratory, University of Pennsylvania（宾夕法尼亚大学GRASP实验室） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出Neurosim和Cortex库，通过高速传感器模拟和低延迟通信，支持神经形态感知与控制算法的训练和闭环测试。

Comments 11 pages, 6 figures

Free energy Estimation on Any State Space

任意状态空间上的自由能估计

Jiajun He, Zijing Ou, Francisco Vargas, Yingzhen Li, José Miguel Hernández-Lobato, Carles Domingo-Enrich, Yuanqi Du

机构 * University of Cambridge（剑桥大学） ； Imperial College London（伦敦帝国理工学院） ； Xaira Therapeutics（Xaira制药） ； Microsoft Research New England（微软研究院新英格兰分部） 纠错

专题命中 其他多模态 ：multimodal(abstract)

AI总结 提出一种基于广义神经传输学习的框架，将自由能估计推广到任意状态空间，并揭示时间反演与Doob h-变换的群论结构。

Array Zooming Optimization for Near-Field Localization With Movable Antennas

基于可移动天线的近场定位阵列缩放优化

Yuxin Duan, Boyu Teng, Xiaojun Yuan, Rui Wang

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 针对近场定位中稀疏阵列的分辨率-模糊度矛盾，提出可移动天线阵列缩放系统，通过多测量融合和假峰抑制优化定位精度。

Advances and Challenges in Meta-Learning: A Technical Review

元学习的进展与挑战：技术综述

Anna Vettoruzzo, Mohamed-Rafik Bouguelia, Joaquin Vanschoren, Thorsteinn Rögnvaldsson, KC Santosh

机构 * Automated Machine Learning Group, Eindhoven University of Technology, Netherlands（埃因霍温理工大学自动化机器学习小组） ； Applied AI Research Lab, Department of Computer Science, University of South Dakota, USA（南达科他大学计算机科学系应用人工智能研究实验室） 纠错

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 本文全面综述元学习技术，探讨其与多任务学习、迁移学习等领域的关联，并指出未来研究方向。