多模态大模型

SIMPLER: Efficient Foundation Model Adaptation via Similarity-Guided Layer Pruning for Earth Observation

SIMPLER：通过相似性引导的层剪枝实现高效的地球观测基础模型适应

Víctor Barreiro, Johannes Jakubik, Francisco Argüello, Dora B. Heras

机构 * Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela, Spain（智能技术研究中心（CiTIUS），圣地亚哥-德孔波斯特拉大学，西班牙） ； Departmento de Electrónica e Computación, Universidade de Santiago de Compostela, Spain（电子与计算系，圣地亚哥-德孔波斯特拉大学，西班牙） ； IBM Research Europe, Zurich, Switzerland（IBM欧洲研究院，瑞士苏黎世） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 SIMPLER通过在适应前选择有效的模型深度，减少推理和部署成本，同时在无需梯度、幅度启发式或超参数调优的情况下，通过预训练视觉变换器中更深层的表示稳定性，选择冗余层，实现参数减少79%且性能保留94%，提升训练和推理速度。

Multi-Way Representation Alignment

多向表示对齐

Akshit Achara, Tatiana Gaintseva, Mateo Mahaut, Pritish Chakraborty, Viktor Stenby Johansson, Melih Barsbey, Emanuele Rodolà, Donato Crisostomi

专题命中 多模态训练与对齐 ：any-to-any(abstract)；分类 cs.AI

AI总结 研究M≥3模型的表示对齐，用广义普罗克汝斯忒斯分析构建共享正交空间，指出严格等距对齐对检索非最优，提出几何校正普罗克汝斯忒斯对齐，实验表明其提升任意到任意检索并保留实用共享参考空间。

Atlas is Your Perfect Context: One-Shot Customization for Generalizable Foundational Medical Image Segmentation

图谱是理想上下文：用于可泛化基础医学图像分割的一次性定制

Ziyu Zhang, Yi Yu, Simeng Zhu, Ahmed Aly, Yunhe Gao, Ning Gu, Yuan Xue

机构 * Nanjing University（南京大学） ； The Ohio State University（俄亥俄州立大学） ； Stanford University（斯坦福大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 研究医学图像中解剖结构分割问题，提出图谱引导框架AtlasSegFM，通过图谱查询配准生成提示，用冻结基础模型细化分割，经自适应融合模块结合图谱先验与模型输入及预测，实现一次性定制。

Comments ECCV 2026

A Unified Geometric Space for Topological Alignment Between Transformer-Based Models and Human Brain Networks

基于Transformer的模型与人脑网络之间拓扑对齐的统一几何空间

Silin Chen, Yuzhong Chen, Caiwei Wang, Zifan Wang, Junhao Wang, Zifeng Jia, Keith M Kendrick, Tuo Zhang, Lin Zhao, Dezhong Yao, Tianming Liu, Xi Jiang

机构 * The Clinical Hospital of Chengdu Brain Science Institute, MOE-K Lab for NeuroInformation, Brain‑Apparatus Communication Institute, School of Life Science and Technology, University of Electronic Science and Technology of China（成都脑科学研究院临床医院，MOE-K神经信息实验室，脑-装置通信研究所，电子科技大学生命科学与技术学院） ； School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院） ； Department of Biomedical Engineering, New Jersey Institute of Technology（新泽西理工学院生物医学工程系） ； School of Computing, University of Georgia（佐治亚大学计算机学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出一个模态无关、任务无关的拓扑对齐空间，通过图组织属性将Transformer模型的注意力拓扑映射到人脑固有连接网络，揭示了不同模态和规模模型的连续弧形分布及对齐特性。

Ask-to-Clarify: Resolving Instruction Ambiguity through Multi-turn Dialogue

Ask-to-Clarify: 通过多轮对话解决指令歧义

Xingyao Lin, Xinghao Zhu, Tianyi Lu, Guojin Zhong, Sicheng Xie, Hui Zhang, Xipeng Qiu, Zuxuan Wu, Yu-Gang Jiang

机构 * College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China（复旦大学计算机科学与人工智能学院） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） ； Mechanical Systems Control Lab, UC Berkeley, California, USA（伯克利机械系统控制实验室） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出Ask-to-Clarify框架，通过多轮对话解决指令歧义问题，结合视觉语言模型和扩散模型，采用两阶段知识绝缘策略训练，实现多任务中更高效的协作式具身代理。

Comments Accepted by IROS 2026

EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation

EPMF: 高效感知感知多传感器融合用于3D语义分割

Mingkui Tan, Zhuangwei Zhuang, Sitao Chen, Rong Li, Kui Jia, Qicheng Wang, Yuanqing Li

机构 * School of Software Engineering, South China University of Technology（南方科技大学软件工程学院） ； Pazhou Laboratory, Guangzhou, China（广州帕佐实验室） ； School of Electronic and Information Engineering, South China University of Technology（南方科技大学电子与信息工程学院） ； Minieye, Shenzhen, Guangdong, China（深圳Minieye公司） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出一种高效感知多传感器融合方法EPMF，通过透视投影对齐点云与RGB图像，利用残差融合模块和感知损失提升3D语义分割性能，在nuScenes上mIoU超越RangeFormer 0.9%。

Comments 16 pages, 12 figures, 14 tables, IEEE TPAMI 2024, extended version of the ICCV2021 paper

Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning

在思考之前，先学会决策：面向高效视觉推理的主动路由

Yinan Zhou, Haokun Lin, Yichen Wu, Yuxin Chen, Teng Wang, Caifeng Shan, Zhenan Sun, Chen Ma, Li Zhu, Ying Shan

机构 * Xi’an Jiaotong University（西安交通大学） ； ARC Lab, Tencent IEG（腾讯IEG ARC实验室） ； City University of Hong Kong（香港城市大学） ； Institute of Automation, CAS（中国科学院自动化研究所） ； Harvard University（哈佛大学） ； Nanjing University（南京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 提出主动路由范式PRP，通过联合评估草稿模型和目标模型的能力，实现早期决策，加速多模态推理而不牺牲性能。

Comments 36 pages, 20 figures

Spatial Reasoning via Modality Switching Between Language and Symbolic Representation

通过语言与符号表示之间的模态切换进行空间推理

Shreya Rajpal, Tanawan Premsri, Parisa Kordjamshidi

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 研究多跳文本空间故事中，将语言推理切换到几何感知模态（如布局或网格）能否提升推理性能，并提出基于可信度和复杂度的切换指标，实现原则性模态选择，使LLM性能提升高达42%。

From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion

从一对一到多对多：面向深度视觉-语言融合的动态跨层注入

Cheng Chen, Yuyu Guo, Pengpeng Zeng, Jingkuan Song, Peng Di, Hang Yu, Lianli Gao

机构 * Tongji University（同济大学） ； Ant Group（蚂蚁集团） ； Shanghai Innovation Institute（上海创新研究院） ； Independent Researcher（独立研究者） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出跨层注入框架，通过自适应多投影模块和自适应门控融合机制实现视觉层与LLM的动态多对多连接，显著提升多模态理解性能。

ECoSim: Data Efficient Fine-Tuning for Controllable Traffic Simulation

ECoSim：面向可控交通模拟的数据高效微调

Yu-Hsiang Chen, Wei-Jer Chang, Yi-Ting Chen, Masayoshi Tomizuka

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出轻量级控制适应框架，通过身份初始化的FiLM层调制中间特征，为预训练的扩散和自回归交通模型添加多模态控制（草图、潜在行为编码和文本），使用不到1%的配对数据实现强可控性。

Comments European Conference on Computer Vision (ECCV) 2026

Information-Regularized Attention for Visual-Centric Reasoning

信息正则化注意力用于以视觉为中心的推理

Guohao Sun, Xiaofang Wang, Yash Patel, Mengchen Liu, Zhiqiang Tao, Praveen Krishnan

机构 * FAIR at Meta（Meta 的 FAIR 部门） ； Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视觉语言模型中的对象幻觉、视觉基础弱和灾难性遗忘问题，提出信息正则化注意力机制，通过随机注意力显式调控视觉信息注入，改善表示学习稳定性。

Comments Accepted by ECCV 2026

RC-GeoCP: Geometric Consensus for Radar-Camera Collaborative Perception

RC-GeoCP：雷达-相机协同感知的几何一致性

Xiaokai Bai, Lianqing Zheng, Runwei Guan, Siyuan Cao, Songkai Wang, Huiliang Shen

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； School of Automotive Studies, Tongji University（同济大学汽车学院） ； Thrust of Artificial Intelligence, Hong Kong University of Science and Technology（香港科技大学人工智能研究所） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出首个4D雷达与相机协同感知框架RC-GeoCP，通过雷达锚定几何一致性解决深度模糊和空间分散导致的错位，实现高效通信与全局一致表示。

Comments 11 pages, 6 figures, 9 tables

ERA: Entropy-Guided Visual Token Pruning with Rectified Attention for Efficient MLLMs

ERA：基于熵引导的视觉令牌剪枝与修正注意力机制的高效多模态大语言模型

Yuhao Wang, Mu Qiao, Haiwen Diao, Yunzhi Zhuge, Pingping Zhang, Xindong Zhang, Lei Zhang, Huchuan Lu

机构 * School of Future Technology, Dalian University of Technology（大连理工大学未来技术学院） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； OPPO Research Institute（OPPO研究院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出ERA框架，通过熵引导的视觉令牌剪枝和修正注意力机制，解决令牌减少导致的注意力对数坍塌问题，实现高效多模态大语言模型推理加速。

Comments 17 pages, 7 figures

Evo-PI: Aligning Medical Reasoning via Evolving Principle-Guided Supervision

Evo-PI：通过演化原则引导的对齐医学推理

Xianda Zheng, Huan Gao, Meng-Fen Chiang, Michael Witbrock, Kaiqi Zhao, Shangyang Li

机构 * School of Computer Science, University of Auckland（奥克兰大学计算机科学学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Renyixun Health Technology Co., Ltd.（仁医讯健康科技有限公司） ； National Yang Ming Chiao Tung University（国立阳明交通大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出Evo-PI框架，将推理原则作为可演化的语言监督信号，通过协同进化循环动态调整模型推理，在医学视觉问答中提升准确率最高达24.6%。

FROST: Training-Free Few-Shot Segmentation with Frozen Features and Nonparametric Statistics

FROST：基于冻结特征和非参数统计的无训练少样本分割

Junghwan Park

机构 * TelePIX 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出FROST，一种无训练少样本分割方法，将参考前景和背景视为冻结DINOv3特征单位球上的点云，通过非参数密度比标记查询像素，在遥感基准上超越现有方法。

Comments 20 pages

Physics-informed Conditional Normalizing Flows for Angles-only Cislunar Orbit Determination

基于物理信息的条件归一化流用于仅角度地月空间轨道确定

Walther Litteri, Massimiliano Vasile

机构 * University of Strathclyde（斯特拉斯克莱德大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出使用条件归一化流从短弧角度测量中推断地月空间初始状态的后验分布，结合物理信息采样并通过非线性最小二乘优化提供经典算法的热启动。

ViQ: Text-Aligned Visual Quantized Representations at Any Resolution

ViQ: 任意分辨率下的文本对齐视觉量化表示

Xumin Yu, Zuyan Liu, Zhenyu Yang, Yuhao Dong, Shengsheng Qian, Jiwen Lu, Han Hu, Yongming Rao

机构 * Tencent HY Vision Team（腾讯HY视觉团队） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出ViQ框架，通过文本对齐预训练和特征离散化两阶段量化学习，平衡离散表示中的语义与细节，支持原生分辨率输入，在多模态任务中取得与连续高维特征编码器相当的性能，并实现20%-70%的训练加速。

Comments Accepted to ECCV 2026

PromptGNN-sim: Deep Fusion and Alignment of GNN and LLMs for Text-Attributed Graph Learning

PromptGNN-sim：GNN与LLM的深度融合与对齐用于文本属性图学习

Zhifei Hu, Alexandra I. Cristea

机构 * Durham University（杜伦大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出PromptGNN-sim框架，通过双向结构-语义融合、图注意力网络与LLM协同，解决文本属性图中模态交互浅层化问题，在跨任务、跨数据集和稀疏扰动下表现优异。

Seeing Touch from Motion: A Unified Modality-Aware Visuo-Tactile Policy with Tactile Motion Correlation

从运动感知触觉：一种具有触觉运动相关性的统一模态感知视觉-触觉策略

Shengqi Xu, Guojin Zhong, Yang Liu, Fanjie Wang, Hu Luo, Hanyu Zhou, Weiyao Zhang, Ziyi Ye, Zuxuan Wu, Yu-Gang Jiang

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出基于触觉运动相关性的运动感知触觉表示，并利用混合Transformer架构实现统一模态感知的视觉-触觉策略，以解决接触丰富操作中的感知模糊和跨模态融合问题。

Comments Accepted by ECCV 2026. Project website: https://shengqi77.github.io/Seeing-Touch-from-Motion/

Building artificial intelligence virtual tissue (AIVT) for tissue state representation, feature prediction, and dynamic simulation

构建人工智能虚拟组织 (AIVT) 用于组织状态表示、特征预测和动态模拟

Qiqi Lu, Qianjin Feng, Shaoqun Zeng, Shenghua Cheng

机构 * School of Biomedical Engineering, Southern Medical University（南方医科大学生物医学工程学院） ； Guangdong Provincial Key Laboratory of Medical Image Processing, Southern Medical University（南方医科大学广东省医学图像处理重点实验室） ； Guangdong Province Engineering Laboratory for Medical Imaging and Diagnostic Technology, Southern Medical University（南方医科大学广东省医学影像与诊断技术工程实验室） ； MOE Key Laboratory for Biomedical Photonics, Wuhan National Laboratory for Optoelectronics, Huazhong University of Science and Technology（教育部生物医学光子学重点实验室、武汉光电物联实验室、华中科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出人工智能虚拟组织 (AIVT) 框架，基于空间多模态数据学习统一、空间分辨且可动态操控的组织状态表示，实现组织状态分析、特征预测和时空动态模拟。

Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?

角色专业化对混合专家模型解释忠实度重要吗？

Yeji Kim, Housam Babiker, Mi-Young Kim, Randy Goebel

机构 * University of Alberta（阿尔伯塔大学） ； University of Waikato（怀卡托大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 研究混合专家模型中专家角色分解对解释忠实度的影响，提出表示级去相关正则化减少专家间重叠，实验表明该方法能提升忠实度指标且不损害任务性能。

DLR: Zero-Inference-Cost Latent Residuals for Low-Rank Pre-Training

DLR：低秩预训练的零推理成本潜在残差

Dong Wang, Wenwu Tang, Yun Cheng, Olga Saukh

机构 * Graz University of Technology, Austria（奥地利格拉茨技术大学） ； Swiss Data Science Center, Switzerland（瑞士数据科学中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出DLR插件，通过固定结构化残差增强低秩预训练，不增加参数，训练后可吸收，提升模型质量。

Comments Includes appendix, 6 figures and 11 tables. Code available at https://github.com/nanguoyu/DLR

JASPR: Joint Spatial Representation learning of histology and spatial genomics for improved virtual genomic screening and clinical prognostication

JASPR：组织学与空间基因组学的联合空间表示学习，用于改进虚拟基因组筛选和临床预后

Marija Pizurica, Eric Zimmermann, Neil Tenenholtz, James Hall, Olivier Gevaert, Ava P. Amini, Lorin Crawford, Kristen A. Severson

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出自监督框架JASPR，通过跨模态重建目标整合HE图像和空间转录组数据，学习联合空间表示，在乳腺癌数据上显著提升基因表达预测和预后价值。

Road Maps as Free Geometric Priors: Weather-Invariant Drone Geo-Localization with GeoFuse

道路地图作为免费几何先验：利用GeoFuse实现天气不变的无人机地理定位

Yunsong Fang, Tingyu Wang, Zhedong Zheng

机构 * University of Macau（澳门大学） ； Hangzhou Dianzi University（杭州电子科技大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出GeoFuse框架，通过融合道路地图与卫星图像提升无人机在恶劣天气下的定位性能，实验表明其在University-1652和DenseUAV基准上召回率显著提升。

Comments 18 pages, 4 figures

SOTAlign: Semi-Supervised Alignment of Unimodal Vision and Language Models via Optimal Transport

SOTAlign：通过最优传输实现半监督的单模态视觉与语言模型对齐

Simon Roschmann, Paul Krzakala, Sonia Mazelet, Quentin Bouniot, Zeynep Akata

专题命中 多模态训练与对齐 ：image-text(abstract)；分类 cs.AI

AI总结 本文提出SOTAlign框架，通过少量配对数据和大量未配对数据实现视觉与语言模型的半监督对齐，利用最优传输理论提升对齐效果，优于传统监督和半监督方法。

Comments ICML 2026

ModaFlow: Modality-Aware Flow Matching for High-Fidelity Virtual Try-On

ModaFlow: 模态感知流匹配实现高保真虚拟试穿

Xiangyu Sai, Meysam Madadi, Sergio Escalera, Yong Xu

机构 * South China University of Technology（华南理工大学） ； Universitat de Barcelona（巴塞罗那大学） ； Computer Vision Center（计算机视觉中心） ； Guangdong Provincial Key Laboratory of Multimodal Big Data Intelligent Analysis（广东省多模态大数据智能分析重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出ModaFlow框架，通过模态感知引导、正则化损失和掩码操作策略，在虚拟试穿中实现衣物细节与人体几何的精确对齐，FID降低约30%。

Comments Preprint

HunyuanImage 3.0 Technical Report

HunyuanImage 3.0 技术报告

Tencent Hunyuan Foundation Model Team

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 HunyuanImage 3.0是一种统一多模态理解与生成的自回归模型，通过精心数据整理、先进架构、原生思维链、渐进预训练和激进后训练，训练出超800亿参数MoE模型（推理时激活130亿），在文本-图像对齐和视觉质量上媲美最先进模型，并开源代码和权重。

Pseudo-Text-Conditioned 3D Grounding DINO for Organ Localization in Abdominal CT

伪文本条件3D Grounding DINO用于腹部CT器官定位

Siqi Chen, Han Gong, Keyi Hou, Jingxuan Yang, Sheethal Bhat, Andreas Maier

机构 * Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出CT-3GDINO，一种轻量级3D检测器，通过冻结伪文本类令牌替代真实文本编码器，实现腹部CT中五个器官的定位，在193个体积上达到0.5830 mAP。

Comments 24 pages, 17 figures

Liquid Fusion of Heterogeneous Representations Towards General Salient Object Detection

异构表示的液态融合用于通用显著目标检测

Ke Chen, Ling Zhou, Guangqi Jiang, Gengshen Wu, Yi Liu, Shoukun Xu

机构 * School of Computer Science and Artificial Intelligence, Changzhou University（常州大学计算机科学与人工智能学院） ； College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出液态融合网络（LFNet），通过动态门控机制融合SSM（VMamba）和CNN（ConvNeXt）的异构表示，并设计显著引导上采样（SGU）算子，在五个任务上实现SOTA性能。

Comments 20 pages, 5 figures

Multi-modality Image Fusion under Adverse Weather: Mask-Guided Feature Restoration and Interaction

恶劣天气下的多模态图像融合：掩码引导的特征恢复与交互

Xilai Li, Xiaosong Li, Haishu Tan, Tao Ye, Huafeng Li, Hongbin Wang

机构 * Foshan University（佛山大学） ； China University of Mining and Technology, Beijing（中国矿业大学（北京）） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出一种掩码引导的多模态图像融合方法，通过伪真实标签和掩码生成机制同时实现特征恢复与跨模态交互，在合成和真实数据集上超越现有方法。

Comments Accepted at ECCV 2026