多模态大模型

Learning When to Listen: Gated Affect Fusion for Human Motion Prediction

学习何时倾听：用于人体运动预测的门控情感融合

Jingni Huang

机构 * University of Oxford（牛津大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出门控情感变换器（GAT）动态调节跨模态信息流，解决无约束视频中情感特征与姿态融合的噪声问题，证明面部情感仅在短中期（如30帧）提供有限预测线索。

LOPA: Enhancing Spoken Language Assessment via Latent Ordinal Prototype Alignment

LOPA：通过潜在序数原型对齐增强口语评估

Hong-Yun Lin, Fu-An Chao, Bi-Cheng Yan, Berlin Chen

机构 * National Taiwan Normal University（国立台湾师范大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CL、cs.MM

AI总结 提出LOPA正则化器，在潜在空间施加序数几何先验，结合SALR自适应提取Whisper编码器多层表示，以0.361 RMSE媲美十亿参数系统，无需LLM微调。

Skeleton-to-Image Encoding: Enabling Skeleton Representation Learning via Vision-Pretrained Models

骨架到图像编码：通过视觉预训练模型实现骨架表示学习

Siyuan Yang, Jun Liu, Hao Cheng, Chong Wang, Shijian Lu, Hedvig Kjellstrom, Weisi Lin, Alex C. Kot

机构 * KTH Royal Institute of Technology（皇家理工学院） ； Lancaster University（兰卡斯特大学） ； Hebei University of Technology（河北工业大学） ； Nanyang Technological University（南洋理工大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） ； VinUniversity（文大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出S2I编码，将骨架序列转换为图像状数据，首次利用视觉预训练模型进行自监督骨架表示学习，统一异构骨架格式，在多个数据集上验证了有效性。

Comments Submitted to IJCV, under review

Propagating Structural Guidance: Synthesizing Fluorescein Angiography from Fundus Images and Sparse OCT Scans

传播结构引导：从眼底图像和稀疏OCT扫描合成荧光素血管造影

Tengfei Ma, Ruiqi Wu, Chenran Zhang, Ye Geng, Na Su, Xiangyuan Duanmu, Tao Zhou, Yi Zhou, Wen Fan

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Ministry of Education（教育部新一代人工智能技术及其跨学科应用重点实验室） ； Tianyuan Honors School, Nanjing Medical University（南京医科大学天元荣誉学院） ； Nanjing University of Science and Technology（南京理工大学） ； Department of Ophthalmology, The First Affiliated Hospital of Nanjing Medical University（南京医科大学第一附属医院眼科） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出从彩色眼底照片（CFP）和稀疏OCT扫描合成荧光素血管造影（FFA）的框架，通过空间对齐跨模态融合和令牌级对比学习，实现非侵入性FFA合成，提升下游诊断性能。

Comments Accepted to MICCAI 2026 (Early Accept)

Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding

必要时聚焦：用于无训练视觉定位的自适应路由与协作定位

Yifan Wang, Peiming Li, Shiyu Li, Zhiyuan Hu, Xiaochen Yang, Wenming Yang, Yang Tang, Zheng Wei

机构 * East China University of Science and Technology（华东理工大学） ； Tsinghua University（清华大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 提出LazyMCoT动态框架，通过自适应路由评估不确定性，对简单查询跳过处理，对困难样本利用协作定位模块进行两阶段精炼，在提升推理精度的同时降低平均推理延迟。

3D-RFT: Reinforcement Fine-Tuning for Video-based 3D Scene Understanding

3D-RFT：基于视频的3D场景理解的强化微调

Xiongkun Linghu, Jiangyong Huang, Baoxiong Jia, Siyuan Huang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 提出3D-RFT框架，将可验证奖励的强化学习（RLVR）扩展到视频3D感知与推理，通过直接优化评估指标（如3D IoU和F1分数）提升性能，4B模型超越8B模型。

Comments Accepted at ICML 2026. Project page: https://3d-rft.github.io/

CR-Seg: Attention-Guided and CoT-Enhanced Coarse-to-Refined Reasoning Segmentation

CR-Seg：注意力引导与CoT增强的由粗到精推理分割

Yifan Cao, Xiaocui Yang, Faxian Wan, Shi Feng, Daling Wang, Yifei Zhang

机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出CR-Seg两阶段框架，通过注意力图提取和全局到局部思维链，实现由粗到精的推理分割，解决跨模态对齐和推理-答案不一致问题。

Visual Instruction Tuning Aligns Modalities through Abstraction

视觉指令调优通过抽象对齐模态

Luis Palacios, Lorenzo Basile, Diego Doimo, Alberto Cazzaniga

机构 * Area Science Park, Trieste, Italy（特里埃斯特Area Science Park） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract,abstract_cn)；分类 cs.CV、cs.CL

AI总结 通过探针分析和因果干预，发现视觉指令调优将视觉特征直接嵌入LLM的中间语义层，绕过早期单模态处理层，并通过扩展和强化现有抽象阶段对齐视觉与文本表示。

StrLoRA: Towards Streaming Continual Visual Instruction Tuning for MLLMs

StrLoRA: 向流式连续视觉指令微调迈进以适应大规模多模态语言模型

Chang Che, Ziqi Wang, Hui Ma, Cheems Wang, Zenglin Shi

机构 * Hefei University of Technology（合肥工业大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出StrLoRA，一种流式连续视觉指令微调方法，旨在解决动态任务流中模型持续学习的问题，通过任务感知的专家路由框架提升模型在不断变化的数据流中的表现。

RIHA: Report-Image Hierarchical Alignment for Radiology Report Generation

RIHA：报告-图像层次对齐用于放射学报告生成

Yucheng Chen, Yang Yu, Yufei Shi, Conghao Xiong, Xulei Yang, Si Yong Yeo

机构 * Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李科钦医学院） ； MedVisAI Lab（医学影像人工智能实验室） ； Centre of AI in Medicine, Singapore（新加坡人工智能医学中心） ； Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学（深圳）） ； Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RIHA框架，通过多级对齐提升放射学报告生成的准确性，引入视觉和文本特征金字塔及跨模态对齐模块，实验表明其在自然语言生成和临床效果上优于现有方法。

Comments Accepted by Journal of Biomedical and Health Informatics (JBHI)

CheXmix: Unified Generative Pretraining for Vision Language Models in Medical Imaging

CheXmix：用于医学影像的统一生成预训练

Ashwin Kumar, Robbie Holland, Corey Barrett, Jangwon Kim, Maya Varma, Zhihong Chen, Yunhe Gao, Greg Zaharchuk, Tara Taghavi, Krishnaram Kenthapadi, Akshay Chaudhari

机构 * Stanford AIMI, Stanford University（斯坦福大学AIMI研究所，斯坦福大学） ； Oracle Health AI（Oracle健康AI） ； Department of Radiology, Stanford University（斯坦福大学放射科） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 CheXmix通过统一早融合生成方法，在医学影像中实现更精确的联合表征学习，优于现有生成模型，在多个任务上表现突出。

Comments CVPR Findings (2026)

Geometry-Aware Cross Modal Alignment for Light Field-LiDAR Semantic Segmentation

面向几何的多模态对齐用于光场-激光雷达语义分割

Jie Luo, Yuxuan Jiang, Xin Jin, Mingyu Liu, Yihui Fan

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出融合光场数据和点云数据的多模态语义分割网络，通过特征补全和深度感知模块提升复杂场景下的分割性能，优于单模态方法。

COXNet: Cross-Layer Fusion with Adaptive Alignment and Scale Integration for RGBT Tiny Object Detection

COXNet：跨层融合与自适应对齐与尺度整合用于RGBT微小目标检测

Peiran Peng, Tingfa Xu, Liqiang Song, Mengqi Zhu, Yuqiang Fang, Jianan Li

机构 * Beijing Institute of Technology（北京理工大学） ； National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台） ； National Key Laboratory of Space Target Awareness, Space Engineering University（航天工程大学空间目标感知全国重点实验室） ； Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education of China（教育部光电成像技术与系统重点实验室） ； Chongqing Innovation Center, Beijing Institute of Technology（北京理工大学重庆创新中心） ； China North Vehicle Research Institute（中国北方车辆研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出COXNet框架，通过跨层融合模块、动态对齐与尺度精修模块及优化标签分配策略，提升RGBT多模态微小目标检测的鲁棒性，在RGBTDronePerson数据集上实现3.32%的mAP50提升。

GeoMeld: Toward Semantically Grounded Foundation Models for Remote Sensing

GeoMeld：迈向遥感领域语义引导的基模模型

Maram Hasan, Md Aminur Hossain, Savitra Roy, Souparna Bhowmik, Ayush V. Patel, Mainak Singha, Subhasis Chaudhuri, Muhammad Haris Khan, Biplab Banerjee

机构 * Indian Institute of Technology Bombay（印度理工学院孟买分校） ； Space Applications Centre, ISRO（印度空间研究组织空间应用中心） ； University of Trento（特伦托大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出GeoMeld数据集，通过语义引导的监督方法，结合多模态对齐，提升遥感领域基模模型的性能和鲁棒性。

Comments Accepted at CVPR Workshop 2026; 8 pages, 6 figures

Harmonized Tabular-Image Fusion via Gradient-Aligned Alternating Learning

通过梯度对齐交替学习实现表-图像融合

Longfei Huang, Yang Yang

机构 * Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出GAAL方法，通过对齐模态梯度解决多模态表-图像融合中的梯度冲突问题，提升融合性能。

Comments ICME 26

Demo-Pose: Depth-Monocular Modality Fusion For Object Pose Estimation

Demo-Pose: 深度-单目模态融合用于物体姿态估计

Rachit Agarwal, Abhishek Joshi, Sathish Chalasani, Woo Jin Kim

机构 * Samsung Electronics Suwon, Republic of Korea（三星电子水原，韩国） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Demo-Pose，通过新颖的多模态融合策略融合单目语义特征与基于深度的图卷积表示，提升物体姿态估计的几何推理能力，在REAL275数据集上优于现有方法。

Comments Accepted at ICASSP 2026, 5 pages, 3 figures, 3 tables

Seeing Like Radiologists: Context- and Gaze-Guided Vision-Language Pretraining for Chest X-rays

像放射科医生一样观察：面向胸部X光片的上下文和目光引导的视觉-语言预训练

Kang Liu, Zhuoqi Ma, Siyu Liang, Yunan Li, Xiyue Gao, Chao Liang, Kun Xie, Qiguang Miao

机构 * Xidian University（西安电子科技大学） ； Wuhan University（武汉大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CoGaze框架，通过整合临床上下文和放射科医生目光引导，提升胸部X光片的视觉-语言预训练效果，实验显示在多个任务上均优于现有方法。

Comments Code: https://github.com/mk-runner/CoGaze

PromptLoop: Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment

PromptLoop: 通过潜在反馈实现扩散模型对齐的即插即用提示精炼

Suhyeon Lee, Jong Chul Ye

机构 * Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 PromptLoop通过引入潜在反馈的逐步提示精炼方法，提升扩散模型在奖励优化、泛化能力及对抗奖励黑客方面的性能，同时保持灵活性和通用性。

Comments CVPR26 poster. 25 pages, 19 figures

LLM-MRD: LLM-Guided Multi-View Reasoning Distillation for Fake News Detection

LLM-MRD: 基于大语言模型的多视角推理蒸馏用于虚假新闻检测

Weilin Zhou, Shanwen Tan, Enhao Gu, Yurong Qian

机构 * Xinjiang University, Urumqi, China（新疆大学） ； Sichuan University, Chengdu, China（四川大学） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University, Urumqi, China（丝绸之路多语种认知计算国际联合实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LLM-MRD框架，通过多视角推理蒸馏提升虚假新闻检测性能，实验显示在准确率和F1-Fake指标上均优于现有方法。

Comments Accepted at DASFAA 2026 (Oral)

From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs

从丢弃到恢复：对MLLMs分割能力的机理分析

Boyong Wu, Sanghwan Kim, Zeynep Akata

机构 * Technical University of Munich（慕尼黑技术大学） ； Helmholtz Munich（亥姆霍兹慕尼黑） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过逐层线性探测评估MLLMs整个流程，揭示适配器导致的分割表示下降及LLM层通过注意力机制逐步恢复的机制，为未来分割模型设计提供依据。

Fine-tuning MLLMs Without Forgetting Is Easier Than You Think

对多模态大语言模型进行微调而不遗忘比你想象的更容易

He Li, Yuhui Zhang, Xiaohan Wang, Kaifeng Lyu, Serena Yeung-Levy

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

AI总结 本文通过实验框架展示，简单调整微调方法可缓解灾难性遗忘，提出数据混合训练策略解决特定任务过拟合问题，并证明该方法可扩展至持续学习。

Spatio-Semantic Expert Routing Architecture with Mixture-of-Experts for Referring Image Segmentation

具有混合专家的时空语义专家路由架构用于指代图像分割

Alaa Dalaq, Muzammil Behzad

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SERA架构，通过在视觉语言框架中引入轻量级表达感知专家细化，提升指代图像分割的时空一致性与边界精度，实验表明其在准确定位和精细边界界定上表现优异。

A Two-Stage Multitask Vision-Language Framework for Explainable Crop Disease Visual Question Answering

一种用于可解释作物疾病视觉问答的双阶段多任务视觉-语言框架

Md. Zahid Hossain, Most. Sharmin Sultana Samu, Md. Rakibul Islam, Md. Siam Ansary

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出了一种轻量且可解释的双阶段多任务视觉-语言框架，用于作物疾病视觉问答，实现了高准确率和良好的可解释性。

Comments Preprint, manuscript is under review

Omni-C: Compressing Heterogeneous Modalities into a Single Dense Encoder

Omni-C：将异构模态压缩到单一密集编码器

Kin Wai Lau, Yasar Abbas Ur Rehman, Lai-Man Po, Pedro Porto Buarque de Gusmão

机构 * City University of Hong Kong（香港城市大学） ； TCL AI Lab（TCL人工智能实验室） ； University of Surrey, United Kingdom（英国萨里大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 Omni-C通过单一密集Transformer编码器学习跨异构模态的共享表示，有效缓解跨模态冲突，提升多模态学习的效率与可扩展性。

EvoPrune: Early-Stage Visual Token Pruning for Efficient MLLMs

EvoPrune：面向高效MLLMs的早期阶段视觉标记剪枝

Yuhao Chen, Bin Shan, Xin Ye, Cheng Chen

机构 * ByteDance（字节跳动） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 EvoPrune通过在视觉编码早期阶段剪枝视觉标记，提升多模态大语言模型的推理效率，实现在VideoMME数据集上2倍加速且性能损失低于1%。

Comments 16 pages, 4 figures, 3 tables

HiDrop: Hierarchical Vision Token Reduction in MLLMs via Late Injection, Concave Pyramid Pruning, and Early Exit

HiDrop：通过晚期注入、凹形金字塔剪枝和早期退出实现MLLM中的层次视觉令牌减少

Hao Wu, Yingqi Fan, Jinyang Dai, Junlong Tong, Yunpu Ma, Xiaoyu Shen

机构 * Institute of Digital Twin, Eastern Institute of Technology（数字孪生研究所，东部技术研究所） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Munich Center for Machine Learning, LMU Munich（慕尼黑大学机器学习中心，慕尼黑大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

AI总结 HiDrop通过晚期注入、凹形金字塔剪枝和早期退出机制，实现多模态大语言模型中视觉令牌的高效减少，提升训练效率并保持性能。

Comments Accepted to ICLR 2026

LLM2CLIP: Powerful Language Model Unlocks Richer Cross-Modality Representation

LLM2CLIP: 强大语言模型解锁更丰富的跨模态表示

Weiquan Huang, Aoqi Wu, Yifan Yang, Xufang Luo, Yuqing Yang, Usman Naseem, Chunyu Wang, Chunyu Wang, Qi Dai, Xiyang Dai, Dongdong Chen, Chong Luo, Lili Qiu, Liang Hu

专题命中 多模态训练与对齐 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL

AI总结 LLM2CLIP通过将强大语言模型与CLIP结合，提升跨模态表示能力，实现多种下游任务的性能改进。

Journal ref AAAI 2026

TIACam: Text-Anchored Invariant Feature Learning with Auto-Augmentation for Camera-Robust Zero-Watermarking

TIACam: 基于自增强的文本锚定不变特征学习用于抗相机零水印

Abdullah All Tanvir, Agnibh Dasgupta, Xin Zhong

机构 * Department of Computer Science University of Nebraska Omaha（计算机科学系 内布拉斯加大学奥马哈分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 TIACam通过文本锚定不变特征学习和自增强技术，实现抗相机重拍的零水印系统，提升特征稳定性和水印提取准确性。

Comments This paper is accepted to CVPR 2026

MedReasoner: Reinforcement Learning Drives Reasoning Grounding from Clinical Thought to Pixel-Level Precision

MedReasoner: 通过强化学习实现从临床思维到像素级精度的推理 grounding

Zhonghao Yan, Muxi Diao, Yuxuan Yang, Ruoyan Jing, Jiayuan Xu, Kaizhou Zhang, Lele Yang, Yanxi Liu, Kongming Liang, Zhanyu Ma

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 MedReasoner 通过强化学习实现从临床推理到像素级精度的医学影像 grounding，提出统一医学推理 grounding 任务和 U-MRG-14K 数据集，展示其在医学影像分析中的优越性能。

Comments AAAI2026

GMAIL: Generative Modality Alignment for generated Image Learning

GMAIL: 生成模态对齐用于生成图像学习

Shentong Mo, Sukmin Yun

机构 * Department of Machine Learning, CMU, USA（卡内基梅隆大学机器学习系） ； Department of Machine Learning, MBZUAI, UAE（马斯克大学人工智能研究所） ； Department of Artificial Intelligence, Hanyang University ERICA, South Korea（翰阳大学ERICA人工智能系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 GMAIL通过多模态学习方法对齐生成图像与真实图像，提升视觉-语言任务中的生成图像学习效果。