多模态大模型

Beyond Pooling: Matching for Robust Generalization under Data Heterogeneity

超越池化：在数据异质性下实现鲁棒泛化的匹配

Ayush Roy, Rudrasis Chakraborty, Lav Varshney, Vishnu Suresh Lokhande

机构 * SUNY Buffalo（纽约州立大学布法罗分校） ； Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室） ； SUNY Stony Brook（纽约州立大学石溪分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出一种匹配框架，通过自适应质心选择样本并迭代优化表示分布，以在数据异质性下实现更稳健的泛化，尤其在零样本医学异常检测中取得显著提升。

Comments AISTATS 2026

Predicting Camera Pose from Perspective Descriptions for Spatial Reasoning

从透视描述预测相机姿态用于空间推理

Xuejun Zhang, Aditi Tiwari, Zhenhailong Wang, Heng Ji

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 CAMCUE通过姿态感知的多图像框架，从自然语言描述中准确预测相机姿态，提升多视角空间推理效率。

InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions

InterPrior：为基于物理的人-物体交互扩展生成控制

Sirui Xu, Samuel Schulter, Morteza Ziyadi, Xialin He, Xiaohan Fei, Yu-Xiong Wang, Liangyan Gui

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 InterPrior通过大规模模仿预训练和强化学习微调，扩展生成控制以实现人形机器人在多样环境下泛化移动-操作技能。

Comments Webpage: https://sirui-xu.github.io/InterPrior/

Understanding Degradation with Vision Language Model

理解视觉退化

Guanzhou Lan, Chenyi Liao, Yuqi Yang, Qianli Ma, Zhigang Wang, Dong Wang, Bin Zhao, Xuelong Li

机构 * School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（人工智能学院、光学与电子学（iOPEN）、西北工业大学） ； Honors College, Northwestern Polytechnical University（荣誉学院、西北工业大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； School of Artificial Intelligence, Shanghai Jiaotong University（人工智能学院、上海交通大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出DU-VLM模型，通过结构化奖励强化学习解决视觉退化理解问题，引入大规模数据集并实现高保真图像恢复。

Comments 17 pages

Interpretable Logical Anomaly Classification via Constraint Decomposition and Instruction Fine-Tuning

通过约束分解和指令微调实现可解释的逻辑异常分类

Xufei Zhang, Xinjiao Zhou, Ziling Deng, Dongdong Geng, Jianxiong Wang

机构 * Beijing XingYun Digital Technology Co., Ltd.（北京星云数字技术有限公司） 纠错

专题命中 多模态训练与对齐 ：image-text(abstract)；分类 cs.CV

AI总结 LogiCls通过约束分解和指令微调实现工业逻辑异常的可解释分类，结合视觉-语言框架和数据驱动的监督方法，提升异常检测的准确性和可解释性。

Comments 6 pages, 6 figures

Lightweight RGB-T Tracking with Mobile Vision Transformers

轻量级RGB-T跟踪与Mobile Vision Transformers

Mahdi Falaki, Maria A. Amer

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Concordia University（康科迪亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种基于MobileViT的轻量级RGB-T跟踪器，通过渐进融合框架和可分离混合注意力模型，实现低参数量和高实时性能的多模态跟踪。

Comments Accepted for publication in ICASSP 2026. Implementation Code Available

GPG: A Simple and Strong Reinforcement Learning Baseline for Model Reasoning

GPG：一种简单而强大的用于模型推理的强化学习基线

Xiangxiang Chu, Hailang Huang, Xiao Zhang, Fei Wei, Yong Wang

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 GPG提出了一种简化且高效的强化学习方法，通过直接优化原始目标并消除冗余组件，实现了在多种任务中优于传统方法的性能。

Comments Accepted to ICLR2026

Samba+: General and Accurate Salient Object Detection via A More Unified Mamba-based Framework

Samba+: 通过更统一的Mamba框架实现通用且准确的显著目标检测

Wenzhuo Zhao, Keren Fu, Jiahao He, Xiaohong Liu, Qijun Zhao, Guangtao Zhai

机构 * College of Computer Science, Sichuan University（四川大学计算机学院） ； National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University（合成视觉基础科学国家级重点实验室） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机学院） ； School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与电子工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 Samba+通过统一的Mamba框架实现多模态显著目标检测，提升模型通用性和准确性。

When Is Rank-1 Enough? Geometry-Guided Initialization for Parameter-Efficient Fine-Tuning

何时秩-1足够？基于几何的初始化方法用于参数高效微调

Haoran Zhao, Soyeon Caren Han, Eduard Hovy

机构 * School of Computing and Information Systems, University of Melbourne, Melbourne, Australia（计算机与信息系统学院，墨尔本大学，墨尔本，澳大利亚） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Gap-Init方法，通过几何感知初始化稳定秩-1 LoRA微调，证明初始对齐对训练稳定性的重要性。

You Only Forward Once: An Efficient Compositional Judging Paradigm

你只需一次转发：一种高效的组合判断范式

Tianlong Zhang, Hongwei Xue, Shilin Yan, Di Wu, Chen Xu, Guannan Zhang, Yunyun Yang

机构 * School of Science, Harbin Institute of Technology, Shenzhen, Guangdong Province, China（哈尔滨工业大学深圳校区科学学院） ； Accio, Alibaba Group, Hangzhou, Zhejiang Province, China（阿里集团杭州Accio） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 YOFO通过单次前向传递高效判断多模态大语言模型的结构化要求，实现速度与可解释性的平衡，同时支持依赖分析和事后CoT。

Learning Modal-Mixed Chain-of-Thought Reasoning with Latent Embeddings

通过潜在嵌入学习模态混合的思考链推理

Yifei Shao, Kun Zhou, Ziming Xu, Mohammad Atif Quamar, Shibo Hao, Zhen Wang, Zhiting Hu, Biwei Huang

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出模态混合CoT方法，通过潜在嵌入结合视觉与文本信息，提升多模态推理性能。

Uncovering Latent Communication Patterns in Brain Networks via Adaptive Flow Routing

通过自适应流路由揭示脑网络中的潜在通信模式

Tianhao Huang, Guanghui Min, Zhenyu Lei, Aiying Zhang, Chen Chen

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出AFR-Net，通过神经通信动态视角融合SC和FC，揭示潜在神经通路，优于现有方法。

Layer-Aware Early Fusion of Acoustic and Linguistic Embeddings for Cognitive Status Classification

面向层的语音与语言嵌入早期融合用于认知状态分类

Krystof Novotny, Laureano Moro-Velázquez, Jiri Mekyska

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 eess.AS

AI总结 本文提出通过语音与语言嵌入的早期融合，结合编码器层深度优化，提升认知状态分类性能，发现中等编码层效果最佳。

Comments 5 pages, 3 figures, paper accepted for ICASSP 2026 conference

NegoCollab: A Common Representation Negotiation Approach for Heterogeneous Collaborative Perception

NegoCollab: 一种用于异构协作感知的共同表示协商方法

Congzhang Shao, Quan Yuan, Guiyang Luo, Yue Hu, Danni Wang, Yilin Liu, Rui Pan, Bo Chen, Jinglin Li

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 NegoCollab通过协商共同表示方法解决异构协作感知中的领域差距问题，提升多智能体协作性能。

Comments 23 pages, Accepted by NeurIPS 2025

Bi-MCQ: Reformulating Vision-Language Alignment for Negation Understanding

Bi-MCQ：重新表述视觉-语言对齐以理解否定

Tae Hun Kim, Hyun Gyu Lee

机构 * Department of Electrical and Computer Engineering, Inha University, Republic of Korea（电气与计算机工程系，印哈大学，大韩民国） ； College of Medicine, Inha University, Republic of Korea（医学学院，印哈大学，大韩民国） 纠错

专题命中 多模态训练与对齐 ：image-text(abstract)；分类 cs.CV

AI总结 Bi-MCQ通过重新表述视觉-语言对齐为条件语义比较，提升医学VLM对否定理解的性能。

Comments 15 pages, 4 figures, Submitted to ICPR 2026 (under review)

InstructPLM-mu: 1-Hour Fine-Tuning of ESM2 Beats ESM3 in Protein Mutation Predictions

InstructPLM-mu：在1小时内微调ESM2在蛋白质突变预测中优于ESM3

Junde Xu, Yapin Shi, Lijun Lang, Taoyong Cui, Zhiming Zhang, Guangyong Chen, Jiezhong Qiu, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Hangzhou Institute of Medicine, CAS（杭州医学研究所，中国科学院） ； Hangzhou Institute for Advanced Study, UCAS（杭州先进研究 institute，中国科学院大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tianjin University（天津大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 InstructPLM-mu通过1小时微调ESM2在蛋白质突变预测中超越ESM3，揭示了结构输入对模型性能的关键影响。

Comments preprint

DF-LLaVA: Unlocking MLLMs for Synthetic Image Detection via Knowledge Injection and Conflict-Driven Self-Reflection

DF-LLaVA: 通过知识注入和冲突驱动的自我反思解锁MLLMs用于合成图像检测

Zhuokang Shen, Kaisen Zhang, Bohan Jia, Heming Jia, Yuan Fang, Zhou Yu, Shaohui Lin

机构 * East China Normal University（东华师范大学） ； Sanming University（三明大学） ； The 27th Research Institute of CETC（中国电子科技集团第27研究所） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract)；分类 cs.CV

AI总结 DF-LLaVA通过知识注入和冲突驱动的自我反思，提升MLLMs在合成图像检测中的准确性和可解释性。

Comments Under review

RSGround-R1: Rethinking Remote Sensing Visual Grounding through Spatial Reasoning

RSGround-R1: 重新思考通过空间推理的遥感视觉定位

Shiqi Huang, Shuting He, Bihan Wen

机构 * School of Electrical and Electronic Engineering, Nanyang Technological University（电气电子工程学院，南洋理工大学） ； MoE Key Laboratory of Interdisciplinary Research of Computation and Economics, Shanghai University of Finance and Economics（教育部计算与经济交叉学科重点实验室，上海财经大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 RSGround-R1通过引入空间推理引导的后训练框架，提升遥感图像中目标物体的定位精度与鲁棒性。

HADUA: Hierarchical Attention and Dynamic Uniform Alignment for Robust Cross-Subject Emotion Recognition

HADUA：层次注意力与动态统一对齐用于鲁棒的跨受体情绪识别

Jiahao Tang, Youjun Li, Yangxuan Zheng, Xiangting Fan, Siyuan Lu, Nuo Zhang, Zi-Gang Huang

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.MM

AI总结 HADUA通过层次注意力与动态统一对齐方法，提升跨受体情绪识别的鲁棒性和准确性。

Finetune-Informed Pretraining Boosts Downstream Performance

微调引导预训练提升下游性能

Atik Faysal, Mohammad Rostami, Reihaneh Gh. Roshan, Nikhil Muralidhar, Huaxia Wang

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 FIP通过优化目标模态的表示学习，提升多模态下游任务性能，无需额外数据或计算资源。

Evaluating the Predictive Value of Preoperative MRI for Erectile Dysfunction Following Radical Prostatectomy

术前MRI对根治性前列腺切除术后勃起功能障碍预测价值的评估

Gideon N. L. Rouwendaal, Daniël Boeke, Inge L. Cox, Henk G. van der Poel, Margriet C. van Dijk-de Haan, Regina G. H. Beets-Tan, Thierry N. Boellaard, Wilson Silva

机构 * University of Amsterdam（阿姆斯特丹大学） ； Antoni van Leeuwenhoek-Netherlands Cancer Institute（安托尼·范·列文霍克-荷兰癌症研究所） ； Department of Urology（泌尿科部） ； AI Technology for Life（人工智能技术生命） ； Utrecht University（乌特勒支大学） ； GROW School for Oncology and Developmental Biology（GROW肿瘤学与发育生物学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究评估了术前MRI对根治性前列腺切除术后勃起功能障碍预测价值，发现MRI模型在某些方面略优于传统方法，但未超越临床特征。

Comments 13 pages, 5 figures, 2 tables. Accepted at PRedictive Intelligence in MEdicine workshop @ MICCAI 2025 (PRIME-MICCAI). This is the submitted manuscript with added link to github repo, funding acknowledgements and authors' names and affiliations. No further post submission improvements or corrections were integrated. Final version not published yet

AMGFormer: Adaptive Multi-Granular Transformer for Brain Tumor Segmentation with Missing Modalities

AMGFormer: 适应性多粒度变换器用于缺失模态的脑肿瘤分割

Chengxiang Guo, Jian Wang, Junhua Fei, Xiao Li, Chunling Chen, Yun Jin

机构 * 1 Faculty of Information Engineering ； Automation, Kunming University of Science ； Technology 2 Hepatobiliary \& Pancreatic Surgery, First People's Hospital of Yunnan/KUST Affiliated Hospital 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 AMGFormer通过三个协同模块提升脑肿瘤分割在缺失模态下的稳定性，实现高精度分割和泛化能力。

TIGaussian: Disentangle Gaussians for Spatial-Awared Text-Image-3D Alignment

TIGaussian: 解耦高斯分布以实现空间感知的图文-3D对齐

Jiarun Liu, Qifeng Chen, Yiru Zhao, Minghua Liu, Baorui Ma, Sheng Yang

机构 * Unmanned Vehicle Dept., Cainiao Inc., Alibaba Group, Hangzhou, China（阿里巴巴集团 Cainiao 无人机部门，杭州，中国） ； Hillbot, Sunnyvale, USA（Hillbot，美国 Sunnyvale） ； Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院，北京，中国） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 TIGaussian通过多分支3DGS分词器和模态特定对齐策略，实现空间感知的图文-3D跨模态对齐，提升3D相关任务的预训练效果。

A Genealogy of Foundation Models in Remote Sensing

遥感领域基础模型的谱系

Kevin Lane, Morteza Karimzadeh

机构 * University of Colorado, Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文探讨了遥感领域基础模型的发展历程，分析了单传感器与多传感器方法的优劣，并提出了未来改进方向。

Comments 28 pages, submitted to ACM SigSpatial, accepted as of January 12th, 2026. This is the second revision from the original 20-page manuscript

CONQUER: Context-Aware Representation with Query Enhancement for Text-Based Person Search

基于查询增强的上下文感知表示方法用于基于文本的人检索

Zequn Xie

机构 * Zhejiang University, Hangzhou, China（浙江大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 CONQUER通过增强跨模态对齐和自适应查询细化，提升基于文本的人检索的准确性和鲁棒性。

Comments Accepted by ICASSP 2026

Grounded Concreteness: Human-Like Concreteness Sensitivity in Vision-Language Models

grounded concreteness: 人类-like 的 concreteness 敏感性在 vision-language 模型中

Aryan Roy, Zekun Wang, Christopher J. MacLellan

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 本文研究了视觉语言模型在纯文本提示下对concreteness的敏感性，并发现其在更具体的输入上表现更优，具有更清晰的表示和更符合人类规范的判断。

Towards Interpretable Deep Generative Models via Causal Representation Learning

通过因果表示学习实现可解释的深度生成模型

Gemma E. Moran, Bryon Aragam

机构 * Department of Statistics, Rutgers University（统计学系，罗格斯大学） ； Booth School of Business, University of Chicago（商学院，芝加哥大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出通过因果表示学习实现可解释的深度生成模型，结合潜变量模型、因果图模型和非参数统计，旨在提升生成模型的可解释性和迁移能力。

Comments Accepted in Journal of the American Statistical Association: Special Issue on AI

STARS: Shared-specific Translation and Alignment for missing-modality Remote Sensing Semantic Segmentation

STARS: 共享-特定翻译与对齐用于缺失模态遥感语义分割

Tong Wang, Xiaodong Zhang, Guanzhou Chen, Jiaqi Wang, Chenxi Liu, Xiaoliang Tan, Wenchao Guo, Xuyang Li, Xuanrui Wang, Zifan Wang

机构 * State Key Laboratory of information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（测绘遥感信息工程国家重点实验室，武汉大学） ； Electronic Information School, Wuhan University（电子信息学院，武汉大学） ； Hubei FreerTech Co. Ltd（湖北弗瑞特科技有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 STARS通过共享-特定翻译与对齐机制，解决多模态遥感中缺失模态带来的语义分割问题，提升鲁棒性和类别识别能力。

Generalizing WiFi Gesture Recognition via Large-Model-Aware Semantic Distillation and Alignment

通过大模型感知的语义蒸馏与对齐实现WiFi手势识别的泛化

Feng-Qi Cui, Yu-Tong Guo, Tianyue Zheng, Jinyang Huang

机构 * Institute of Advanced Technology, University of Science and Technology of China（科学技术大学先进技术研究院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） ； School of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 GLSDA通过大模型感知的语义蒸馏与对齐提升WiFi手势识别的泛化能力，实现领域内和跨领域任务的高性能识别。

Comments Accepted by IEEE ICPADS 2025

NeuroKoop: Neural Koopman Fusion of Structural-Functional Connectomes for Identifying Prenatal Drug Exposure in Adolescents

NeuroKoop：神经Koopman融合结构-功能连接组用于识别青少年孕期药物暴露

Badhan Mazumder, Aline Kotoski, Vince D. Calhoun, Dong Hye Ye

机构 * Department of Computer Science, Georgia State University（计算机科学系，佐治亚州立大学） ； Neuroscience Institute, Georgia State University（神经科学研究所，佐治亚州立大学） ； Tri-Institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS)（跨机构神经影像与数据科学转化研究中心（TReNDS）） ； Georgia State University, Georgia Institute of Technology, and Emory University（佐治亚州立大学、佐治亚理工学院和埃默里大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 NeuroKoop通过神经Koopman算子融合结构-功能连接组，提升青少年孕期药物暴露识别的准确性和鲁棒性。

Comments Published in the Proceedings of the 2025 IEEE EMBS International Conference on Biomedical and Health Informatics (BHI). IEEE Xplore. DOI: 10.1109/BHI67747.2025.11269557