多模态大模型

PathFLIP: Fine-grained Language-Image Pretraining for Versatile Computational Pathology

PathFLIP：面向多功能计算病理学的细粒度语言-图像预训练

Fengchun Liu, Songhan Jiang, Linghan Cai, Ziyue Wang, Yongbing Zhang

机构 * Harbin Institute of Technology, Shenzhen, School of Computer Science and Technology（哈尔滨工业大学（深圳）计算机科学与技术学院） ； National University of Singapore, Department of Electronic and Computer Engineering（新加坡国立大学电子与计算机工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出PathFLIP框架，通过将幻灯片级描述分解为区域级子描述并生成文本条件区域嵌入，实现细粒度视觉-语言对齐，在多个基准上优于现有模型且训练数据更少。

V-Zero: Answer-Label-Free On-Policy Distillation with Contrastive Evidence Gating for Fine-Grained Visual Reasoning

V-Zero: 无答案标签的在线策略蒸馏与对比证据门控用于细粒度视觉推理

Haoxiang Sun, Zhihang Yi, Langxuan Deng, Yuhao Zhou, Peiqi Jia, Jian Zhao, Li Yuan, Jiancheng Lv, Tao Wang

机构 * SCU（四川大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出V-Zero框架，通过对比证据门控评估学生采样轨迹，无需答案标签即可实现细粒度视觉推理的在线策略蒸馏，训练速度比监督微调快5倍以上。

Enhancing Clinician Decision-Making via Uncertainty-Aware Multi-Expert Fusion for Stroke Rehabilitation

通过不确定性感知的多专家融合增强中风康复中的临床决策

Tamim Ahmed, Thanassis Rikakis

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出xAARA引擎，利用动态贝叶斯网络和熵门控融合多模态模型，为中风康复提供带校准不确定性和解释的ARAT评估，实现高准确率并减少不确定性。

Towards Integrating Multi-Spectral Imaging with Gaussian Splatting

迈向多光谱成像与高斯点扩散的整合

Josef Grün, Lukas Meyer, Maximilian Weiherer, Bernhard Egger, Marc Stamminger, Linus Franke

机构 * Visual Computing Erlangen, Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany（埃朗根视觉计算，埃朗根-纽伦堡弗里德里希-亚历山大大学，德国） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文研究如何将颜色（RGB）和多光谱成像（红、绿、红边和近红外）整合到3D高斯点扩散框架中，通过三种策略验证了联合优化的有效性，提升了多光谱重建质量。

Comments for project page, see https://meyerls.github.io/towards_multi_spec_splat/

Progressive Pixel-Neighborhood Deformable Cross-Attention for Multispectral Object Detection

渐进式像素邻域可变形交叉注意力用于多光谱目标检测

Tian Qiu, Jifeng Shen, Xin Zuo

机构 * School of Electrical and Information Engineering, Jiangsu University（江苏大学电气与信息工程学院） ； School of Computer Science and Engineering, Jiangsu University of Science and Technology（江苏科技大学计算机科学与工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出PNAFusion，通过像素邻域交叉注意力和自适应可变形对齐模块，渐进式优化多光谱特征融合，在多个数据集上达到高精度并降低计算开销。

Comments Accepted by Sensors

EvidenceLens: A Claim-Evidence Matrix for Auditing Financial Question Answering

EvidenceLens: 用于审计金融问答的声明-证据矩阵

Fengchen Gu, Xiaotian Ren, Zhengyong Jiang, Zhilu Zhang, Ángel F. García-Fernández, Angelos Stefanidis, Mian Zhou, Huakang Li, Jionglong Su

机构 * 1 School of AI ； Advanced Computing, XJTLU Entrepreneur College (Taicang), Xi’an Jiaotong-Liverpool University, Suzhou, Jiangsu, China 2 ETSI de Telecomunicaci\' o n, Universidad Polit\' e cnica de Madrid, Madrid, Spain IEEE VIS 2026 conditionally accepted version 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 提出EvidenceLens，一种将金融问答视为声明-证据对齐问题的可视化分析工具，通过多模态声明-证据矩阵揭示覆盖、矛盾与模态不平衡，帮助分析师区分有依据的声明与过度自信的综合。

A Hybrid, Multi-Layered Pipeline for Phishing and Threat Classification: Independently Validated URL and NLP Engines with a Calibrated Multi-Channel Fusion Stage

用于钓鱼和威胁分类的混合多层管道：独立验证的URL和NLP引擎与校准的多通道融合阶段

Saifelden M. Ismail, Aser O. Ibrahim, Omar A. Mahmoud

机构 * Department of Communications and Information Engineering（通讯与信息工程系） ； Zewail City of Science and Technology（泽瓦尔科学与技术城） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CL

AI总结 提出一种混合管道，分别对URL和文本模态使用独立引擎评分并融合结果，在10,677封邮件基准测试中达到F1=0.914，并将真实垃圾邮件误报率降至3.6%。

Comments Graduation project, Zewail City of Science and Technology. Code and documentation: https://github.com/XHCFS/cybersiren. Whole-system fusion results use proxy URL and header channels; treat integrated metrics as preliminary

Cohort-Anchored Foundation Models for Electronic Health Records: From Risk Scores to Auditable Peer Cohorts

基于队列锚定的电子健康记录基础模型：从风险评分到可审计的同行队列

Kaiping Zheng

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出CAFM框架，将患者队列作为一等对象融入学习流程，通过四个阶段提升数据质量、组织表示并支持可审计决策，以解决基础模型在临床部署中的可解释性、分布偏移和临床对齐问题。

Timage: A Generative Text-in-Image Paradigm for Fine-Tuning Vision-Language Models

Timage: 一种用于微调视觉语言模型的文本嵌入图像生成范式

Yifeng Wu, Huimin Huang, Ruiluo Wu, Chunyi Lin, Guanhua Chen, Xian Wu, Wang Song, Ruize Han

机构 * Fudan University（复旦大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Tencent Jarvis Lab（腾讯贾维斯实验室） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Timage范式，通过约束薛定谔桥将查询文本作为排版覆盖层嵌入图像，以显式空间锚点引导模型关注，在不侵蚀骨干能力前提下提升细粒度空间推理性能。

Comments ECCV

A Unified Framework for Efficient Remote Sensing Visual Question Answering: Adapting Dual, Hybrid, and Encoder-Decoder Architectures

高效遥感视觉问答的统一框架：适配双编码器、混合架构和编码器-解码器架构

Timothy Agboada, Shikha Chandel, Yadav Raj Ghimire, Leila Hashemi-Beni

机构 * Computational Data Science and Engineering（计算数据科学与工程） ； College of Science and Technology（科学与技术学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出RS Adapter参数高效微调策略，在三种视觉语言模型架构上注入轻量瓶颈适配器，仅用不到5%可训练参数实现遥感VQA，混合架构FLAVA在多模态推理与检索间取得最佳平衡。

Comments 4 pages, 2 figures, accepted and to be presented at 2026 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2026), scheduled for 9 to 14 August 2026 in Washington D.C

One-Step Token-to-Waveform Generation with MeanFlow in Latent Space

基于潜在空间中MeanFlow的一步式Token到波形生成

Zheqi Dai, Guangyan Zhang, Zhen Ye, Jingyu Li, Haolin He, Chunyat Wu, Yiwen Guo, Qiuqiang Kong

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 eess.AS

AI总结 提出MeanFlow在高度压缩潜在空间中实现一步式Token2Wav生成，解决多步流匹配解码器的速度-质量权衡，RTF提升17倍且质量损失可忽略。

Comments 5 pages, 1 figure

OlfactProfile: Profile-Conditioned Odor Prediction from Audiovisual Content

OlfactProfile: 基于用户嗅觉特征从视听内容预测气味

Zhengyu Lou, Bosheng Qin, Yanan Wang, Duanduan Yin, Wentao Ye, Yu Xin

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.MM

AI总结 提出OlfactProfile框架，通过结构化场级用户嗅觉特征调制，实现从视听内容预测气味，优于基线模型和通用多模态大模型，在背景气味和情感气味预测上提升显著。

Comments 10 pages, 5 figures

Data-Driven Decoding of Russell's Circumplex Model of Affect

基于数据驱动的Russell情感环状模型解码

Amdjed Belaref, Samir Sadok, Zineb Noumir, Renaud Seguier

机构 * Alten ； CentraleSupélec IETR UMR CNRS 6164（中央理工-高等电力学院 IETR CNRS 6164 联合研究单位） ； Inria at Univ. Grenoble Alpes, CNRS, LJK（法国国家信息与自动化研究所，格勒诺布尔阿尔卑斯大学，CNRS，LJK） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 本文研究Transformer嵌入是否恢复Russell环状模型的几何规律，通过文本和语音模型实验，发现多模态融合完美对齐情感排序，零样本下细粒度情感词接近人类映射坐标。

Comments This work has been submitted to the IEEE for possible publication

3D Classification of Paramagnetic Rim Lesions in Multiple Sclerosis via Asymmetric QSM-FLAIR Modeling

多发性硬化症中顺磁性边缘病变的3D分类：基于非对称QSM-FLAIR建模

Veronica Pignedoli, Giacomo Boffa, Nicoletta Noceti, Matilde Inglese, Francesca Odone, Matteo Moro

机构 * MaLGa, DIBRIS, University of Genova（热那亚大学） ； DINOGMI, University of Genova（热那亚大学） ； IRCCS Azienda Ospedaliera Metropolitana（IRCCS大都会医院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种3D多模态深度学习框架，利用非对称QSM-FLAIR建模对多发性硬化症中的顺磁性边缘病变进行自动分类，通过自监督预训练和对比正则化提升有限数据下的鲁棒性，在88名患者队列中验证了有效性。

Comments 10 pages, 3 figures, accepted at MICCAI 2026. Github link: https://github.com/veronicapignedoli/FRODO

MVOFormer: Flow-Semantic Transformer for Robust Monocular Visual Odometry

MVOFormer：用于鲁棒单目视觉里程计的流-语义Transformer

Jituo Li, Shunwang Sun, Jialu Zhang, Xinqi Liu, Jinyao Hu, Zhicheng Lu, Sajad Saeedi, Guodong Lu

机构 * State Key Laboratory of Fluid Power and Mechatronic Systems, Zhejiang University（浙江大学流体动力与机电系统国家重点实验室） ； Zhejiang Key Laboratory of Industrial Big Data and Robot Intelligent Systems（浙江省工业大数据与机器人智能系统重点实验室） ； School of Mechanical Engineering, Zhejiang University（浙江大学机械工程学院） ； Robotics Institute, Zhejiang University（浙江大学机器人研究院） ； School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院） ； Rural Health Research Institute, Charles Sturt University（查尔斯特大学农村健康研究所） ； University College London（伦敦大学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出MVOFormer，一种流-语义双分支编码器与迭代多模态解码器结合的Transformer框架，通过融合密集几何运动与语义先验实现粗到细位姿优化，在零样本泛化上显著超越现有方法。

Comments 8 pages, 6 figures. Accepted for publication in IEEE Robotics and Automation Letters (RA-L)

Explainable Task-Oriented Token Communication for AI-Native 6G Networks

面向AI原生6G网络的可解释任务导向Token通信

Feibo Jiang, Lei Mao, Li Dong, Kezhi Wang, Cunhua Pan, Jiangzhou Wang

机构 * IEEE 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出ET-TokenCom框架，通过跨模态注意力融合视觉Token与任务Token，实现可解释的任务导向图像通信，解决Token表示不足、协作差和可解释性低的问题。

Pathway-Structured Privileged Distillation for Deployable Computational Pathology

面向可部署计算病理学的通路结构特权蒸馏

Yongxin Guo, Hao Lu, Onur Koyun, Muhammet Demir, Metin Gurcan

机构 * School of Medicine, Wake Forest University（威克森林大学医学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出MoPE框架，通过通路索引病理专家和记忆使用对齐，将多模态学习转化为仅组织学推理的特权蒸馏，提升全切片图像推理性能。

Token Reduction Should Go Beyond Efficiency in Generative Models -- From Vision, Language to Multimodality

Token缩减应超越生成模型中的效率——从视觉、语言到多模态

Zhenglun Kong, Yize Li, Fanhu Zeng, Lei Xin, Shvat Messica, Xue Lin, Pu Zhao, Manolis Kellis, Hao Tang, Marinka Zitnik

机构 * Harvard University（哈佛大学） ； Northeastern University（东北大学） ； CAS（中国科学院） ； Wuhan University（武汉大学） ； MIT（麻省理工学院） ； Peking University（北京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出Token缩减应超越传统效率优化，成为生成模型的基础原则，通过减少冗余token来促进多模态融合、缓解幻觉、维持长输入连贯性并提升训练稳定性。

Comments Project page: https://github.com/ZLKong/Awesome-Collection-Token-Reduction

Trimodal Glioma Representation Alignment via Volumetric Contrastive Learning

三模态胶质瘤表示对齐通过体积对比学习

Denise Marini, Eleonora Grassucci, Danilo Comminiello

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出GLORIA框架，通过Gramian对比损失对齐组织病理、基因表达和MRI三模态特征，用于胶质瘤分级和生存预测，在132例患者数据上优于双模态基线。

One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs

一层的垃圾是另一层的宝藏：LVLMs中自适应逐层视觉标记选择

Yongru Chen, Kai Zhang, Zeliang Zong, Yuchen Lu, Wenming Tan, Ye Ren, Jilin Hu

机构 * Hikvision Research Institute（海康威视研究院） ； Peking University（北京大学） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出自适应逐层视觉标记选择（ALVTS），通过轻量级选择器为不同层路由重要标记，实现高效压缩，在89%压缩率下保留96.7%精度。

Comments Accepted by CVPR 2026 (highlight)

ShearFuse-UNet: Hadamard, DCT, and Shearlet Transform Fusion for Next-Day Wildfire Spread Prediction

ShearFuse-UNet: Hadamard、DCT和Shearlet变换融合用于次日野火蔓延预测

Ene Meco, Yingyi Luo, Emadeldeen Hamdan, Adam Watts, Ahmet Enis Cetin

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； US Forest Service, Pacific Wildland Fire Science Laboratory（美国林务局太平洋野火科学实验室） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出ShearFuse-UNet，一种轻量级深度学习模型，通过融合WHT、DCT和Shearlet变换分支，在U-Net编码器中实现多模态卫星数据的次日野火蔓延预测，以267k参数达到0.596 F1分数，优于ResNet18 U-Net。

MiniMax Sparse Attention

MiniMax 稀疏注意力

Xunhao Lai, Weiqi Xu, Yufeng Yang, Qiaorui Chen, Yang Xu, Lunbin Zeng, Xiaolong Li, Haohai Sun, Haichao Zhu, Vito Zhang, Jinkai Hu, Jiayao Li, Rui Gao, Zekun Li, Songquan Zhu, Jingkai Zhou, Pengyu Zhao

机构 * MiniMax ； Peking University（北京大学） ； NVIDIA（英伟达） ； Zhejiang University（浙江大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出 MiniMax 稀疏注意力（MSA），一种基于分组查询注意力的块级稀疏注意力机制，通过轻量索引分支选择 Top-k 键值块，实现高效长上下文处理，在 109B 模型上以 1M 上下文减少 28.4 倍注意力计算，并带来 14.2 倍预填充和 7.6 倍解码加速。

Comments 30 pages, 14 figures

Sub-Token Routing for KV Cache Compression

子令牌路由用于KV缓存压缩

Wei Jiang, Wei Wang

机构 * Futurewei Technologies（未来智科） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 提出子令牌路由方法，在保留令牌内对值向量分组并选择性保留，与令牌级压缩互补，在LLM和VLM中提升压缩性能。

Comments 17 pages, 8 tables, 2 figures

Brick: Spatial Capability Routing for the Mixture-of-Models (MoM) Paradigm

Brick: 面向混合模型范式的空间能力路由

Francesco Massa, Marco Cristofanilli

机构 * Regolo AI ； Seeweb 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出Brick多模态路由器，通过六维能力评分与查询难度估计，结合成本惩罚几何规则调度模型，在质量与成本间实现灵活权衡。

Comments 17 pages, 5 figures. Technical report

From Imitation to Alignment: Human-Preference Flow Policies for Long-Horizon Sidewalk Navigation

从模仿到对齐：面向长距离人行道导航的人类偏好流策略

Honglin He, Zhizheng Liu, Yukai Ma, Bolei Zhou

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出FlowPilot，一种仅使用单目RGB相机的无地图导航策略，通过锚定流匹配进行预训练，并引入人类偏好学习实现对齐，在长距离人行道导航中提升鲁棒性和社会合规性。

Motion Reinforces Appearance: RGB-Skeleton Gated Residual Fusion for Micro-Gesture Online Recognition

运动增强外观：用于微手势在线识别的RGB-骨架门控残差融合

Jialin Liu, Xinwen He, Pengyu Liu, Jiale Shi, Huaijuan Zang, Yanbin Hao

机构 * School of Computer Science and Information Engineering, Hefei University of Technology (HFUT), Hefei, China（合肥工业大学计算机与信息工程学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出DyFADet+双流RGB-骨架框架，通过门控残差模块自适应融合骨架运动与RGB特征，实现微手势在线识别，在SMG数据集上F1达40.88，排名第二。

Comments 13 pages, 2 figures

The Unreasonable Effectiveness of Discrete-Time Gaussian Process Mixtures for Robot Policy Learning

离散时间高斯过程混合在机器人策略学习中的惊人有效性

Jan Ole von Hartz, Adrian Röfer, Joschka Boedecker, Abhinav Valada

机构 * Department of Computer Science, University of Freiburg, Germany（弗赖堡大学计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出MiDiGap方法，利用少量演示和相机观测，通过离散时间高斯过程混合实现机器人操作策略的灵活表示与模仿学习，在长时域、高约束、动态和多模态任务上取得SOTA性能，并支持推理时引导。

Comments Submitted for publication to IEEE Transaction on Robotics

Fusing Satellite Imagery and Planimetric Maps for Cross-View Localization

融合卫星图像与平面地图的跨视角定位

Quang Long Ho Ngo, Zimin Xia, Alexandre Alahi

机构 * École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院洛桑校区） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出一种融合卫星图像与平面地图的模块，通过跨模态条件化和补丁级融合规则，将定位误差降低30.13%。

Let ViT Speak: Generative Language-Image Pre-training

让ViT说话：生成式语言-图像预训练

Yan Fang, Mengcheng Lan, Zilong Huang, Weixian Lei, Yunqing Zhao, Yujie Zhong, Yingchen Yu, Qi She, Yao Zhao, Yunchao Wei

机构 * Beijing Jiaotong University（北京交通大学） ； ByteDance（字节跳动） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出GenLIP框架，通过语言建模目标直接训练ViT从视觉token预测语言token，无需对比学习或额外文本解码器，实现简单、可扩展且性能优异的视觉编码器。

Comments 27 pages, 11 figures. Code and models are available at https://github.com/YanFangCS/GenLIP

Next-Token Prediction Learns Generalisable Representations of Sleep Physiology

下一个词预测学习睡眠生理学的可泛化表示

Jonathan F. Carter, Lionel Tarassenko

机构 * Institute of Biomedical Engineering, University of Oxford（牛津大学生物医学工程研究所） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出Hypnos模型，通过下一个词预测目标，从多模态生理信号中学习可泛化表示，在睡眠阶段分类和房颤检测等任务上显著优于现有基础模型。