视觉大模型 / VLM

PixRec: Leveraging Visual Context for Next-Item Prediction in Sequential Recommendation

PixRec: 利用视觉上下文进行序列推荐中的下一项预测

Sayak Chakrabarty, Souradip Pal

机构 * Department of Computer Science, Northwestern University（北western大学计算机科学系） ； Elmore Family School of Electrical and Computer Engineering（电气与计算机工程学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 PixRec通过整合视觉信息提升序列推荐的准确性，利用视觉-语言模型在电子商务中实现更精准的下一项预测。

Comments 9 pages, 2 figures

EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input

EgoGazeLite：面向 token 高效多模态大语言模型视频输入的设备内自我中心注视预测

Matteo Stoiber, Niels Buus Lassen

机构 * Copenhagen Business School（哥本哈根商学院） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 EgoGazeLite 是轻量双进程注视预测器，可在消费级硬件上实时运行，无需眼动追踪硬件即可实现 token 高效的自我中心视频理解，性能与真实注视裁剪无显著差异。

Comments 16 pages. Accepted at the WearableAI Workshop, ECCV 2026 (Archival Track)

When Do Cheap Probes Predict Expensive Training? Probing 3D-CT Encoders for Text Generation

廉价探针预测3D-CT视觉语言模型中的昂贵训练

Renjie Liang, Zijian Xu

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究为3D-CT视觉语言模型选编码器及压缩方案时，候选组合多难比较。提出用廉价探针替代，构建含验证门限的探测基准，比较读出头并配对探针与下游任务，早期结果显示廉价探针排序与昂贵微调一致，有望快速筛选方案。

The Role of Natural Language Understanding in Multimodal Video-Based Dengue Diagnosis

自然语言理解在基于多模态视频的登革热诊断中的作用

Danial Sharifrazi, Saadat Behzadi, Julakha Jahan Jui, Mojtaba Mohammadi, Nouman Javed, Roohallah Alizadehsani, Prasad N. Paradkar, Asim Bhatti

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出基于YOLO和CLIP的视觉-语言框架，从视频中分类未受感染与DENV2感染的蚊子，帧级准确率达98.54%、灵敏度达99.91%，证实该框架可用于分析感染相关生物行为。

Constitutional On-Policy Safe Distillation

宪法性在策略安全蒸馏

Ming Wen, Yuxuan Liu, Kun Yang, Yunhao Feng, Zhuoer Xu, Yuhao Sun, Shiwen Cui, Xiang Zheng, Yi Liu, Xingjun Ma, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI（可信具身人工智能研究院） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对在策略自蒸馏在安全对齐中因宪法条件导致教师分布收缩、表达能力下降的问题，提出宪法性在策略安全蒸馏（COPSD），通过交叉SFT冷启动校准教师分布，再进行宪法条件在策略蒸馏，在12个基准上实现了更优的安全-有用性权衡并降低安全税。

LookBack: Where and How to Score LVLM Responses via Visual Reference Usage

LookBack：通过视觉参考使用情况对LVLM响应进行评分的位置与方法

Beomsik Cho, Jinhyeong Kim, Dongseok Lee, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对LVLM响应存在的图像相关幻觉问题，提出无需训练的LookBack评分方法，结合视觉回溯评分增强token似然，在四个基准和三个模型上提升了Best-of-$N$选择性能且开销极小。

Comments 19 pages, 10 figures. Code: https://github.com/bscho333/LookBack

Low-Interaction-Rank Learning: Unifying Multiplicative Dual-Encoder Heads

低交互秩学习：统一乘法双编码器头

Zijian Zhao, Sen Li

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出低交互秩学习框架，统一乘法双编码器头架构，解决其设计决策、可识别性等问题，经实验验证该框架可解释对比维度不可解释性并恢复真实模式。

Dynamic Context Adapters: Efficiently Infusing History into Vision-and-Language Models

动态上下文适配器：将历史信息高效注入视觉-语言模型

Yuhang Song, Bor-Jiun Lin, Jiaxu Liu, Te-Chuan Chiu, Anh Nguyen, Chun-Yi Lee

机构 * University of Liverpool（利物浦大学） ； National Tsinghua University（国立清华大学） ； Imperial College London（伦敦帝国学院） ； National Taiwan University（国立台湾大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对视觉-语言模型整合历史上下文时的计算与信息损失问题，提出动态上下文适配器（DCA），实现高效历史注入，降低注意力FLOPs超25%、内存13%，提升长时序任务性能。

Ablation-Corrected Evaluation of Attribution Maps in Echocardiographic Ejection-Fraction Models

解剖结构忠实但时间上盲目：超声心动图左心室射血分数估计的归因审核

Hyunkyung Han, Min Jung Kim

机构 * School of Integrated Medicine, Yonsei University（延世大学统合医学院） ； Department of Radiology, Research Institute of Radiologic Science, Yonsei University College of Medicine（延世大学医学院放射科学研究所放射科） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 研究超声心动图左心室射血分数估计模型的归因，微调VideoMAE Transformer和R(2+1)D CNN两个回归器，用多指标审核发现模型空间忠实但时间盲目，强调空间忠实不代表时间忠实，警示XAI验证并呼吁时间感知训练评估。

Comments 12 pages, 4 figures. v2: the chance level is now measured rather than computed, which corrects the ratios reported in v1. Adds a composition-matched ablation with an equal-area control, a reliability estimate for it, an ablation-derived score to report alongside overlap, seed repetition, and pediatric validation

Token-Based Detection of Spurious Correlations in Vision Transformers

基于Token的视觉Transformer虚假相关性检测

Solha Kang, Esla Timothy Anzaku, Wesley De Neve, Arnout Van Messem, Joris Vankerschaver, Francois Rameau, Utku Ozbulak

机构 * Center for Biosystems and Biotech Data Science（生物系统与生物技术数据科学中心） ； Ghent University Global Campus（根特大学全球校区） ； State University of New York Korea（纽约州立大学韩国分校） ； Department of Mathematics（数学系） ； Université de Liège（列日大学） ； Department of Applied Mathematics, Computer Science and Statistics（应用数学、计算机科学与统计学系） ； Ghent University（根特大学） ； Department of Electronics and Information Systems（电子与信息系统系） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出基于Token的诊断流程，通过留一Token移除法检测视觉Transformer中的虚假相关性，经ImageNet等实验验证了方法的有效性，还探讨了虚假信号的来源及相关案例。

Comments Accepted for publication in Transactions on Machine Learning Research (TMLR)

Resolution Meets Reduction: Efficient Visual Context for 3D Radiology Report Generation

分辨率与压缩结合：面向3D放射报告生成的高效视觉上下文

Jonathan Suprijadi, Raphael Stock, Moritz Langenberg, David Zimmerer, Kim-Celine Kahl, Stefan Denner, Yannick Kirchhoff, Karol Gotkowski, Maximilian Rokuss, Jeremias Traub, Tassilo Wald, Constantin Ulrich, Klaus Maier-Hein

机构 * German Cancer Research Center (DKFZ)（德国癌症研究中心） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对3D放射报告生成中视觉序列的计算瓶颈，通过实验评估不同视觉编码器、投影器和LLM，提出解剖学引导的ROI裁剪等策略，在两个数据集上取得最先进的临床macro F1结果。

COMEX: A Composition-Grounded Benchmark and Learning Framework for Explainable Aesthetic Image Cropping

COMEX：用于可解释美学图像裁剪的基于构图的基准测试与学习框架

Rui Yang, Wei Zhou, Dingyong Gou, Xiaohui Cui, Cong Li, Yinyin Gong, Yipo Huang, Jiliang Zhao

机构 * ZTE Corporation（中兴通讯） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出基于构图的COMEX基准与SFT+GRPO两阶段框架，用于可解释美学图像裁剪，通过多组实验验证了框架的有效性与可迁移性。

IFCLoRA: Topology-Aware Rank Allocation for Parameter-Efficient Fine-Tuning

IFCLoRA：用于参数高效微调的拓扑感知秩分配

Wei Zhang, Xinwu Liu, Yihang Cheng

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对LoRA方法中秩分配问题，提出IFCLoRA拓扑感知秩分配方法，利用小校准集和冻结模型构建交互图，结合全局拓扑先验与局部梯度敏感性计算得分来分配秩，在多场景下优于其他方法，还揭示了任务依赖的秩分布特点。

Comments 9 pages, 5 figures

UniVVT: A Unified End-to-End Framework for High-Fidelity Video Virtual Try-on

UniVVT：用于高保真视频虚拟试穿的统一端到端框架

Yushe Cao, Shikun Feng, Fei Shen, Haikuo Peng, Jianqiang Xia, Yiheng Zhu, Dianxi Shi, Chun Yu

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 UniVVT是一种统一端到端视频虚拟试穿框架，以多模态大语言模型为核心，采用三阶段渐进训练策略，在多基准上实现了优于主流方法的高保真试穿效果。

Comments 17 pages,21 figures

MM-ISTS: Cooperating Irregularly Sampled Time Series Forecasting with Multimodal Vision-Text LLMs

MM-ISTS: 基于多模态视觉-文本大语言模型的不规则采样时间序列预测

Zhi Lei, Chenxi Liu, Hao Miao, Wanghui Qiu, Bin Yang, Chenjuan Guo

机构 * East China Normal University Shanghai China ； Centre for Artificial Intelligence ； Robotics, Hong Kong Institute of Science \& Innovation, Chinese Academy of Sciences Hong Kong China ； Department of Computing, The Hong Kong Polytechnic University Hong Kong China ； East China Normal University ； Robotics, Hong Kong Institute of Science \& Innovation, Chinese Academy of Sciences ； Department of Computing, The Hong Kong Polytechnic University 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 MM-ISTS利用多模态视觉-文本大语言模型，通过双阶段编码机制提升不规则采样时间序列预测的性能。

Adaptive Two-Stage Visual Token Pruning for Efficient Inference in Video-Language Models

用于视频-语言模型高效推理的自适应两阶段视觉令牌剪枝

Paribesh Regmi, Qingshuang Chen, Chi Zhang, Heba Aly, Yelin Kim, Hongda Mao

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对视频-语言模型推理延迟高的问题，提出两阶段自适应令牌剪枝策略，先剪去视频冗余帧，再根据视频内容自适应剪去保留帧中的冗余令牌，无需额外训练微调，在10%令牌保留率下提升准确率7%并降低95%计算量。

From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model

从生成器到嵌入器：通过构建零样本判别嵌入模型来利用多模态大语言模型的固有能力

Yeong-Joon Ju, Seong-Whan Lee

机构 * Department of Artificial Intelligence（人工智能系） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种高效框架，通过构建零样本判别嵌入模型，利用多模态大语言模型的固有能力，提升多模态表示空间的鲁棒性和零样本嵌入能力。

Comments Accepted to IEEE Transactions on Multimedia (T-MM)

Linear Multi-Timescale Retention as a Memory-Efficient Vision-Language Bridge

线性多时间尺度保留作为内存高效的视觉-语言桥梁

Ashfak Yeafi, Mehedi Hasan, Md Khairul Islam

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对视觉-语言模型高分辨率图像处理的内存瓶颈，提出线性多时间尺度保留模块，兼具O(N)复杂度与上下文路由能力，在长序列任务、硬件效率及MME基准上均优于MLP基线。

Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning

裁决式字幕生成：用于严格零样本图像字幕生成的多智能体对齐评分与共识蒸馏束仲裁

Duy Tran Thanh, Thien-Phuc Doan, Long Nguyen-Vu, Ngo Tan Vu Khanh

机构 * AI Platform OneNexus, OneMount（OneMount AI平台OneNexus） ； School of Electronic Engineering, Soongsil University（崇实大学电子工程学院） ； MoAdata（MoAdata公司） ； University of Economics Ho Chi Minh City (UEH)（胡志明市经济大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出裁决式字幕生成多智能体框架，通过多阶段对齐评分与共识蒸馏重排序，在不微调IFCap的情况下，显著提升COCO等数据集的零样本图像字幕生成性能，且可跨数据集迁移。

EmoFeedback$^2$: Reinforcement of Continuous Emotional Image Generation via LVLM-based Reward and Textual Feedback

EmoFeedback$^2$：基于LVLM的奖励与文本反馈的连续情绪图像生成强化

Kai Shu, Jingyang Jia, Gang Yang, Long Xing, Xun Chen, Aiping Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 EmoFeedback$^2$通过基于LVLM的奖励与文本反馈机制，提升连续情绪图像生成的质量与情绪保真度。

Rethinking Clinical Relevance in Chest X-ray Machine Learning: How Evaluation References Define Performance

重新思考胸部X射线机器学习中的临床相关性：评估参考如何定义性能

Panagiotis Fytas, Ian Selby, Clemens Karner, Judith Babar, Simon Baker, Jake Beckford, Timothy J. Sadler, Shahab Shahipasand, Arthikkaa Thavakumar, John Li Chen, Alex Sawer, Michael Roberts, Jonathan Weir-McCall, J. H. F. Rudd, Carola-Bibiane Schönlieb, Anna Korhonen, Anna Breger

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 该研究针对胸部X射线机器学习，探究评估参考选择对模型性能与排名的影响，发现常用指标与临床判断一致性差，强调需将评估参考选择作为临床有效性的核心部分。

Comments 67 pages, including supplementary material

SciFigQual-Bench: A Benchmark for Scientific Figure Quality Assessment with Full-Manuscript Context

SciFigQual-Bench：面向全文本上下文的科学图片质量评估基准

Zihan Deng, Chuanzhi Xu, Huiqi Liang, Haoyang Li, Xiaozhen Zhong, Lequan Yu

专题命中 VLM训练与架构 ：visual language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文针对现有科学图片质量评估方法的不足，构建了SciFigQual-Bench基准，设计SFQ-Agent框架实现自动化评估，实验显示其在eval1200子集上表现优于主流方案。

Comments † Equal contribution. Affiliations: 1: The University of Hong Kong 2: The University of Sydney 3: University of Electronic Science and Technology of China Corresponding authors: Zihan Deng (zhdeng@hku.hk), Chuanzhi Xu (chuanzhi.xu@sydney.edu.au) Project page: https://frankdengai.github.io/SciFigQual-Bench Source code & dataset: https://github.com/FrankDengAI/SciFigQual-Bench

Dual Inversion for Text-to-Image Diffusion Models: From Both Prompt and Noise Perspectives

文本到图像扩散模型的双重逆推：从提示与噪声双视角

Xiaolong Liu, Junjian Li, Yuan Xiao, Jiaqi Deng, Dayong Ye, Tianqing Zhu, Huan Huo

机构 * University of Technology Sydney（悉尼科技大学） ； Geely（吉利） ； City University of Hong Kong（香港城市大学） ； City University of Macau（澳门城市大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对现有文本到图像扩散模型提示逆推方法的局限，提出联合恢复语义提示与潜在噪声的Dualin方法，实现了高质量逆推提示与最优图像保真度，为可控图像编辑奠定基础。

Comments Accepted by ACM MM 2026

Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

用于多模态情感解释的令牌-区域引导交叉注意力融合

Musa Tur Farazi, Nufayer Jahan Reza

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对孟加拉语模因政治意图检测难题，引入多模态交叉注意力融合框架，利用视觉语言模型提取文本，经跨模态多头注意力机制合成特征，还整合政治词汇表，实验表明该方法显著优于基线，Macro-F1达0.94，有效实现文本语义基于视觉证据。

What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features

CLIP 所知道但无法表达的：从冻结的中间特征中恢复否定信息

Chen-Yi Lu, Yueh-Shao Chen, Somali Chaterji

机构 * Purdue University（普渡大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 对比视觉语言模型如CLIP对否定不敏感，研究发现是表征坍缩所致。提出轻量级事后校正系统PeakPatch，在不改变预训练权重下恢复否定信号，通过特定网络提取信号、预测偏差向量等，经实验验证其有效性及泛化性。

TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

TextSLIP：用于医学报告生成的文本自监督CLIP

Haoyu Jiang, Ziping Cong

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对现有CLIP方法在医学报告生成中语义监督不足问题，提出TextSLIP框架，通过模态内文本对比学习增强CLIP，经实验验证其在报告生成指标上有改进，表明文本级对比学习对改善医学视觉-文本对齐有潜力。

Comments 9 pages

Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images

像素换程序？关于将源代码作为文本和图像的输入令牌计费的跨供应商案例研究

Ronak Bhalgami

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究将源代码作为文本和图像时商业API如何计费，通过可重复案例研究，涵盖五种编程语言、多种源长度及多个模型别名，得出不同模型的图像与文本比率及收支平衡行为差异，还发布了重现研究所需的资料。

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

变分推测解码：从令牌似然到序列接受的草稿训练再思考

Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出变分推测解码（VSD），将草稿训练视为对潜在提议（草稿路径）的变分推断，通过最大化目标模型接受的边际概率来优化，结合路径级效用和期望最大化过程，显著提升解码效率。

PhysAgent: Reflective Agentic Physics Control for Physically Plausible Video Generation

PhysAgent：用于物理上合理的视频生成的反射式智能体物理控制

Qirui Li, Jinkun Hao, Yibo Li, Ran Yi, Paul L. Rosin, Yu-Kun Lai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Cardiff University（卡迪夫大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究物理上合理的视频生成问题，提出PhysAgent反射式智能体框架，通过闭环设计及物理控制API，改善参数控制，实现复杂轨迹等，实验证明其能生成更合理视频，有更好提示对齐及泛化效果。

Comments For project page, see https://iapple233.github.io/PhysAgent

ResearchStudio-Reel: Automate the Last Mile of Research from Paper to Poster, Video, and Blog

ResearchStudio-Reel：实现从论文到海报、视频和博客的研究最后一公里自动化

Lingao Xiao, Yalun Dai, Yangyu Huang, Qihao Zhao, Wenshan Wu, Hugo He, Ruishuo Chen, Jin Jiang, Qianli Ma, Jiahuan Zhang, Xin Zhang, Ying Xin, Yang Ou, Yan Xia, Scarlett Li, Longbo Huang, Zhipeng Zhang, Yang He, Yap Kim Hui, Yan Lu

机构 * Microsoft Research（微软研究院） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Westlake University（西湖大学） ； CFAR, A*STAR（计算科学与工程研究所，新加坡科技研究局） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 研究传播自动化困难，以往方法有局限。该研究提出将最后一公里构建为技能组合，实例化ResearchStudio-Reel，包括共享提取器、可编辑生成器和交互式收敛层，能产出多种可编辑工件，效果优于现有系统。