视觉大模型 / VLM

E$^3$mo-Bench: A Scalable Benchmark for Multimodal Evoked and Expressed Emotion Understanding via Bayesian Pairwise Alignment

E³mo-Bench：基于贝叶斯成对对齐的可扩展多模态诱发与表达情感理解基准

Lancheng Gao, Ziheng Jia, Shengyan Li, Zixuan Xing, Jiarui Wang, Huiyu Duan, Xiongkuo Min

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 该研究针对现有多模态情感理解基准的不足，推出E³mo-Bench基准，提出贝叶斯成对对齐方法与E³mo-Score智能体，验证了框架有效性并指出MLLMs在情感任务中的缺陷，为多模态情感智能发展指明方向。

SapiensID 2.0: Aligning Human Recognition Foundation Models with Human Perception

SapiensID 2.0：将人类识别基础模型与人类感知对齐

Yiyang Su, Jie Zhu, Feng Liu, Anil K. Jain, Xiaoming Liu

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 该研究针对现有人类识别模型与人类感知脱节的问题，提出兼具语义与时间感知的SapiensID 2.0框架，通过多项技术实现最优识别性能。

Fine-grained CLIP fine-tuning with self-annotated region alignment

基于自标注区域对齐的细粒度CLIP微调

Chenyang Zhao, Wei Lin, Janet H. Hsiao, Antoni B. Chan

机构 * City University of Hong Kong（香港城市大学） ； Hong Kong University of Science & Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究针对CLIP在细粒度表示上的局限，提出SFF-CLIP方法，仅用图像-文本对输入，通过运行时区域-短语对齐方案提升其细粒度表示能力，在相关任务中性能显著提升且维持原CLIP图像级任务表现。

Clarity: The Flexibility-Interpretability Trade-Off in Sparsity-aware Concept Bottleneck Models

Clarity：稀疏性感知概念瓶颈模型中的灵活性与可解释性权衡

Konstantinos P. Panousis, Diego Marcos

机构 * Department of Statistics, University of Economics and Business（经济与商业大学统计系） ； UMR TETIS, Inria, EVERGREEN, University of Montpellier（蒙彼利埃大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.LG

AI总结 研究探讨了概念瓶颈模型中稀疏性对语义对齐的影响，提出Clarity指标衡量下游性能与概念激活稀疏性和精度的相互作用，通过实验揭示灵活性与可解释性之间的关键权衡。

Journal ref Transactions on Machine Learning Research (2026)

GeoRoute: Geometry-Aware Hybrid Inference for Traffic Future-Frame Prediction

GeoRoute：面向交通未来帧预测的几何感知混合推理方法

Khang Minh Le, Hieu Dinh Trung Pham, Luu Thanh Danh, Nam-Tien Le, Hieu Anh Ngo, Phuong Huu Vu Tran, Son Nguyen Minh Le, Nguyen Trong Nghia, Tu Tran Thi Cam, Huy Minh Nhat Nguyen, Cuong Tuan Nguyen

机构 * Vietnamese-German University（越南-德国大学） ； University of Science, Ho Chi Minh City（胡志明市科学大学） ； Ho Chi Minh City University of Technology（胡志明市技术大学） ； University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 GeoRoute是一种无需训练的几何感知混合推理框架，通过多帧深度分层渲染器和视角条件选择预测器，在AI City Challenge Track 5基准上实现了具有竞争力的交通未来帧预测性能，提升了静态几何稳定性。

Comments accepted to the ECCV 2026 AI City Challenge Workshop

SI-Edit: Toward Sketch-Instruction Guided Local Image Editing with Pixel-Level Precision

SI-Edit：面向草图-指令引导的像素级精度局部图像编辑

Weixin Ye, Wei Wang, Hongguang Zhu, Xuecheng Nie

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所） ； City University of Macau（澳门城市大学） ； Meitu Inc（美图公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 针对基于草图的图像编辑缺乏像素级精度及对应数据集、评估指标的问题，提出SI-Edit框架，构建SI-Data数据集并建立评估指标，实现更可靠的结构控制与像素级局部编辑效果。

Comments accepted by ACM MM 2026

Gradient Under Microscope: Benchmarking Resource Utilization of Memory-Efficient Gradient Computation Methods

显微镜下的梯度：对内存高效梯度计算方法的资源利用基准测试

Sarthak Mahapatra, Zihan Zhou, Khatoon Khedri, Mehdi Hosseinzadeh, Reza Rawassizadeh

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 该研究针对四种Transformer架构，测试五种梯度优化器在三种内存策略下的资源利用，发现梯度累积效果最优，Adam并非普遍最优，梯度检查点效果依赖架构，为模型训练部署提供实用指南。

VLZip: Unified Visual and Textual Compression for Interleaved Long-Context Modeling

VLZip：用于交错长上下文建模的统一视觉与文本压缩方法

Yuqi Zhang, Cheng Chen, Yuyu Guo, Wenjie Yang, Lingchen Meng, Peng Di, Hang Yu, Zuxuan Wu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

AI总结 VLZip 是统一视觉与文本压缩的框架，通过提炼软前缀缩短注意力序列，在长上下文多模态推理上性能领先，支持超大规模 token 处理，为长上下文多模态 AI 建立新高效标准。

Circuit Fine-Tuning for Compute-Efficient Transformer Adaptation

面向计算高效的Transformer适配的电路微调

Uri Z. Kialy, Gil Ben-Artzi

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出电路微调（CFT）框架，通过电路发现选择ViT待微调子图，仅微调该子图，可大幅降低训练FLOPs与时间，在多类视觉任务上验证了有效性。

Degradation-Aware Prompt Learning with Cross-Modal Compensation for Adverse Weather Removal

面向恶劣天气去除的退化感知跨模态补偿提示学习

Wanshu Fan, Yunzhe Zhang, Yue Shen, Liyan Wang, Jing Qin, Kin-Man Lam, Cong Wang, Jinshan Pan

机构 * School of Software Engineering, Dalian University（大连大学软件工程学院） ； School of Mathematical Sciences, Dalian University of Technology（大连理工大学数学科学学院） ； The Hong Kong Polytechnic University（香港理工大学） ； University of California, San Francisco（加利福尼亚大学旧金山分校） ； School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对恶劣天气导致图像退化影响视觉系统可靠性的问题，提出 DCMPC-Net 模型，通过跨模态提示补偿实现鲁棒的恶劣天气图像修复，性能优于现有最先进方法。

Comments Accepted for publication in IEEE Transactions on Image Processing. The code is available at: https://github.com/fanamber831/DCMPC-Net

Describe-to-Score: A text-guided framework for image complexity assessment

描述到评分：一种用于图像复杂度评估的文本引导框架

Shipeng Liu, Liang Zhao, Dengfeng Chen, Zhonglin Zhang

机构 * Xi’an University of Architecture and Technology（西安建筑科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对现有图像复杂度评估方法无法捕捉高级语义的问题，提出文本引导框架D2S，仅训练阶段引入描述语义正则化，在IC9600基准达SOTA，跨任务也具竞争力。

Comments Accepted by Pattern Recognition

MUGEN: A Unified Framework for Efficient Motion Understanding and Generation

MUGEN：用于高效运动理解与生成的统一框架

Zhankai Ye, Yukai Jin, Bingyang Wei, Bofan Li, Yusen Wu, Fangyi Li, Shangqian Gao, Xin Liu

机构 * Florida State University（佛罗里达州立大学） ； Texas Christian University（得克萨斯基督教大学） ； University of Miami（迈阿密大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 MUGEN是一个无码本的统一运动-语言框架，通过自适应长度自编码器实现高效运动压缩，在HumanML3D和SnapMoGen数据集上的生成、检索与对齐指标均表现优异，兼顾效率与性能。

TIDE: Task-Isolated Diffusion for Unified Video Editing and Generation

TIDE: 任务隔离扩散模型用于统一视频编辑与生成

Qi Liu, Gang Yue, Mingyu Yin, Lisai Zhang, Yidi Wu, Yaole Wang, Yaohui Wang, Chang Yao, Jingyuan Chen, Lin Ma

机构 * Zhejiang University（浙江大学） ； Bilibili Inc.（哔哩哔哩股份有限公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出TIDE统一框架，通过逐token任务嵌入和双路径条件机制，实现指令编辑、参考编辑和多参考生成，在多任务渐进训练下达到SOTA性能。

Grad-ECLIP: Gradient-based Visual and Textual Explanations for CLIP

Grad-ECLIP: 基于梯度的CLIP视觉与文本解释

Chenyang Zhao, Kun Wang, Janet H. Hsiao, Antoni B. Chan

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Division of Social Science and Department of Computer Science & Engineering, Hong Kong University of Science & Technology（香港科学与技术大学社会科学学院及计算机科学与工程系） ； SenseTime Group Ltd（时光集团有限公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出Grad-ECLIP方法，通过分解CLIP编码器架构并分析匹配相似度与中间空间特征的关系，生成有效热图以解释CLIP匹配结果。通过通道和空间权重提升视觉解释质量，并通过定性定量评估验证其有效性。

Journal ref Zhao C, Wang K, Hsiao J H, et al. Grad-eclip: Gradient-based visual and textual explanations for clip[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2026

A Six-Dimensional Taxonomy of Post-Training Adaptation Techniques with Applications in AI Governance

用于人工智能治理的后训练适应技术的六维分类法

Fardin Afdideh, Fernando Seoane, Farhad Abtahi

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG

AI总结 本综述构建了后训练适应技术的六维分类法，梳理技术间关系，为AI治理提供术语支持，并指出该领域的开放挑战。

HERALD: Counterfactual Audits and Minimal Repairs for Proof-of-Retrieval Rewards

HERALD：检索证明奖励的反事实审计与最小修复

Zhuowen Liu, Bohan Cui, YinShang Guo, Yuting Wang, Hao Li

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 HERALD是一种离线审计方法，可对搜索智能体的检索证明奖励进行反事实审计与最小修复，能有效抵御引用清洗攻击，提升引用精度等指标并分离稳健评分与策略迁移。

Comments 9 pages, 3 figures, and 4 tables

Vorch-Omni: Multi-Task Orchestration of Sight and Sound

Vorch-Omni：视觉与听觉的多任务编排

Vorch Team, Xiaoyu Chen, Yang Ding, Cong Han, Menglin Han, Yuxin Hong, Jiebo Hou, Zequn Jie, Xiang Li, Jing Liu, Qi Liu, Yulei Lu, Siyuan Luo, Lin Ma, Xin Ma, Yinlong Qian, Peng Shi, Fang Wan, Siqi Wang, Yaohui Wang, Yaole Wang, Yidi Wu, Siqian Yang, Mingyu Yin, Haoran Yu, Gang Yue, Lisai Zhang, Yuting Zhang

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 Vorch-Omni是基于流匹配扩散Transformer的统一多任务视听合成框架，支持10余项视听相关任务，为通用视听生成与操作提供可扩展基础。

Comments Project Page: https://vorch-project.github.io/Vorch-Omni-project/

A Paragraph is Worth a Thousand Captions: Rethinking Text Supervision for Vision-Language Retrieval

一段文本胜过千条标题：重新思考视觉-语言检索的文本监督

Mahyar Ghazanfari, Amin Tabrizian, Arsyi Aziz, Binshuai Wang, Peng Wei

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对视觉-语言检索，通过系统对比单标题与段落文本监督，发现仅微调BLIP文本编码器的段落监督模型在DOCCI等任务上优于Long-CLIP，为文本粒度与检索性能的关系提供了新见解。

Comments Accepted at the MUCG workshop, ECCV 2026

Breaking the Curse of Multilinguality in Many-to-Many Speech-to-Text Translation via a Resource-Aware Mixture of Speech Encoders

通过资源感知型语音编码器混合模型打破多对多语音到文本翻译中的多语言性诅咒

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Chengpeng Fu, Yu Wang, Ming Liu

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 针对多对多语音到文本翻译中的多语言性诅咒问题，提出资源感知型MoSE框架与五阶段课程学习策略，其4B参数模型在45种语言的全方向翻译任务上实现最优性能，显著提升低资源语言表现且不损害高资源性能。

HiSC: Hierarchical Spatial Clustering Token Compression for Efficient 3D Scene Understanding

HiSC：用于高效3D场景理解的分层空间聚类令牌压缩

Jiuhe Qu, Yingping Liang, Ying Fu

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出无训练框架HiSC，通过SGraM策略和SCluP范式实现3D VLMs的分层空间聚类令牌压缩，在高剪枝率下实现超90%令牌减少且性能下降极小，验证了其有效性。

Comments Accepted by ACM MM 2026

Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

并非所有冗余视觉标记都相同：通过标记角色分析视觉标记剪枝

Hyeonyu Kim, Sehwan Lim, Youngwon Choi, Taeyoun Kwon, Jaejin Kim

机构 * Maum AI Inc.（Maum AI公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本研究针对视觉-语言模型（VLMs）的视觉标记剪枝问题，通过EmbedLens分析标记角色，发现代表性剪枝方法存在标记角色偏差但与下游性能无直接关联，优化角色分配后表明保留非活跃标记可维持或提升性能，为剪枝方法优化提供了新视角。

Comments Accepted to ECCV 2026 workshop, UniWorld

HyPASE: Hyperbolic Geometry for Parameter-Efficient Speech Emotion Fine-Tuning Framework for Large Audio-Language Models

HyPASE：用于大音频语言模型的参数高效语音情感微调框架的双曲几何方法

Tian Jin, Ruikang Zhang, Zefeng Zhao, Ding Luo, Jin Zeng

机构 * Tongji University（同济大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出HyPASE双曲PEFT框架，利用庞加莱球模型及HGA、EMCA组件，在MELD、IEMOCAP等数据集上优于欧氏PEFT基线，实现高效的大音频语言模型语音情感微调。

TourSynbio-Search: A Large Language Model Driven Agent Framework for Unified Search Method for Protein Engineering

TourSynbio-Search：一种用于蛋白质工程的统一搜索方法的大语言模型驱动智能体框架

Yungeng Liu, Zan Chen, Yu Guang Wang, Yiqing Shen

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 TourSynbio-Search是TourSynbio-7B驱动的双模块搜索智能体框架，可跨多平台检索文献与蛋白质数据，降低技术门槛，提升蛋白质工程研究的信息检索效率与生产力

MuRA: Multi-Rank Adaptation for Efficient and Effective Test-Time Vision-Language Generalization

MuRA：用于高效且有效的测试时视觉-语言泛化的多秩适配

Gengyuan Liu, Nanzhou Wang, Chang Liu, Qinwen Wu, Zhenhao Wang, Jiacong Wang, Bokui Chen, Xiangyang Ji

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对测试时视觉-语言模型因静态秩配置导致的性能瓶颈，提出多秩适配（MuRA）框架，动态选择适配模块，在多基准测试中达最优准确率且降低计算内存开销。

Predictive Set Theory: A Generative Framework for Cognitive Architecture with Operationalized Core Mechanisms

预测集合论：具有可操作核心机制的认知架构生成框架

Yiyang Yu

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出预测集合论（PST）这一形式生成框架，从第一性原理重构认知架构，解决经典认知问题，并确立其原创性与完整性。

Comments 103 pages. This preprint establishes the theoretical framework of Predictive Set Theory, providing a generative design specification for cognitive architecture. Comments welcome

AI Alignment and Fiduciary Obligation

AI对齐与受托义务

Benjamin Lange

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出将受托理论应用于长期AI助手部署，以开发者对用户负有的忠诚、注意、善意和坦诚四项受托义务为基础构建AI对齐标准，为AI对齐研究提供新视角。

Comments 10 pages, 1 table. Accepted at the 9th AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026)

Learning to See Locally and Align Clinically with Pathology Semantics for Radiology Report Generation

学习局部感知并与病理学语义临床对齐的放射学报告生成方法

Xuan Cuong Ngo

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对放射学视觉-语言模型的图像-文本对齐缺陷，提出病理学感知对齐框架PALM，结合共享病理学原型与掩码证据建模，在多数据集上提升报告生成与异常鲁棒性

Domain-Generalized Adaptive Semantic Communication for Collaborative Perception

面向协同感知的域泛化自适应语义通信

Fan Gao, Youzheng Wang, Ning Ge

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 提出域泛化语义通信框架RSTA，通过跨域原型对齐等技术解决车路协同感知中观测域偏移与信道损坏耦合退化问题，在多基准测试中取得AP指标提升且部署开销极低。

Comments Accepted by IEEE ICCC 2026. 6 pages, 5 figures

ET-Prune: Evidence-Aware Dynamic Budgeting for Visual Token Pruning in Text-Rich MLLMs

ET-Prune：面向文本丰富型多模态大语言模型的视觉 token 剪枝的证据感知动态预算分配

Zizhong Ding, Junxian Li, Kai Liu, Shaoqiu Zhang, Xiao Xiao, Linghe Kong, Yulun Zhang

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 ET-Prune 是一种无需训练的视觉 token 剪枝框架，通过证据分配实现动态预算，在文本丰富的多模态任务中，于约一半 token 保留量下，在 OCRBench-v2、MMBench v1.1 等基准上取得优于基线的性能，实现了质量与成本的良好平衡。

Comments Code and supplementary material is at https://github.com/Labyrinth0419/ET-Prune

Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning

超越路由饱和：多模态持续指令调优中专家路由的长程类增量视角

Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 该研究针对多模态持续指令调优中专家路由的任务识别问题，构建含34个任务的FLEX基准，提出MCIL框架，适配CIL方法后使LoRA匹配和MacroScore分别提升最高16.3个百分点、4.6个点