视觉大模型 / VLM

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

AVOC：通过检索启发的令牌压缩增强全模态大语言模型中的小时级音视频理解

Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Huawei Inc.（华为技术有限公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出AVOC框架，通过检索启发的令牌压缩模块，将多模态令牌压缩视为top-K检索问题，结合相关性、重要性和多样性三个标准，实现长时音视频理解，在小时级基准上取得最优性能。

The Token Tax of Epistemic Accuracy: Comparing RAG and Long-Context Architectures for Document-Grounded Generative AI Applications

认知准确性的Token税：比较RAG与长上下文架构在文档基础生成式AI应用中的表现

Austin Hamilton, Ryan Singh, Michael Wise, Ibrahim Yousif, Arthur Carvalho, Zhe Shan, Mohammad Mayyas, Lora A. Cavuoto, Fadel M. Megahed

机构 * Miami University（迈阿密大学） ； University at Buffalo（布法罗大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡，发现长上下文虽准确率更高（73.1% vs 65.4%），但Token成本增加26倍。

Comments 10 pages, 3 figures

Co-policy: Responsive Human-Robot Co-Creation for Musical Performances

Co-policy: 响应式人机音乐共创框架

Xuetao Li, Wenke Huang, Mang Ye, Zijian Liu, Jinhua Xie, Jifeng Xuan, Miao Li

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Automation, Wuhan University of Technology（武汉理工大学自动化学院） ； School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院） ； School of Robotics, Wuhan University（武汉大学机器人学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出Co-policy框架，通过语义锚定、约束变分和视觉运动策略实现人机音乐实时共创，在真实钟琴实验中优于扩散策略基线。

G-IdiomAlign: A Gloss-Pivoted Benchmark for Cross-Lingual Idiom Alignment

G-IdiomAlign：基于释义的跨语言习语对齐基准

Fengying Ye, Yanming Sun, Runzhe Zhan, Zheqi Zhang, Lidia S. Chao, Derek F. Wong

机构 * NLP 2 CT Lab, Department of Computer and Information Science, University of Macau（NLP 2 CT实验室，计算机与信息科学系，澳门大学） ； Faculty of Arts and Humanities, University of Macau（人文学院，澳门大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出G-IdiomAlign基准，通过维基词典释义锚定习语，构建高置信度对齐集，并设计多项选择等价测试和释义对比生成协议，揭示大语言模型在习语翻译中的字面翻译偏差。

Comments Accepted to ACL 2026

CAPRA: Scaling Feedback on Software Architecture Deliverables with a Multi-Agent LLM System

CAPRA: 使用多智能体LLM系统对软件架构交付物进行反馈扩展

Marco Becattini, Niccolò Caselli, Matteo Minin, Roberto Verdecchia, Enrico Vicario

机构 * Department of Information Engineering, University of Florence, Florence, Italy（信息工程系，佛罗伦萨大学，意大利佛罗伦萨） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出CAPRA多智能体LLM系统，通过多模态文档提取、确定性证据锚定和一致性管理，自动生成软件架构交付物的个性化LaTeX反馈，在10份学生报告中满足88.8%的评估标准。

Comments Accepted for publication at the 38th International Conference on Software Engineering Education and Training

SpecAlign: Efficient Specification-Grounded Alignment of Large Language Models via Synthetic Data

SpecAlign: 通过合成数据实现高效的大语言模型规范对齐

Wenjie Wang, Yue Huang, Zhengqing Yuan, Han Bao, Shiyi Du, Yuchen Ma, Yue Zhao, Yanfang Ye, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； Carnegie Mellon University（卡内基梅隆大学） ； LMU Munich（慕尼黑大学） ； University of Southern California（南加州大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出规范对齐新范式，通过从规范文档合成数据（SpecAlign框架），结合结构化规则标注、可控规范实例化和多智能体对抗数据合成，生成细粒度偏好对，提升规则遵守度且不损害通用能力。

Comments 58 pages

RAVA: Retrieval-Augmented Viewpoint Alignment for Subject-Driven Image Generation

RAVA: 检索增强的视角对齐用于主题驱动图像生成

Qiwei Yan, Zhiqiang Yuan, Chongyang Li, Jiapei Zhang, Ying Deng, Jinchao Zhang, Jie Zhou

机构 * WeChat AI, Tencent Inc.（腾讯微信人工智能实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 提出RAVA框架，通过检索增强提供几何证据，解决跨主体视角对齐中的视角漂移和结构不匹配问题，在保持身份的同时实现可靠视角控制。

Combining Retrieval-Augmented Text Generation with LLMs for Reading Content Recommendations

结合检索增强文本生成与大型语言模型的阅读内容推荐

Sooyeon Kim, Piotr S. Maciąg

机构 * Institute of Computer Science, Warsaw University of Technology（计算机科学学院，华沙技术大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出结合检索增强生成（RAG）与大型语言模型的系统，通过四个模块实现个性化阅读内容生成，实验表明RAG将相关性和接地性提升26-35个百分点。

Listening with Attention: Entropy-Guided Explainability for Transformer-Based Audio Models

基于注意力的听觉：面向Transformer音频模型的熵引导可解释性

Ravi Ranjan, Utkarsh Grover, Xiaomin Lin, Agoritsa Polyzou

机构 * Florida International University（佛罗里达国际大学） ； University of South Florida（南佛罗里达大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出LEAF-X框架，通过熵引导注意力加权、多层注意力展开和因果消融，为Transformer语音识别模型生成稀疏的帧级归因，提升忠实度32%、局部性/稀疏性35-39%。

Comments 17 pages, 3 figures, and 9 tables. Accepted in Interspeech 2026 conference

Learning to Reason by Analogy via Retrieval-Augmented Reinforcement Fine-Tuning

通过检索增强强化微调进行类比推理学习

Zilin Xiao, Qi Ma, Chun-cheng Jason Chen, Xintao Chen, Avinash Atreya, Hanjie Chen, Vicente Ordonez

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； Rice University（莱斯大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出RA-RFT框架，通过黄金相关性蒸馏训练检索器，并结合强化微调利用类比推理轨迹，提升数学推理性能。

Kwai Keye-VL-2.0 Technical Report

Kwai Keye-VL-2.0 技术报告

Kwai Keye Team, Bin Wen, Changyi Liu, Chengru Song, Chongling Rao, Guowang Zhang, Han Li, Haonan Fan, Hengrui Ju, Jiankang Chen, Jiapeng Chen, Jiawei Yuan, Kaixuan Yang, Kaiyu Jiang, Kun Gai, Lingzhi Zhou, Na Nie, Sen Na, Tianke Zhang, Tingting Gao, Xuanyu Zheng, Yulong Chen, Fan Yang, Haixuan Gao, Lele Yang, Mingqiao Liu, Muxi Diao, Qi Zhang, Qile Su, Wei Chen, Wentao Hong, Xingyu Lu, Yancheng Long, Yankai Yang, Yingxin Li, Yiyang Fan, Yu Xia, Yuzhe Chen, Ziliang Lai, Chuan Yi, Haonan Jia, Tianming Liang, Weixin Xu, Xiaoxiao Ma, Yang Tian, Yufei Han, Feng Han, Hang Li, Jing Wang, Jinghui Jia, Junmin Chen, Junyu Shi, Ruilin Zhang

机构 * Kuaishou Group（快手集团） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 提出开源MoE多模态基础模型Keye-VL-2.0，首次将DeepSeek稀疏注意力适配到GQA架构，支持无损256K上下文处理，并通过跨模态多教师策略蒸馏和上下文/视频强化学习解决多任务对齐中的灾难性遗忘，在长视频理解和智能体任务上达到同类最优。

Comments 31 pages, 11 figures

PRPO: Perception-Reinforced Policy Optimization via Token-Level Dynamic Advantage Reshaping

PRPO: 通过令牌级动态优势重塑的感知强化策略优化

Qiming Li, Tianlun Li, Xiaolong Cheng, Hangyu Li, Ruiyan Gong, Kangning Niu, Kaitao Jiang, Mu Xu

机构 * Amap CV Lab, Alibaba Group（阿里巴巴集团高德地图计算机视觉实验室） ； Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出令牌级强化学习框架PRPO，通过鲁棒视觉依赖（RVD）指标识别关键感知令牌，并利用感知优势重塑（PAR）技术增强其学习信号，在7个多模态推理基准上平均提升23.3%（3B模型）和21.1%（7B模型）。

Learnable Token Sparsification for Efficient Gigapixel Whole Slide Image Reasoning

可学习的令牌稀疏化用于高效十亿像素全切片图像推理

Jingzhi Chen, Landi He, Zhuo Chen, Shawn Young, Lijian Xu

机构 * Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

AI总结 针对视觉语言模型中全切片图像令牌过多的问题，提出可学习的稀疏化方法，通过SparseLearn组件和可微分的Soft Top-K算子实现训练，推理时仅保留32个令牌，在SlideBench上达到73.32%准确率。

PRISM: PRior-guided Imagination Sampling in world Models

PRISM：世界模型中基于先验引导的想象采样

Yuhai Wang, Jiawei Xia, Rongxuan Zhou, Xiao Hu, Yongliang Shi, Jing Du, Yang Ye

机构 * Northeastern University（东北大学） ； University of California, Berkeley（加州大学伯克利分校） ； Qiyuan Lab（启元实验室） ； University of Florida（佛罗里达大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.AI

AI总结 提出PRISM框架，通过从世界模型编码器提取状态条件高斯先验，并利用精度加权高斯乘积更新规划器的采样分布，在不增加架构复杂度的情况下显著提升基于模型的连续控制性能。

Beyond Post-hoc Explanation: Toward Glassbox AI via Probabilistic Mediation

超越事后解释：通过概率中介迈向玻璃箱AI

Manuele Leonelli

机构 * Manuele Leonelli（曼努埃尔·莱奥内利） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 针对大语言模型在关键领域的不透明性，提出玻璃箱框架，利用贝叶斯网络作为事前中介层，实现可审计推理、不确定性量化和可争议输出。

Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization

教方法而非答案：用于多模态策略优化的特权辅导蒸馏

Shizhe Xiang, Ke An, Wenlong Yu, Yue Liu, Jian Luan, Pei Fu, Qilong Wang

机构 * Tianjin University（天津大学） ； Beijing Institute of Technology（北京理工大学） ； Singapore Management University（新加坡国立大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Xiaomi Inc（小米公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 提出PTD-PO框架，通过构建特权提示提供密集的令牌级监督，避免暴露答案，并采用Top-K JS散度稳定蒸馏，显著提升多模态推理性能。

TA-RAG: Tone Awareness as a Design Imperative for Retrieval-Augmented Generation

TA-RAG：将语气感知作为检索增强生成的设计要务

Yong-Bin Kang, Anthony McCosker

机构 * Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 该研究针对标准RAG系统存在的语境脱耦问题，提出TA-RAG框架，将交流对齐与事实准确性并列为核心设计目标，明确语气感知是高风险语境下RAG系统的设计要务。

M$^3$Prune: Hierarchical Collaborative Pruning for Efficient Multi-Modal Multi-Agent Retrieval-Augmented Generation

M³Prune：面向高效多模态多智能体检索增强生成的分层协同剪枝

Taolin Zhang, Weizi shao, Zijie Zhou, Chen Chen, Daiyang Yu, Tingyuan Hu, Chengyu Wang, Xiaofeng He

专题命中 VLM训练与架构 ：MLLM(abstract_cn)

AI总结 M³Prune是优化多模态多智能体检索增强生成的分层协同剪枝框架，通过剪枝冗余通信边提升性能与token效率，实验中优于单智能体及多智能体基准系统。

Comments Accepted by ACM MM2026

ANCHOR-RE: An Agentic Neuro-Symbolic Framework for Grounded Biomedical Relation Extraction

ANCHOR-RE：用于接地生物医学关系抽取的智能体神经符号框架

Shufan Ming, Yikun Han, Gibong Hong, Rui Zhang, Halil Kilicoglu

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 该研究提出ANCHOR-RE框架，将本体引导推理等集成到LLM推理中，在多个BioRE基准及2026年生物医学文章数据集上，该框架性能优于直接LLM提示及部分现有方法，是实用的无训练生物医学文献挖掘方法。

Comments Submitted to Journal of Biomedical Informatics (under review)

Requirement--Evidence Alignment for Compositional E-Commerce Queries

面向组合式电商查询的需求-证据对齐

Weihao Shen, Wei Chen, Fuwei Zhang, Meng Yuan, Yuqin Lan, Guojun Liu, Qingsong Hua, Wei Lin, Fuzhen Zhuang

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 针对现有电商查询重排序器忽略组合需求约束的问题，提出REAlign框架，通过区分需求状态、优化排序，在电商基准上提升了重排序效果。

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

PALMs：使用多构造基础理由对大语言模型中的群体偏好进行建模

Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

机构 * University of Southern California（南加州大学） ； Information Sciences Institute（信息科学研究所） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 该研究提出了群体对齐语言模型PALMs，通过结合心理与文化构造的理由进行偏好调优，在多维度评估中优于基准模型，且下游任务泛化能力强

The Learning Objective Governs Perceptual Narrowing: A Cross-Lingual, Layer-Wise, Ten-Seed Study of Self-Supervised Speech Encoders

学习目标调控感知窄化：自监督语音编码器的跨语言、分层、十种子研究

Sejin Yoo

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 该研究通过十种子实验发现，自监督语音编码器的学习目标（而非架构）是感知窄化型表征变化的首要决定因素，重构与预测目标对非母语音素辨别能力的影响相反。

Comments 11 pages, 6 figures

Rethinking AI Cloud Infrastructure for Agentic Serving Systems with the Aries Experimentation Framework

基于Aries实验框架重新思考智能体服务系统的AI云基础设施

Leonid Kondrashov, Hongrui Liu, JooYoung Park, Boxi Zhou, Zonghao Liu, Chengzhi Lu, Riccardo Mancini, Esha Choukse, Haris Javaid, German Sviridov, Tao Peng, Chen Zhao, Anastasia Avdeeva, Aleksei Gusev, Marios Kogias, Luo Mai, Dmitrii Ustiugov

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 该研究针对自主智能体对传统LLM服务的挑战，提出Aries全栈实验框架，通过实验揭示服务系统的关键瓶颈，探讨智能体原生服务系统的设计愿景。

ZeroR@CHiPSAL 2026: Two-Stage Vision-Language Adaptation with Contrastive Learning for Nepali Meme Classification

ZeroR@CHiPSAL 2026：用于尼泊尔表情包分类的对比学习两阶段视觉-语言适配

Nitiz Khanal

机构 * Pulchowk Campus, Institute of Engineering, Tribhuvan University（特里布万大学工程学院普尔乔克校区） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 该研究针对尼泊尔表情包多模态仇恨言论与情感检测任务，适配RA-HMD框架，采用两阶段视觉-语言对比学习方法，取得两项任务的优异排名，为低资源南亚语言适配大模型提供了见解。

Comments 9 pages, 2 figures, system description paper for the CHiPSAL 2026 shared task at LREC 2026

Journal ref Proceedings of the Second Workshop on Challenges in Processing South Asian Languages (CHiPSAL 2026) @ LREC 2026, pages 275-283, Palma, Mallorca, Spain, 16 May 2026. ELRA Language Resources Association (ELRA). ISBN 978-2-493814-66-1

Toward a Unified Statistical Theory of Unsupervised Pretraining and Supervised Neural Knowledge Graph Learning

迈向无监督预训练与监督神经知识图谱学习的统一统计理论

Jifan Zhang, Miklos Racz, Suqi Liu

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 本研究针对知识图谱学习中数据与理论问题，提出含无监督预训练与监督学习的两阶段框架，建立非渐近风险界，经合成与真实实验验证其有效性。

Comments 49 pages, 5 figures, 7 tables

The Case Against Generation for Retrieval: Discriminative Language Models as Effective Retrievers

反对用于检索的生成式模型：判别式语言模型作为有效的检索器

Zhe Xu, Prachi Agrawal, Kavosh Asadi, Tianyi Chen, Carl Hu, Justin Johnson, Wuwei Lan, Mingfu Liang, Xi Liu, Tik On Lui, Oladipo Ositelu, Sandeep Pandey, Ankit Peshin, Feng Qi, Anil Ramakrishna, Kaushik Rangadurai, Frank Shyu, Luke Simon, Yang Yang, Chiyu Zhang

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究探讨大语言模型用于检索的问题，通过将其作为语义表示主干重振双塔检索架构，引入创新的双塔框架，经实验评估，该架构在公共基准和生产系统中表现出色，证明传统双塔范式结合现代学习后在工业检索中仍具竞争力。

EGR: Embedding-Native Generative Retrieval with a Shared LLM

EGR：使用共享语言模型的嵌入原生生成式检索

Xiaodong Liu, Congfei Zhang, Hsiang-wei Chao, Siman Wang, Tong Zhao, Xiao Bai, Vincent Zhang, Jingxiao Ma, Zhe Liu, Wenfeng Zhuo, Zichu Li, Jitin Krishnan, Yunzhi Zhou, Yajun Wang, Jinchao Li, Yu Zhang

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究针对生成式检索在推荐和广告系统中的问题，提出EGR框架，利用共享语言模型在同一嵌入空间学习项目与用户表示，经联合对比训练，在多场景评估中表现出色，提升了转化率，简化了系统设计。

Comments Accepted to RecSys 2026

Using Hierarchical Controlled Vocabularies to Understand CLIP Retrieval Failures in Historical Photo Collections

使用分层控制词汇表理解历史照片集中CLIP检索失败的原因

Ratan Sebastian, Anett Hoppe, Christoph Rippe, Ralph Ewerth

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 研究探讨用AAT词汇表的根面类型和层次深度解释CLIP在历史照片集检索的成败及微调作用，通过三个标注集研究视觉连贯性等指标，发现两指标可区分失败模式，根面类型有区分作用，微调对层次浅的术语更有效。

Content is What Remains: Invariant Speech Tokenization from Parallel Utterances

内容是留存之物：基于平行话语的不变语音分词

Laurin Wagner, Bernhard Thallinger, Miroslav Stankovic, Mario Zusag

机构 * nyra labs（nyra实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究针对离散语音分词器问题，提出PINT方法，通过微调SSL编码器及相关损失和增强来提取共享残差，降低条件熵，使词元保留时间基础，实验证明该方法能有效提升效果，正确不变性对高效学习很关键。

Comments Accepted at Interspeech 2026

Multi-Head Latent Control: A Unified Interface for LLM Agent Decision Making

多头潜在控制：大语言模型智能体决策的统一接口

Amirhosein Ghasemabadi, Ruichen Chen, Bahador Rashidi, Di Niu

机构 * University of Alberta（阿尔伯塔大学） ； Huawei Technologies Canada Co., Ltd.（华为加拿大技术有限公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)

AI总结 研究大语言模型作智能体时的决策控制问题，提出多头潜在控制方法，通过读取冻结模型的隐藏状态轨迹生成控制信号，能在不修改模型的情况下进行事后适配，改善多模型系统质量成本权衡，减少大模型使用并提高工具使用决策质量。