视觉大模型 / VLM

Artificial Foveated Perception for Mitigating Shortcut Learning in Robotic Foundation Models

用于减轻机器人基础模型中捷径学习的人工中央凹感知

Xiatao Sun, Yuan Zhuang, Mateo Sanchez Lopez Negrete, Matei-Victor Coldea, Chen Liang, Haoyang Zhang, Che Liu, Ziyao Zeng, Shawn Li, Qian Wang, Fei Miao, Daniel Rakita

机构 * Yale University（耶鲁大学） ； University of Connecticut（康涅狄格大学） ； Peking University（北京大学） ； Imperial College London（帝国理工学院） ； Digients 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究机器人基础模型因捷径学习难以稳健部署的问题，提出人工中央凹感知模块AFP，通过预测任务条件掩码辅助微调，使策略关注任务相关区域，实验证明其能减少微调时间、抑制过拟合并提升泛化能力。

Nested Episodic State Topology (NEST): A Graph-Theoretic Architecture of Cognitive States

嵌套情节状态拓扑（NEST）：认知状态的一种图论架构

Ishant

机构 * Ishant（独立研究者） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究提出NEST图论架构用于认知建模，将概念等表示为带类型加权图，通过多种运算符和工具包构成核心，还包括现象签名等实例化内容，为后续相关工作提供透明表示基础。

Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

Nemotron-Labs-Diffusion：一种统一自回归、扩散和自推测解码的三模式语言模型

Yonggan Fu, Lexington Whalen, Abhinav Garg, Chengyue Wu, Maksim Khadkevich, Nicolai Oswald, Enze Xie, Daniel Egert, Sharath Turuvekere Sreenivas, Shizhe Diao, Chenhan Yu, Ye Yu, Weijia Chen, Sajad Norouzi, Jingyu Liu, Shiyi Lan, Ligeng Zhu, Jin Wang, Jindong Jiang, Morteza Mardani, Mehran Maghoumi, Song Han, Ante Jukić, Nima Tajbakhsh, Jan Kautz, Pavlo Molchanov

机构 * Nemotron-Labs（Nemotron实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 介绍了统一AR、扩散和自推测解码的三模式语言模型Nemotron-Labs-Diffusion，通过联合目标训练，能切换模式。研究表明其目标互补，自推测模式表现优，有长期潜力，该模型家族在精度和速度上优于现有开源模型。

OmniPresent: Generating Coherent Presentation Suites from Scientific Papers

OmniPresent：从科学论文生成连贯的演示文稿套件

Qianli Ma, Jipeng Xiao, Siyu Wang, Zhiheng Tian, Wangyu Feng, Shibo Wang, Chang Guo, Shuochen Chang, Qingyang Liu, Zhipeng Zhang

专题命中 VLM训练与架构 ：VLM(abstract)

AI总结 研究如何将静态论文转化为动态媒体，提出OmniPresent框架，采用可渲染HTML表示和自校正循环解决模态冲突，还发布数据集与评估协议，生成的演示文稿套件质量高。

Comments In progress

From Objectives to Applications: Aligning Architectural Biases in Audio Self-Supervised Learning

从目标到应用：对齐音频自监督学习中的架构偏差

Kele Xu, Yulu Fang, Boda Zhou, Yulin Sun, Qisheng Xu, Qiya Song, Jin Zhang, Cheng Yang, Huaimin Wang

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 本文通过预训练目标、架构归纳偏差与下游应用的对齐，系统分析音频自监督学习，围绕五种范式讨论不同监督信号对表征的影响，并关联到CNN、RNN、状态空间模型、Transformer及混合架构的偏差，最后解读在语音、环境声、音乐、医学及多模态等领域的应用。

ARP: Enhancing Quantized Skill Abstractions via Visual Alignment and Iterative Refinement for Robotic Manipulation

ARP：通过视觉对齐与迭代细化增强机器人操作的量化技能抽象

Yuntian Wang, Zesheng Jia, Yuhui Duan, Qibing Wang, Yang Liu, Song Wang, Siao Liu, Jin Wang

机构 * School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院） ； Key Laboratory of General Artificial Intelligence and Large Models in Provincial Universities, Soochow University（苏州大学省高校通用人工智能与大模型重点实验室） ； College of Mechanical and Electronic Engineering, China Jiliang University（中国计量大学机电工程学院） ； College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； Leju Robotics（乐聚机器人） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 提出ARP框架，通过视觉-动作对比对齐和迭代残差头细化，解决离散量化技能中的语义弱对齐和精度损失问题，在LIBERO和Meta-World基准上达到最优性能。

Topic-to-Timestamp Alignment by Constrained Evidence Selection

通过约束证据选择的主题到时间戳对齐

Zeynep Yılbırt, Marina Litvak, Michael Färber

机构 * TU Dresden（德累斯顿工业大学） ； SpeechMind GmbH（SpeechMind 公司） ； Shamoon College of Engineering（沙蒙工程学院） ； ScaDS.AI Dresden/Leipzig（ScaDS.AI 德累斯顿/莱比锡） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 针对会议记录中主题到时间戳的对齐问题，提出将时间戳预测重构为约束时间候选选择，通过检索时间戳转录块并选择最佳候选而非生成时间码，显著提升召回率和解析输出数量。

Mind the Privileged-to-Camera Gap: Actor-Centric Sidecar Supervision for Camera-First Open-Loop Waypoint Prediction

注意特权到摄像头的差距：面向摄像头优先开环路径预测的以参与者为中心的侧车监督

Feeza Khan Khanzada, Jaerock Kwon

机构 * University of Michigan-Dearborn（密歇根大学迪尔伯恩分校） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 针对摄像头优先开环路径预测中缺乏对道路参与者显式监督的问题，提出侧车监督方法，利用模拟器生成的参与者标签（如相关性、短时运动）训练模型，在部署时无需额外输入，最终将终点位移误差降低32.6%。

The Wrong Kind of Right: Quantifying and Localizing Misfired Alignment in LLMs

错误的正确：量化和定位大语言模型中的失调对齐

Naihao Deng, Yiming Feng, Chimaobi Okite, Kaijian Zou, Lu Wang, Rada Mihalcea, Yulong Chen

机构 * University of Michigan（密歇根大学） ； University of Cambridge（剑桥大学） ； University of Aberdeen（阿伯丁大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 本文提出VETO基准和失调对齐率（MAR）指标，发现所有LLM在刻板印象相关问题上均存在非平凡的失调对齐，且人类为0%，机制分析表明对齐诱导的线索会放大该现象。

Prior over Evidence: Stereotype-Driven Diagnosis in LLM-Based L2 Pronunciation Feedback

先验优于证据：基于LLM的二语发音反馈中的刻板印象驱动诊断

Rong Wang, Kun Sun

机构 * University of Tuebingen（蒂宾根大学） ； Tongji University（同济大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 研究测试了LLM在二语发音反馈中是否基于语音证据而非预训练先验进行诊断，发现评分准确性与推理脱钩，音素级反馈收敛于固定困难音素集，且声学证据仅在直接探测目标维度时改善评分。

Comments 12 pages, 2 figures

M$^3$Exam: Benchmarking Multimodal Memory for Realistic User-Agent Interactions

M$^3$Exam: 面向真实用户-智能体交互的多模态记忆基准

Zhengjun Huang, Wenxuan Liu, Zhoujin Tian, Wei Chen, Junle Chen, Yuqian Wu, Fangyuan Zhang, Qintian Guo, Xiaofang Zhou

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Beijing University of Chemical Technology（北京化工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Beijing Institute of Technology (Zhuhai)（北京理工大学（珠海）） ； Tencent Hy（腾讯（深圳）） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 提出M$^3$Exam基准，用于评估多模态大语言模型在真实用户-智能体交互中的跨模态推理和隐式信息推断能力，并设计M$^3$Proctor方法通过按需处理视觉源提升准确率13%，同时降低索引构建时间和检索token超70%。

LLM-Guided Evolution for Medical Decision Pipelines

LLM引导的医疗决策流程进化

Ivan Sviridov, Artem Oskin, Ivan Panin, Iaroslav Bespalov, Dmitry Dylov, Ivan Oseledets, Aleksandr Nesterov

机构 * Sber AI Lab（Sber AI实验室） ； AIRI 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)

AI总结 提出LLM引导的MAP-Elites进化方法，无需微调即可优化医疗决策流程，在分诊、咨询和图像分类任务中超越手工设计基线。