多模态大模型

Automated Gaze-based Behavioral Segmentation and Temporal Representation for Bridge Inspection in Unconstrained 3D Environments

基于自动注视行为分割与时间表示的非约束三维环境桥梁检测

Daniel Jimenez Gil, Haosen Zhang, Zixin Wang, Mohamad Alipour

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出自动分析框架，将非约束3D注视、头部运动、无人机导航和场景几何数据分割为全局扫描、局部检测和导航三种功能模式的时间序列，提取行为描述符，揭示检测策略差异及与性能的关系。

Comments 46 pages, 13 figures

Net-Ev$^2$: A Generative Simulator for Network Event Evolution

Net-Ev$^2$：网络事件演化的生成式模拟器

Guangyu Wang, Zhaonan Wang

机构 * NYU Shanghai（上海纽约大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出Net-Ev$^2$，一种结合事件线索与网络拓扑的生成式模拟器，通过结构引导掩码预训练和拓扑感知扩散过程模拟网络事件演化，在多个道路网络数据集上达到最优性能。

Comments Accepted by KDD 2026 Research Track

Journal ref In Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

World Pilot: Steering Vision-Language-Action Models with World-Action Priors

World Pilot: 用世界动作先验引导视觉-语言-动作模型

Zefu Lin, Rongxu Cui, Junjia Xu, Xiaojuan Jin, Wenling Li, Lue Fan, Zhaoxiang Zhang

机构 * Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； Nanjing University（南京大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 视频多模态 ：image-text(abstract)

AI总结 提出World Pilot框架，通过世界动作模型（WAM）的潜在引导和动作引导两条路径，为VLA模型提供场景演化先验和轨迹级运动提示，在LIBERO-Plus零样本OOD基准上达到84.7%的总成功率，并在多个真实机器人操作任务中取得最高成功率。

Comments Project Website: https://world-pilot.github.io/

AllDayNav: Lifelong Navigation via Real-World Reinforcement Learning

AllDayNav: 通过真实世界强化学习实现终身导航

Hang Yin, Yinan Liang, Jiazhao Zhang, Jiahang Liu, Minghan Li, Zhizheng Zhang, He Wang

机构 * Tsinghua University（清华大学） ； Galbot Robotics ； Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出AllDayNav框架，利用自进化多模态记忆和强化学习隐式编码场景动态，在跨房间、跨回合和跨任务场景中实现接近100%的成功率，超越基于地图、VLM和RL的基线方法。

Comments Project Page: https://bagh2178.github.io/AllDayNav/

Hand-centric Human-to-Robot Trajectory Transfer from Video Demonstrations via Open-World Contact Localization

基于开放世界接触定位的以手为中心的人到机器人轨迹迁移

Yitian Shi, Di Wen, Zhengqi Han, Zicheng Guo, Yu Hu, Edgar Welte, Kunyu Peng, Rainer Stiefelhagen, Rania Rayyes

机构 * Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 提出HOWTransfer框架，通过接触定位从人类视频中提取接触感知的机器人轨迹，无需物体特定描述，在多样化操作任务中实现86%的成功率。

Dream-Tac: A Unified Tactile World Action Model for Contact-Rich Robot Manipulation

Dream-Tac: 用于接触丰富机器人操作任务的统一触觉世界动作模型

Yunfan Lou, Yifan Ye, Yankai Fu, Jun Cen, Xiaowei Chi, Yaoxu Lyu, Peidong Jia, Sirui Han, Zhihe Lu, Shanghang Zhang

机构 * Peking University（北京大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Nanjing University（南京大学） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） 纠错

专题命中 视频多模态 ：cross-modal(abstract)

AI总结 提出Dream-Tac统一触觉世界动作模型，通过接触门控视觉-触觉融合和接触感知注意力偏置，联合建模动作、未来视觉观察和触觉动态，在六项接触丰富操作任务中平均动作准确率提升31.7%。

Comments 16 pages,13 figures

GenPO++: Generative Policy Optimization with Jacobian-free Likelihood Ratios

GenPO++：基于无雅可比似然比的生成式策略优化

Ke Hu, Shutong Ding, Panxin Tao, Jingya Wang, Ye Shi

机构 * ShanghaiTech University（上海科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出GenPO++框架，利用高阶可逆ODE求解器中的历史状态作为辅助记忆，实现精确可逆映射，从而无偏且高效地计算生成流策略的似然比，在连续控制任务中优于现有方法。