多模态大模型

Robot Confirmation Generation and Action Planning Using Long-context Q-Former Integrated with Multimodal LLM

基于长上下文Q-Former与多模态大语言模型的机器人确认生成与动作规划

Chiori Hori, Yoshiki Masuyama, Siddarth Jain, Radu Corcodel, Devesh Jha, Diego Romeres, Jonathan Le Roux

机构 * Mitsubishi Electric Research Laboratories (MERL), Cambridge, MA, USA（三菱电机研究实验室（MERL），马萨诸塞州剑桥市） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.CL、eess.AS

AI总结 本文提出基于长上下文Q-former与多模态大语言模型的机器人确认生成与动作规划方法，通过整合视频上下文信息提升动作规划性能。

Comments Accepted to ASRU 2025

Can AI Perceive Physical Danger and Intervene?

AI能否感知物理危险并干预？

Abhishek Jindal, Dmitry Kalashnikov, R. Alex Hofer, Oscar Chang, Divya Garikapati, Anirudha Majumdar, Pierre Sermanet, Vikas Sindhwani

机构 * Google DeepMind Robotics（谷歌深Mind机器人技术） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出了一种用于评估具身体验AI系统物理安全性的基准测试方法，通过生成逼真图像和视频来测试模型对安全风险的理解和干预能力，并开发了训练后范式以提升模型的安全推理能力。

OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model

OpenDriveVLA: 向端到端自动驾驶迈进的大型视觉语言动作模型

Xingcheng Zhou, Xuyuan Han, Feng Yang, Yunpu Ma, Volker Tresp, Alois Knoll

机构 * Technical University of Munich（慕尼黑技术大学） ； Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 OpenDriveVLA基于开源大语言模型，通过多模态输入和分层视觉语言对齐，实现端到端自动驾驶中的高精度轨迹规划和驾驶任务回答。