arXiv 2311.167142024-03-29cs.CV

由LLM在平行文本世界中训练的具身多模态智能体

Embodied Multi-Modal Agent trained by an LLM from a Parallel TextWorld

Southern University of Science and Technology（南方科技大学）；JD Explore Academy（京东探索研究院）；University of Technology Sydney（悉尼科技大学）；University of Maryland, College Park（马里兰大学学院公园分校）；Yunnan University（云南大学）

Yijun Yang, Tianyi Zhou, Kanxue Li, Dapeng Tao, Lusong Li, Li Shen, Xiaodong He, Jing Jiang, Yuhui Shi

备注：: Accepted by CVPR 2024

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出EMMA，通过蒸馏平行文本世界中LLM智能体的反思结果来微调VLM，并利用DAgger-DPO算法实现跨模态模仿学习，使具身多模态智能体无需专家进一步指导即可泛化到新任务，在ALFWorld上成功率提升20%-70%。

摘要：

虽然大语言模型（LLMs）在模拟的文本世界中表现出色，但它们在缺乏视觉或音频信号等其他模态感知的情况下，难以与更真实的物理世界进行交互。尽管视觉-语言模型（VLMs）集成了（1）与静态图像特征对齐的LLM模块，并且（2）可能具备关于世界动态的先验知识（正如在文本世界中所展示的那样），但它们尚未在具身视觉世界中进行训练，因此无法与该世界的动态对齐。另一方面，在没有专家指导的情况下，在嘈杂的视觉世界中训练具身智能体往往具有挑战性且效率低下。在本文中，我们使用一个在平行文本世界中表现出色的LLM智能体来训练一个生活在视觉世界中的VLM智能体。具体来说，我们蒸馏LLM在文本世界任务中的反思结果（通过分析错误改进后的动作），以在视觉世界的相同任务上微调VLM，从而得到一个能够快速适应视觉世界动态的具身多模态智能体（EMMA）。两个平行世界之间的这种跨模态模仿学习通过一种新颖的DAgger-DPO算法实现，使EMMA能够在没有LLM专家进一步指导的情况下泛化到广泛的新任务。在ALFWorld基准的多样化任务上进行的大量评估突显了EMMA相对于最先进的基于VLM的智能体的优越性能，例如成功率提高了20%-70%。

英文摘要：

While large language models (LLMs) excel in a simulated world of texts, they struggle to interact with the more realistic world without perceptions of other modalities such as visual or audio signals. Although vision-language models (VLMs) integrate LLM modules (1) aligned with static image features, and (2) may possess prior knowledge of world dynamics (as demonstrated in the text world), they have not been trained in an embodied visual world and thus cannot align with its dynamics. On the other hand, training an embodied agent in a noisy visual world without expert guidance is often challenging and inefficient. In this paper, we train a VLM agent living in a visual world using an LLM agent excelling in a parallel text world. Specifically, we distill LLM's reflection outcomes (improved actions by analyzing mistakes) in a text world's tasks to finetune the VLM on the same tasks of the visual world, resulting in an Embodied Multi-Modal Agent (EMMA) quickly adapting to the visual world dynamics. Such cross-modality imitation learning between the two parallel worlds is achieved by a novel DAgger-DPO algorithm, enabling EMMA to generalize to a broad scope of new tasks without any further guidance from the LLM expert. Extensive evaluations on the ALFWorld benchmark's diverse tasks highlight EMMA's superior performance to SOTA VLM-based agents, e.g., 20%-70% improvement in the success rate.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。