比较苹果与橙子：LLM驱动的对象分类任务中的多模态意图预测
Comparing Apples to Oranges: LLM-powered Multimodal Intention Prediction in an Object Categorization Task
AI总结：
本文研究利用大语言模型在人与机器人协作分类任务中预测人类意图，提出融合手势、姿势、表情、环境状态和语言线索的分层多模态方法，并在五个LLM上验证了其推理潜力。
摘要：
基于人类意图的系统使机器人能够感知和解释用户行为，从而与人类互动并主动适应其行为。因此，意图预测对于在人设计的环境中与社交机器人建立自然交互至关重要。在本文中，我们研究了使用大语言模型（LLMs）在与物理机器人协作的对象分类任务中推断人类意图。我们提出了一种新颖的多模态方法，该方法将用户的非语言线索（如手势、身体姿势和面部表情）与环境状态和用户语言线索相结合，在分层架构中预测用户意图。我们对五个LLMs的评估表明，在推理语言和非语言用户线索方面具有潜力，利用其上下文理解能力和现实世界知识，在与社交机器人协作执行任务时支持意图预测。视频：https://youtu.be/tBJHfAuzohI
英文摘要：
Human intention-based systems enable robots to perceive and interpret user actions to interact with humans and adapt to their behavior proactively. Therefore, intention prediction is pivotal in creating a natural interaction with social robots in human-designed environments. In this paper, we examine using Large Language Models (LLMs) to infer human intention in a collaborative object categorization task with a physical robot. We propose a novel multimodal approach that integrates user non-verbal cues, like hand gestures, body poses, and facial expressions, with environment states and user verbal cues to predict user intentions in a hierarchical architecture. Our evaluation of five LLMs shows the potential for reasoning about verbal and non-verbal user cues, leveraging their context-understanding and real-world knowledge to support intention prediction while collaborating on a task with a social robot. Video: https://youtu.be/tBJHfAuzohI
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
