AlignBot:面向家用机器人的、通过微调实现VLM驱动定制化任务规划与用户提醒对齐的方法研究。不对,重新翻:AlignBot: Aligning VLM-powered Customized Task Planning with User Reminders Through Fine-Tuning for Household Robots 准确翻译:AlignBot:通过微调实现家用机器人中VLM驱动的定制化任务规划与用户提醒对齐。对,保留AlignBot原名。然后abstract_cn:本文提出了AlignBot,这是一种专为优化家用机器人中VLM(视觉语言模型)驱动的定制化任务规划而设计的新型框架,可有效实现规划与用户提醒的对齐。在家庭场景中,由于提醒存在数量有限、多样性不足且具备多模态特性的问题,任务规划与用户提醒的对齐面临重大挑战。为解决这些问题,AlignBot采用经过微调的LLaVA-7B模型,作为GPT-4o的适配器。该适配器模型将多种形式的用户提醒——例如个性化偏好、纠正性指导和情境辅助——内化为结构化的指令格式提示,以引导GPT-4o生成定制化任务规划。此外,AlignBot集成了动态检索机制,可选择与任务相关的历史成功案例作为GPT-4o的提示,进一步提升任务规划的准确性。为验证AlignBot的有效性,研究在实验室搭建的、复刻典型家庭场景的真实家庭环境中开展了实验。研究采用包含1500余条来自志愿者提醒的多模态数据集用于训练和评估。结果表明,AlignBot通过解读并对齐用户提醒,显著提升了定制化任务规划效果,性能优于现有的LLM和VLM驱动的规划器:其成功率达到86.8%,而原生GPT-4o基线的成功率仅为21.6%,提升了65个百分点,效能提升超四倍。补充材料可访问:https://yding25.com/AlignBot/。然后summary_cn:针对家用机器人任务规划难对齐用户提醒的问题,本文提出AlignBot框架,通过微调LLaVA-7B作为GPT-4o适配器并结合动态检索机制,在多模态数据集上实现86.8%的成功率,大幅优于现有基线。不对,要控制在140字内,准确点:针对家用机器人VLM驱动的定制化任务规划难对齐用户提醒的问题,本文提出AlignBot框架,通过微调LLaVA-7B作为GPT-4o适配器并结合动态检索机制,在实验中取得86.8%的成功率,较原生GPT-4o提升超四倍。等下,检查abstract_cn的字数,原文约204词,中文大概300多?数一下:本文提出了AlignBot,这是一种专为优化家用机器人中VLM(视觉语言模型)驱动的定制化任务规划而设计的新型框架,可有效实现规划与用户提醒的对齐。(约60字)在家庭场景中,由于提醒存在数量有限、多样性不足且具备多模态特性的问题,任务规划与用户提醒的对齐面临重大挑战。(约50字)为解决这些问题,AlignBot采用经过微调的LLaVA-7B模型,作为GPT-4o的适配器。该适配器模型将多种形式的用户提醒——例如个性化偏好、纠正性指导和情境辅助——内化为结构化的指令格式提示,以引导GPT-4o生成定制化任务规划。(约80字)此外,AlignBot集成了动态检索机制,可选择与任务相关的历史成功案例作为GPT-4o的提示,进一步提升任务规划的准确性。(约50字)为验证AlignBot的有效性,研究在实验室搭建的、复刻典型家庭场景的真实家庭环境中开展了实验。研究采用包含1500余条来自志愿者提醒的多模态数据集用于训练和评估。(约60字)结果表明,AlignBot通过解读并对齐用户提醒,显著提升了定制化任务规划效果,性能优于现有的LLM和VLM驱动的规划器:其成功率达到86.8%,而原生GPT-4o基线的成功率仅为21.6%,提升了65个百分点,效能提升超四倍。补充材料可访问:https://yding25.com/AlignBot/。(约80字)总共大概380字,符合265-408的要求。然后检查术语:AlignBot保留,VLM首次出现加中文解释,LLaVA-7B保留,GPT-4o保留,LLM保留,数字都准确:1500余条,86.8%,21.6%,65%,超四倍,都对。然后summary_cn:针对家用机器人VLM驱动的定制化任务规划难对齐用户提醒的问题,本文提出AlignBot框架,通过微调LLaVA-7B作为GPT-4o适配器并结合动态检索机制,实验显示其成功率达86.8%,较原生GPT-4o基线提升超四倍。数一下字数,大概100多,不超140。对。现在整理成严格JSON,注意转义?不,里面没有双引号,直接写。等下,标题翻译再准确点:AlignBot:通过微调实现家用机器人中VLM驱动的定制化任务规划与用户提醒对齐。对,忠实原文。再检查abstract_cn有没有漏信息点:研究背景(家庭场景下对齐用户提醒的挑战:提醒数量少、多样性不足、多模态),方法(微调LLaVA-7B作为GPT-4o适配器,把提醒转成结构化指令提示;动态检索历史成功案例作为提示),实验设置(实验室搭建真实家庭场景,1500+条志愿者提醒的多模态数据集用于训练评估),结果(86.8%成功率,基线21.6%,提升65个百分点,超四倍,优于现有LLM/VLM规划器),补充材料链接。都覆盖了。对。现在输出。{
AlignBot: Aligning VLM-powered Customized Task Planning with User Reminders Through Fine-Tuning for Household Robots
AI总结:
针对家用机器人VLM驱动的定制化任务规划难对齐用户提醒的问题,本文提出AlignBot框架,通过微调LLaVA-7B作为GPT-4o适配器并结合动态检索机制,实验显示其成功率达86.8%,较原生GPT-4o基线提升超四倍。
摘要:
本文提出了AlignBot,这是一种专为优化家用机器人中VLM(视觉语言模型)驱动的定制化任务规划而设计的新型框架,可有效实现规划与用户提醒的对齐。在家庭场景中,由于提醒存在数量有限、多样性不足且具备多模态特性的问题,任务规划与用户提醒的对齐面临重大挑战。为解决这些问题,AlignBot采用经过微调的LLaVA-7B模型,作为GPT-4o的适配器。该适配器模型将多种形式的用户提醒——例如个性化偏好、纠正性指导和情境辅助——内化为结构化的指令格式提示,以引导GPT-4o生成定制化任务规划。此外,AlignBot集成了动态检索机制,可选择与任务相关的历史成功案例作为GPT-4o的提示,进一步提升任务规划的准确性。为验证AlignBot的有效性,研究在实验室搭建的、复刻典型家庭场景的真实家庭环境中开展了实验。研究采用包含1500余条来自志愿者提醒的多模态数据集用于训练和评估。结果表明,AlignBot通过解读并对齐用户提醒,显著提升了定制化任务规划效果,性能优于现有的LLM和VLM驱动的规划器:其成功率达到86.8%,而原生GPT-4o基线的成功率仅为21.6%,提升了65个百分点,效能提升超四倍。补充材料可访问:https://yding25.com/AlignBot/
英文摘要:
This paper presents AlignBot, a novel framework designed to optimize VLM-powered customized task planning for household robots by effectively aligning with user reminders. In domestic settings, aligning task planning with user reminders poses significant challenges due to the limited quantity, diversity, and multimodal nature of the reminders. To address these challenges, AlignBot employs a fine-tuned LLaVA-7B model, functioning as an adapter for GPT-4o. This adapter model internalizes diverse forms of user reminders-such as personalized preferences, corrective guidance, and contextual assistance-into structured instruction-formatted cues that prompt GPT-4o in generating customized task plans. Additionally, AlignBot integrates a dynamic retrieval mechanism that selects task-relevant historical successes as prompts for GPT-4o, further enhancing task planning accuracy. To validate the effectiveness of AlignBot, experiments are conducted in real-world household environments, which are constructed within the laboratory to replicate typical household settings. A multimodal dataset with over 1,500 entries derived from volunteer reminders is used for training and evaluation. The results demonstrate that AlignBot significantly improves customized task planning, outperforming existing LLM- and VLM-powered planners by interpreting and aligning with user reminders, achieving 86.8% success rate compared to the vanilla GPT-4o baseline at 21.6%, reflecting a 65% improvement and over four times greater effectiveness. Supplementary materials are available at: https://yding25.com/AlignBot/
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。