arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

多模态AI辅助手动任务执行中的大规模用户行为分析

Large-Scale User Behavior Analysis in Multimodal AI-Assisted Manual Task Execution

Rafael Ferreira, Diogo Tavares, Diogo Glória-Silva, David Semedo, João Magalhães

arXiv 2609.07594首次发表:更新:

发表机构

NOVA University of Lisbon; NOVA LINCS(新里斯本大学; 新里斯本大学计算机与系统工程研究所)

机构由 AI 辅助整理,请以论文原文为准。

AI 中文总结

本研究基于数千名野外用户的大规模数据分析,揭示对话式任务助手在现实使用中的交互流程、用户意图、对话特征及满意度相关行为因素,并提出设计指南。

AI 中文摘要

对话式任务助手(CTAs)是支持用户在烹饪和DIY等复杂现实任务中通过语音、文本、图像和视频交互的多模态对话系统。以往的用户研究侧重于受控环境,导致对现实世界中CTA使用情况的大规模理解有限。在本工作中,我们基于数千名野外用户开展了一项大规模的CTA使用研究。我们的大规模真实世界数据分析揭示了关于(i)用户与CTA交互流程,(ii)用户意图,(iii)用户对话特征,以及(iv)与用户满意度相关的行为因素的新认识。我们的发现揭示了未来CTA研究的关键机遇,特别是在用户交互设计和任务参与方面,并最终提出了具体的设计指南。

英文摘要

Conversational Task Assistants (CTAs) are multimodal dialogue systems that support users in complex real-world tasks such as cooking and DIY through voice, text, image, and video interactions. Prior user studies have focused on controlled settings, leaving limited understanding of real-world CTA usage at scale. In this work, we present a large-scale study of CTA usage based on thousands of users in-the-wild. Our large-scale real-world data analysis unveils new understandings of (i) user-CTA interaction flows, (ii) user intents, (iii) user conversational traits, and (iv) behavioral factors associated with user satisfaction. Our findings reveal key opportunities for future research in CTAs, particularly in user interaction design and task engagement, concluding with concrete design guidelines.

CommentsPreprint version accepted at EPIA 2026

论文原文

arXiv 摘要页 · PDF 原文 · HTML 原文

↑