arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新，休息一下吧，周末愉快~~
arXiv 2409.06205cs.HCcs.CL
收藏

SHAPE-IT：探索利用 LLM 生成形变行为的文本到形状显示

SHAPE-IT: Exploring Text-to-Shape-Display for Generative Shape-Changing Behaviors with LLMs

University of Chicago（芝加哥大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Calgary（卡尔加里大学）

Wanli Qian, Chenfeng Gao, Anup Sathya, Ryo Suzuki, Ken Nakagaki

备注：
Accepted for ACM UIST 2024
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出 text-to-shape-display 方法并构建 SHAPE-IT，利用 LLM 与 AI-chaining 将自然语言转为 24×24 形状显示器的可执行形变代码，实验表明其支持快速创作但仍存在准确性局限。

摘要：

本文介绍了 text-to-shape-display（文本到形状显示），这是一种通过自然语言命令在基于引脚的形状显示器上生成动态形状变化的新颖方法。通过利用大型语言模型（LLM）和 AI-chaining，我们的方法允许用户无需编程，即可通过文本提示按需创作形变行为。基于形成性探索和迭代设计过程，我们描述了此类系统所需的基础方面，包括识别关键生成元素（primitive、animation 和 interaction）以及增强用户交互的设计需求。基于这些洞见，我们开发了 SHAPE-IT，这是一种面向 24×24 形状显示器、基于 LLM 的创作工具，可将用户的文本命令转换为可执行代码，并允许通过基于 Web 的控制界面进行快速探索。我们从两个方面评估 SHAPE-IT 的有效性：1）性能评估；2）用户评估（N=10）。研究结论强调了其借助 AI 促进对各种形变行为进行快速构思的能力。然而，研究结果也暴露了与准确性相关的挑战和局限，这促使人们进一步探索如何完善利用 AI 的框架，以更好地适应形变系统的独特需求。

英文摘要：

This paper introduces text-to-shape-display, a novel approach to generating dynamic shape changes in pin-based shape displays through natural language commands. By leveraging large language models (LLMs) and AI-chaining, our approach allows users to author shape-changing behaviors on demand through text prompts without programming. We describe the foundational aspects necessary for such a system, including the identification of key generative elements (primitive, animation, and interaction) and design requirements to enhance user interaction, based on formative exploration and iterative design processes. Based on these insights, we develop SHAPE-IT, an LLM-based authoring tool for a 24 x 24 shape display, which translates the user's textual command into executable code and allows for quick exploration through a web-based control interface. We evaluate the effectiveness of SHAPE-IT in two ways: 1) performance evaluation and 2) user evaluation (N= 10). The study conclusions highlight the ability to facilitate rapid ideation of a wide range of shape-changing behaviors with AI. However, the findings also expose accuracy-related challenges and limitations, prompting further exploration into refining the framework for leveraging AI to better suit the unique requirements of shape-changing systems.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑