arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2501.12557cs.HCcs.AIcs.CLcs.CY
收藏

理解CHI的“LLM化”:通过系统性文献综述揭示LLM在CHI中的影响

Understanding the LLM-ification of CHI: Unpacking the Impact of LLMs at CHI through a Systematic Literature Review

University of Washington(华盛顿大学);MIT(麻省理工学院);Columbia University(哥伦比亚大学);Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学)

Rock Yuren Pang, Hope Schroeder, Kynnedy Simone Smith, Solon Barocas, Ziang Xiao, Emily Tseng, Danielle Bragg

AI总结:

本研究通过系统性文献综述2020-24年153篇CHI论文,分类LLMs应用领域、角色、贡献类型及局限,发现其主要用于实证和工件贡献,存在有效性与可重复性担忧,并提出改进HCI研究的指导性问题。

摘要:

大型语言模型(LLMs)已被定位为彻底改变人机交互(HCI)领域,不仅重塑我们所研究的界面、设计模式和社会技术系统,还重塑我们所使用的研究实践。然而,迄今为止,人们对LLMs在HCI中的采用情况了解甚少。我们通过对2020年至2024年间153篇涉及LLMs的CHI论文进行系统性文献综述来填补这一空白。我们对以下方面进行分类:(1)LLMs应用的领域;(2)LLMs在HCI项目中的角色;(3)贡献类型;以及(4)已承认的局限性和风险。我们发现LLMs在10个不同领域中的应用,主要通过实证和工件贡献。作者在五种不同角色中使用LLMs,包括作为研究工具或模拟用户。尽管如此,作者经常提出有效性和可重复性问题,并且绝大多数研究使用封闭模型。我们概述了改进使用LLMs进行HCI研究以及针对LLMs本身开展HCI研究的机会,并为研究人员提供指导性问题,以考虑LLMs相关工作的有效性和适当性。

英文摘要:

Large language models (LLMs) have been positioned to revolutionize HCI, by reshaping not only the interfaces, design patterns, and sociotechnical systems that we study, but also the research practices we use. To-date, however, there has been little understanding of LLMs' uptake in HCI. We address this gap via a systematic literature review of 153 CHI papers from 2020-24 that engage with LLMs. We taxonomize: (1) domains where LLMs are applied; (2) roles of LLMs in HCI projects; (3) contribution types; and (4) acknowledged limitations and risks. We find LLM work in 10 diverse domains, primarily via empirical and artifact contributions. Authors use LLMs in five distinct roles, including as research tools or simulated users. Still, authors often raise validity and reproducibility concerns, and overwhelmingly study closed models. We outline opportunities to improve HCI research with and on LLMs, and provide guiding questions for researchers to consider the validity and appropriateness of LLM-related work.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑