UICrit: 借助UICritique数据集增强自动化设计评估
UICrit: Enhancing Automated Design Evaluation with a UICritique Dataset
AI总结：
针对当前基于LLM的UI评估性能不及人类的问题，研究团队构建了含3059条设计反馈的UICritique数据集，借助少样本与视觉提示技术将LLM UI评估性能提升55%，并探讨了其在奖励模型训练、多模态LLM微调等方面的应用前景。
摘要：
自动化UI评估可为设计流程提供助力，例如用于对比不同UI设计，或开展自动化启发式评估。其中，基于大语言模型（LLM）的UI评估有望适配各类UI类型与评估任务，具备广泛通用性。不过，当前基于LLM的技术表现仍未达到人类评估者的水平。我们假设，通过收集针对性的UI反馈数据集，再利用该数据集提升通用LLM的性能，可改善自动评估效果。我们推出了一个针对性数据集，包含来自7名资深设计师的、针对983个移动UI的3059条设计批评与质量评分。我们开展了深度分析以明确该数据集的特征。随后我们应用该数据集，通过多种少样本与视觉提示技术，使LLM生成的UI反馈性能提升了55%。我们还探讨了该数据集的未来应用方向，包括为生成式UI技术训练奖励模型，以及微调一款可自动化UI评估的、不依赖特定工具的多模态LLM。
英文摘要：
Automated UI evaluation can be beneficial for the design process; for example, to compare different UI designs, or conduct automated heuristic evaluation. LLM-based UI evaluation, in particular, holds the promise of generalizability to a wide variety of UI types and evaluation tasks. However, current LLM-based techniques do not yet match the performance of human evaluators. We hypothesize that automatic evaluation can be improved by collecting a targeted UI feedback dataset and then using this dataset to enhance the performance of general-purpose LLMs. We present a targeted dataset of 3,059 design critiques and quality ratings for 983 mobile UIs, collected from seven experienced designers. We carried out an in-depth analysis to characterize the dataset's features. We then applied this dataset to achieve a 55% performance gain in LLM-generated UI feedback via various few-shot and visual prompting techniques. We also discuss future applications of this dataset, including training a reward model for generative UI techniques, and fine-tuning a tool-agnostic multi-modal LLM that automates UI evaluation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
