“这里什么是重要的？”：使用 LLM 从 Web 界面检索信息的机遇与挑战
"What's important here?": Opportunities and Challenges of Using LLMs in Retrieving Information from Web Interfaces
AI总结：
本文研究 LLM 依据用户任务从 HTML Web 界面识别重要 UI 元素的原子能力，通过实证分析揭示其可用性能、机遇与改进挑战。
摘要：
在包含大量代码的语料库上训练的大型语言模型（LLM）表现出理解 HTML 代码的显著能力。由于 Web 界面主要使用 HTML 构建，我们设计了一项深入研究，以考察如何利用 LLM 在 Web 界面中针对用户给定查询（即任务描述）检索并定位重要元素。与以往主要关注自主 Web 导航的工作不同，我们将该问题分解为一个更原子的操作——LLM 能否针对用户给定查询识别网页中的重要信息？这种分解使我们能够细致审视 LLM 当前的能力，并揭示它们带来的机遇与挑战。我们的实证实验表明，尽管 LLM 在检索重要 UI 元素方面表现出合理水平的性能，但仍有相当大的提升空间。我们希望本研究能够启发后续工作，克服该领域当前面临的挑战。
英文摘要：
Large language models (LLMs) that have been trained on a corpus that includes large amount of code exhibit a remarkable ability to understand HTML code. As web interfaces are primarily constructed using HTML, we design an in-depth study to see how LLMs can be used to retrieve and locate important elements for a user given query (i.e. task description) in a web interface. In contrast with prior works, which primarily focused on autonomous web navigation, we decompose the problem as an even atomic operation - Can LLMs identify the important information in the web page for a user given query? This decomposition enables us to scrutinize the current capabilities of LLMs and uncover the opportunities and challenges they present. Our empirical experiments show that while LLMs exhibit a reasonable level of performance in retrieving important UI elements, there is still a substantial room for improvement. We hope our investigation will inspire follow-up works in overcoming the current challenges in this domain.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
