AutoScraper：一种用于Web Scraper生成的渐进式理解Web Agent
AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation
AI总结：
针对现有Web scraping方法适应性差和可重用性低的问题，提出基于LLM的两阶段框架AutoScraper，利用HTML层次结构和网页相似性高效生成Web scraper，并引入新可执行性指标验证了其有效性。
摘要：
Web scraping是一项从网站提取数据的强大技术，能够实现自动化数据收集，增强数据分析能力，并减少手动数据录入工作。现有方法中，基于包装器的方法在面对新网站时适应性和可扩展性有限，而由大型语言模型（LLMs）赋能的语言代理在多样的Web环境中表现出较差的可重用性。在本工作中，我们引入了用LLMs生成Web scrapers的范式，并提出了AutoScraper，这是一个能更高效处理多样和变化Web环境的两阶段框架。AutoScraper利用HTML的层次结构和不同网页间的相似性来生成Web scrapers。此外，我们提出了一种新的可执行性指标，以更好地衡量Web scraper生成任务的性能。我们用多个LLMs进行了全面实验，证明了我们框架的有效性。本文资源可在\url{https://github.com/EZ-hwh/AutoScraper}找到。
英文摘要：
Web scraping is a powerful technique that extracts data from websites, enabling automated data collection, enhancing data analysis capabilities, and minimizing manual data entry efforts. Existing methods, wrappers-based methods suffer from limited adaptability and scalability when faced with a new website, while language agents, empowered by large language models (LLMs), exhibit poor reusability in diverse web environments. In this work, we introduce the paradigm of generating web scrapers with LLMs and propose AutoScraper, a two-stage framework that can handle diverse and changing web environments more efficiently. AutoScraper leverages the hierarchical structure of HTML and similarity across different web pages for generating web scrapers. Besides, we propose a new executability metric for better measuring the performance of web scraper generation tasks. We conduct comprehensive experiments with multiple LLMs and demonstrate the effectiveness of our framework. Resources of this paper can be found at \url{https://github.com/EZ-hwh/AutoScraper}
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
