CleanAgent:使用基于 LLM 的智能体自动化数据标准化
CleanAgent: Automating Data Standardization with LLM-based Agents
AI总结:
针对数据标准化中 Pandas 复杂性及 LLM 需持续交互的问题,提出集成声明式 Python 库 Dataprep.Clean 与 LLM 智能体的 CleanAgent 框架,实现仅需一次需求输入的免手动数据标准化,并开发 Web 应用验证其实用性。
摘要:
数据标准化是数据科学生命周期的重要组成部分。尽管像 Pandas 这样的工具提供了强大的功能,但其复杂性以及为不同列类型自定义代码所需的手动工作量带来了巨大挑战。尽管像 ChatGPT 这样的大语言模型(LLM)通过自然语言理解和代码生成,在自动化这一过程方面展现出了潜力,但它仍然需要专家级的编程知识和持续的交互来进行提示词优化。为了解决这些挑战,我们的核心思想是提出一个具有声明式、统一 API 的 Python 库,用于标准化不同的列类型,通过简洁的 API 调用来简化 LLM 的代码生成。我们首先提出了 Dataprep.Clean,它是 Dataprep Python 库的一个组件,通过支持用单行代码完成特定列类型的标准化,显著降低了编码复杂性。然后,我们引入了 CleanAgent 框架,该框架集成了 Dataprep.Clean 和基于 LLM 的智能体,以自动化数据标准化过程。借助 CleanAgent,数据科学家只需提供一次需求,即可实现免手动干预的过程。为了展示 CleanAgent 的实际效用,我们开发了一个用户友好的 Web 应用程序,允许用户使用真实世界的数据集与其进行交互。
英文摘要:
Data standardization is a crucial part of the data science life cycle. While tools like Pandas offer robust functionalities, their complexity and the manual effort required for customizing code to diverse column types pose significant challenges. Although large language models (LLMs) like ChatGPT have shown promise in automating this process through natural language understanding and code generation, it still demands expert-level programming knowledge and continuous interaction for prompt refinement. To solve these challenges, our key idea is to propose a Python library with declarative, unified APIs for standardizing different column types, simplifying the LLM's code generation with concise API calls. We first propose Dataprep.Clean, a component of the Dataprep Python Library, significantly reduces the coding complexity by enabling the standardization of specific column types with a single line of code. Then, we introduce the CleanAgent framework integrating Dataprep.Clean and LLM-based agents to automate the data standardization process. With CleanAgent, data scientists only need to provide their requirements once, allowing for a hands-free process. To demonstrate the practical utility of CleanAgent, we developed a user-friendly web application, allowing users to interact with it using real-world datasets.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。