arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2408.01894cs.SE
收藏

特性驱动的端到端测试生成

Feature-Driven End-To-End Test Generation

Parsa Alian, Noor Nashid, Mobina Shahbandeh, Taha Shabani, Ali Mesbah

AI总结:

本文提出 AutoE2E,利用 LLM 推断 Web 应用特性并生成可执行的特性驱动 E2E 测试,同时构建 E2EBench 评估覆盖率;实验显示其平均特性覆盖率达 79%,较最佳基线提升 558%。

摘要:

端到端(E2E)测试对于确保 Web 应用程序质量至关重要。然而,手动创建测试非常耗时,而当前的测试生成技术会产生不连贯的测试。在本文中,我们提出了 AutoE2E,这是一种利用大型语言模型(LLM)为 Web 应用程序自动生成具有语义意义、特性驱动的 E2E 测试用例的新颖方法。AutoE2E 智能地推断 Web 应用程序中的潜在特性,并将其转换为可执行的测试场景。此外,我们通过引入 E2EBench 填补了研究界的一个关键空白,E2EBench 是一个用于自动评估 E2E 测试套件特性覆盖率的新基准。我们在 E2EBench 上的评估表明,AutoE2E 实现了 79% 的平均特性覆盖率,比最佳基线高出 558%,突显了其在生成高质量、全面测试用例方面的有效性。

英文摘要:

End-to-end (E2E) testing is essential for ensuring web application quality. However, manual test creation is time-consuming, and current test generation techniques produce incoherent tests. In this paper, we present AutoE2E, a novel approach that leverages Large Language Models (LLMs) to automate the generation of semantically meaningful feature-driven E2E test cases for web applications. AutoE2E intelligently infers potential features within a web application and translates them into executable test scenarios. Furthermore, we address a critical gap in the research community by introducing E2EBench, a new benchmark for automatically assessing the feature coverage of E2E test suites. Our evaluation on E2EBench demonstrates that AutoE2E achieves an average feature coverage of 79%, outperforming the best baseline by 558%, highlighting its effectiveness in generating high-quality, comprehensive test cases.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑