Data-Driven Vulnerability Detection and Repair in Java Code
Java平台提供了各种API来促进安全编码。然而,对于缺乏网络安全培训的开发人员来说,正确使用安全API通常具有挑战性。先前的工作表明,许多开发人员滥用安全API;这种滥用可能会将漏洞引入软件,使安全保护无效,并向黑客提供安全漏洞。为了消除这种API相关的漏洞,本文提出了SEADER -我们的新方法,检测和修复安全API滥用。给定一个示例性的不安全代码片段及其安全对应代码片段,SEADER会比较这些代码片段并进行数据依赖性分析,以推断安全API滥用模板和相应的修复操作。根据推断的信息,给定一个程序,SEADER执行过程间静态分析,以搜索任何安全API滥用,并针对这些漏洞提出定制的修复建议。为了评估SEADER,我们将其应用于25个<不安全,安全>代码对,SEADER成功地推断出18个独特的API误用模板和相关修复。通过这些漏洞修复模式,我们进一步将SEADER应用于10个开源项目,这些项目总共包含32个已知漏洞。我们的实验表明,SEADER检测漏洞的准确率为100%,召回率为84%,准确率为91%。此外,我们将SEADER应用于100个Apache开源项目,并检测到988个漏洞; SEADER始终正确地定制修复建议。根据SEADER的输出,我们提交了60个pull requests。截至目前,已有18个项目的开发商对SEADER的建议给予了积极的反馈。我们的研究结果表明,SEADE…
2021-02-13 cs.CR cs.SE
AFGNN: API Misuse Detection using Graph Neural Networks and Clustering
IIT Hyderabad(印度理工学院海德拉巴分校);Oracle(甲骨文公司);Yokogawa Electric(横河电机);Microsoft Research(微软研究院);IIT Kharagpur(印度理工学院卡拉格普尔分校)
本文提出AFGNN框架,利用API流程图捕捉代码中的执行序列、数据和控制流信息,通过自监督预训练和聚类识别不同API使用模式,有效检测Java代码中的API误用。
2026-04-09 cs.SE
From Retrieved Evidence to Security Outcomes: A Data-Driven Analysis of Java Security API Misuse in LLM-Generated Code
School of Computer Science University of Auckland Auckland, New Zealand
本研究复制并扩展了Mousavi等人的工作,评估GPT-5.5和Llama-3.3-70B-Instruct在Java安全API(JCA和JSSE)使用中的误用情况,发现外部安全知识能显著改善但效果依赖模型,且误用问题仍未消除。
2026-10-04 cs.CR cs.SE
Model-based Automated Testing of JavaScript Web Applications via Longer Test Sequences
JavaScript已成为Web开发中使用最广泛的语言之一。然而,由于动态和事件驱动的特性,确保用JavaScript编写的Web应用程序的正确性和可靠性是具有挑战性的。针对JavaScript Web应用程序的动态分析技术已经有很多种,但它们在覆盖范围和可扩展性方面都有局限性。在本文中,我们提出了一种基于模型的自动化方法,通过测试较长的事件序列,在合理的时间内实现高代码覆盖率。我们将我们的方法实现为工具LJS,并在21个公开的基准测试(总共18,559行代码)上进行了广泛的实验。LJS平均在10分钟内达到86.4%的行覆盖率,比基于广度优先搜索的自动化测试工具JSDep高5.4%。特别是,在大型应用程序中,LJS的覆盖率比JSDep高11- 18%。我们的经验发现支持更长的测试序列可以实现更高的代码覆盖率在JavsScript测试。
2019-05-19 cs.SE
LittleDarwin: a Feature-Rich and Extensible Mutation Testing Framework for Large and Complex Java Systems
变异测试是一种被广泛研究的提高测试套件质量的方法。我们设计LittleDarwin作为一个突变测试框架,能够应付大型和复杂的Java软件系统,同时仍然很容易扩展新的实验组件。LittleDarwin解决了突变测试领域中存在的两个问题:拥有一个能够在工业环境中工作的工具,并且可以扩展学术界提供的尖端技术。LittleDarwin已经提供了高阶突变、空型突变体、突变体采样、手动突变和突变体包容分析。目前还没有一款工具具备所有这些功能,能够与典型的工业软件系统一起工作。
2017-07-04 cs.SE
Bridge: Automatically Mining Ecosystem-Scale API Update Mappings and Client Update Instances
University of Science and Technology Beijing(北京科技大学)
本文提出客户端驱动框架Bridge,自动构建生态系统级库更新数据集,挖掘Java、Python的API更新映射与客户端更新实例,实验显示大语言模型在长尾映射的API推荐上表现较差。
2026-09-01 cs.SE
MMT: Mutation Testing of Java Bytecode with Model Transformation -- An Illustrative Demonstration
针对传统变异测试扩展复杂变异困难的问题,提出基于模型转换的Java字节码变异方法及工具MMT,支持修改面向对象结构等高级变异,是唯一支持此类变异的Java字节码变异测试工具。
2024-04-22 cs.SE
Testing Java implementations of algebraic specifications
在本文中,我们专注于开发一个规范和满足它的结构,以获得一种手段,比较实现和预期的行为,并找到故障的起源实现。我们提出了一种方法来创建的测试,是基于这些规范兼容的结构,并解释这些测试的结果,导致发现的方法负责最终的测试失败。实现这种方法的工具的比较实验的结果。
2013-03-05 cs.SE
Exposing Bugs in JavaScript Engines through Test Transplantation and Differential Testing
上下文JavaScript是当今流行的程序设计语言,有几种实现在竞争市场主导地位。虽然有规范文档和一致性测试套件来指导引擎开发,但还是会出现错误,并产生重要的实际后果。实现正确的引擎是具有挑战性的,因为规范是故意不完整的,并且经常演变。Objective.本文研究了使用测试移植和差异测试来揭示JavaScript引擎中的功能错误。前一种技术在另一个引擎上运行给定引擎的回归测试套件。后一种技术模糊现有的输入,然后比较不同引擎产生的输出与差分预言。法我们对来自五个主要参与者的引擎进行了实验-Apple,Facebook,Google,Microsoft和Mozilla-以评估测试移植和差异测试的有效性。结果我们的研究结果表明,这两种技术都揭示了一些错误,其中许多已被开发人员证实。我们报告了35个测试移植错误(其中23个已确认,19个已修复),并报告了24个差异测试错误(其中17个已确认,10个已修复)。结果表明,大多数这些错误影响两个引擎-苹果的JSC和微软的ChakraCore(分别为24和26个错误)。总之,我们的研究结果表明,测试移植和差分测试是很容易应用和非常有效的发现错误的复杂软件,如JavaScript引擎。
2020-12-07 cs.SE
Carving UI Tests to Generate API Tests and API Specification
提出一种利用UI测试导航和定向API探测动态推断API端点的方法,自动生成API测试套件和OpenAPI规范,在现有工具不适用时实现高效的API级测试并显著提升代码覆盖率。
2023-05-24 cs.SE
REST API Fuzzing by Coverage Level Guided Blackbox Testing
随着Web应用程序的增长,REST API已成为服务之间的主要通信方法。为了保证系统的可靠性和安全性,软件质量可以通过有效的测试方法来保证。黑盒模糊测试是进行大规模测试的有效方法之一。然而,传统的黑盒模糊测试产生随机数据而不判断输入的质量。我们为REST API实现了一个黑盒模糊测试方法。通过测试覆盖水平反馈,解决了在不知道突变有效性的情况下盲目突变的问题。我们还通过降低REST API的测试复杂度来增强变异策略,生成更合适的测试用例来覆盖可能的路径。我们通过测试两个大型开源项目来评估我们的方法,并报告和确认了89个错误。此外,我们在APIs.guru中发现了来自64个远程API服务的351个错误。该工作在https://github.com/iasthc/hsuan-fuzz上。
2021-12-31 cs.SE
Java JIT Testing with Template Extraction
本文提出基于模板的 Java JIT 编译器测试框架 LeJit,可从现有 Java 代码自动提取可执行模板并生成测试程序,实验在 HotSpot、OpenJ9 和 GraalVM 中发现多个已确认缺陷。
2024-07-07 cs.SE
Morest: Model-based RESTful API Testing with Execution Feedback
RESTful API可以说是访问Web服务的最流行的端点。黑盒测试是确保RESTful API可靠性的新兴技术之一。测试RESTful API的主要挑战是需要正确的API操作调用序列以进行深入测试。为了构建有意义的操作调用序列,研究人员提出了基于OpenAPI规范学习和利用API依赖关系的技术。然而,这些技术要么缺乏对所有API如何连接的整体意识,要么缺乏自适应地固定学习知识的灵活性。在本文中,我们提出了Morest,一个基于模型的RESTful API测试技术,建立和维护一个动态更新的RESTful-service属性图(RPG)建模的RESTful-service的行为,并指导调用序列生成。我们对Morest进行了经验评估,结果表明,与最先进的技术相比,Morest可以成功请求平均多152.66%-232.45%的API操作,覆盖26.16%-103.24%的代码行,并检测40.64%-215.94%的错误。总的来说,我们将Morest应用于6个真实世界的项目,发现了44个错误(其中13个无法通过现有方法检测到)。具体来说,其中2个已确认的bug来自Bitbucket,这是一个著名的代码管理服务,拥有超过600万用户。
2022-04-26 cs.SE
RBCTest: Leveraging LLMs to Mine and Verify Oracles of API Response Bodies for RESTful API Testing
Katalon Inc.(Katalon公司)
RBCTest利用LLM挖掘RESTful API响应体约束并验证Oracle,提高API测试的自动化和准确性。
2026-08-19 cs.SE
Reinforcement Learning-Based REST API Testing with Multi-Coverage
本文提出基于Q-learning的REST API测试方法MUCOREST,通过最大化代码覆盖率和输出覆盖率提升缺陷发现能力,实验表明其缺陷发现数量比现有方法高11.6%-261.1%,且所需API调用更少。
2024-10-20 cs.SE
KAT: Dependency-aware Automated API Testing with Large Language Models
针对传统API测试工具处理依赖关系的局限性,研究提出AI驱动的KAT方法,结合GPT与提示技术自主生成RESTful API测试相关内容,经12个真实服务验证,在覆盖率、缺陷检测和误报率上均优于现有先进工具。
2024-07-14 cs.SE
You Can REST Now: Automated REST API Documentation and Testing via LLM-Assisted Request Mutations
本文提出RESTSpecIT,一种利用LLM自动推断REST API文档并进行黑盒测试的方法,通过生成和变异API请求种子,在最少用户输入下实现高效文档推断与测试辅助。
2025-07-15 cs.SE
MioHint: LLM-assisted Mutation for Whitebox API Testing
The Chinese University of Hong Kong(香港中文大学);Duke Kunshan University(杜克昆山大学);Sun Yat-sen University(中山大学)
MioHint利用大语言模型提升白盒API测试效率,实现更高的代码覆盖和突变准确性
2026-03-05 cs.SE
REST API Testing with Verified LLM-Inferred Dependencies and Response-Driven Refinement
University of Science, VNU-HCM(胡志明市国立大学科学大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Katalon LLC(Katalon有限责任公司)
本文提出APIPilot框架,通过执行验证LLM推断的REST API依赖关系,结合响应驱动优化,在16个真实API上实现高覆盖率与成功率,优于现有基线。
2026-08-21 cs.SE
REST API Testing in DevOps: A Study on an Evolving Healthcare IoT Application
本研究针对DevOps场景下医疗物联网应用持续演进的REST API测试需求,评估5款主流自动化REST API测试工具在真实应用14个版本、17个API上的回归测试效果,发现工具可检测部分故障与回归但存在大量无效测试开销。
2025-07-31 cs.SE
Understanding API Usage and Testing: An Empirical Study of C Libraries
本研究针对21个流行C库的3061个客户端开展实证分析,发现库测试未匹配API实际使用热度,开发了LibProbe框架并证明可借助客户端测试提升库测试覆盖率。
2025-06-13 cs.SE
XAMT: Cross-Framework API Matching for Testing Deep Learning Libraries
本文提出跨框架模糊测试方法XAMT,通过匹配不同深度学习框架中功能等价的API并进行差分测试,在五个主流框架上检测出17个缺陷,弥补了框架内测试的不足。
2025-08-18 cs.SE
Nirikshak: A Clustering Based Autonomous API Testing Framework
Nirikshak 是一个基于聚类的自主 REST API 测试开源框架,通过分析日志对测试用例进行分类,最大程度减少用户干预并实现 2 级自主性,提升对软件变更的动态适应能力。
2023-11-22 cs.SE
Adaptive REST API Testing with Reinforcement Learning
提出一种结合强化学习的自适应 REST API 测试技术,通过动态分析请求与响应数据并对操作和参数进行优先级排序,在代码覆盖率、效率和故障发现能力上优于现有工具。
2023-09-08 cs.SE
Leveraging Large Language Models to Improve REST API Testing
针对现有REST API测试工具忽略规范中非结构化自然语言描述导致测试覆盖不足的问题,提出RESTGPT方法,利用大语言模型提取规则、生成参数值以增强规范,在规则提取和值生成上均优于现有技术。
2024-01-30 cs.SE
BugsInPy: A Database of Existing Bugs in Python Programs to Enable Controlled Testing and Debugging Studies
受Java缺陷基准Defects4J启发,本研究构建了包含17个真实Python项目493个真实缺陷的BugsInPy基准数据库及工具,以填补Python测试调试基准的不足,推动相关工具研究发展。
2024-01-27 cs.SE
Systematic API Testing Through Model Checking and Executable Contracts
NOVA University Lisbon(里斯本新大学)
本文提出IcePick框架,利用模型检查实现API测试的系统性状态空间覆盖,并引入Glacier语言增强API规格,通过可执行语义合同实现行为验证,验证了模型检查引导的探索能完全覆盖状态并发现多操作交互中的故障。
2026-04-09 cs.SE
Shadow Symbolic Execution with Java PathFinder
回归测试确保软件系统在发展时仍然正确执行,并且更改不会引入意外的副作用。然而,创建显示不同行为的回归测试用例需要大量的工作。一个解决方案是影子符号执行的想法,最初基于KLEE为C编写的程序实现,它采用新旧程序的统一版本,并执行由具体值指导的符号执行,以探索改变的行为。在这项工作中,我们将影子符号执行的想法应用到Java程序中,因此,提供了一个扩展的Java Path(JPF)项目执行影子符号执行Java字节码。该扩展已应用于JPF测试类中的几个主题,在这些主题中,它成功地生成了暴露回归测试相关分歧的测试输入。
2018-02-05 cs.SE
Automatic Property-based Testing of GraphQL APIs
近年来,GraphQL已成为公开Web API的流行方式。随着GraphQL API在工业中的应用越来越多,它的质量也必须像软件系统的任何部分一样进行评估,并且最好是以自动化的方式进行评估。然而,目前缺乏自动生成测试以执行GraphQL API的方法。在本文中,我们提出了一种自动生成GraphQL查询来测试GraphQL API的方法。这是使用基于属性的方法来实现的,该方法基于被测系统的GraphQL模式为查询创建生成器。我们对一个真实世界的软件系统的评估表明,这种方法是有效的,在寻找真正的错误,和效率,因为一个完整的模式可以在几秒钟内覆盖。此外,我们评估的故障发现能力的方法时,播种已知的故障。73%的种子错误被发现,在特定于领域的行为方面还有改进的空间,这是自动测试生成中常见的Oracle挑战。
2020-12-14 cs.SE
An Empirical Study on Failed Error Propagation in Java Programs with Real Faults
在测试过程中,开发人员可以在方法的外部或内部放置Oracle。给定错误的执行状态,即,一个与预期的错误不同的错误,如果它被放置在不能访问不正确的程序状态或程序状态不再被破坏的程序点处,则Oracle可能无法暴露该错误。在这种情况下,oracle会受到失败的错误传播的影响。我们进行了一项实证研究,以衡量失败的错误传播缺陷4J,参考基准的Java程序与真正的故障,考虑所有6个项目(386个真正的错误和459个固定的方法)。我们的研究结果表明,失败的错误传播的流行是可以忽略不计的测试时,在单元级。然而,当提供系统级输入时,失败的错误传播的发生率大幅增加。这表明,方法后置条件仅根据外部可观察状态/数据进行预测就足够了,并且在系统级测试时应检查中间步骤。
2020-11-21 cs.SE
Automated Testing of COBOL to Java Transformation
IBM Research(IBM研究院)
针对COBOL到Java转换代码需手动验证的问题,开发用于IBM WCA4Z的测试框架,通过符号执行生成COBOL单元测试并转为JUnit测试验证语义等价性,助力差异修复与AI模型改进。
2025-04-14 cs.AI cs.SE
Empirical Comparison of Black-box Test Case Generation Tools for RESTful APIs
在文献中,我们可以找到自动生成RESTful API测试用例的研究工具,解决这个特定编程领域的特殊性。但是,这些工具之间没有直接的比较,无法指导开发人员决定哪种工具最适合他们的REST API项目。在本文中,我们提出了REST API的自动黑盒测试用例生成方法的实证比较结果。我们调查了最近文献中提出的可用的黑盒测试工具,找到了四个可用的原型:RestTestGen,RESTler,bBOXRT和RESTest。我们使用这些工具为14个真实的REST服务生成测试用例。然后,从鲁棒性(即,成功率)和测试覆盖率。在考虑的工具中,RESTler似乎是最可靠的,能够成功地测试所有案例研究(其他工具经历了崩溃)。相反,RestTestGen生成的测试用例覆盖率最高,这表明它的测试策略在测试REST API方面最有效。
2021-08-18 cs.SE
JUGE: An Infrastructure for Benchmarking Java Unit Test Generators
研究人员和实践者已经设计并实现了各种自动化测试用例生成器来支持有效的软件测试。这样的生成器存在于各种语言(例如,Java、C#或Python)和各种平台(例如,桌面、网络或移动应用程序)。这种发生器表现出不同的有效性和效率,这取决于它们旨在满足的测试目标(例如,库的单元测试与整个应用程序的系统测试)以及它们实现的底层技术。在这种情况下,从业人员需要能够比较不同的发电机,以确定最适合他们的要求,而研究人员寻求确定未来的研究方向。这可以通过系统地对不同发电机进行大规模评估来实现。然而,进行这种经验性评价并非易事,需要作出大量努力来收集基准,建立评价基础设施,并收集和分析结果。在本文中,我们介绍了我们的JUnit生成基准测试基础设施(JUGE)支持生成器(例如,基于搜索、基于随机、符号执行等)寻求自动化用于各种目的的单元测试的产生(例如,验证、回归测试、故障定位等)。其主要目标是通过标准化评估和比较过程,减少总体工作量,简化几个发电机的比较,并加强学术界和工业界之间的知识转移。自2013年以来,与基于搜索的软件测试研讨会一起举办的单元测试工具竞赛已经举办了八届,并使用和更新了JUGE。因此,越来越多来自学术界和工业界的工具(超过十种)在JUGE上进行了评估,这些工具多年来已经成熟,并可以确定未来的研究方向。
2022-10-28 cs.SE
Log-based, Business-aware REST API Testing
Nanjing University(南京大学);Tencent(腾讯)
本文提出LoBREST,通过利用历史请求日志和业务约束,有效测试复杂业务功能,优于现有工具,在17个真实服务中检测到108个5XX错误。
2026-04-09 cs.SE
iJTyper: An Iterative Type Inference Framework for Java by Integrating Constraint- and Statistically-based Methods
School of Software Engineering Sun Yat-sen University China;Sun Yat-sen University
针对现有Java代码片段类型推断方法召回率或精确率低的问题,提出融合约束与统计方法的迭代框架iJTyper,通过迭代上下文扩充与知识库缩减提升推断效果,在多个基线和数据集上表现更优。
2024-02-15 cs.SE
Invariant-Driven Automated Testing
NOVA University of Lisbon(里斯本新大学);University of Minho(米尼奥大学)
本研究提出APOSTL语言和PETIT工具,通过扩展API规范语言并自动化测试流程,实现微服务测试的全面自动化。
2026-02-27 cs.SE
Utilizing API Response for Test Refinement
本文提出一种利用API响应消息的动态测试细化方法,通过智能体迭代添加约束修复测试场景,减少4xx响应并提高覆盖率,优于现有搜索式工具。
2025-01-30 cs.SE
LogiAgent: Automated Logical Testing for REST Systems with LLM-Based Multi-Agents
针对现有REST API测试方法易忽略业务逻辑问题的不足,提出基于LLM多智能体的LogiAgent测试框架,通过多组件协作与逻辑预言机开展测试,在真实系统中有效识别逻辑问题且性能优于现有工具。
2025-03-19 cs.SE
Python Crypto Misuses in the Wild
背景:先前的研究表明,高达99.59%的使用加密API的Java应用程序至少滥用过一次API。然而,这些研究都是在Java和C上进行的,而对其他语言的实证研究则缺失。例如,一项针对Python中加密任务的受控用户研究表明,68.5%的专业开发人员为加密任务编写了安全的解决方案。目的:为了了解这种观察是否适用于现实世界的代码,我们对Python中的加密误用进行了研究。方法:我们开发了一个静态分析工具,涵盖了5种不同Python加密API的常见误用。通过这项分析,我们分析了来自GitHub的895个流行Python项目和51个嵌入式设备的MicroPython项目。此外,我们将我们的结果与以前的研究结果进行了比较。结果:我们的分析显示,52.26%的Python项目至少有一个误用。此外,一些Python加密库API设计可以帮助开发人员避免滥用加密函数,这在使用Java和C代码进行的研究中更为常见。结论:我们得出结论,我们可以看到良好的API设计对Python应用程序的加密滥用产生了积极的影响。此外,我们对MicroPython项目的分析揭示了混合分析的重要性。
2021-09-02 cs.CR cs.SE
Subgraph-Oriented Testing for Deep Learning Libraries
本文提出 SORT,以真实模型计算图中的频繁 API 交互子图为对象并生成有效运行时输入,对不同硬件平台上的深度学习库进行差分测试,在 PyTorch 中发现 18 个精度缺陷。
2025-06-09 cs.SE
SBFT Tool Competition 2025 -- Java Test Case Generation Track
该报告介绍2025年Java单元测试竞赛,对EVOFUZZ等四款工具在55个Java类基准集上的代码覆盖、变异覆盖及测试用例可读性进行评测,为工具性能提供参考。
2025-04-12 cs.SE
Automated Testing of Broken Authentication Vulnerabilities in Web APIs with AuthREST
提出开源安全测试工具 AuthREST,通过自动化检测撞库、密码暴力破解及未检查令牌真实性等问题,有效提升 Web API 安全性,并成功在四个公共 API 中发现未知身份验证漏洞。
2025-09-12 cs.CR cs.SE
Experiences in Building a Composable and Functional API for Runtime SPIR-V Code Generation
本文提出 Beehive SPIR-V Toolkit 框架,支持动态生成和验证 SPIR-V 二进制模块,集成至 TornadoVM 后编译速度提升 3 倍,性能最高提升 1.52 倍。
2023-05-18 cs.DC cs.SE
Designing and Implementing Robust Test Automation Frameworks using Cucumber BDD and Java
本文提出基于Cucumber BDD和Java的健壮测试自动化框架,通过模块化架构和自然语言语法提升沟通与可维护性,实证表明能减少手动测试并增强缺陷检测与软件可靠性。
2025-05-22 cs.SE
Detecting and Evaluating Order-Dependent Flaky Tests in JavaScript
本文针对 JavaScript 项目中 Jest 测试框架的顺序依赖型不稳定测试,提出系统化随机化重排检测方法,在 81 个项目中识别出 55 个顺序依赖型测试,并发现共享模拟状态这一新成因。
2025-01-22 cs.SE
Automating Test Case Identification in Java Open Source Projects on GitHub
软件测试是软件质量保证的重要组成部分。许多研究人员从测试人员的动机以及测试应该或不应该如何编写的角度来处理测试过程。然而,从建议中并不知道如何在实际项目中编写测试。本文研究了“test”一词在不同自然语言中的指称;“test”一词出现的次数是否与测试用例的数量相关;以及测试框架的使用情况。该分析是在从430万个GitHub项目中选出的38个GitHub开源存储库上进行的。我们手动分析了803个类中的20,340个测试用例,并使用自动化方法分析了170 k个类。结果表明:(一)存在弱相关性(ii)使用静态文件分析的算法正确检测了97%的测试用例;(iii)15%的分析类使用了main()函数,它代表了在不使用任何第三方的情况下测试生产代码的常规Java程序。党的框架。由于实现的多样性,这种测试的识别非常复杂。这些结果可以被用来更快地识别和定位存储库中的测试用例,理解定制测试解决方案中的实践,以及挖掘测试以提高未来的程序理解。
2021-07-30 cs.SE
Evaluating the Effectiveness of Coverage-Guided Fuzzing for Testing Deep Learning Library APIs
North Carolina State University(北卡罗来纳州立大学);ShanghaiTech University(上海科技大学);Cornell University(康奈尔大学)
本文提出FlashFuzz,利用LLM自动合成API级测试驱动程序,将覆盖率引导模糊测试有效应用于PyTorch和TensorFlow,显著提升覆盖率、有效率和生成速度,并发现42个未知缺陷。
2025-09-18 cs.SE
RESTful API Automated Test Case Generation
如今,Web服务在企业应用程序的开发中发挥着重要作用。许多这样的应用程序现在都是使用面向服务的架构(SOA)开发的,其中微服务是最受欢迎的类型之一。RESTful Web服务将通过使用HTTP的网络上的API提供数据,可能与数据库和其他Web服务进行交互。测试RESTful API带来了挑战,因为输入/输出是对远程服务器的HTTP请求/响应序列。文献中的许多方法都进行了黑盒测试,因为测试的API是一个远程服务,其代码不可用。在本文中,我们从开发人员的角度考虑测试,他们确实可以完全访问他们正在编写的代码。因此,我们提出了一个完全自动化的白盒测试方法,测试用例自动生成使用进化算法。测试是基于代码覆盖率和故障发现度量的奖励。我们在一个名为EVOMASTER的工具中实现了我们的技术,它是开源的。在两个开源的,但不平凡的RESTful服务和一个工业服务上的实验确实表明,我们的新技术确实在这些应用程序中自动找到了38个真正的错误。然而,所获得的代码覆盖率低于那些服务中已经存在的手动编写的测试套件所实现的覆盖率。因此,如何进一步改善这种方法的研究方向进行了讨论。
2019-01-06 cs.SE
Compiler Testing using Template Java Programs
我们提出了JAttack,一个框架,使基于模板的测试编译器。使用JAttack,开发人员编写一个模板程序,该程序描述了一组要生成的程序,并作为编译器的测试输入。这样的框架使开发人员能够将他们的领域知识结合在测试编译器上,给出了一个基本的程序结构,允许探索可以触发复杂编译器优化的复杂程序。开发人员用宿主语言(Java)编写一个模板程序,其中包含需要JAttack填补的漏洞。每一个使用领域特定语言编写的洞都在扩展抽象语法树(eAST)中构造一个节点。eAST节点定义孔的搜索空间,即,一组表达式和值。JAttack通过执行模板生成程序,并通过随机选择表达式和值(在由漏洞定义的搜索空间内可用)来填充每个漏洞。此外,我们引入了几个优化,以减少JAttack的生成成本。虽然JAttack可用于测试各种编译器功能,但我们展示了它在帮助测试即时(JIT)Java编译器方面的功能,这些编译器在执行足够数量的执行后会在运行时进行优化。使用JAttack,我们发现了六个关键的bug,这些bug已经被Oracle开发人员确认。其中四个是以前未知的,包括两个未知的CVE(常见漏洞和暴露)。JAttack展示了将开发人员的领域知识(通过模板)与随机测试相结合以检测JIT编译器中的错误的强大功能。
2022-09-09 cs.PL cs.SE
Automated Test Generation for REST APIs: No Time to Rest Yet
现代Web服务通常为客户端提供REST API以访问其功能。这些API为自动化测试带来了独特的挑战和机遇,推动了最近许多技术和工具的开发,这些技术和工具使用各种策略为API端点生成测试用例。理解这些技术如何相互比较是困难的,因为它们是在不同的基准上进行评估的,使用不同的指标。为了填补这一空白,我们进行了一项实证研究,旨在了解REST API自动化测试的前景,并指导该领域的未来研究。我们首先通过系统的选择过程确定了一组10个最先进的REST API测试工具,其中包括由研究人员和实践者开发的工具。然后,我们将这些工具应用于20个真实世界的开源RESTful服务的基准测试,并根据实现的代码覆盖率和触发的独特故障来分析它们的性能。这种分析使我们能够确定所考虑的工具及其基本策略的优点,缺点和局限性,以及我们的研究结果对这一领域未来研究的影响。
2022-07-06 cs.SE
CognixShield: PoV-Guided Vulnerable API Usage Detection in Large Codebases via LLMs
Virginia Tech(弗吉尼亚理工大学);Nanyang Technological University(南洋理工大学);Wake Forest University(维克森林大学)
CognixShield是一款LLM驱动的框架,通过保留语义的AST碎片化、感知漏洞的多智能体RAG、PoV引导的语义推理三个核心组件,在57个Java应用上实现了优于现有工具的漏洞API使用检测性能。
2026-08-11 cs.CR cs.SE
A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs
Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
本文提出AutoRestTest,一种结合多智能体强化学习、语义属性依赖图和大型语言模型的黑盒REST API测试工具,通过四个智能体协作优化API探索,在真实服务上显著提升覆盖率与故障检测能力。
2025-01-22 cs.AI cs.SE
Automated Conformance Testing for JavaScript Engines via Deep Compiler Fuzzing
JavaScript(JS)是一种流行的、与平台无关的程序设计语言。为了确保JS程序在不同平台上的互操作性,JS引擎的实现应该符合ECMAScript标准。然而,这样做是具有挑战性的,因为API行为有许多微妙的定义,并且定义不断发展。我们提出了COMFORT,一个新的编译器模糊框架,用于检测JS引擎的错误和行为偏离ECMAScript标准。COMFORT利用基于深度学习的语言模型的最新进展,自动生成JS测试代码。与以前的模糊器不同,COMFORT利用结构良好的ECMAScript规范自动生成测试数据以及测试程序,以暴露开发人员或手动编写的测试用例可能忽略的错误。然后,COMFORT在生成的测试用例上应用差异测试方法,以暴露标准一致性错误。我们将COMFORT应用于十个主流JS引擎。在200小时的自动化并发测试运行中,我们发现了所有测试过的JS引擎中的错误。我们已经确定了158个独特的JS引擎错误,其中129个已经得到验证,115个已经被开发人员修复。此外,21个Comfort生成的测试用例已添加到Test262,官方ECMAScript一致性测试套件。
2021-04-15 cs.PL cs.SE
Multi-Agent LLM-based Metamorphic Testing for REST APIs
Åbo Akademi University(阿博阿卡迪米大学)
提出ARMeta方法,利用基于LLM的多智能体工作流自动识别蜕变测试场景并生成可执行测试,以解决REST API测试中的预言问题。
2026-05-27 cs.AI cs.SE