Automated Database Testing via LLM-Synthesized SQL Features
National University of Singapore（新加坡国立大学）
该研究提出ShQveL方法，通过LLM合成SQL特征增强SQL生成器，在5个DBMS上发现55个新漏洞，其中50个已被修复，提升了自动化数据库测试的漏洞发现能力。
2026-08-06 cs.DB cs.SE
DooML: A new Database & Object-Oriented Modeling Language for database-driven web application design and development
数据库驱动的Web应用程序是一个非常常见的软件解决方案，以解决日益增长的业务问题。对数据库和软件架构进行建模可能具有挑战性，因此没有一种用于数据库和软件架构的组合建模语言，特别适合于Web应用程序开发。在本文中，我们提出了数据库面向对象的建模语言（DooML）和它的主要原型图：一个符号指定的数据库模式和相应的面向对象的软件体系结构的设计。它结合了绘制实体关系图、关系模型和通用建模语言类图的语法，并创建了一个混合图，说明了数据库设计和软件设计规范。默认情况下，DooML确保高级Web应用程序开发的方法是模型驱动的，既面向数据库又面向对象。
2022-10-05 cs.DB cs.SE
GDsmith: Detecting Bugs in Graph Database Engines
图形数据库引擎在大数据时代脱颖而出，因为它们能够高效地建模和处理链接数据。有一个测试图形数据库引擎的强烈需求。然而，随机测试作为自动化测试生成的最实用方法，在检测图数据库引擎中的错误时面临着语义有效性、非空结果和行为多样性的挑战。为了应对这些挑战，在本文中，我们提出了GDsmith，第一个黑盒方法测试图数据库引擎。它通过骨架的生成和补全来确保每个随机生成的Cypher查询满足语义需求。GDsmith包括我们的技术，通过利用三种类型的结构突变策略来增加生成返回非空结果的Cypher查询的概率。GDsmith还包括我们的技术，通过在生成新查询时根据其先前的频率选择属性键来提高所生成的Cypher查询的行为多样性。我们的评估结果表明，GDsmith是有效和高效的自动查询生成，并大大优于基线。GDsmith成功地在三个流行的开源图形数据库引擎的发布版本上检测到27个以前未知的错误，并从开发人员那里获得了积极的反馈。
2022-06-17 cs.DB cs.SE
Towards Reliable Vector Database Management Systems: A Software Testing Roadmap for 2030
本文针对向量数据库管理系统（VDBMS）的测试挑战，通过实证研究缺陷，提出首个综合软件测试研究路线图，旨在提升其可靠性，支撑LLM与AI应用发展。
2025-02-28 cs.SE
Testing Database Engines via Query Plan Guidance
提出查询计划引导（QPG）方法，通过变异数据库状态生成多样查询计划，引导自动化测试发现数据库引擎逻辑错误，在SQLite、TiDB和CockroachDB中发现53个新错误，效率显著高于随机和覆盖率引导方法。
2023-12-29 cs.SE
A Direct Symbolic Execution of SQL Code for Testing of Data-Oriented Applications
符号执行是一种能够自动生成测试输入（和输出）的技术，它在要测试的程序中执行一组执行路径。如果路径覆盖了被测代码的足够部分，则测试数据提供了程序实际行为的代表性视图，这尤其使得能够检测错误和纠正故障。关系数据库在软件中无处不在，但操作它们的代码片段的符号执行仍然是一个不小的问题，特别是因为这种数据库的复杂结构和SQL语句的复杂行为。在这项工作中，我们定义了一个直接的符号执行数据库操作代码，并将其与一个更传统的符号执行正常的程序代码。数据库表由关系符号表示，SQL语句由这些符号上的关系约束表示，符号表示程序的正常变量。基于这些原则的算法的符号执行的Java方法，实现业务用例的读写关系数据库，后者受到数据完整性约束。该算法被集成在一个测试生成工具，并在示例代码进行了实验。工具生成的约束的目标语言是SMT-Lib标准，使用的求解器是Microsoft Z3。结果表明，该方法能够在合理的时间内生成有意义的测试数据，包括有效的数据库内容。特别是，Z3求解器被证明是更可扩展的比合金求解器，在我们以前的工作中使用，解决关系约束。
2015-01-21 cs.DB cs.SE
BugsInPy: A Database of Existing Bugs in Python Programs to Enable Controlled Testing and Debugging Studies
受Java缺陷基准Defects4J启发，本研究构建了包含17个真实Python项目493个真实缺陷的BugsInPy基准数据库及工具，以填补Python测试调试基准的不足，推动相关工具研究发展。
2024-01-27 cs.SE
Testing DBMS Performance with Mutations
由于数据库系统是现代数据密集型应用程序的关键组件，因此确保它们正确运行非常重要。为此，开发人员对这些系统进行了广泛的测试，以消除对功能产生负面影响的错误。然而，除了功能性bug之外，还有另一类重要的bug：性能bug。这些错误会对数据库系统的响应时间产生负面影响，因此会影响系统的整体性能。尽管它们对最终用户体验有影响，但性能错误受到的关注远远少于功能错误。在本文中，我们提出了AMOEBA，一个系统，自动检测数据库系统中的性能缺陷。AMOEBA背后的核心思想是构造语义上彼此等价的查询对，然后在同一数据库系统上比较它们的响应时间。如果查询在运行时性能上表现出显著的差异，那么根本原因可能是系统中的性能缺陷。我们提出了一套新的结构和谓词突变规则，用于构建可能发现性能缺陷的查询对。我们引入反馈机制，以提高工具的功效和计算效率。我们在两个广泛使用的DBMS上评估AMOEBA，即PostgreSQL和CockroachDB。AMOEBA已经发现了20个以前未知的性能错误，其中开发人员已经确认了14个并修复了4个。
2021-09-02 cs.DB cs.SE
Towards a Unified Query Plan Representation
本文提出一种统一的查询计划表示，涵盖操作、属性和格式三个组件，使现有测试方法能高效发现17个未知缺陷，并支持可视化工具跨数据库应用及性能改进。
2025-04-01 cs.DB cs.SE
scenario.center: Methods from Real-world Data to a Scenario Database
本文提出场景数据库scenario.center，通过四步方法实现场景数据的自动处理与管理，并在inD数据集上验证其有效性，以支持自动驾驶系统的基于场景测试。
2024-04-19 cs.SE
Finding Logic Bugs in Spatial Database Engines via Affine Equivalent Inputs
本文提出几何感知SQL生成器和仿射等价输入（AEI）验证方法，并实现为Spatter工具，在四个主流空间数据库中发现34个未知逻辑错误，其中30个已确认、18个已修复。
2024-10-17 cs.DB cs.PL cs.SE
AgentFM: Role-Aware Failure Management for Distributed Databases with LLM-Driven Multi-Agents
针对分布式数据库故障管理忽视角色差异且依赖小模型的问题，本文提出LLM驱动的多智能体框架AgentFM，通过系统、数据和任务三类角色及元智能体协调实现角色感知的故障管理，并在Apache IoTDB上初步验证其有效性。
2025-04-09 cs.SE
Relational Constraint Driven Test Case Synthesis for Web Applications
提出了一种基于关系约束驱动的Web应用测试用例自动合成技术。使用静态分析，servlet可以被建模为关系转换器，它操作后端数据库。我们提出了一个合成算法，生成一个序列的HTTP请求模拟用户会话。该算法依赖于后向符号图像计算达到一定的数据库状态，给定的代码覆盖率目标。该技术稍加修改，即可用于发现Web应用程序上的工作流攻击。
2010-09-20 cs.DB cs.SE
An advanced AI driven database system
Pace University（佩斯大学）；New York University（纽约大学）；CUNY（纽约市立大学）
本文提出一种集成LLM与先进机器学习算法的AI驱动数据库系统，通过NLP界面、自动查询生成、模式推理与格式选择降低数据库使用门槛并减少手动调优和人为错误。
2025-07-22 cs.AI cs.DB cs.SE
Adaptive and AI-Augmented Security Testing: A Systematic Survey of Program Analysis, Feedback-Driven Testing, and Hybrid Learning-Based Approaches
Mississippi State University（密西西比州立大学）
本文系统综述了自适应和AI增强的安全测试研究，探讨了程序分析、DevSecOps、反馈驱动模糊测试、LLM自动化测试生成及混合系统等五个领域，揭示了结构化程序表示与自适应测试机制之间的断层，并提出五个开放研究挑战。
2026-04-29 cs.CR cs.PL cs.SE
Introducing Consort: A Spec-First Agent Framework for Enforced, Test-Driven Development on Live Database Branches
Databricks（Databricks公司）
Consort是一个规格优先、测试驱动的智能体框架，通过确定性编排器和不可变测试等不可绕过的控制，在实时数据库分支上强制工程纪律，确保代码诚实可验证且可维护。
2026-09-10 cs.AI cs.DB cs.SE
Fine-grained Testing for Autonomous Driving Software: a Study on Autoware with LLM-driven Unit Testing
针对自动驾驶系统源代码细粒度测试不足的问题，本研究聚焦工业框架Autoware，分析人工与LLM生成的单元测试用例，发现人工测试覆盖率有限且LLM测试应用存在挑战，进而提出AwTest-LLM方法以提升测试覆盖率与通过率。
2025-01-16 cs.SE
Search-based Software Testing Driven by Domain Knowledge: Reflections and New Perspectives
McMaster University（麦克马斯特大学）；University of Bergamo（贝加莫大学）
本文反思了基于领域知识的搜索驱动软件测试的最新实验结果，提出未来研究的新方向。
2025-12-10 cs.SE
SAVIOR: Towards Bug-Driven Hybrid Testing
混合测试结合了模糊测试和concolic执行。它利用模糊测试来测试容易到达的代码区域，并使用concolic执行来探索由复杂分支条件保护的代码块。然而，其以代码覆盖为中心的设计在漏洞检测方面效率低下。首先，它盲目地选择concolic执行的种子，旨在不断探索新代码。然而，正如统计数据所显示的那样，所探索的代码的很大一部分通常是没有bug的。因此，在混合测试中对代码的每一部分给予同等的关注是一种非最优策略。它将真正漏洞的检测速度降低了43%以上。第二，传统的混合测试在到达一段代码后快速前进，而不是检查内部隐藏的缺陷。它可能经常错过微妙的漏洞，尽管它已经探索了易受攻击的代码路径。我们提出了SAVIOR，一个新的混合测试框架开创了错误驱动的原则。与现有的混合测试工具不同，SAVIOR优先考虑可能发现更多漏洞的种子的concolic执行。此外，SAVIOR还验证了程序执行路径上所有的漏洞位置，并通过SMT约束对故障情况进行建模，对漏洞的可行性进行推理，生成具体的测试用例作为证明。我们的评估表明，错误驱动的方法优于主流的自动化测试技术，包括最先进的混合测试系统驱动的代码覆盖率。平均而言，SAVIOR比DRILLER和QSYM分别快43.4%和44.3%，分别多发现了88个和76个独特的漏洞。根据对11个模糊基准测试程序的评估，在前24小时内，SAVIOR触发了481个UBSAN违规，其中24…
2019-06-18 cs.SE
ATTest: Agent-Driven Tensor Testing for Deep Learning Library Modules
Nanjing University（南京大学）；Nanjing University of Science and Technology（南京理工大学）
ATTest通过基于代理的框架生成深度学习库模块的高效单元测试，显著提升测试覆盖率和稳定性。
2026-02-15 cs.SE
Provengo: A Tool Suite for Scenario Driven Model-Based Testing
本文介绍Provengo工具套件，通过场景驱动模型测试方法，利用用户故事构建模型并生成测试，以增量方式解决模型测试的启动难题。
2023-08-30 cs.SE
MLCheck- Property-Driven Testing of Machine Learning Models
近年来，我们观察到越来越多的软件部署了机器学习组件。这就提出了这样的组件的质量保证问题：我们如何验证机器学习软件是否满足指定的要求？当前的测试和验证方法或者集中于单个需求（例如，公平性）或专注于单一类型的机器学习模型（例如，神经网络）。在本文中，我们提出了机器学习模型的属性驱动测试。我们的方法MLCheck包括（1）属性规范的语言，（2）系统的测试用例生成技术。规约语言与基于属性的测试语言相当。测试用例生成采用先进的验证技术，系统的，属性相关的测试套件的建设，没有额外的用户提供的生成器功能。我们评估MLCheck使用的要求和数据集从三个不同的应用领域（软件歧视，学习知识图谱和安全）。我们的评估表明，尽管它的一般性MLCheck甚至可以优于专门的测试方法，同时具有可比的运行时间。
2021-05-03 cs.SE
Automatic Web Testing using Curiosity-Driven Reinforcement Learning
Web测试一直被认为是一项非常困难的任务。即使在今天，Web测试仍然严重依赖于人工工作，而自动化Web测试远远没有达到人类水平的性能。Web测试中的关键挑战包括动态内容更新和隐藏在复杂用户交互和特定输入值下的深层错误，这些错误只能由巨大搜索空间中的某些动作序列触发。在本文中，我们提出了WebExplor，自动端到端的Web测试框架，实现自适应探索的Web应用程序。WebExplor采用好奇心驱动的强化学习生成满足时序逻辑关系的高质量动作序列（测试用例）。此外，WebExplor在在线测试过程中逐步构建自动机，为进一步提高测试效率提供了高层次的指导。我们已经对WebExplor的六个真实项目进行了全面的评估，一个商业SaaS Web应用程序，并对世界上排名前50位的Web应用程序进行了野外研究。结果表明，在大多数情况下，WebExplor可以实现显着更高的故障检测率，代码覆盖率和效率比现有的最先进的Web测试技术。WebExplor还在商业Web应用程序中检测到12个以前未知的故障，这些故障已被开发人员确认并修复。此外，我们的野外研究还发现了3，466个异常和错误。
2021-03-10 cs.SE
Columbus: Android App Testing Through Systematic Callback Exploration
随着Android移动设备的不断普及，应用程序的自动化测试变得比以往任何时候都更加重要。Android应用程序是事件驱动的程序。不幸的是，通过与应用程序的界面交互来生成所有可能类型的事件对于自动化测试方法来说是一个挑战。回调驱动的测试通过直接调用应用回调消除了事件生成的需要。然而，现有的回调驱动测试技术假设Android回调的先验知识，并且它们依赖于熟悉Android API的人类专家来编写在调用之前准备回调参数的存根代码。由于Android API庞大且不断发展，现有技术只能支持Android框架中存在的一小部分回调。在这项工作中，我们介绍了Columbus，一种回调驱动的测试技术，它采用两种策略来消除对人类参与的需求：（i）它通过同时分析Android框架和测试中的应用程序来自动识别回调，以及（ii）它使用了一种组合，（原始参数）和类型引导的动态堆内省（对象参数）来生成有效的输入。最后，Columbus在测试过程中集成了两种新的反馈机制--数据依赖和崩溃指导，以增加触发崩溃的可能性，并最大限度地提高覆盖率。在我们的评估中，Columbus在崩溃和覆盖率方面都优于最先进的模型驱动、基于检查点和回调驱动的测试工具。
2023-02-17 cs.SE
Model-checking Driven Black-box Testing Algorithms for Systems with Unspecified Components
基于组件的软件开发对系统验证提出了严峻的挑战，因为外部获得的组件可能是系统故障的新来源。这个问题不能完全解决，无论是模型检验或传统的软件测试技术单独由于以下几个原因：1）外部获得的组件通常是未指定/部分指定; 2）它通常是很难建立一个充分的标准来测试一个组件; 3）组件可以用来动态升级系统。本文介绍了一种新的方法（称为{ \em模型检查驱动的黑盒测试}），它将模型检验与传统的黑盒软件测试相结合，以一种完整、可靠和自动的方式来解决这个问题。其思想是，相对于一些要求（表示在CTL或LTL）的系统，使用模型检验技术，以获得一个条件（表示在通信图）为一个未指定的组件，使系统满足的要求，如果该条件是由组件满足，并可以通过测试组件的测试用例生成的条件上的飞行。在本文中，我们提出模型检验驱动的黑盒测试算法来处理CTL和LTL的要求。我们还通过一些例子来说明这个想法。
2004-04-19 cs.LO cs.SE
Breaking Barriers in Software Testing: The Power of AI-Driven Automation
MUFG Bank（三菱日联银行）；Cisco Systems Inc（思科系统公司）
本文提出一个融合 NLP、强化学习与预测模型的 AI 驱动测试框架，将需求自动转化为可执行测试并持续优化，实现从手动测试向主动自适应测试的转变，提升缺陷检测效率与软件可靠性。
2025-08-22 cs.AI cs.SE
Metamorphic Coverage
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
研究针对变质测试中代码覆盖不准确、变异测试成本高的问题，提出变质覆盖（MC）度量。在五种变质测试方法上评估MC，发现其与错误修复位置重叠度高，比行覆盖更敏感且耗时少，用于反馈指导时比代码覆盖能多发现错误，可广泛应用于评估和改进测试。
2026-07-17 cs.SE
Navigating the growing field of research on AI for software testing -- the taxonomy for AI-augmented software testing and an ontology-driven literature survey
Technische Universität Berlin（柏林技术大学）
本文针对软件测试自动化投入成本高的问题，综述了各自动化程度下的AI增强软件测试研究及AI催生的新型测试，提出分类体系ai4st以梳理现有研究、明确开放问题。
2025-06-17 cs.AI cs.SE
Curiosity Driven Multi-agent Reinforcement Learning for 3D Game Testing
针对游戏行业人工测试或录制/回放的局限，提出cMarlTest方法，通过好奇心驱动的多智能体强化学习协同测试3D游戏，实验表明其在覆盖准则和耗时效率上均优于单智能体RL变体。
2025-02-20 cs.SE
Automating System Test Case Classification and Prioritization for Use Case-Driven Testing in Product Lines
在许多软件开发环境中，产品线工程（PLE）是一个至关重要的实践，在这些环境中，软件系统是复杂的，并为具有不同需求的多个客户开发。同时，许多开发过程都是用例驱动的，这强烈地影响了他们的需求工程和系统测试实践。在本文中，我们提出，应用，并评估一个自动化的系统测试用例分类和优先级的方法，专门针对系统测试的用例驱动的开发的产品系列的背景下。我们的方法提供：（i）自动化支持对产品族中的新产品、与先前产品相关联的相关且有效的系统测试用例进行分类，以及（ii）使用诸如产品族中的需求的故障倾向性和需求波动性的多个风险因素来自动化系统测试用例的优先级排序。我们的评估是在汽车领域的工业产品系列的背景下进行的。结果提供了经验证据，我们提出了一个实用的和有益的方法来分类和优先级的工业产品线的系统测试用例。
2020-06-17 cs.SE
Unit Testing in ASP Revisited: Language and Test-Driven Development Environment
University of Calabria（卡拉布里亚大学）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）
本文重新审视ASP单元测试语言与工具，提出支持内联测试的新规范语言，并分析其计算复杂度，构建测试驱动开发环境。
2024-01-04 cs.AI cs.SE
SO{U}RCERER: Developer-Driven Security Testing Framework for Android Apps
对于应用程序开发人员来说，经常建议的安全开发建议在实践中往往不足。工具驱动（例如，使用静态分析工具）方法缺乏被测试的应用程序的上下文和特定于域的要求。应用程序开发人员很难从静态分析工具报告的一系列安全警告中找到一个可操作的优先级漏洞列表。流程驱动（例如，应用威胁建模方法）方法需要大量资源（例如，安全测试团队，预算）和安全专业知识，这是中小型应用程序开发团队几乎负担不起的。为了帮助应用程序开发人员保护他们的应用程序，我们提出了SO{U}RCERER，这是一个针对Android应用程序开发人员的安全测试指导框架。SO{U} RCEER指导开发人员识别应用程序的特定于域的资产，检测漏洞并对其进行优先级排序，并根据安全开发指南缓解这些漏洞。我们通过分析和测试36个Android移动货币应用程序的案例研究来评估SO{U}RCERER。我们发现，通过遵循SO{U} RCEER指导的活动，应用程序开发人员可以获得一个简洁且可操作的漏洞列表（SO{U} RCEER产生的安全警告比独立的静态分析器少24-61%），直接影响移动货币应用程序的关键资产，并制定缓解计划。我们的初步研究结果表明，Android应用程序安全测试的可行方法对应用程序开发人员来说并不复杂。
2021-11-03 cs.SE
Model Driven Testing of Time Sensitive Distributed Systems
在本文中，我们展示了一种方法来模型的结构和行为的分布式系统，这些模型映射到一个轻量级的执行引擎，通过使用功能程序设计语言和系统地定义和执行测试，这些模型在相同的技术。这是将基于模型的开发顺利集成到敏捷方法中的先决条件。本文的新颖之处是演示，如何组成和状态机模型的分布式异步通信系统可以很容易地映射到一个懒惰的功能语言，然后使用标准的测试技术来定义测试这些程序。特别是分布式定时方面和欠规范可以在函数式语言中使用某种风格的函数进行相应的处理。
2014-09-22 cs.SE
Program State Abstraction for Feedback-Driven Fuzz Testing using Likely Invariants
近年来，模糊测试在发现软件缺陷方面取得了巨大的成功，但仍存在一些问题。覆盖引导的模糊器遭受覆盖程序点并不能确保触发故障的事实。理论上应该处理这个问题的其他更敏感的技术，如内存值的覆盖，容易导致路径爆炸。在这篇论文中，我们提出了一个新的反馈驱动的模糊测试，结合了代码覆盖率与数据的“形状”。我们学习每个基本块的可能不变量，以便将块中使用的变量所描述的空间划分为区域。我们的目标是在反馈中区分一个块何时被执行，其值落在空间的不同区域。这更好地近似程序状态覆盖率，并在某些目标上，提高了模糊器查找故障的能力。我们使用LLVM和AFL++开发了一个名为InvsCov的原型。
2020-12-21 cs.CR cs.SE
Autonomous Large Language Model Agents Enabling Intent-Driven Mobile GUI Testing
KAIST（韩国科学技术院）；Chalmers University of Technology（查尔姆斯理工大学）
提出基于大语言模型的Android自主GUI测试智能体DroidAgent，实现意图驱动测试，在Themis基准上达到61%活动覆盖率，优于现有技术，并能自主创建现实任务。
2023-11-15 cs.AI cs.SE
MET: Model Checking-Driven Explorative Testing of CRDT Designs and Implementations
互联网规模的分布式系统通常在多个地理位置复制数据，以提供低延迟和高可用性。无副本的复制数据类型（CRDT）是一个框架，它提供了一种原则性的方法来维护数据副本之间的最终一致性。众所周知，CRDT很难正确设计和实现。微妙的深层错误在于复杂而乏味的处理所有可能的冲突数据更新情况。我们认为，CRDT的设计应该正式指定和模型检查，以发现深层的错误。还需要对执行情况进行系统测试。一方面，测试需要继承模型检验的穷举性，保证测试的覆盖率;另一方面，预期测试将发现设计级验证无法检测到的编码错误。针对上述挑战，本文提出了模型检验驱动的探索性测试框架.在设计层面，MET使用TLA+来指定和模型检查CRDT设计。在实现级别，MET进行模型检验驱动的探索性测试，从这个意义上说，测试用例是自动生成的模型检验痕迹。系统执行被控制为确定性地进行，遵循模型检验跟踪。探索性测试系统地控制和置换所有不确定的消息重新排序。我们在CRDTs的实际开发中应用MET。发现了CRDT设计和实现中的缺陷，对于传统测试技术无法发现的缺陷，MET大大降低了修复缺陷的成本。此外，MET可以以合理的成本发现现有技术无法发现的细微的深层错误。我们进一步讨论MET如何为我们提供足够的信心，我们的CRDT设计和实现的正确性。
2022-04-29 cs.DC cs.SE
Importance-Driven Deep Learning System Testing
University of York（约克大学）；MPI-SWS（马克斯·普朗克软件系统研究所）；Bogazici University（博阿齐奇大学）
深度学习（DL）系统能够解决图像识别和机器翻译等复杂任务，因此是工程智能应用的关键推动因素。然而，在安全和安全关键应用中使用DL系统需要为其可靠运行提供测试证据。最近在这个方向的研究集中在适应测试标准，从传统的软件工程作为一种手段，增加信心，他们的正确行为。然而，它们不足以捕捉这些系统所表现出的内在特性。我们通过引入DeepImportance来弥合这一差距，DeepImportance是一种系统化的测试方法，伴随着DL系统的重要性驱动（IDC）测试充分性标准。应用IDC能够建立对DL系统组件重要性的逐层功能理解，并使用此信息来评估测试集的语义多样性。我们对多个DL系统，多个DL数据集和最先进的对抗生成技术进行的实证评估表明了DeepImportance的有用性和有效性，以及它支持更强大的DL系统工程的能力。
2020-02-09 cs.AI cs.LG cs.SE
DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous Cars
University of Virginia（弗吉尼亚大学）；Columbia University（哥伦比亚大学）
深度神经网络（DNN）的最新进展已经导致了DNN驱动的自动驾驶汽车的发展，这些汽车使用相机、激光雷达等传感器，可以在没有任何人为干预的情况下驾驶。包括特斯拉、通用、福特、宝马和Waymo/谷歌在内的大多数主要制造商都在致力于制造和测试不同类型的自动驾驶汽车。包括加利福尼亚州，德克萨斯州和纽约州在内的几个州的立法者已经通过了新的立法，以快速跟踪自动驾驶汽车在道路上的测试和部署过程。然而，尽管DNN取得了惊人的进步，但与传统软件一样，DNN经常表现出不正确或意外的极端情况行为，这些行为可能导致潜在的致命冲突。已经发生了几起涉及自动驾驶汽车的真实事故，其中一起导致了死亡。用于DNN驱动车辆的大多数现有测试技术严重依赖于在不同驾驶条件下手动收集测试数据，随着测试条件的数量增加，这些测试数据变得非常昂贵。在本文中，我们设计，实现和评估DeepTest，这是一种系统测试工具，用于自动检测可能导致致命车祸的DNN驱动车辆的错误行为。首先，我们的工具旨在自动生成测试用例，利用真实世界中驾驶条件的变化，如雨，雾，照明条件等，DeepTest通过生成最大化激活神经元数量的测试输入，系统地探索DNN逻辑的不同部分。DeepTest在不同的实际驾驶条件下发现了数千种错误行为（例如，模糊、雨、雾等）其中许多导致了Udacity自动驾驶汽车挑战赛中三个表现最好的DNN的潜在致命事故。
2018-03-20 cs.AI cs.LG cs.SE
Towards Reliable LLM-Driven Fuzz Testing: Vision and Road Ahead
Institute of Information Engineering, CAS（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University of Sydney（悉尼大学）；Singapore Management University（新加坡管理大学）
本文探讨了LLM驱动模糊测试（LLM4Fuzz）面临的可靠性瓶颈，提出了未来研究方向，旨在通过解决驱动程序有效率和种子质量问题，推动其成为现代软件测试的基础组件。
2025-03-02 cs.AI cs.SE
Performance Testing Using a Smart Reinforcement Learning-Driven Test Agent
性能测试的目的是产生一个高效和有效的工作量，以确定性能问题是具有挑战性的。许多自动化方法主要依赖于分析系统模型、源代码或提取系统在执行过程中的使用模式。然而，这样的信息和工件并不总是可用的。此外，生成的工作负载中的所有事务不会以相同的方式影响系统的性能，经过微调的工作负载可以以有效的方式完成测试目标。无模型强化学习无模型强化学习被广泛用于在不依赖于系统模型的情况下找到最优行为以实现许多决策问题中的目标。本文提出，如果生成测试工作量，以满足测试目标的最佳策略（方式）可以通过一个测试代理学习，那么有效的测试自动化将是可能的，而不依赖于系统模型或源代码。我们提出了一个自适应强化学习驱动的负载测试代理，RELOAD，学习最佳的测试工作量生成策略，并生成有效的工作量，以满足测试目标。一旦代理学习到最优策略，它就可以在后续的测试活动中重用学习到的策略。实验结果表明，该智能负载测试代理能够以较低的测试成本完成测试任务，提高测试效率。
2021-04-26 cs.PF cs.SE
FuzzSplore: Visualizing Feedback-Driven Fuzzing Techniques
模糊测试技术是当前针对安全问题的软件测试的发展趋势。它们的巨大有效性吸引了研究人员和黑客的注意，并使他们参与开发许多新技术来改进模糊测试。这些技术的评价和交叉比较几乎是一个开放的问题。在本文中，我们提出了一个人驱动的方法来解决这个问题的基础上信息可视化。我们在AFL++模糊框架FuzzSplore上开发了一个原型，分析师可以使用它来获得有关应用于特定目标的不同模糊配置的有用见解，以便在模糊活动期间选择或调整最佳技术。
2021-02-06 cs.CR cs.SE
MIMIC-Py: An Extensible Tool for Personality-Driven Automated Game Testing with Large Language Models
Electrical and Computer Engineering, McGill University（麦吉尔大学电气与计算机工程系）
MIMIC-Py通过模块化架构实现人格驱动LLM代理的可重用性和扩展性，支持多种交互机制，降低新游戏环境部署难度。
2026-04-09 cs.AI cs.SE
SAFR-AV: Safety Analysis of Autonomous Vehicles using Real World Data -- An end-to-end solution for real world data driven scenario-based testing for pre-certification of AV stacks
部署自动驾驶系统（ADS）的主要障碍之一是其安全性和可靠性。测试ADS的复杂性的主要原因是，它是在一个开放的世界中运行的，其特点是不确定性、高维性和非静止性，从ADS的角度来看，环境中其他行为者的行动是无法控制的。这导致了一个状态空间爆炸的问题，缓解这个问题的一种方法是通过具体化的范围为测试下的系统（SUT）的行为能力，一个ADS必须证明测试。一种流行的ADS测试方法是基于ADS的测试，其中ADS呈现来自真实世界（和合成生成）数据的驾驶场景，并且在通过场景导航时预期满足定义的安全标准。我们提出了SAFR-AV，一个端到端的ADS测试平台，使基于MIMO的ADS测试。我们的工作解决了关键的现实世界的挑战，建立一个有效的大规模数据摄取管道和搜索能力，以确定感兴趣的场景从现实世界的数据，创建数字孪生的现实世界的情况下，使软件在环（SIL）测试在ADS模拟器，确定关键的场景参数分布，使场景覆盖的优化。这些与SAFR-AV的其他模块一起将允许该平台提供ADS预认证。
2023-02-27 cs.SE cs.SY eess.SY
