MANGO: Automated Multi-Agent Test Oracle Generation for Vision-Language-Action Models
Mondragon University(蒙得龙大学);Simula Research Laboratory(Simula研究实验室);University of Ottawa(渥太华大学);Research Ireland Lero Centre for Software(爱尔兰Lero软件研究中心)
提出MANGO多智能体框架,从自然语言任务描述自动生成细粒度测试预言,通过协作智能体迭代精炼,在机器人基准测试中有效检测故障并定位。
2026-09-16 cs.RO cs.SE
Test Oracle Automation in the era of LLMs
本文探讨大语言模型在测试预言自动化中的应用潜力、生成各类预言时的挑战,以及软件工程研究者需关注的预言缺陷、数据泄露等主要威胁,以推动相关领域的讨论。
2024-05-21 cs.SE
RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning
Fudan University(复旦大学);ByteDance(字节跳动)
针对RESTful API测试中定义可靠测试预言机的挑战,Restor框架利用强化学习,通过数据增强管道微调大语言模型生成测试断言,在工业数据集和生产工作流程中表现出色,提升测试用例采用率并减少人工QA工作。
2026-07-28 cs.SE
Go-Oracle: Automated Test Oracle for Go Concurrency Bugs
University of Edinburgh(爱丁堡大学);Bytedance(字节跳动)
针对Go程序并发缺陷测试预言缺失的问题,提出Go-Oracle工具,通过采集执行轨迹、编码后用transformer模型分类测试结果,在有限数据集下仍有高准确率,获工业界开发者认可。
2024-12-11 cs.AI cs.SE
Improving The Effectiveness of Automatically Generated Test Suites Using Metamorphic Testing
自动化测试生成有助于降低软件测试的成本。然而,为这些自动生成的测试输入开发有效的测试预言机是一项具有挑战性的任务。因此,大多数自动化测试生成工具使用的是一些琐碎的预言机,这些预言机降低了这些自动生成的测试用例的故障检测效率。在这项工作中,我们提供了一个实证研究的结果表明,利用变形关系可以提高自动生成的测试用例的故障检测效率。
2020-04-18 cs.SE
Automatically Debugging AutoML Pipelines using Maro: ML Automated Remediation Oracle (Extended Version)
本文提出结合 AutoML 与 SMT 的 Maro 工具,用于自动诊断、解释并修复 AutoML 流水线失败,实验表明其通常一次补救即可修复错误且不影响准确率和收敛时间。
2022-05-05 cs.SE
Neural-Based Test Oracle Generation: A Large-scale Evaluation and Lessons Learned
该研究通过大规模复现实验评估前沿神经网络测试预言生成方法TOGA的实际有效性,发现其存在误分类率高、假阳性多等局限,为该领域技术改进与评估提供了参考。
2023-08-25 cs.SE
PatchGuru: Patch Oracle Inference from Natural Language Artifacts
Singapore University of Technology and Design(新加坡科技设计大学);University of Melbourne(墨尔本大学);Imperial College London(帝国理工学院);CISPA Helmholtz Center for Information Security(CISPA赫尔霍兹信息安全中心)
PatchGuru通过大语言模型从自然语言制品推断补丁规范,提高补丁验证的准确性与效率。
2026-07-28 cs.SE
Automated Discovery of Test Oracles for Database Management Systems Using LLMs
UC Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
本文提出Argus框架,利用LLM生成语义等价的SQL骨架,并通过形式化证明确保正确性,从而自动发现数据库管理系统中的测试oracle,发现40个新bug。
2026-03-24 cs.DB cs.PL cs.SE
Fuzzy Logic Guided Reward Function Variation: An Oracle for Testing Reinforcement Learning Programs
The Hong Kong Polytechnic University(香港理工大学)
本文提出一种基于模糊逻辑的自动化预言机,通过量化智能体对奖励策略的符合趋势来检测RL程序缺陷,在复杂测试场景中优于人工预言机。
2024-06-28 cs.AI cs.SE
Nexus: Execution-Grounded Multi-Agent Test Oracle Synthesis
NUS(新加坡国立大学)
非回归测试中的测试预言生成是软件工程中的一个长期挑战,其目标是生成能够准确地确定被测函数(FUT)是否按照给定输入的预期行为的预言。在本文中,我们介绍了Nexus,一种新的多智能体框架,以解决这一挑战。Nexus通过利用一组不同的专门代理来生成测试预言机,这些代理通过审议、验证和迭代自我改进的结构化过程来合成测试预言机。在审议阶段,一个由四个专家代理组成的小组,每个专家代理都体现了不同的测试哲学,他们合作地批评和改进了一组初始的测试预言。然后,在验证阶段,Nexus生成FUT的一个合理的候选实现,并在安全沙箱中执行所提出的预言。对于任何未能通过此基于执行的检查的oracle,Nexus激活自动自完善循环,使用特定的运行时错误在重新验证之前调试和纠正oracle。我们对七个不同基准的广泛评估表明,Nexus的性能始终大大优于最先进的基准。例如,Nexus将GPT-4.1-Mini在LiveCodeBench上的测试级Oracle准确率从46.30%提高到57.73%。准确性的提高也显著增强了下游任务:与基线相比,Nexus在HumanEval上GPT4.1-Mini生成的测试神谕的错误检测率从90.91%提高到95.45%,自动程序修复的成功率从35.23%提高到69.32%。
2025-10-30 cs.CL cs.SE
Generating executable oracles to check conformance of client code to requirements of JDK Javadocs using LLMs
The University of Texas at Austin(德克萨斯大学)
本文提出利用大语言模型从Java核心库Javadocs自动生成测试预言,实验显示98.8%可编译且96.4%准确反映预期属性,验证了该方法对客户端代码一致性检查的有效性。
2024-12-14 cs.AI cs.SE
Towards Automated Metamorphic Test Identification for Ocean System Models
变形测试试图在没有测试神谕的情况下验证软件。我们的应用领域是海洋系统建模,测试预言机很少存在,但模拟的物理系统的对称性是已知的。由于应用领域的要求,输入数据集很大。本文介绍了使用机器学习自动生成变形测试场景的工作进展。我们扩展了我们以前提出的方法[1],以降低计算复杂性来识别变形关系。最初,我们表示变形关系的身份映射。我们构造了一个成本函数,最小化识别的变形关系正交以前发现的变形关系和处罚的身份映射。一个机器学习算法被用来识别所有可能的变形关系最小化定义的成本函数。我们建议应用降维技术来识别输入中的属性,这些属性在所识别的变形关系中具有高方差。我们应用突变这些选定的属性,以确定不同的变形关系,降低计算复杂性。对于实验评估,我们提出的方法,提出使用变形关系来测试这两个应用程序的实现的海洋建模应用程序的两个实现。
2021-03-17 cs.SE
Using Machine Learning to Generate Test Oracles: A Systematic Literature Review
机器学习可以实现测试预言的自动生成。我们通过系统的文献综述,研究甲骨文类型,研究人员的目标,ML技术的应用,如何评估生成过程,以及在这个新兴领域的开放式研究挑战,在这一领域的新兴研究的特点。基于22项相关研究的样本,我们观察到ML算法生成测试结论,变形关系和最常见的预期输出预言。几乎所有的研究都采用了监督或半监督的方法,在标记的系统执行或代码元数据上进行训练-包括神经网络,支持向量机,自适应增强和决策树。使用突变评分、正确分类、准确性和ROC来评估Oracle。迄今为止的工作显示出很大的希望,但在对训练数据的要求、建模函数的复杂性、所采用的ML算法以及如何应用这些算法、研究人员使用的基准以及研究的可复制性方面存在重大的开放性挑战。我们希望我们的发现将成为该领域研究人员的路线图和灵感。
2021-08-09 cs.SE
Automated Trustworthiness Oracle Generation for Machine Learning Text Classifiers
Monash University(莫纳什大学);University of Auckland(奥克兰大学);Royal Melbourne Institute of Technology(皇家墨尔本理工学院);Joint Research Centre at the European Commission(欧洲委员会联合研究中心)
针对文本分类器缺乏自动化可信度评估的问题,提出TOKI方法,通过语义相关性检查生成可信度预言,并设计引导式对抗攻击,实验证明其优于基线及现有攻击方法。
2025-05-25 cs.CL cs.CR cs.SE
Towards Automatic Generation of Amplified Regression Test Oracles
针对回归测试中测试放大面临的测试预言问题,提出一种利用SUT执行时的对象状态数据放大回归测试预言的方法,初步评估表明该方法能大幅增强行为变化检测能力。
2023-07-28 cs.SE
Hallucination to Consensus: Multi-Agent LLMs for End-to-End JUnit Test Generation
University of Limerick(利默里克大学);Research Ireland Lero Centre for Software(爱尔兰研究莱罗软件中心);University of Ottawa(渥太华大学);Huawei(华为)
本文提出CANDOR框架,通过多智能体协作生成Java单元测试,利用共识策略减少幻觉并提升Oracle准确性,实验表明其在代码覆盖率和突变得分上优于现有方法。
2026-03-25 cs.SE
Implicit Test Oracles for Quantum Computing
提出量子计算必须具备的4个属性(概率分布、固定量子比特宽度、可逆性和熵守恒),作为量子电路和量子程序模拟器自动、随机或模糊测试的隐式测试预言。
2024-09-21 cs.SE quant-ph
GLIB: Towards Automated Test Oracle for Graphically-Rich Applications
Fuxi AI Lab in Netease(网易伏羲AI实验室);University of Texas at Dallas(德克萨斯大学达拉斯分校)
诸如游戏的图形丰富的应用程序是无处不在的,其具有图形用户界面(GUI)的吸引人的视觉效果,该图形界面提供了软件应用程序和最终用户之间的桥梁。然而,各种类型的图形毛刺可能会出现这种GUI的复杂性,并已成为软件兼容性问题的主要组成部分之一。我们对网易公司游戏开发团队的bug报告进行了研究。表示在GUI渲染期间经常发生图形故障,严重降低了图形丰富的应用程序(如视频游戏)的质量。针对这类应用的现有自动化测试技术主要集中在生成各种GUI测试序列并检查测试序列是否会导致崩溃。这些技术需要持续的人工关注来捕获非崩溃的bug,例如导致图形故障的bug。在本文中,我们提出了第一步,在自动化测试甲骨文检测非崩溃的图形丰富的应用程序中的错误。具体来说,我们提出了基于代码的数据增强技术的\texttt{GLIB}来检测游戏GUI故障。我们在20个真实世界的游戏应用程序上对\texttt{GLIB}进行了评估(提供错误报告),结果表明,\texttt{GLIB}在检测非崩溃错误(如游戏GUI故障)时可以达到100\ %的准确率和99.5\ %的召回率。\texttt{GLIB}在另外14款真实游戏(无bug报告)上的实际应用进一步证明了\texttt{GLIB}能够有效地发现GUI故障,\texttt{GLIB}报告的53个bug中有48个已经得到确认和修复。
2021-07-15 cs.CV cs.LG cs.SE
SATORI: Static Test Oracle Generation for REST APIs
针对REST API测试工具支持的测试预言类型有限的问题,提出基于大语言模型、通过分析OpenAPI规范生成测试预言的静态方法SATORI,其F1值优于动态方法AGORA+,二者互补可发现90%的标注预言,还在主流API中发现18个漏洞。
2025-09-01 cs.SE
Insight Into SEER
本文复现了无需断言即可预测测试结果的 SEER 工具,并在新数据集上验证其泛化性与鲁棒性,以检验其宣称的高准确率等性能指标。
2023-12-04 cs.SE
Scaling Automated Database System Testing
National University of Singapore(新加坡国立大学)
SQLancer++通过自适应SQL生成器实现自动数据库测试的扩展,发现并修复了196个新错误。
2026-01-26 cs.DB cs.SE
Automated, Cost-effective, and Update-driven App Testing
应用程序在我们社会中的普遍作用导致了测试自动化方法的定义,以确保其可靠性。然而,最先进的方法往往会产生大量的测试输入,不太可能达到超过50%的方法覆盖率。在本文中,我们提出了一种策略,以实现显着更高的覆盖率的代码更新的测试输入的数量少得多,从而减轻了测试预言的问题。更具体地说,我们提出了ATUA,一个基于模型的方法,综合应用模型与静态分析,集成了一个动态细化的状态抽象功能,并结合互补的测试策略,包括(1)覆盖的模型结构,(2)覆盖的应用程序代码,(3)随机探索,(4)覆盖的依赖关系,通过信息检索确定。其基于模型的策略使ATUA能够生成一小部分输入,这些输入仅用于执行受更新影响的代码。反过来,这使得常见的测试Oracle解决方案更具成本效益,因为它们往往涉及人工工作。一项针对九个流行Android应用程序的72个应用程序版本进行的大型实证评估表明,在测试应用程序更新时,ATUA比最先进的方法更有效,工作量更少。
2021-12-06 cs.SE
Fully Automated Functional Fuzzing of Android Apps for Detecting Non-crashing Logic Bugs
Android应用程序是基于GUI的事件驱动软件,近年来变得无处不在。显然,功能正确性对于应用程序的成功至关重要。然而,除了崩溃错误之外,非崩溃功能错误(在本工作中简称为“非崩溃错误”),如无意的功能故障,无声的用户数据丢失和不正确的显示信息也很普遍,即使在流行的,经过良好测试的应用程序中也是如此。这些非崩溃功能错误通常由程序逻辑错误引起,并在图形用户界面(GUI)上表现出来。在实践中,这些错误在有效检测它们方面构成了重大挑战,因为(1)当前的实践严重依赖于昂贵的小规模手动验证(缺乏自动化);(2)现代全自动测试仅限于崩溃错误(缺乏测试预言机)。本文通过引入独立视图模糊来填补这一空白,这是一种用于检测Android应用程序中非崩溃功能错误的新颖的全自动方法。受变形测试的启发,我们的主要见解是利用Android应用程序的普遍独立视图属性,从一组验证某些应用程序属性的种子测试中制造属性保留突变测试。变异的测试有助于在额外的不利条件下测试测试应用程序。任何属性冲突都表明可能存在功能错误,需要进一步手动确认。我们已经实现了我们的方法作为一个自动化的,端到端的功能模糊工具,精灵。给定一个应用程序,(1)Genie自动检测非崩溃错误,而不需要人类提供的测试和预言(因此完全自动化);(2)检测到的非崩溃错误是多种多样的(因此是通用的,不限于特定的功能属性),这使Genie与以前的工作不同。
2021-10-05 cs.SE
VISOR: A Vision-Language Model-based Test Oracle for Testing Robots
Simula Research Laboratory(Simula研究实验室);Oslo Metropolitan University(奥斯陆理工大学);Mondragon University(蒙dragon大学);National Institute of Informatics(国立信息研究所)
VISOR 提出基于视觉-语言模型的自动化测试 oracle 方法,解决机器人测试中任务正确性评估难题,通过两个模型在多个任务上验证,展现高召回率和高精确度,但不确定性与正确性相关性低。
2026-05-16 cs.RO cs.SE
Towards Automated Video Game Testing: Still a Long Way to Go
随着游戏开发的复杂性和范围的增加,游戏测试仍然是确保视频游戏质量的重要活动。然而,游戏测试的手动、临时性质为过程中的改进提供了空间。在这项研究中,我们调查了自动化视频游戏测试文献中的学术解决方案与行业中视频游戏开发人员的需求之间的差距。我们对视频游戏自动化测试进行了文献综述,并对视频游戏开发人员进行了在线调查。文献结果显示,与自动化视频游戏测试相关的研究课题有所增加。调查结果显示,游戏开发者对使用自动代理测试游戏持怀疑态度。我们的结论是,有必要新的测试方法,没有中断开发人员的工作流程。对于研究者来说,应该把重点放在测试目标和测试预言上。
2022-03-10 cs.SE
Reinforcement Learning-Driven Test Generation for Android GUI Applications using Formal Specifications
Bogazici University(博阿齐奇大学)
针对移动图形用户界面(GUI)应用的自动测试生成已经有了很多研究。这些研究成功地演示了如何检测致命异常,并实现高代码和活动覆盖率与全自动测试生成引擎。然而,目前还不清楚这些引擎能够测试多少GUI功能。此外,这些引擎只实现隐式测试预言机。本文提出了一种基于强化学习驱动规范的Android测试生成器(FARLEAD-Android)。FARLEAD-Android接受GUI级别的形式化规范作为线性时间时态逻辑(LTL)公式。通过动态执行被测应用程序(AUT),它学习如何使用强化学习(RL)生成满足LTL公式的测试。LTL公式不仅指导测试生成,而且还充当指定的测试预言机,使开发人员能够通过更改公式为各种GUI功能定义自动化测试预言机。我们的评估表明,FARLEAD-Android在为指定的GUI功能生成测试方面比三种已知的方法(Random,Monkey和QBEa)更有效,并且性能更高。据我们所知,FARLEAD-Android是第一个使用正式规范的全自动移动GUI测试引擎。
2019-11-27 cs.AI cs.LG cs.SE
From Business Requirements to Test Assertions: Evaluating LLM-Generated Oracles on Real Bugs
Department of EECS, University of Tennessee, Knoxville, TN, USA(田纳西大学诺克斯维尔分校电气与计算机工程系)
研究大语言模型能否从自然语言业务需求生成测试预言机,提出基于Defects4J的流程,对10个实际错误进行实验,评估预言机在与需求衍生预言机及被测系统一致性上表现,发现大语言模型有泛化但存在差异,为后续研究提供可行性参考。
2026-07-14 cs.SE
Requirements-Augmented Generation for Trustworthy Acceptance Testing of LLM-Based Software
Monash University(蒙纳士大学);Jiangnan University(江南大学);Australian National University(澳大利亚国立大学);Tianjin University(天津大学);Yiwuyishi Intelligent Technology Co., Ltd.(义乌市一五二智能科技有限公司)
该研究针对基于大语言模型的软件的验收测试缺口,提出需求增强生成技术与置信度校准级联判定方法,经工业案例验证可提升预言机质量、准确率与成本效率,具备工业可行性。
2026-08-14 cs.SE
TOGLL: Correct and Strong Test Oracle Generation with LLMs
本文提出TOGLL,一种基于大语言模型的测试预言生成方法,通过微调七个代码LLM并利用最优提示,在25个Java项目上生成正确、多样且强大的预言,检测出1,023个EvoSuite无法发现的独特缺陷,性能远超现有方法。
2024-12-10 cs.SE
WebTestPilot: Agentic End-to-End Web Testing against Natural Language Specification by Inferring Oracles with Symbolized GUI Elements
National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
WebTestPilot通过符号化GUI元素推断隐式或acles,解决自然语言规范下的端到端Web测试中的隐式或acles推断和概率推理挑战,实现99%的任务完成率和高精度召回率。
2026-04-09 cs.SE
LogicHunter: Testing LLM Agent Frameworks with an Agentic Oracle
Huazhong University of Science and Technology(华中科技大学)
研究针对大语言模型代理框架测试不足问题,提出LogicHunter模糊测试框架。通过规范驱动生成有效极端输入,引入智能预言机解决预言机歧义。在三个框架上评估,发现众多未知错误,智能预言机精度高,远超基线方法。
2026-07-08 cs.SE
From Manual Android Tests to Automated and Platform Independent Test Scripts
由于移动应用程序非常受欢迎,并且通常是关键任务,因此公司投入了大量资源来测试他们提供给客户的应用程序。测试对于Android应用尤其重要,因为这些应用必须在多种设备和操作系统版本上运行。不幸的是,正如我们在与质量保证专业人员的多次采访中所证实的那样,应用程序测试是一项非常人力密集的活动,因此繁琐且容易出错。为了解决这个问题,并更好地支持Android应用程序的测试,我们提出了一种新的技术,允许测试人员轻松地为应用程序创建独立于平台的测试脚本,并自动在多个设备和操作系统版本上运行生成的测试脚本。该技术在不修改被测应用程序或运行时系统的情况下这样做,通过(1)拦截测试人员与应用程序的交互,以及(2)为测试人员提供直观的方式来指定预期结果,然后将其编码为测试神谕。我们在一个名为Barista的工具中实现了我们的技术,并使用该工具来评估我们方法的实用性和适用性。我们的研究结果表明,Barista可以忠实地编码用户定义的测试用例作为测试脚本与内置的预言机,生成测试脚本,可以在多个平台上运行,并可以胜过一个国家的最先进的工具,具有类似的功能。咖啡师和我们的实验基础设施是公开的。
2016-08-11 cs.SE
SemLink: A Semantic-Aware Automated Test Oracle for Hyperlink Verification using Siamese Sentence-BERT
National Taiwan University(国立台湾大学);National Yang Ming Chiao Tung University(国立阳明交通大学);National Dong Hwa University(国立东华大学)
SemLink利用Siamese神经网络和Sentence-BERT计算超链接源上下文与目标页面内容的语义一致性,通过HWPPs数据集实现高召回率和高效验证。
2026-04-07 cs.AI cs.CL cs.IR
Metamorphic Security Testing for Web Systems
安全测试验证软件系统的数据和资源是否受到攻击者的保护。不幸的是,它遭受了甲骨文问题,这是指在给定系统输入的情况下,区分正确和不正确行为的挑战。在测试潜在漏洞的许多情况下,测试预言机可能不存在,或者由于必须定义特定预言机的许多输入而不切实际。在本文中,我们提出了一种变形测试方法,解决了安全测试中的预言问题。它使工程师能够指定变形关系(MR),捕捉系统的安全属性。这样的MR然后用于自动化测试和检测漏洞。我们提供了一个目录的22个系统无关的MR自动化Web系统中的安全测试。我们的方法的目标是39%的OWASP安全测试活动没有自动化的国家的最先进的技术。它自动检测到12个漏洞中的10个,这些漏洞影响两个广泛使用的系统,一个是商业系统,另一个是开源系统(Jenkins)。
2019-12-11 cs.SE
Automated Test Generation from Program Documentation Encoded in Code Comments
本文提出一种利用代码注释文档的测试生成技术,将注释中的行为作为测试目标进行搜索,实验表明该方法能测试覆盖率驱动方法遗漏的行为并发现未知故障。
2025-04-29 cs.SE
MASTOR: A Multi-Agent Approach to Semantic Test Oracle Generation for RESTful APIs
Macau University of Science and Technology(澳门科技大学);Macau University of Science and Technology Zhuhai MUST Science and Technology Research Institute(澳门科技大学珠海MUST科学技术研究院);Beihang University(北京航空航天大学);China University of Mining and Technology(中国矿业大学)
提出MASTOR多智能体方法,通过分析源码上下文生成语义测试预言,包括状态字段预言和行为一致性预言,在13个开源项目上达到75.4%平均变异得分。
2026-06-09 cs.SE
Semantics-based Automated Web Testing
我们提出了TAO,一个软件测试工具进行自动化测试和oracle生成的语义方法的基础上。TAO将基于语法的测试生成与使用指称语义框架的自动语义评估相结合。我们展示了如何将TAO与Selenium自动化工具结合起来进行自动化Web测试,以及如何进一步扩展TAO以支持自动化Delta调试,其中失败的Web测试脚本可以根据语法指导策略系统地减少。本文通过一个实际的停车场网站来验证基于语义的Web测试方法的有效性。
2015-08-17 cs.PL cs.SE
MR-Scout: Automated Synthesis of Metamorphic Relations from Existing Test Cases
The Hong Kong University of Science and Technology(香港科技大学);The University of Auckland(奥克兰大学)
MR-Scout通过分析开源项目中的测试用例自动合成元变换关系,提升测试覆盖率和变异评分,验证了其在自动化测试中的有效性。
2026-04-11 cs.SE
Combining Type Inference and Automated Unit Test Generation for Python
University of Passau(帕绍大学);JetBrains Research(JetBrains 研究)
研究针对Python动态类型语言缺乏类型信息阻碍单元测试生成的问题,通过在Pynguin框架扩展类型跟踪,利用测试执行提取类型信息,实现推断参数类型、记录返回值类型并增加代码覆盖率,提升了分支覆盖率和变异分数。
2026-09-21 cs.SE
Continuous, Evolutionary and Large-Scale: A New Perspective for Automated Mobile App Testing
移动应用程序开发涉及一系列独特的挑战,包括设备碎片化和快速发展的平台,使测试成为一项艰巨的任务。全面的移动测试策略的设计空间包括功能、输入、潜在的上下文应用程序状态以及设备和底层平台的大型组合。因此,自动化测试是开发过程中必不可少的活动。然而,移动应用程序的自动化测试工具的当前技术水平带来了限制,这些限制在实践中推动了对手动测试的偏好。到目前为止,还没有一个全面的自动化移动测试解决方案可以克服诸如自动化预言机、测试用例中的历史感知或测试用例的自动化演化等基本问题。在这篇观点论文中,我们调查了当前最先进的框架,工具和服务,以帮助开发人员在移动测试,突出目前的缺点。接下来,我们将对当前限制全面、有效和实用的自动化测试解决方案的可能性的关键挑战进行评论。最后,我们提出了一个全面的移动应用程序测试框架的愿景,并完成了研究议程,这是沿着三个原则简明扼要地总结:持续,进化和大规模(CEL)。
2018-01-19 cs.SE
RBCTest: Leveraging LLMs to Mine and Verify Oracles of API Response Bodies for RESTful API Testing
Katalon Inc.(Katalon公司)
RBCTest利用LLM挖掘RESTful API响应体约束并验证Oracle,提高API测试的自动化和准确性。
2026-08-19 cs.SE
Efficiency Matters: Speeding Up Automated Testing with GUI Rendering Inference
由于Android应用程序质量保证的重要性,许多自动化GUI测试工具已经开发出来。虽然测试算法得到了改进,但GUI渲染的影响却被忽略了。一方面,在完全呈现的GUI上设置一个很长的等待时间来执行事件会减慢测试过程。另一方面,设置较短的等待时间将导致事件在部分渲染的GUI上执行,这会对测试有效性产生负面影响。一个最佳的轮候时间,应该在效益和效率之间取得平衡。我们提出了AdaT,一个轻量级的基于图像的方法来动态调整事件间的时间基于GUI渲染状态。考虑到GUI上的实时流,AdaT提出了一个深度学习模型来推断渲染状态,并使用测试工具来调度GUI完全渲染时的下一个事件。评估表明,我们的方法的准确性,效率和有效性。我们还将我们的方法与现有的自动化测试工具相结合,以证明AdaT在覆盖更多活动和在完全呈现的GUI上执行更多事件方面的有用性。
2023-02-26 cs.SE
Automated Regression Unit Test Generation for Program Merges
将其他分支合并到当前工作分支中在协作软件开发中很常见。然而,开发人员仍然严重依赖文本合并工具来处理复杂的合并任务。潜在的语义合并冲突可能无法被检测到,并降低软件质量。回归测试能够防止回归错误,在实际软件开发中得到了广泛的应用。然而,合并后的软件可能无法很好地检查重新运行现有的整个测试套件。直观地说,如果测试套件未能同时覆盖不同分支的更改,则合并冲突将无法被检测到。最近,有人提出对3路合并进行验证,但这种方法甚至不支持一些常见的情况,例如对程序的不同部分进行不同的更改。在本文中,我们提出了一种回归单元测试生成方法,专门用于检查程序合并,根据我们提出的测试预言。我们的通用测试预言机不仅支持我们检查3路合并,还支持2路合并和章鱼合并。考虑到项目中除了方法变更外,其他位置也可能出现冲突,本文设计了一种基于项目整体依赖性分析的UUT选择算法。在此基础上,我们实现了一个工具TOM来生成Java程序合并的单元测试。我们还设计了由389个冲突3路合并和389个冲突八达通合并组成的基准MCon 4J,以促进对该主题的进一步研究。实验结果表明,TOM发现了45个冲突的3路合并和87个冲突的章鱼合并,而基于验证的工具无法工作的MCon 4J。
2020-02-29 cs.SE
Using ML filters to help automated vulnerability repairs: when it helps and when it doesn't
University of Trento(特伦托大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文研究在自动化漏洞修复流程中用机器学习模型作为测试前初步过滤器的可行性,推导了精确率与召回率的理论界限,并据此评估了现有漏洞检测器相比仅基于测试的APR4Vuln流水线需要达到的速度条件。
2025-04-09 cs.CR cs.LG cs.SE
Fail-Aware and Explainable Test Oracle Prediction
Department of Computer and Systems Sciences(计算机与系统科学系)
研究针对测试预言机构建难题,提出基于代码语言模型的FOCAL方法预测测试前缀成败,通过学习带标签数据、强调失败案例损失及基于行为证据预测,相比基线方法提升了未见过项目失败案例性能并提供更丰富解释。
2026-07-14 cs.AI cs.SE
Automated identification of metamorphic test scenarios for an ocean-modeling application
GEOMAR, Helmholtz Centre for Ocean Research(亥姆霍兹海洋研究中心);Kiel University(基尔大学)
变形测试试图在没有测试预言机的情况下验证软件。我们的应用领域是海洋建模,测试预言机往往不存在,但在模拟的物理系统的对称性是已知的。在这篇简短的论文中,我们提出了正在进行的工作,使用机器学习自动生成的变形测试场景。变形测试可以表示为f(g(X))=h(f(X)),其中f是被测应用,具有输入数据X,并且具有变形关系(g,h)。自动生成的变形关系可用于构造回归测试,以及用于比较同一软件应用程序的不同版本。这里,我们限制h为恒等映射。然后,构建测试的任务意味着找到我们使用机器学习算法处理的不同g。这些算法通常最小化成本函数。由于已知一个可能的g是恒等映射,为了找到第二个可能的g,我们构造了代价函数,以最小化g是变态关系,并惩罚g是恒等映射。在识别出第一变形关系之后,利用与先前找到的变形关系正交的代价函数来奖励g,重复该过程。为了进行实验评估,两个实现的海洋建模应用程序将受到所提出的方法与变形关系的使用,以测试应用程序的实现的目的。
2020-09-03 cs.LG cs.SE
Understanding LLM-Driven Test Oracle Generation
University of Auckland(奥克兰大学);King's College London(伦敦国王学院)
本文研究了大语言模型在生成测试 oracle 以暴露软件故障中的有效性,探讨了提示策略和上下文输入对 oracle 质量的影响。
2026-01-09 cs.AI cs.LG cs.SE
An Automated Testing and Debugging Toolkit for Gate-Level Logic Synthesis Applications
正确性和鲁棒性对于逻辑综合应用是必不可少的,但它们通常只能用有限的基准测试来测试。此外,当应用程序在大型基准测试中失败时,调试过程可能是乏味和耗时的。在某些领域,如编译器构造,自动测试和调试工具已经发展得很好,以支持开发人员,并提供最低限度的保证程序质量。在本文中,我们采用模糊测试和三角调试技术,并专门用于门级网表中常用的逻辑综合。我们的工具包通过支持其他门级网表格式并允许紧密集成以提供10倍的速度来改进专门用于AIGER格式的类似工具。实验结果表明,我们的模糊捕捉缺陷mockturtle,ABC和LSAracle与10倍较小的测试用例和我们的测试用例最小化提取最小的故障诱导核心使用2倍少的Oracle调用。
2022-07-17 cs.LO cs.SE
ASEval: Automated Trajectory-Level Security Testing for Autonomous Agents
Tsinghua University(清华大学)
本文提出了一种针对基于大语言模型(LLM)的代理系统的多维规避框架,通过引入时间、空间和语义三种隐蔽攻击向量,系统地量化了这些威胁,并展示了其在实际威胁场景中的效果,揭示了现有自主代理系统在架构层面的系统性漏洞。
2026-07-27 cs.AI cs.CR cs.SE
Perfect is the enemy of test oracle
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Middle East Technical University(中东技术大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出基于学习的测试预言机方法SEER,通过联合嵌入单元测试与测试方法构建分类器,在无需确切正确行为的情况下准确预测测试通过或失败,并在5000多个Java单元测试上验证了其高效性、准确性与泛化能力。
2023-04-05 cs.AI cs.LG cs.SE
Retromorphic Testing: A New Approach to the Test Oracle Problem
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳))
提出逆向形态测试,一种基于反函数概念的黑盒测试方法,通过正向与反向程序的双程序结构验证输入与输出关系,解决测试预言问题。
2023-10-10 cs.AI cs.CL cs.CV