Towards the Automation of Metamorphic Testing in Model Transformations
模型转换是模型驱动工程的基石,并提供了操纵和转换模型的基本机制。检查模型转换的输出是否正确是一项手动且容易出错的任务,这在软件测试文献中被称为Oracle问题。模型转换程序的正确性对于正确生成其输出至关重要,因此应对其进行测试。变形测试是一种缓解预言问题的测试技术,它利用被测程序的不同输入和输出之间的关系,即所谓的变形关系。在本文中,我们给出了一个洞察我们的方法来一般定义模型转换的变形关系,它可以自动实例化给定任何特定的模型转换。
2018-04-30 cs.SE
Metamorphic Testing of Transpilers via Mutation Consistency of Programs
University of Milano-Bicocca(米兰比可卡大学)
本文针对转译器测试难题,提出基于转译后程序突变一致性的变形测试技术,实现工具MCP-Tester,案例研究显示其能发现纯模糊测试漏检的故障。
2026-08-03 cs.SE
Systematic Testing of Genetic Algorithms: A Metamorphic Testing based Approach
遗传算法是一组常用的优化算法,常用于辅助软件测试。然而,由于遗传算法的随机性和缺乏已知的输出,还没有将系统的软件测试技术应用于遗传算法的工作。统计变形测试是一种用于测试输出未知或程序具有随机元素时的程序的有用技术。在本文中,我们确定了17个变形关系测试的遗传算法和显示,通过突变测试,这些关系是更有效地发现缺陷比传统的单元测试的基础上已知的输出。我们研究了系统级关系的失败率时,初始化与各种适应度函数。我们发现三个关系失败过度,然后我们修改这些关系,使他们失败的频率较低。我们还确定了一些变形关系的遗传算法,可推广到不同类型的进化算法,并表明我们的关系有相似的突变得分之间的两个实现。这是第一次统计变形测试已被应用于测试遗传算法。
2018-08-02 cs.SE
MTGP: Combining Metamorphic Testing and Genetic Programming
遗传编程是一种进化方法,以其在程序合成中的性能而闻名。然而,它还不够成熟,无法在现实世界的软件开发中实际使用,因为通常需要许多训练用例来生成推广到未见过的测试用例的程序。由于在实践中,训练案例必须由用户手工标记,因此我们需要一种方法来检查具有较少数量训练案例的程序行为。变形测试不需要标记的输入/输出示例。相反,程序被执行多次,首先是给定的(随机生成的)输入,然后是相关的输入,以检查观察到的输出之间是否存在某些用户定义的关系。在这项工作中,我们建议MTGP,它结合了变形测试和遗传编程,并研究其性能和生成的程序的通用性。此外,我们分析了泛化能力如何取决于给定的标记训练案例的数量。我们发现,在几乎所有的研究配置中,使用变形测试与标记的训练案例相结合,导致更高的泛化率比单独使用标记的训练案例。因此,我们建议研究人员在他们的系统中使用变形测试,如果标记的训练数据是昂贵的。
2023-01-20 cs.NE cs.SE
Optimizing Metamorphic Testing: Prioritizing Relations Through Execution Profile Dissimilarity
针对机器学习程序判定器缺失及现有蜕变关系优先排序成本高或不准确的问题,提出一种基于语句中心性并利用执行剖面多样性的MR优先排序方法,显著提升了故障检测有效性与测试效率。
2024-11-14 cs.SE
METAMON: Finding Inconsistencies between Program Documentation and Behavior using Metamorphic LLM Queries
METAMON结合基于搜索的测试生成、LLM代码推理、蜕变测试和自一致性,自动检测代码文档与程序行为之间的不一致,在9,482对样本上达到0.72精确率和0.48召回率。
2025-02-05 cs.SE
GenMorph: Automatically Generating Metamorphic Relations via Genetic Programming
本文提出GenMorph技术,利用进化算法和双适应度函数为Java方法自动生成蜕变关系,有效缓解预言机问题,并在多项实验中显著提升了软件故障检测能力,优于现有工具。
2024-06-05 cs.SE
Exploring and Lifting the Robustness of LLM-powered Automated Program Repair with Metamorphic Testing
本文提出蜕变测试框架MT-LAPR,通过九种蜕变关系生成语义等价的测试用例,系统评估并暴露LAPR技术的不稳定性,进而训练基于CodeT5的代码可读性增强模型作为预处理步骤,显著提升LAPR鲁棒性最高达49.32%。
2025-03-09 cs.SE
Delta Debugging in the Absence of Test Oracles Through Metamorphic Testing
Zhejiang Sci-Tech University(浙江理工大学);Monash University(莫纳什大学);Swinburne University of Technology(斯威本科技大学)
提出DDMT方法,利用蜕变测试替代测试预言,使Delta调试适用于缺乏测试预言的程序,实验表明能保持或提升约简效果与查询效率。
2026-07-02 cs.SE
MR-Scout: Automated Synthesis of Metamorphic Relations from Existing Test Cases
The Hong Kong University of Science and Technology(香港科技大学);The University of Auckland(奥克兰大学)
MR-Scout通过分析开源项目中的测试用例自动合成元变换关系,提升测试覆盖率和变异评分,验证了其在自动化测试中的有效性。
2026-04-11 cs.SE
Quality Assurance of Bioinformatics Software: A Case Study of Testing a Biomedical Text Processing Tool Using Metamorphic Testing
生物信息学软件在许多领域(包括医学和卫生保健)的关键决策中发挥着非常重要的作用。然而,大多数研究都是针对开发工具,很少有时间和精力花在测试软件,以确保其质量。在测试中,测试预言用于确定测试在测试过程中是通过还是失败,不幸的是,对于大多数生物信息学软件来说,确切的预期结果并没有很好地定义。因此,与对生物信息学软件进行系统测试相关的主要挑战是Oracle问题。变形测试(MT)是一种用于测试面临预言机问题的程序的技术。MT使用变形关系(MR)来确定测试是通过还是失败,并根据对输入的特定更改指定输出应如何更改。在这项工作中,我们使用MT来测试LingPipe,这是一种使用计算语言学处理文本的工具,通常用于生物信息学中从生物医学文献中识别生物实体。首先,我们确定一组MR用于测试任何生物实体识别程序。然后,我们开发了一组测试用例,可用于测试LingPipe的生物实体识别功能,使用这些MR。为了评估这个测试过程的有效性,我们自动生成一组LingPipe的错误版本。根据我们对实验结果的分析,我们观察到我们的MR可以检测到这些错误版本中的大多数,这表明了这种测试技术在生物信息学软件质量保证中的实用性。
2018-02-20 cs.SE
Metamorphic Coverage
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National University of Singapore(新加坡国立大学)
研究针对变质测试中代码覆盖不准确、变异测试成本高的问题,提出变质覆盖(MC)度量。在五种变质测试方法上评估MC,发现其与错误修复位置重叠度高,比行覆盖更敏感且耗时少,用于反馈指导时比代码覆盖能多发现错误,可广泛应用于评估和改进测试。
2026-07-17 cs.SE
Metamorphic Relation Prioritization for Effective Regression Testing
Montana State University(蒙大拿州立大学);University of North Florida(北佛罗里达大学)
变形测试(MT)被广泛用于测试面临预言机问题的程序。它使用一组变形关系(MR),这是多个输入之间的关系,并相应的输出,以确定是否被测程序是错误的。典型地,MR在它们检测被测程序中的故障的能力方面变化,并且一些MR倾向于检测相同的故障集合。在本文中,我们提出了优先考虑MR的方法,以提高回归测试的MT的效率和有效性。我们提出了两种MR优先级排序方法:(1)基于故障和(2)基于覆盖率。为了评估这些MR优先化方法,我们在三个复杂的开源软件系统上进行实验。我们的研究结果表明,我们开发的MR优先级的方法显着优于目前的做法,执行的源和后续测试用例的MR在一个特设的方式在故障检测的有效性。此外,基于故障的MR优先化导致减少需要执行的源和后续测试用例的数量,以及减少检测故障所花费的平均时间,这将导致在测试过程期间节省时间和成本。
2021-09-20 cs.LG cs.SE
Kaizen: Metamorphic Fuzzing and Differential Testing for LLM-Translated HPC Applications
Oregon State University(俄勒冈州立大学);Oak Ridge National Laboratory(橡树岭国家实验室)
研究大语言模型驱动的高性能计算应用代码翻译的正确性评估,提出用变质模糊测试和差分测试框架Kaizen,经源码变异、语法输入模糊等生成等价程序,暴露语义差异,评估揭示了编译成功与正确性的关系。
2026-07-07 cs.PL cs.SE
A Metamorphic Testing Approach to Diagnosing Memorization in LLM-Based Program Repair
JetBrains Research(JetBrains研究);Delft University of Technology(代尔夫特理工大学)
本文通过结合元测试与负对数似然,揭示LLM程序修复中数据泄露问题,发现模型在变换基准上的修复成功率显著下降,与NLL值高度相关。
2026-04-23 cs.AI cs.SE
Testing Ocean Software with Metamorphic Testing
海洋科学的进步对世界的发展产生了重大影响,从船舶的安全航行到维护健康和多样化的海洋生态系统。各种海洋软件系统已被广泛用于不同的目的,例如,预测每小时跨越海岸线的海平面上升,模拟大规模的海洋环流,以及将其纳入地球系统模型用于天气预报和气候预测。无论其重要性如何,保证海洋软件和建模系统的可靠性是一项长期挑战。海洋软件测试中存在大量的“预言机问题”,即由于多个物理变量的非线性相互作用和计算的高度复杂性而导致测试预言机的缺失。在海洋中,观测到的潮汐信号被不确定的物理变量所扭曲,阻碍了我们了解时间序列中存在的“真实”天文潮汐分量。在本文中,我们介绍了如何基于变形测试(MT)来测试潮汐分析和预测(TAP)软件,变形测试(MT)是一种简单而有效的Oracle问题测试方法。特别地,我们从天文潮汐的周期性构造变形关系,然后使用它们成功地检测到一个开源TAP软件中的一个实际缺陷。我们还进行了一系列的实验,以进一步证明MT在TAP软件测试的适用性和有效性。我们的研究不仅证明了MT在测试更复杂的海洋软件和建模系统方面的潜力,而且还可以扩展到评估和提高更广泛的科学模拟软件系统的质量。
2022-06-11 cs.SE
Validating LLM-Generated Programs with Metamorphic Prompt Testing
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出变形提示测试,通过提示改写生成多版本代码并交叉验证语义一致性,以检测 LLM 程序缺陷;在 HumanEval 上可检出 GPT-4 错误程序的 75%,假阳性率 8.6%。
2024-06-11 cs.AI cs.SE
Input Relation Prompting for Metamorphic Testing on Query-Based Systems
National Cheng Kung University(国立成功大学)
针对查询系统测试难题,提出通过提示输入输出关系的变质关系识别方法,不依赖预定义测试用例或基本事实,可结合其他测试方法,经案例研究验证其适用性与潜力,推动变质测试发展,提高测试效率。
2026-07-29 cs.SE
Fault Detection Effectiveness of Metamorphic Relations Developed for Testing Supervised Classifiers
在机器学习中,监督分类器用于通过使用标记数据推断预测函数来获得对未标记数据的预测。监督分类器广泛应用于计算生物学、计算物理学和医疗保健等领域,以做出关键决策。然而,由于期望的答案是未知的,因此通常很难测试监督分类器。这通常被称为\emph{oracle problem},变形测试(MT)已被用于测试这样的程序。在机器翻译中,变形关系(MR)是从被测软件(SUT)的内在特征发展而来的。这些MR用于生成测试数据,并在不存在测试预言的情况下验证测试结果的正确性。MT的有效性在很大程度上取决于用于测试的MR。在本文中,我们已经进行了广泛的实证研究,以评估故障检测的有效性MR已被用于多个以前的研究,以测试监督分类。我们的研究共使用了709个可达突变体产生的多个突变引擎,并使用具有不同特征的数据集来测试SUT。我们的研究结果表明,只有14.8%的这些突变体被检测到使用MR和故障检测的有效性,这些MR不规模与突变体的数量增加时,在以前的研究中报道的相比。
2019-04-15 cs.SE
PSALM: applying Proportional SAmpLing strategy in Metamorphic testing
PSALM 是一种在变异测试中应用比例采样策略的改进方法,通过理论证明和实证研究展示了其在源测试用例和变异组选择上的有效性。
2025-12-15 cs.SE
Testing Multiple Linear Regression Systems with Metamorphic Testing
回归是最常用的统计技术之一。然而,测试回归系统是一个巨大的挑战,因为缺乏测试预言一般。在本文中,我们表明,变形测试是一种有效的方法来测试多个线性回归系统。在此过程中,我们确定内在的数学性质的线性回归,然后提出11个变形关系用于测试。他们的有效性进行检查,使用突变分析与一系列不同的回归程序。我们进一步研究如何以更有效的方式采用测试。我们的工作是适用于检查预测系统的可靠性的基础上回归,已被广泛应用于经济,工程和科学,以及统计用户操纵的回归计算。
2021-08-17 cs.SE stat.ME
Metamorphic Testing of Deep Code Models: A Systematic Literature Review
Delft University of Technology(代尔夫特理工大学);JetBrains Research(JetBrains研究院)
该系统性文献综述聚焦深度代码模型的蜕变测试,通过分析45篇核心论文梳理研究现状,明确相关评估要素并提出领域挑战与未来方向。
2025-07-30 cs.AI cs.SE
Testing CPS with Design Assumptions-Based Metamorphic Relations and Genetic Programming
本文提出基于控制理论设计假设定义蜕变关系(MRs),并利用遗传编程探索MRs组合以生成CPS测试用例,通过预期输出轨迹偏差指导输入轨迹生成,有效解决预言机问题并帮助工程师识别测试用例。
2025-04-30 cs.SE cs.SY eess.SY
Metamorphic Testing in Autonomous System Simulations
University of Innsbruck(因斯布鲁克大学)
变形测试在许多领域的测试用例生成和故障检测中被证明是有效的。它是一种软件测试策略,使用程序的输入输出对之间的某些关系,称为变形关系。这种方法在自治系统领域是相关的,因为它有助于在给定测试输入的结果可能难以确定的情况下。因此,在本文中,我们提供了一个变形测试的概述,以及在自治系统域的实现。我们利用GNC API在Gazebo中进行模拟,在自主无人机中实现障碍物检测和规避任务。特别是,我们描述的属性和最佳实践是至关重要的发展有效的变质关系。我们还展示了两个变质关系的变形测试的单个和多个无人机,分别。我们的关系揭示了几个属性和一些弱点的实施和避免算法的光变测试。结果表明,变形测试在自治系统领域有很大的潜力,应该考虑在这个领域的质量保证。
2022-09-22 cs.MA cs.RO cs.SE
Metamorphic Testing for Clinical ML Models: A Framework Proposal and Pilot Study
Michigan Technological University(密歇根理工大学)
研究针对临床机器学习模型,提出用变质测试评估其行为正确性,无需真实标签。设计12个候选变质关系目录及五层验证策略,在UCI心脏病数据集评估,发现临床模型有MT违反率,证明变质测试可补充传统指标评估临床预测模型。
2026-07-28 cs.LG cs.SE
A semantic mutation metric for metamorphic relation adequacy in scientific computing programs
School of Computing, University of South China(南华大学计算机学院);Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment(湖南软件测评与智能设备工程研究中心);CNNC Key Laboratory on High Trusted Computing(中核集团高可信计算重点实验室)
本文提出了一种基于领域语义操作符的语义突变度量(SMS),旨在解决传统突变度量在科学计算中忽略领域语义的问题,通过引入五个领域语义操作符,提高了对元突变关系充分性的评估能力。
2026-07-08 cs.LG cs.SE
Metamorphic Testing of Multimodal Human Trajectory Prediction
Simula Research Laboratory(Simula研究实验室)
本研究针对多模态人类轨迹预测(HTP)模型缺乏测试预言机的问题,提出基于蜕变测试(MT)的系统方法,设计了五种蜕变关系及概率违规标准,实现了无需真实轨迹即可评估模型鲁棒性的测试框架。
2025-09-01 cs.RO cs.SE
Drowzee: Metamorphic Testing for Fact-Conflicting Hallucination Detection in Large Language Models
本文提出Drowzee方法,利用逻辑编程增强蜕变测试,从Wikipedia等来源生成多样化测试用例,在六种大语言模型上检测事实冲突型幻觉,幻觉率达24.7%至59.8%,揭示了LLMs在时间概念、分布外知识和逻辑推理方面的不足。
2024-09-03 cs.SE
Can ChatGPT advance software testing intelligence? An experience report on metamorphic testing
Swinburne University of Technology(斯威本科技大学);Monash University(莫纳什大学)
本研究通过蜕变测试案例检验ChatGPT的软件测试能力,发现其能生成新的正确蜕变关系候选,但多数候选存在定义模糊或错误,仍需人类专家验证纠正。
2023-11-23 cs.AI cs.HC cs.SE
MetaSpace: Metamorphic Testing for Spatial Cognition in Embodied Agents
Hong Kong University of Science and Technology(香港科技大学)
MetaSpace是评估具身智能体空间认知的框架,基于变形测试原则生成测试用例,在三个场景中检测到SOTA MLLM驱动智能体的90422个空间认知错误,其SC分数远低于人类基准。
2026-08-11 cs.AI cs.SE
NOETHER: A Constructive Framework for Metamorphic Pattern Discovery from Operator Algebras
School of Computing, University of South China(南华大学计算机学院);Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment(湖南软件测评与智能设备工程研究中心);CNNC Key Laboratory on High Trusted Computing(中核集团高可信计算重点实验室)
本文提出NOETHER框架,通过从程序诱导的算子代数到元模式集的机械且可证明的下游步骤,解决元模式关系识别中的基础问题,同时通过三个算子代数领域验证了该框架的代数闭包和多项式时间可判定性。
2026-05-17 cs.LG cs.LO cs.SE
Robustness Testing of Intermediate Verifiers
程序验证器也不能避免几乎影响每一个软件的bug。此外,它们经常表现出脆弱的行为:它们的性能随着输入程序如何表达的细节而发生显著变化,这些细节应该是无关紧要的,比如独立声明的顺序。这种健壮性的缺乏使用户感到沮丧,他们必须花费大量的时间来弄清楚工具的特性,然后才能有效地使用它。本文介绍了一种技术来检测缺乏程序验证器的鲁棒性,该技术是轻量级的,全自动的,因为它是基于测试方法(如突变测试和变形测试)。其关键思想是生成最初通过验证的程序的许多简单变体。通过构造,所有变体都等同于原始程序;因此,任何未通过验证的变体都表明验证器缺乏鲁棒性。我们实现了我们的技术在一个工具,称为“mugie”,它的操作程序写在流行的布吉语言验证作为中间表示在众多的程序验证。针对135个Boogie程序的实验表明,脆性行为发生得相当频繁(16个程序),并且不难触发。基于这些结果,本文讨论了脆性行为的主要来源,并提出了提高鲁棒性的措施。
2018-05-08 cs.SE
Integrating Artificial Intelligence with Human Expertise: An In-depth Analysis of ChatGPT's Capabilities in Generating Metamorphic Relations
Swinburne University of Technology(斯威本科技大学)
本研究深入分析GPT-4在软件测试中生成蜕变关系的能力,发现其优于GPT-3.5,并验证了AI与人类评估的互补性,凸显AI在软件测试中的潜力。
2025-03-28 cs.AI cs.SE
Combining LLM and Dynamic Analysis for Universal Testing of Static Application Security Testing Tools
The University of Hong Kong(香港大学);the Hong Kong Polytechnic University(香港理工大学);Concordia University(康考迪亚大学)
本文提出LLM4SAST框架,结合LLM与动态分析测试SAST工具,可高效检测SAST工具故障,减少误报,检测故障数量为现有方法3.4倍,仅需39.8%的变体,66个故障中32个获开发者确认修复。
2026-10-16 cs.CR cs.SE
Cross-Cutting Security Analysis of LLM-Generated Code via Metamorphic Testing and Association Rule Mining
University of Montana(蒙大拿大学);University of Oklahoma(俄克拉荷马大学);Central Washington University(华盛顿中央大学)
研究针对LLM生成代码的安全漏洞,提出结合变形测试与关联规则挖掘的框架,定义九个MRs并应用于3700个代码片段,揭示共同违反结构与横切模式,还进行提示级风险分析,发现不安全代码生成具结构化和提示依赖性,推动相关验证与干预。
2026-07-15 cs.CR cs.SE
HornFuzz: Fuzzing CHC solvers
针对缺乏 CHC 求解器专用模糊测试工具的问题,提出基于蜕变测试的变异灰盒工具 HornFuzz,并在 Spacer 中发现多个严重缺陷。
2023-06-08 cs.SE
Evaluating Representation Learning of Code Changes for Predicting Patch Correctness in Program Repair
自动程序修复的大量文献开发了生成补丁以针对oracle进行验证的方法(例如,测试套件)。因为这样的预言机可能是不完美的,所以生成的补丁尽管经过了预言机的验证,但实际上可能是不正确的。虽然最先进的探索研究方向,需要动态信息或依赖于手工制作的算法,我们研究学习代码表示的好处,学习深度功能,可能编码的补丁正确性的属性。我们的工作主要是研究不同的表示学习方法的代码变化,以获得嵌入,是服从相似性计算。我们报告基于预训练和重新训练的神经网络产生的嵌入的结果。实验结果表明,嵌入的潜力,使学习算法在推理补丁的正确性:机器学习预测器与BERT变换为基础的嵌入与逻辑回归产生的AUC值约为0.8预测补丁的正确性去重复数据集的1000标记的补丁。我们的研究表明,与依赖于动态信息的最先进的PATCH-SIM相比,学习表示可以带来合理的性能。这些表示可以进一步补充文献中仔细(手动)设计的特征。
2020-08-07 cs.SE
Predicting Program Comprehension with Foundation Models of Human Cognition
Saarland University(萨尔兰州立大学)
研究探讨用人类认知基础模型预测程序理解能力,通过评估基于160个心理实验训练的Centaur在9个程序理解研究中的表现,发现其比基础模型更契合人类响应模式,为软件工程中开发者行为建模提供了新思路。
2026-07-15 cs.SE
QEMI: A Quantum Software Stacks Testing Framework via Equivalence Modulo Inputs
Kyushu University(九州大学);Zhejiang University(浙江大学)
QEMI通过输入等价性技术,提出了一种用于量子软件堆栈的测试方法,能够检测潜在的错误并扩展测试技术。
2026-02-10 cs.SE
Compiler Optimization Testing Based on Optimization-Guided Equivalence Transformations
针对差分测试在编译器优化测试中的局限性,提出一种受编译器优化启发的蜕变测试方法,通过定制代码构造和优化变换生成语义等价程序并比较输出,成功在 GCC 和 LLVM 中检测出五个错误优化缺陷。
2025-04-06 cs.SE
Pre-training by Predicting Program Dependencies for Vulnerability Analysis Tasks
针对现有代码预训练目标忽略或未充分利用代码语义结构知识的问题,提出控制依赖预测和数据依赖预测两种预训练目标,构建的PDBERT模型在三项漏洞分析任务上达SOTA,且依赖预测性能优异。
2024-02-01 cs.SE
Predicting Program Exit Code with LLMs and Programming Language Semantics
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cisco Research(思科研究院)
本研究提出程序可执行性预测(PrEx)任务,构建含系统生成非法变换的数据集,评估开源编码LLM,发现其依赖预训练先验而非给定语义,在修改语义及复杂程序上表现差。
2026-09-02 cs.AI cs.CL cs.PL
ConPredictor: Concurrency Defect Prediction in Real-World Applications
并发程序由于其固有的非确定性而难以测试。为了解决这个问题,测试通常需要探索程序的线程调度;这在应用于真实世界的程序时可能很耗时。软件缺陷预测已经被用来帮助开发人员发现错误并优先考虑他们的测试工作。先前的研究已经使用机器学习来基于对程序的特性进行编码的设计特征来构建这样的预测模型。然而,研究的重点是顺序程序,迄今为止,没有工作考虑并发程序的缺陷预测,程序特性区别于顺序程序。在本文中,我们提出了ConPredictor,一种方法来预测特定的并发程序的缺陷相结合的静态和动态程序度量。具体来说,我们提出了一套新的静态代码度量的基础上并发程序的独特属性。我们还利用基于突变分析构建的动态指标的额外指导。我们对四个大型开源项目的评估表明,与传统功能相比,ConPredictor改进了项目内缺陷预测和跨项目缺陷预测。
2018-04-10 cs.SE
Retromorphic Testing: A New Approach to the Test Oracle Problem
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳))
提出逆向形态测试,一种基于反函数概念的黑盒测试方法,通过正向与反向程序的双程序结构验证输入与输出关系,解决测试预言问题。
2023-10-10 cs.AI cs.CL cs.CV
Phaedrus: Predicting Dynamic Application Behavior with Lightweight Generative Models and LLMs
Georgia Institute of Technology(佐治亚理工学院)
Phaedrus通过轻量级生成模型和大语言模型预测动态应用程序行为,实现无需执行的高效编译器优化。
2026-01-08 cs.PL cs.SE
ThrowBench: Benchmarking LLMs by Predicting Runtime Exceptions
Free University of Bozen-Bolzano(波尔扎诺自由大学);Univ. Bordeaux, CNRS, Bordeaux INP(波尔多大学、法国国家科学研究中心、波尔多理工学院);LaBRI, UMR 5800(拉布里实验室(UMR 5800))
为评估LLMs预测程序运行时异常的能力,本文提出包含2400余个多语言程序的基准ThrowBench,测试发现六个先进代码LLM的F1分数仅为19%-38%,为模型弱点评估提供了无泄露的新基准。
2025-03-06 cs.LG cs.SE
Predicting sensitive information leakage in IoT applications using flows-aware machine learning approach
本文提出了一种识别易受攻击的物联网应用程序的方法。该方法侧重于一类漏洞,导致敏感信息泄漏,可以通过使用污点流分析来识别。污染流漏洞受程序结构和代码中语句顺序的影响很大,设计检测此类漏洞的方法需要考虑这些信息,以便提供精确的结果。在本文中,我们提出并开发了一种方法FlowsMiner,除了程序的语句顺序之外,还可以从与程序结构相关的代码中挖掘功能,例如控制语句和方法。FlowsMiner,以污染流的形式生成特征。我们开发了Flows2Vec,这是一个将FlowsMiner恢复的特征转换为向量的工具,然后通过提供流的感知模型构建过程来帮助机器学习。由此产生的模型是能够准确地将应用程序分类为脆弱的,如果该漏洞是通过改变源代码中的语句顺序来表现的。实验结果表明,与基本的词袋(BagofWords,BoW)方法相比,该方法提高了所有算法的预测模型的AUC,其中Corpus1数据集的最佳情况从0.91提高到0.94,Corpus2数据集的最佳情况从0.56提高到0.96
2022-01-07 cs.CR cs.SE
Arguzz: Testing zkVMs for Soundness and Completeness Bugs
TU Wien(维也纳工业大学);Diligence Security
提出首个自动化测试工具 Arguzz,通过结合蜕变测试变体与故障注入技术,有效检测 zkVMs 中的可靠性与完备性漏洞,在六个真实 zkVMs 中发现 11 个漏洞并获得高额赏金。
2025-09-13 cs.CR cs.PL cs.SE
OBsmith: LLM-Powered JavaScript Obfuscator Testing
University of Texas at Austin(德克萨斯大学奥斯汀分校)
OBsmith利用大语言模型系统测试JavaScript混淆器,发现11个正确性错误,凸显其在混淆诱导误操作方面的有效性。
2026-02-27 cs.AI cs.PL cs.SE
Human-In-The-Loop Automatic Program Repair
Monash University(莫纳什大学)
我们介绍Learn 2fix,这是第一个人在回路中的半自动修复技术,当没有错误预言时-除了报告错误的用户-可用。我们的方法与用户协商的条件下,该错误被观察到。只有当用户的查询预算耗尽时,它才会尝试修复错误。一个查询可以被认为是下面的问题:“当执行这个替代的测试输入时,程序产生下面的输出;是否观察到了bug”?通过系统化的查询,Learn 2fix训练了一个自动的错误预言,在预测用户的响应方面变得越来越准确。我们的主要挑战是在给定的小查询预算的情况下,最大限度地提高预言机在预测哪些测试是bug暴露方面的准确性。从用户标记的替代测试中,测试驱动的自动修复生成补丁。我们的实验表明,Learn 2fix学习一个足够准确的自动甲骨文与一个合理的低标签的努力(lt.20查询)。给定Learn 2fix的测试套件,GenProg测试驱动的修复工具生成更高质量的补丁(即,通过更大比例的验证测试)而不是使用与修复基准一起提供的手动测试套件。
2019-12-16 cs.AI cs.SE
Predicting Rankings of Software Verification Competitions
Paderborn University(帕德博恩大学)
软件验证竞赛,如年度SV-COMP,评估软件验证工具的有效性和效率。通常情况下,竞争的结果是一个(可能是特定类别的)排名的工具。对于许多应用,例如构建组合求解器,期望预先了解验证工具在给定验证任务上的(相对)性能,即,在实际运行任务上的所有工具之前。在本文中,我们提出了一个机器学习的方法来预测排名的工具验证任务。该方法建立在所谓的标签排名算法的基础上,我们补充了适当的内核,为验证任务提供了相似性度量。我们的内核采用图形表示的软件源代码,混合元素的控制流和程序依赖图与抽象语法树。使用SV-COMP的数据集,我们证明了我们的秩预测技术,以及推广,并实现了相当高的预测精度。特别是,我们的方法优于Demyanova等人最近提出的基于特征的方法(当应用于排名预测时)。
2017-03-02 cs.LG cs.SE
Predicting Code Coverage without Execution
Microsoft(微软)
本研究提出面向大语言模型的代码覆盖率预测基准任务,构建发布COVERAGEEVAL数据集,评测四款前沿代码大模型的表现,指出代码覆盖率对提升LLM软件工程任务能力的价值。
2023-07-25 cs.AI cs.SE
v-SVR Polynomial Kernel for Predicting the Defect Density in New Software Projects
Universidad de Guadalajara(瓜达拉哈拉大学);Applied Science Private University(应用科学私立大学);University of Sharjah(沙迦大学);University of Detroit Mercy(底特律梅西大学)
确定软件过程有效性的一个重要产品度量是缺陷密度(DD)。在这项研究中,我们提出了应用支持向量回归(SVR)来预测从国际软件基准标准组(ISBSG)2018年发布的数据集获得的新软件项目的DD。两种类型的支持向量机(e-SVR和v-SVR)被用于训练和测试这些项目。每个SVR使用四种类型的内核。将每个SVR的预测准确度与统计回归的预测准确度进行比较(即,简单线性回归(SLR)。统计显著性检验表明,在大型机上开发新的软件项目并使用第三代程序设计语言编码时,多项式核的v-SVR优于SLR
2018-12-15 cs.LG cs.SE
Traq: Estimating the Quantum Cost of Classical Programs
Ruhr University Bochum(鲁尔大学波鸿分校);MPI-SP(马克斯·普朗克软件研究所);IMDEA Software Institute(IMDEA软件研究所);Ludwig-Maximilians-Universität München(慕尼黑大学);Munich Center for Quantum Science and Technology (MCQST)(慕尼黑量子科学与工程中心);University of Amsterdam(阿姆斯特丹大学)
Traq通过自动方法估算经典程序的量子加速,包含高阶原语、低级量子程序编译和源级成本分析,提供可证明的保证和输入数据敏感的成本上界。
2026-04-01 cs.LO cs.PL cs.SE