LLM Assisted Coding with Metamorphic Specification Mutation Agent
York University(约克大学)
CodeMetaAgent通过元形态关系驱动LLM代理,提升代码生成准确性与覆盖率,有效解决规范不一致问题。
2025-11-23 cs.SE
Metamorphic Testing: A New Approach for Generating Next Test Cases
在软件测试中,测试用例集是根据一些预定义的选择准则构造的。然后根据这些测试用例检查软件。对当前软件测试的工件进行了三个有趣的观察。首先,一个错误揭示测试用例被认为是有用的,而一个成功的测试用例,不揭示软件错误,通常不会进一步调查。这些成功的测试案例是否仍然包含有用的信息,揭示软件错误还没有得到适当的研究。其次,无论在开发阶段进行了多么广泛的测试,软件中仍然可能存在错误[5]。这些错误如果不被发现,最终可能会对生产系统造成损害。在生产阶段发现软件错误的技术研究很少在文献中讨论。第三,正如Weyuker在[6]中所指出的,在大多数情况下,测试预言机的可用性实际上是无法实现的。然而,在传统的软件测试技术中,通常假设测试预言机的可用性。在本文中,我们提出了一种新的测试用例选择技术,从成功的新的测试用例。选择的目的是揭示软件错误,可能留下未被发现的成功的测试用例,可能会产生使用一些现有的策略。因此,所提出的技术增强了现有的测试选择策略的有效性。该技术还有助于在生产阶段发现软件错误,并且可以在没有测试预言机的情况下使用。
2020-02-28 cs.SE
Exploring a Test Data-Driven Method for Selecting and Constraining Metamorphic Relations
本文提出MetaTrimmer,一种基于测试数据选择和约束蜕变关系的方法,通过生成测试数据、记录违规和手动检查推导约束,避免了复杂预测模型,并与高级模糊测试无缝集成,初步评估显示其能增强MR有效性。
2023-07-28 cs.SE
Multi-Agent LLM-based Metamorphic Testing for REST APIs
Åbo Akademi University(阿博阿卡迪米大学)
提出ARMeta方法,利用基于LLM的多智能体工作流自动识别蜕变测试场景并生成可执行测试,以解决REST API测试中的预言问题。
2026-05-27 cs.AI cs.SE
An LLM Agentic Approach for Legal-Critical Software: A Case Study for Tax Prep Software
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Colorado Boulder(科罗拉多大学波德分校);IBM Research(IBM研究院)
本文提出一种基于LLM的代理方法,用于开发法律关键软件,通过税务准备软件案例研究,展示了如何利用多代理系统和元测试技术提升法律规范到可执行代码的可靠性。
2026-03-04 cs.AI cs.SE
PSALM: applying Proportional SAmpLing strategy in Metamorphic testing
PSALM 是一种在变异测试中应用比例采样策略的改进方法,通过理论证明和实证研究展示了其在源测试用例和变异组选择上的有效性。
2025-12-15 cs.SE
Integrating Artificial Intelligence with Human Expertise: An In-depth Analysis of ChatGPT's Capabilities in Generating Metamorphic Relations
Swinburne University of Technology(斯威本科技大学)
本研究深入分析GPT-4在软件测试中生成蜕变关系的能力,发现其优于GPT-3.5,并验证了AI与人类评估的互补性,凸显AI在软件测试中的潜力。
2025-03-28 cs.AI cs.SE
HOMRS: High Order Metamorphic Relations Selector for Deep Neural Networks
Polytechnique Montréal(蒙特利尔理工学院)
深度神经网络(DNN)应用正日益成为我们日常生活的一部分,从医疗应用到自动驾驶汽车。DNN的传统验证依赖于准确性度量,然而,对抗性示例的存在突出了这些准确性度量的局限性,特别是当DNN集成到安全关键系统中时,引起了人们的担忧。在本文中,我们提出了HOMRS,一种方法来提高变质测试自动建立一个小的优化的一组高阶变质关系,从一个初始的一组基本的变质关系。HOMRS的主干是一个多目标搜索;它利用了传统系统测试的思想,如代码覆盖率,测试用例,路径多样性以及输入验证。我们应用HOMRS MNIST/LeNet和SVHN/VGG,我们报告的证据表明,它建立了一个小的,但有效的高阶变换,以及推广到输入数据分布。此外,与类似的生成技术(如DeepXplore)相比,我们表明我们基于分布的方法更有效,从不确定性量化的角度生成有效的转换,同时通过利用该方法的泛化能力,需要更少的计算时间。
2021-12-21 cs.LG cs.SE
AIM: Automated Input Set Minimization for Metamorphic Security Testing
针对蜕变安全测试因输入集规模大导致测试效率低的问题,提出AIM方法,通过聚类、遗传算法和问题约简实现输入集最小化,在Jenkins和Joomla上可缩短80%以上测试时间且保持检测能力,漏洞覆盖率优于现有基线。
2024-10-24 cs.CR cs.SE
MetaSpace: Metamorphic Testing for Spatial Cognition in Embodied Agents
Hong Kong University of Science and Technology(香港科技大学)
MetaSpace是评估具身智能体空间认知的框架,基于变形测试原则生成测试用例,在三个场景中检测到SOTA MLLM驱动智能体的90422个空间认知错误,其SC分数远低于人类基准。
2026-08-11 cs.AI cs.SE
Metamorphic Testing of Image Captioning Systems via Image-Level Reduction
本文提出REIC方法,通过图像级缩减变换对图像描述系统进行蜕变测试,无需预标注信息即可生成真实后续图像并有效检测大量违规。
2024-10-04 cs.SE
On the Potential and Limitations of Few-Shot In-Context Learning to Generate Metamorphic Specifications for Tax Preparation Software
University of Texas El Paso(德克萨斯大学埃尔帕索分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文研究如何利用少样本上下文学习与大语言模型,将税务文件中的自然语言属性自动翻译为一阶逻辑形式的蜕变规范说明,以支持税务准备软件的蜕变测试,并系统分析了该方法的潜力与局限。
2023-11-20 cs.CL cs.SE
Robustness Evaluation of Stacked Generative Adversarial Networks using Metamorphic Testing
Monash University Malaysia(莫纳什大学马来西亚分校)
从自然语言中合成具有真实感的图像是计算机视觉的一个挑战性问题。在过去的十年中,已经提出了许多方法,其中改进的堆栈生成对抗网络(StackGAN-v2)已被证明能够生成反映输入文本描述中指定细节的高分辨率图像。在本文中,我们的目标是通过引入训练数据的变化来评估StackGAN-v2模型的鲁棒性和容错能力。但由于生成对抗网络(GAN)的工作原理,当训练数据被修改时,很难预测模型的输出。因此,在这项工作中,我们采用变形测试技术来评估模型的鲁棒性与各种意想不到的训练数据集。因此,我们首先实现StackGAN-v2算法,并测试原作者提供的预训练模型,为我们的实验建立基础事实。然后,我们确定一个变形关系,从测试用例生成。根据试验结果的观察,推导出了变形关系式。最后,我们综合了所有变形关系的实验结果,发现StackGAN-v2算法容易受到带有突出对象的输入图像的影响,即使它与主要对象的重叠最小,这是StackGAN-v2模型的作者和用户没有报道的。所提出的变形关系可以应用到其他文本到图像的合成模型,不仅验证了鲁棒性,而且还帮助研究人员理解和解释的结果由机器学习模型。
2021-10-02 cs.CV cs.SE
METAL: Metamorphic Testing Framework for Analyzing Large-Language Model Qualities
The University of Adelaide(阿德莱德大学)
本文提出 METAL 蜕变测试框架,利用可自动生成的模块化蜕变关系及融合 ASR 与语义质量的新指标,系统评估三类主流 LLM 在多任务上的质量属性与风险。
2023-12-11 cs.AI cs.CL cs.SE
NOETHER: A Constructive Framework for Metamorphic Pattern Discovery from Operator Algebras
School of Computing, University of South China(南华大学计算机学院);Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment(湖南软件测评与智能设备工程研究中心);CNNC Key Laboratory on High Trusted Computing(中核集团高可信计算重点实验室)
本文提出NOETHER框架,通过从程序诱导的算子代数到元模式集的机械且可证明的下游步骤,解决元模式关系识别中的基础问题,同时通过三个算子代数领域验证了该框架的代数闭包和多项式时间可判定性。
2026-05-17 cs.LG cs.LO cs.SE
Using Cooperative Co-evolutionary Search to Generate Metamorphic Test Cases for Autonomous Driving Systems
针对自动驾驶系统需检测非即时违规的不良行为的测试需求,提出结合蜕变测试与协同进化算法的CoCoMEGA框架,在CARLA环境对Interfuser的测试中效果优于基线,可更高效生成多样违规用例并拓展测试空间。
2025-05-15 cs.NE cs.SE
Toward Systematic Counterfactual Fairness Evaluation of Large Language Models: The CAFFE Framework
Gran Sasso Science Institute(格兰萨索科学研究所);University of Salerno(萨莱诺大学)
CAFFE框架通过结构化和意图感知的方法系统评估大型语言模型的反事实公平性,提升了公平性检测的广度和可靠性。
2025-12-18 cs.SE
Search-based Selection of Metamorphic Relations for Optimized Robustness Testing of Large Language Models
The University of Adelaide(阿德莱德大学);Simula Research Laboratory(Simula研究实验室)
本文提出基于搜索的变异关系组优化方法,最大化故障检测并最小化执行成本,实验表明MOEA/D算法最优,并发现银弹MRs。\n
2025-07-08 cs.AI cs.NE cs.SE
Tensor Algebraic Property Skeletons: Amplifying Property-Based Testing for AI Compilers
UC Riverside(加州大学河滨分校);UCLA(加州大学洛杉矶分校);Tulane University(杜兰大学)
提出Propilot框架,利用LLM将张量代数知识表示为可复用的性质骨架,自动生成可执行的基于性质的测试,以检测AI编译器中的语义漂移。
2026-06-19 cs.SE
SmartPoC: Generating Executable and Validated PoCs for Smart Contract Bug Reports
Tsinghua University(清华大学);People’s Public Security University of China(中国人民公安大学);National University of Singapore(新加坡国立大学)
SmartPoC通过生成并执行可执行的PoC测试用例,验证审计报告中的漏洞。该方法通过提取关键函数切片、生成-修复-执行循环及差分验证提高可执行性与准确性,实现了高精度和召回率。
2026-04-01 cs.CR cs.SE
ACTesting: Automated Cross-modal Testing Method of Text-to-Image Software
提出首个面向文生图软件的自动化跨模态测试方法 ACTesting,利用蜕变测试、ER 三元组和变异算子揭示文本—图像不一致错误。
2025-01-11 cs.SE
Towards Reliable Generation of Executable Workflows by Foundation Models
McGill University(麦吉尔大学);Centre for Software Excellence, Huawei Canada(华为加拿大软件卓越中心);Queen’s University(女王大学)
本文提出利用静态分析反馈改进基础模型生成的工作流,通过Timon静态分析器检测并修复缺陷,提升工作流的可靠性与自动化水平。
2026-03-17 cs.SE
Acceptance Test Generation with Large Language Models: An Industrial Case Study
Critical TechWorks;Faculty of Engineering, University of Porto(波尔图大学工程学院);INESC TEC;LIACC
本文研究了利用大语言模型生成Web应用验收测试的两步方法,通过工业案例验证了其在提高测试质量和效率方面的有效性。
2025-04-09 cs.SE
Generating executable oracles to check conformance of client code to requirements of JDK Javadocs using LLMs
The University of Texas at Austin(德克萨斯大学)
本文提出利用大语言模型从Java核心库Javadocs自动生成测试预言,实验显示98.8%可编译且96.4%准确反映预期属性,验证了该方法对客户端代码一致性检查的有效性。
2024-12-14 cs.AI cs.SE
GenFair: Systematic Test Generation for Fairness Fault Detection in Large Language Models
针对现有LLM公平性测试方法多样性不足、难以检测交叉性偏见的问题,本文提出GenFair框架,通过等价类划分、变异算子和边界值分析生成测试用例,并结合蜕变关系与语气比较检测公平性违规,在GPT-4.0和LLaMA-3.0上取得了优于基线方法的故障检测率与测试多样性。
2025-06-03 cs.SE
APITestGenie: Generating Web API Tests from Requirements and API Specifications with LLMs
Deloitte(德勤);Faculty of Engineering, University of Porto(波尔图大学工程学院);LIACC, Faculty of Engineering, University of Porto(波尔图大学工程学院 LIACC);INESC TEC, Faculty of Engineering, University of Porto(波尔图大学工程学院 INESC TEC)
本文提出APITestGenie工具,利用LLM、RAG和提示工程从业务需求和OpenAPI规范自动生成API测试,测试覆盖率达89%,发现API缺陷,提升测试与需求的一致性。
2026-04-02 cs.SE
Syntheto: A Surface Language for APT and ACL2
Syntheto是一种表面语言,用于使用APT工具包在ACL 2中通过转换细化来执行形式验证的程序合成。Syntheto旨在提供更多的熟悉度和自动化,以使这项技术更广泛地使用。Syntheto是一种强静态类型的函数式语言,包括可执行和不可执行的结构,包括陈述和证明定理的设施以及应用证明生成转换的设施。Syntheto集成到一个IDE中,具有笔记本风格的交互式界面,可将Syntheto转换为ACL 2定义和APT转换调用,并将证明器的结果反向转换为Syntheto;双向转换发生在幕后,用户仅与Syntheto交互。
2022-05-24 cs.LO cs.SE
Data Wrangling Task Automation Using Code-Generating Language Models
IBM Research India(印度IBM研究院)
针对传统统计方法难理解语义、深度学习方法资源消耗大的问题,提出利用大语言模型生成可执行代码的自动化数据整理系统,兼顾数据模式识别与外部知识利用,覆盖缺失值插补等多类任务。
2025-02-05 cs.AI cs.DB cs.LG
Automatic Generation of Test Cases based on Bug Reports: a Feasibility Study with Large Language Models
本研究针对现有自动测试生成方法的局限性,探索利用大语言模型以缺陷报告为输入生成复杂场景测试用例的可行性,实验验证了其效果及在故障定位、补丁验证等任务中的实用价值。
2023-10-10 cs.SE
LM2Alloy: Investigating LLM-Generated Formal Specifications for Automated Test Derivation in Production Software
North Dakota State University(北达科他州立大学)
该研究探索用大语言模型从需求文档和生产源代码生成Alloy形式规范及推导可执行测试用例,在Flipper和Cerberus库上评估,发现能揭示约束级缺陷,基于代码的规范方差更低,为生产软件自动测试推导提供了新方法。
2026-07-22 cs.SE
Automated Harmfulness Testing for Code Large Language Models
针对代码大语言模型内容审核易被绕过的问题,提出覆盖率引导的危害性测试框架CHT,识别32种可引入有害内容的程序变换,验证4种Code LLM及GPT-4o-mini的审核漏洞,并提出两阶段审核方法将有效性提升483.76%。
2025-03-20 cs.SE
From Runnable to Shippable: Multi-Agent Test-Driven Development for Generating Full-Stack Web Applications from Requirements
Chinese University of Hong Kong(香港中文大学);Columbia University in the City of New York(纽约哥伦比亚大学);Singapore Management University(新加坡管理大学)
本文提出TDDev框架,通过三个阶段自动化测试驱动开发流程,提升Web应用生成质量,发现最佳协议取决于模型生成风格,且TDDev显著减少人工干预。
2026-09-17 cs.SE
Teach-to-Crash: A Closed-Loop Student-Teacher LLM Framework for Collision-Inducing Test Scenario Generation
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
提出Teach-to-Crash闭环双LLM框架,通过教师指导搜索和学生生成场景,在CARLA中实现高碰撞发现率与多样性,提升ADS安全测试效率。
2026-09-24 cs.AI cs.MA cs.SE
Automatically Generating Web Applications from Requirements Via Multi-Agent Test-Driven Development
The Chinese University of Hong Kong(香港中文大学);Columbia University in the City of New York(哥伦比亚大学);Singapore Management University(新加坡管理学院)
针对现有大模型方案仅能生成前端网页、无法实现全栈Web应用自动化开发的问题,本研究提出支持测试驱动开发的多智能体框架TDDev,可从自然语言或设计图自动生成全栈应用,准确率较SOTA基线提升14.4%。
2025-10-01 cs.AI cs.SE
CoCoST: Automatic Complex Code Generation with Online Searching and Correctness Testing
Xi’an Jiaotong University(西安交通大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学);Microsoft Research(微软研究院)
针对真实场景下复杂代码生成难题,提出CoCoST框架,通过规划查询的在线搜索和正确性测试进行代码完善,并序列化复杂输入输出及生成测试用例,在DS-1000和ClassEval数据集上显著提升了复杂代码生成质量。
2024-10-12 cs.CL cs.LG cs.SE
Search-based Robustness Testing of Laptop Refurbishing Robotic Software
Simula Research Laboratory(Simula研究实验室);University of Oslo(奥斯陆大学);Danish Technological Institute(丹麦技术研究所)
本文提出PROBE方法,利用多目标优化寻找最小局部扰动以暴露笔记本翻新机器人软件中物体检测模型的缺陷,验证其在生成失效诱导扰动方面的有效性。
2026-05-08 cs.RO cs.SE
Inverting the Shield: Systematically Generating Safety Tests from Policy Specifications
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);National University of Singapore(新加坡国立大学);Independent Researcher(独立研究者)
提出POLARIS框架,通过将非结构化自然语言策略编译为一阶逻辑表示并构建语义策略图,实现覆盖驱动的可重复安全测试,相比基线方法提高了策略覆盖率和攻击成功次数。
2026-05-24 cs.AI cs.CR cs.SE
Towards Automated Data Sciences with Natural Language and SageCopilot: Practices and Lessons Learned
Baidu Inc.(百度公司);Beihang University(北京航空航天大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出工业级系统SageCopilot,通过结合LLM、AutoAgents和LUI及两阶段设计,自动化数据查询、分析、可视化与报告全流程,并在真实数据集上验证了其优越的端到端性能。
2024-07-21 cs.AI cs.CL cs.DB