Intent-Based Mutation Testing: From Naturally Written Programming Intents to Mutants
SnT, University of Luxembourg(卢森堡大学 SnT);Medtech, South Mediterranean University(南地中海大学 Medtech)
提出基于意图的变异测试,通过改变被测程序实现的编程意图来生成变异体,与传统测试不同,能捕获不同类型故障,用大语言模型实现并评估,可补充传统变异测试。
2026-07-07 cs.SE
Development of a Web Platform for Code Peer-Testing
作为编程课程形成性和总结性评估的一部分,学生根据给定的规范开发编程工件。这些作品由教师进行评价。在评估结束时,学生会收到反馈和分数。提供关于编程工件的反馈是需要时间的,并且可能使反馈到达得太晚而不能有效地用于学生的学习。我们建议将软件测试与同行反馈相结合,这被称赞为提供了一个及时有效的学习活动与程序测试。在本文中,我们报告了一个Web平台的开发,通过程序测试的同行反馈的编程工件。我们讨论了我们的同行测试平台的开发过程中,教师和学生的通知。
2020-08-13 cs.SE
Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol
Singapore Management University Singapore;Capital Normal University Beijing China;Tianjin University Tianjin China;Wuhan University China;CSIRO's Data61 \& Australian National University Australia;Nanyang Technological University Singapore;Singapore Management University;Capital Normal University;Tianjin University;Wuhan University;CSIRO's Data61 \& Australian National University;Nanyang Technological University
本文针对 LLM 应用的非确定性与多层架构,分析传统测试与 AI 安全分析的脱节及六大挑战,提出四类协作策略、闭环质量保障框架和轻量级 AICL 智能体交互协议。
2025-08-28 cs.AI cs.SE
Software Process Improvement Based on Defect Prevention Using Capability and Testing Model Integration in Extreme Programming
软件过程改进(Software Process Improvement,SPI)在不断净化软件质量的过程中得到了广泛的关注。以前有几种敏捷方法与极限编程(XP)一起使用。在改进过程之前,缺陷预防(DP)是不可避免的。此外,DP在很大程度上取决于缺陷检测,要么在设计和实现阶段发现,要么在测试阶段。然而,测试成熟度模型集成(TMMI)在DP以及软件过程改进中具有至关重要的作用。特别是,当软件通过测试和修复缺陷得到验证时,它实现了以过程改进为目标的最大能力成熟度模型集成(CMMI)。在这里,本文提出了一种改进的缺陷检测和预防模型,以提高软件过程遵循XP的方法。此外,作为一个独特的贡献,我们已经统一了能力和测试模型集成,以确保更好的SPI。
2021-07-12 cs.SE
On Extracting Unit Tests from Interactive Programming Sessions
软件工程方法论建议开发人员应该捕获他们的努力,以确保程序在可重复和自动化的工件中正确运行,例如单元测试。然而,当从探索性测试到脚本测试的范围内观察开发人员活动时,我们发现许多工程活动都包括探索性测试的爆发。在本文中,我们建议利用这些探索性的测试突发自动提取脚本测试从这些会话的记录。为了做到这一点,我们窃听开发环境,这样我们就可以记录所有的程序输入,所有用户发出的函数调用,以及探索性测试会话的所有程序输出。然后,我们建议使用机器学习(即聚类)从这些记录中实时提取脚本测试用例。我们概述了两个早期原型,一个是静态的,一个是动态的。我们通过例子概述了这个想法如何融入编程的更大研究方向。
2012-12-08 cs.SE
TestPrism: Rethinking Test Evaluation Beyond a Single Reference
Nanjing University(南京大学);Hong Kong Polytechnic University(香港理工大学);Tencent(腾讯)
TestPrism针对LLM编码智能体测试评估的单一参考缺陷构建,提出联合成功函数指标,推出TestHelix方法提升测试评估性能。
2026-10-09 cs.SE
Benchmarking Web-testing - Selenium versus Watir and the Choice of Programming Language and Browser
Selenium被认为是最流行的软件测试自动化工具。过去的学术著作主要忽视了测试工具,而倾向于更多的方法论主题。目的:我们研究了Web测试工具的性能,为软件测试工具的选择和配置提供经验证据。方法:我们使用4*5析因设计来研究20种不同的配置来测试网络商店。我们研究了5种程序设计语言绑定(C#,Java,Python和Ruby for Selenium,而Watir仅支持Ruby)和4种浏览器(Google Chrome,Internet Explorer,Mozilla Firefox和Opera)。性能通过执行时间、内存使用、测试脚本的长度和测试的稳定性来衡量。结果:考虑到所有措施,最佳配置是Selenium与Chrome的Python语言绑定。Selenium与Python绑定是所有浏览器的最佳选择。最慢和最快配置之间差异的效应量非常高(Cohens d=41.5,执行时间增加91%)。总体而言,Internet Explorer是最快的浏览器,但在稳定性方面表现最差。结论:我们建议在采用基准测试工具之前使用它们。因素的权重,例如,为了更快的性能愿意牺牲多少测试稳定性,会影响决策。
2016-11-02 cs.SE
Automated Generation of Computer Graded Unit Testing-Based Programming Assessments for Education
代码的自动评估,特别是支持教育,是包括在几个学习管理系统(LMS)的一个重要功能,至少在某种程度上。可以设计几种类型的评估,例如要求“填充以下代码”,“编写一个函数”或“纠正以下程序中的错误”的练习。教师的一个困难是创建这样的编程练习,特别是当它们有些复杂时。事实上,教师需要编写练习陈述,思考解决方案,并提供平台评分所需的所有额外信息。另一个困难发生时,教师想使用他们的练习在另一个LMS平台。由于还没有标准的方法来定义和描述编码练习,教师必须将他们的练习重新编码到其他LMS中。本文提出了一种工具,可以自动生成编程练习,从一个单一的和唯一的描述,并可以解决在几个程序设计语言。生成的练习可以由同一平台自动评分,为用户提供智能反馈,以支持他们的学习。本文重点介绍并详细介绍了基于单元测试的练习,并提供了对该平台未来可能生成的新类型练习的见解,以及一些额外的开发。
2019-11-27 cs.SE
AI Coders Are Among Us: Rethinking Programming Language Grammar Towards Efficient Code Generation
Singapore Management University(新加坡管理大学);Monash University(莫纳什大学);Beihang University(北京航空航天大学)
本研究针对现有编程语言语法适配人类阅读却增加LLM计算负担的问题,提出面向AI的语法概念,开发了首个Python的AI导向语法SimPy,可在保持甚至提升模型性能的同时显著减少token用量。
2024-08-14 cs.AI cs.PL cs.SE
HerAgent: Rethinking the Automated Environment Deployment via Hierarchical Test Pyramid
University College London(伦敦大学学院);Uppsala University(乌普萨拉大学);Carnegie Mellon University(卡内基梅隆大学)
HerAgent通过分层测试金字塔方法,利用执行验证和修复实现自动化环境部署,显著提升环境配置成功率。
2026-02-13 cs.SE
Testing Reactive Systems Using Behavioural Programming, a Model Centric Approach
测试是软件开发的一个重要方面。随着系统变得越来越复杂,其使用对社会的安全和功能变得至关重要,对确保可靠性和尽早发现故障的测试方法的需求变得至关重要。最有前途的方法是基于模型的方法,其中开发的模型定义了系统的预期行为以及如何反应。测试是来自模型和测试结果的分析进行的基础上it.We将调查使用行为编程(BP)的基于模型的测试(MBT)的方法,我们将开发的前景。我们将开发一种用于表示需求的自然语言。这个模型将被输入我们将要开发的算法。这包括自动创建覆盖所有系统需求的最小测试用例集的算法,分析测试结果以及支持测试过程的其他工具。我们方法的重点将是发现由不同需求之间的交互导致的故障,这些故障是测试人员难以检测到的。具体来说,我们将把注意力集中在并发问题上,比如死锁和逻辑争用条件。我们将使用各种方法,使BP成为可能,如场景的非确定性执行和使用代码内模型检查来构建测试场景,并使用组合测试设计(CTD)方法来找到系统需求的测试场景的最小覆盖范围。我们将开发一个概念验证工具包,使我们能够演示和评估上述功能。我们将使用我们定义和开发的比较标准,将我们的工具的性能与手动测试人员和其他基于模型的工具的性能进行比较。
2021-12-07 cs.SE
Development Of Ontology-Based Intelligent System For Software Testing
软件测试是软件产业的重要组成部分。除了了解测试的重要性外,只有有限的时间用于教授测试。如果测试与编程基础同时教授,效率会更高。这种测试技术和编程的综合学习允许程序员以更好的方式执行,这导致了行业进步的性能的提高。本文介绍了一种本体技术,该技术首先对测试过程进行层次化定义,并定义测试过程之间的关系,以实现知识的共享和重用,然后通过自然语言处理生成元数据,最后应用本体来支持测试管理。它作为多种环境的知识库,集成了编程基础和测试概念的教学。关键词:Meta Data,Ontology,软件测试,集成,编程基础.
2013-02-21 cs.AI cs.SE
MTGP: Combining Metamorphic Testing and Genetic Programming
遗传编程是一种进化方法,以其在程序合成中的性能而闻名。然而,它还不够成熟,无法在现实世界的软件开发中实际使用,因为通常需要许多训练用例来生成推广到未见过的测试用例的程序。由于在实践中,训练案例必须由用户手工标记,因此我们需要一种方法来检查具有较少数量训练案例的程序行为。变形测试不需要标记的输入/输出示例。相反,程序被执行多次,首先是给定的(随机生成的)输入,然后是相关的输入,以检查观察到的输出之间是否存在某些用户定义的关系。在这项工作中,我们建议MTGP,它结合了变形测试和遗传编程,并研究其性能和生成的程序的通用性。此外,我们分析了泛化能力如何取决于给定的标记训练案例的数量。我们发现,在几乎所有的研究配置中,使用变形测试与标记的训练案例相结合,导致更高的泛化率比单独使用标记的训练案例。因此,我们建议研究人员在他们的系统中使用变形测试,如果标记的训练数据是昂贵的。
2023-01-20 cs.NE cs.SE
Learning Timed Automata via Genetic Programming
近年来,模型学习得到了越来越多的关注。它从黑箱系统的测试数据中导出行为模型。这种技术的主要优点是,它们能够在不访问系统内部的情况下进行基于模型的分析。应用范围从模型检验的全自动测试到系统理解。目前的工作重点是学习有限状态机的变化。然而,大多数技术考虑离散时间。在本文中,我们提出了一种学习时间自动机,有限状态机扩展与实值时钟的方法。该学习方法生成与通过测试收集的一组定时轨迹一致的模型。这一代是基于遗传编程,搜索为基础的技术自动程序创建。我们评估我们的方法对44个定时系统,包括四个系统从文献和40个随机生成的例子。
2019-02-15 cs.SE
Rethinking Scientific Modeling: Toward Physically Consistent and Simulation-Executable Programmatic Generation
Sichuan University(四川大学);Nanyang Technological University(南洋理工大学);Fuzhou University(福州大学)
针对大型语言模型在工程建模中生成代码的物理不一致问题,提出结合领域知识构建、约束对齐和验证驱动的框架,并引入CivilInstruct数据集和MBEval基准,通过两阶段微调提升模型生成的可执行性和物理一致性。
2026-06-01 cs.AI cs.SE
Rethinking Code Performance Benchmarks for LLMs
Concordia University(康科迪亚大学)
研究重新审视大语言模型代码性能基准测试,发现现有测试存在局限。提出基于LLM的多智能体框架生成性能导向测试,能更好暴露运行时差异,在原始测试无显著差异的任务中,该框架生成的测试有显著改进,优于当前最优技术。
2026-07-09 cs.SE
Experimenting a New Programming Practice with LLMs
本研究开发了AISD原型,通过接收高级用户需求并生成用例、系统设计及实现,同时保持用户在循环中提供反馈,探索将软件工程简化为仅需求工程与系统测试的新实践。
2024-01-02 cs.SE
SnapCheck: Automated Testing for Snap Programs
Snap、Scratch和Processing等编程环境通过允许学习者创建具有可视化和交互式输出的编程工件(如应用程序和游戏)来吸引学习者。在这种以媒体为中心的环境下学习编程已被证明可以提高保留率和成功率。然而,评估这些可视化的交互式项目需要时间和费力的手动工作,因此很难在学生工作时向他们提供自动或实时反馈。在本文中,我们介绍了SnapCheck,一个动态的测试框架,使教师能够作者的测试用例与条件动作模板的Snap。SnapCheck的目标是允许教师或研究人员编写基于属性的测试用例,这些测试用例可以高精度地自动评估学生的交互式程序。我们在介绍性编程课程中对来自Pong游戏作业的162个代码快照进行了SnapCheck评估,结果表明,我们的自动化测试框架在所有题目上的准确率至少达到98%,显示出使用SnapCheck进行自动评分并为学生提供形成性反馈的潜力。
2021-04-23 cs.HC cs.SE
Improving Testing Behavior by Gamifying IntelliJ
本文提出 IntelliGame,一个 IntelliJ 的游戏化插件,通过多级成就系统激励开发者改善测试行为;实验表明,受激励的开发者编写更多测试、获得更高覆盖率与变异分数,并更早完成功能。
2023-10-17 cs.SE
Random Test Generation of Application Programming Interfaces
云高质量API(应用程序编程接口)测试对于支持API经济至关重要。Autotest是一个随机测试生成器,可以满足这种需求。它读取API规范并推导出测试生成中使用的模型。本文介绍了自动测试。它还解决了API规范陷阱的主题,在阅读规范时,Autotest可能会发现这些陷阱。最佳实践是在发现并解决问题后,向回归添加适当的测试。如何在Autotest的随机测试生成的上下文中做到这一点也包括在内。
2022-11-06 cs.SE
NodeSRT: A Selective Regression Testing Tool for Node.js Application
Node.js是构建Web应用程序最流行的框架之一。随着软件系统的成熟,运行整个回归测试套件的成本可能会变得很大。选择性回归测试(SRT)是一种只执行测试子集的技术,回归测试集可以更有效地检测软件故障。以前的SRT研究主要集中在标准的桌面应用程序。Node.js应用程序被认为很难执行测试缩减,因为Node的异步、事件驱动的编程模型,而且JavaScript是一种动态规划语言。在本文中,我们介绍了NodeSRT,一个用于Node.js应用程序的选择性回归测试框架。NodeSRT通过执行静态和动态分析,识别变更方法和测试之间的关系,然后将回归测试集缩减为仅受变更影响的测试,以改善回归测试集的执行时间。为了评估我们的选择技术,我们将NodeSRT应用于两个开源项目:Uppy和Simorgh,然后将我们的方法与retest-all策略和当前行业标准的SRT技术:Jest OnlyChange进行比较。结果表明,NodeSRT根据更改正确选择受影响的测试,比Jest OnlyChange快250%,精确450%。
2021-03-31 cs.SE
Model-based Testing of Scratch Programs
学习者通常通过Scratch等专用语言进行编程,其中基于块的命令以可视化方式组装,以控制图形精灵的交互。对这些程序的自动化测试是支持调试、提供提示或评估学习结果的重要先决条件。然而,为Scratch程序编写测试可能具有挑战性:典型Scratch程序的游戏和随机性质使得很难识别用于控制程序的特定定时输入序列。此外,用于检查结果程序状态的精确测试断言与Scratch中编程的创造性自由的基本原则不兼容,其中正确的程序行为可以通过程序的图形外观或时序的偏差来实现。然而,Scratch程序的事件驱动和面向参与者的性质使它们非常适合使用有限状态机来描述程序行为。在本文中,我们介绍了一种基于模型的测试方法,通过扩展Whisker,一个自动化测试框架的Scratch程序。基于模型的扩展描述了预期的程序行为的状态机,这使得它可以检查一个程序的抽象行为独立于确切的时间和像素精确的图形细节,并自动获得测试输入测试,甚至具有挑战性的程序。演示使用Whisker进行基于模型的测试的视频可在以下URL获得:https://youtu.be/edgCNbGSGEY
2022-02-13 cs.SE
Achieving High Coverage for Floating-point Code via Unconstrained Programming (Extended Version)
实现高代码覆盖率在测试中至关重要,这使我们对代码质量充满信心。测试浮点代码通常需要在处理浮点约束方面付出艰苦的努力,例如,象征性的处决本文将测试浮点代码的挑战转化为应用无约束编程的机会--在整个搜索空间上计算函数最小点的数学解决方案。我们的核心见解是从浮点程序中导出一个表示函数,其任何最小点都是一个测试输入,保证可以运行被测试程序的一个新分支。这种保证允许我们通过反复最小化表示函数来实现浮点程序的高覆盖率。我们已经在一个名为CoverMe的工具中实现了这种方法,并在Sun的C数学库上对其进行了广泛的评估。我们的评估结果表明,CoverMe平均在6.9秒内实现了90.8%的分支覆盖率,大大优于我们比较的工具:(1)随机测试,(2)AFL,Google发布的高度优化,强大的模糊器,以及(3)Austin,一种最先进的基于覆盖率的测试工具,旨在支持浮点代码。
2017-04-11 cs.PL cs.SE
Search-based Testing for Scratch Programs
基于块的程序设计语言使年轻的学习者能够快速实现有趣的程序和游戏。Scratch编程环境在这方面特别成功,在撰写本文时,它拥有超过5000万注册用户。虽然Scratch简化了创建语法正确的程序,但学习者和教育者仍然经常需要反馈和支持。动态程序分析可以实现这种支持的自动化,但是对于Scratch程序来说,动态分析所需的测试套件通常不存在。然而,可以将Scratch的测试生成作为搜索问题。在本文中,我们介绍了一种方法,自动生成测试套件的Scratch程序使用语法进化。语法进化的使用清楚地将搜索编码与特定于框架的实现细节分开,并允许我们使用高级测试加速技术。我们实现了我们的方法作为晶须测试框架的扩展。对Scratch程序的评价表明了该方法的潜力。
2020-09-09 cs.SE
A Block-Based Testing Framework for Scratch
针对 Scratch 缺乏自动化测试阻碍教师反馈的问题,提出基于积木的测试框架及配套界面,使师生能直接在 Scratch 中创建自动化测试,实验证明该框架准确率达 0.93 且获教师认可。
2024-10-11 cs.CY cs.SE
Gamifying Testing in IntelliJ: A Replicability Study
本文通过174人对照实验复制并验证了IntelliGame插件在TypeScript环境中的效果,发现游戏化显著提升了开发者的测试参与度、生产力和代码质量。
2025-04-27 cs.SE
Towards Substructural Property-Based Testing
我们建议将基于属性的测试扩展到子结构逻辑,以克服目前缺乏推理工具的领域。我们采取的第一步,通过实现一个基于属性的测试系统的线性逻辑程序设计语言Lolli编写的规格。我们采用的基础证明证书体系结构模型的各种数据生成策略。我们验证我们的方法编码一个简单的命令式程序设计语言和编译模型,并通过突变分析测试其元理论。
2021-08-03 cs.LO cs.PL cs.SE
Rethinking the Value of Agent-Generated Tests for LLM-Based Software Engineering Agents
Singapore Management University(新加坡管理大学);Shanghai Jiao Tong University(上海交通大学)
研究探讨了LLM软件工程代理生成测试的有效性,发现测试主要作为反馈渠道,而非提升问题解决效果。
2026-11-10 cs.AI cs.SE
LLMs are All You Need? Improving Fuzz Testing for MOJO with Large Language Models
School of Electrical and Computer Engineering, University of Sydney(悉尼大学电气与计算机工程学院)
针对新兴语言MOJO缺乏测试框架和语料库导致LLM幻觉降低模糊测试效果的问题,提出首个基于LLM的自适应模糊测试框架MOJOFuzzer,通过多阶段过滤和运行时反馈迭代变异,显著提升了测试有效性及覆盖率,并发现13个未知错误。
2025-10-11 cs.AI cs.SE
Tuning Random Generators: Property-Based Testing as Probabilistic Programming
University of Washington(华盛顿大学);University of California, Los Angeles(加州大学洛杉矶分校);University of Maryland(马里兰大学);University of Pennsylvania(宾夕法尼亚大学)
针对基于属性测试中生成器手动调优繁琐、分布受限的问题,提出基于概率编程的自动离线调优技术,实现Loaded Dice系统,可有效优化生成器分布,将漏洞发现速度提升3.1-7.4倍。
2025-11-16 cs.PL cs.SE
WIP: A Unit Testing Framework for Self-Guided Personalized Online Robotics Learning
University of Nevada, Reno(内华达大学雷诺分校);University of Puerto Rico, Arecibo(波多黎各大学阿雷西博分校);East Carolina University(东卡罗来纳大学)
针对传统在线机器人编程学习反馈不足、教学资源有限的问题,本研究开发整合单元测试系统的课程工作流,提供实时反馈,支持学生自主调试学习,打造个性化交互式学习环境。
2024-05-18 cs.HC cs.RO cs.SE
Conceptual Mutation Testing for Student Programming Misconceptions
针对学生编程误解,提出一种部分自动化的概念性变异测试流程,通过聚类失败测试生成概念性变异体,有效识别误解并提升学习效果。
2023-12-28 cs.PL cs.SE
Testing CPS with Design Assumptions-Based Metamorphic Relations and Genetic Programming
本文提出基于控制理论设计假设定义蜕变关系(MRs),并利用遗传编程探索MRs组合以生成CPS测试用例,通过预期输出轨迹偏差指导输入轨迹生成,有效解决预言机问题并帮助工程师识别测试用例。
2025-04-30 cs.SE cs.SY eess.SY
Synthesis of Parametric Programs using Genetic Programming and Model Checking
Bar Ilan University(巴伊兰大学)
形式化方法应用基于数学原理的算法来增强系统的可靠性。尝试从验证、模型检验或根据系统的正式规范测试系统到自动构建系统,这是很自然的。经典的算法综合理论提供了有趣的算法,但也令人震惊的高复杂性和不可判定性的结果。结合模型检验和测试,遗传编程的使用提供了一个强大的启发式综合程序。该方法不是完全自动的,因为它由设置规格和参数的用户进行微调。它也不能保证总是成功并收敛到满足所有所需属性的解决方案。然而,我们成功地将其应用于相当重要的示例,并设法找到解决方案,以应对困难的编程挑战,以及改进和纠正代码。我们在这里描述了几个版本的我们的方法合成顺序和并发系统。
2014-02-27 cs.AI cs.NE cs.SE
XPath Agent: An Efficient XPath Programming Agent Based on LLM for Web Crawler
Stanford University(斯坦福大学)
本研究提出专为网页爬虫和Web GUI测试设计的XPath Agent智能体,可基于单条自然语言查询从采样网页自动生成XPath查询,两阶段流水线设计可无缝集成现有工作流,在性能相当的情况下显著降低token用量、提升效率,且已开源。
2024-12-17 cs.AI cs.IR cs.SE
Mutation-based Consistency Testing for Evaluating the Code Understanding Capability of LLMs
University of Sheffield(谢菲尔德大学)
本文提出基于变异的语义一致性测试方法MCT,通过向HumanEval-X数据集引入运算符替换和语句删除等代码变异来评估GPT-3.5和GPT-4的代码理解能力,发现不同模型在不同变异类型和编程语言上表现差异显著。
2024-01-11 cs.AI cs.SE
Testing Global Constraints
UCLouvain(鲁汶天主教大学)
每个约束编程(CP)求解器都暴露了一个用于解决组合问题的约束库。为了有用,CP求解器需要没有bug。因此,求解器的测试对于使开发人员和用户有信心至关重要。我们提出了一个Java库,允许任何基于JVM的求解器来测试各个约束的实现是正确的。该库可以用于在持续集成工具中执行的测试套件中,也可以用于发现违反某些属性(弧一致性等)的最低限度实例,以帮助开发人员使用标准调试器识别问题的根源。
2018-07-11 cs.AI cs.SE
Towards Informed Design and Validation Assistance in Computer Games Using Imitation Learning
SEED - Electronic Arts (EA)(SEED——美国艺电(EA));Università degli Studi di Firenze(佛罗伦萨大学)
在游戏和其他许多领域,设计验证和测试是一个巨大的挑战,因为系统的规模越来越大,手动测试变得不可行。本文提出了一种新的方法来自动游戏验证和测试。我们的方法利用了数据驱动的模仿学习技术,这需要很少的精力和时间,不需要机器学习或编程的知识,设计师可以用来有效地训练游戏测试代理。我们通过与行业专家的用户研究来调查我们方法的有效性。调查结果表明,我们的方法确实是一种有效的游戏验证方法,数据驱动编程将有助于减少工作量和提高现代游戏测试的质量。调查还强调了几个公开的挑战。在最新文献的帮助下,我们分析了所确定的挑战,并提出了适合支持和最大限度地利用我们的方法的未来研究方向。
2022-08-19 cs.AI cs.LG cs.SE