Improving Function Coverage with Munch: A Hybrid Fuzzing and Directed Symbolic Execution Approach
模糊和符号执行是用于发现漏洞和生成程序测试用例的流行技术。Fuzzing是一种改变种子输入值的黑盒方法,通常无法生成执行程序中所有路径的不同输入。由于路径爆炸问题和对SMT求解器的依赖,符号执行也可能无法实现高路径覆盖。涉及模糊和符号执行的混合技术可以比单独的模糊或符号执行实现更好的函数覆盖。在本文中,我们提出了蒙克,一个开源框架实现两种混合技术的基础上模糊和符号执行。我们的经验表明,使用九个大型的开源源程序,总体而言,蒙克实现更高的(深入)功能覆盖率比符号执行或模糊。使用指标的基础上,总分析时间和数量的查询发出的SMT求解器,我们还表明,蒙克是更有效地实现更好的功能覆盖。
2017-12-12 cs.SE
Predicting Performance of Symbolic and Prompt Programs with Examples
Nanayang Technological University, Singapore(南洋理工大学,新加坡);Massachusetts Institute of Technology, USA(麻省理工学院,美国);Cornell University, USA(康奈尔大学,美国)
本文研究了通过示例预测程序性能的问题,提出了一种基于简单硬币翻转模型的方法,利用观察到的执行结果和性能先验知识来预测程序性能,并开发了RAP方法来构建代理先验以提高预测效果。
2026-05-15 cs.AI cs.LG
Tracing Execution of Software for Design Coverage
测试套件旨在根据需求验证系统的操作。测试套件设计的一个重要方面是确保系统操作逻辑被完全测试。测试套件应该驱动系统通过所有抽象状态,以执行其操作的所有可能情况。这是一项艰巨的任务。代码覆盖工具通过提供有关在系统执行期间覆盖了源代码的哪些部分的信息来支持测试套件设计者。不幸的是,代码覆盖工具只产生源代码覆盖信息。对于测试工程师来说,理解源代码中未覆盖的部分的作用以及它们与需求的关系通常是很困难的。我们提出了一个通用的方法,提供了设计覆盖的执行软件简化新的测试套件的开发。我们展示了我们的方法,如状态图,活动图,消息序列图和结构图的共同设计抽象。我们使用第三眼跟踪和跟踪分析框架来实现设计覆盖。通过使用设计覆盖率,测试套件可以通过关注未测试的设计元素来更快地创建。
2001-09-14 cs.SE
TEP-GNN: Accurate Execution Time Prediction of Functional Tests using Graph Neural Networks
Chalmers University of Technology(查尔姆斯理工大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);University of Gothenburg(哥德堡大学)
在实际执行或基准测试之前预测生产代码的性能是非常具有挑战性的。在本文中,我们提出了一个预测模型,被称为TEP-GNN,这表明,高精度的性能预测是可能的预测单元测试执行时间的特殊情况。TEP-GNN使用FA-AST或流增强AST作为基于图的代码表示方法,并使用强大的图神经网络(GNN)深度学习模型预测测试执行时间。我们评估TEP-GNN使用四个现实生活中的Java开放源程序,基于922个测试文件挖掘项目的公共存储库。我们发现,我们的方法实现了0.789的高Pearson相关性,大大优于基线深度学习模型。然而,我们也发现,需要更多的工作来训练模型,以推广到看不见的项目。我们的工作表明,FA-AST和GNN是预测绝对性能值的可行方法,并且是在执行之前能够预测任意代码性能的重要中间步骤。
2022-08-25 cs.AI cs.SE
Test2Vec: An Execution Trace Embedding for Test Case Prioritization
University of Calgary(卡尔加里大学);Chalmers University of Technology(查尔姆斯理工大学)
大多数自动化的软件测试任务都可以从测试用例的抽象表示中受益。传统上,这是通过基于代码覆盖率编码测试用例来完成的。规范级标准可以代替代码覆盖率来更好地表示测试用例的行为,但它们通常不具有成本效益。在本文中,我们假设测试用例的执行轨迹可以是抽象自动化测试任务行为的一个很好的替代方案。我们提出了一种新的嵌入方法,Test2Vec,将测试执行痕迹映射到潜在空间。我们在测试用例优先级(TP)任务中评估这种表示。我们默认的TP方法是基于嵌入向量与历史失败测试向量的相似性。我们还研究了基于测试向量的多样性的替代方案。最后,我们提出了一种方法来决定选择TP,对于一个给定的测试套件。该实验是基于几个真实的和种子故障超过一百万的执行跟踪。结果表明,我们提出的TP提高了41.80%的第一个失败的测试用例(FFR)的中位数归一化排名的最佳选择。在中位APFD和中位归一化FFR方面,它比传统的基于代码覆盖率的方法高出25.05%和59.25%。
2022-06-28 cs.AI cs.SE
Agentic Planning for Symbolic Execution
Carnegie Mellon University(卡内基梅隆大学)
该研究提出智能体规划系统Agolic,利用早期符号执行运行的证据配置后续有界符号执行,在C/C++程序上平均覆盖3倍以上分支,覆盖更多分支及对比语料库未覆盖的分支,扩展了符号执行的实际覆盖范围。
2026-08-10 cs.AI cs.PL cs.SE
Enhancing Dynamic Symbolic Execution by Automatically Learning Search Heuristics
我们提出了一种技术,自动生成搜索引擎的动态符号执行。动态符号执行中的一个关键挑战是如何有效地探索程序的执行路径,以在有限的时间预算内实现高代码覆盖率。动态符号执行采用搜索启发式来解决这一挑战,这有利于探索最有可能最大化最终覆盖率的特定类型的路径。然而,手动设计一个好的搜索启发式是不平凡的,通常以次优和不稳定的结果结束。本文的目标是通过自动学习搜索策略来克服动态符号执行的这一缺点。我们定义了一类搜索启发式,即一个参数搜索启发式,并提出了一个算法,有效地找到一个最佳的启发式每个主题程序。使用工业强度符号执行工具(例如,KLEE)表明,我们的技术可以成功地生成搜索引擎,显着优于现有的手工制作的搜索引擎在分支覆盖率和错误发现方面。
2019-07-23 cs.SE
Static Metrics Are Insufficient: Predicting Java Method Energy Usage with Execution Time
University of L’Aquila(拉奎拉大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
研究Java中方法级能源预测局限,通过对2786个Java方法提取静态特征、测量执行时间和能耗,训练比较11个回归模型,发现仅静态指标预测差,加入执行时间可显著提高准确性,执行时间等是能耗的强预测因素。
2026-07-08 cs.AI cs.LG cs.SE
GreyConE: Greybox fuzzing+Concolic execution guided test generation for high level design
由于复杂的分支条件、循环结构和硬件设计固有的并发性,对高级设计进行详尽的测试是一个艰巨的挑战。测试工程师的目标是生成满足各种代码覆盖率指标的高质量测试用例,以确保设计中出现的错误最少。在测试SystemC设计之前的工作是时间效率低下的,这阻碍了在较短的时间跨度内实现所需的覆盖。我们交错灰盒模糊和concolic执行系统的方式,并生成质量测试用例加速测试覆盖率指标。我们的结果优于国家的最先进的方法在测试用例的数量和分支覆盖的一些基准,和运行时间为他们中的大多数。
2022-07-13 cs.CR cs.SE
Compositional Fuzzing Aided by Targeted Symbolic Execution
近年来,由于其快速的路径覆盖引导的输入变异策略,引导模糊已经能够发现现实世界中的软件中的许多新的漏洞。然而,大多数模糊器无法在程序的更深部分实现高覆盖率。此外,模糊器严重依赖于种子输入的多样性,通常是手动提供的,以便能够产生有意义的结果。在本文中,我们提出了野火,一种新的开源组合模糊框架。Wildfire通过模糊化C程序中的孤立函数来发现漏洞,然后使用有针对性的符号执行来确定利用这些漏洞的可行性。基于我们对23个开源源程序(近100万个)的评估,我们表明,由于覆盖率的增加,Wildfire比基线符号执行和模糊工具以及最先进的覆盖率引导工具发现了更多的真阳性结果,而这些工具所花费的分析时间只有10%。此外,Wildfire还发现了许多其他潜在的漏洞,这些漏洞的可行性可以通过组合来确定,以确认它们是否是误报。Wildfire还可以复制所有已知的漏洞,并在三个开源库中发现了几个以前未知的漏洞。
2019-10-11 cs.SE
TestWeaver: Execution-aware, Feedback-driven Regression Testing Generation with Large Language Models
FPT Software AI Center(FPT软件人工智能中心);VinUniversity(越南-新加坡大学);Nanyang Tech. University(南洋理工大学);Univ. of Texas at Dallas(德克萨斯大学达拉斯分校)
TestWeaver通过整合轻量级程序分析和针对性执行上下文,提升LLM在回归测试生成中的覆盖率和效率。
2026-01-27 cs.SE
Mathematical Execution: A Unified Approach for Testing Numerical Code
本文介绍了数学执行(ME),一个新的,统一的方法来测试数字代码。其核心思想是:(1)通过一个表示函数来捕获期望的测试目标;(2)将自动化测试问题转化为表示函数的最小化问题。最小化问题将通过数学优化来解决。ME的主要特征是它仅通过执行表示函数来指导输入空间探索,从而避免了对程序语义的静态或符号推理,这对于数字代码来说特别具有挑战性。为了说明这一特点,我们开发了一个基于ME的算法覆盖率为基础的测试的数字代码。我们还展示了应用和适应ME到其他相关问题的潜力,包括路径可达性测试,边界值分析和可满足性检查。为了证明ME的实际好处,我们实现了CoverMe,这是一个基于分支覆盖率测试的概念验证实现,并在Sun的C数学库(用于例如Android,Matlab,Java和JavaScript)上对其进行了评估。我们比较了CoverMe与随机测试和Austin,一个公开的基于分支覆盖的测试工具,支持数字代码(Austin结合了符号执行和基于搜索的自动化)。我们的实验结果表明,CoverMe实现了接近最佳的覆盖率,大大高于随机测试的所有测试程序,在所有评估的覆盖率指标。与Austin相比,CoverMe将分支覆盖率从43%提高到91%,所需时间明显缩短(平均6.9秒对6058.4秒)。
2016-10-04 cs.PL cs.SE
Automatic Generation of High-Coverage Tests for RTL Designs using Software Techniques and Tools
寄存器传输级(RTL)设计验证是硬件设计过程中的一个关键阶段。我们提出了一种使用可用软件技术和工具增强RTL设计验证的新方法。我们的方法将RTL设计的源代码转换为C++软件程序。然后利用一个强大的符号执行引擎对转换后的C++程序进行符号执行,生成测试用例。为了更好地生成有效的测试用例,我们限制了循环的数量来指导符号执行。此外,我们还在符号执行引擎中加入了位级符号变量的支持。生成的测试用例通过模拟RTL设计进行进一步评估,以获得准确的覆盖率。我们已经评估了一个浮点单元(FPU)设计的方法。初步结果表明,我们的方法可以提供高质量的测试,以实现高覆盖率。
2016-02-19 cs.AR cs.SE
The Rise of Agentic Testing: Multi-Agent Systems for Robust Software Quality Assurance
MUFG Bank(三菱日联银行);Cisco Systems Inc(思科系统公司);University of North Carolina(北卡罗来纳大学)
本文提出多代理系统用于提升软件测试质量,通过闭环反馈机制实现自适应测试生成和优化,显著提高测试覆盖率并减少无效测试。
2026-01-05 cs.AI cs.SE
Cerberus: Multi-Agent Reasoning and Coverage-Guided Exploration for Static Detection of Runtime Errors
University of Texas at Dallas(德克萨斯大学达拉斯分校)
Cerberus通过多智能体推理和覆盖引导探索,实现无执行的运行时错误静态检测,提高测试效率和错误发现能力。
2025-12-24 cs.LG cs.SE
Reviewing KLEE's Sonar-Search Strategy in Context of Greybox Fuzzing
符号执行和模糊测试的自动测试用例生成技术是学术界和工业界最广泛使用的发现漏洞的方法。然而,这两种方法都存在基本的缺点,这些缺点阻止它们实现高路径覆盖,因此,这可能导致在静态分析的数值尺度上发现漏洞。在这个演示文稿中,我们检查系统测试(SUTs)在功能的粒度级别,并假设实现更高的功能覆盖率(在程序中的功能执行至少一次)比,符号执行和模糊可能是发现更多的漏洞比这两个必要条件。我们将从KLEE的目标搜索策略的设计开始,声纳搜索,优先考虑通往目标功能的路径,而不是最大化程序中的整体路径覆盖。然后,我们将展示在函数级别(组合分析)检查SUT会发现比从单个入口点执行符号更多的漏洞。利用这一发现,我们将,然后,演示一个灰盒模糊方法,可以实现更高的功能覆盖率比符号执行。最后,我们将提出一个框架,以有效地管理漏洞和评估其严重性。
2018-03-13 cs.SE
Directed Symbolic Execution for Vulnerability Discovery: An LLM-Guided Approach in KLEE
Kyushu University(九州大学)
研究针对符号执行的路径爆炸问题,提出基于KLEE的KLEECopilot方法,用大语言模型引导定向符号执行,标记潜在漏洞代码、指导路径优先级并集成循环退出优先级,相比基线提升显著,各组件对有效性有贡献。
2026-07-27 cs.SE
Symetra: Visual Analytics for the Parameter Tuning Process of Symbolic Execution Engines
Sungkyunkwan University(成均馆大学)
Symetra通过可视化分析支持人类参与的符号执行引擎参数调优,帮助用户理解参数影响,提升分支覆盖和调优效率。
2026-04-07 cs.HC cs.SE
Dynamic Code Coverage with Progressive Detail Levels
如今,定位软件组件负责观察到的故障是软件开发过程中最昂贵和最容易出错的任务之一。为了提高调试过程的效率,已经做出了一些努力来自动辅助检测和定位软件故障。这导致了统计调试工具的创建,如Tarantula,Zoltar和GZoltar。这些工具使用从代码覆盖率数据中收集的信息和测试执行的结果来返回潜在错误位置的列表。虽然有帮助,但故障定位工具有一些缩放问题,因为它们需要细粒度的覆盖数据来执行故障定位分析。在某些情况下可能高达50%的仪器开销是其效率低下的主要原因。本文提出了一种新的方法来解决这个问题,尽可能避免高层次的覆盖细节,同时仍然使用这些故障定位工具采用的成熟技术。这种方法称为DCC,包括使用较粗的初始检测,仅获得大组件的覆盖跟踪。然后,基于由当前故障定位工具中采用的相同技术提供的中间结果,逐步增加某些部件的仪表细节。为了评估我们所提出的方法的有效性,进行了实证评估,在四个现实世界的软件项目中注入故障。实证评估表明,DCC方法减少了执行开销,存在于基于频谱的故障定位,甚至提出了一个更简洁的潜在故障排名给用户。我们观察到执行时间平均减少27%,诊断报告大小平均减少63%。
2013-06-19 cs.SE
Simple Fault Localization using Execution Traces
本文利用编程竞赛短程序的数千条执行轨迹,结合机器学习及运行时、控制流和词法特征,提出了改进传统基于谱的错误定位(SBFL)的简单方法与上下文信息集成技巧,无需GPU或高级程序分析即在多个数据集上优于Ochiai等现有公式。
2025-03-06 cs.SE
CodeFlow: Program Behavior Prediction with Dynamic Dependencies Learning
CodeFlow 通过结合控制流图的静态嵌入与执行轨迹的动态依赖学习,显著提升代码覆盖率预测和运行时错误定位性能,优于现有最先进模型。
2025-02-09 cs.SE
MPISE: Symbolic Execution of MPI Programs
消息传递接口(MPI)在并行计算中起着重要的作用。许多并行应用程序都是以MPI程序的形式实现的。现有的MPI程序缺陷检测方法在提供输入和非确定性覆盖方面存在不足,导致缺陷漏诊。在本文中,我们采用符号执行,以确保输入的覆盖率,并提出了一个飞行调度算法,以减少交错探索的非确定性覆盖,同时确保健全性和完整性。我们已经实现了我们的方法作为一个工具,称为MPISE,它可以自动检测MPI程序中的死锁和运行时错误。在基准程序和真实MPI程序上的实验结果表明,MPISE能够有效地发现程序中的错误。此外,我们的工具还提供了诊断信息和重放机制,以帮助理解错误。
2014-09-15 cs.DC cs.PL cs.SE
Towards Symbolic Pointers Reasoning in Dynamic Symbolic Execution
动态符号执行是一种广泛用于自动化软件测试的技术,旨在探索执行路径和检测程序错误。一个混合的方法最近变得普遍,当符号执行的主要目标是帮助模糊增加程序的覆盖率。符号执行器可以反转的分支越多,它对模糊器就越有用。程序控制流通常依赖于内存值,这些内存值是通过从用户输入计算地址索引而获得的。然而,大多数DSE工具不支持这种依赖关系,因此它们会错过一些所需的程序分支。我们实现了符号地址推理的内存读取在我们的动态符号执行工具Sydr。可能的存储器访问区域是通过分析存储器地址符号表达式,或二进制搜索与SMT求解器确定。我们提出了一种增强的线性化技术来模拟内存访问。在程序集上比较了不同的内存建模方法。我们的评估表明,符号地址处理允许发现新的符号分支,并增加程序覆盖率。
2022-03-22 cs.CR cs.SE
DBcover: A White-box SQL Test Generation Framework for Coverage Improvement
Renmin University of China(中国人民大学);China Electronics Technology Kingbase (Beijing) Technologies Inc.(中国电子科技集团公司Kingbase(北京)科技有限公司)
针对RDBMS测试覆盖率提升难题,提出LLM驱动的白盒SQL测试生成框架DBcover,经实验在PostgreSQL、MySQL及KingbaseES上均实现有效覆盖率提升。
2026-08-27 cs.DB cs.SE
Optimizing Metamorphic Testing: Prioritizing Relations Through Execution Profile Dissimilarity
针对机器学习程序判定器缺失及现有蜕变关系优先排序成本高或不准确的问题,提出一种基于语句中心性并利用执行剖面多样性的MR优先排序方法,显著提升了故障检测有效性与测试效率。
2024-11-14 cs.SE
Investigating Execution-Aware Language Models for Code Optimization
University of L’Aquila(拉奎拉大学);Software Institute - Università della Svizzera Italiana(软件研究所 - 瑞士意大利语大学)
本文研究了将代码执行信息整合到语言模型中对代码优化能力的影响,通过三种训练策略测试了四种执行方面对CodeT5+模型的优化效果,发现执行感知模型在代码优化上收益有限。
2025-03-11 cs.AI cs.CL cs.PF
Concolic Testing for Deep Neural Networks
University of Oxford(牛津大学);University of Liverpool(利物浦大学)
Concolic测试结合了程序执行和符号分析来探索软件程序的执行路径。本文提出了第一种用于深度神经网络(DNN)的concolic测试方法。更具体地说,我们正式的覆盖标准DNN已在文献中研究,然后开发一个连贯的方法进行concolic测试,以增加测试覆盖率。我们的实验结果表明,concolic测试方法在实现高覆盖率和发现对抗性示例方面的有效性。
2018-08-04 cs.LG cs.SE stat.ML
Badger: Complexity Analysis with Fuzzing and Symbolic Execution
涉及模糊测试和符号执行的混合测试方法在实现高代码覆盖率、发现各种软件应用程序中的细微错误和漏洞方面显示出有希望的结果。在本文中,我们描述獾-一种新的混合方法的复杂性分析,发现漏洞时发生的最坏情况下的时间或空间复杂度的应用程序是显着高于平均情况的目标。Badger使用模糊测试来生成一组不同的输入,其目的不仅是增加覆盖率,而且还与每个路径相关联的资源相关的成本。由于模糊可能无法执行深程序路径,由于其有限的知识的条件,影响这些路径,我们补充了分析与符号执行,这也是定制的搜索路径,增加资源相关的成本。符号执行特别擅长生成满足各种程序条件的输入,但它本身会遭受路径爆炸。因此,獾使用模糊和象征性执行串联,以利用他们的好处,克服他们的弱点。我们实现了我们的方法分析的Java程序,基于Kelinci和Symbolic Pathwords。我们在Java应用程序上评估了Badger,结果表明,与模糊或符号执行相比,我们的方法在生成最坏情况的执行方面要快得多。
2018-06-08 cs.SE
Hybrid Concolic Testing with Large Language Models for Guided Path Exploration
Quandary Peak Research(夸德里峰研究)
本文提出一种结合大语言模型与协同执行的混合测试方法,通过引导路径探索提升程序状态空间探索效率和缺陷检测能力。
2026-01-18 cs.SE
Phaedrus: Predicting Dynamic Application Behavior with Lightweight Generative Models and LLMs
Georgia Institute of Technology(佐治亚理工学院)
Phaedrus通过轻量级生成模型和大语言模型预测动态应用程序行为,实现无需执行的高效编译器优化。
2026-01-08 cs.PL cs.SE
Sustainability Analysis of Prompt Strategies for SLM-based Automated Test Generation
University Of Calgary(卡尔加里大学)
本文研究了基于小语言模型的自动化测试生成中提示策略对计算和环境可持续性的影响,通过实验评估七种策略,发现策略选择对可持续性指标有显著影响,简单策略更环保。
2026-04-03 cs.SE
AgentExecutor: Partial Code Execution via Agentic Context Generation
Singapore Management University(新加坡管理大学);Zhejiang University(浙江大学);York University(约克大学)
本文提出多智能体框架AgentExecutor,通过三阶段设计和自适应优化策略提升部分代码执行效果,在两个数据集上的覆盖度、执行时间和成本均优于现有最优方法Treefix。
2026-08-07 cs.SE
Manticore: A User-Friendly Symbolic Execution Framework for Binaries and Smart Contracts
在软件测试中最大化代码覆盖率的一种有效方法是通过动态符号执行$-$,这是一种使用约束求解来系统地探索程序状态空间的技术。我们介绍了一个名为Manticore的开源动态符号执行框架,用于分析二进制文件和以太坊智能合约。Manticore灵活的架构使其能够支持传统和异国情调的执行环境,其API允许用户自定义他们的分析。在这里,我们将讨论Manticore的架构,并展示我们用于为商业客户查找错误和验证代码正确性的功能。
2019-11-18 cs.CR cs.SE
Large Language Model assisted Hybrid Fuzzing
本文提出一种基于大型语言模型(LLM)的混合模糊测试器 HyLLfuzz,利用 LLM 作为求解器替代传统符号执行来生成修改输入以突破覆盖率障碍,相比 AFL、Intriguer 和 Qsym 展现出更优的覆盖率且执行速度提升 4-19 倍。
2024-12-20 cs.CR cs.SE
Predicting Scheduling Failures in the Cloud
云计算已经成为通过互联网交付和管理计算、平台和软件服务的关键技术。任务调度算法的目标是减少任务的周转时间,提高资源利用率,因此对云计算服务的效率起着重要的作用。在文献中已经提出了用于云计算系统的若干任务调度算法,大多数依赖于任务的计算复杂性和资源的分布。然而,由于云环境中不可预见的变化,按照这些算法调度的几个任务仍然失败。在本文中,使用任务执行和资源利用率数据提取的执行痕迹,在现实世界中的应用程序在谷歌,我们探讨了预测调度结果的任务使用统计模型的可能性。如果我们能够成功地预测任务失败,我们就可以通过更早地重新调度失败的任务来减少作业的执行时间(即,在其实际失效时间之前)。我们的研究结果表明,统计模型可以预测任务失败的准确率高达97.4%,召回率高达96.2%。我们使用工具包GSPSSIM模拟了这种预测的潜在好处,发现它们可以将完成任务的数量提高高达40%。我们还使用Amazon Elastic MapReduce(EMR)的Hadoop框架和乳腺癌研究中的基因表达相关性分析研究的工作进行了案例研究。我们发现,当使用我们的预测模型扩展Hadoop的调度器时,失败作业的百分比可以减少高达45%,开销不到5分钟。
2015-07-13 cs.DC cs.SE
UCov: a User-Defined Coverage Criterion for Test Case Intent Verification
回归测试的目标是确保现有代码的行为不会被新的程序更改所改变。回归测试的主要焦点应该是与以下相关的代码:a)早期的bug修复; b)测试人员认为重要的特定应用程序场景。现有的覆盖标准无法实现这种重点,例如,100%的分支覆盖率并不能保证给定的bug修复得到执行,或者给定的应用程序场景得到测试。因此,需要一个补充的覆盖标准,其中用户可以定义一个测试要求,表征一个给定的行为被覆盖,而不是从一个池中选择预定义的和通用的程序元素。我们提出了UCov,一个用户定义的覆盖标准,其中的测试要求是一个执行模式的程序元素和谓词。我们提出的标准并不是要取代现有的标准,而是要补充它们,因为它将测试集中在重要的代码模式上,否则可能无法测试。UCov支持测试用例意图验证。例如,在bug修复之后,测试团队可能会用揭示bug的测试用例来增强回归套件。但是,由于与错误无关的代码修改,此测试用例可能会过时。但是,如果用户定义了表征错误的执行模式,UCov将确定测试用例意图验证失败。我们实现了我们的方法的Java平台,并将其应用到两个现实生活中的案例研究。我们的实现包括以下内容:1)一个Eclipse插件,允许用户轻松指定非平凡的测试需求; 2)交叉引用测试需求的能力,跨给定程序的后续版本;以及3)检查用户定义的测试需求是否得到满足的能力,即,测试用例意图验证。
2014-07-11 cs.SE
Evaluating data-flow coverage in spectrum-based fault localization
背景:软件开发是软件开发周期中的一项关键任务。基于频谱的故障定位(SFL)是一种很有前途的技术,以提高和自动化调试。SFL技术使用控制流谱来查明最可疑的程序元素。然而,数据流谱提供了关于程序执行的更详细的信息,这可能对故障定位有用。目的:我们使用数据流谱评估10个SFL排名指标的有效性和效率。方法:我们比较的性能的数据和控制流频谱SFL使用163故障从5个真实世界的开放源程序,其中包含从468到4130测试用例。在我们的评估中使用的数据流和控制流谱类型分别是定义使用关联(DUA)和线。结果:使用数据流频谱,高达50%以上的故障被排在前15名的位置相比,控制流频谱。此外,大多数SFL排名指标使用数据流来检查前40个位置,从而呈现出更好的有效性。数据流频谱的执行成本高于控制流,从22秒到不到9分钟。数据流对所有程序的平均开销为353%,而控制流的平均开销为102%。结论:结果表明,SFL技术可以受益于使用数据流频谱分类故障在更好的位置,这可能会导致开发人员检查更少的代码来发现错误。与控制流相比,收集数据流的执行成本更高,但这并不是禁止的。此外,数据流谱还提供了可疑变量的信息,用于故障定位,这可以提高开发人员使用SFL的性能。
2019-06-27 cs.SE
Genetic Micro-Programs for Automated Software Testing with Large Path Coverage
University of Pretoria(比勒陀利亚大学)
计算智能(CI)的不断发展导致人们越来越希望应用CI技术来改进软件工程过程,特别是软件测试。现有的最先进的自动化软件测试技术集中于利用搜索算法来发现实现高执行路径覆盖的输入值。这些算法是在他们打算测试的相同代码上训练的,需要仪器和漫长的搜索时间来测试每个软件组件。本文概述了一种新的遗传编程框架,进化的解决方案是不是输入值,但微程序,可以重复生成输入值,有效地探索一个软件组件的输入参数域。我们还认为,我们的方法可以推广,如适用于许多不同的软件系统,并因此不具体到仅仅是特定的软件组件上,它是训练。
2023-02-14 cs.AI cs.NE cs.SE
RESTCov: A Tool for Structural Coverage Analysis of REST APIs
University of Antwerp(安特卫普大学)
本文提出轻量级工具RESTCov,可基于OpenAPI规范和HTTP请求/响应日志计算REST API结构覆盖率,生成可读报告,用于检查覆盖率缺口、诊断不匹配问题及评估测试套件。
2026-08-31 cs.SE
VisualCoder: Guiding Large Language Models in Code Execution with Fine-grained Multimodal Chain-of-Thought Reasoning
VisualCoder 通过将多模态思维链推理与可视化控制流图对齐,并引入引用机制保证代码与执行路径一致,从而提升大语言模型在程序行为预测、错误检测和输出生成上的表现。
2025-02-09 cs.SE
Predicting Struggling Students in CS1 Programming Using Keystroke-Level Editing Features
Graduate School of Science and Technology Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Faculty of Systems Engineering Wakayama University(和歌山大学系统工程系)
该研究利用CodeBench平台的按键级编辑特征,在练习早期预测CS1编程中完全停滞的学生,发现组合特征的预测效果最优,初期信号最强。
2026-08-27 cs.SE
What if Process Predictions are not followed by Good Recommendations? (Technical Report)
过程感知推荐系统(PAR系统)是一种信息系统,旨在监控过程执行,预测其结果,并建议有效的干预措施,以减少失败的风险。本文讨论了监测,预测,并建议使用PAR系统在荷兰的金融机构,以避免错误的执行。虽然预测是基于对历史数据的分析,但最合适的干预是根据人的判断和主观意见选择的。结果表明,虽然风险案例的预测相对准确,但错误执行的数量没有减少。我们认为,这是由于干预措施选择不当造成的。虽然有大量的研究是根据历史数据中记录的事实进行监测和预测,但对基于事实的干预措施的研究相对有限。本文报告了从金融案例研究中吸取的经验教训,并提出了一种新的方法来提高PAR系统的性能。这一方法主张所有有关行为者之间必须进行若干周期的互动,以便根据事实和历史数据的见解,制定纳入其反馈意见的干预措施。
2019-07-15 cs.SE
Enhancing NeuroEvolution-Based Game Testing: A Branch Coverage Approach for Scratch Programs
本文针对Scratch游戏测试提出基于分支覆盖的适应度函数扩展NEATEST框架,引导神经进化最大化分支探索,实验表明其比语句覆盖方法具有更高的分支覆盖率和更低的故障误报率。
2025-07-12 cs.SE
Assessing Behavioral Validation in UI Component Test Suites Using Inferred Metamorphic Relations
University of Luxembourg(卢森堡大学);Kyungpook National University(庆北国立大学)
该研究提出基于推断变形关系(MR)的框架,可补充执行类指标,用于评估UI组件测试套件的行为验证,发现现有测试存在行为缺口,且MR覆盖率具备实际应用价值。
2026-08-05 cs.SE
Automated Instruction Stream Throughput Prediction for Intel and AMD Microarchitectures
准确预测指令流的调度和执行是预测乱序处理器架构上吞吐量受限循环内核的核内性能行为的必要前提。这种预测是分析性能模型(如Roofline和Execution-Cache-Memory(ECM)模型)不可或缺的组成部分,并允许深入了解硬件架构和循环代码之间与性能相关的交互。我们提出了开源架构代码分析器(OSACA),一个静态分析工具,用于预测的执行时间的顺序循环,包括x86指令的假设下,一个无限的一级缓存和完美的无序调度。我们展示了从可用文档和半自动基准测试构建机器模型的过程,并针对最新的Intel Skylake和AMD Zen微架构进行了测试。为了验证构建的模型,我们将它们应用于几个汇编内核,并将运行时预测与实际测量进行比较。最后,我们给出了一个展望,该方法可以推广到新的架构。
2018-10-10 cs.PF cs.SE
Indexing Operators to Extend the Reach of Symbolic Execution
传统的程序分析分析一种程序语言,即所有可以用该语言编写的程序。然而,在所有可能编写的程序和用一种语言编写的实际程序的语料库之间存在差异。我们试图利用这种差异:对于一个给定的程序,我们应用一个定制的程序转换Indexify转换表达式,目前SMT求解器不,一般来说,处理,如字符串上的约束,到equisatisfiable表达式,他们处理。为此,Indexify将难以处理的表达式中的运算符替换为在原始运算符域的有限子集上表现相同的同态版本,并返回表示该子集之外的未知数的底部。通过关注什么文字和表达式对分析给定程序最有用,Indexify构建了一个小的有限理论,扩展了求解器对目标程序构建的表达式的能力。Indexify的定制性质必然意味着其评估必须是实验性的,依赖于其在实践中的有效性。我们开发了Indexif},一个用于Indexify的工具。我们通过将其应用于两个真实世界的基准测试-coreutils中的字符串表达式和fdlibm 53中的浮点数来证明其实用性和有效性。Indexify将coreutils的完成时间从Klee的平均49.5米缩短到6.0米。它增加了coreutils上的分支覆盖率从Klee的30.10%和Zesti的14.79%增加到66.83%。当在fdlibm 53中索引浮动时,Indexifyl将分支覆盖率从Klee的34.45%增加到71.56%。对于一个受限的输…
2018-06-26 cs.SE
Efficient Incremental Code Coverage Analysis for Regression Test Suites
针对全量代码覆盖率重复计算开销大且 RTS 与覆盖率分析不兼容的问题,提出基于最小测试子集的增量分析技术,并实现 iJaCoCo,在 22 个开源仓库上显著加速。
2024-10-29 cs.SE
Enhancing Symbolic Execution of Heap-based Programs with Separation Logic for Test Input Generation
符号执行是测试输入生成的一种成熟方法。尽管在数值域上取得了巨大的成功,现有的基于堆的程序的符号执行技术是有限的,由于缺乏一个简洁和精确的描述符号值在无界堆。在这项工作中,我们提出了一个新的符号执行方法的堆为基础的程序的基础上分离逻辑。我们的建议的本质是上下文敏感的惰性初始化,有效的测试输入生成的新方法。我们的方法在两个方面不同于现有的方法。首先,我们的方法是基于分离逻辑,这使我们能够准确地捕捉基于堆的程序的先决条件,使我们避免产生无效的测试输入。其次,我们只生成完全初始化的测试输入,这是更有用的,在实践中相比,那些部分初始化的测试输入所产生的最先进的工具。我们已经实现了我们的方法作为一个工具,称为Java Starcraft,并评估了一组程序与复杂的堆输入。实验结果表明,该方法显著减少了无效测试输入的数量,提高了测试覆盖率。
2019-09-16 cs.SE
ConcoLixir: Reactive LLM Discovery Oracles for Python Concolic Testing
National Chengchi University(国立政治大学)
针对Python符号执行中库调用降级、语义操作难解和路径覆盖停滞问题,提出ConcoLixir,利用LLM作为发现预言生成种子、输入并引导覆盖,平均行覆盖率提升8.6-17.0个百分点,成本仅$1.63。
2026-06-26 cs.SE
Dependencies that Bundle Code and Execution
KTH Royal Institute of Technology(皇家理工学院)
研究应用程序依赖关系,提出LIBCACHE系统,通过包注册表分发依赖项的执行缓存,与编译代码一同作为一等工件,评估显示其加速应用启动,证明执行缓存可分发及合并缓存可扩大启动覆盖范围。
2026-07-07 cs.SE
Achieving High Coverage for Floating-point Code via Unconstrained Programming (Extended Version)
实现高代码覆盖率在测试中至关重要,这使我们对代码质量充满信心。测试浮点代码通常需要在处理浮点约束方面付出艰苦的努力,例如,象征性的处决本文将测试浮点代码的挑战转化为应用无约束编程的机会--在整个搜索空间上计算函数最小点的数学解决方案。我们的核心见解是从浮点程序中导出一个表示函数,其任何最小点都是一个测试输入,保证可以运行被测试程序的一个新分支。这种保证允许我们通过反复最小化表示函数来实现浮点程序的高覆盖率。我们已经在一个名为CoverMe的工具中实现了这种方法,并在Sun的C数学库上对其进行了广泛的评估。我们的评估结果表明,CoverMe平均在6.9秒内实现了90.8%的分支覆盖率,大大优于我们比较的工具:(1)随机测试,(2)AFL,Google发布的高度优化,强大的模糊器,以及(3)Austin,一种最先进的基于覆盖率的测试工具,旨在支持浮点代码。
2017-04-11 cs.PL cs.SE
ADEPT: A Unified Framework for Deep Learning Test Adequacy
Auburn University(奥本大学)
本文提出 ADEPT 框架,整合多种深度学习测试充分性指标,提供统一工作流与配置管理,解决指标难复现、难比较问题,方便研究人员和从业者使用。
2026-08-13 cs.LG cs.SE
Hunting CUDA Bugs at Scale with cuFuzz
NVIDIA(英伟达);Stanford University(斯坦福大学)
cuFuzz通过全程序模糊测试解决GPU模糊测试中的虚假阳性、缺乏设备端反馈和工具不兼容问题,发现43个新漏洞,包括非法内存访问和数据竞争。
2026-03-12 cs.CR cs.SE
A Comparative Quality Metric for Untargeted Fuzzing with Logic State Coverage
针对现有模糊测试质量度量标准不可靠的问题,提出逻辑状态覆盖作为代理度量,通过统计执行中满足的分支集合来更细粒度地计算观察到的有趣行为,并在AFL++和XMLLint上进行了初步评估验证其可靠性。
2024-09-23 cs.CR cs.SE