Apache web server execution tracing using Third Eye
测试集成了许多由不同团队开发的组件的现代软件系统是一项艰巨的任务。Third Eye是一个使用应用程序域事件跟踪和验证软件系统的框架。我们使用事件之间的约束的正式描述,以确定在执行跟踪违规。Third Eye是一个灵活的模块化框架,可用于不同的产品。我们提出了Apache Web服务器访问策略实现的验证。结果表明,我们的工具是一个有用的除了软件开发基础设施。
2000-11-16 cs.PL cs.SE
DepGraph: Localizing Performance Bottlenecks in Multi-Core Applications Using Waiting Dependency Graphs and Software Tracing
本文解决的挑战,了解等待之间的依赖关系的线程和硬件资源完成任务所需的。其目标是通过检测系统级阻塞依赖引起的潜在瓶颈来提高软件性能。在本文中,我们使用一个系统级的跟踪方法来提取一个等待依赖图,显示了所有交错的线程和资源之间的任务执行的故障。该方法允许开发人员和系统管理员快速发现总执行时间如何在其交互线程和资源之间分配。最终,该方法有助于检测瓶颈并突出其可能的原因。我们的实验表明,所提出的方法在几个行业级用例的有效性。三个性能异常进行了分析和解释,使用所提出的方法。对方法效率的评估表明,强加的开销从未超过10.1%,因此使其适用于生产环境。
2021-03-08 cs.SE
Enhancing Dynamic Symbolic Execution by Automatically Learning Search Heuristics
我们提出了一种技术,自动生成搜索引擎的动态符号执行。动态符号执行中的一个关键挑战是如何有效地探索程序的执行路径,以在有限的时间预算内实现高代码覆盖率。动态符号执行采用搜索启发式来解决这一挑战,这有利于探索最有可能最大化最终覆盖率的特定类型的路径。然而,手动设计一个好的搜索启发式是不平凡的,通常以次优和不稳定的结果结束。本文的目标是通过自动学习搜索策略来克服动态符号执行的这一缺点。我们定义了一类搜索启发式,即一个参数搜索启发式,并提出了一个算法,有效地找到一个最佳的启发式每个主题程序。使用工业强度符号执行工具(例如,KLEE)表明,我们的技术可以成功地生成搜索引擎,显着优于现有的手工制作的搜索引擎在分支覆盖率和错误发现方面。
2019-07-23 cs.SE
Compositional Fuzzing Aided by Targeted Symbolic Execution
近年来,由于其快速的路径覆盖引导的输入变异策略,引导模糊已经能够发现现实世界中的软件中的许多新的漏洞。然而,大多数模糊器无法在程序的更深部分实现高覆盖率。此外,模糊器严重依赖于种子输入的多样性,通常是手动提供的,以便能够产生有意义的结果。在本文中,我们提出了野火,一种新的开源组合模糊框架。Wildfire通过模糊化C程序中的孤立函数来发现漏洞,然后使用有针对性的符号执行来确定利用这些漏洞的可行性。基于我们对23个开源源程序(近100万个)的评估,我们表明,由于覆盖率的增加,Wildfire比基线符号执行和模糊工具以及最先进的覆盖率引导工具发现了更多的真阳性结果,而这些工具所花费的分析时间只有10%。此外,Wildfire还发现了许多其他潜在的漏洞,这些漏洞的可行性可以通过组合来确定,以确认它们是否是误报。Wildfire还可以复制所有已知的漏洞,并在三个开源库中发现了几个以前未知的漏洞。
2019-10-11 cs.SE
TestWeaver: Execution-aware, Feedback-driven Regression Testing Generation with Large Language Models
FPT Software AI Center(FPT软件人工智能中心);VinUniversity(越南-新加坡大学);Nanyang Tech. University(南洋理工大学);Univ. of Texas at Dallas(德克萨斯大学达拉斯分校)
TestWeaver通过整合轻量级程序分析和针对性执行上下文,提升LLM在回归测试生成中的覆盖率和效率。
2026-01-27 cs.SE
Tracing Optimization for Performance Modeling and Regression Detection
针对软件性能建模在生产环境中因追踪开销大而不实用的问题,提出统计方法排除性能不敏感代码区域,构建R-2得分达99%且开销降80%以上的优化模型,可有效检测性能回归且完全自动化。
2024-11-26 cs.PF cs.SE
Reviewing KLEE's Sonar-Search Strategy in Context of Greybox Fuzzing
符号执行和模糊测试的自动测试用例生成技术是学术界和工业界最广泛使用的发现漏洞的方法。然而,这两种方法都存在基本的缺点,这些缺点阻止它们实现高路径覆盖,因此,这可能导致在静态分析的数值尺度上发现漏洞。在这个演示文稿中,我们检查系统测试(SUTs)在功能的粒度级别,并假设实现更高的功能覆盖率(在程序中的功能执行至少一次)比,符号执行和模糊可能是发现更多的漏洞比这两个必要条件。我们将从KLEE的目标搜索策略的设计开始,声纳搜索,优先考虑通往目标功能的路径,而不是最大化程序中的整体路径覆盖。然后,我们将展示在函数级别(组合分析)检查SUT会发现比从单个入口点执行符号更多的漏洞。利用这一发现,我们将,然后,演示一个灰盒模糊方法,可以实现更高的功能覆盖率比符号执行。最后,我们将提出一个框架,以有效地管理漏洞和评估其严重性。
2018-03-13 cs.SE
Predicting Code Coverage without Execution
Microsoft(微软)
本研究提出面向大语言模型的代码覆盖率预测基准任务,构建发布COVERAGEEVAL数据集,评测四款前沿代码大模型的表现,指出代码覆盖率对提升LLM软件工程任务能力的价值。
2023-07-25 cs.AI cs.SE
Directed Symbolic Execution for Vulnerability Discovery: An LLM-Guided Approach in KLEE
Kyushu University(九州大学)
研究针对符号执行的路径爆炸问题,提出基于KLEE的KLEECopilot方法,用大语言模型引导定向符号执行,标记潜在漏洞代码、指导路径优先级并集成循环退出优先级,相比基线提升显著,各组件对有效性有贡献。
2026-07-27 cs.SE
Dynamic Code Coverage with Progressive Detail Levels
如今,定位软件组件负责观察到的故障是软件开发过程中最昂贵和最容易出错的任务之一。为了提高调试过程的效率,已经做出了一些努力来自动辅助检测和定位软件故障。这导致了统计调试工具的创建,如Tarantula,Zoltar和GZoltar。这些工具使用从代码覆盖率数据中收集的信息和测试执行的结果来返回潜在错误位置的列表。虽然有帮助,但故障定位工具有一些缩放问题,因为它们需要细粒度的覆盖数据来执行故障定位分析。在某些情况下可能高达50%的仪器开销是其效率低下的主要原因。本文提出了一种新的方法来解决这个问题,尽可能避免高层次的覆盖细节,同时仍然使用这些故障定位工具采用的成熟技术。这种方法称为DCC,包括使用较粗的初始检测,仅获得大组件的覆盖跟踪。然后,基于由当前故障定位工具中采用的相同技术提供的中间结果,逐步增加某些部件的仪表细节。为了评估我们所提出的方法的有效性,进行了实证评估,在四个现实世界的软件项目中注入故障。实证评估表明,DCC方法减少了执行开销,存在于基于频谱的故障定位,甚至提出了一个更简洁的潜在故障排名给用户。我们观察到执行时间平均减少27%,诊断报告大小平均减少63%。
2013-06-19 cs.SE
Simple Fault Localization using Execution Traces
本文利用编程竞赛短程序的数千条执行轨迹,结合机器学习及运行时、控制流和词法特征,提出了改进传统基于谱的错误定位(SBFL)的简单方法与上下文信息集成技巧,无需GPU或高级程序分析即在多个数据集上优于Ochiai等现有公式。
2025-03-06 cs.SE
CodeFlow: Program Behavior Prediction with Dynamic Dependencies Learning
CodeFlow 通过结合控制流图的静态嵌入与执行轨迹的动态依赖学习,显著提升代码覆盖率预测和运行时错误定位性能,优于现有最先进模型。
2025-02-09 cs.SE
GreyConE: Greybox fuzzing+Concolic execution guided test generation for high level design
由于复杂的分支条件、循环结构和硬件设计固有的并发性,对高级设计进行详尽的测试是一个艰巨的挑战。测试工程师的目标是生成满足各种代码覆盖率指标的高质量测试用例,以确保设计中出现的错误最少。在测试SystemC设计之前的工作是时间效率低下的,这阻碍了在较短的时间跨度内实现所需的覆盖。我们交错灰盒模糊和concolic执行系统的方式,并生成质量测试用例加速测试覆盖率指标。我们的结果优于国家的最先进的方法在测试用例的数量和分支覆盖的一些基准,和运行时间为他们中的大多数。
2022-07-13 cs.CR cs.SE
Mathematical Execution: A Unified Approach for Testing Numerical Code
本文介绍了数学执行(ME),一个新的,统一的方法来测试数字代码。其核心思想是:(1)通过一个表示函数来捕获期望的测试目标;(2)将自动化测试问题转化为表示函数的最小化问题。最小化问题将通过数学优化来解决。ME的主要特征是它仅通过执行表示函数来指导输入空间探索,从而避免了对程序语义的静态或符号推理,这对于数字代码来说特别具有挑战性。为了说明这一特点,我们开发了一个基于ME的算法覆盖率为基础的测试的数字代码。我们还展示了应用和适应ME到其他相关问题的潜力,包括路径可达性测试,边界值分析和可满足性检查。为了证明ME的实际好处,我们实现了CoverMe,这是一个基于分支覆盖率测试的概念验证实现,并在Sun的C数学库(用于例如Android,Matlab,Java和JavaScript)上对其进行了评估。我们比较了CoverMe与随机测试和Austin,一个公开的基于分支覆盖的测试工具,支持数字代码(Austin结合了符号执行和基于搜索的自动化)。我们的实验结果表明,CoverMe实现了接近最佳的覆盖率,大大高于随机测试的所有测试程序,在所有评估的覆盖率指标。与Austin相比,CoverMe将分支覆盖率从43%提高到91%,所需时间明显缩短(平均6.9秒对6058.4秒)。
2016-10-04 cs.PL cs.SE
Optimizing Metamorphic Testing: Prioritizing Relations Through Execution Profile Dissimilarity
针对机器学习程序判定器缺失及现有蜕变关系优先排序成本高或不准确的问题,提出一种基于语句中心性并利用执行剖面多样性的MR优先排序方法,显著提升了故障检测有效性与测试效率。
2024-11-14 cs.SE
Automatic Generation of High-Coverage Tests for RTL Designs using Software Techniques and Tools
寄存器传输级(RTL)设计验证是硬件设计过程中的一个关键阶段。我们提出了一种使用可用软件技术和工具增强RTL设计验证的新方法。我们的方法将RTL设计的源代码转换为C++软件程序。然后利用一个强大的符号执行引擎对转换后的C++程序进行符号执行,生成测试用例。为了更好地生成有效的测试用例,我们限制了循环的数量来指导符号执行。此外,我们还在符号执行引擎中加入了位级符号变量的支持。生成的测试用例通过模拟RTL设计进行进一步评估,以获得准确的覆盖率。我们已经评估了一个浮点单元(FPU)设计的方法。初步结果表明,我们的方法可以提供高质量的测试,以实现高覆盖率。
2016-02-19 cs.AR cs.SE
AgentTrace: Causal Graph Tracing for Root Cause Analysis in Deployed Multi-Agent Systems
USC Viterbi School of Engineering(南加州大学维特比工程学院)
AgentTrace通过构建因果图追踪多智能体系统部署中的根本原因,实现高精度和低延迟的故障诊断,优于启发式和LLM基线方法。
2026-03-27 cs.AI cs.LG cs.SE
Combining Type Inference and Automated Unit Test Generation for Python
University of Passau(帕绍大学);JetBrains Research(JetBrains 研究)
研究针对Python动态类型语言缺乏类型信息阻碍单元测试生成的问题,通过在Pynguin框架扩展类型跟踪,利用测试执行提取类型信息,实现推断参数类型、记录返回值类型并增加代码覆盖率,提升了分支覆盖率和变异分数。
2026-09-21 cs.SE
Cerberus: Multi-Agent Reasoning and Coverage-Guided Exploration for Static Detection of Runtime Errors
University of Texas at Dallas(德克萨斯大学达拉斯分校)
Cerberus通过多智能体推理和覆盖引导探索,实现无执行的运行时错误静态检测,提高测试效率和错误发现能力。
2025-12-24 cs.LG cs.SE
Symetra: Visual Analytics for the Parameter Tuning Process of Symbolic Execution Engines
Sungkyunkwan University(成均馆大学)
Symetra通过可视化分析支持人类参与的符号执行引擎参数调优,帮助用户理解参数影响,提升分支覆盖和调优效率。
2026-04-07 cs.HC cs.SE
Increasing System Test Coverage in Production Automation Systems
介绍了一种支持测试技术人员识别全集成自动化生产系统(aPS)控制软件可能未测试行为的方法。基于一种引导式半自动系统测试方法,在测试过程中记录执行轨迹,允许后续的覆盖评估。由于aPS的行为高度依赖于软件,因此可以识别遗漏的系统行为并评估其重要性。通过与工业界的密切合作,这种方法代表了第一种用于生产自动化系统测试的覆盖率评估方法,可应用于实际工业对象,并由工业专家进行评估。
2022-12-07 cs.SE
Cottontail: Large Language Model-Driven Concolic Execution for Highly Structured Test Input Generation
本文提出LLM驱动的共模执行引擎Cottontail,通过ESCT路径表示、LLM约束求解器和历史引导种子获取,解决结构化测试输入生成问题,显著提升覆盖率并发现6个新漏洞。
2025-10-14 cs.SE
Hybrid Concolic Testing with Large Language Models for Guided Path Exploration
Quandary Peak Research(夸德里峰研究)
本文提出一种结合大语言模型与协同执行的混合测试方法,通过引导路径探索提升程序状态空间探索效率和缺陷检测能力。
2026-01-18 cs.SE
REST API Testing with Verified LLM-Inferred Dependencies and Response-Driven Refinement
University of Science, VNU-HCM(胡志明市国立大学科学大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Katalon LLC(Katalon有限责任公司)
本文提出APIPilot框架,通过执行验证LLM推断的REST API依赖关系,结合响应驱动优化,在16个真实API上实现高覆盖率与成功率,优于现有基线。
2026-08-21 cs.SE
Presentation Proposal: Towards Efficient Data-flow Test Data Generation Using KLEE
数据流覆盖率是白盒测试的标准之一,它关注变量定义与其使用之间的关系,一些实证研究证明了数据流测试比控制流测试更有效。然而,由于缺乏有效的工具支持,数据流测试在实践中仍然没有得到采用。为此,我们提出了一个指导符号执行的方法来有效地搜索程序路径,以满足数据流覆盖标准。我们在KLEE上实现了这种方法,并用30个程序主题进行了评估,这些程序主题是由以前的数据流测试文献、SIR、SV-COMP基准中使用的主题构建的。此外,我们正计划将数据流测试技术集成到新提出的符号执行引擎SmartUnit中,SmartUnit是一种基于云的工业软件单元测试服务,支持基于覆盖率的测试。已成功帮助国内多家知名企业和机构在实践中采用基于覆盖率的测试,累计测试了超过百万行的行业真实代码。
2019-03-19 cs.SE
More Programs or More Rolls? Separating Coverage from Specialization in LLM Harnesses
The Chinese University of Hong Kong(香港中文大学);Zhongguancun Academy(中关村学院);SINOPEC Research Institute of Petroleum Processing(中国石化石油化工科学研究院);Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院);Guangzhou Nanfang College(广州南方学院)
本研究通过受控实验分离覆盖率与专门化,发现LLM工具框架的重复执行掩盖了专门化,提出任务优势需跨执行持久且可指导决策的评估标准。
2026-09-30 cs.AI cs.LG cs.SE
Improving Linux-Kernel Tests for LockDoc with Feedback-driven Fuzzing
LockDoc是一种从系统处于基准负载下时记录的动态执行跟踪中提取内核数据结构的锁定规则的方法。这些锁定规则可以例如用于定位同步错误。对于高规则精度和彻底的错误发现,该方法在很大程度上取决于基准测试的选择:它们必须触发内核子系统中与目标数据结构相关的尽可能多的代码的执行。然而,现有的测试套件,如Linux测试项目(LTP)提供的那些测试套件,在LTP的情况下,仅实现了VFS子系统的大约35%的基本块覆盖率,当为与文件系统相关的数据结构提取锁定规则时,VFS子系统是相关的子系统。在本文中,我们将讨论如何补充LTP套件以提高LockDoc场景的代码覆盖率。我们重新调整了syzkaller --一个覆盖率引导的模糊器,目标是验证内核API的鲁棒性--1)不以内核崩溃为目标,2)最大化特定内核子系统的代码覆盖率。因此,我们生成了可以在LTP之外运行的新基准程序,并将VFS基本块覆盖率提高了26.1%。
2021-09-16 cs.SE
Sustainability Analysis of Prompt Strategies for SLM-based Automated Test Generation
University Of Calgary(卡尔加里大学)
本文研究了基于小语言模型的自动化测试生成中提示策略对计算和环境可持续性的影响,通过实验评估七种策略,发现策略选择对可持续性指标有显著影响,简单策略更环保。
2026-04-03 cs.SE
Agentic Planning for Symbolic Execution
Carnegie Mellon University(卡内基梅隆大学)
该研究提出智能体规划系统Agolic,利用早期符号执行运行的证据配置后续有界符号执行,在C/C++程序上平均覆盖3倍以上分支,覆盖更多分支及对比语料库未覆盖的分支,扩展了符号执行的实际覆盖范围。
2026-08-10 cs.AI cs.PL cs.SE
AgentExecutor: Partial Code Execution via Agentic Context Generation
Singapore Management University(新加坡管理大学);Zhejiang University(浙江大学);York University(约克大学)
本文提出多智能体框架AgentExecutor,通过三阶段设计和自适应优化策略提升部分代码执行效果,在两个数据集上的覆盖度、执行时间和成本均优于现有最优方法Treefix。
2026-08-07 cs.SE
Test2Vec: An Execution Trace Embedding for Test Case Prioritization
University of Calgary(卡尔加里大学);Chalmers University of Technology(查尔姆斯理工大学)
大多数自动化的软件测试任务都可以从测试用例的抽象表示中受益。传统上,这是通过基于代码覆盖率编码测试用例来完成的。规范级标准可以代替代码覆盖率来更好地表示测试用例的行为,但它们通常不具有成本效益。在本文中,我们假设测试用例的执行轨迹可以是抽象自动化测试任务行为的一个很好的替代方案。我们提出了一种新的嵌入方法,Test2Vec,将测试执行痕迹映射到潜在空间。我们在测试用例优先级(TP)任务中评估这种表示。我们默认的TP方法是基于嵌入向量与历史失败测试向量的相似性。我们还研究了基于测试向量的多样性的替代方案。最后,我们提出了一种方法来决定选择TP,对于一个给定的测试套件。该实验是基于几个真实的和种子故障超过一百万的执行跟踪。结果表明,我们提出的TP提高了41.80%的第一个失败的测试用例(FFR)的中位数归一化排名的最佳选择。在中位APFD和中位归一化FFR方面,它比传统的基于代码覆盖率的方法高出25.05%和59.25%。
2022-06-28 cs.AI cs.SE
Test Model Coverage Analysis under Uncertainty
在基于模型的测试(MBT)中,我们可能不得不处理非确定性模型,例如,因为应用了抽象,或者因为被测软件本身是非确定性的。相同的测试用例可能会触发多个可能的执行路径,这取决于软件做出的一些内部决策。因此,不可能进行精确的测试分析,例如计算测试覆盖率。如果开发人员可以用每个转换的估计概率来注释模型,这可以得到缓解。随后可以使用概率模型检验算法来进行简单的概率覆盖分析。然而,在实践中,开发人员往往想知道什么是实现的聚合覆盖率,不幸的是,不能重新表示为一个标准的模型检验问题。本文提出了一种扩展,允许有效的计算概率聚合覆盖,而且还结合了k-明智的覆盖。
2019-09-11 cs.SE
Efficient Instrumentation for Performance Profiling
性能分析包括在执行期间跟踪软件系统,然后分析所获得的跟踪。然而,跟踪本身会影响系统的性能,从而扭曲其执行。因此,需要最小化跟踪对底层系统性能的影响。为了实现这一点,需要根据要解决的性能分析问题来优化跟踪集。我们的立场是,只有通过将软件跟踪设计和实现添加到整个软件开发过程中,才能实现这种最小化。在这样的过程中,性能分析师提供性能度量需求的知识,而软件开发人员提供软件的知识。这两者都是最佳跟踪放置所必需的。
2003-07-25 cs.PF cs.SE
Commit-Aware Learning-Based Test Case Prioritization for Continuous Integration
University of Sannio(桑尼奥大学)
提出一种结合代码变更结构、测试覆盖和历史执行的提交感知学习模型,用于持续集成中的测试优先级排序,显著提升回归缺陷检测效果。
2026-06-11 cs.SE
SWE-Nexus: Automated Composition of Software Engineering Tasks from Test Execution
National University of Singapore(新加坡国立大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tsinghua University(清华大学)
该研究提出SWE-Nexus自动化流水线,通过测试执行构建仓库级软件工程任务,基于105个仓库的600个任务基准评估模型,最佳配置单次解决37.8%任务,可实现跨变更的验证行为组合。
2026-10-16 cs.AI cs.SE
DBcover: A White-box SQL Test Generation Framework for Coverage Improvement
Renmin University of China(中国人民大学);China Electronics Technology Kingbase (Beijing) Technologies Inc.(中国电子科技集团公司Kingbase(北京)科技有限公司)
针对RDBMS测试覆盖率提升难题,提出LLM驱动的白盒SQL测试生成框架DBcover,经实验在PostgreSQL、MySQL及KingbaseES上均实现有效覆盖率提升。
2026-08-27 cs.DB cs.SE
UCov: a User-Defined Coverage Criterion for Test Case Intent Verification
回归测试的目标是确保现有代码的行为不会被新的程序更改所改变。回归测试的主要焦点应该是与以下相关的代码:a)早期的bug修复; b)测试人员认为重要的特定应用程序场景。现有的覆盖标准无法实现这种重点,例如,100%的分支覆盖率并不能保证给定的bug修复得到执行,或者给定的应用程序场景得到测试。因此,需要一个补充的覆盖标准,其中用户可以定义一个测试要求,表征一个给定的行为被覆盖,而不是从一个池中选择预定义的和通用的程序元素。我们提出了UCov,一个用户定义的覆盖标准,其中的测试要求是一个执行模式的程序元素和谓词。我们提出的标准并不是要取代现有的标准,而是要补充它们,因为它将测试集中在重要的代码模式上,否则可能无法测试。UCov支持测试用例意图验证。例如,在bug修复之后,测试团队可能会用揭示bug的测试用例来增强回归套件。但是,由于与错误无关的代码修改,此测试用例可能会过时。但是,如果用户定义了表征错误的执行模式,UCov将确定测试用例意图验证失败。我们实现了我们的方法的Java平台,并将其应用到两个现实生活中的案例研究。我们的实现包括以下内容:1)一个Eclipse插件,允许用户轻松指定非平凡的测试需求; 2)交叉引用测试需求的能力,跨给定程序的后续版本;以及3)检查用户定义的测试需求是否得到满足的能力,即,测试用例意图验证。
2014-07-11 cs.SE
Improve Model Testing by Integrating Bounded Model Checking and Coverage Guided Fuzzing
由Simulink或Ptolemy建立的控制逻辑模型在工业现场得到了广泛的应用。保证控制逻辑模型的安全性和可靠性是一个迫切需要解决的问题。测试用例生成技术被广泛应用于保证软件的安全性和可靠性。最先进的模型测试工具采用模型检验技术或基于搜索的方法来生成测试用例。传统的基于Simulink仿真的搜索技术存在速度慢、开销大等问题。传统的模型检验技术如符号执行在处理非线性元素和复杂循环时性能有限。最近,覆盖率引导模糊技术被认为是有效的测试用例生成,由于其高效率和令人印象深刻的效果,在复杂的分支循环。在本文中,我们应用模糊方法来改善模型测试,并证明了有效性。模糊化方法旨在通过变异有价值的种子来覆盖更多的程序分支。受此启发,我们提出了一种新的集成技术SPsCGF,它利用有界模型检验的符号执行,产生测试用例作为初始种子,然后进行模糊的基础上,这些有价值的种子。以这种方式,我们的工作结合了模型检验方法和模糊技术的优点,在一个新的方式。由于控制逻辑模型总是接收信号输入,因此我们专门为信号设计了新型变异算子,以改进模型测试中现有的模糊方法。在由工业案例组成的评估基准上,SPsCGF可以实现8%到38%的模型覆盖率和3倍到10倍的时间效率。
2022-11-09 cs.SE
MPISE: Symbolic Execution of MPI Programs
消息传递接口(MPI)在并行计算中起着重要的作用。许多并行应用程序都是以MPI程序的形式实现的。现有的MPI程序缺陷检测方法在提供输入和非确定性覆盖方面存在不足,导致缺陷漏诊。在本文中,我们采用符号执行,以确保输入的覆盖率,并提出了一个飞行调度算法,以减少交错探索的非确定性覆盖,同时确保健全性和完整性。我们已经实现了我们的方法作为一个工具,称为MPISE,它可以自动检测MPI程序中的死锁和运行时错误。在基准程序和真实MPI程序上的实验结果表明,MPISE能够有效地发现程序中的错误。此外,我们的工具还提供了诊断信息和重放机制,以帮助理解错误。
2014-09-15 cs.DC cs.PL cs.SE
gigiProfiler: Diagnosing Performance Issues by Uncovering Application Resource Bottlenecks
gigiProfiler通过混合LLM-静态分析整合系统级与应用程序级资源跟踪,全面诊断性能瓶颈,并在12个真实问题中全部准确识别,成功定位两个新问题的根因。
2025-07-08 cs.PF cs.SE
Literate Tracing
本文提出文学化追踪范式,用带注释的具体执行轨迹解释软件系统,并介绍工具TReX,已用于Linux内核、Git和GCC等大型系统。
2025-10-10 cs.PL cs.SE
Concolic Testing for Deep Neural Networks
University of Oxford(牛津大学);University of Liverpool(利物浦大学)
Concolic测试结合了程序执行和符号分析来探索软件程序的执行路径。本文提出了第一种用于深度神经网络(DNN)的concolic测试方法。更具体地说,我们正式的覆盖标准DNN已在文献中研究,然后开发一个连贯的方法进行concolic测试,以增加测试覆盖率。我们的实验结果表明,concolic测试方法在实现高覆盖率和发现对抗性示例方面的有效性。
2018-08-04 cs.LG cs.SE stat.ML
Can LLMs Simulate Novice Programmers' Misconceptions?
Columbia University(哥伦比亚大学)
该研究评估13个LLMs在代码追踪问题上处理新手编程错误概念的能力,发现前沿模型表现可靠,小型模型动态执行困难,代码调优模型模拟错误概念时会回归正确执行,正误判断形式的诊断更易。
2026-10-09 cs.PL cs.SE
The Rise of Agentic Testing: Multi-Agent Systems for Robust Software Quality Assurance
MUFG Bank(三菱日联银行);Cisco Systems Inc(思科系统公司);University of North Carolina(北卡罗来纳大学)
本文提出多代理系统用于提升软件测试质量,通过闭环反馈机制实现自适应测试生成和优化,显著提高测试覆盖率并减少无效测试。
2026-01-05 cs.AI cs.SE
Manticore: A User-Friendly Symbolic Execution Framework for Binaries and Smart Contracts
在软件测试中最大化代码覆盖率的一种有效方法是通过动态符号执行$-$,这是一种使用约束求解来系统地探索程序状态空间的技术。我们介绍了一个名为Manticore的开源动态符号执行框架,用于分析二进制文件和以太坊智能合约。Manticore灵活的架构使其能够支持传统和异国情调的执行环境,其API允许用户自定义他们的分析。在这里,我们将讨论Manticore的架构,并展示我们用于为商业客户查找错误和验证代码正确性的功能。
2019-11-18 cs.CR cs.SE
FeedbackLLM: Metadata driven Multi-Agentic Language Agnostic Test Case Generator with Evolving prompt and Coverage Feedback
Department of Computer Science and Engineering, SRM University AP, India(印度SRM大学计算机科学与工程系)
FeedbackLLM通过双阶段方法生成测试用例,利用元数据反馈提升覆盖率,有效解决传统方法的计算开销和可扩展性问题。
2026-05-02 cs.LG cs.SE
Investigating Execution-Aware Language Models for Code Optimization
University of L’Aquila(拉奎拉大学);Software Institute - Università della Svizzera Italiana(软件研究所 - 瑞士意大利语大学)
本文研究了将代码执行信息整合到语言模型中对代码优化能力的影响,通过三种训练策略测试了四种执行方面对CodeT5+模型的优化效果,发现执行感知模型在代码优化上收益有限。
2025-03-11 cs.AI cs.CL cs.PF
Fuzzwise: Intelligent Initial Corpus Generation for Fuzzing
University of Texas at Dallas(德克萨斯大学达拉斯分校)
FuzzWise通过基于LLM的多代理框架,高效生成初始语料,提升模糊测试的代码覆盖和错误触发效率。
2025-12-24 cs.LG cs.SE