Exploring the Use of LLMs for Requirements Specification in an IT Consulting Company
本文在 IT 咨询场景中评估三种 LLM 基于需求摘要和 FDS 模板生成功能设计规格说明的效果,证明其可提效标准化,但仍需人工监督与修订。
2025-07-25 cs.SE
Exploring LLMs for Verifying Technical System Specifications Against Requirements
本研究实验探讨了大型语言模型在需求验证中的潜力,通过向 LLMs 提供需求和文本系统规格来评估满足情况,发现 GPT-4o 和 Claude 3.5 Sonnet 在识别未满足需求时 f1-scores 达 79% 至 94%,展现出应用前景。
2024-11-18 cs.SE cs.SY eess.SY
Generating Complete and Finite Test Suite for ioco: Is It Possible?
输入/输出转换系统的测试已经被深入研究。实现和规范之间的一致性通常由所谓的ioco-relation确定。但是,为ioco生成测试通常会受到输入和输出之间冲突问题的阻碍。此外,生成主要是基于不确定性的方法,这可能会提供完整的测试套件,但需要无限数量的执行。在本文中,我们研究是否有可能构建一个有限的测试套件,这是完全的,在一个预定义的故障域的经典ioco关系,即使在存在输入/输出冲突。我们通过提出一种基于为有限状态机开发的传统方法的完整测试生成方法,证明在有关规范和实现的某些假设下这是可能的。
2014-03-28 cs.SE
Carving UI Tests to Generate API Tests and API Specification
提出一种利用UI测试导航和定向API探测动态推断API端点的方法,自动生成API测试套件和OpenAPI规范,在现有工具不适用时实现高效的API级测试并显著提升代码覆盖率。
2023-05-24 cs.SE
Automated Requirements-Based Testing of Black-Box Reactive Systems
我们提出了一种新的方法来一致性测试的黑盒反应式系统。我们认为系统规范的线性时序逻辑公式,以生成测试的输入/输出对序列:输入提取的Buchi自动机对应的规格,并通过馈送输入到系统的输出。通过将输入/输出序列与自动机跟踪进行比较来检测是否违反规范,从而检查是否符合规范。我们认为提取测试和停止生成的几个标准,我们比较实验使用的覆盖率和错误检测指标。结果表明,该方法可以生成具有良好的系统覆盖率和错误检测能力的测试集。
2020-05-14 cs.LO cs.SE
Exploring the Potential of Conversational Test Suite Based Program Repair on SWE-bench
本研究针对会话式补丁生成在SWE-Bench上的潜力未被专门评估的问题,开展实验验证基于LLaMA 3.1 70B的简单会话流水线的修复效果,达到47%的有效补丁生成率,可媲美当前最优水平。
2024-10-06 cs.AI cs.MA cs.SE
Constraint-Driven Modeling Enabling Dual Model Checking and Simulation for Discrete Event Systems
Arizona State University(亚利桑那州立大学)
本文提出Constraint-DEVS方法,扩展DEVS-Suite框架以支持离散事件系统的仿真与模型检查,开发并验证了片上网络模型,为该框架的混合引擎提供了设计制品。
2026-08-25 cs.AR cs.LO cs.SE
SPEEDY: An Eclipse-based IDE for invariant inference
SPEEDY是一个基于Excel的IDE,用于探索帮助用户生成正确规范的技术,特别是包括不变推理算法和工具。它集成了几个后端工具,提出了不变量,并将纳入已发布的算法,用于推断对象和循环不变量。虽然该体系结构是语言中立的,但目前的SPEEDY目标是C程序。构建和使用SPEEDY已经证实了早期的经验,证明了在开发人员通常使用的IDE中显示和编辑规范的重要性,尽可能多地自动化规范的生成和检查,并直接在源代码编辑环境中显示反例信息。在以前的工作中,自动化的规格检查提供了后端SMT求解器。然而,减少软件开发人员使用形式化方法所需的工作量还需要一个GUI设计来指导用户编写、审查和纠正规范,并自动进行规范推理。
2014-04-26 cs.LO cs.PL cs.SE
Improving Dynamic Specification Inference with LLM-Generated Counterexamples
University of Rio Cuarto(里奥夸尔托大学);Complutense University of Madrid(马德里康普顿斯大学);University of Buenos Aires(布宜诺斯艾利斯大学);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究所);National Council for Scientific and Technical Research (CONICET)(国家科学研究和技术委员会);Guangdong Technion-Israel Institute of Technology(广东以色列理工学院)
本文利用大语言模型生成反例以提高动态规范推断的精度,实验表明可减少无效断言并提升精度7%。
2026-04-12 cs.SE
Reliable Mining of Automatically Generated Test Cases from Software Requirements Specification (SRS)
编写需求是一个双向的过程。在本文中,我们使用分类功能需求(FR)和非功能需求(NFR)的声明,从软件需求规格说明(SRS)文件。这是系统地转化为考虑所有相关信息的状态图。目前的文件概述了如何测试用例可以自动生成这些状态图。状态的应用产生不同的测试用例作为规划问题的解决方案。测试用例可用于系统级的自动或手动软件测试。提出了一种利用挖掘方法对测试用例进行约简的方法,从而方便了测试用例的挖掘和知识提取。
2010-02-05 cs.SE
Adaptive Testing for Specification Coverage
确保网络物理系统(CPS)的正确性是一项极具挑战性的任务,在实践中通常通过基于仿真的测试来解决。正式的规约语言,如信号时序逻辑(STL),用于数学表达CPS的要求,从而使仿真活动更系统和原则。我们提出了一种新的方法,自适应生成测试规格覆盖STL。为了实现这一目标,我们设计了合作的可达性游戏,我们结合数值优化来创建测试,探索系统的方式,行使规范的各个部分。据我们所知,我们的方法是第一个自适应测试方法,可以直接应用到MATLAB \texttrademark \; Simulink/Stateflow模型。我们实现了我们的方法在一个原型工具,并评估了几个说明性的例子和案例研究,从航空电子领域,证明了自适应测试的有效性(1)逐步建立一个测试用例,达到测试目标,(2)生成一个测试套件,增加规范的覆盖范围,(3)推断规范的哪一部分实际上是实现的。
2021-01-26 cs.FL cs.GT cs.LO
Integrated and Iterative Requirements Analysis and Test Specification: A Case Study at Kostal
目前,从业者在汽车开发项目中采用自上而下的方法。然而,最近的研究表明,这种自上而下的方法不适合现代汽车系统的实施和测试。具体地说,从业者越来越无法为具有复杂组件交互的系统指定需求和测试(例如,电子交通系统)。在本文中,我们解决这一研究差距,并提出了一个集成的和迭代的基于ARIO的技术规范的需求和测试场景。我们的想法是将自上而下和自下而上的集成策略结合起来。对于自顶向下的方法,我们使用行为驱动的开发(BDD)技术,从用户的角度来驱动高层次的系统交互建模。对于自底向上的方法,我们发现自然语言处理(NLP)技术适合于使现有组件的文本规范可访问我们的技术。为了集成这两个方向,我们支持系统级交互和组件级行为的联合执行和自动分析。我们证明了我们的方法的可行性进行案例研究,在Kostal(Tier1供应商)。案例研究证实,除其他事项外,我们的方法支持从业者在提高集成系统行为的需求和测试规范。
2021-07-12 cs.SE
LM2Alloy: Investigating LLM-Generated Formal Specifications for Automated Test Derivation in Production Software
North Dakota State University(北达科他州立大学)
该研究探索用大语言模型从需求文档和生产源代码生成Alloy形式规范及推导可执行测试用例,在Flipper和Cerberus库上评估,发现能揭示约束级缺陷,基于代码的规范方差更低,为生产软件自动测试推导提供了新方法。
2026-07-22 cs.SE
Understanding Specification-Driven Code Generation with LLMs: An Empirical Study Design
Escuela de Ingeniería de Fuenlabrada, Universidad Rey Juan Carlos(雷乌斯·胡安·卡洛斯大学富恩拉布拉达工程学院)
本文通过实证研究设计,探讨人类干预在基于规范的LLM代码生成过程中对代码质量和动态的影响。
2026-01-07 cs.SE
DiffSpec: Differential Testing with LLMs using Natural Language Specifications and Code Artifacts
DiffSpec框架利用自然语言规范与代码工件引导大语言模型生成差分测试,在eBPF运行时和Wasm验证器中发现多个已确认缺陷。
2025-05-06 cs.SE
Exploring Plausible Patches Using Source Code Embeddings in JavaScript
MTA-SZTE Research Group on Artificial Intelligence(MTA-SZTE人工智能研究组);University of Szeged(塞格德大学)
尽管自动程序修复(APR)领域非常受欢迎,但补丁验证的问题仍然是开放的。目前的大多数方法都遵循所谓的生成和验证方法,首先生成候选解决方案,然后根据Oracle进行验证。然而,后者可能不会给出可靠的结果,因为这样的预言机中存在缺陷;其中之一通常是测试套件。尽管(重新)运行测试套件是在人们的眼皮底下,但在现实生活中的应用程序中,过度拟合和欠拟合的问题经常发生,导致补丁不足。解决这个问题的努力包括补丁过滤,测试套件扩展,仔细的补丁制作等等。迄今为止,大多数方法使用后过滤依赖于测试执行跟踪或利用一些相似性的概念上产生的补丁测量。我们的目标是调查这些基于相似性的方法的性质。为此,我们在一个开源JavaScript项目上训练了一个Doc 2 Vec模型,并为其中的10个bug生成了465个补丁。然后,根据与原始程序的相似性,将这些看似合理的补丁与开发人员修复一起进行排名。我们分析了这些相似性列表,发现普通的文档嵌入可能会导致错误分类-它无法捕获细微差别的代码语义。然而,在某些情况下,它也提供了有用的信息,从而有助于更好地理解自动程序修复领域。
2021-03-31 cs.AI cs.SE
Test Case Generation for Program Repair: A Study of Feasibility and Effectiveness
在许多不同种类的程序修复技术中,一个被广泛研究的技术家族被称为基于测试集的修复。测试套件本质上是输入输出规范,因此通常不足以完全指定修复中程序的预期行为。因此,基于测试套件的程序修复技术生成的补丁通过测试套件,但可能是不正确的。过于特定于所使用的测试套件而不能推广到其他测试用例的补丁被称为过拟合补丁。在本文中,我们研究的可行性和有效性的测试用例生成在缓解过拟合问题。我们提出了两种方法,使用测试用例生成,以提高测试套件为基础的修复,并进行了广泛的评估所提出的方法的有效性,使更好的测试套件为基础的修复缺陷4J存储库的224个错误。结果表明,测试用例生成可以改变产生的补丁,但不是有效地把不正确的补丁到正确的。我们确定的无效性相关的问题,并预计我们的研究结果和发现将导致未来的研究,以建立测试用例生成技术,量身定制的自动修复系统。
2017-03-01 cs.SE
SpecGuardBench: Can Coding Agents Construct Reliable Validation Harnesses from Natural Language Specifications?
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Aalto University(阿尔托大学);Lero, the Research Ireland Centre for Software(Lero——爱尔兰软件研究中心);University of Limerick(利默里克大学);University of Ottawa(渥太华大学)
本研究推出SpecGuardBench基准测试,发现4种编码智能体构建的验证工具忠实度均未超63%,瓶颈在于智能体倾向编写匹配参考实现而非规范的检查项。
2026-10-14 cs.CL cs.SE
From Law to Gherkin: A Human-Centred Quasi-Experiment on the Quality of LLM-Generated Behavioural Specifications from Food-Safety Regulations
University of Ottawa(渥太华大学)
本文通过准实验评估LLMs从法律文本生成Gherkin规范的能力,发现其在相关性和清晰性方面表现良好,但需人类监督以纠正遗漏和幻觉。
2026-03-11 cs.SE
Dynamic Conformance Testing of WebGPU Through Specification-Driven Mutation
New Jersey Institute of Technology(新泽西理工学院)
提出LANTERN框架,通过从WebGPU规范提取语法和语义约束来变异一致性测试,在Chromium中发现包括堆损坏在内的三个可复现错误,验证了语义感知变异测试的有效性。
2026-09-23 cs.CR cs.SE
SpecBench: Measuring Reward Hacking in Long-Horizon Coding Agents
Weco AI
该研究通过分解软件工程任务,提出了一种评估长周期编码代理中奖励黑客现象的方法,通过比较可见测试套件和隐藏测试套件的通过率差异,引入了SpecBench基准,展示了奖励黑客现象在不同任务长度上的显著影响。
2026-09-10 cs.AI cs.CL cs.SE
Automatic Software Diversity in the Light of Test Suites
一些作品解决了自动化软件多样化的挑战,他们都有一个核心思想:使用自动化测试套件来驱动多样化。然而,缺乏对测试套件、程序和转换在此过程中如何相互作用的坚实理解。我们探讨这种复杂的相互作用的背景下,一个特定的多元化技术称为“sosiefication”。Sosification生成Sosie程序,即,一种程序的变体,其中某些语句被删除、添加或替换,但仍能通过原程序的测试集。我们的调查的影响,测试套件的sossification利用以下观察:测试套件覆盖不同地区的程序在非常不平等的方式。因此,我们假设SOSIE合成在一个语句上有不同的性能,该语句被100个测试用例覆盖,而在一个语句上被一个单一的测试用例覆盖。我们合成24583 sosies 6流行的开源Java程序。我们的研究结果表明,有两个维度的多元化。第一个问题在于规格说明:越多的测试用例覆盖一个语句,越难合成sosies。然而,令我们惊讶的是,我们也能够在高度测试的语句(多达600个测试用例)上合成sosies,这表明了我们研究的程序的内在属性。第二个维度是在代码中:我们手动探索了几十个sosies,并描述了易于多样化的新类型的宽容代码区域。
2018-12-23 cs.SE
When Specifications Meet Reality: Uncovering API Inconsistencies in Ethereum Infrastructure
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);The Hong Kong Polytechnic University(香港理工大学);Beijing Institute of Technology(北京理工大学);Amber Group(安比集团);Huazhong University of Science and Technology(华中科技大学)
本文提出APIDiffer框架,通过规范引导的测试输入生成和虚假阳性过滤,自动检测以太坊客户端API不一致,发现72个bug,提升代码覆盖率并降低误报率,获得社区认可。
2026-03-06 cs.CR cs.SE
Model-Based Security Testing
安全测试的目的是验证与保密性、完整性、身份验证、授权、可用性和不可否认性等安全属性相关的软件系统需求。虽然安全测试技术已经存在了很多年,但很少有方法可以在更高的抽象级别上指定测试用例,以便能够指导测试识别和规范以及自动化测试生成。基于模型的安全测试(MBST)是一个相对较新的领域,特别致力于系统和有效的规范和文档的安全测试目标,安全测试用例和测试套件,以及它们的自动或半自动生成。特别是,安全建模和测试生成方法的组合仍然是一个挑战,在研究和工业应用的高度兴趣。MBST包括安全功能测试、基于模型的模糊测试、面向风险和威胁的测试以及安全测试模式的使用。本文提供了一个调查MBST技术和相关的模型,以及新的方法和工具,正在开发中的欧洲ITEA2项目钻石的样本。
2012-02-28 cs.SE
Supplementary Material for the Information Sciences Paper: An Experimental Study of Hyper-Heuristic Selection and Acceptance Mechanism for Combinatorial t-way Test Suite Generation
软件测试涉及到根据某些定义的规范访问程序功能的过程。为了确保一致性,测试工程师通常会生成一组测试用例来验证用户需求。由于软件的复杂性不断增加,并且越来越多地扩散到各种应用领域,软件项目在多个地点甚至分布在多个大陆上的测试团队已经不再罕见。由于许多软件开发活动的相互依赖性及其地理和时间问题,可能会有许多重叠的测试用例,这可能会导致共享模块之间的不必要的冗余(即,一项要求的测试可能被多项测试覆盖)。在本文中,我们探讨了我们新开发的超启发式,称为模糊推理选择(FIS),解决测试冗余减少问题的应用。本文介绍了对发表在《信息科学》上的论文《超启发式选择和接受机制在组合测试集生成中的实验研究》的补充结果。
2017-02-15 cs.SE
Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications
Fiverr Labs(Fiverr 实验室)
TDAD通过编译行为规范生成可执行测试,确保工具使用代理在生产环境中的行为合规性,提升测试质量和回归安全性。
2026-03-09 cs.AI cs.SE
TENET: One Step Toward Test-Driven Development for Repository-Level Code Generation
Purdue University(普渡大学);Microsoft Office AI(微软办公人工智能)
研究仓库级代码生成的测试驱动开发问题,提出TENET框架,含测试harness机制、定制工具集和细化工作流程,能选简洁测试套件,实现高效检索调试与迭代改进,性能优于基线,还研究了测试套件特征对LLM代理性能的影响。
2026-10-14 cs.AI cs.SE
Systematic Generation of Conformance Tests for JavaScript
使用大型手写测试套件测试JavaScript实现是否符合ECMAScript标准。不仅在这一繁琐的方法中,它还完全依赖于自然语言规范来区分行为,而隐藏的实现细节也会影响行为并引入分歧。我们建议通过动态符号执行polyfills生成一致性测试,这些polyfills是尚未得到广泛支持的新JavaScript语言功能的替代品。然后,我们对多个JavaScript实现运行这些生成的测试,使用多数投票来识别正确的行为。为了便于测试生成polyfill代码,我们引入了一个模型,结构化的符号输入,适合于动态性质的JavaScript。在我们的评估中,我们在广泛使用的core-js polyfill中发现了17个分歧,并且能够将解释器代码中的分支覆盖率提高15%。因为polyfill通常在标准化之前就已经编写好了,所以我们的方法将允许以更少的工作来维护和扩展标准化测试套件。
2021-08-16 cs.PL cs.SE
New Fault Domains for Conformance Testing of Finite State Machines
针对传统FSM一致性测试m-完全测试用例集仅适用于m-n较小场景的局限,提出基于状态可达假设的新型大故障域,证明Wp、HSI方法满足其k-A完全性,解决了Hennie提出的长期挑战。
2025-06-11 cs.FL cs.SE
Synthesizing Precise Protocol Specs from Natural Language for Effective Test Generation
CISPA Helmholtz Center for Information Security(CISPA 欧洲信息安全研究中心)
本研究提出了一种两阶段方法,利用大语言模型从自然语言规范生成形式化协议规范,以提高测试生成的效率和准确性。
2025-11-22 cs.LG cs.NI cs.SE
System Test Case Design from Requirements Specifications: Insights and Challenges of Using ChatGPT
IIIT Delhi(德里印度信息技术学院)
本文探讨使用LLMs(如ChatGPT-4o Turbo)从SRS文档生成系统测试用例的有效性,通过五个项目验证其87%有效性及15%新测试用例贡献,还可识别冗余,提升测试质量与效率。
2024-12-04 cs.AI cs.SE
Software Entropy: A Statistical Mechanics Framework for Software Testing
National University of Córdoba(科尔多瓦国立大学);Comisión Nacional de Actividades Espaciales(国家航天活动委员会);Consejo Nacional de Investigaciones Científicas y Técnicas(国家科学研究和技术委员会)
本文提出基于统计力学的软件熵定义,通过测试套件作为可执行规范的视角,分析测试如何限制程序空间,并引入信息加权指标评估测试对程序空间的约束作用。
2026-03-20 cs.IT cs.SE math.IT
SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs?
UC Berkeley(加州大学伯克利分校);Georgia Tech(佐治亚理工学院);UIUC(伊利诺伊大学厄巴纳-香槟分校);AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出Benchproofer流水线,将真实代码任务转化为形式化验证问题,构建SWE-Proof基准,证明形式化规范能捕获测试遗漏的错误并提升模型解决率,同时揭示规范忠实性合成的开放挑战。
2026-09-24 cs.AI cs.LG cs.SE
Inverting the Shield: Systematically Generating Safety Tests from Policy Specifications
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);National University of Singapore(新加坡国立大学);Independent Researcher(独立研究者)
提出POLARIS框架,通过将非结构化自然语言策略编译为一阶逻辑表示并构建语义策略图,实现覆盖驱动的可重复安全测试,相比基线方法提高了策略覆盖率和攻击成功次数。
2026-05-24 cs.AI cs.CR cs.SE
VeriScale: Adversarial Test-Suite Scaling for Verifiable Code Generation
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)科学与工程学院);School of Mathematics, Jilin University(吉林大学数学学院);School of Mathematical Sciences, Tongji University(同济大学数学科学学院);Zhiyuan College, Shanghai Jiao Tong University(上海交通大学紫阳学院);School of Future Technology, South China University of Technology(华南理工大学未来技术学院);Institute of Natural Sciences, Shanghai Jiao Tong University(上海交通大学自然科学研究院);MOE-LSC, CMA-Shanghai, Shanghai Jiao Tong University(上海交通大学MOE-LSC、CMA-上海)
本文提出VeriScale框架,通过对抗性实现扩展和缩减测试套件,提升代码生成的可验证性,实验表明VerinaPlus显著暴露了模型弱点,而VerinaLite在低成本下保持判别能力。
2026-05-21 cs.AI cs.LG cs.SE