How Powerful are LLMs in Generating Formal Program Specifications?
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of the Chinese Academy of Sciences（中国科学院大学）；School of Computer Science & Key Lab. of High Confidence Software Technologies of Ministry of Education, Peking University（北京大学计算机学院及教育部高可信软件工程重点实验室）；Zhongguancun Lab.（中关村实验室）
该研究引入基于Rocq的Coins评估框架，在HumanEval数据集上开展大规模研究，发现LLMs生成形式化程序规约仍具挑战，准确的规约评估是理解其能力的核心。
2026-08-14 cs.SE
How Effective are Large Language Models in Generating Software Specifications?
本文首次实证评估了大型语言模型从软件注释或文档生成软件规约的能力，通过少样本学习在三个公开数据集上比较13个LLMs与传统方法，并诊断失败案例以揭示各自优劣，为改进规约生成提供指导。
2025-02-09 cs.SE
DyPyBench: A Benchmark of Executable Python Software
本文提出 DyPyBench，一个包含 50 个可执行开源 Python 项目、681k 行代码和 30k 测试用例的动态分析基准，并展示其在调用图比较、LExecutor 训练和 API 规范挖掘中的应用。
2024-03-01 cs.SE
ESBMC-Python: A Bounded Model Checker for Python Programs
本文提出 ESBMC-Python，首个基于有界模型检查的 Python 代码验证器，通过类型注解、中间表示转换和 SMT 求解实现程序验证，并在以太坊共识规范中发现真实问题。
2024-07-03 cs.SE
DockerizeMe: Automatic Inference of Environment Dependencies for Python Code Snippets
像Stack Overflow和GitHub的gist系统这样的平台通过分发旨在说明特定任务的代码片段来促进思想和编程技术的共享。Python是一种流行且快速增长的程序设计语言，在这两个网站上都有大量使用，在Stack Overflow上有近100万个问题，在GitHub上有40万个公共gist。不幸的是，通过这些网站共享的Python示例代码中，大约75%不能直接执行。当在干净的环境中运行时，超过50%的公共Python gist由于缺少库的导入错误而失败。我们提出了DockerizeMe，一种用于推断执行Python代码片段所需的依赖关系而不会发生导入错误的技术。DockerizeMe首先从Python包索引（PyPI）中获取流行Python包的资源和依赖项的离线知识获取。然后，它使用基于图的推理过程构建Docker规范。我们的推理过程解决了Gistable数据集中近3,000个gistable中的892个导入错误，Gistable的基线方法无法找到并安装所有依赖项。
2019-05-27 cs.SE
SpecTra: Enhancing the Code Translation Ability of Language Models by Generating Multi-Modal Specifications
Columbia University（哥伦比亚大学）；IBM Research（IBM研究院）
SpecTra通过生成多模态规范提升LLM的代码翻译能力，实现高达46%的性能提升。
2025-12-04 cs.SE
LLM Agents for Generating Microservice-based Applications: how complex is your specification?
post.runi.ac.il（runi学院）
本文评估LLM智能体生成微服务应用代码的能力，提出规格说明难度评分标准，发现强模型在中等难度表现尚可但高难度欠佳，并证明细粒度生成方法可提升代码正确性。
2025-10-26 cs.LG cs.SE
VerifyThisBench: Generating Code, Specifications, and Proofs All at Once
针对现有代码生成基准饱和且缺乏可信度保障的问题，本文提出VerifyThisBench基准，要求模型从自然语言提取规范、实现并证明，评估显示SOTA模型通过率低于4%，并发布基准与环境以推动形式验证能力。
2025-10-07 cs.SE
Automated Generating Natural Language Requirements based on Domain Ontology
软件需求规格说明对于整个软件生命周期无疑是至关重要的。如今，编写软件需求规格说明主要依赖于人类的工作。虽然已经提出了大量的研究，通过提出先进的启发和分析技术，以加快这一进程，它仍然是一个耗时和容易出错的任务，需要考虑到领域知识和业务信息。在本文中，我们提出了一种方法，命名为ReqGen，它可以提供建议，自动生成自然语言的需求规格说明的基础上，某些给定的关键字。具体来说，ReqGen包括三个关键步骤。首先，从领域本体中选择面向关键词的知识，并将其注入到基本的统一预训练语言模型（UniLM）中进行领域微调。其次，集成了复制机制，以确保关键字在生成的语句中出现。最后，设计了一种需求语法约束的解码方法，以缩小候选规范和参考规范之间的语义和语法距离。在两个来自不同领域和不同群体的公共数据集上的实验表明，ReqGen在关键词（短语）包含的硬约束、BLEU、ROUGE和语法遵从性方面优于六种流行的自然语言生成方法。我们相信ReqGen可以提高软件需求描述的效率和智能性。
2022-11-30 cs.SE
Does Python Smell Like Java? Tool Support for Design Defect Discovery in Python
这项工作的背景是规范，检测和最终删除源代码中与软件设计和实现中的缺陷相关的可检测有害模式。特别是，我们调查了五个代码气味和四个以前在论文和书籍中定义的反模式。我们的调查是关于检测那些在Python程序设计语言编写的源代码，这是从所有以前的研究，其中大部分涉及Java或C类语言有很大的不同。我们的方法是软件工程师的方法：我们处理了关于这个主题的现有研究文献，提取了九个设计缺陷的抽象定义及其具体的实现规范，在我们编写的工具中实现了它们，并将其释放在从数千个GitHub项目的开源代码中获得的巨大测试集上。当涉及到知识时，我们发现Python中被认为太长的方法是Java中的两倍多（从统计学上看，比同一项目中的相邻方法要长得多），但在Python代码中发现长参数列表的可能性是Java代码的七倍。我们还发现，函数分解（Functional Decomposition）在Java中的定义方式，在Python代码中根本找不到，意大利面条代码和上帝类也非常罕见。这些结果的基础和信心来自于我们在32'058'823行Python代码上进行的实验，这是迄今为止免费提供的Python解析器的最大测试集。我们还设计了这样一种方式，它与以前的研究在Java中的设计缺陷检测，以方便比较，如果我们把我们自己的行动作为一个复制对齐的实验。因此，这项工作的重要性在于它独特的、最高质量的开放式Python语法，经过数百…
2017-03-31 cs.PL cs.SE
APITestGenie: Generating Web API Tests from Requirements and API Specifications with LLMs
Deloitte（德勤）；Faculty of Engineering, University of Porto（波尔图大学工程学院）；LIACC, Faculty of Engineering, University of Porto（波尔图大学工程学院 LIACC）；INESC TEC, Faculty of Engineering, University of Porto（波尔图大学工程学院 INESC TEC）
本文提出APITestGenie工具，利用LLM、RAG和提示工程从业务需求和OpenAPI规范自动生成API测试，测试覆盖率达89%，发现API缺陷，提升测试与需求的一致性。
2026-04-02 cs.SE
DocGen: Generating Detailed Parameter Docstrings in Python
Australian National University（澳大利亚国立大学）
针对开源软件中文档债务问题，提出多步骤方法结合多个特定任务模型，为Python函数生成详细参数文档字符串，实验证明其优于现有方法。
2023-11-17 cs.CL cs.SE
LM2Alloy: Investigating LLM-Generated Formal Specifications for Automated Test Derivation in Production Software
North Dakota State University（北达科他州立大学）
该研究探索用大语言模型从需求文档和生产源代码生成Alloy形式规范及推导可执行测试用例，在Flipper和Cerberus库上评估，发现能揭示约束级缺陷，基于代码的规范方差更低，为生产软件自动测试推导提供了新方法。
2026-07-22 cs.SE
Specification-Driven Code Translation Powered by Large Language Models: How Far Are We?
Concordia University（康考迪亚大学）；York University（约克大学）
本文探讨了利用自然语言规范作为中间表示进行代码翻译的效果，通过多数据集和语言对实验发现，结合源代码可提升特定语言对的翻译质量，但整体效果不一致。
2026-05-02 cs.SE
Generating a Performance Stochastic Model from UML Specifications
自从Connie Smith提出软件性能工程（SPE）以来，软件性能工程的过程越来越受到人们的关注。其思想是将性能评估引入软件设计过程。这种合适的方法允许软件设计人员在设计期间确定软件的性能。已经提出了几种方法来提供这样的技术。他们中的一些人建议从UML（统一建模语言）模型中导出一个性能模型，如随机Petri网（SPN）或随机进程代数（SPA）模型。我们的工作属于同一类别。我们建议从一个UML模型的随机自动机网络（SAN），以获得性能预测。由于SAN的模块性及其与UML状态图的高度相似性，我们的方法更加灵活。
2012-02-02 cs.PF cs.SE
CiRA: An Open-Source Python Package for Automated Generation of Test Case Descriptions from Natural Language Requirements
本文介绍CiRA工具，它从条件性自然语言需求中自动提取因果关系，生成全覆盖的最小测试用例集，并在61条需求上分别以84.5%和92.3%的准确率推断测试变量与配置。
2023-10-12 cs.SE
ObSynth: An Interactive Synthesis System for Generating Object Models from Natural Language Specifications
Massachusetts Institute of Technology（麻省理工学院）
我们介绍ObSynth，一个交互式系统，利用嵌入在大语言模型（LLM）的领域知识，以帮助用户设计对象模型，从高层次的自然语言提示。这是规范具体化的一个例子，将一个高层次的、潜在的模糊规范具体化为一个更具体的形式。我们通过用户研究评估ObSynth，得出三个关键发现：首先，使用ObSynth设计的对象模型更详细，表明它经常合成用户可能忽略的字段。其次，ObSynth生成的大多数对象、方法和字段都由用户保存在最终的对象模型中，突出了生成组件的质量。第三，ObSynth改变了参与者的工作流程：他们专注于检查合成组件是否正确，而不是从头开始生成它们，尽管ObSynth并没有减少参与者生成对象模型的时间。
2022-10-20 cs.HC cs.LG cs.SE
Generating Energy-efficient code with LLMs
Informatics Institute Universiteit van Amsterdam Amsterdam, The Netherlands（信息学院荷兰阿姆斯特丹大学）
本研究通过修改提示词（如添加节能指令或最佳实践）测试五种LLM在三个Python问题上的代码生成能耗，发现特定组合可降低能耗，但无统一提示词对所有问题有效。
2025-06-22 cs.AI cs.SE
Designing text representations for existing data using the TextFormats Specification Language
TextData是一个用于高效和用户友好地创建文本格式规范的软件系统，可从多种程序设计语言（C/C++，Python，Nim）和Unix命令行访问。要使用格式，必须创建以文本编辑器的规约语言（TFSL）编写的规范。该规范为格式的每个部分定义了数据库。TextData规范中数据类型定义的语法基于文本表示。因此，该系统非常适合于现有格式的描述。然而，当创建一个新的文本格式来表示现有数据时，用户可以根据值的类型和表示选项使用不同的可能定义。本研究探讨了可能的定义语法的文本的规约语言用于创建标量值（例如字符串，数值，布尔）和复合数据结构（例如数组，映射）的文本表示。分析的结果系统地提出，连同每一种类型的不同的值，可以表示的例子，和使用建议。
2023-01-31 cs.PL cs.SE
Generating Complete and Finite Test Suite for ioco: Is It Possible?
输入/输出转换系统的测试已经被深入研究。实现和规范之间的一致性通常由所谓的ioco-relation确定。但是，为ioco生成测试通常会受到输入和输出之间冲突问题的阻碍。此外，生成主要是基于不确定性的方法，这可能会提供完整的测试套件，但需要无限数量的执行。在本文中，我们研究是否有可能构建一个有限的测试套件，这是完全的，在一个预定义的故障域的经典ioco关系，即使在存在输入/输出冲突。我们通过提出一种基于为有限状态机开发的传统方法的完整测试生成方法，证明在有关规范和实现的某些假设下这是可能的。
2014-03-28 cs.SE
DesignBIP: A Design Studio for Modeling and Generating Systems with BIP
行为-交互-优先级（BIP）框架，植根于严格的语义，允许系统的建设是正确的设计。BIP已被有效地用于大型系统的构建和分析，如机器人控制器和卫星机载软件。然而，BIP模型的规范是以纯文本的方式完成的，没有任何代码编辑器的支持。为了方便BIP模型的规范，我们提出了DesignBIP，一个基于Web的，协作的，版本控制的设计工作室。为了提高模型的可伸缩性和可重用性的BIP模型，我们使用一个图形化的语言建模的参数化BIP模型具有严格的语义。我们介绍了Design Studio提供的各种服务，包括模型编辑器、代码编辑器、一致性检查机制、代码生成器以及与JavaBIP工具集的集成。
2018-05-31 cs.SE
OASBuilder: Generating OpenAPI Specifications from Online API Documentation with Large Language Models
IBM Research（IBM研究院）
OASBuilder利用大语言模型和规则算法，将在线API文档自动转换为机器可读的OpenAPI规范，在数百个API上验证有效，并已在企业环境部署，节省大量人工。
2025-07-07 cs.AI cs.SE
An Empirical Study of Automated Unit Test Generation for Python
对于诸如Java之类的静态类型程序设计语言，存在各种成熟的自动化测试生成工具。然而，由于Python等动态类型化程序设计语言的动态特性以及类型信息的缺乏，自动生成这些语言的单元测试要困难得多。我们的Pynguin框架为Python提供了自动化的单元测试生成。在本文中，我们扩展了我们以前在Pynguin上的工作，以支持Python语言的更多方面，并通过研究各种成熟的最先进的测试生成算法，即DynaMOSA，MIO和MOSA。此外，我们改进了Pynguin工具来生成回归断言，我们还评估了其质量。我们的实验证实，进化算法在Python环境中也可以优于随机测试生成，与Java世界类似，DynaMOSA产生最高的覆盖率结果。然而，我们的结果也表明，仍然存在一些基本的遗留问题，例如在没有这些信息的情况下推断代码的类型信息，目前限制了Python测试生成的有效性。
2022-07-17 cs.SE
COFO: COdeFOrces dataset for Program Classification, Recognition and Tagging
本研究提出从Codeforces爬取的COFO数据集，含809个类别、36.9万份多语言源代码及相关元数据，可支撑程序分类、打标等软件工程领域的机器学习研究。
2025-03-24 cs.SE
DiffSpec: Differential Testing with LLMs using Natural Language Specifications and Code Artifacts
DiffSpec框架利用自然语言规范与代码工件引导大语言模型生成差分测试，在eBPF运行时和Wasm验证器中发现多个已确认缺陷。
2025-05-06 cs.SE
Chat-like Asserts Prediction with the Support of Large Language Model
本文提出基于大语言模型的\ ool方法，利用角色设定、思维链和单样本学习，结合LLM与Python解释器多轮通信，为Python项目生成有意义的断言语句，准确率优于现有方法，有助于推动自动化单元测试发展。
2024-07-31 cs.SE
AutoReSpec: A Framework for Generating Specification using Large Language Models
Texas State University（德克萨斯州立大学）
本文提出AutoReSpec框架，通过动态选择LLM和提示配置，结合协作模型反馈，提升规范生成的准确性和效率，实验显示其在成功概率和完整性上优于现有方法。
2026-04-04 cs.AI cs.SE
VeriPy Source-Preserving Verification and Compatibility Checking for Python Components
Astrio Labs（Astrio实验室）
VeriPy提出一种统一工作流，通过注释表达契约并生成Dafny/Lean工件，实现Python组件的源级验证与向后兼容性检查。
2026-10-05 cs.LO cs.PL cs.SE
Generating Unit Tests for Documentation
软件项目捕获各种工件中的信息，包括源代码、测试和文档。这样的伪像通常编码冗余的信息，即，当编码在源代码中的规范也被单独测试和记录时。如果没有技术支持，这种重复很容易导致不一致和文件质量下降。我们设计了一种工具支持的技术，称为DScribe，它利用测试和文档之间的冗余来生成一致的和可检查的文档和基于单一信息源的单元测试。DScribe基于新的模板和工件生成技术生成单元测试和文档片段。通过配对测试和文档生成，DScribe提供了一种自动检测和替换过时文档的机制。我们对Apache Commons IO库的评估显示，在835个关于异常处理的规范中，85%的规范没有经过测试或正确记录，而DScribe可以用来自动生成97%的测试和文档。
2020-05-20 cs.SE
Leveraging LLMs for Formal Software Requirements -- Challenges and Prospects
本文提出VERIFAI项目，探索结合NLP、本体建模与LLM等方法，从非正式自然语言需求自动生成可验证形式化规格说明，并总结关键挑战与研究方向。
2025-08-28 cs.SE
Automatically Generating Dockerfiles via Deep Learning: Challenges and Promises
容器化允许开发人员定义需要安装其软件的执行环境。Docker是该领域的领先平台，使用它的开发人员需要为他们的软件编写Dockerfile。编写Dockerfiles绝非易事，特别是当系统对其执行环境有不寻常的要求时。尽管有几种工具可以支持开发人员编写Dockerfiles，但考虑到执行环境要求的高级规范，它们都无法从头开始生成整个Dockerfiles。在本文中，我们提出了一项研究，旨在了解深度学习（DL）在多大程度上可用于此特定的编码任务，该深度学习已被证明在其他编码任务中是成功的。我们初步定义了Dockerfile需求的结构化自然语言规范，以及我们用来从目前可用的最大Dockerfiles数据集中自动推断需求的方法。我们使用所获得的数据集（具有670，982个实例）来训练和测试文本到文本传输Transformer（T5）模型，遵循当前最先进的编码任务程序，从结构化规范自动生成Dockerfiles。我们的评估结果表明，T5的表现类似于我们考虑的更平凡的基于IR的基线。我们还报告了在Dockerfile生成的背景下与深度学习应用相关的开放性挑战。
2023-03-28 cs.SE
Model-based generation of natural language specifications
形式化模型的应用为软件和系统开发提供了许多好处，然而，形式语言的学习曲线可能是工业项目的关键因素。因此，反映正式模型所有方面的自然语言规范可能有助于理解模型，并且对于不知道相应形式语言的涉众特别有用。此外，在模型被修改的情况下，从模型自动生成文档将取代手动更新文档。本文介绍了一个正在进行的工作产生自然语言规格从形式化模型。我们的目标是从基本的建模工件（如数据类型、状态机和架构组件）生成英文文档。为了允许进一步的正式分析生成的规范，我们限制英语的子集，Attempto控制英语。
2016-12-06 cs.SE
From Syntactic Theories to Interpreters: A Specification Language and Its Compilation
近年来，人们越来越需要高级规约语言和从规约生成代码的工具。在本文中，我们介绍了一个规约语言，{ \splname }，这是专门为语言语义的句法理论的写作。更具体地说，该语言支持指定诸如动态约束、上下文、公理和推理规则之类的基本概念。我们还介绍了一个系统，生成解释器从{ \splname }规格。一个原型系统的实现，并已进行了测试的一些例子，包括Verilog的语法理论。
2000-09-29 cs.PL cs.SE
Benchmarking Text-to-Python against Text-to-SQL: The Impact of Explicit Logic and Ambiguity
Zhejiang University of Technology（浙江工业大学）；University of Aberdeen（阿伯丁大学）
本文提出BIRD-Python基准测试，通过逻辑完成框架解决文本到Python与SQL的性能差异问题，证明Python在分析代理中的可行性。
2026-01-23 cs.AI cs.SE
CodeSpecBench: Benchmarking LLMs for Executable Behavioral Specification Generation
The Hong Kong Polytechnic University（香港理工大学）；University of Edinburgh（爱丁堡大学）；UCL（伦敦大学学院）；CUHK (SZ)（香港中文大学（深圳））；SUTD（新加坡科技设计大学）；HKUST（香港科技大学）；CUHK（香港中文大学）；HKUST (GZ)（香港科技大学（广州））
本文提出CodeSpecBench，一个基于执行评估协议的LLM可执行行为规范生成基准，评估了15种最新LLM在函数和仓库级任务中的表现，发现仓库级任务性能显著下降，且规范生成比代码生成更具挑战性。
2026-04-14 cs.CL cs.SE
Adaptive Hierarchical Evaluation of LLMs and SAST tools for CWE Prediction in Python
Open Source Institute Faculty of Science（开源研究所科学学院）；Technology University of Canberra Canberra, Australia（技术大学堪培拉澳大利亚）
本文提出ALPHA基准，通过层次化惩罚评估LLM和SAST工具在Python中CWE预测的性能，发现LLM在整体表现上优于SAST，但SAST在检测发生时精度更高，且模型间预测一致性差异显著。
2026-01-04 cs.AI cs.SE
Neuro-Symbolic Generation and Validation of Memory-Aware Formal Function Specifications
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Shanghai Innovation Institute（上海创新研究院）；School of Computer Science and Engineering, University of Washington（华盛顿大学计算机科学与工程学院）
本文提出神经符号框架，通过自然语言描述和函数签名生成内存感知的形式函数规范，结合符号证明器和验证工具链迭代优化，提升形式规范的正确性与语法有效性。
2026-03-12 cs.AI cs.SE
Evaluating AI-generated code for C++, Fortran, Go, Java, Julia, Matlab, Python, R, and Rust
Louisiana State University（路易斯安那州立大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文通过数值积分、共轭梯度和并行热方程三个任务，评估ChatGPT 3.5/4在九种语言中生成科学计算代码的编译、性能与准确性。
2024-07-05 cs.AI cs.SE
A Component-Based Formal Language Workbench
CBS框架支持程序设计语言的基于组件的规范。它的目标是大大减少形式语言规范的工作量，从而鼓励语言开发人员更广泛地利用形式语义。CBS提供了一个广泛的可重用语言规范组件库，促进了语言及其规范的共同进化。在介绍了CBS及其正式定义之后，这篇简短的论文报告了根据定义为CBS生成IDE的工作进展。它还考虑了在其他形式语言工作台上支持基于组件的语言规格说明的可能性。
2019-12-23 cs.PL cs.SE
Describing Console I/O Behavior for Testing Student Submissions in Haskell
提出一种形式化语言用于指定控制台I/O程序行为，以测试学生编写的Haskell程序，并支持概率性机械检查及教育中的反馈与任务生成。
2025-06-26 cs.PL cs.SE
Advancing Visual Specification of Code Requirements for Graphs
University of Oregon（俄勒冈大学）
人文学科的研究人员是目前正在探索大数据世界的许多人之一。他们已经开始使用Python或R等程序设计语言及其相应的库来操作大型数据集并发现全新的见解。仍然存在的主要障碍之一是将这些数据的可视化整合到他们的项目中。可视化库可能很难学习如何使用，即使是那些受过正规培训的人。然而，这些可视化对于识别主题和将结果传达给其他研究人员以及公众至关重要。本文的重点是使用机器学习生成有意义的数据可视化。我们允许用户直观地指定他们的代码要求，以降低人文研究人员学习如何编程可视化的障碍。我们使用一种混合模型，结合神经网络和光学字符识别来生成代码以创建可视化。
2020-07-29 cs.CV cs.HC cs.LG
Which Algorithm Specification Formats Help Language Models Implement Machine Learning Algorithms?
Data Analytics Department, Mizuho-DL Financial Technology, Co., Ltd.（Mizuho-DL金融科技公司数据分析部门）；NP-hard Inc.（NP-hard公司）
研究算法规范书面格式对大语言模型首次实现准确性的影响，比较多种格式在五个机器学习任务、三个模型和四个实验设置下的表现，发现不同情况下各格式效果有差异，给出写作建议。
2026-07-07 cs.AI cs.LG cs.SE
Inverting the Shield: Systematically Generating Safety Tests from Policy Specifications
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；National University of Singapore（新加坡国立大学）；Independent Researcher（独立研究者）
提出POLARIS框架，通过将非结构化自然语言策略编译为一阶逻辑表示并构建语义策略图，实现覆盖驱动的可重复安全测试，相比基线方法提高了策略覆盖率和攻击成功次数。
2026-05-24 cs.AI cs.CR cs.SE
OSVBench: Benchmarking LLMs on Specification Generation Tasks for Operating System Verification
OSVBench通过长上下文任务评估LLMs在操作系统验证中的规范生成能力，揭示现有模型在复杂代码生成任务中的性能差异。
2025-12-07 cs.AI cs.CL cs.OS
KBSpec: LLM-driven Formal Specification Generation with Evolving Domain Knowledge Base
Institute for Software Chinese Academy of Sciences（中国科学院软件研究所）
提出KBSpec方法，利用外部官方文档和内部验证器反馈的双源知识增强LLM，通过自演化知识库持续更新成功轨迹，无需调参或标注数据，在JML规约生成上验证通过率提升10-25%。
2026-08-17 cs.PL cs.SE
SpecTrum: Specification-Guided Differential Fuzzing for Ethereum Consensus Clients
KAIST（韩国科学技术院）；Sungkyunkwan University（成均馆大学）
SpecTrum是一个规范引导式差异模糊测试框架，通过机械化以太坊共识规范、定义前提覆盖率、生成针对性测试输入，识别出5个主流以太坊共识客户端间的27个跨客户端分歧案例，其中22个为新增发现。
2026-08-19 cs.CR cs.PL cs.SE
DualGauge: Automated Joint Security-Functionality Benchmarking of Specification-Only Code Generation by LLMs and Coding Agents
University at Buffalo, SUNY（布法罗大学）
提出DualGauge框架，首个自动化联合评估规范代码正确性与安全性的系统，通过307个任务基准测试发现功能正确性高估可靠代码生成，联合成功率低于15%，且模型因素和代理系统均无法可靠提升。
2026-10-30 cs.AI cs.CR cs.SE
SPDZCoder: Combining Expert Knowledge with LLMs for Generating Privacy-Computing Code
Tsinghua University（清华大学）；Peking University（北京大学）
本文提出SPDZCoder框架，结合专家知识与LLM，无需额外训练数据即可通过三阶段流水线将Python代码转换为MP-SPDZ隐私计算代码，并构建了SPDZEval基准，在pass@1和pass@2上显著超越基线。
2025-03-21 cs.AI cs.CR cs.SE
LangChoiceBench: Measuring and Explaining Programming-Language Choice in LLMs
King’s College London（伦敦国王学院）；MATS Research（MATS研究院）
本研究推出LangChoiceBench基准，评估25种LLMs的代码语言选择，发现其普遍过度选择Python、一致性低，小开放模型偏好更强，还揭示了模型的虚假证据等失败模式。
2026-08-07 cs.CL cs.SE
Jas: AI-Paired Engineering as a Revival of N-Version Programming
Independent（独立）
本研究通过单开发者跨平台移植矢量图应用的案例，提出AI配对工程方法，结合精确YAML规范与并行实现作为差分测试层，使传统需多人年的工作变得可行，并视其为N版本编程的复兴。
2026-06-05 cs.AI cs.SE
DesignBIP: A Design Studio for Modeling and Generating Systems with BIP
行为-交互-优先级（BIP）框架，植根于严格的语义，允许系统的建设是正确的设计。BIP已被有效地用于大型系统的构建和分析，如机器人控制器和卫星机载软件。然而，BIP模型的规范是以纯文本的方式完成的，没有任何代码编辑器的支持。为了方便BIP模型的规范，我们提出了DesignBIP，一个基于Web的，协作的，版本控制的设计工作室。为了提高模型的可伸缩性和可重用性的BIP模型，我们使用一个图形化的语言建模的参数化BIP模型具有严格的语义。我们介绍了Design Studio提供的各种服务，包括模型编辑器、代码编辑器、一致性检查机制、代码生成器以及与JavaBIP工具集的集成。
2018-07-05 cs.FL cs.LO cs.SE
Specify What? Enhancing Neural Specification Synthesis by Symbolic Methods
Chalmers University of Technology（查尔姆斯理工大学）
本研究结合大语言模型与Frama-C生态的Pathcrawler、EVA符号分析工具，增强ACSL格式C程序规约合成质量，且方法更倾向推断程序意图而非实际行为。
2024-09-18 cs.FL cs.LG cs.SE
Developing controlled natural language for formal specification patterns using AI assistants
Institute of Automation and Electrometry（自动化与电测研究所）
本文提出利用AI助手开发受控自然语言的方法，通过三个阶段构建基于形式规范模式的自然语言需求，用于事件驱动的时间要求分析。
2025-12-30 cs.AI cs.FL cs.SE
