Synthesizing a Progression of Subtasks for Block-Based Visual Programming Tasks
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);TU Wien(维也纳工业大学)
本文提出一种新颖的合成算法,将基于块的视觉编程任务分解为复杂度间隔合理的子任务递进序列,并通过Karel环境实验和Code.org用户研究验证其能提升AI智能体求解效能并辅助新手程序员。
2023-05-27 cs.AI cs.CY
Synthesizing Action Sequences for Modifying Model Decisions
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
当一个模型做出一个重要的决定时,例如,拒绝某人的贷款,它需要额外产生可操作的,现实的反馈,关于这个人可以做些什么来有利地改变决定。我们通过程序合成的镜头来处理这个问题,我们的目标是合成一个最佳(实际上最便宜或最简单)的动作序列,如果一个人成功执行,就可以改变他们的分类。我们提出了一种新的和一般的方法,结合基于搜索的程序合成和测试时的对抗攻击,构建动作序列的一组特定领域的行动。我们证明了我们的方法在一些深度神经网络上的有效性。
2019-10-09 cs.AI
VerMCTS: Synthesizing Multi-Step Programs using a Verifier, a Large Language Model, and Tree Search
Kempner Institute at Harvard University(哈佛大学肯普纳研究所);Harvard University(哈佛大学);TU München(慕尼黑工业大学);Northeastern University(东北大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);University of Oxford(牛津大学)
本文提出VerMCTS,结合验证器与LLM改进蒙特卡洛树搜索,在Dafny和Coq中合成已验证的多步程序,平均pass@5000提升超30%。
2024-05-24 cs.AI cs.LG cs.LO
VRDSynth: Synthesizing Programs for Multilingual Visually Rich Document Information Extraction
University of Melbourne(墨尔本大学);Cinnamon AI(肉桂人工智能公司);Deakin University(迪肯大学)
本研究提出无需预训练数据的多语言视觉富文档实体关系抽取程序合成方法VRDSynth,通过专用DSL与优化合成算法,在多基准上优于主流预训练模型,且内存占用显著更低。
2024-07-09 cs.AI
Modeling and Solving Graph Synthesis Problems Using SAT-Encoded Reachability Constraints in Picat
CUNY Brooklyn College & Graduate Center(纽约市立大学布鲁克林学院及研究生中心)
许多约束满足问题涉及合成满足某些可达性约束的子图。本文介绍了四个问题,从最近的LP/CP编程比赛中选择的Picat程序。这些程序展示了Picat语言的建模能力和具有有效编码的尖端SAT求解器的求解效率。
2021-09-17 cs.AI cs.PL
Can LLMs Reason About Program Semantics? A Comprehensive Evaluation of LLMs on Formal Specification Inference
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学)
本文引入综合基准 FormalBench 评估 LLM 对程序语义的推理能力,发现其在复杂结构(如循环)和语义保持变换上表现不佳,并设计自修复提示将成功率提升 25%。
2025-05-29 cs.AI cs.PL cs.SE
Neural-Guided Deductive Search for Real-Time Program Synthesis from Examples
Georgia Tech(佐治亚理工学院);Microsoft Research India(微软研究院印度);Microsoft Research Redmond(微软研究院雷德蒙德)
从少量的输入输出示例中合成用户预期的程序是一个具有挑战性的问题,有几个重要的应用程序,如电子表格操作,数据处理和代码重构。现有的合成系统要么完全依赖于大量手工设计的演绎逻辑技术,要么依赖于需要大量数据的纯统计模型,并且通常无法在具有挑战性的基准上提供实时的【形】合成。在这项工作中,我们提出了神经引导演绎搜索(NGDS),一种混合合成技术,结合了最好的符号逻辑技术和统计模型。因此,它生成的程序通过构造满足所提供的规范,并在看不见的示例上很好地泛化,类似于数据驱动系统。我们的技术有效地利用了演绎搜索框架,以减少学习问题的神经组件到一个简单的监督学习设置。此外,这使我们能够在有限的真实世界数据上进行训练,并仍然利用强大的递归神经网络编码器。我们证明了我们的方法的有效性,通过对真实世界的客户场景进行评估,通过合成准确的程序,与最先进的系统相比,速度高达12倍。
2018-09-09 cs.AI cs.LG cs.PL
Learning Program Synthesis for Integer Sequences from Scratch
Czech Technical University in Prague(布拉格捷克理工大学)
我们提出了一种从整数序列合成程序的自学习方法。我们的方法依赖于一个学习的政策指导下的树搜索。我们的系统进行了测试的在线百科全书的序列。在那里,它发现,自己,解决方案27987序列从基本的运营商和没有人写的训练样本。
2022-11-29 cs.AI cs.SC
WAMpy: Efficient Synthesis of Prolog Programs in Python
Centre for Cognitive Science(认知科学中心);Institute of Psychology(心理学研究所);Technische Universität Darmstadt(达姆施塔特工业大学)
WAMpy是一个Python框架,通过将Prolog编译为NumPy数组指令并利用Numba JIT加速,针对反复生成和评估小型候选程序的工作负载优化,相比SWI-Prolog显著提升端到端性能。
2026-10-05 cs.AI cs.PL
Theory and Techniques for Synthesizing a Family of Graph Algorithms
University of Texas at Austin(德克萨斯大学奥斯汀分校);Kestrel Institute(红隼研究所)
虽然广度优先搜索(BFS)比深度优先搜索(DFS)有几个优点,但它对空间的要求过高,这意味着算法设计者经常放弃它而选择DFS。为了解决这个缺点,我们引入了一个理论的高效BFS(EBFS),以及一个简单的递归程序模式进行搜索。该理论基于优势关系,这是搜索算法领域的一项长期技术。我们展示了如何理论可以用来系统地推导出两个图形算法,即单源最短路径问题和最小生成树问题的解决方案。解决方案是通过对推导进行小的系统性改变来找到的,揭示了这两个问题之间的联系,而这两个问题在教科书的演示中经常被掩盖。
2012-07-04 cs.AI cs.DS cs.PL
From {Solution Synthesis} to {Student Attempt Synthesis} for Block-Based Visual Programming Tasks
MPI-SWS(马克斯·普朗克软件系统研究所)
基于块的可视化编程环境越来越多地用于向初学者介绍计算概念。鉴于编程任务是开放式的和概念性的,新手学生在这些环境中学习时经常会遇到困难。人工智能驱动的编程导师在自动帮助有困难的学生方面有很大的希望,并且需要几个组件来实现这种潜力。我们调查的学生建模的关键组成部分,特别是,自动推断学生的误解预测(合成)他们的行为的能力。我们介绍了一种新的基准,StudentSyn,围绕以下挑战:对于一个给定的学生,合成学生的尝试后,观察学生的尝试在一个固定的参考任务的一个新的目标任务。该挑战类似于程序合成的挑战;然而,不是合成{解决方案}(即,专家会编写的程序),这里的目标是合成{学生尝试}(即,一个学生会写的程序)。我们首先表明,人类专家(TutorSS)可以实现高性能的基准,而简单的基线表现不佳。然后,我们开发了两种神经/符号技术(NeurSS和SymSS),以缩小与TutorSS的差距。
2023-03-29 cs.AI cs.CY cs.LG
Ranking LLM-Generated Loop Invariants for Program Verification
Microsoft Research(微软研究院)
针对LLM生成循环不变式需多次采样导致验证器调用过多的问题,提出一种对比排序器对候选不变式重新排序,显著提升了正确不变式的排名并减少了验证器调用次数。
2024-02-12 cs.AI cs.CL cs.PL
Controller Synthesis for Golog Programs over Finite Domains with Metric Temporal Constraints
RWTH Aachen University(亚琛工业大学)
在实际机器人上执行Golog程序通常需要额外的步骤来考虑机器人平台的硬件或软件细节,这些细节可以被公式化为对程序的约束。这些约束通常是时间性的,指的是度量时间,并且需要对抽象Golog程序进行修改。我们描述了如何制定这样的约束的基础上的模态变量的情况演算。这些约束连接抽象程序与平台模型,我们使用时间自动机描述。我们表明,在有限域和完全已知的初始状态的程序,合成的控制器,满足约束,同时保持原程序的效果的问题可以减少到MTL合成。我们这样做是通过构建一个时间自动机的抽象程序和合成MTL控制器从这个自动机,平台模型和约束。我们证明,合成的控制器的执行轨迹是相同的原始程序,可能交错与平台相关的行动,他们满足所有的约束条件,并且它们具有相同的效果作为原始程序的痕迹。通过这样做,我们得到一个可判定的过程来合成一个控制器,满足规格,同时保留原始程序。
2021-02-19 cs.AI cs.LO
CodeARC: Benchmarking Reasoning Capabilities of LLM Agents for Inductive Program Synthesis
Stanford University(斯坦福大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院);Intel(英特尔);Nanjing University(南京大学)
本文提出CodeARC评估框架与基准,通过交互式差分测试和迭代优化评估LLM智能体在归纳式程序合成任务中的推理能力,实验表明该任务极具挑战性且微调能显著提升性能。
2025-08-08 cs.AI cs.CL cs.LG
Write, Execute, Assess: Program Synthesis with a REPL
MIT(麻省理工学院);Harvard University(哈佛大学)
我们提出了一个神经程序合成方法集成组件的编写,执行和评估代码导航的搜索空间的可能的程序。我们配备了一个解释器或读取-评估-打印循环(REPL),立即执行部分编写的程序,暴露他们的语义搜索过程。REPL解决了程序合成的一个基本挑战:语法上的微小变化可能导致语义上的巨大变化。我们训练了一对模型,一个建议编写新代码的策略,以及一个评估到目前为止编写的代码的前景的价值函数。在测试时,我们可以将这些模型与顺序蒙特卡罗算法结合起来。我们将我们的方法应用到两个领域:合成文本编辑程序和推断2D和3D图形程序。
2019-06-09 cs.AI cs.LG cs.PL
AutoACSL: Synthesizing ACSL Specifications by Integrating LLMs with CPG-Based Static Analysis
University of Missouri–Kansas City(密苏里大学堪萨斯城分校);University of Central Missouri(中央密苏里大学)
提出AutoACSL框架,结合大语言模型与代码属性图语义特征,通过反馈驱动循环自动生成可验证的ACSL规范,在604个程序上达到98%生成成功率和96%完全证明率。
2026-06-23 cs.AI cs.SE
Program Synthesis Through Reinforcement Learning Guided Tree Search
Princeton University(普林斯顿大学)
程序合成是根据提供的规范生成程序的任务。传统上,这被程序设计语言(PL)社区视为搜索问题,最近被机器学习社区视为监督学习问题。在这里,我们提出了第三种方法,将给定程序的合成任务表示为可通过强化学习(RL)求解的马尔可夫决策过程。从部分程序的状态的观察,我们试图找到一个程序,是最佳的奖励度量对程序和状态。我们在RISC-V汇编语言的一个子集上实例化了这种方法,该语言操作于浮点数,作为PL社区基于搜索的技术的优化,我们将RL与优先级搜索树相结合。我们评估这种实例化,并证明了我们的组合方法的有效性相比,各种基线,包括纯RL消融和最先进的马尔可夫链蒙特卡罗搜索方法在这项任务上。
2018-06-08 cs.AI cs.LG cs.NE
Synthesis of Parametric Programs using Genetic Programming and Model Checking
Bar Ilan University(巴伊兰大学)
形式化方法应用基于数学原理的算法来增强系统的可靠性。尝试从验证、模型检验或根据系统的正式规范测试系统到自动构建系统,这是很自然的。经典的算法综合理论提供了有趣的算法,但也令人震惊的高复杂性和不可判定性的结果。结合模型检验和测试,遗传编程的使用提供了一个强大的启发式综合程序。该方法不是完全自动的,因为它由设置规格和参数的用户进行微调。它也不能保证总是成功并收敛到满足所有所需属性的解决方案。然而,我们成功地将其应用于相当重要的示例,并设法找到解决方案,以应对困难的编程挑战,以及改进和纠正代码。我们在这里描述了几个版本的我们的方法合成顺序和并发系统。
2014-02-27 cs.AI cs.NE cs.SE
Towards Neural-Guided Program Synthesis for Linear Temporal Logic Specifications
University of Toronto(多伦多大学);Vector Institute(向量研究所)
综合实现逻辑规范的程序是计算机科学中的经典问题。我们研究了一种特殊类型的程序合成,其目标是合成一种策略,该策略对潜在的敌对环境做出反应,同时确保所有执行满足线性时序逻辑(LTL)规范。不幸的是,通过逻辑推理解决所谓的LTL合成的精确方法不具有规模。在这项工作中,我们铸造LTL合成作为一个优化问题。我们采用了一个神经网络学习Q函数,然后用来指导搜索,并构建程序,随后验证的正确性。我们的方法在将搜索与深度学习相结合以实现LTL合成方面是独特的。在我们的实验中,学习的Q-函数提供了有效的指导与相对较小的规格的综合问题。
2019-12-31 cs.AI cs.FL cs.GT