Searching Latent Program Spaces
University of Amsterdam(阿姆斯特丹大学)
本文提出LPN,一种在测试时直接构建程序搜索能力的神经网络,通过学习隐含程序空间实现高效适应新任务。
2025-11-25 cs.AI cs.LG
Program Synthesis Through Reinforcement Learning Guided Tree Search
Princeton University(普林斯顿大学)
程序合成是根据提供的规范生成程序的任务。传统上,这被程序设计语言(PL)社区视为搜索问题,最近被机器学习社区视为监督学习问题。在这里,我们提出了第三种方法,将给定程序的合成任务表示为可通过强化学习(RL)求解的马尔可夫决策过程。从部分程序的状态的观察,我们试图找到一个程序,是最佳的奖励度量对程序和状态。我们在RISC-V汇编语言的一个子集上实例化了这种方法,该语言操作于浮点数,作为PL社区基于搜索的技术的优化,我们将RL与优先级搜索树相结合。我们评估这种实例化,并证明了我们的组合方法的有效性相比,各种基线,包括纯RL消融和最先进的马尔可夫链蒙特卡罗搜索方法在这项任务上。
2018-06-08 cs.AI cs.LG cs.NE
Tensor Program Optimization with Probabilistic Programs
OctoML;Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Amazon Web Services(亚马逊云科技)
随着我们在各种环境中部署深度学习,张量程序的自动优化变得越来越重要,而高效的优化依赖于丰富的搜索空间和有效的搜索。大多数现有的努力采用搜索空间,其缺乏有效地使领域专家能够增长搜索空间的能力。本文介绍了MetaSchedule,一个特定领域的概率程序设计语言的抽象,以构建一个丰富的张量程序的搜索空间。我们的抽象允许领域专家分析程序,并很容易地提出随机选择,在一个模块化的方式来组成相应的程序转换。我们还建立了一个端到端的学习驱动的框架,找到一个优化的程序,为给定的搜索空间。实验结果表明,MetaSchedule可以以模块化的方式覆盖最先进的张量程序优化框架中使用的搜索空间。此外,它使领域专家能够方便地扩展搜索空间并模块化地增强系统,从而使端到端深度学习工作负载加速48%。
2022-10-09 cs.LG
Symbolic Prompt Program Search: A Structure-Aware Approach to Efficient Compile-Time Prompt Optimization
Microsoft Research(微软研究院)
本文提出SAMMO框架,通过符号化表示和搜索提示程序变换,在指令微调、RAG流水线调优和提示压缩任务上提升复杂提示的性能。
2024-06-27 cs.AI cs.CL cs.LG
Latent Programmer: Discrete Latent Codes for Program Synthesis
Google Research(谷歌研究院)
在许多序列学习任务中,如程序合成和文档摘要,一个关键问题是在大空间的可能输出序列中搜索。我们建议学习专门用于搜索的输出表示:足够丰富以指定所需的输出,但足够紧凑以使搜索更有效。离散的潜在代码是吸引人的,因为它们自然允许复杂的组合搜索策略。使用自监督学习原理学习潜在代码,其中首先在输出序列上训练离散自动编码器,然后将所得潜在代码用作端到端序列预测任务的中间目标。基于这些见解,我们介绍了\emph{Latent Programmer},一个程序合成方法,首先预测一个离散的潜在代码从输入/输出的例子,然后生成的程序在目标语言。我们评估潜在的程序员在两个领域:字符串转换程序的合成,并从自然语言描述的程序生成。我们证明,离散的潜在表示显着提高合成精度。
2021-08-05 cs.AI cs.LG
Bayesian Program Learning by Decompiling Amortized Knowledge
Santa Fe Institute(圣塔菲研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院);The Alan Turing Institute(阿兰·图灵研究所)
提出一种直接利用神经搜索策略进行库学习的新方法,通过反编译其分摊知识提取程序组件,同时减少搜索广度与深度,提升了DreamCoder的领域掌握速度与泛化能力。
2024-05-31 cs.AI cs.LG cs.SE
Deep API Programmer: Learning to Program with APIs
MIT(麻省理工学院);Microsoft Research(微软研究院)
我们提出了DAPIP,一个通过示例编程的系统,它学习使用API进行编程以执行数据转换任务。我们设计了一种特定于域的语言(DSL),允许任意连接API输出和常量字符串。DSL由三个API家族组成:基于正则表达式的API、查找API和转换API。然后,我们提出了一种新的神经合成算法,以搜索与给定的一组示例相一致的DSL中的程序。搜索算法使用最近推出的神经架构来编码输入输出的例子,并在DSL中的程序搜索建模。我们表明,在合成和真实世界的基准测试中,合成算法的性能优于合成程序的基线方法。
2017-04-14 cs.AI cs.LG
Synthesizing Programmatic Reinforcement Learning Policies with Large Language Model Guided Search
National Taiwan University(台湾大学);Microsoft(微软公司)
本文提出LLM-GS框架,通过Pythonic-DSL策略和Scheduled Hill Climbing算法,利用大语言模型引导搜索高效合成程序化强化学习策略,显著提升样本效率并降低使用门槛。
2025-03-11 cs.AI cs.LG cs.PL
CrossBeam: Learning to Search in Bottom-Up Program Synthesis
Google Research(谷歌研究院);Cornell University(康奈尔大学)
CrossBeam 提出用神经模型学习自底向上程序合成的搜索策略,根据搜索历史与部分执行选择程序组合方式,并在字符串操作和逻辑编程任务上验证其能以更小的搜索空间实现高效合成。
2022-03-20 cs.LG cs.PL stat.ML
Learning logic programs through divide, constrain, and conquer
University of Oxford(牛津大学)
我们介绍了一个归纳逻辑程序设计的方法,结合了经典的分治搜索与现代的约束驱动搜索。我们的随时随地的方法可以学习最优的,递归的,和大型的程序,并支持谓词发明。我们在三个领域(分类,归纳一般的游戏,和程序合成)的实验表明,我们的方法可以提高预测精度,减少学习时间。
2021-12-07 cs.AI cs.LG
PyGlove: Symbolic Programming for Automated Machine Learning
Google(谷歌);Google Research(谷歌研究院)
神经网络对超参数和结构选择敏感。自动化机器学习(AutoML)是自动化这些选择的一个很有前途的范例。然而,当前的ML软件库在处理AutoML组件之间的动态交互方面非常有限。例如,高效的NAS算法(如ENAS和DARTS)通常需要在搜索空间和搜索算法(AutoML中的两个关键组件)之间实现耦合。此外,实现复杂的搜索流程(诸如在搜索硬件配置的循环内搜索架构)是困难的。总之,在当前ML库中更改搜索空间、搜索算法或搜索流程通常需要对程序逻辑进行重大更改。本文介绍了一种基于符号编程的AutoML编程方法。在这种范式下,ML程序是可变的,因此可以很容易地被另一个程序操纵。因此,AutoML可以重新表述为符号操作的自动化过程。利用这个公式,我们解耦了搜索算法的三角形、搜索空间和子程序。这种解耦使得更改搜索空间和搜索算法(不使用和使用权重共享)以及向现有代码添加搜索功能和实现复杂的搜索流变得容易。然后,我们介绍PyGlove,一个实现这种范式的新Python库。通过对ImageNet和NAS-Bench-101的案例研究,我们证明了使用PyGlove用户可以轻松地将静态程序转换为搜索空间,快速搜索搜索空间和搜索算法,并制作复杂的搜索流程以获得更好的结果。
2021-01-21 cs.LG cs.PL
Gradient-Based Program Repair: Fixing Bugs in Continuous Program Spaces
KTH Royal Institute of Technology(皇家理工学院)
本文提出基于梯度的程序修复方法,通过在可微数值程序空间中进行连续优化,有效修复符号程序中的错误,首次将程序修复视为数值空间中的连续优化问题。
2026-03-25 cs.LG cs.PL cs.SE
Neural-guided, Bidirectional Program Search for Abstraction and Reasoning
Massachusetts Institute of Technology(麻省理工学院);Raytheon BBN Technologies(雷神BBN技术公司);Boston University(波士顿大学);Princeton University(普林斯顿大学)
当今人工智能研究面临的挑战之一是设计能够利用系统推理来概括新任务的系统。抽象和推理语料库(ARC)通过一组视觉推理任务来衡量这种能力。在本文中,我们报告了ARC的渐进式进展,并为两种不基于蛮力搜索的抽象和推理方法奠定了基础。我们首先应用现有的程序合成系统称为DreamCoder创建符号抽象的任务解决到目前为止,并显示它如何使解决越来越具有挑战性的ARC任务。其次,我们设计了一个推理算法的动机,人类的方式接近ARC。我们的算法构造了一个搜索图,并在此图结构的原因,发现任务的解决方案。更具体地说,我们扩展现有的执行引导的程序合成方法与演绎推理的基础上的功能逆语义,使神经引导的双向搜索算法。我们证明了算法的有效性三个域:ARC,24场比赛的任务,和一个“双加”算术难题。
2021-10-26 cs.AI cs.LG
Learning Semantics-aware Search Operators for Genetic Programming
Poznan University of Technology(波兹南理工大学)
本文提出一种语义感知搜索算子,利用图神经网络建模程序指令与数据的交互并生成节点显著性图,引导遗传编程搜索潜在高质量解,在符号回归基准上优于传统树基遗传编程及其消融变体。
2025-02-06 cs.LG cs.NE
Auditing LLM Program Search for Bermudan Stopping with Primal--Dual Certificates
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究审计LLM驱动的百慕大期权程序搜索,发现生成程序未始终优于Ridge LSMC,对偶审计可验证有效性但无法证明搜索进展,结构化记忆无优势,搜索有效性取决于报告规则。
2026-10-14 cs.AI cs.LG
Learning to Search for Executable Patternmaking from Certified Programs
Macau University of Science and Technology(澳门科技大学)
提出SemDraft框架,从成对前后缝纫制版学习搜索可执行制版程序,经三项检查验证,训练的排序器在1000次搜索内验证更多顺序敏感案例。
2026-10-16 cs.AI cs.GR cs.LG
Program Synthesis with Best-First Bottom-Up Search
Department of Computing Science(计算科学系);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Alberta(阿尔伯塔大学)
针对现有代价引导自底向上搜索算法存在信息丢失、无法实现最佳优先搜索的问题,提出Bee Search算法及新代价函数,在复杂DSL的程序综合任务上性能更优。
2023-10-06 cs.LG
ProTuner: Tuning Programs with Monte Carlo Tree Search
UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院)
我们探索将蒙特卡罗树搜索(MCTS)算法应用于一项众所周知的困难任务:为高性能深度学习和图像处理调整程序。我们建立我们的框架顶部的卤化物,并表明MCTS可以优于国家的最先进的波束搜索算法。不像束搜索,这是由贪婪的部分和不太有意义的时间表之间的中间性能比较引导,MCTS比较完整的时间表,并期待在作出任何中间调度决策。我们进一步探讨修改标准MCTS算法,以及结合实际执行时间的测量与成本模型。我们的研究结果表明,MCTS可以优于束搜索的一套16个真正的基准。
2020-05-27 cs.AI cs.DC cs.LG
SPoC: Search-based Pseudocode to Code
Stanford University(斯坦福大学)
我们考虑的任务映射伪代码的功能正确的长程序。给定测试用例作为验证程序的机制,我们搜索伪代码的可能翻译的空间,以找到通过验证的程序。然而,没有适当的信用分配本地化的程序失败的来源,这是很难引导搜索到更有前途的程序。我们建议执行信用分配的信号编译错误,构成88.7%的程序失败的基础上。具体地说,我们把每个伪代码行的翻译作为程序的一个离散部分,每当一个合成的程序无法编译时,错误定位方法试图识别程序中负责失败的部分。然后,我们集中搜索这些部分的伪代码的替代翻译。为了进行评估,我们收集了包含18,356个人工编写的伪代码和测试用例的Sort数据集(基于搜索的伪代码到代码)。在100个程序编译的预算下,执行搜索将使用伪代码的前一个翻译的合成成功率从25.6%提高到44.7%。
2019-06-12 cs.CL cs.LG cs.PL
Procedural Content Metageneration via Program Search and Continual Abstraction Discovery
New York University(纽约大学);University of Malta(马耳他大学)
该研究在推箱子等4款游戏中,提出持续抽象发现(CAD)方法,结合2×2实验,证实其可提升进化程序搜索的适应度,且学习到的库能被后续程序复用。
2026-08-19 cs.AI cs.LG cs.NE
LambdaBeam: Neural Program Search with Higher-Order Functions and Lambdas
Google DeepMind(谷歌DeepMind);Cornell University(康奈尔大学)
LambdaBeam通过神经策略网络构造lambda函数并传递给高阶函数实现循环计算,解决了神经程序搜索无法处理高阶函数和lambda的问题,在整数列表操作领域优于神经、符号和LLM方法。
2023-10-28 cs.LG cs.PL
Representing Partial Programs with Blended Abstract Semantics
Massachusetts Institute of Technology(麻省理工学院)
从例子中合成程序需要在可能的程序的巨大的组合空间中搜索。在这个搜索过程中,一个关键的挑战是在程序可以执行之前表示部分编写的程序的行为,以判断它是否在正确的轨道上,并预测下一步在哪里搜索。我们介绍了一种通用的技术,用于表示部分编写的程序中的程序合成引擎。我们从抽象解释的技术,其中一个近似的执行模型是用来确定一个未完成的程序将最终满足一个目标规范的灵感。在这里,我们学习了一个近似的执行模型,它被实现为一个模块化的神经网络。通过构建组合程序表示,隐式编码的解释语义的底层程序设计语言,我们可以表示部分程序使用一个灵活的组合,具体的执行状态和学习的神经表示,使用学习的近似语义时,具体的语义是未知的(在未完成的部分程序)。我们表明,这些混合神经符号表示,使执行指导的合成器使用更强大的语言结构,如循环和高阶函数,并可以用来合成程序更准确地为一个给定的搜索预算比纯神经方法在几个领域。
2021-04-19 cs.AI cs.LG cs.PL
Improved Tree Search for Automatic Program Synthesis
Tel Aviv University(特拉维夫大学)
在自动程序合成的任务中,获得匹配的输入和输出对,并且以特定的领域专用语言(DSL)生成计算机程序,给定每个样本输入,该计算机程序返回匹配的输出。一个关键因素是能够在有效程序的空间中执行有效的搜索。在这里,我们提出了一个MCTS的变体,它可以在两个截然不同的DSL上获得最先进的结果。我们提出的探索方法包括多个贡献:修改的访问计数,训练数据集的预处理过程,以及编码已经执行的程序部分。
2023-03-13 cs.LG cs.PL cs.SE
Can You Improve My Code? Optimizing Programs with Local Search
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
本文提出POLIS局部搜索方法,逐行调用暴力综合算法迭代优化程序,并通过27人游戏编程用户研究和Stack Overflow概念验证表明其能显著提升可度量目标下的程序性能。
2023-07-10 cs.LG cs.PL cs.SE
Guided Sketch-Based Program Induction by Search Gradients
Toronto Metropolitan University(多伦多都会大学)
针对传统程序归纳难以适应多任务的问题,提出利用进化策略通过搜索梯度学习参数化程序的框架,允许注入特定任务代码至程序草图并实现端到端梯度优化加速学习。
2024-02-10 cs.LG cs.PL
LLM Program Optimization via Retrieval Augmented Search
University of Pennsylvania(宾夕法尼亚大学)
提出检索增强搜索(RAS)方法,利用LLM进行黑盒程序优化,通过检索慢-快程序对引导束搜索,并基于LLM生成的自然语言描述进行上下文检索,显著优于源码检索;同时提出AEGIS方法通过原子编辑提升可解释性。
2026-06-25 cs.LG
Molecular Design Based on Artificial Neural Networks, Integer Programming and Grid Neighbor Search
Kyoto University(京都大学)
最近提出了一种新的框架,用于使用人工神经网络和混合整数线性规划来设计具有期望化学性质的化合物的分子结构。在该框架中,具有目标化学值的化学图被推断为混合整数线性规划的可行解,该混合整数线性规划表示预测函数和对图的结构的其他要求。本文提出了一种通过在搜索空间中搜索输出化学图的邻域来生成混合整数线性规划的其它可行解的方法。该程序在框架中作为一个新的构建块合并。我们的计算实验的结果表明,所提出的方法可以产生额外的数量的新的化学图与多达50个非氢原子。
2021-08-23 cs.LG physics.chem-ph
Guided Evolution with Binary Discriminators for ML Program Search
Google DeepMind(谷歌DeepMind)
提出用二元判别器引导进化搜索,无需昂贵评估即可选择更优程序,加速机器学习程序自动设计,在符号优化器和强化学习损失函数上分别获得3.7倍和4倍加速。
2024-02-08 cs.LG cs.NE
ConceptSearch: Towards Efficient Program Search Using LLMs for Abstraction and Reasoning Corpus (ARC)
TCS Research(TCS研究院)
针对大语言模型直接应用于ARC效果有限的问题,提出基于概念评分引导的ConceptSearch程序搜索算法,相比直接用GPT-4提示性能显著提升,且概念评分比汉明距离效率最高高30%。
2024-12-11 cs.LG
Monte Carlo Tree Search for Execution-Guided Program Repair with Large Language Models
Illinois Institute of Technology Chicago, USA(伊利诺伊理工学院芝加哥分校)
CodePilot结合MCTS和大语言模型,通过执行反馈引导程序修复,实现高效的问题解决。
2026-01-28 cs.LG cs.SE
Neural Architecture Search as Program Transformation Exploration
University of Edinburgh(爱丁堡大学)
提高深度神经网络(DNN)的性能对编译器和神经架构搜索(NAS)社区都很重要。编译器应用程序转换以便利用硬件并行性和存储层次结构。然而,合法性问题意味着他们未能利用神经网络的自然鲁棒性。相比之下,NAS技术通过诸如卷积的分组或检查之类的操作来改变网络,从而利用DNN的弹性。在这项工作中,我们表示这样的神经架构操作程序转换的合法性取决于一个概念的代表能力。这允许它们与现有的转换组合成统一的优化框架。这种统一使我们能够将现有的NAS操作表示为更简单的转换的组合。至关重要的是,它允许我们生成和探索新的张量卷积。我们在TVM中对组合框架进行了原型设计,并能够在不同的DNN中找到优化,从而显着减少推理时间-在大多数情况下超过3 $\times$。此外,我们的计划大大减少了NAS搜索时间。代码位于~ \href{https://github.com/jack-willturner/nas-as-program-transformation-exploration}{this https url}。
2021-02-12 cs.LG cs.PL
Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules
The Swiss AI Lab, IDSIA(瑞士人工智能实验室(IDSIA));USI(意大利瑞士大学);SUPSI(瑞士意大利语区应用科学大学);KAUST(阿卜杜拉国王科技大学)
神经元常微分方程作为深度残差神经网络的连续时间模型引起了人们的广泛关注,并对递归神经网络进行了大量的扩展。自20世纪80年代以来,常微分方程也被用于推导NN学习规则的理论结果,例如,Oja规则和主成分分析之间的著名联系。这样的规则通常表示为具有直接ODE对应物的加性迭代更新过程。在这里,我们引入了一种新的学习规则和神经ODE的组合,以构建连续时间序列处理网络,该网络学习在其他网络的快速变化的突触连接中操纵短期记忆。这就产生了快速加权编程器和线性Transformers的连续时间对应物。我们的新模型在各种时间序列分类任务上优于现有的基于神经控制微分方程的最佳模型,同时还解决了其基本的可扩展性限制。代码是公开的。
2022-10-14 cs.LG
BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration
Google Research(谷歌研究院)
本文提出BUSTLE方法,通过学习模型引导自底向上搜索中的中间值组合优先级,利用程序执行语义和属性签名特征,在SyGuS竞赛及自建数据集上验证了学习与自底向上搜索结合的有效性。
2021-09-30 cs.LG cs.PL stat.ML
(Vector) Space is Not the Final Frontier: Product Search as Program Synthesis
New York University(纽约大学);Bauplan
本研究针对商品搜索中向量空间模型主导的现状,提出程序合成方法对多类查询和市场参与者有显著优势,详述其行业意义与实现细节,并结合Tooso的系统构建经验回应质疑。
2023-06-11 cs.CL cs.IR cs.LG
Bayesian Policy Search for Stochastic Domains
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of Oxford(牛津大学);KAIST(韩国科学技术院)
人工智能规划可以转换为概率模型中的推理,并且概率编程被证明能够在部分可观察域中进行策略搜索。先前的工作通过马尔可夫链蒙特卡洛在确定性域中引入策略搜索,以及将黑盒变分推理适应于随机域,但不是严格的贝叶斯意义上的。在这项工作中,我们投在随机域的贝叶斯推理问题的政策搜索,并提供了一个方案,编码这样的问题,嵌套的概率程序。我们认为,在随机域中的策略搜索的概率程序应涉及嵌套条件,并提供了一个适应轻量级大都市黑斯廷斯(LMH)在这样的程序中的强大的推理。我们将该计划应用于随机域,并表明学习到类似质量的政策,尽管更简单,更一般的推理算法。我们相信,所提出的LMH的变体是新颖的,适用于更广泛的一类概率程序与嵌套条件。
2020-10-01 cs.LG stat.ML
Ansor: Generating High-Performance Tensor Programs for Deep Learning
UC Berkeley(加州大学伯克利分校);Alibaba Group(阿里巴巴集团);Amazon Web Services(亚马逊云科技);Duke University(杜克大学)
Ansor通过分层搜索空间采样、进化搜索与学习成本模型,生成高性能张量程序,在Intel CPU、ARM CPU和NVIDIA GPU上分别提升性能高达3.8倍、2.6倍和1.7倍。
2023-10-15 cs.LG cs.NE cs.PF