Neural Guided Constraint Logic Programming for Program Synthesis
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Uber ATG(优步先进技术集团)
使用示例输入/输出来综合程序是人工智能中的经典问题。我们提出了一种方法来解决编程的例子(PBE)的问题,通过使用神经模型来指导搜索的约束逻辑编程系统称为miniKanren。至关重要的是,神经模型使用miniKanren的内部表示作为输入; miniKanren将PBE问题表示为由所提供的示例施加的递归约束。我们探讨了递归神经网络和图神经网络模型。我们提供了一个修改后的miniKanren,可由外部代理驱动,可在https://github.com/xuexue/neuralkanren上获得。我们表明,我们的神经引导的方法,使用约束可以合成程序更快地在许多情况下,重要的是,可以推广到更大的问题。
2018-10-26 cs.LG stat.ML
Programming Puzzles
MIT(麻省理工学院);Allen Inst. for AI(艾伦人工智能研究所);Microsoft Research(微软研究院)
我们引入了一种新型的编程挑战,称为编程谜题,作为对程序合成的客观和全面的评估,并发布了Python编程谜题(P3)的开源数据集。每个谜题都由一个简短的Python程序$f$定义,目标是找到一个使$f$返回True的输入。这些谜题是客观的,因为每个谜题都完全由其验证者$f$的源代码指定,因此测试候选解所需的全部就是对$f$进行评估。它们不需要答案键或输入/输出示例,也不依赖于自然语言理解。该数据集是全面的,因为它跨越了一系列困难和领域的问题,从琐碎的字符串操作问题到经典的编程难题(例如,河内塔),面试/竞争性编程问题(例如,动态规划),算法和数学中长期存在的开放问题(例如,保理)。我们开发基线枚举程序合成,GPT-3和Codex求解器,这些求解器能够通过从自己过去的解决方案中学习来解决难题-即使没有任何参考解决方案。Codex的表现最好,在397个测试问题中,一次尝试解决了18%的问题,80%的问题在每个问题上尝试了1,000次。在一项小型用户研究中,我们发现解谜性能和编码经验之间存在正相关关系,人类和AI解决者的解谜难度之间也存在正相关关系。因此,对P3的进一步改进可能会对许多程序合成领域产生重大影响。
2021-11-06 cs.AI cs.CL cs.LG
Hexcute: A Compiler Framework for Automating Layout Synthesis in GPU Programs
University of Toronto(多伦多大学);NVIDIA(英伟达);Vector Institute(向量研究所)
Hexcute是一种自动布局合成的编译器框架,通过类型推断算法实现高效GPU程序编译,显著提升性能并减少代码量。
2026-01-28 cs.AI cs.LG cs.PL
Using Program Synthesis and Inductive Logic Programming to solve Bongard Problems
BITS Pilani(比尔拉理工学院);TCS Research(TCS研究院)
识别和类比的能力经常被用来衡量或测试人类的智力。解决Bongard问题的能力就是这种测试的一个例子。人们还假设,快速构建新颖抽象的能力对于解决类比问题至关重要。给定一个图像,构造一个程序来生成该图像的能力是抽象的一种形式,如Dreamcoder项目所示。在本文中,我们提出了一个初步的审查是否由Dreamcoder构建的程序可以用于类比推理,以解决某些Bongard问题。我们使用Dreamcoder来发现在Bongard问题中生成图像的程序,并将每个图像表示为一系列状态转换。我们装饰的状态使用位置信息在一个自动化的方式,然后编码产生的序列到逻辑事实的Prolog。我们使用归纳逻辑程序设计(ILP),学习一个(可解释的)理论的抽象概念中涉及的一个邦加德问题的实例。综合创建的Bongard问题的概念,如“上/下”和“顺时针/逆时针”的实验表明,我们的端到端系统可以解决这样的问题。我们研究的重要性和完整性,我们的方法的每个组成部分,突出其目前的局限性,并指出改进方向,在我们的制定,以及在任何Dreamcoder一样的程序合成系统用于这种方法的元素。
2021-10-19 cs.AI cs.LG cs.PL
Program Synthesis using Inductive Logic Programming for the Abstraction and Reasoning Corpus
INESCTEC-FCUP
针对 ARC 对强泛化与推理的挑战,本文提出以手工对象中心 DSL 作为背景知识、用 ILP 从少量网格示例合成逻辑程序的系统,并验证其可解决多种不同推理任务。
2024-05-10 cs.AI cs.LG cs.PL
PanGu-Coder: Program Synthesis with Function-Level Language Modeling
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Cloud(华为云)
我们提出了PanGu-Coder,一个预训练的解码器的语言模型,采用PanGu-Alpha架构的文本到代码生成,即程序设计语言解决方案的合成给出了一个自然语言的问题描述。我们使用两阶段策略训练PanGu-Coder:第一阶段使用因果语言建模(CLM)对原始程序设计语言数据进行预训练,而第二阶段使用因果语言建模和掩蔽语言建模(MLM)训练目标的组合,专注于文本到代码生成的下游任务,并对松散策划的自然语言程序定义和代码函数进行训练。最后,我们讨论PanGu-Coder-FT,它是微调的竞争性编程问题和代码的组合与持续集成测试。我们评估PanGu-Coder,重点是它是否生成功能正确的程序,并证明它比类似大小的模型(如CodeX)具有相同或更好的性能,同时参加较小的上下文窗口和较少的数据训练。
2022-07-22 cs.AI cs.CL cs.LG
Towards A Visual Programming Tool to Create Deep Learning Models
Politecnico di Torino(都灵理工大学)
深度学习(DL)开发人员来自不同的背景,例如,医学、基因组学、金融和计算机科学。要创建DL模型,他们必须学习和使用高级程序设计语言(例如,Python),因此需要处理相关的设置并解决编程错误。本文介绍了DeepBlocks,一个可视化的编程工具,允许DL开发人员设计,训练和评估模型,而不依赖于特定的程序设计语言。DeepBlocks通过构建典型的模型结构来工作:一系列可学习的函数,其排列定义了模型的特定特征。我们从5名参与者的形成性访谈中得出了DeepBlocks的设计目标,并通过典型用例验证了该工具的首次实现。结果是有希望的,并表明开发人员可以可视化地设计复杂的DL架构。
2023-03-22 cs.AI cs.HC cs.LG
A Visual Programming Paradigm for Abstract Deep Learning Model Development
深度学习是计算机科学中发展最快的技术之一,具有大量的应用。但这种前所未有的增长迄今为止仅限于深度学习专家的消费。主要的挑战是学习编程库的学习曲线陡峭,以及缺乏直观的系统,使非专家能够使用深度学习。为了实现这一目标,我们研究了无代码范式设计深度学习模型的有效性。特别是,一个可视化的拖放界面相比,传统的编程和替代的可视化编程范式更有效。我们对不同专业水平的用户进行研究,以衡量不同编程范式的入门级障碍和开发人员负载。我们获得了系统可用性量表(SUS)的90和NASA的任务负荷指数(TLX)得分为21的建议的可视化编程相比,68和52,分别为传统的编程方法。
2019-08-19 cs.HC cs.LG
Synthesizing Tasks for Block-based Programming
National University of Singapore(新加坡国立大学);MPI-SWS(马克斯·普朗克软件系统研究所)
基于块的可视化编程环境在向K-12学生介绍计算概念方面发挥着关键作用。在这些环境中,关键的教学挑战之一是为学生设计新的练习任务,这些练习任务符合所需的难度水平,并练习特定的编程概念。在本文中,我们形式化的问题,合成可视化编程任务。特别是,给定一个参考视觉任务$\rm T^{in}$和它的解决方案代码$\rm C^{in}$,我们提出了一种新的方法来自动生成一组$\{(\rm T^{out}, \rm C^{out})\}$的新任务,以及解决方案代码,使任务$\rm T^{in}$和$\rm T^{out}$概念上相似,但视觉上不同。我们的方法是基于认识到,从视觉任务的空间映射到他们的解决方案代码是高度不连续的,因此,直接变异参考任务$\rm T^{in}$,以产生新的任务是徒劳的。我们的任务合成算法通过首先突变代码$\rm C^{in}$来获得一组代码$\{\rm C^{out}\}$。然后,该算法执行符号执行代码$\rm C^{out}$,以获得一个视觉任务$\rm T^{out}$,这一步使用蒙特卡洛树搜索(MCTS)过程来指导搜索的符号树。我们证明了我们的算法的有效性,通过广泛的实证评估和用户研究的参考任务,从\emph{Hour of Code: Classic Maze}的挑战\emph{Code.org}和\emph{Intro to Programming with …
2020-11-05 cs.AI cs.CY cs.LG
TF-Coder: Program Synthesis for Tensor Manipulations
Google Brain(谷歌大脑)
深度学习的成功和流行正在上升,部分原因是强大的深度学习框架,如TensorFlow和PyTorch,使开发深度学习模型变得更容易。然而,这些库也有陡峭的学习曲线,因为在这些框架中编程与传统的显式循环和条件命令式编程完全不同。在这项工作中,我们提出了一个名为TF-Coder的工具,用于在TensorFlow中通过示例进行编程。TF-Coder使用自下而上的加权枚举搜索,对等价表达式进行基于值的修剪,以及灵活的基于类型和值的过滤,以确保表达式符合TensorFlow库提出的各种要求。我们通过训练模型,根据输入和输出张量的特征以及任务的自然语言描述来预测TensorFlow操作,从而在搜索过程中优先考虑相关操作。TF-Coder在5分钟内解决了70个真实任务中的63个,有时与经验丰富的人类程序员相比,可以在更短的时间内找到更简单的解决方案。
2022-04-07 cs.LG cs.PL stat.ML
TerpreT: A Probabilistic Programming Language for Program Induction
Microsoft Research(微软研究院);perceptiveIO
我们研究归纳程序合成的机器学习公式;给定输入输出示例,我们尝试合成将输入映射到相应输出的源代码。我们的目标是开发基于神经网络和图形模型的新机器学习方法,并了解机器学习技术相对于传统替代方案的能力,例如基于程序设计语言社区的约束求解。我们的主要贡献是TerpreT,一个特定领域的语言表达程序合成问题的建议。TerpreT类似于概率程序设计语言:模型由程序表示的规范(随机变量的声明)和描述程序如何将输入映射到输出的解释器(将未知数连接到观察结果的模型)组成。推理任务是观察一组输入输出示例并推断底层程序。TerpreT有两个主要好处。首先,它可以快速探索一系列领域,程序表示和解释器模型。其次,它将模型规范与推理算法分离,允许不同推理方法之间的相似比较。从一个单一的TerpreT规范中,我们使用四个不同的后端自动执行推理。这些是基于梯度下降,线性规划(LP)松弛的图形模型,离散可满足性求解,和草图程序合成系统。我们通过开发几种解释器模型并在替代推理算法之间进行实证比较来说明TerpreT的价值。我们的主要经验发现是,约束求解器占主导地位的梯度下降和LP为基础的配方。最后,我们建议机器学习社区在程序合成方面取得进展。
2016-08-15 cs.AI cs.LG cs.NE
Speaker-Independent Speech-Driven Visual Speech Synthesis using Domain-Adapted Acoustic Models
Apple Inc.(苹果公司)
语音驱动的视觉语音合成涉及将从声学语音中提取的特征映射到用于面部模型的对应嘴唇动画控件。这种映射可以采取多种形式,但一种强大的方法是使用深度神经网络(DNN)。然而,一个限制是缺乏可靠地训练DNN所需的同步音频、视频和深度数据,特别是对于与说话者无关的模型。在本文中,我们探讨适应自动语音识别(ASR)的声学模型(AM)的视觉语音合成的问题。我们训练了10000小时的音频数据。然后使用90小时的同步视听语音使AM适应于视觉语音合成域。使用主观评估测试,我们比较了AM初始化DNN与随机初始化DNN的性能。结果表明,观众显着更喜欢从AM初始化DNN生成的动画比使用随机初始化模型生成的动画。我们的结论是,视觉语音合成可以显着受益于语音的ASR声学模型的强大代表性。
2019-05-15 cs.LG cs.SD eess.AS
Advanced Large Language Model (LLM)-Driven Verilog Development: Enhancing Power, Performance, and Area Optimization in Code Synthesis
University of Connecticut(康涅狄格大学);Arizona State University(亚利桑那州立大学)
本研究提出一个创新双阶段框架,通过初始生成、提升语言与操作精度及对齐PPA基准来优化ALMs的Verilog编程,在语言准确率与操作效能上显著超越现有技术。
2024-01-09 cs.LG
Bayesian causal inference via probabilistic program synthesis
University of Massachusetts(马萨诸塞大学);Massachusetts Institute of Technology(麻省理工学院)
因果推理可以形式化为贝叶斯推理,其结合了因果模型的先验分布和解释观察和干预的可能性。我们表明,它是可能的,以实现这种方法,使用一个充分表达的概率程序设计语言。先验表示使用概率程序生成的源代码在一个特定领域的语言。干预是使用概率程序,编辑这个源代码修改原始的生成过程。这种方法可以直接将来自原子干预的数据,以及转移干预,方差缩放干预和其他修改因果结构的干预。这种方法也使得使用通用推理机的概率程序推断可能的因果结构和参数的数据。这一摘要描述了一个原型,这种方法在Gen概率程序设计语言。
2019-10-30 cs.AI cs.LG
Grammar Filtering For Syntax-Guided Synthesis
George School(乔治学校);Yale University(耶鲁大学);Deerfield Academy(迪尔菲尔德学院)
PBE(Programming-by-Example)是一种综合范式,允许用户通过简单地提供输入输出示例来生成函数。虽然是一个很有前途的交互范例,但合成对于实时交互和更广泛的采用来说仍然太慢。PBE合成的现有方法已经使用了自动推理工具,例如SMT求解器,以及应用机器学习技术的工作。在其核心,自动推理方法依赖于程序设计语言的高度领域特定的知识。另一方面,机器学习方法利用这样的事实,即当使用程序代码时,可以生成任意大的训练数据集。在这项工作中,我们提出了一个系统,使用机器学习与自动推理技术,以解决指导合成(SyGuS)风格的PBE问题。通过用神经网络对SyGuS PBE问题进行预处理,我们可以使用数据驱动的方法来减少搜索空间的大小,然后允许基于自动推理的求解器更快地通过分析找到解决方案。我们的系统能够在现有的SyGuS PBE合成工具上运行,将2019年SyGuS竞赛的PBE Strings曲目获胜者的运行时间减少了47.65%,优于所有竞争工具。
2020-02-07 cs.LG cs.PL stat.ML
Text-to-image synthesis method evaluation based on visual patterns
Aarhus University(奥胡斯大学)
文本到图像合成的常用评估度量是初始分数(IS)\cite{inceptionscore},其已被证明是与人类判断良好相关的质量度量。然而,IS没有揭示所生成的图像的属性,该属性指示文本到图像合成方法正确地传达输入文本描述的语义的能力。在本文中,我们介绍了一个评价指标和视觉评价方法,允许同时估计的现实主义,品种和语义的准确性生成的图像。所提出的方法使用一个预先训练的Inception网络\cite{inceptionnet},以产生真实和生成的图像的高维表示。这些图像表示,然后可视化的$2$维特征空间定义的t分布随机邻居嵌入(t-SNE)\cite{tsne}。视觉概念通过聚类真实图像表示来确定,并且随后用于通过将它们分类为最接近的视觉概念来评估所生成的图像与真实图像的相似性。由此产生的分类精度被证明是一个有效的衡量文本到图像的合成方法的语义准确性。
2019-10-31 cs.CV cs.LG stat.ML
Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis
MIT(麻省理工学院);Meta Reality Labs Research(Meta现实实验室)
由于面部动作(如嘴唇运动)包含有关语音内容的重要信息,因此视听语音增强方法比仅音频的方法更准确也就不足为奇了。然而,最先进的方法仍然难以在具有挑战性的声学环境中生成干净、逼真的语音,而没有噪声伪影和不自然的失真。在本文中,我们提出了一种新的视听语音增强框架,用于AR/VR中的高保真电信。我们的方法利用视听语音线索来生成神经语音编解码器的代码,从而能够从嘈杂的信号中高效地合成干净,逼真的语音。鉴于特定于说话者的线索在语音中的重要性,我们专注于开发适合单个说话者的个性化模型。我们证明了我们的方法在一个新的视听语音数据集上的有效性,该数据集是在一个不受约束的大词汇量环境中收集的,以及现有的视听数据集,在定量指标和人类评估研究方面都优于语音增强基线。有关定性结果,请参见https://github.com/facebookresearch/facestar/releases/download/paper_materials/video.mp4上的补充视频。
2022-03-31 cs.CV cs.LG eess.AS
Visual Analysis of Prediction Uncertainty in Neural Networks for Deep Image Synthesis
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);LinkedIn Inc.(领英公司)
本研究针对深度神经网络预测不确定性问题,提出多种方法高效估计并交互式比较深度图像合成任务中的不确定性与敏感性,提升了模型生成图像的质量、鲁棒性和可解释性。
2024-05-22 cs.CV cs.LG
Program synthesis performance constrained by non-linear spatial relations in Synthetic Visual Reasoning Test
University of Nottingham(诺丁汉大学);Dalhousie University(达尔豪斯大学);Vector Institute(矢量研究所);Cardiff University(卡迪夫大学)
尽管机器在自动视觉识别方面取得了显着进步,但一些视觉任务对机器来说仍然具有挑战性。Fleuret等人(2011年)引入了合成视觉推理测试(SVRT)来强调这一点,该测试要求仅使用几个示例,基于隐藏的抽象规则对由随机生成的形状组成的图像进行分类。Ellis et al.(2015)证明,程序合成方法可以解决一些无监督的、少样本学习的SVRT问题,而对于用数千个样本训练的几个卷积神经网络来说,它们仍然具有挑战性。在这里,我们重新考虑了人类和机器实验,因为它们遵循不同的协议,产生不同的统计数据。因此,我们提出了一个定量的重新解释的数据之间的协议,使我们可以作出公平的比较人类和机器的性能。通过对图像解析的修正,改进了程序合成分类器,并将其结果与其他机器代理和人类受试者的性能进行了比较。根据分类的核心特征:形状规范和位置关系,我们将SVRT问题分为不同的类型。我们发现,程序合成分类器不能解决涉及形状距离的问题,因为它依赖于符号计算,其与输入维度的比例很差,并且将距离添加到这样的计算中会增加与图像中的形状数量相结合的维度。因此,尽管程序合成分类器能够进行抽象推理,但其性能受到图像解析中可访问信息的高度约束。
2019-11-19 cs.LG stat.ML
SoundPlot: An Open-Source Framework for Birdsong Acoustic Analysis and Neural Synthesis with Interactive 3D Visualization
Electrical Engineering Sukkur IBA University(电气工程 Sukkur IBA大学)
SoundPlot是一种开源框架,用于分析鸟类叫声并通过神经合成和交互式3D可视化进行声学处理,支持高保真的音频重建和多维特征空间分析。
2026-01-19 cs.LG cs.SD
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London(帝国理工学院);University of Athens(雅典大学)
本文研究视频转语音中训练与推理均利用音频输入的效果,提出用预训练模型合成语音并与无声视频共同训练视听合成模型,在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
DiVISe: Direct Visual-Input Speech Synthesis Preserving Speaker Characteristics And Intelligibility
Shanghai Jiao Tong University(上海交通大学);ShanghaiTech University(上海科技大学)
本文提出端到端视频到语音合成模型DiVISe,仅从视频帧直接预测梅尔频谱图,无需声学提示即可在保持说话人特征的同时提升语音可懂度,并在LRS2和LRS3数据集上优于现有方法。
2025-03-07 cs.CV cs.LG cs.MM