Sketch-Guided Text-to-Image Diffusion Models
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
文本到图像模型在机器学习的发展中引入了一个显着的飞跃,展示了从给定的文本提示合成高质量的图像。然而,这些强大的预训练模型仍然缺乏可以指导合成图像空间属性的控制手柄。在这项工作中,我们引入了一种通用的方法来指导预训练的文本到图像扩散模型,具有来自另一个域的空间映射(例如,在推理时间内绘制)。与以前的作品不同,我们的方法不需要训练一个专用的模型或专门的编码器的任务。我们的关键思想是训练一个潜在的指导预测器(LGP)-一个小的,每像素,多层感知器(MLP),映射噪声图像的潜在特征的空间地图,其中深层特征提取的核心去噪扩散概率模型(DDPM)网络。LGP仅在几千张图像上进行训练,并构成差分引导地图预测器,通过该预测器计算损失并传播回来,以推动中间图像与空间地图一致。每像素训练提供了灵活性和局部性,使该技术能够在域外草图上表现良好,包括徒手风格的绘图。我们特别关注草图到图像的翻译任务,揭示了一个强大的和富有表现力的方式来生成图像,遵循任意风格或域的草图的指导。项目页面:sketch-guided-diffusion.github.io
2022-11-24 cs.CV cs.GR cs.LG
GuideR: a guided separate-and-conquer rule learning in classification, regression, and survival settings
Silesian University of Technology(西里西亚工业大学);Institute of Innovative Technologies, EMAG(EMAG创新技术研究所)
本文提出了一种用户引导的规则归纳算法GuideR,它克服了现有方法的最大局限性--无法将用户的偏好或领域知识引入规则学习过程。属性和属性范围的自动选择通常会导致结果规则不包含感兴趣的信息的情况。我们提出了一个归纳算法,考虑到用户的要求。我们的方法使用顺序覆盖方法,适用于分类,回归和生存分析问题。该算法在所有这些任务中的有效性已被实验验证,确认引导规则归纳是一个强大的数据分析工具。
2018-06-05 cs.LG stat.ML
Learning to Hear Broken Motors: Signature-Guided Data Augmentation for Induction-Motor Diagnostics
National Research University Higher School of Economics(俄罗斯国家研究型高等经济学院)
本文提出基于签名的数据增强方法,结合机器学习与物理模型,提升电机故障诊断的准确性和可靠性。
2025-06-10 cs.LG
SketchFill: Sketch-Guided Code Generation for Imputing Derived Missing Values
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
SketchFill提出一种基于草图引导LLM生成公式的方法,用于填补派生缺失数值,在实验中比CoT方法准确率高56.2%、比MetaGPT高78.8%,显著提升了自动化数据清洗水平。
2024-12-26 cs.CL cs.DB cs.LG
Guess & Sketch: Language Model Guided Transpilation
Cornell University(康奈尔大学);Harvard University(哈佛大学);Northwestern University(西北大学)
提出神经符号方法Guess & Sketch,结合语言模型与符号求解器,实现汇编代码的自动转译,在测试集上比GPT-4多转译57.6%的示例,比工程化转译器多39.6%。
2024-03-15 cs.LG cs.PL cs.SE
Sketch guided and progressive growing GAN for realistic and editable ultrasound image synthesis
Shenzhen University(深圳大学)
超声(US)成像广泛用于临床诊断中的解剖结构检查。培训新的超声医师和基于深度学习的US图像分析算法通常需要大量数据。然而,获取和标记大规模的US成像数据并不是一件容易的事情,特别是对于低发病率的疾病。真实感美国图像合成可以在很大程度上缓解这个问题。在本文中,我们提出了一个生成对抗网络(GAN)的图像合成框架。我们的主要贡献包括:1)我们提出了第一个可以合成具有高分辨率和定制纹理编辑功能的逼真B模式US图像的工作; 2)为了增强生成图像的结构细节,我们提出将辅助草图引导引入到条件GAN中。我们将边缘草图叠加到对象掩模上,并使用复合掩模作为网络输入; 3)为了生成高分辨率US图像,我们采用渐进式训练策略,从低分辨率图像逐渐生成高分辨率图像。此外,本文还提出了一种特征丢失算法,以最大限度地减少生成图像与真实图像之间的高层次特征差异,从而进一步提高了生成图像的质量; 4)本文提出的超声图像合成方法具有较强的通用性,除了本文所研究的三种超声图像外,还可以推广到其他解剖结构的超声图像(肺、髋关节和卵巢); 5)在三个大的US图像数据集上进行了广泛的实验以验证我们的方法。消融研究,定制的纹理编辑,用户研究和分割测试表明,我们的方法在合成逼真的US图像有前途的结果。
2022-05-25 cs.CV cs.LG eess.IV
Decision Tree Induction Through LLMs via Semantically-Aware Evolution
DAMTP, University of Cambridge(剑桥大学 DAMTP)
针对传统决策树归纳易次优或计算昂贵的问题,提出融合 LLM 语义先验的 GP 框架 LLEGO,通过适应度引导交叉与多样性引导变异提升搜索效率和泛化性能。
2025-03-18 cs.LG
Toward Neural-Network-Guided Program Synthesis and Verification
The University of Tokyo(东京大学);National Institute of Informatics(国立情报学研究所);SOKENDAI(综合研究大学院大学);University of Tsukuba(筑波大学);RIKEN AIP(理化学研究所革新智能统合研究中心)
我们提出了一个新的框架的程序和不变量的合成称为神经网络指导合成。我们首先表明,通过适当的设计和训练神经网络,我们可以从训练好的神经网络的权重和偏差中提取整数上的逻辑公式。基于这一思想,我们实现了一个从正例/反例和蕴涵约束合成公式的工具,并获得了令人满意的实验结果。我们还讨论了我们的合成方法的两个应用。一个是使用我们的工具,限定符发现的框架ICE学习为基础的CHC解决,这反过来又可以应用于程序验证和归纳不变的合成。另一个应用是一个新的程序开发框架,称为基于甲骨文的编程,这是一个神经网络引导的变化Solar-Lezama的程序合成的草图。
2021-08-25 cs.LG cs.PL
MOSAIC-SR: Transformer-Guided Symbolic Regression for Scientific Equation Recovery
University of Waterloo(滑铁卢大学)
MOSAIC-SR利用预训练Transformer生成初始草图,引导符号回归搜索,通过尺度感知常数优化和局部符号修复,在多个基准上实现最高符号解率与高预测精度。
2026-09-21 cs.LG
Summary - TerpreT: A Probabilistic Programming Language for Program Induction
Microsoft Research(微软研究院);perceptiveIO
我们研究归纳程序合成的机器学习公式,也就是说,给定输入-输出示例,合成将输入映射到相应输出的源代码。我们的主要贡献是TerpreT,表达程序合成问题的领域特定的语言。TerpreT模型由程序表示的规范和描述程序如何将输入映射到输出的解释器组成。推理任务是观察一组输入输出示例并推断底层程序。从一个TerpreT模型中,我们使用四个不同的后端自动执行推理:梯度下降(因此每个TerpreT模型可以被视为定义一个可微解释器),线性规划(LP)松弛的图形模型,离散可满足性求解,和草图程序合成系统。TerpreT有两个主要好处。首先,它可以快速探索一系列领域,程序表示和解释器模型。其次,它将模型规范与推理算法分离,允许在不同的推理方法之间进行适当的比较。我们说明TerpreT的价值,通过开发几个解释器模型和执行各种程序模型的替代推理算法之间的广泛的实证比较。据我们所知,这是第一个工作比较基于梯度的搜索程序空间的传统搜索为基础的替代品。我们的主要经验发现是,约束求解器占主导地位的梯度下降和LP为基础的配方。这是arXiv上一篇较长报告的研讨会摘要:1608.04428
2016-12-02 cs.AI cs.LG cs.NE
TerpreT: A Probabilistic Programming Language for Program Induction
Microsoft Research(微软研究院);perceptiveIO
我们研究归纳程序合成的机器学习公式;给定输入输出示例,我们尝试合成将输入映射到相应输出的源代码。我们的目标是开发基于神经网络和图形模型的新机器学习方法,并了解机器学习技术相对于传统替代方案的能力,例如基于程序设计语言社区的约束求解。我们的主要贡献是TerpreT,一个特定领域的语言表达程序合成问题的建议。TerpreT类似于概率程序设计语言:模型由程序表示的规范(随机变量的声明)和描述程序如何将输入映射到输出的解释器(将未知数连接到观察结果的模型)组成。推理任务是观察一组输入输出示例并推断底层程序。TerpreT有两个主要好处。首先,它可以快速探索一系列领域,程序表示和解释器模型。其次,它将模型规范与推理算法分离,允许不同推理方法之间的相似比较。从一个单一的TerpreT规范中,我们使用四个不同的后端自动执行推理。这些是基于梯度下降,线性规划(LP)松弛的图形模型,离散可满足性求解,和草图程序合成系统。我们通过开发几种解释器模型并在替代推理算法之间进行实证比较来说明TerpreT的价值。我们的主要经验发现是,约束求解器占主导地位的梯度下降和LP为基础的配方。最后,我们建议机器学习社区在程序合成方面取得进展。
2016-08-15 cs.AI cs.LG cs.NE
Sketch-Plan-Generalize: Learning and Planning with Neuro-Symbolic Programmatic Representations for Inductive Spatial Concepts
该研究提出Sketch-Plan-Generalize框架,将归纳式空间概念学习分解为勾勒、规划、泛化三阶段,结合大语言模型代码生成能力与神经符号表示,在复杂结构构建任务中实现更强归纳泛化,还支持具身指令跟随的推理规划。
2025-06-17 cs.LG cs.RO
StepCAD: Mesh-to-CAD Code Generation via LLM Policy and Geometry-Guided Search
Massachusetts Institute of Technology(麻省理工学院)
StepCAD提出一种结合状态条件CAD策略与IoU引导树搜索的生成优化方法,从网格恢复可执行CAD程序,并引入含150万程序的数据集,在重建基准上实现最高87.2%的相对IoU提升。
2026-10-06 cs.CV cs.LG