Geometrically Constrained Outlier Synthesis
AXA AI Research（AXA人工智能研究）；EPFL, Lausanne, Switzerland（瑞士洛桑联邦理工学院）；Polish Academy of Science, IBS PAN, Warsaw, Poland（波兰科学院，IBS PAN，华沙，波兰）
提出几何约束异常合成（GCOS）方法，通过在隐藏特征空间中生成受几何约束的虚拟异常样本，结合对比正则化，提升图像分类模型对分布外样本的鲁棒性。
2026-05-26 cs.AI cs.LG
Projected Stochastic Gradient Langevin Algorithms for Constrained Sampling and Non-Convex Learning
Langevin算法是具有加性噪声的梯度下降方法。它们已经在马尔可夫链蒙特卡罗（MCMC）采样，优化和学习中使用了几十年。它们在无约束非凸优化和学习问题中的收敛性在过去几年中得到了广泛的研究。其他工作研究了投影Langevin算法的抽样从对数凹分布限制凸紧集。对于学习和优化，对数凹分布对应于凸损失。在本文中，我们分析了非凸损失的情况下，紧凸约束集和IID外部数据变量。我们将此方法称为投影随机梯度Langevin算法（PSGLA）。我们表明，该算法实现了$O(T^{-1/4}(\log T)^{1/2})$从其目标分布在1-Wasserstein距离的偏差。对于优化和学习，我们表明，该算法实现$ε$ -次优的解决方案，平均而言，只要它运行的时间是多项式在$ε^{-1}$和稍微超指数的问题维度。
2020-12-22 cs.LG math.OC math.PR
Provable Constrained Stochastic Convex Optimization with XOR-Projected Gradient Descent
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Peking University（北京大学）
可证明地求解带约束的随机凸优化问题对于科学、商业和统计中的各种问题都是必不可少的。最近提出的XOR-随机梯度下降（XOR-SGD）提供了一个收敛速度保证解决约束的版本的问题，利用XOR-采样。然而，当需要满足额外的等式和不等式约束时，任务变得更加困难。本文提出了一种基于投影梯度下降（PGD）和异或采样器相结合的新算法XOR-PGD，通过选择合适的步长，保证了该算法能够以线性收敛速率求解约束随机凸优化问题。我们表明，在合成随机库存管理和现实世界的道路网络设计问题的约束满足率优化的解决方案的XOR-PGD是$10\%$比竞争的方法在一个非常大的搜索空间。实验结果表明，改进的XOR-PGD算法比XOR-SGD算法和结合MCMC采样器的SGD算法具有更高的精度和效率。它也被证明是更可扩展的样本个数和处理器内核，通过实验与大尺寸。
2022-03-22 cs.LG math.OC
Amortized Synthesis of Constrained Configurations Using a Differentiable Surrogate
Princeton University（普林斯顿大学）
在设计、制造和控制问题中，我们经常面临综合的任务，在这个任务中，我们必须生成一个满足一组约束条件的对象或配置，同时最大化一个或多个目标函数。综合问题的典型特征是一个物理过程，在这个过程中，许多不同的实现方式可以实现目标。这种多对一映射对前馈合成的监督学习提出了挑战，因为可行设计的集合可能具有复杂的结构。此外，许多物理模拟的不可微性质阻止了有效的直接优化。我们解决这两个问题的两个阶段的神经网络架构，我们可以考虑作为一个自动编码器。我们首先学习解码器：一个近似多对一物理实现过程的可微代理。然后我们学习编码器，它从目标映射到设计，同时使用固定的解码器来评估实现的质量。我们评估两个案例研究的方法：挤出机路径规划增材制造和约束软体机器人逆运动学。我们比较我们的方法直接优化的设计，使用学习代理，和监督学习的综合问题。我们发现，我们的方法产生更高质量的解决方案比监督学习，同时具有竞争力的质量与直接优化，在一个大大降低了计算成本。
2021-11-05 cs.AI cs.LG cs.RO
Projected Neural Differential Equations for Learning Constrained Dynamics
Technical University of Munich（慕尼黑工业大学）；Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所）；California Institute of Technology（加州理工学院）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Exeter（埃克塞特大学）
本文提出投影神经微分方程（PNDEs），通过将预测速度投影到约束流形切空间来强制约束，在混沌系统和电网模型中优于现有方法，且更高效、超参数更少。
2026-09-09 cs.LG physics.comp-ph stat.ML
ShIOEnv: A Command Evaluation Environment for Grammar-Constrained Synthesis and Execution Behavior Modeling
Department of Computer Science, University of Texas at San Antonio, San Antonio, USA（计算机科学系，德克萨斯大学圣安东尼奥分校）
ShIOEnv通过语法约束数据集提升命令执行行为建模的准确性。
2026-10-23 cs.AI cs.CL cs.LG
Alternating Implicit Projected SGD and Its Efficient Variants for Equality-constrained Bilevel Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；DAMO Academy, Alibaba US（阿里巴巴美国达摩院）
随机双层优化，它捕捉固有的嵌套结构的机器学习问题，是越来越受欢迎，在许多最近的应用。现有的两层优化研究大多考虑无约束问题或有约束上层问题。本文研究了上下两层都带有等式约束的随机双层优化问题。利用等式约束问题的特殊结构，本文首先提出了一种交替隐式投影SGD方法，并建立了与ALSET \citep{chen2021closing}最新复杂度相匹配的$\tilde{\cal O}(ε^{-2})$样本复杂度.为了进一步节省投影代价，提出了两种交替的隐式投影有效SGD算法，其中一种算法具有$\tilde{\cal O}(ε^{-2}/T)$上、$\tilde{\cal O}(ε^{-1.5}/T^{\frac{3}{4}})$下两级投影复杂度，${\cal O}(T)$下一级批大小;另一种算法具有$\tilde{\cal O}(ε^{-1.5})$上、下两级投影复杂度，${\cal O}(1)$下一级批大小.联邦双层优化的应用程序已经展示了我们的算法的经验性能。我们的研究结果表明，等式约束双层优化与强凸下层问题可以有效地解决随机单级优化问题。
2023-02-13 cs.LG math.OC stat.ML
Learning Sign-Constrained Support Vector Machines
Gunma University（群马大学）
领域知识对于提高学习机的泛化性能是非常有用的。符号约束是将领域知识与学习机结合起来的一种方便的表示方法。本文在线性支持向量机的学习过程中，考虑对权系数的符号进行约束，提出了两种在符号约束下最小化经验风险的优化算法。其中一种算法是基于投影梯度法的，投影梯度法的每次迭代都需要$O(nd)$的计算代价，并且保证了目标误差的次线性收敛。第二个算法是基于Frank-Wolfe方法，也收敛于次线性，并具有明确的终止准则。我们表明，每次迭代的Frank-Wolfe也需要$O(nd)$成本。通过分析目标函数的曲率，得到了保证解具有$ε$精度的最小迭代次数的显式表达式。最后，我们的经验表明，符号约束是一个很有前途的技术时，相似的训练样本组成的特征向量。
2021-01-05 cs.AI cs.LG
LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning
University of Oxford（牛津大学）；Amazon Inc（亚马逊公司）
LCRL是一个软件工具，它在未知的马尔可夫决策过程（MDP）上实现无模型强化学习（RL）算法，合成满足给定线性时间规范的最大概率的策略。LCRL利用部分确定性有限状态机（称为有限确定性Buchi自动机（LDBA））来表达给定的线性时间规范。基于LDBA的结构，RL算法的奖励函数是动态成形的。在适当假设下的理论保证确保RL算法收敛到最大化满意概率的最优策略。我们提出的案例研究，以证明LCRL的适用性，易用性，可扩展性和性能。由于LDBA引导的探索和LCRL无模型架构，我们观察到了强大的性能，与标准RL方法相比（适用于LTL规范时）也具有很好的扩展性。有关如何执行本文中所有案例研究的完整说明，请参见LCRL发行版www.github.com/grockious/lcrl附带的GitHub页面。
2022-09-21 cs.AI cs.LG cs.LO
Reinforcement Learning for Protocol Synthesis in Resource-Constrained Wireless Sensor and IoT Networks
Michigan State University（密歇根州立大学）
本文探讨了使用强化学习（RL）进行在线协议合成的概念。该研究是在具有超低复杂度无线收发器的传感器和物联网网络的背景下进行的。本文介绍了在不同的网络和业务条件下，使用RL和多臂强盗（MAB），RL的一种特殊类型，媒体访问控制（MAC）。然后，它介绍了一种新的学习为基础的协议合成框架，解决特定的困难和限制，在随机接入和时隙网络的介质访问。该机制不依赖于载波侦听、网络时间同步、冲突检测和其他低级复杂操作，因此非常适合用于资源受限的传感器和物联网网络中的超简单收发器硬件。此外，由节点独立的协议学习的能力使得系统鲁棒性和自适应网络和业务条件的变化。它表明，节点可以被训练来学习，以避免冲突，并实现网络吞吐量，相当于ALOHA基于接入协议的传感器和物联网网络与最简单的收发器硬件。它也表明，使用RL，它是可行的，可以在高流量负载，这是不可行的ALOHA为基础的系统，以综合接入协议，可以维持网络吞吐量。该系统的能力，以提供吞吐量的公平性下的网络和流量的异质性也被实验证明。
2023-01-14 cs.AI cs.LG cs.NI
The adaptive projected subgradient method constrained by families of quasi-nonexpansive mappings and its application to online learning
University of Peloponnese（伯罗奔尼撒大学）；Tokyo Institute of Technology（东京工业大学）
许多在线，即，信号处理和机器学习中的时间自适应逆问题属于非负、凸和连续函数序列的渐近最小化的广泛范围。为了将先验知识纳入设计中，渐近最小化任务通常被约束在一个固定的闭凸集上，该凸集由可用的先验信息决定。为了增加对可用信息的使用的通用性，本手稿扩展了自适应投影次梯度法（APSM）通过引入一个算法方案，该方案通过一系列强吸引的拟非扩张映射在一个真正的希尔伯特空间的设计中采用了先验知识。通过这种方式，所提出的方法为在线学习任务提供的好处以两种方式展开：1）丰富的准非扩张映射类提供了大量的方法来投射先验知识，以及2）通过引入一系列这样的映射，所提出的方案能够捕获先验信息的时变性质。该算法的收敛性能进行了研究，几个特殊的情况下，具有广泛的适用性的方法显示，和所提出的计划的潜力，证明了考虑越来越重要的，现在，在线稀疏系统/信号恢复任务。
2011-08-05 cs.IT cs.LG math.IT
Joint Synthesis of Safety Certificate and Safe Control Policy using Constrained Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Qizhi Institute（上海期智研究院）
安全性是利用强化学习控制复杂动力系统的主要考虑因素，其中安全证书可以提供可证明的安全性保证。有效的安全证书是指示安全状态具有低能量的能量函数，并且存在允许能量函数总是耗散的对应的安全控制策略。安全认证与安全控制政策是两个紧密相关的概念，两者的综合都具有挑战性。因此，现有的基于学习的研究将它们中的任何一个视为先验知识来学习另一个，这限制了它们对一般未知动态的适用性。本文提出了一种新的方法，同时合成基于能量函数的安全证书和学习的安全控制策略与CRL。我们不依赖于现有的基于模型的控制器或完美的安全证书的先验知识。特别是，我们制定了一个损失函数，以优化安全证书参数，最大限度地减少能源的增加。通过将此优化过程作为外循环添加到基于拉格朗日的约束强化学习（CRL）中，我们联合更新策略和安全证书参数，并证明它们将收敛到各自的局部最优值、最优安全策略和有效的安全证书。我们评估我们的算法在多个安全关键的基准环境。结果表明，该算法学习可证明安全的策略，没有违反约束。通过数值计算验证了综合安全证书的有效性和可行性。
2022-05-26 cs.AI cs.LG
SciNets: Graph-Constrained Multi-Hop Reasoning for Scientific Literature Synthesis
Jaypee Institute of Information Technology（杰伊佩 Institute 信息科技学院）
SciNets通过图约束多跳推理实现科学文献综合，通过多跳路径连接罕见共现的概念，提升机制解释的稳定性和多样性。
2025-12-28 cs.AI cs.CL cs.IR
Causally Constrained Data Synthesis for Private Data Release
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
基于证据的决策需要数据。然而，对于现实世界的应用程序，数据的隐私是至关重要的。使用反映原始数据的某些统计特性的合成数据保留了原始数据的隐私。为此，先前的工作利用不同的私有数据发布机制来提供正式的隐私保证。然而，这种机制具有不可接受的隐私与实用性权衡。我们建议将因果信息纳入训练过程，以有利地修改上述权衡。我们从理论上证明，生成模型与额外的因果知识训练提供更强的差分隐私保证。从经验上讲，我们评估我们的解决方案比较不同的模型的基础上变分自动编码器（VAE），并表明因果信息提高了弹性的成员推断，下游效用的改善。
2021-05-27 cs.CR cs.LG
Program synthesis performance constrained by non-linear spatial relations in Synthetic Visual Reasoning Test
University of Nottingham（诺丁汉大学）；Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究所）；Cardiff University（卡迪夫大学）
尽管机器在自动视觉识别方面取得了显着进步，但一些视觉任务对机器来说仍然具有挑战性。Fleuret等人（2011年）引入了合成视觉推理测试（SVRT）来强调这一点，该测试要求仅使用几个示例，基于隐藏的抽象规则对由随机生成的形状组成的图像进行分类。Ellis et al.（2015）证明，程序合成方法可以解决一些无监督的、少样本学习的SVRT问题，而对于用数千个样本训练的几个卷积神经网络来说，它们仍然具有挑战性。在这里，我们重新考虑了人类和机器实验，因为它们遵循不同的协议，产生不同的统计数据。因此，我们提出了一个定量的重新解释的数据之间的协议，使我们可以作出公平的比较人类和机器的性能。通过对图像解析的修正，改进了程序合成分类器，并将其结果与其他机器代理和人类受试者的性能进行了比较。根据分类的核心特征：形状规范和位置关系，我们将SVRT问题分为不同的类型。我们发现，程序合成分类器不能解决涉及形状距离的问题，因为它依赖于符号计算，其与输入维度的比例很差，并且将距离添加到这样的计算中会增加与图像中的形状数量相结合的维度。因此，尽管程序合成分类器能够进行抽象推理，但其性能受到图像解析中可访问信息的高度约束。
2019-11-19 cs.LG stat.ML
The Projected Belief Network Classfier : both Generative and Discriminative
Fraunhofer FKIE（弗劳恩霍夫通信、信息处理和人机工程学研究所）
投影信念网络（PBN）是一种基于前馈神经网络（FF-NN）的具有易处理的似然函数的分层生成网络。因此，它可以与判别式分类器共享实施例，并且可以继承两种类型的网络的最佳质量。在本文中，一个卷积PBN构造，是完全歧视和完全生成，并测试语音命令的频谱。结果表明，无论是从判别还是生成的角度来看，该网络都具有优良的品质。随机数据合成和可见的数据重建低维隐变量，而分类器的性能接近一个正规化的判别网络。还演示了与传统的判别式CNN的组合。
2020-08-14 cs.LG stat.ML
Differentiable Logic Synthesis: Spectral Coefficient Selection via Sinkhorn-Constrained Composition
Lehigh University（莱维大学）；Johnson and Johnson（强生公司）
本文提出了一种可微逻辑综合方法，通过Sinkhorn约束组合选择频谱系数，实现了高精度布尔逻辑推断，并验证了在不同复杂度阶段的性能。
2026-02-09 cs.AR cs.LG cs.LO
Symmetry-Constrained Language-Guided Program Synthesis for Discovering Governing Equations from Noisy and Partial Observations
Fandaqah (Owned by Dyafa)（法达卡（由迪法夫所有））；Hamdard University（哈姆达德大学）
SymLang 通过结合对称约束、语言模型引导程序合成和贝叶斯模型选择，实现了从噪声和部分观测中发现 governing 方程的高精度结构恢复。
2026-03-06 cs.AI cs.CL cs.LG
Constrained composite Bayesian optimization for rational synthesis of polymeric particles
University College London（伦敦大学学院）
本文提出约束复合贝叶斯优化CCBO，在黑盒可行性约束和少量实验数据下实现聚合物颗粒目标尺寸优化，并通过电喷雾PLGA实验验证其4次迭代内达标。
2025-04-23 cond-mat.soft cs.LG physics.data-an
Denoising as Projection: Constrained Optimization with Gradient-Guided Diffusion
MIT（麻省理工学院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出一种将目标梯度融入去噪步骤的投影梯度引导扩散更新方法，用于结构化可行集上的约束优化，在三类设置中保证收敛，实验验证其平衡目标下降与几何保留的有效性。
2026-09-14 cs.AI cs.LG math.OC
Training LLMs for Multi-Step Tool Orchestration with Constrained Data Synthesis and Graduated Rewards
Amazon Services Inc.（亚马逊服务公司）；Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程系）；School of Computational Science and Engineering, Georgia Institute of Technology（佐治亚理工学院计算科学与工程学院）
本文提出强化学习框架解决LLM多步骤工具协调难题，通过构建确定性环境和渐进奖励机制提升执行准确率，并在不同API生态中实现技能迁移。
2026-04-06 cs.CL cs.LG
An Efficient Batch Constrained Bayesian Optimization Approach for Analog Circuit Synthesis via Multi-objective Acquisition Ensemble
Fudan University（复旦大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
贝叶斯优化是一种很有前途的模拟电路综合方法。然而，贝叶斯优化框架的顺序性显著限制了其充分利用现实世界计算资源的能力。在本文中，我们提出了一个有效的并行贝叶斯优化算法，通过多目标获取函数Entrial（MACE），以进一步加快优化过程。通过从改进概率（PI）、预期改进（EI）和置信下限（LCB）的Pareto前沿采样查询点，我们结合了最先进的采集函数的优点，实现了无约束优化问题的探索和利用之间的微妙权衡。在此批量设计的基础上，进一步调整了约束优化问题的算法。通过将优化过程分为两个阶段，首先专注于寻找初始可行点，我们设法获得更多关于有效区域的信息，并可以更好地避免在不可行区域周围进行采样。在获得第一个可行点后，我们通过在捕获函数集成中引入一个特殊的惩罚项来偏向可行域。实验结果定量地表明，我们提出的算法可以减少高达74倍的整体模拟时间相比，差分进化（DE）的无约束优化问题时，批量大小为15。对于约束优化问题，我们提出的算法可以加快优化过程的15倍相比，加权期望改进贝叶斯优化（WEIBO）的方法，当批量大小为15。
2021-06-28 cs.LG cs.SY eess.SY
A Unifying Perspective on Descent Directions for Constrained Minimization and Switching Criteria
Georgia Institute of Technology（佐治亚理工学院）；Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
本文提出Shadow-CG方法，利用负梯度投影的阴影方向作为最优下降方向，结合Frank-Wolfe顶点步，实现线性收敛，其速率依赖于投影曲线断点数而非金字塔宽度，并给出断点数量的界。
2026-10-06 cs.LG math.OC
Scalable Mean-Variance Portfolio Optimization via Subspace Embeddings and GPU-Friendly Nesterov-Accelerated Projected Gradient
本文提出基于sketch的因子降维和GPU加速的Nesterov加速投影梯度算法，解决大规模约束均方差投资组合优化问题，通过子空间嵌入、谱截断和岭稳定化构建有效因子，并在GPU上高效求解，实验显示其在真实数据上运行时间显著减少。
2026-04-03 cs.CE cs.DC cs.LG
