Cooper: A Library for Constrained Optimization in Deep Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
Cooper 是一个开源库，通过实现多种基于拉格朗日的一阶更新方案，将约束优化算法与 PyTorch 的自动微分及深度学习架构无缝结合，适用于深度学习及一般非凸连续约束优化问题。
2025-04-01 cs.LG cs.MS
Trusted Neural Networks for Safety-Constrained Autonomous Control
Samsung Research America（三星美国研究院）；Ecole Polytechnique（巴黎综合理工学院）；UC San Diego（加州大学圣地亚哥分校）；SRI International（斯坦福国际研究院）
我们提出了可信神经网络（TNN）模型，它是满足对应用领域至关重要的安全约束的深度神经网络模型。我们调查不同的机制，将基于规则的知识的形式，一阶逻辑约束到TNN模型，编码安全的规则伴随着权重，表明其相对重要性。该框架允许TNN模型从数据和逻辑规则形式的知识中学习。我们提出了解决这个问题的多种方法：（a）一个多头模型结构，允许在满足逻辑约束和在统一的训练框架中拟合训练数据之间进行权衡，以及（b）创建一个约束优化问题，并通过提出一个新的约束损失函数和使用近似梯度下降算法在对偶公式中解决它。我们通过使用开源TORCS~ \cite{BernhardCAA15} 3D模拟器进行自动驾驶汽车的实验来证明我们的TNN框架的有效性。实验使用我们的第一种方法的多头TNN模型，由TORCS的定制版本生成的数据集上，表明（1）添加安全约束的神经网络模型的结果在增加的性能和安全性，（2）的改善随着安全约束的重要性增加而增加。实验还使用约束优化的近似算法的第二种方法进行-他们证明了所提出的方法如何确保（1）即使训练数据违反某些约束，整个TNN模型也满足约束，以及（2）约束目标上的近似梯度下降算法比无约束版本收敛得更快。
2018-05-18 cs.AI cs.LG stat.ML
Model compression as constrained optimization, with application to neural nets. Part I: general framework
University of California, Merced（加州大学默塞德分校）
压缩神经网络是一个活跃的研究问题，考虑到用于对象识别等任务的最先进网络的大尺寸，以及移动设备施加的计算限制。我们给出了模型压缩作为约束优化的一般公式。这包括许多类型的压缩：量化、低秩分解、修剪、无损压缩等。然后，我们给出了一种基于增广拉格朗日和交替优化的通用算法来优化这个非凸问题。这导致了“学习-压缩”算法，该算法将未压缩模型的学习步骤（独立于压缩类型）与模型参数的压缩步骤（独立于学习任务）交替。这种简单、高效的算法保证在标准假设下在局部意义上为任务找到最佳压缩模型。我们分别在几个配套文件的发展，这个一般的框架到具体的算法模型压缩的基础上量化，修剪和其他变化，包括实验结果压缩神经网络和其他模型。
2017-07-05 cs.LG cs.NE math.OC
Iterative Surrogate Model Optimization (ISMO): An active learning algorithm for PDE constrained optimization with deep neural networks
SINTEF（挪威科学与工业研究基金会）；ETH Zürich（苏黎世联邦理工学院）；University of Southern California（南加州大学）；TIFR Centre for Applicable Mathematics（塔塔基础研究院应用数学中心）
提出了一种新的主动学习算法--迭代代理模型优化算法（ISMO），用于求解偏微分方程约束最优化问题的鲁棒、高效的数值逼近。该算法基于深度神经网络，其关键特征是通过深度神经网络和任何底层标准优化算法之间的反馈循环迭代选择训练数据。在适当的假设下，我们证明了所得到的优化收敛指数快速（和指数衰减方差），相对于训练样本的数量增加。最优控制，参数识别和形状最优化问题的偏微分方程的数值例子提供验证所提出的理论，并说明ISMO显着优于基于代理优化算法的标准深度神经网络。
2020-08-13 cs.LG cs.NA math.NA
A Two-Stage Training Method for Modeling Constrained Systems With Neural Networks
University of Minho（米尼奥大学）；University of Porto（波尔图大学）
针对现有带约束神经网络训练需手动调超参、约束融入效果存疑的问题，提出一种适用于任意NN架构的Neural ODE两阶段训练法，分阶段找可行参数与最优解，实验证明其能满足约束、提升预测性能与收敛性、增强可解释性并降低数据需求。
2024-03-05 cs.CE cs.LG math.OC
Unrolled Neural Networks for Constrained Optimization
Department of Electrical and Systems Engineering, University of Pennsylvania（电气与系统工程系，宾夕法尼亚大学）
本文提出了一种基于展开神经网络的约束优化方法，通过约束学习实现对偶上升动力学，有效解决混合整数二次规划和无线网络功率分配问题。
2026-10-14 cs.LG
Learning for Integer-Constrained Optimization through Neural Networks with Limited Training
Virginia Tech（弗吉尼亚理工学院暨州立大学）；Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们研究了一个基于神经网络的学习方法解决整数约束规划问题，使用非常有限的训练。具体来说，我们引入了一个对称和分解的神经网络结构，这是完全可以解释的功能，其组成部分。通过利用整数约束的基本模式以及目标函数的仿射性质，与不利用整数约束的固有结构的其他通用神经网络结构相比，所引入的神经网络在有限的训练下提供了优越的泛化性能。此外，我们表明，所介绍的分解方法可以进一步扩展到半分解框架。所介绍的学习方法进行评估，通过分类/符号检测任务的背景下，可用的训练集通常是有限的无线通信系统。评估结果表明，引入的学习策略是能够有效地执行分类/符号检测任务，在各种各样的无线信道环境中指定的3GPP社区。
2020-11-10 cs.LG math.OC
Accelerating PDE-Constrained Optimization by the Derivative of Neural Operators
Bosch (China) Invest Ltd., Shanghai, China；Dept. of Comp. Sci. \& Techn., Institute for AI, BNRist Center, Tsinghua-Bosch Joint ML Center, Tsinghua University
针对神经算子求解PDE约束优化时的数据低效与不稳定问题，提出含面向优化训练、虚拟傅里叶层增强导数学习、混合优化的框架，实现精准的算子及导数学习与鲁棒收敛。
2025-06-16 cs.LG
Model compression as constrained optimization, with application to neural nets. Part V: combining compressions
University of California, Merced（加州大学默塞德分校）
模型压缩通常通过使用量化、低秩近似或修剪来执行，近年来已经研究了各种算法。一个基本的问题是：对于给定的模型，什么类型的压缩工作得更好？或者更好：我们可以通过以适当的方式组合压缩来改进吗？我们制定这一般作为一个优化损失的问题，但在那里的权重被限制为等于一个加法组合的单独压缩的部分，我们给出了一个算法来学习相应的部分的参数。通过对深度神经网络的实验，我们观察到：1）我们可以在错误压缩空间中找到更好的模型，这表明不同的压缩类型具有互补的优势; 2）最佳组合类型取决于神经网络的类型。例如，我们可以压缩ResNet和AlexNet，每个权重仅使用1位，而不会出现错误降级，代价是增加一些浮点权重。然而，VGG网可以通过将低秩与少量浮点权重相结合来更好地压缩。
2021-07-09 cs.LG
HUANet: Hard-Constrained Unrolled ADMM for Constrained Convex Optimization
Department of Electrical and Computer Engineering, University of Central Florida（电子与计算机工程系，中央佛罗里达大学）
HUANet通过展开ADMM迭代构建约束深度神经网络，解决约束凸优化问题，通过硬约束神经网络加速算法并促进收敛。
2026-10-02 cs.LG cs.SY eess.SY
Generative Neural Reparameterization for Differentiable PDE-constrained Optimization
Ergodic LLC（Ergodic有限责任公司）；Pasteur Labs（巴斯德实验室）；Institute for Simulation Intelligence（仿真智能研究所）
本文提出将可微 PDE 约束优化中的自由参数重参数化为神经网络输出，使其学习从概率分布到最优参数分布的映射，从而在一次优化中生成多组多样化的最优解，并成功应用于降低激光聚变中的等离子体不稳定性。
2024-10-16 cs.AI cs.LG cs.NA
Hyper Input Convex Neural Networks for Shape Constrained Learning and Optimal Transport
Department of Applied Mathematics, University of Twente（应用数学系，特文特大学）
本文提出Hyper Input Convex Neural Networks（HyCNNs），通过结合Maxout网络与输入凸神经网络，实现输入凸性，理论证明其在逼近二次函数时参数更少，且在凸回归和插值任务中优于ICNNs和MLP。
2026-11-06 cs.LG math.ST q-bio.GN
PDE-constrained Models with Neural Network Terms: Optimization and Global Convergence
University of Oxford（牛津大学）；University of Notre Dame（圣母大学）；Boston University（波士顿大学）
研究含神经网络项的线性椭圆PDE的优化问题，证明梯度下降结合伴随PDE可全局收敛，并应用于RANS湍流模型的训练与评估。
2023-10-16 cs.LG
A constrained optimization approach to improve robustness of neural networks
KTH - Royal Institute of Technology（皇家理工学院）
针对神经网络对抗鲁棒性与干净准确率难以兼顾的问题，提出带对手校正约束的非线性规划微调方法及割平面求解算法，实验证明其在少量对抗数据下即可显著增强鲁棒性且几乎不损失准确率。
2024-10-25 cs.LG math.OC
Latency-Memory Optimized Splitting of Convolution Neural Networks for Resource Constrained Edge Devices
Delhi Technological University（德里理工大学）；University of Cambridge（剑桥大学）；UQIDAR, IIT Delhi（UQIDAR，印度理工学院德里分校）
随着用户对智能设备的日益依赖，在边缘进行必要的计算已成为任何类型业务的关键要求。许多这样的计算利用卷积神经网络（CNN）来执行AI任务，具有高资源和计算要求，这对于边缘设备是不可行的。拆分CNN架构以在边缘上执行部分计算并保留在云上是一个研究领域，该领域的兴趣越来越大。在本文中，我们断言在边缘设备和云之间运行CNN是解决资源受限优化问题的同义词，该问题可以最大限度地减少延迟并最大限度地提高边缘的资源利用率。我们制定了一个多目标优化问题，并提出了LMOS算法，以实现帕累托有效的解决方案。在真实世界边缘设备上进行的实验表明，LMOS确保了在边缘执行不同的CNN模型，并改进了现有的最先进的方法。
2021-07-19 cs.AI cs.LG
Self-supervised Equality Embedded Deep Lagrange Dual for Approximate Constrained Optimization
本文提出无标签框架DeepLDE，通过将等式约束嵌入神经网络并用原始-对偶方法施加不等式约束，实现快速且确保可行性的近似约束优化，计算速度比传统求解器快5至250倍。
2024-09-23 cs.LG math.OC
Pinet: Optimizing hard-constrained neural networks with orthogonal projection layers
inspire AG（因斯拜尔股份公司）
Pinet通过正交投影层优化具有硬约束的神经网络，实现快速求解参数约束优化问题，提升训练效率和解的质量。
2026-02-18 cs.AI cs.LG math.OC
Spatial and Colour Opponency in Anatomically Constrained Deep Networks
University of Southampton（南安普顿大学）
长期以来，色觉一直吸引着科学家，他们试图了解色觉机制的生理学和色觉的心理物理学。我们考虑在解剖学约束的卷积深度神经网络中的颜色表示。根据神经科学的想法，我们将早期层中的细胞根据其光谱和空间功能进行分类。我们展示了在我们的网络中出现的单个和双个对手细胞，以及在视网膜瓶颈的约束下这些细胞的分布如何变化。我们的实验不仅开启了对深度网络如何处理空间和颜色信息的新理解，还提供了新的工具来帮助理解深度学习的黑匣子。所有实验的代码可在\url{https://github.com/ecs-vlc/opponency}上获得。
2019-10-14 cs.CV cs.LG stat.ML
A Framework for Deep Constrained Clustering -- Algorithms and Advances
University of California, Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）
约束聚类领域已经被研究人员广泛探索，并被实践者使用。约束聚类公式适用于k均值、混合模型和谱聚类等流行算法，但有几个局限性。深度学习的一个基本优势是它的灵活性，在这里，我们将探索一个用于约束聚类的深度学习框架，特别是探索它如何扩展约束聚类领域。我们表明，我们的框架不仅可以处理标准的一起/分开的约束（没有记录良好的负面影响报告）产生的标记的边信息，但更复杂的约束产生的新类型的边信息，如连续值和高层次的领域知识。
2019-12-19 cs.LG stat.ML
Distill-Net: Application-Specific Distillation of Deep Convolutional Neural Networks for Resource-Constrained IoT Platforms
University of California, Davis（加州大学戴维斯分校）
许多物联网（IoT）应用需要快速准确地了解周围环境中的一些关键事件。深度卷积神经网络（CNN）已经成为理解语音、图像和类似的高维数据类型的有效方法。然而，现代CNN的性能从根本上依赖于学习与类别无关的分层特征，这些特征只存在于具有许多类别的综合训练数据集中。因此，使用在这些数据集上训练的CNN进行快速推理对于大多数资源受限的物联网平台来说是禁止的。为了弥合这一差距，我们提出了一种原则性和实用的方法，用于提取复杂的现代CNN，该方法经过训练，可以有效地识别许多不同类别的输入数据，并将其转换为依赖于应用程序的基本核心，不仅可以准确识别应用程序感兴趣的少数类别，而且可以在资源有限的平台上高效运行。实验结果证实，我们的方法取得了良好的平衡之间的分类精度（应用约束），推理效率（平台约束），和生产性的新应用程序的开发（业务约束）。
2018-12-16 cs.CV cs.LG stat.ML
Approximation bounds for norm constrained neural networks with applications to regression and GANs
Wuhan University（武汉大学）；The Hong Kong University of Science and Technology（香港科技大学）
研究了权值具有范数约束的ReLU神经网络的逼近能力。我们证明了这些网络的光滑函数类的逼近误差的上界和下界。下界是通过神经网络的Rademacher复杂性导出的，这可能是独立的兴趣。我们应用这些近似界来分析使用范数约束神经网络的回归和GANs的分布估计的收敛性。特别是，我们得到了过参数化神经网络的收敛速度。研究还表明，当神经网络是一个适当选择的范数约束神经网络时，GANs可以达到最优的学习概率分布率。
2023-03-30 cs.LG cs.NA math.NA
HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search
Alibaba Group（阿里巴巴集团）
神经网络的实际使用通常需要遵守对延迟、能量和存储器等的多个约束。找到拟合网络的一种流行方法是通过约束神经结构搜索（NAS），然而，以前的方法只能柔和地执行约束。因此，所得到的网络不完全遵守资源约束，其准确性受到损害。在这项工作中，我们解决了这个问题，通过引入硬约束可出租NAS（HardCore-NAS），这是基于一个准确的制定预期的资源需求和可扩展的搜索方法，满足整个搜索的硬约束。我们的实验表明，HardCore-NAS生成国家的最先进的架构，超越其他NAS方法，同时严格满足硬资源约束，无需任何调整。
2021-02-23 cs.AI cs.CV cs.LG
Linearly Constrained Neural Networks
The University of Newcastle（纽卡斯尔大学）；Uppsala University（乌普萨拉大学）
我们提出了一种新的方法来建模和学习向量场的物理系统，使用神经网络，明确满足已知的线性算子约束。为了实现这一点，目标函数被建模为潜在的势场的线性变换，该势场又由神经网络建模。选择该变换，使得目标函数的任何预测都保证满足约束。模拟和真实数据的例子证明了这种方法。
2021-04-28 cs.LG physics.comp-ph stat.ML
Supply-Power-Constrained Cable Capacity Maximization Using Deep Neural Networks
Nokia Bell Labs（诺基亚贝尔实验室）；EPFL（洛桑联邦理工学院）；Nokia Corporation（诺基亚公司）；Alcatel Submarine Networks（阿尔卡特海底网络公司）；Facebook（脸书）
我们通过消除增益平坦滤波器并在大规模并行光纤环境中使用深度神经网络的机器学习优化发射功率，在12跨链路中实现了每瓦电源功率19%的容量增益。
2019-10-02 cs.LG eess.SP stat.ML
Output-Constrained Bayesian Neural Networks
Harvard University（哈佛大学）
贝叶斯神经网络（BNN）的先验定义在参数空间中，使得表达在函数空间中的先验知识难以编码。我们制定了一个先验，它包含了关于输出可以或不能在输入空间的区域中的功能约束。输出约束的BNN（OC-BNN）代表了一种可解释的方法，执行一系列的约束，完全符合贝叶斯框架，并服从黑盒推理。我们展示了OC-BNN如何提高模型的鲁棒性，并防止在医疗保健和机器人的两个现实世界的应用中预测不可行的输出。
2019-05-15 cs.LG stat.ML
Two-Bit Networks for Deep Learning on Resource-Constrained Embedded Devices
随着物联网和智能边缘设备的快速发展，越来越需要在内存和计算能力有限的资源受限的移动嵌入式设备上实现机器学习算法，包括深度学习。典型的大型卷积神经网络（CNN）需要大量的存储器和计算能力，并且不能有效地部署在嵌入式设备上。我们提出了用于CNN的模型压缩的两位网络（TBN），其边缘权重被约束为（-2，-1，1，2），可以用两位编码。我们的方法可以减少内存的使用，并显着提高计算效率，同时实现良好的性能分类精度方面，从而代表了一个合理的权衡模型大小和性能。
2017-01-04 cs.CV cs.LG
Ternary Hybrid Neural-Tree Networks for Highly Constrained IoT Applications
Arm ML Research Lab（安谋机器学习研究实验室）
基于机器学习的应用在物联网设备中越来越普遍。这些设备的功率和存储限制使得运行现代神经网络特别具有挑战性，限制了可以在物联网系统上部署的新应用程序的数量。已经提出了许多压缩技术，每种都有自己的权衡。我们提出了一个混合网络，结合了目前的神经和树为基础的学习技术的优势，结合三进制量化，并显示相关的模型设计空间的详细分析。使用这种混合模型，我们获得了11.1%的计算量减少，模型大小减少52.2%，并在一个国家的最先进的关键字定位神经网络，在整体内存占用减少30.6%，在准确性可以忽略不计的损失。
2019-03-04 cs.LG stat.ML
Constrained Structured Regression with Convolutional Neural Networks
UC Berkeley（加州大学伯克利分校）
卷积神经网络（CNN）最近已经成为计算机视觉中的主导模型。如果提供足够的训练数据，它们几乎可以预测任何视觉量。在离散设置中，例如分类，CNN不仅能够预测标签，而且通常以输出空间上的概率分布的形式预测置信度。在连续回归任务中，通常缺乏这样的概率估计。我们提出了一个回归框架，它模拟神经网络的输出分布。这种输出分布允许我们根据一组物理或建模约束来推断最可能的标签。这些约束捕捉了不同输入和输出变量之间复杂的相互作用，并补充了CNN的输出。然而，它们可能并不适用于所有地方。我们的设置还允许学习约束保持的信心，以约束满意度分布的形式。我们评估我们的方法上的问题的内在图像分解，并表明，约束结构化回归显着增加了国家的最先进的。
2015-11-23 cs.CV cs.LG
Developing Constrained Neural Units Over Time
University of Siena（锡耶纳大学）
在本文中，我们提出了一个基本的研究约束的方法，定义学习问题的神经网络的最小认知动作的原则，这非常类似于在力学的最小动作的原则的背景下。从一个一般的方法来强制约束到学习的动态规律，这项工作的重点是定义神经网络，这是不同于大多数现有的方法的另一种方式。特别是，神经架构的结构是通过一个特殊的约束类，也扩展到与数据的交互，导致“架构”和“输入相关”的约束，分别定义。所提出的理论被投射到时域，其中数据以有序的方式呈现给网络，这使得这项研究朝着用神经网络处理连续数据流的替代方法迈出了重要的一步。与经典的反向传播为基础的更新规则的网络的权重进行了讨论，表明有条件下，我们的方法退化为反向传播。此外，该理论的实验评估一个简单的问题，使我们能够深入研究理论本身的几个方面，并显示模型的合理性。
2020-09-01 cs.LG stat.ML
Improving Lipschitz-Constrained Neural Networks by Learning Activation Functions
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对ReLU激活的Lipschitz约束神经网络性能差的问题，证明带可学习1-Lipschitz线性样条的网络对应带二阶总变分正则化的约束泛函优化全局最优解，提出高效训练方法，性能优于现有同类架构。
2023-12-19 cs.LG
NeuralScale: Efficient Scaling of Neurons for Resource-Constrained Deep Neural Networks
Institute of Electronics, National Chiao Tung University（国立交通大学电子研究所）
在设计深度神经网络以最大化性能的过程中，决定神经元的数量并不直观。在这项工作中，我们试图寻找一个固定的网络架构，最大限度地提高精度的神经元（滤波器）配置。使用迭代修剪方法作为代理，我们将每层神经元（滤波器）数量的变化与参数的变化进行参数化，使我们能够有效地扩展任意大小的架构。我们还介绍了架构下降迭代细化用于模型缩放的参数化函数。这两种方法的组合被称为NeuralScale。为了证明NeuralScale在参数方面的效率，我们使用CIFAR10，CIFAR100和TinyImageNet作为基准数据集，在VGG11，MobileNetV2和ResNet18上进行了实证模拟。我们的研究结果显示，在参数约束设置下（默认配置的输出神经元（过滤器），缩放因子为0.25），VGG11，MobileNetV2和ResNet18在CIFAR10，CIFAR100和TinyImageNet上的准确度分别提高了3.04%，8.56%和3.41%。
2020-06-23 cs.CV cs.LG cs.NE
An Outer-approximation Guided Optimization Approach for Constrained Neural Network Inverse Problems
ExxonMobil Research and Engineering（埃克森美孚研究与工程公司）
讨论了一种外逼近引导的线性单元修正约束神经网络反问题的最优化方法。约束神经网络逆问题指的是一个最优化问题，用于找到给定训练神经网络的最佳输入值集合，以便在输入值存在约束的情况下产生预定义的期望输出。分析了具有修正激活单元的神经网络反问题的最优解的特点，并利用其特点提出了一种外逼近算法。所提出的外近似引导优化包括原始和对偶阶段。原始阶段将邻近曲率与邻近外近似相结合以加快该过程。对偶阶段识别并利用局部凸区域的结构来提高收敛到局部最优解的能力。最后通过计算实验验证了该算法相对于投影梯度法的优越性。
2020-02-24 cs.LG math.OC
NEURAL: Attention-Guided Pruning for Unified Multimodal Resource-Constrained Clinical Evaluation
BASIRA Lab, Imperial-X (I-X) and Department of Computing, Imperial College London（BASIRA实验室、Imperial-X（I-X）及帝国理工学院计算机系）
本文提出NEURAL框架，利用视觉语言模型的交叉注意力分数对胸部X光片进行结构化剪枝并转化为图表示，在大幅缩减数据量的同时保持了高诊断性能，解决了资源受限环境下的数据存储与传输难题。
2025-08-13 cs.CV cs.LG
Hyperbolic Manifold Constrained Tabular Neural Network
Newcastle University（纽卡斯尔大学）
针对表格分类中离散规则结构与欧氏空间DNN几何不匹配问题，提出HDE-Net，通过抽象特征为LDN并嵌入双曲空间，引入软决策路由机制和容量分配算法，在分类基准上取得最佳平均排名，优于其他方法。
2026-09-29 cs.LG stat.ML
Prototype-Rule Neurosymbolic Regularization for Rank-Constrained Tensor Neural Networks under Label Scarcity
University of Macedonia（马其顿大学）；University of Malta（马耳他大学）
本研究提出原型规则神经符号正则化方法，在标签稀缺下增强秩约束张量神经网络，通过训练时正则化显著提升高光谱分类性能，推理融合效果有限。
2026-10-01 cs.CV cs.LG
Layer-compensated Pruning for Resource-constrained Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）
资源高效的卷积神经网络不仅可以实现边缘设备上的智能，还可以实现系统级优化，如调度。在这项工作中，我们的目标是通过合并两个通常考虑的子问题，即，(i)对于每一层要修剪多少过滤器，以及（ii）在给定每层修剪预算的情况下要修剪哪些过滤器。我们的框架需要一种新的算法，称为层补偿修剪，其中涉及元学习，以确定更好的解决方案。我们的经验表明，该算法是优于现有技术的有效性和效率。具体来说，我们将修剪后的网络和原始网络之间的准确性差距从0.9%减少到0.7%，元学习所需的时间减少了8倍，即，从1小时缩短到7分钟。为此，我们在CIFAR-10、ImageNet和Bird-200数据集下使用ResNet和MobileNetV 2网络证明了我们算法的有效性。
2018-10-18 cs.CV cs.LG
Explaining Deep Learning Models with Constrained Adversarial Examples
Babylon Health（巴比伦健康公司）；Royal Holloway University of London（伦敦大学皇家霍洛威学院）
机器学习算法通常遭受可解释性的问题。给定来自模型的分类结果，通常很难确定是什么导致做出决策，并给出信息性解释。我们探索了一种产生反事实解释的新方法，它不是解释为什么要进行特定的分类，而是解释如何实现不同的结果。这为解释的接受者提供了一种更好的方式来理解结果，并提供了一个可操作的建议。我们表明，所介绍的方法的约束对抗性的例子（CADEX）可以用于在现实世界中的应用，并产生解释，其中包括业务或领域的约束，如处理分类属性和范围的限制。
2019-06-25 cs.LG stat.ML
Deep Learning-Based Decoding for Constrained Sequence Codes
University of Alberta（阿尔伯塔大学）
约束序列码在现代通信和数据存储系统中得到了广泛的应用。用约束序列码编码的序列满足由物理信道施加的约束，因此实现编码符号的高效且可靠的传输。约束序列码的传统编码和解码依赖于表查找，这在传输期间易于发生错误。本文介绍了基于深度学习的约束序列解码。利用多层感知（MLP）网络和卷积神经网络（CNN），我们能够实现接近最大后验概率（MAP）解码的低比特出错率，以及提高系统吞吐量。此外，实现容量的固定长度码的实现（其中，对于查表解码复杂度高得令人望而却步）对于基于深度学习的解码变得实用。
2018-09-06 cs.IT cs.LG eess.SP
Riemann Tensor Neural Networks: Learning Conservative Systems with Physics-Constrained Networks
Department of Information Engineering and Computer Science, University of Trento, Trento, Italy（信息工程与计算机科学系，特伦托大学，意大利特伦托）
针对连续介质力学中守恒律的建模需求，提出固有满足无散对称张量条件的黎曼张量神经网络，可高精度逼近保守偏微分方程，首次实现该类张量作为归纳偏置的质量与动量双守恒建模。
2025-06-16 cs.LG
Training Stable Graph Neural Networks Through Constrained Learning
University of Pennsylvania（宾夕法尼亚大学）
图神经网络（GNN）依赖于图卷积来从网络数据中学习特征。GNN对底层图的不同类型的扰动是稳定的，这是它们从图过滤器继承的属性。在本文中，我们利用GNN的稳定性属性作为一个类型点，以寻求在分布内稳定的表示。我们提出了一种新的约束学习方法，通过施加一个约束的选择扰动内的GNN的稳定性条件。我们在真实世界的数据中展示了我们的框架，证实了我们能够获得更稳定的表示，同时不影响预测器的整体准确性。
2022-02-10 cs.LG eess.SP
The Rate of Convergence of Variation-Constrained Deep Neural Networks
University of Pennsylvania Wharton School（宾夕法尼亚大学沃顿商学院）；University of Minnesota Twin Cities（明尼苏达大学双城分校）
多层前馈网络已被用来逼近广泛的非线性函数。一个重要的和基本的问题是通过其统计风险或对未来数据的预期预测误差来理解网络模型的可学习性。据我们所知，由现有的作品所示的神经网络的收敛速度是有界的$n$的样本大小为$n^{-1/4}$的顺序。在本文中，我们证明了一类变分约束神经网络，具有任意的宽度，可以实现近参数率$n^{-1/2+δ}$为一个任意小的正常数$δ$。在均方误差下，它与$n^{-1 +2δ}$等效。数值实验也观察到了这个速率。结果表明，逼近光滑函数所需的神经函数空间可能没有人们通常认为的那么大。我们的研究结果还提供了一种现象，即当神经元和学习参数的数量随着$n$甚至超过$n$而快速增长时，深度神经网络不容易遭受过拟合。我们还讨论了其他网络参数的收敛速度，包括输入维数，网络层和系数范数。
2022-06-25 cs.LG eess.SP stat.ML
Quantization of Deep Neural Networks for Accumulator-constrained Processors
Eindhoven University of Technology（埃因霍温理工大学）；Intel Benelux（英特尔比荷卢）
我们介绍了一个人工神经网络（ANN）的量化方法的平台没有广泛的积累寄存器。这使得固定点模型部署在嵌入式计算平台上，这些平台不是专门为大型内核计算设计的（即累加器约束处理器）。我们将量化问题公式化为累加器大小的函数，并且旨在通过最大化输入数据的位宽和权重来最大化模型精度。为了减少要考虑的配置数量，只测试完全利用可用累加器位的解决方案。我们证明，16位的SVM能够获得在CIFAR-10和ILSVRC 2012图像分类基准的浮点基线的1\%的分类精度。此外，通过在All-CNN-C和AlexNet网络上利用16位递归进行图像分类，在ARM处理器上获得了接近最佳的$2\times$加速比。
2020-04-24 cs.CV cs.LG eess.IV
Constrained Neural Networks for Interpretable Heuristic Creation to Optimise Computer Algebra Systems
University of Bath（巴斯大学）；Coventry University（考文垂大学）
提出将柱形代数分解中变量排序的人工启发式表示为约束神经网络，并利用机器学习优化生成复杂度相似的新启发式，为计算机代数系统提供事前可解释性。
2024-04-26 cs.LG cs.SC
Fast Neural Network Predictions from Constrained Aerodynamics Datasets
Stanford University（斯坦福大学）
在喷气式飞机、航天器或燃气涡轮发动机的设计过程中，简化计算流体动力学常常受到所需计算资源和仿真时间的挑战，这取决于所选择的基于物理的计算模型和网格分辨率。该领域的一个持续问题是如何更快地模拟这些系统，但具有足够的精度。虽然许多方法涉及基础物理的简化模型，但其他方法是无模型的，仅基于现有的模拟数据进行预测。我们提出了一种新的无模型的方法，在该方法中，我们重新制定的模拟问题，以有效地增加约束的预计算数据集的大小，并引入了一种新的神经网络架构（称为集群网络）的电感偏置非常适合高度非线性计算流体动力学的解决方案。与最先进的基于模型的近似相比，我们表明我们的方法几乎一样准确，速度快一个数量级，并且更容易应用。此外，我们表明，我们的方法优于其他无模型的方法。
2019-12-06 cs.LG physics.comp-ph stat.ML
Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）
本文揭示了神经网络中预激活值非零均值的激活偏移现象，提出线性约束权重（LCW）方法减少该偏移，有效解决梯度消失问题并提升网络泛化性能。
2024-03-08 cs.LG cs.NE stat.ML
Projected Neural Differential Equations for Learning Constrained Dynamics
Technical University of Munich（慕尼黑工业大学）；Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所）；California Institute of Technology（加州理工学院）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Exeter（埃克塞特大学）
本文提出投影神经微分方程（PNDEs），通过将预测速度投影到约束流形切空间来强制约束，在混沌系统和电网模型中优于现有方法，且更高效、超参数更少。
2026-09-09 cs.LG physics.comp-ph stat.ML
Super-resolving sparse observations in partial differential equations: A physics-constrained convolutional neural network approach
Imperial College London（帝国理工学院）；Alan Turing Institute（艾伦·图灵研究所）
提出物理约束卷积神经网络（PC-CNN），利用先验物理知识从稀疏观测中推断高分辨率解，无需高分辨率训练数据，适用于混沌湍流等复杂系统，为实验数据超分辨率提供新途径。
2023-06-19 cs.LG physics.flu-dyn
Dynamical large deviations of two-dimensional kinetically constrained models using a neural-network state ansatz
Ghent University（根特大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；National Research Council Canada（加拿大国家研究委员会）；Vector Institute for Artificial Intelligence（人工智能矢量研究所）
我们使用一个神经网络模拟器最初设计的量子系统的变分优化研究动态大偏差的经典。我们得到的弗雷德里克森-安德森模型，一个典型的动力学约束模型，在一个和两个维度的动力学活动的标度累积生成函数，并提出了第一个尺寸标度分析的动力学活动在两个维度。这些结果为动力学大偏差函数的研究提供了一条新的途径，并突出了神经网络状态分析在物理学领域的广泛适用性。
2020-11-17 cond-mat.dis-nn cond-mat.stat-mech cs.LG
A Framework for Deep Constrained Clustering
University of California, Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）
约束聚类领域已经被研究人员广泛探索，并被实践者使用。约束聚类公式存在于流行的算法中，如k-means，混合模型和谱聚类，但有几个局限性。深度学习的一个基本优势是它的灵活性，在这里，我们将探索一个用于约束聚类的深度学习框架，特别是探索它如何扩展约束聚类领域。我们表明，我们的框架不仅可以处理标准的一起/分开的约束（没有记录良好的负面影响报告）产生的标记的边信息，但更复杂的约束产生的新类型的边信息，如连续值和高层次的领域知识。此外，我们提出了一个有效的训练范式，通常适用于这四种类型的约束。我们验证了我们的方法的有效性，在图像和文本数据集上的实验结果。我们还研究了我们的框架的鲁棒性，当学习噪声约束，并显示我们的框架的不同组件如何有助于最终的性能。我们的源代码可以在$\href{https://github.com/blueocean92/deep_constrained_clustering}{\text{URL}}$上找到。
2021-01-07 cs.LG
Binarized Neural Networks for Resource-Constrained On-Device Gait Identification
Stanford Computer Science（斯坦福大学计算机科学系）；Stanford Electrical Engineering（斯坦福大学电气工程系）；UnifyID Co.（UnifyID公司）
通过步态分析的用户认证是判别神经网络的一个有前途的应用-特别是由于步态加速度计的主要来源，口袋里的手机的无处不在。然而，传统的机器学习模型通常太大并且计算昂贵，以至于不能在低资源移动设备上进行推理。我们提出，二值化的神经网络可以作为强大的鉴别器，保持可接受的准确度水平，同时也大大降低了内存需求，从而实现设备上的推理。为此，我们提出了BiPedalNet，这是一种紧凑的CNN，几乎与Padova步态数据集的最新技术相匹配，内存开销仅为1/32。
2021-03-30 cs.LG
Bit-serial Weight Pools: Compression and Arbitrary Precision Execution of Neural Networks on Resource Constrained Processors
University of California, Los Angeles（加州大学洛杉矶分校）
近年来，神经网络在边缘系统上的应用激增，但不断增加的模型大小使得神经网络无法有效地部署在资源受限的微控制器上。我们提出了位串行权重池，一个端到端的框架，包括网络压缩和任意子字节精度的加速。与8位网络相比，该框架可以通过在整个网络中共享权重池来实现高达8倍的压缩。我们进一步提出了一个基于位串行查找的软件实现，允许运行时位宽权衡，并能够实现超过2.8倍的加速比和7.5倍的存储压缩相比，8位权重池网络，精度下降不到1%。
2022-01-25 cs.LG cs.PF
Benchmarking Stochastic Approximation Algorithms for Fairness-Constrained Training of Deep Neural Networks
Artificial Intelligence Center, Czech Technical University in Prague（捷克技术大学布拉格分校人工智能中心）
本文提出了一种用于评估在公平性约束下训练深度神经网络的随机逼近算法的基准测试方法，并展示了三种新算法的实现与比较。
2026-02-18 cs.CY cs.LG math.OC
Constrained Policy Gradient Method for Safe and Fast Reinforcement Learning: a Neural Tangent Kernel Based Approach
Chalmers University of Technology（查尔姆斯理工大学）
本文提出了一种有约束的策略梯度算法。我们通过以下步骤引入安全学习的约束。首先，放慢学习（惰性学习），使得可以借助于策略梯度定理和神经切线核来计算偶发策略改变。然后，这也使我们能够在任意状态下评估策略。本着同样的精神，学习可以被引导，通过用规定了期望动作概率的状态来增加事件批次来确保安全性。最后，可以在这些特定的状态-动作对处计算未来奖励（回报）的外生贴现和，使得策略网络满足约束。计算回报是基于求解线性方程组（等式约束）或约束二次规划（不等式约束，区域约束）。仿真结果表明，加入约束（外部信息）的学习，可以提高学习的速度和透明度合理，如果适当地选择约束。约束学习的效率在Cartpole和Lunar Lander OpenAI健身房环境中用浅而宽的ReLU网络进行了证明。本文的主要创新之处在于给出了神经切线核在强化学习中的实际应用。
2022-01-21 cs.LG
Global Convergence of Average Reward Constrained MDPs with Neural Critic and General Policy Parameterization
Department of Computer Science University of Maryland College Park（计算机科学系大学马里兰大学学院公园）；Indian Institute of Technology, Kanpur（印度理工学院坎浦尔）；Department of Electrical Engineering Indian Institute of Technology, Kanpur（电气工程系印度理工学院坎浦尔）；Department of Industrial Engineering Purdue University West Lafayette（工业工程系普渡大学威斯康星拉法叶）
本文提出了一种基于神经批评者和通用策略参数化的算法，实现了约束马尔可夫决策过程的全局收敛性保障，突破了传统线性批评者方法的限制。
2026-03-08 cs.LG
