A Context-Aware Cutting Plane Selection Algorithm for Mixed-Integer Programming
Technische Universität Berlin（柏林工业大学）；Zuse Institute Berlin（柏林祖斯研究所）；Fair Isaac Germany GmbH（费尔艾萨克德国有限公司）
针对混合整数规划求解器割平面选择长期未变的问题，提出新的割评分、过滤与停止准则，使 SCIP 在 MIPLIB 2017 上性能提升 5%。
2023-07-17 cs.LG math.OC
A Mixed-Integer Programming Approach to Training Dense Neural Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
人工神经网络（ANN）是广泛应用于各种现实世界分类任务的机器学习模型。然而，训练ANN非常耗时，并且生成的模型需要大量内存来部署。为了训练更简约的人工神经网络，我们提出了一种新的混合整数规划（MIP）制定训练全连接人工神经网络。我们的公式可以解释二进制和整流线性单元（ReLU）激活，以及对数似然损失的使用。我们目前的数值实验比较我们的MIP为基础的方法对现有的方法，并表明，我们能够实现竞争力的样本性能与更简约的模型。
2022-06-23 cs.LG math.OC
Integer linear programming for unsupervised training set selection in molecular machine learning
Laboratory for Computational Molecular Design, Institute of Chemical Sciences and Engineering, École Polytechnique Fédérale de Lausanne（计算分子设计实验室，化学科学与工程学院，洛桑联邦理工学院）；Chair of Discrete Optimization, École Polytechnique Fédérale de Lausanne（离散优化教授职位，洛桑联邦理工学院）；National Center for Competence in Research-Catalysis (NCCR-Catalysis), Zurich, Switzerland（催化研究竞争力中心（NCCR-Catalysis），瑞士苏黎世）
本文提出了一种基于整数线性规划（ILP）的无监督训练集选择方法，用于分子机器学习中预测广延性质，通过局部相似性（每原子）选择策略，显著提升了模型在预测比训练集更大分子性质时的性能。
2025-05-01 cs.LG physics.chem-ph
Mixed Integer Linear Programming for Feature Selection in Support Vector Machine
Université Libre de Bruxelles（布鲁塞尔自由大学）；INRIA Lille Nord-Europe（法国里尔-北欧国家信息与自动化研究所）；Universidad de Cádiz（加的斯大学）
本文主要研究支持向量机（SVM）的特征选择问题。一个MILP制定提出的问题。在该公式中，通过包括预算约束来对构造分离超平面的合适特征的选择进行建模，该预算约束预先设置了分类过程中要使用的特征数量的限制。我们提出了一个精确的和启发式的程序来解决这个配方在一个有效的方式。最后，通过与一些已知数据集进行检查并与经典分类方法进行比较来验证该模型。
2018-08-07 cs.LG math.OC stat.ML
Mixed-Integer Nonlinear Programming for State-based Non-Intrusive Load Monitoring
能量分解，在文献中称为非侵入式负载监测（NILM），是在给定由单个智能电表记录的聚合信号的情况下推断每个电器的能量消耗的任务。在本文中，我们提出了一种新的两阶段优化为基础的能量分解方法。在第一阶段，一个小的训练集，包括分解的功率分布被用来估计参数和功率状态，通过解决一个混合整数规划问题。一旦模型参数被估计，能量分解问题被公式化为一个受约束的二元二次最优化问题。我们采用惩罚条款，利用先验知识的分解痕迹是如何产生的，和电器特定的约束特征的签名不同类型的电器同时操作。我们的方法与现有的基于优化的算法在合成数据集和三个现实世界的数据集进行比较。所提出的配方是计算效率高，能够消除歧义的负载与类似的消费模式，并成功地重建签名的已知电器，尽管存在未计量的设备，从而克服了文献中提供的基于优化的方法的主要缺点。
2022-02-22 cs.LG math.OC stat.ML
Towards An Unsupervised Learning Scheme for Efficiently Solving Parameterized Mixed-Integer Programs
Tsinghua University（清华大学）；PetroChina Planning and Engineering Institute（中国石油规划总院）；CNPC Laboratory of Oil & Gas Business Chain Optimization（中国石油天然气集团公司油气产业链优化实验室）
本文提出一种无监督学习方案，通过训练自编码器构建割平面约束以缩小可行域，从而在保持求解质量的同时显著提升参数化混合整数规划的求解效率。
2024-12-24 cs.LG math.OC
Exact Certification of Data-Poisoning Attacks Using Mixed-Integer Programming
Department of Computing, Imperial College London（帝国理工学院伦敦分校计算机系）；The Alan Turing Institute（阿兰·图灵研究院）
本文提出了一种基于混合整数规划的框架，用于精确认证神经网络训练期间的数据中毒攻击的鲁棒性。
2026-02-18 cs.LG
MINA: Convex Mixed-Integer Programming for Non-Rigid Shape Alignment
MPI Informatics Saarland Informatics Campus（萨尔州大学信息学研究所（MPI Informatics）萨兰兹信息学园区（Saarland Informatics Campus））
我们提出了一个非刚性形状匹配的凸混合整数规划公式。为此，我们提出了一种新的形状变形模型的基础上，一个有效的低维离散模型，以便找到一个全局最优的解决方案是易于处理的（大多数）实际情况下。我们的方法结合了几个有利的属性：它是独立的初始化，它是更有效地解决到全局最优相比，类似的二次分配问题的配方，它是高度灵活的，它可以处理的匹配问题的变体。实验上，我们证明了我们的方法优于现有的稀疏形状匹配方法，它可以用于初始化密集形状匹配方法，我们展示了它的灵活性在几个例子。
2020-02-28 cs.CV cs.GR cs.LG
A Mixed Integer Programming Approach for Verifying Properties of Binarized Neural Networks
Stanford University（斯坦福大学）
近年来，人们提出了许多验证神经网络输入输出特性的方法。然而，现有的算法不能很好地扩展到大型网络。模型压缩领域的最新工作研究了二进制神经网络（BNN），其参数和激活是二进制的。与全精度对应物相比，BNN的性能往往会略有下降，但它们更容易验证。本文提出了一个简单的混合整数规划公式的BNN验证，利用网络结构。我们通过验证MNIST数据集和飞机防撞控制器上训练的BNN的属性来证明我们的方法。我们比较我们的方法对国家的最先进的验证算法的全精度神经网络的运行时间。结果表明，训练BNN的难度可能值得我们的验证算法实现的运行时间减少。
2022-03-11 cs.AI cs.LG
Fast Non-Parametric Learning to Accelerate Mixed-Integer Programming for Online Hybrid Model Predictive Control
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
当今快速的线性代数和数值优化工具已经将模型预测控制（MPC）的前沿推向了高度非线性和混合系统的有效控制。混合MPC领域已经证明可以计算精确的最优控制规律，例如，在分段仿射（PWA）系统模型下，采用混合整数规划（MIP）方法求解。尽管有优雅的理论，在线求解混合MPC仍然是遥不可及的许多应用。我们的目标是通过结合混合MPC（一种简单而有效的学习算法）的几何见解和MIP热启动技术来加速MIP。在近似显式MPC的工作线之后，所提出的学习控制算法LNMS以很小的成本获得了MIP的计算优势，并且对于从业者来说是直接实现的。
2020-05-07 cs.LG cs.SY eess.SY
Smart Feasibility Pump: Reinforcement Learning for (Mixed) Integer Programming
UC Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一个深度强化学习（DRL）模型，用于寻找（混合）整数规划（MIP）问题的可行解。找到一个可行的解决方案，MIP问题是至关重要的，因为许多成功的物流依赖于一个已知的初始可行的解决方案。但是，它一般是NP难的。启发的可行性泵（FP），一个著名的启发式搜索可行的MIP解决方案，我们开发了一个智能可行性泵（SFP）方法使用DRL。除了多层感知（MLP），我们提出了一种新的卷积神经网络（CNN）结构的策略网络捕捉隐藏的信息的约束矩阵的MIP问题。不同问题实例的数值实验表明，SFP显着优于经典FP的步骤所需的数量，以达到第一个可行的解决方案。此外，CNN结构在没有当前解的投影作为输入的情况下工作，这节省了FP算法的每一步的计算工作量以找到投影。这突出了CNN结构的代表性力量。
2021-07-16 cs.LG
OTLP: Output Thresholding Using Mixed Integer Linear Programming
Wise Plc（Wise公司）
本文提出模型无关的 OTLP 阈值化框架，利用混合整数线性规划支持多目标与约束，以解决平衡及不平衡分类中的推理阈值优化问题，并在信用卡欺诈检测数据集上验证其有效性。
2024-05-18 cs.LG
Model-based feature selection for neural networks: A mixed-integer programming approach
KTH Royal Institute of Technology（瑞典皇家理工学院）；Imperial College London（帝国理工学院）
在这项工作中，我们为基于ReLU的深度神经网络（DNN）开发了一种新的输入特征选择框架，该框架建立在混合整数优化方法的基础上。虽然该方法通常适用于各种分类任务，但我们专注于寻找用于图像分类的输入特征，以便清晰地呈现。这个想法是使用一个经过训练的DNN或一组经过训练的DNN来识别显著的输入特征。将输入特征选择公式化为一系列混合整数线性规划（MILP）问题，该问题找到使每个类别的分类置信度最大化的稀疏输入集。这些“逆”问题通过为每个类别选择的输入数量和分布约束进行正则化。在著名的MNIST和FashionMNIST数据集上的数值结果表明，所提出的输入特征选择允许我们将输入的大小大幅减少到$\sim$ 15\%，同时保持良好的分类精度。这使我们能够设计具有更少连接的DNN，减少计算工作量，并产生对对抗性攻击更鲁棒的DNN。
2023-02-20 cs.LG math.OC
Community Detection in the Stochastic Block Model by Mixed Integer Programming
Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio)（里约热内卢天主教大学）
度校正随机块模型（DCSBM）是一种流行的模型，用于生成具有期望度序列的社区结构的随机图。基于DCSBM的社区发现的标准方法是通过最大似然估计（MLE）搜索最有可能产生观测网络数据的模型参数。目前的技术MLE问题的启发式，因此不能保证收敛到最优。我们提出了数学规划公式和精确的解决方案，可以证明找到模型参数和社区分配的最大似然给定的观察图。我们比较这些确切的方法与经典的启发式算法的基础上期望最大化（EM）。精确方法给出的解决方案为我们提供了一种原则性的方法来测量经典化学的实验性能，并比较其不同的变化。
2021-05-04 cs.LG cs.SI
Lossy compression of matrices by black-box optimisation of mixed integer nonlinear programming
DENSO CORPORATION（电装公司）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）；DENSO IT Laboratory（电装IT实验室）
在边缘计算中，抑制数据大小对于执行自动驾驶等复杂任务的机器学习模型来说是一个挑战，其中计算资源（速度，内存大小和功率）有限。矩阵数据的有效有损压缩已经通过将其分解成整数矩阵和实矩阵的乘积而引入。然而，它的优化是困难的，因为它需要同时优化一个整数和实变量。在本文中，我们利用最近开发的黑盒优化（BBO）算法与Ising求解器的整数变量，改善这种优化。此外，该算法可以用来解决混合整数规划问题，是线性和非线性的实数和整数变量，分别。伊辛求解器（模拟退火，量子退火和模拟淬火）和BBO算法（BOCS，FMQA及其变化）的策略之间的差异进行了讨论，为进一步发展的BBO技术。
2022-09-27 cs.LG math.OC quant-ph
Improvement of Optimization using Learning Based Models in Mixed Integer Linear Programming Tasks
针对大规模实时 MILP 规划调度求解耗时问题，提出融合 BC 与 RL 训练 GNN 的学习框架，为多智能体任务分配调度生成热启动初始解，在保持质量与可行性的同时降低优化时间及方差。
2025-05-17 cs.AI cs.LG cs.MA
CodeRosetta: Pushing the Boundaries of Unsupervised Code Translation for Parallel Programming
Cisco Outshift（思科Outshift）；Google DeepMind（谷歌DeepMind）；Iowa State University（爱荷华州立大学）
本文提出 CodeRosetta 编码器-解码器模型，利用定制预训练与训练目标实现编程语言及其 HPC 扩展的双向无监督翻译，在 C++-CUDA 和 Fortran-并行 C++ 任务上显著优于现有 LLM。
2024-10-27 cs.AI cs.DC cs.LG
