A Unified Approach to Extract Interpretable Rules from Tree Ensembles via Integer Programming
University of Pavia（帕维亚大学）；University of Seville（塞维利亚大学）
本研究针对树集成模型可解释性不足的问题，提出一种基于整数规划求解集合划分问题的统一规则提取方法，适用于多类数据与任务，在预测性能和保真度上表现优异且可有效提取时间序列树集成的可解释规则。
2025-01-13 cs.LG math.OC
IPBoost -- Non-Convex Boosting via Integer Programming
TU Darmstadt（达姆施塔特工业大学）；TU Berlin（柏林工业大学）；Zuse Institute Berlin（柏林祖斯研究所）
近年来，求解机器学习问题的非凸优化方法得到了广泛的关注。在本文中，我们探讨了非凸提升分类的整数规划的手段，并证明了现实世界的实用性的方法，同时规避凸提升方法的缺点。我们报告的结果是可比或优于目前的最先进的。
2020-02-11 cs.LG math.OC stat.ML
An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions
RWTH Aachen University（亚琛工业大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；Stellenbosch University（斯泰伦博斯大学）
我们研究了具有二元激活函数（BDNN）的深度神经网络，即激活函数只有两个状态。我们表明，BDNN可以重新制定为一个混合整数线性规划，可以解决经典的整数规划求解器的全局最优性。此外，一个启发式求解算法，我们研究了数据不确定性下的模型，采用两阶段的鲁棒优化方法。我们在随机和真实数据集上实现了我们的方法，并表明BDNN的启发式版本在乳腺癌威斯康星数据集上的表现优于经典的深度神经网络，而在随机数据上的表现更差。
2020-08-07 cs.LG cs.NE math.OC
Lossy compression of matrices by black-box optimisation of mixed integer nonlinear programming
DENSO CORPORATION（电装公司）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）；DENSO IT Laboratory（电装IT实验室）
在边缘计算中，抑制数据大小对于执行自动驾驶等复杂任务的机器学习模型来说是一个挑战，其中计算资源（速度，内存大小和功率）有限。矩阵数据的有效有损压缩已经通过将其分解成整数矩阵和实矩阵的乘积而引入。然而，它的优化是困难的，因为它需要同时优化一个整数和实变量。在本文中，我们利用最近开发的黑盒优化（BBO）算法与Ising求解器的整数变量，改善这种优化。此外，该算法可以用来解决混合整数规划问题，是线性和非线性的实数和整数变量，分别。伊辛求解器（模拟退火，量子退火和模拟淬火）和BBO算法（BOCS，FMQA及其变化）的策略之间的差异进行了讨论，为进一步发展的BBO技术。
2022-09-27 cs.LG math.OC quant-ph
Ensemble Genetic Programming
Faculdade de Ciências da Universidade de Lisboa（里斯本大学科学学院）
包围学习是一种强大的范例，已被用于最先进的机器学习方法，如随机森林和XGBoost。受这些方法成功的启发，我们开发了一种新的遗传编程方法，称为Enhancement GP。它的进化周期与其他遗传程序设计系统相同，但在种群结构、适应度评价和遗传算子等方面有所不同。我们已经在八个二进制分类问题上测试了这种方法，结果明显优于标准GP，模型要小得多。虽然其他方法如M3GP和XGBoost是最好的整体，EnergyGP能够实现特别好的泛化结果在一个特别困难的问题，没有其他方法能够成功。
2020-01-21 cs.LG cs.NE stat.ML
Ensemble Methods for Convex Regression with Applications to Geometric Programming Based Circuit Design
Duke University（杜克大学）
本文提出集成方法（如bagging、smearing和随机划分）来改进分段线性凸回归的稳定性，并应用于基于几何规划的电路设计中的器件建模和约束近似。
2012-06-18 cs.LG cs.NA math.NA
NICE: Robust Scheduling through Reinforcement Learning-Guided Integer Programming
US Air Force-MIT AI Accelerator（美国空军-麻省理工学院人工智能加速器）；MIT（麻省理工学院）
可编程逻辑程序提供了一个强大的抽象，代表了广泛的现实世界的调度问题。尽管他们能够模拟一般的调度问题，解决大规模整数规划（IP）在实践中仍然是一个计算上的挑战。纳入更复杂的目标，如鲁棒性中断进一步加剧了计算的挑战。我们提出了NICE（神经网络IP系数提取），一种新的技术，结合强化学习和整数规划来解决鲁棒调度问题。更具体地说，NICE使用强化学习来近似表示整数规划公式中的复杂目标。我们使用NICE来确定飞行员的飞行机组时间表分配，以减少中断的影响。我们比较NICE与（1）基线整数规划公式，产生一个可行的船员计划，和（2）一个强大的整数规划公式，明确地试图尽量减少中断的影响。我们的实验表明，在各种情况下，NICE产生的时间表，导致33%至48%的中断比基线配方。此外，在鲁棒整数规划无法在90分钟内生成调度的更严格约束的调度场景中，NICE能够在平均不到2秒的时间内构建鲁棒调度。
2022-04-14 cs.AI cs.LG
CombOptNet: Fit the Right NP-Hard Problem by Learning Integer Programming Constraints
Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Masaryk University（马萨里克大学）；Facebook AI Research（脸书人工智能研究）
该研究提出CombOptNet，将整数规划求解器作为可学习层集成到神经网络中，实现端到端训练以同时学习成本项与约束，在合成数据和计算机视觉关键点匹配基准上验证了其潜力。
2022-04-11 cs.LG
Pruning Techniques for Mixed Ensembles of Genetic Programming Models
NOVA IMS, Universidade Nova de Lisboa（里斯本新大学NOVA信息管理学院）；Università degli Studi di Milano-Bicocca（米兰比可卡大学）
本文的目的是定义一个有效的策略，建立一个集成的遗传编程（GP）模型。由于其特点，包围方法被广泛用于机器学习：它们平均了偏差，减少了方差，并且通常比单一模型更好地推广。尽管有这些优点，构建GP模型的集成在演化计算社区中并不是一个发展良好的主题。为了填补这一空白，我们提出了一种策略，融合了标准的语法为基础的GP和个人产生的几何语义遗传编程，最新的语义为基础的方法之一，GP。事实上，最近的文献表明，结合语法和语义可以提高GP模型的泛化能力。此外，为了提高用于建立集成的GP模型的多样性，我们提出了基于相关性和熵（信息论中常用的度量）的不同修剪标准。在不同的复杂问题上获得的实验结果表明，基于相关性和熵的剪枝准则可以有效地提高集成模型的泛化能力，并减少构建模型所需的计算负担。
2018-01-23 cs.LG cs.NE stat.ML
Mixed integer programming formulation of unsupervised learning
Universidad Autónoma de Nuevo León（新莱昂自治大学）；Facultad de Ingeniería Mecánica y Eléctrica（机械与电气工程学院）；Facultad de Ciencias Físico Matemáticas（物理数学学院）
给出了一种新的完全玻尔兹曼机的混合二元二次可行性问题的公式化和训练过程。作为概念的证明，理论分析和数值测试XOR模式。
2020-01-20 cond-mat.dis-nn cs.LG stat.ML
The Integer Linear Programming Inference Cookbook
University of Utah（犹他大学）；University of Pennsylvania（宾夕法尼亚大学）
本调查以配方集形式指导读者如何将自然语言处理中的新推理问题构建为整数线性规划实例，并通过两个实例展示其应用。
2023-06-30 cs.AI cs.CL cs.LG
Piecewise Polynomial Regression of Tame Functions via Integer Programming
Czech Technical University of Prague（布拉格捷克理工大学）；Faculty of Electrical Engineering（电气工程学院）
研究非光滑非凸的Tame函数逼近问题，提出分段多项式回归的混合整数规划公式并给出逼近质量界限，展示了其在估计Tame函数时的良好数值表现。
2024-06-04 cs.AI cs.LG math.OC
HyDI: A hybrid Deep Learning-Inductive Logic Programming ensemble for multi-label classification
University of Osnabrück（奥斯纳布吕克大学）
HyDI提出一种结合深度学习与归纳逻辑编程的混合集成架构，用于层次化多标签分类，在ChEBI本体上为314个类别生成规则，提供透明且可解释的分类结果。
2026-09-30 cs.LG cs.LO
Low-Rank Boolean Matrix Approximation by Integer Programming
Mathematical Institute（数学研究所）；IBM Research（IBM研究院）；Alan Turing Institute（阿兰·图灵研究所）；Pembroke College（彭布罗克学院）
数据矩阵的低秩近似是机器学习和回归分析中重要的降维工具。我们考虑的情况下，分类变量，它可以制定为问题找到低秩近似布尔矩阵。在本文中，我们给出了什么是我们所知的第一个整数规划公式，只依赖于多项式的许多变量和约束，我们讨论了如何解决它的计算和报告的数值测试合成和真实世界的数据。
2018-03-13 cs.DM cs.LG stat.ML
Causal Discovery by Interventions via Integer Programming
Arizona State University（亚利桑那州立大学）；University of Pittsburgh（匹兹堡大学）
本文针对观测因果发现受混杂变量限制的问题，提出利用整数规划设计最小干预集，以保证因果结构可辨识，并通过多场景比较验证了方法的适用性与稳健性。
2024-12-02 cs.AI cs.LG stat.ML
Molecular Design Based on Artificial Neural Networks, Integer Programming and Grid Neighbor Search
Kyoto University（京都大学）
最近提出了一种新的框架，用于使用人工神经网络和混合整数线性规划来设计具有期望化学性质的化合物的分子结构。在该框架中，具有目标化学值的化学图被推断为混合整数线性规划的可行解，该混合整数线性规划表示预测函数和对图的结构的其他要求。本文提出了一种通过在搜索空间中搜索输出化学图的邻域来生成混合整数线性规划的其它可行解的方法。该程序在框架中作为一个新的构建块合并。我们的计算实验的结果表明，所提出的方法可以产生额外的数量的新的化学图与多达50个非氢原子。
2021-08-23 cs.LG physics.chem-ph
Solving Bayesian Network Structure Learning Problem with Integer Linear Programming
London School of Economics and Political Science（伦敦政治经济学院）
本文研究了贝叶斯网络结构学习问题的整数线性规划（ILP）形式.我们回顾了贝叶斯网络的定义和关键属性，并解释了用于衡量某些贝叶斯网络结构与数据集拟合程度的得分度量。我们概述了整数线性规划公式的基础上分解的得分指标。为了确保结构的无环性，我们添加了专门为贝叶斯网络开发的“簇约束”，除了一般适用于有向无环图的循环约束。由于如果我们完全指定这些约束，这些约束的数量将是指数级的，因此我们解释了将它们添加为切割平面的方法，而无需在初始模型中声明它们。此外，我们开发了一个启发式算法，找到一个可行的解决方案的基础上的思想汇节点上有向无环图。我们实现了ILP制定和切割平面作为一个\textsf{Python}包，并提出了不同的设置在参考数据集上的实验结果。
2020-07-06 cs.AI cs.LG stat.ML
