On the Generalization of Neural Combinatorial Optimization Heuristics
NAVER LABS Europe(NAVER LABS欧洲)
神经组合优化方法最近利用深度神经网络的表达能力和灵活性来学习用于困难组合优化(CO)问题的有效算法。然而,目前的大多数方法缺乏泛化能力:对于给定的CO问题,在具有某些特征的实例上训练的算法在具有不同特征的实例上测试时表现不佳。虽然以前的一些工作集中在改变训练实例的属性,但我们假设一个一刀切的模型是遥不可及的。相反,我们将在给定的实例分布上解决CO问题形式化为一个单独的学习任务,并研究元学习技术来学习各种任务的模型,以优化其适应新任务的能力。通过大量的实验,在两个CO问题上,使用合成和现实的实例,我们表明,我们提出的元学习方法显着提高了两个国家的最先进的模型的泛化。
2022-10-03 cs.AI cs.LG
A Dual Perspective on Decision-Focused Learning: Scalable Training via Dual-Guided Surrogates
Harvard University(哈佛大学);University of California, Berkeley(加州大学伯克利分校)
本文提出双引导损失DGL,利用下游问题的对偶变量周期性地构建可微代理目标,在保持决策对齐的同时大幅减少组合优化器调用次数和训练时间,并在匹配、背包和最短路径等组合选择问题上验证了其有效性与可扩展性。
2025-11-07 cs.AI cs.LG
Decision-Focused Learning: Through the Lens of Learning to Rank
Vrije Universiteit Brussel(布鲁塞尔自由大学);Universidad de O’Higgins(奥伊金斯大学);KU Leuven(鲁汶大学)
近年来,以决策为中心的学习框架,也被称为预测和优化,受到越来越多的关注。在该设置中,机器学习模型的预测被用作用于决策的离散组合优化问题的目标函数中的估计成本系数。决策集中学习提出通过直接优化优化求解器做出的决策的质量来训练ML模型,通常是神经网络模型。基于最近的一项工作,提出了一个解决方案空间的子集上的噪声对比估计损失,我们观察到,决策为重点的学习可以更普遍地被视为一个学习排名的问题,其中的目标是学习一个目标函数,正确的可行点排名。该观察结果与所使用的优化方法和目标函数的形式无关。我们开发逐点,逐对和逐列的排名损失函数,它可以区分在封闭形式的解决方案的一个子集。我们经验调查我们的通用方法的质量相比,现有的以决策为中心的学习方法具有竞争力的结果。此外,控制解决方案的子集允许相当大地控制运行时,对遗憾的影响有限。
2022-06-17 cs.AI cs.LG
Systematic Training and Testing for Machine Learning Using Combinatorial Interaction Testing
National Security Institute, Virginia Tech(弗吉尼亚理工学院国家安全研究所);The MITRE Corporation(米特雷公司)
本文演示了系统地使用组合覆盖来选择和表征机器学习模型的测试和训练集。所提出的工作适应组合交互测试,这已成功地利用在软件测试中识别故障,表征数据用于机器学习。MNIST手写数字数据用于证明组合覆盖可用于选择强调机器学习模型性能的测试集,选择导致鲁棒模型性能的训练集,以及选择用于微调模型到新领域的数据。因此,结果证明了组合覆盖作为机器学习训练和测试的整体方法。与以前的工作集中在使用覆盖方面的内部神经网络,本文认为覆盖简单的功能来自输入和输出。因此,本文解决了机器学习模型的测试和训练集的供应商对模型本身没有知识产权的情况。最后,本文解决了先前的批评组合覆盖,并提供了一个反驳,主张在机器学习应用程序中使用的覆盖度量。
2022-01-28 cs.LG cs.SE stat.ML
Learning Heuristics over Large Graphs via Deep Reinforcement Learning
Indian Institute of Technology Delhi(德里印度理工学院);Northwestern University(西北大学);University of California Santa Barbara(加州大学圣巴巴拉分校)
通过机器学习发现图上的组合问题的算法的兴趣越来越大。虽然现有技术主要集中在获得高质量的解决方案上,但数十亿大小的图的可扩展性尚未得到充分解决。此外,许多实际场景所需的约束条件的影响仍有待研究。在本文中,我们提出了一个称为GCOMB的框架来弥合这些差距。GCOMB训练一个图卷积网络(GCN)使用一种新的概率贪婪机制来预测一个节点的质量。为了进一步促进问题的组合性质,GCOMB利用Q学习框架,这是通过重要性采样的效率。我们在真实的图上进行了大量的实验,以衡量GCOMB的效率和功效。我们的研究结果表明,GCOMB是100倍的速度和质量略好于国家的最先进的学习组合算法的算法。通过对实际组合问题影响力最大化(IM)的实例分析表明,GCOMB算法在性能相近的情况下,比专用IM算法IMM快150倍.
2020-12-03 cs.AI cs.LG stat.ML
Combinatorial optimization and reasoning with graph neural networks
Polytechnique Montréal(蒙特利尔综合理工学院);University of Toronto(多伦多大学);Jacobs Technion-Cornell Institute(雅各布斯特克尼恩-康奈尔研究所);Cornell Tech(康奈尔科技校区);Technion - IIT(以色列理工学院);RWTH Aachen University(亚琛工业大学);DeepMind(深度思维)
本文综述了利用图神经网络(GNNs)作为求解器或增强精确求解器来处理组合优化问题的新兴方法,强调了GNNs的归纳偏置优势,并面向优化与机器学习研究者总结关键进展。
2022-09-23 cs.DS cs.LG cs.NE
Multi-objective Pointer Network for Combinatorial Optimization
Anhui University(安徽大学);National University of Defense Technology(国防科技大学)
多目标组合优化问题是一类复杂优化问题,广泛存在于各种实际应用中。虽然元算法已经成功地应用于解决MOCOP问题,但计算时间往往要长得多。最近,已经提出了许多深度强化学习(DRL)方法来生成组合优化问题的近似最优解。然而,现有的研究DRL很少集中在MOCOPs。该研究提出了一种单模型深度强化学习框架,称为多目标指针网络(MOPN),其中PN的输入结构得到有效改进,使得单个PN能够解决MOCOPs。此外,分别提出了基于代表模型和迁移学习的两种训练策略,以进一步提高MOPN在不同应用场景下的性能。此外,与经典的元分析相比,MOPN只消耗更少的时间在向前传播,以获得帕累托前沿。同时,MOPN对问题规模不敏感,这意味着经过训练的MOPN能够解决具有不同规模的MOCOP。为了验证MOPN的性能,进行了广泛的实验上的三个多目标旅行商问题,与一个国家的最先进的模型DRL-MOA和三个经典的多目标元算法进行比较。实验结果表明,该模型的训练时间仅为DRL MOA训练时间的20 ~ 40%,性能优于所有比较方法.
2022-04-25 cs.AI cs.LG
Estimating the Number of Connected Components in a Graph via Subgraph Sampling
Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校);Yale University(耶鲁大学)
自Goodman \cite{Goodman1949}和Frank \cite{Frank1978}的早期工作以来,从样本中学习大型图的性质一直是统计网络分析中的一个重要问题。我们重新讨论了Frank \cite{Frank1978}提出的一个问题,即基于子图抽样模型估计一个大型图中连通分量的数目,在该模型中我们随机抽取一个顶点子集,观察诱导子图.关键的问题是,是否准确的估计是可以实现的\emph{sublinear}制度,其中只有一个消失的分数的顶点进行采样。我们证明了,如果允许父图包含高度顶点或长诱导圈,这是不可能的。对于弦图类,其中长度为4或以上的诱导周期是禁止的,我们在常数因子内的最佳样本复杂性的特征,并构造线性时间估计,可证明达到这些界限。这显着扩大了以前的结果,专注于无偏估计和特殊类别的图,如森林或集团的范围。所提出的方法的构造和分析都依赖于弦图的组合性质和诱导子图计数的恒等式。反过来,他们也发挥了关键作用,证明极大极小下界的基础上建设的随机实例图匹配结构的小子图。
2019-06-15 cs.DM cs.LG math.ST
Combinatorial optimization for low bit-width neural networks
KU Leuven(鲁汶大学);University of Bergen(卑尔根大学)
低位宽神经网络已被广泛探索用于部署在边缘设备上以减少计算资源。现有的方法集中在两阶段训练和压缩设置中的基于梯度的优化,或者作为组合优化,其中梯度在训练期间被量化。这种方案在训练阶段需要高性能的硬件,并且通常除了量化的权重之外还存储相等数量的全精度权重。本文研究了二元权风险最小化问题的直接组合优化方法,在一定条件下,该问题等价于非单调子模最大化问题.我们采用的情况下,与单层和多层神经网络的近似算法。对于线性模型,它具有$\mathcal{O}(nd)$时间复杂度,其中$n$是样本大小,$d$是数据维。我们证明了贪婪坐标下降和这种新方法的组合可以在二进制分类任务中获得有竞争力的准确性。
2022-06-04 cs.LG
Combinatorial Optimization with Automated Graph Neural Networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Hangzhou Yugu Technology Co., Ltd(杭州宇谷科技有限公司);Zhejiang University(浙江大学);Guangzhou University(广州大学);Zhejiang Lab(之江实验室)
本文提出AutoGNP,通过图神经架构搜索自动设计用于求解混合整数线性规划和二次无约束二值优化等NP难组合优化问题的GNN,并利用两跳算子、模拟退火和严格早停策略避免局部最优,在基准问题上表现优越。
2024-06-10 cs.AI cs.LG
Machine Learning for Combinatorial Optimisation of Partially-Specified Problems: Regret Minimisation as a Unifying Lens
University of Trento(特伦托大学);TU Eindhoven(埃因霍温理工大学);University of Bologna(博洛尼亚大学);TU Delft(代尔夫特理工大学);KU Leuven(鲁汶大学)
解决部分指定的组合优化问题越来越普遍。我们调查的情况下,目标函数或变量之间的关系是未知的,或者只是部分指定。挑战在于从可用数据中学习它们,同时考虑解决方案必须满足的一组硬约束,并且解决优化问题(特别是在学习期间)在计算上要求非常高。本文概述了四种看似无关的方法,每种方法都可以被视为学习一个困难的组合优化问题的目标函数:1)基于代理的优化,2)经验模型学习,3)以决策为中心的学习(“预测+优化”),以及4)结构化输出预测。我们形式化每一个学习范式,首先在文献中常见的方式,然后把形式化在一个兼容的方式使用遗憾。我们讨论了这些框架之间的差异和相互作用,强调了交叉施肥和调查开放方向的机会。
2022-05-20 cs.LG
Ising-based Consensus Clustering on Specialized Hardware
University of Toronto(多伦多大学);Fujitsu Laboratories of America, Inc.(美国富士通研究所)
CMOS退火机和绝热量子计算机等专用优化硬件的出现,带来了在硬件中更有效地解决困难的组合优化问题的希望。最近的工作集中在制定不同的组合优化问题的伊辛模型,大量的这些硬件平台使用的核心数学抽象,并评估这些模型的性能时,解决了专门的硬件。一个有趣的应用领域是数据采掘,其中组合优化问题是许多核心任务的基础。在这项工作中,我们专注于共识聚类(聚类聚合),一个重要的组合问题,在过去的二十年中受到了广泛关注。我们提出了两个伊辛模型的共识聚类和评估使用富士通数字退火,量子灵感的CMOS退火。我们的实证评估表明,我们的方法优于现有的技术,是未来研究的一个有前途的方向。
2020-03-04 cs.LG math.OC quant-ph
Learning Combinatorial Functions from Pairwise Comparisons
机器学习中的大量工作都集中在学习一个基本组合函数的紧密近似的问题上,给定一小组标记的例子。然而,对于实值函数,基数标签可能无法访问,或者专家可能难以在整个示例集上一致地分配实值标签。例如,众所周知,消费者很难可靠地为一捆捆商品赋值。相反,消费者更容易报告她更喜欢两个捆绑包中的哪一个。考虑到这一动机,我们考虑一种替代学习模型,其中算法必须从成对比较中学习到成对比较的底层函数。在这个模型中,我们提出了一系列新的算法,学习各种各样的组合函数类。从图函数到在微观经济学理论、社交网络分析和机器学习中具有根本重要性的各种估值函数,如覆盖函数、次模函数、XOS函数和次加函数,以及具有稀疏傅立叶支持的函数。
2016-05-30 cs.DS cs.LG
The Machine Learning for Combinatorial Optimization Competition (ML4CO): Results and Insights
Huawei(华为);Megvii(旷视)
组合优化是运筹学和计算机科学中一个成熟的领域。直到最近,它的方法一直专注于孤立地解决问题实例,忽略了它们通常源于实践中的相关数据分布。然而,近年来,人们对使用机器学习作为解决组合问题的新方法的兴趣激增,无论是直接作为求解器还是通过增强精确求解器。基于此背景,ML 4 CO旨在通过替换关键启发式组件来改进最先进的组合优化求解器。比赛有三个具有挑战性的任务:找到最佳可行解,产生最严格的最优性证书,并给出适当的求解器配置。三个现实的数据集被认为是:平衡的项目布局,工作量分配,和海上库存路由。最后一个数据集对参赛者保持匿名。
2022-03-17 cs.LG cs.NE math.OC
Decision-Focused Evaluation of Worst-Case Distribution Shift
Carnegie Mellon University(卡内基梅隆大学)
本文针对预测性资源分配场景,提出基于分层模型和子模优化的决策聚焦框架,用于识别最坏情况分布偏移,并通过真实数据证明不同指标识别出的最坏偏移存在显著差异。
2024-07-04 cs.LG stat.ML
MIPaaL: Mixed Integer Program as a Layer
University of Southern California(南加州大学);Harvard University(哈佛大学)
机器学习组件通常出现在较大的决策管道中;然而,模型训练过程通常只关注测量预测值和地面真值之间准确性的损失。以决策为中心的学习在训练预测模型时明确地集成了下游决策问题,以优化由预测引起的决策质量。它已成功地应用于几个有限的组合问题类,如那些可以表示为线性规划(LP),和子模块优化。然而,这些以前的应用程序都集中在从特定的类与简单的约束问题。在这里,我们可以为可以编码为混合线性规划(MIP)的广泛类别的问题实现以决策为中心的学习,从而支持对离散和连续变量的任意线性约束。我们展示了如何区分通过MIP采用切割平面解决方案的方法,这是一个精确的算法,迭代地增加约束的问题,直到一个完整的解决方案是发现。我们评估我们的新的端到端的方法在几个现实世界的域,并表明它优于标准的两个阶段的方法,分别对待预测和处方,以及简单地将以决策为中心的学习应用于MIP的LP松弛的基线方法。
2019-07-17 cs.AI cs.LG
Benchmarking PtO and PnO Methods in the Predictive Combinatorial Optimization Regime
Shanghai Jiao Tong University(上海交通大学);Massachusetts Institute of Technology(麻省理工学院);Finvolution Group(Finvolution集团)
本文构建统一模块化基准框架,在8个问题上系统评测11种PtO/PnO方法,发现PnO在7个基准上优于PtO但无万能设计,为预测性组合优化研究提供基准与快速原型支持。
2024-11-20 cs.AI cs.LG math.OC
Support Vector Machines with the Hard-Margin Loss: Optimal Training via Combinatorial Benders' Cuts
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);Technical University of Munich(慕尼黑工业大学);Polytechnique Montréal(蒙特利尔理工学院)
传统的铰链损失支持向量机(SVMs)模型由于其损失函数的无界性而对离群观测值敏感。为了避免这个问题,最近的研究集中在非凸损失函数,如硬利润损失,它与任何错误分类或利润内样本的恒定惩罚。应用此损失函数为关键应用程序提供了急需的鲁棒性,但它也导致了NP-难模型,使训练变得困难,因为当前的精确优化算法显示出有限的可扩展性,而算法无法始终如一地找到高质量的解决方案。在此背景下,我们提出了新的整数规划策略,显着提高我们的能力,训练的硬利润SVM模型的全局最优。我们引入了一个迭代采样和分解的方法,其中较小的子问题被用来分离组合Benders的削减。这些切割在分支切割算法中使用,可以更快地收敛到全局最优值。通过对经典基准数据集进行广泛的数值分析,我们的解决方案算法首次解决了117个新的数据集的最优性,并实现了最难的基准数据集的平均最优性差距减少了50%。
2022-07-15 cs.LG math.OC
Score Function Gradient Estimation to Widen the Applicability of Decision-Focused Learning
University of Bologna(博洛尼亚大学);KU Leuven(鲁汶大学);Meta
提出一种结合随机平滑与评分函数梯度估计的方法,无需对问题结构做特定假设,即可将决策聚焦学习扩展到非线性目标、约束中不确定参数及两阶段随机优化问题。
2026-05-31 cs.AI cs.LG
Graph Bayesian Optimization for Multiplex Influence Maximization
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);Department of Computer Science and Engineering, Mississippi State University(密西西比州立大学计算机科学与工程系)
本文针对多重信息交互扩散场景提出多重影响力最大化问题,并设计图贝叶斯优化框架GBIM,结合全局核化注意力消息传递与贝叶斯线性回归构建可扩展代理模型,实验验证其有效性。
2024-03-25 cs.LG cs.SI
Graph Learning for Combinatorial Optimization: A Survey of State-of-the-Art
图在许多应用中被广泛用于表示复杂数据。高效的图分析对于基于图的应用是非常重要的。然而,大多数图分析任务是组合优化(CO)问题,这是NP难的。最近的研究集中在使用机器学习(ML)来解决基于图的CO问题的潜力。大多数最近的方法遵循两阶段框架。第一阶段是图表示学习,它将图嵌入到低维向量中。第二阶段使用ML来解决CO问题,使用第一阶段中学习的图的嵌入。第一阶段的工作可以分为两类,图嵌入(GE)方法和端到端(E2 E)学习方法。对于GE方法,学习图嵌入有自己的目标,可能不依赖于要解决的CO问题。CO问题由独立的下游任务解决。对于E2 E学习方法,图嵌入的学习没有自己的目标,并且是解决CO问题的学习过程的中间步骤。第二阶段的工作也可以分为两类,非自回归方法和自回归方法。非自回归方法预测一个CO问题的解决方案。非自回归方法预测表示每个节点/边是CO问题的解决方案的一部分的概率的矩阵。解可以从矩阵中计算出来。自回归方法迭代地逐步扩展部分解。在每一步中,自回归方法预测一个节点/边缘条件的当前部分解决方案,这是用来其扩展。在这项调查中,我们提供了一个全面的概述最近的研究基于图学习的CO方法。调查最后对未来的研究方向提出了几点意见。
2021-04-22 cs.LG stat.ML
Test-Time Adaptation for Unsupervised Combinatorial Optimization
UC San Diego(加州大学圣地亚哥分校)
本文提出TACO框架,通过结合通用模型与实例特定模型,解决无监督组合优化中通用性与实例适应性的矛盾,提升求解质量与效率。
2026-04-26 cs.LG
FCoReBench: Can Large Language Models Solve Challenging First-Order Combinatorial Reasoning Problems?
Indian Institute of Technology, Delhi(印度理工学院德里分校)
本文提出了包含40个NP-hard一阶组合推理问题的数据集FCoReBench,并针对LLM在符号求解器辅助下表现不佳且随问题规模增大性能下降的问题,提出了结合符号求解器、程序解释器与少量示例反馈且推理时无需LLM调用的SymPro-LM方法,实现了巨大的性能提升。
2025-03-01 cs.AI cs.CL cs.LG
Enabling Population-Based Architectures for Neural Combinatorial Optimization
University of the Basque Country (EHU)(巴斯克大学)
本文提出通过群体基础架构改进神经组合优化,通过群体意识等级分类和两种互补工具提升解的质量与多样性,实验表明群体结构对优化方法有积极影响。
2026-09-15 cs.LG cs.NE
From Predictions to Decisions: The Importance of Joint Predictive Distributions
DeepMind(深度思维);Columbia Business School, Columbia University(哥伦比亚大学哥伦比亚商学院)
任何智能系统的一个基本挑战是预测:给定一些输入,你能预测相应的结果吗?大多数关于监督学习的工作都集中在为每个输入生成准确的边际预测。然而,我们表明,对于广泛的一类决策问题,需要准确的联合预测,以提供良好的性能。特别是,我们建立了几个结果有关的组合决策问题,顺序预测,和多武装土匪阐明联合预测分布的重要作用。我们的治疗多武装土匪介绍了一个近似的汤普森采样算法和分析技术,导致一种新的遗憾界。
2022-05-23 cs.LG stat.ML
Decision-Focused On-Policy Learning for Contextual Linear Optimization with Partial Feedback
Department of Industrial Engineering and Operations Research, University of California, Berkeley(工业工程与运筹学系,加州大学伯克利分校);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(H.米尔顿·斯图尔特工业与系统工程学院,佐治亚理工学院)
提出一种混合梯度估计方法,用于部分反馈下顺序上下文线性优化的在线策略学习,实现决策质量驱动的预测模型训练,并在多个基准上优于上下文多臂赌博机基线。
2026-10-09 cs.LG
ML-Guided Primal Heuristics for Mixed Binary Quadratic Programs
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出基于机器学习的混合二元二次规划求解启发式方法,通过改进神经网络架构和损失函数,提升求解效率和泛化能力。
2026-07-07 cs.LG math.OC
Learning with Local Search MCMC Layers
Google DeepMind(谷歌DeepMind);ENPC Paris(巴黎高等电力学院);ENPC Marne-la-Vallée(马恩拉瓦尔贝勒高等电力学院)
本文提出一种基于局部搜索MCMC层的学习方法,将局部搜索邻域系统转化为MCMC提议分布,构建可微随机组合层,在多个组合优化任务上验证了其降低学习计算负担的效果。
2026-08-25 cs.LG
A Solver-Free Training Method for Predict-then-Optimize
Department of Statistics and Operations Research, University of North Carolina at Chapel Hill, NC, USA(统计与运筹学系,北卡罗来纳大学教堂山分校)
提出一种基于测度变换的决策聚焦学习管道,通过无求解器代理损失实现预测后优化中预测模型的高效训练,理论保证Fisher一致性,训练时间降低数个数量级。
2026-06-19 cs.LG stat.ML
A Unified Framework of Constrained Robust Submodular Optimization with Applications
University of Texas at Dallas(德克萨斯大学达拉斯分校)
鲁棒优化在机器学习应用中变得越来越重要。本文研究了鲁棒次模优化的一个统一框架。我们从最小化和最大化的角度研究这个问题(以前的工作只集中在强大的子模块最大化的变体)。我们这样做的范围广泛的组合约束,包括基数,背包,拟阵以及基于图形的约束,如削减,路径,匹配和树。此外,我们还研究了多个子模上下界约束下的鲁棒子模极小化和极大化问题。我们发现,所有这些问题的动机是重要的机器学习应用,包括强大的数据子集选择,强大的合作切割和强大的合作匹配。在每种情况下,我们提供了可扩展的近似算法,并研究硬度界限。最后,我们经验证明了我们的算法的实用性合成数据,和现实世界中的应用程序的强大的合作匹配图像对应,强大的数据子集选择语音识别,和图像收集摘要与多个查询。
2021-03-18 cs.DS cs.LG math.OC
An efficient deep reinforcement learning environment for flexible job-shop scheduling
College of Computer Science and Technology(计算机科学与技术学院);Nanjing University of Aeronautics and astronautics(南京航空航天大学)
针对柔性作业车间调度问题,本文提出一种基于离散事件模拟的高效深度强化学习环境及基于PPO的端到端调度模型,并设计新状态表示和奖励函数,实验证明其性能优于或媲美现有方法。
2025-09-07 cs.AI cs.LG
Regret Minimization for Causal Inference on Large Treatment Space
NEC Corporation(日本电气股份有限公司);Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心);Future University Hakodate(函馆未来大学)
预测哪种行动(治疗)将导致更好的结果是决策支持系统的中心任务。由于缺乏随机对照试验(RCT)数据,从有偏倚的观察数据中学习是建立真实情况下的预测模型的关键问题。为了处理这种有偏差的观察数据,最近在因果推断和反事实机器学习方面的努力集中在二进制动作空间上的潜在结果的去偏估计以及它们之间的差异,即个体处理效应。当涉及到大的动作空间时(例如,为患者选择适当的药物组合),然而,潜在结果的回归准确性在实践中不再足以实现良好的决策性能。这是因为大行动空间上的平均准确度并不能保证不存在可能误导整个决策的单一潜在结果错误估计。我们提出的损失最大限度地减少了分类错误的行动是否是相对良好的个人目标之间的所有可行的行动,这进一步提高了决策性能,我们证明。我们还提出了一个网络架构和正则化,提取一个去偏表示不仅从个人的功能,但也从偏置的行动更好地推广在大的动作空间。在合成和半合成数据集上的大量实验证明了我们的方法在大型组合动作空间中的优越性。
2020-06-10 cs.LG stat.ML
How Multimodal Integration Boost the Performance of LLM for Optimization: Case Study on Capacitated Vehicle Routing Problems
The Hong Kong Polytechnic University(香港理工大学);Chongqing University(重庆大学)
本文提出一种融合文本与视觉提示、模拟人类解题流程的多模态 LLM 优化框架,并在带容量约束的车辆路径问题上验证其优于纯文本方法。
2024-03-04 cs.AI cs.CL cs.LG
Arbitrarily Large Labelled Random Satisfiability Formulas for Machine Learning Training
University of Athens(雅典大学);Frogdata(青蛙数据);Rutgers University(罗格斯大学)
本文利用概率方法构造可生成任意规模、难度可调且标签正确的随机SAT公式生成器,并提出基于求解器计算短前缀学习的分类器,在万变量公式上显著优于现有模型。
2023-06-04 cs.AI cs.LG