Curriculum Loss: Robust Learning and Generalization against Label Corruption
Centre for Artificial Intelligence, University of Technology Sydney(悉尼科技大学人工智能中心)
深度神经网络(DNN)具有强大的表达能力,甚至可以记住带有错误标签的样本。在DNN中重申鲁棒性和泛化性对标签损坏至关重要。为此,本文研究了0-1损失,它与经验对手(重新加权)风险\citep{hu2016does}具有单调关系。虽然0-1损失具有一些鲁棒性,但难以优化。为了有效地优化0-1损失,同时保持其鲁棒性,我们提出了一种非常简单和有效的损失,即课程损失(CL)。我们的CL是一个更严格的上限的0-1损失相比,传统的总和为基础的替代损失。此外,CL可以自适应地选择用于模型训练的样本。因此,我们的损失可以被视为课程样本选择策略的一个新视角,它在课程学习和鲁棒学习之间架起了一座桥梁。基准数据集上的实验结果验证了所提出的损失的鲁棒性。
2020-02-21 cs.LG stat.ML
Using learned optimizers to make models robust to input noise
Google Brain(谷歌大脑)
当测试数据和训练数据来自相同的分布时,最先进的视觉模型可以在图像分类任务上实现超人的性能。然而,当模型在损坏的图像上进行测试时(例如,由于比例变化,平移或亮度或对比度的变化),性能会显着下降。在这里,我们探讨了元训练学习优化器的可能性,该优化器可以训练图像分类模型,使其对常见的图像损坏具有鲁棒性。具体来说,我们感兴趣的训练模型,更强大的噪音分布不存在于训练数据。我们发现,一个学习过的优化器经过元训练,可以生成对高斯噪声鲁棒的模型,与Adam等传统优化器相比,这些模型在其他尺度上对高斯噪声更具鲁棒性。当针对更一般的噪声分布集时,元训练的效果更复杂,但在一半的保留腐败任务上提高了性能。我们的研究结果表明,元学习为研究和提高深度学习模型的鲁棒性提供了一种新的方法。
2019-06-08 cs.LG stat.ML
Smart predict-then-robustly-optimize
研究智能预测然后优化方法的稳健变体,通过智能预测然后稳健优化损失集成稳健优化原则,建立凸代理防范特征扰动,理论证明其有效性及优势,数值实验验证该稳健框架性能优于标准方法。
2026-07-27 cs.LG math.OC
Differentially Private Optimizers Can Learn Adversarially Robust Models
首次从理论和实验证明差分隐私模型在准确性与鲁棒性权衡上达到帕累托最优,通过优化超参数、公共数据预训练和选择合适的DP优化器,在CIFAR10上实现了优于非私有模型的鲁棒性。
2023-11-21 cs.CR cs.CV cs.LG
GRAPE: Optimize Data Mixture for Group Robust Multi-target Adaptive Pretraining
EPFL(瑞士联邦理工学院)
GRAPE提出一种多源-多目标领域重加权框架,通过极小极大优化动态调整领域与任务权重,在多个基准上提升推理性能并优化多语言低资源目标的预训练数据混合。
2025-05-26 cs.LG
Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany(德国维尔茨堡大学计算机视觉实验室,CAIDAS & IFI)
本文系统研究了六种优化器与三种损失函数的18种组合在异构架构上的表现,发现交叉熵与Adam/AdamW组合最鲁棒,NGL损失仅在自适应优化器下有效,为NNGPT框架提供了损失-优化器选择指导。
2026-06-23 cs.LG
Gradient boosting for convex cone predict and optimize problems
University of Toronto(多伦多大学)
本文提出通用框架 dboost,将梯度提升与凸二次锥规划结合,并通过自定义不动点映射的隐式微分训练,以降低“先预测、后优化”任务的样本外决策遗憾。
2023-06-07 cs.LG math.OC stat.ML
Soft-Robust Algorithms for Batch Reinforcement Learning
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Google Research(谷歌研究院);University of New Hampshire(新罕布什尔大学)
在强化学习中,针对有限数据的高风险决策问题,通常通过优化百分位数准则来计算鲁棒策略,该准则最小化灾难性失败的概率。不幸的是,这样的策略通常过于保守,因为百分位标准是非凸的,难以优化,并且忽略了平均性能。为了克服这些缺点,我们研究了软鲁棒准则,它使用风险度量来更好地平衡均值和百分位数准则。本文建立了软鲁棒准则的基本性质,证明了软鲁棒准则的优化问题是NP-难的,并提出了两种近似优化算法,理论分析和实验结果表明,与现有的近似优化算法相比,本文的算法具有更小的保守性。
2021-02-26 cs.AI cs.LG math.OC
An end-to-end predict-then-optimize clustering method for intelligent assignment problems in express systems
Beijing Jiaotong University(北京交通大学);Zhejiang Cainiao Supply Chain Management Co. Ltd(浙江菜鸟供应链管理有限公司)
在现代化的大城市中,快速公交系统扮演着重要的角色。为快递系统服务的快递员在特定时间内在某些感兴趣的区域(AOI)拾取包裹。然而,未来的取车请求会随着时间的推移而发生很大变化。而赋值结果一般是静态的,不随时间变化。因此,使用历史取件请求编号为快递员进行AOI分配(或取件请求分配)是不合理的。此外,即使我们可以先预测未来的接送请求,然后使用预测结果进行分配,这种两阶段方法也是不切实际和琐碎的,并且存在一些缺点,例如最好的预测结果可能不保证最好的聚类结果。针对这些问题,提出了一种端到端的智能预测-优化聚类方法,在预测AOI未来取件请求的同时,通过聚类将AOI分配给快递员。首先,我们提出了一个基于深度学习的预测模型来预测AOI上的订单号。在此基础上,引入差分约束K均值聚类方法,对感兴趣区域进行聚类。最后,我们提出了一个一阶段的端到端的预测,然后优化聚类方法分配AOI快递合理,动态,智能。结果表明,这种一步预测-优化方法有利于提高优化结果即聚类结果的性能。本研究可为快速运输系统中相关任务的预测与优化以及智能指派问题提供重要经验。
2022-02-18 cs.LG
Robust Portfolio Design and Stock Price Prediction Using an Optimized LSTM Model
Praxis Business School(普拉西斯商学院)
准确预测股票的未来价格是一项艰巨的任务。更具有挑战性的是设计一个优化的投资组合,以优化其回报和风险的方式将权重分配给股票。本文提出了一种系统的方法,建立两种类型的投资组合,最佳风险,和本征,印度的四个关键经济部门。股票价格从2016年1月1日至2020年12月31日的网络上提取。行业明智的投资组合是建立在他们的十个最重要的股票。LSTM模型也被设计用于预测未来的股票价格。投资组合构建后六个月,即,在2021年7月1日,计算投资组合的实际回报和LSTM预测回报。预测和实际回报的比较表明LSTM模型的准确性很高。
2022-03-02 cs.LG q-fin.PM
Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization
University of Virginia(弗吉尼亚大学);Georgia Institute of Technology(佐治亚理工学院)
针对 Predict-Then-Optimize 框架中端到端训练效率低且需定制反向传播规则的问题,本文提出基于 Learning-to-Optimize 范式的通用代理方法,直接从特征学习最优解,实验证明其高效、准确且灵活。
2023-11-22 cs.AI cs.LG
Two-Stage Predict+Optimize for Mixed Integer Linear Programs with Unknown Parameters in Constraints
The Chinese University of Hong Kong(香港中文大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出两阶段预测+优化框架,用于处理约束中参数未知的混合整数线性规划,提供通用训练算法,实验显示预测性能优于现有方法。
2023-11-14 cs.AI cs.LG
Autocorrelated Optimize-via-Estimate: Predict-then-Optimize versus Finite-sample Optimal
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Durham University Business School(杜伦大学商学院)
本文提出了一种自相关优化-通过估计模型,用于在有限样本情况下优化资产组合,表现出优于传统方法的性能。
2026-02-02 cs.LG math.OC
A predict-and-optimize approach to profit-driven churn prevention
University of Seville(塞维利亚大学);Instituto de Matemáticas de la Universidad de Sevilla (IMUS)(塞维利亚大学数学研究所(IMUS));University of Chile(智利大学);Instituto Sistemas Complejos de Ingeniería (ISCI)(工程复杂系统研究所(ISCI));Universidad de los Andes, Chile(智利安第斯大学)
针对传统利润驱动客户流失预防策略因用平均客户终身价值导致信息损失的问题,提出将客户定向任务构建为遗憾最小化问题的预测-优化方法,可通过随机梯度下降高效求解,在12个数据集上平均利润表现优于现有成熟策略。
2023-12-15 cs.LG
A Noise-Robust Elicit-to-Optimize Framework for Distortion Riskmetrics via Inverse Reinforcement Learning
School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)理工学院);School of Mathematics and Statistics, Carleton University(卡尔顿大学数学与统计学院)
该研究提出抗噪声引出到优化框架,集成逆强化学习与强化学习。引出方面用自适应贝叶斯IRL方法,优化方面开发无模型RL算法,通过扩展PPO算法优化风险目标,实证研究证明框架在复杂金融环境中的准确性和有效性。
2026-07-17 cs.LG q-fin.RM
Divide and Learn: A Divide and Conquer Approach for Predict+Optimize
University of Melbourne(墨尔本大学);Delft University of Technology(代尔夫特理工大学);RMIT University(皇家墨尔本理工大学);Monash University(莫纳什大学)
预测+优化问题将问题系数的机器学习与使用预测系数的组合优化问题相结合。虽然这个问题可以在两个单独的阶段解决,但最好直接最小化优化损失。然而,这需要通过一个离散的,不可微的组合函数来区分。大多数现有的方法使用某种形式的替代梯度。Demirovicet等人展示了如何直接表达优化问题的损失,将预测系数表示为分段线性函数。然而,他们的方法仅限于动态规划公式的优化问题。在这项工作中,我们提出了一种新型的分而治之算法来解决没有这种限制的优化问题,并使用优化损失来预测其系数。我们还介绍了这种方法的一个较好的版本,它以较少的计算量获得了类似的结果。我们比较了我们的方法与其他方法的预测+优化问题,并显示我们可以成功地解决一些困难的组合问题比其他预测+优化方法。
2020-12-04 cs.AI cs.LG math.OC
Robust personnel rostering: how accurate should absenteeism predictions be?
Politecnico di Milano(米兰理工大学);National Research Council(国家研究委员会);KU Leuven(鲁汶大学);University of Bergamo(贝加莫大学)
本文提出一种评估“先预测后优化”排班稳健性的方法,通过模拟预测确定模型超越非数据驱动策略所需的最低性能,并在护士排班中验证其优势。
2024-06-26 cs.LG
Smart "Predict, then Optimize"
Columbia University(哥伦比亚大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
许多现实世界的分析问题涉及两个重大挑战:预测和优化。由于每个挑战的典型复杂性,标准范例是预测-然后-优化。总的来说,机器学习工具旨在最小化预测误差,而不考虑预测将如何用于下游最优化问题。相比之下,我们提出了一个新的和非常通用的框架,称为智能“预测,然后优化”(SPO),它直接利用最优化问题结构,即,它的目标和限制,设计更好的预测模型。我们的框架的一个关键组成部分是SPO损失函数,它测量由预测引起的决策错误。训练预测模型的SPO损失是计算上的挑战,因此,我们推导出,使用对偶理论,凸代理损失函数,我们称之为SPO+损失。最重要的是,我们证明了SPO+损失是统计上一致的SPO损失在温和的条件下。我们的SPO+损失函数可以处理任何多面体,凸,甚至混合整数最优化问题与线性目标。最短路径和投资组合最优化问题的数值实验表明,SPO框架可以导致显着的改善下的预测,然后优化范式,特别是当被训练的预测模型是错误的。我们发现,使用SPO+损失训练的线性模型倾向于主导随机森林算法,即使地面实况是高度非线性的。
2020-11-19 cs.LG math.OC stat.ML
Robust Batch-Level Query Routing for Large Language Models under Cost and Capacity Constraints
LinkedIn(领英);MIT(麻省理工学院)
本文提出一种考虑资源的批量级查询路由框架,通过优化模型分配以提高鲁棒性和效率,实验显示在对抗性批处理下性能提升显著。
2026-03-25 cs.AI cs.LG stat.ML
Branch & Learn for Recursively and Iteratively Solvable Problems in Predict+Optimize
The Chinese University of Hong Kong(香港中文大学);The University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出了Branch & Learn,这是一个预测+优化的框架,用于解决包含在求解时未知参数的优化问题。给定一个最优化问题,可以用一个满足简单条件的递归算法来求解,我们展示了如何从递归算法中直接而有条理地构造出相应的学习算法。我们的框架也适用于迭代算法,将它们视为递归的退化形式。大量的实验表明,我们的建议在经典和国家的最先进的方法更好的性能。
2022-05-01 cs.AI cs.LG math.OC
Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer
School of Mathematics, Sun Yat-sen University, Guangzhou, China(中山大学数学学院)
本文提出BSZO方法,通过自适应贝叶斯子空间优化提升零阶LLM微调的鲁棒性和效率,实验显示在多种任务中性能优于基线方法。
2026-01-16 cs.AI cs.LG
Decision Trees for Decision-Making under the Predict-then-Optimize Framework
Amazon(亚马逊)
我们考虑使用决策树的预测,然后优化框架下的决策问题。也就是说,我们希望首先使用决策树来预测优化问题的未知输入参数,然后通过使用预测的参数解决优化问题来做出决策。该框架中的自然损失函数是测量由预测的输入参数引起的决策的次优性,而不是使用输入参数预测误差来测量损失。这种自然的损失函数在文献中被称为智能预测然后优化(SPO)损失,我们提出了一种易于处理的方法,称为SPO树(SPOTs),用于在这种损失下训练决策树。SPOT受益于决策树的可解释性,提供了一个可解释的上下文特征分割成组,具有不同的最佳解决方案的优化问题的兴趣。我们进行了几个数值实验的合成和真实的数据,包括预测旅行时间的最短路径问题和预测点击概率的新闻文章推荐。我们在这些数据集上证明,SPOT同时提供了比其他机器学习方法(例如,CART)训练以最小化预测误差。
2020-06-18 cs.LG math.OC stat.ML
PyEPO: A PyTorch-based End-to-End Predict-then-Optimize Library for Linear and Integer Programming
Department of Mechanical and Industrial Engineering, University of Toronto(机械与工业工程系,多伦多大学)
PyEPO是一种基于PyTorch的端到端预测-然后优化库,用于线性和整数规划,提供用户友好的接口和先进的算法,通过实验比较不同方法并讨论未来研究的启示。
2026-04-17 cs.LG math.OC
CaVE: A Cone-Aligned Approach for Fast Predict-then-optimize with Binary Linear Programs
University of Toronto(多伦多大学);SCALE AI Research Chair in Data-Driven Algorithms for Modern Supply Chains(SCALE AI现代供应链数据驱动算法研究讲席)
提出CaVE方法,通过将预测成本向量与法锥对齐,避免求解二元线性规划,实现快速决策聚焦学习,在车辆路径等大规模问题上取得训练时间与解质量的良好平衡。
2024-03-15 cs.LG math.OC
Geometric Identification in Predict-Then-Optimize Learning
本文在预测-然后-优化学习中,通过刻画SPO+替代模型的风险等式集,提出在中心对称及选择平衡条件下识别均值类与商数报告的几何条件,并验证于多个数据集。
2026-09-29 cs.LG math.OC
Smart Predict-and-Optimize for Hard Combinatorial Optimization Problems
Vrije Universiteit Brussel(布鲁塞尔自由大学);University of Melbourne(墨尔本大学)
组合优化假设优化问题的所有参数,例如目标函数中的权重是固定的。通常,这些权重仅仅是估计值,并且越来越多地使用机器学习技术来进行估计。最近,智能预测和优化(SPO)已经提出了一个线性目标函数的预测问题,更具体地说,线性规划问题。它考虑了线性问题的预测的遗憾,通过在学习过程中反复解决它。我们研究使用SPO来解决更现实的离散优化问题。主要的挑战是重复求解优化问题。为此,我们研究了放松问题的方法,以及开始学习和解决问题的方法。我们的研究结果表明,即使是离散的问题,它往往足以训练通过解决松弛的SPO损失。此外,在大多数情况下,这种方法优于Wilder,Dilkina和Tambe的最先进方法。我们的实验加权背包问题以及复杂的调度问题,并首次表明,预测和优化方法可以成功地用于大规模的组合优化问题。
2019-11-22 cs.AI cs.LG math.OC
A Predict-Then-Optimize Customer Allocation Framework for Online Fund Recommendation
Tencent(腾讯);McGill University(麦吉尔大学);Shenzhen Technology University(深圳技术大学);Shenzhen University(深圳大学)
针对传统推荐在多重约束下基金匹配的缺陷,提出先预测后优化的基金分配框架PTOFA,通过预测预期收益并优化曝光分配实现收益最大化,经真实数据与在线A/B测试验证有效。
2025-03-05 cs.CE cs.IR cs.LG
An End-to-End Approach for Microgrid Probabilistic Forecasting and Robust Operation via Decision-focused Learning
本文提出一种端到端决策聚焦方法,通过整合概率预测与稳健优化,提升微电网在不确定性下的经济性和可靠性。
2026-02-03 cs.LG cs.SY eess.SY