Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计（ROSE）框架扩展至非凸惩罚M估计，用于稳健高维线性回归的估计与推断，并证明估计量的一致性与渐近正态性，模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
Bayesian Risk-averse Model Predictive Control with Consistency and Stability Guarantees
Georgia Institute of Technology（佐治亚理工学院）；Hong Kong University of Science and Technology（香港科技大学）
本文提出了一种贝叶斯风险规避MPC框架，通过理论保证一致性与稳定性，分离参数与扰动不确定性，结合粒子过滤实现实时控制。
2025-11-26 math.OC
Nonconvex Penalized LAD Estimation in Partial Linear Models with DNNs: Asymptotic Analysis and Proximal Algorithms
Department of Applied Mathematics, The Hong Kong Polytechnic University（应用数学系，香港理工大学）；College of Computing, Data Science, and Society, University of California, Berkeley（计算、数据科学与社会学院，加州大学伯克利分校）
本文提出利用深度神经网络参数化非参数项，研究部分线性模型中非凸惩罚LAD估计的渐近性质与近端算法。
2025-11-26 cs.LG stat.ML
A Framework for Time-Consistent, Risk-Averse Model Predictive Control: Theory and Algorithms
本文提出了一种受乘性不确定性影响的线性系的风险规避模型预测控制（MPC）框架。我们的主要创新是考虑时间一致的，动态的风险度量作为目标函数被最小化。这个框架在风险偏好的时间一致性方面是公理化的，是适合于动态最优化的，并且在它捕获从风险中性到最坏情况的全范围风险评估的意义上是统一的。在这个框架内，我们提出并分析了一种可证明稳定的在线风险规避MPC算法。此外，通过利用时间一致的，动态的风险度量的双重表示，我们投MPC控制律的计算作为一个凸优化问题，适合在嵌入式系统上实现。仿真结果进行了介绍和讨论。
2015-11-22 math.OC
Cross validation in sparse linear regression with piecewise continuous nonconvex penalties and its acceleration
Department of Statistical Science, The Graduate University for Advanced Science (SOKENDAI), Hayama-cho, Kanagawa 240-0193, Japan（日本神奈川县叶山町综合研究大学院大学（SOKENDAI）统计科学系）
研究了在噪声存在下，使用分段连续非凸罚函数时稀疏线性回归的信号重构性能。在这些处罚中，我们重点关注SCAD处罚。本研究的贡献是三方面的：我们首先提出了一个典型的重建性能的理论分析，使用副本的方法，假设每个组件的设计矩阵是作为一个独立的和同分布（i.i.d.）高斯变量这阐明了优越性的SCAD估计相比，$\ell_1$在一个很宽的参数范围内，虽然非凸性质的惩罚往往会导致解决方案的多重性在某些地区。这种多重性被证明是连接到副本对称性破缺的自旋玻璃理论。我们还证明了估计器和真实信号之间的均方误差的全局最小值位于副本对称相位。其次，我们开发了一个近似公式，有效地计算交叉验证误差，而无需实际进行交叉验证，这也适用于非独立同分布。设计矩阵结果表明，该公式只适用于唯一解区域，在多解区域趋于不稳定。我们实现不稳定性检测程序，它允许近似公式独立，resultant使我们能够绘制任何特定数据集的相图。第三，我们提出了一个退火过程，称为非凸退火，以获得有效的解决方案的路径。在模拟数据集上进行了数值模拟，验证了理论结果的一致性和近似公式的有效性。另一个真实世界的数据集进行数值实验，其结果是一致的，与早期的研究使用的$\ell_0$制定。
2019-12-25 cond-mat.dis-nn cs.LG stat.ML
Risk-Averse Inference-Time Diffusion Model Alignment with Finite-Sample Guarantees
Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）；The Ohio State University（俄亥俄州立大学）
本研究提出一种风险厌恶型推理时扩散模型对齐框架，通过平衡期望代价与CVaR实现尾部风险控制，经实验验证可在保持平均代价竞争力的同时提升尾部性能。
2026-10-14 cs.LG math.OC stat.ML
Asymptotics for estimating a diverging number of parameters -- with and without sparsity
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文针对维度随样本量发散的估计方程，建立含非惩罚与稀疏惩罚问题的通用渐近理论，涵盖多种数据与惩罚类型，给出应用实例。
2026-08-07 math.ST stat.ME stat.TH
Risk-Averse Reinforcement Learning via Dynamic Time-Consistent Risk Measures
The Ohio State University（俄亥俄州立大学）；University of Michigan（密歇根大学）
传统的强化学习（RL）旨在最大化预期的总回报，而不确定结果的风险需要控制，以确保在风险规避环境中的可靠性能。本文研究了无限时域马尔可夫决策过程中报酬序列的动态风险最大化问题。我们将期望条件风险测度（ECRM）应用于无限期风险厌恶的MDP，并证明了其时间一致性。使用一个凸组合的期望和条件风险价值（CVaR）作为一个特殊的一步条件风险度量，我们重新制定的风险厌恶MDP作为一个风险中性的对应扩大行动空间和操纵的即时回报。我们进一步证明了相关的Bellman算子是一个压缩映射，这保证了任何基于值的RL算法的收敛性。因此，我们开发了一个风险规避的深度Q学习框架，我们基于两个简单的MDP的数值研究表明，风险规避设置可以减少方差并增强结果的鲁棒性。
2023-01-14 cs.LG math.OC
Process-Based Risk Measures and Risk-Averse Control of Discrete-Time Systems
对于受控离散时间随机过程，我们引入了一类新的动态风险度量，我们称之为基于过程的。它们的主要特点是，它们衡量的过程是一个基本过程的历史功能的风险。我们引入了一个新的概念，条件随机时间一致性，我们推导出结构的基于过程的风险措施享受这一属性。我们表明，它们可以等价地表示为一个集合的静态法律不变的风险措施的功能空间的基础过程的状态。我们将这个结果应用到受控马尔可夫过程，我们推导出动态规划方程。
2016-11-29 math.OC q-fin.PM
Risk-averse Decision Making with Contextual Information: Model, Sample Average Approximation, and Kernelization
The Chinese University of Hong Kong（香港中文大学）；HEC Montréal（蒙特利尔高等商学院）
本文研究了风险规避的上下文优化问题，提出了一种通过单阶段风险最小化问题求解的方法，并在核空间中验证了样本平均近似的一致性。
2026-05-09 math.OC
Consistency of sample-based stationary points for infinite-dimensional stochastic optimization
本文研究Banach空间中非光滑随机优化问题的样本近似方法，证明了样本近似Clarke平稳点的一致性，并将其应用于风险规避和风险中性的PDE约束优化。
2023-06-29 math.OC
Stochastic First-order Methods for Convex and Nonconvex Functional Constrained Optimization
Georgia Institute of Technology（佐治亚理工学院）；Shanghai University of Finance and Economics（上海财经大学）
函数约束优化问题在机器学习和运筹学中越来越重要。这些问题在风险规避机器学习，半监督学习和鲁棒优化等方面具有潜在的应用。本文首先提出了一种新的求解凸泛函约束问题的约束外推（ConEx）方法，该方法利用约束函数的线性逼近来定义外推（或加速）步骤。我们表明，这种方法是一个统一的算法，实现了最知名的收敛速率解决不同的功能约束凸复合问题，包括凸或强凸，光滑或非光滑问题的随机目标和/或随机约束。事实上，这些收敛率中有许多是在文献中首次获得的。此外，ConEx是一个单循环算法，不涉及任何惩罚子问题。与现有的原始对偶方法相反，它不需要拉格朗日乘子投影到一个（可能未知的）有界集。其次，对于非凸函数约束问题，我们引入了一种新的邻近点方法，通过在目标和约束上增加二次项，将初始非凸问题转化为一系列凸问题。在一定的MFCQ型假设下，当凸子问题精确解或不精确解时，我们证明了该方法收敛于KKT点和收敛速度收敛速率。对于大规模的随机问题，我们提出了一个更实用的邻近点方法，其中子问题的近似解由上述的ConEx方法计算。据我们所知，大多数这些收敛性和复杂性的结果的近点方法的非凸问题似乎也是新的文献。
2022-01-27 cs.LG math.OC
Stability and Sample-based Approximations of Composite Stochastic Optimization Problems
不确定性和风险下的优化在许多实际情况中是必不可少的。本文讨论了利用复合风险泛函的最优化问题在测度扰动下的稳定性。我们的主要重点是渐近行为的数据驱动的配方与经验或平滑估计，如内核或小波应用到一些或所有功能的组合物。我们分析了新估计的性质，并在相当一般的假设下建立了强大数律、相合性和偏倚降低势。我们的研究结果与风险规避优化和一般的数据科学密切相关。
2022-01-04 math.OC math.ST stat.TH
From Good Starts to Optimal Inference: Generalized Latent Factor Models with Missingness and Implicit Regularization
Department of Statistics, Columbia University（哥伦比亚大学统计系）
本文提出一种结合链接感知双SVD初始化、单侧细化和梯度下降的非凸估计方法，实现广义潜因子模型在缺失数据下的最优推断与不确定性量化，无需显式正则化或去偏。
2026-09-11 math.ST stat.TH
Online Covariance Estimation in Nonsmooth Stochastic Approximation
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H. Milton Stewart工业与系统工程学院，佐治亚理工学院）；Department of Statistics, Texas A&M University（统计学系，德克萨斯大学安德森分校）；Department of Statistics, University of California, Davis（统计学系，加州大学戴维斯分校）；Wharton Department of Statistics and Data Science, University of Pennsylvania（沃顿统计与数据科学系，宾夕法尼亚大学）；Department of Mathematics, University of Washington（数学系，华盛顿大学）
本文研究非光滑且可能非凸变分包含问题中SA方法极限协方差矩阵的在线估计，证明其收敛速率与光滑强凸情况相当，支持渐近统计推断。
2025-08-12 cs.LG math.OC stat.ML
Statistical Analysis of Stationary Solutions of Coupled Nonconvex Nonsmooth Empirical Risk Minimization
George Washington University（乔治华盛顿大学）；University of Southern California（南加州大学）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
本文有两个主要目标：（a）建立了一类耦合非凸非光滑经验风险最小化问题的定态解和定态值的几个统计性质-一致性、渐近分布和收敛速度，（b）通过一个基于噪声幅度的相位恢复问题验证了这些性质，后者是一个非常热门的问题。这些经验风险最小化问题是涉及随机泛函的期望值的最小化的总体风险模型的计算主力。当这些最小化问题是非凸的，其全局最优解的计算是难以捉摸的。再加上不能对一般概率分布计算期望算子的事实，就有必要证明经验问题的定态解是否是人口问题定态解的实际近似。当这两个功能，一般分布和非凸性，再加上不可微性，往往使问题“非克拉克经常”，任务的理由变得具有挑战性。我们的工作旨在在无算法的环境中解决这样的挑战。因此，所得到的分析是不同的，在最近的文献中，是基于本地搜索算法的分析。此外，补充经典的极小化中心的分析，我们的研究结果提供了第一步，以关闭之间的差距耦合非凸非光滑统计估计问题的计算优化和渐近分析，扩大前者与统计特性的实际获得的解决方案，并提供后者与一个更实际的重点有关的计算易处理性。
2019-10-06 cs.LG math.OC math.ST
Scenario approach for minmax optimization with emphasis on the nonconvex case: positive results and caveats
本文研究鲁棒极小极大优化的场景方法，重点分析非凸情形，揭示非紧决策集下的一致性障碍，并提出提取有限样本PAC型估计的通用方法。
2019-06-05 cs.SY eess.SY math.OC
Supervised Dictionary Learning with Auxiliary Covariates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Riverside（加州大学河滨分校）
有监督字典学习（SDL）是一种经典的机器学习方法，它同时寻找特征提取和分类任务，这些任务不一定是先验对齐的目标。SDL的目标是学习一个类判别字典，它是一组潜在的特征向量，可以很好地解释观察到的数据的特征和标签。本文对SDL进行了系统的研究，包括SDL的理论、算法和应用。首先，我们提供了一个新的框架，“升降机”SDL作为一个凸问题，在一个组合的因素空间，并提出了一个低秩投影梯度下降算法，指数收敛到全局最小的目标。我们还制定生成模型的SDL和提供全球估计保证的真实参数取决于超参数制度。其次，作为一个非凸约束优化问题，我们提供了一个有效的块坐标下降算法的SDL是保证找到一个$\varepsilon$ -平稳点的目标在$O(\varepsilon^{-1}(\log \varepsilon^{-1})^{2})$迭代。对于相应的生成模型，我们建立了一个新的约束和正则化极大似然估计问题的非渐近局部一致性结果，这可能是独立的利益。第三，我们将SDL应用于通过监督主题建模的不平衡文档分类，以及从胸部X射线图像中检测肺炎。我们还提供了模拟研究表明，SDL变得更有效时，有一个最好的重建和最好的歧视字典之间的差异。
2022-06-14 cs.LG math.ST stat.ML
A Study of Distributionally Robust Multistage Stochastic Optimization
本文研究了一个考虑分布鲁棒性的数据驱动的风险厌恶多阶段随机规划模型。我们优化RMSP的最坏情况下的分布内的一个模糊集的概率分布直接从历史数据样本构建。由于RMSP的目标函数具有多级嵌套的Minimax结构，使得RMSP难以求解，因此本文将其转化为一个包含期望和条件风险值（CVaR）的凸组合的确定性等价模型，并采用定制的随机对偶动态规划（SDDP）算法求解.当所收集的数据样本的大小增加到无穷大时，我们证明了具有分布鲁棒性的RMSP与传统的多阶段随机规划的一致性。此外，为了测试我们提出的模型和算法的计算性能，我们进行了数值实验的风险规避的热液调度问题，其结果表明，我们的RMSP框架的有效性。
2017-08-26 math.OC
Data-driven Piecewise Affine Decision Rules for Stochastic Programming with Covariate Information
Department of Industrial Engineering, Tsinghua University（清华大学工业工程系）
本文提出嵌入非凸分段仿射决策规则的经验风险最小化方法，用于含协变量信息的随机规划，具有理论一致性和计算可行性，数值实验显示其成本更低、耗时更少且鲁棒性更优。
2025-09-26 cs.LG math.OC stat.ML
A sequential smoothing majorant stochastic approximation method for nonconvex nonconcave minimax problems
提出序贯平滑主化随机逼近（SMSA）方法求解非凸非凹极小极大问题，通过新主化逼近实现$O(\beta_N^2)$精度，并证明稳定点一致性与数值优势。
2026-09-11 math.OC
Ergodic Approach to Robust Optimization and Infinite Programming Problems
在这项工作中，我们展示了一种方法的一致性，用于解决强大的最优化问题，使用遍历保测变换产生的子问题序列。本文的主要结果是子问题的极小值和最优值在某种意义下分别收敛于原问题的极小值和最优值。我们的结果特别暗示了情景方法对于非凸最优化问题的一致性。最后，我们表明，我们的方法也可以用来解决无限规划问题。
2020-09-10 math.OC
Epi-convergent Smoothing with Applications to Convex Composite Functions
平滑方法已经成为研究和解决不可微和约束最优化问题以及一系列其他变分和平衡问题的标准工具集的一部分。本文综合和推广了Beck和Teboulle关于凸函数的下确界卷积光滑的最新结果。关于非凸函数的梯度相容性。我们使用epi收敛技术来定义epi平滑的概念，使我们能够利用丰富的变分结构的次微分非光滑，非凸，非有限值函数。作为一个例子的多功能性和范围epi平滑技术，结果被施加到一般的约束优化，其中非线性规划是一个特例。
2012-08-31 math.OC
Multi-Level Stochastic Gradient Methods for Nested Composition Optimization
随机梯度法可扩展用于解决涉及损失函数的经验期望的大规模最优化问题。现有的结果主要适用于目标为一级或二级期望的最优化问题。本文研究了随机路径上的多层组合优化问题，该问题涉及多层组合函数和嵌套期望的组合，并在风险规避优化和序列规划中得到了应用。本文从多时间尺度随机逼近方法出发，提出了一类多层随机梯度法。首先，我们提出了一个基本的$T$级随机合成梯度算法，建立了它的几乎必然收敛性，并得到了一个$n$迭代误差界$O (n^{-1/2^T})$。然后，我们开发了加速的多层随机梯度法，通过使用外插插值计划，以利用各个分量函数的光滑性。当所有的分量函数是光滑的，我们表明，收敛速度提高到$O(n^{-4/(7+T)})$一般目标和$O (n^{-4/(3+T)})$强凸目标。对于非凸问题，我们也给出了几乎必然收敛和收敛速度的结果。数值实验验证了所提出的方法和理论结果。
2018-01-12 math.OC
A unified algorithm framework for mean-variance optimization in discounted Markov decision processes
Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
研究了无限期折扣马尔可夫决策过程中风险厌恶的均值方差优化问题。所涉及的方差度量涉及整个过程中的奖励变化，未来的偏差被贴现到其现值。这种贴现均值-方差优化产生了依赖于贴现均值的报酬函数，这种依赖性使得传统的动态规划方法不适用，因为它抑制了一个关键的属性--时间一致性。为了处理这个非正统的问题，我们引入了一个伪平均值，将不可处理的MDP转换为一个标准的标准式的重新定义的报酬函数，并推导出一个折扣的均值-方差性能差异公式。利用伪均值，我们提出了一个统一的算法框架，具有双层优化结构的折扣均值-方差优化。该框架统一了多种算法的方差相关的问题，包括但不限于，风险规避方差和均值方差优化贴现和平均MDP。此外，收敛性分析从文献中缺失，可以补充拟议的框架以及。以数值迭代为例，提出了一种折现均值-方差数值迭代算法，并借助Bellman局部最优性方程证明了其收敛于局部最优值.最后，我们进行了一个数值实验的投资组合管理，以验证所提出的算法。
2022-01-15 cs.AI math.OC
Multi-horizon optimization for domestic renewable energy system design under uncertainty
University of Bergamo（贝加莫大学）；Universidad Rey Juan Carlos（雷乌纳·胡安·卡洛斯大学）；The Ohio State University（俄亥俄州立大学）
本文提出多阶段多时间尺度随机混合整数线性规划模型，结合长期投资决策与短期运营决策，通过鲁棒优化方法解决家庭可再生能源系统在多源不确定性下的最优设计问题。
2026-03-16 math.OC
SCMO: Stochastic Control for Optimization over Probability Measures on Infinite-Dimensional Spaces
University of Calgary（卡尔加里大学）
本文提出SCMO，一种基于熵正则化随机控制的无梯度粒子优化方法，用于在无穷维空间上优化概率测度，能处理非凸非光滑目标并恢复多模态分布。
2026-09-15 math.OC
Achieving Near-Optimal Convergence for Distributed Minimax Optimization with Adaptive Stepsizes
College of Control Science and Engineering（控制科学与工程学院）；Zhejiang University（浙江大学）；Department of Computer Science（计算机科学系）；ETH Zurich（苏黎世联邦理工学院）
针对分布式 minimax 优化中自适应步长不一致导致不收敛的问题，提出 D-AdaST 方法，通过步长跟踪协议确保节点步长一致性，在非凸-强凹问题中实现了无需问题参数的近最优收敛。
2024-06-05 cs.DC cs.LG math.OC
Smoothing SQP methods for solving degenerate nonsmooth constrained optimization problems with applications to bilevel programs
我们考虑退化的非光滑和非凸最优化问题的标准约束规格，如广义Mangasarian Fromovitz约束规格（GMFCQ）可能不成立。利用具有梯度一致性的光滑函数逼近非光滑函数，在精确罚框架下提出了一种光滑序列二次规划（SQP）算法.证明了在乘子序列和精确罚参数序列有界的条件下，由光滑SQP算法生成的迭代序列的一个选定子序列的任何聚点都是Clarke平稳点.此外，我们提出了一个新的条件称为弱广义Mangasarian Fromovitz约束规格（WGMFCQ），是弱于GMFCQ。我们证明了WGMFCQ的扩展版本保证了乘子序列和精确罚参数序列的有界性，从而保证了光滑SQP算法的整体收敛。我们证明了WGMFCQ可以满足GMFCQ从来没有举行的双层计划。初步的数值实验表明，该算法对求解退化非光滑最优化问题（如简单双层规划）是有效的。
2014-06-03 math.OC
Empirical risk minimization for risk-neutral composite optimal control with applications to bang-bang control
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学院）；Institut für Mathematik, Humboldt-Universität zu Berlin（柏林洪堡大学数学研究所）
本文提出了一种基于蒙特卡洛样本的方法，用于求解风险中性复合最优控制问题，并将其应用于 bang-bang 控制，通过条件梯度法实现有效求解。
2026-02-26 cs.NA math.NA math.OC
Calibrated zero-norm regularized LS estimator for high-dimensional error-in-variables regression
本文关注的是高维误差变量回归，旨在确定少量的重要的可解释的因素损坏的数据从许多应用中的测量误差或丢失的数据不能被忽略。受Datta和Zou \cite{Datta16}提出的CoCoLasso估计的启发，利用零范数正则化LS估计在干净数据下优于Lasso估计的优点，通过构造协变量的协方差阵的无偏替代项的正定投影的校准最小二乘损失，提出了校准零范数正则化LS（CaZnRLS）估计，并使用多阶段凸松弛方法计算CaZnRLS估计.在协变量真矩阵的约束特征值条件下，我们导出了每一步迭代的$\ell_2$ -误差界，并建立了误差界序列的递减性和有限步迭代的符号一致性.在两种测量误差下，给出了CaZnRLS估计量的统计保证.与CoCoLasso和NCL（Poh和Wainwright \cite{Loh11}提出的非凸Lasso）的数值比较表明，CaZnRLS不仅具有可比甚至更好的相对RSME，而且具有最少数量的错误预测。
2019-08-21 math.OC
Theoretical Perspectives on Jabr-Type Convex Relaxations for AC Optimal Power Flow
University of Pavia（帕维亚大学）
本文从多线性等式角度统一审视Jabr松弛的强化技术，揭示循环约束与多线性一致性条件的关系，探讨凸化交互图与可行集的区别，提供统一框架整合图结构、多线性凸化与锥松弛。
2026-04-01 math.OC
Recursive Optimization of Convex Risk Measures: Mean-Semideviation Models
我们开发递归的，数据驱动的，随机次梯度方法优化一个新的，通用的，和应用驱动类凸风险的措施，这里被称为平均半理想，严格推广众所周知的和流行的平均上半理想。我们引入MESSAGEp算法，这是一个有效的组合次梯度迭代求解凸均值半理想风险厌恶问题的最优性。我们分析了MESSAGEp算法的渐近行为下的灵活和结构开发的问题假设。特别是：1）在适当的步长规则下，我们建立了MESSAGEp算法在强技术意义下的路径收敛性，证明了其渐近一致性。2)假设一个强凸成本，我们表明，对于固定的半行列式阶$p>1$和$ε\in\left[0,1\right)$，MESSAGEp算法实现了平方${\cal L}_{2}$解决方案次优率的顺序的${\cal O}(n^{-\left(1-ε\right)/2})$迭代，其中，$ε>0$，路径收敛同时保证。这个结果建立了一个任意接近${\cal O}(n^{-1/2})$的阶数，同时确保了强稳定的路径操作。对于$p\equiv1$，速率顺序提高到${\cal O}(n^{-2/3})$，这也足以进行路径收敛，并匹配以前的结果。3)同样，在一般情况下的凸成本，我们表明，对于任何$ε\in\left[0,1\right)$，MESSAGEp算法与平滑达到${\cal L}_{1}$目标次优率的顺序的${\cal O}(n^{-\left(1-ε\right)/\left(…
2018-10-29 math.OC stat.AP stat.ME
Assessing the Quality of a Set of Basis Functions for Inverse Optimal Control via Projection onto Global Minimizers
Laboratory of Analysis and Architecture of Systems, Toulouse（图卢兹系统分析与架构实验室）；School of Electrical Engineering, University of Belgrade（贝尔格莱德大学电气工程学院）
本文提出以测试点到凸基函数凸组合所生成全局最优点集的最小距离评估基函数表达质量，并给出凸二次情形的上下界计算方法与扩展方向。
2025-10-20 cs.SY eess.SY math.OC
Risk Bounds and Calibration for a Smart Predict-then-Optimize Method
University of California, Berkeley（加州大学伯克利分校）
预测-优化框架是实际随机决策问题的基础：首先预测优化模型的未知参数，然后使用预测值求解问题。该设置中的自然损失函数通过测量预测参数引起的决策误差来定义，Elmachtoub和Grigas将其命名为智能预测然后优化（SPO）损失[arXiv：1710.08005]。由于SPO损失通常是非凸的，并且可能是不连续的，因此Elmachtoub和Grigas [arXiv：1710.08005]引入了一个凸的替代项，称为SPO+损失，它重要地解释了优化模型的基础结构。在本文中，我们大大扩展了Elmachtoub和Grigas [arXiv：1710.08005]提供的SPO+损失的一致性结果。我们开发的SPO+损失相对于SPO损失的风险界限和统一的校准结果，这提供了一个定量的方法来转移超额替代风险超额真实风险。通过结合我们的风险界与推广界，我们表明，SPO+损失的经验最小化实现低超额真风险的概率很高。我们首先证明了这些结果的情况下，当潜在的优化问题的可行域是一个多面体，然后我们表明，结果可以大大加强时，可行域是一个强凸函数的水平集。我们进行实验，以经验证明SPO+替代品在投资组合分配和成本敏感型多类分类问题上与标准$\ell_1$和平方$\ell_2$预测误差损失相比的强度。
2021-10-26 cs.LG math.OC stat.ML
