We consider a formulation of supervised learning that endows models with robustness to distributional shifts from training to testing. The formulation hinges upon the superquantile risk measure, also known as the conditional value-at-risk, which has shown promise in recent applications of machine learning and signal processing. We show that, thanks to a direct smoothing of the superquantile function, a superquantile-based learning objective is amenable to gradient-based optimization, using batch optimization algorithms such as gradient descent or quasi-Newton algorithms, or using stochastic optimization algorithms such as stochastic gradient algorithms. A companion software SPQR implements in Python the algorithms described and allows practitioners to experiment with superquantile-based supervised learning.
Superquantiles at Work: Machine Learning Applications and Efficient Subgradient Computation
R. Tyrell Rockafellar及其合作者在一系列工作中引入了基于超分位数（或条件风险值）概念的新回归建模方法。这些方法在经济学、金融学、管理科学和一般的运筹学中都有影响。最近，它们已经成为机器学习的新兴趣的主题，以解决分布式鲁棒性和公平分配的问题。在本文中，我们回顾了这些新的应用的超分位数，参考最近的发展。这些应用涉及非光滑超分位数为基础的目标函数，承认明确的次梯度计算。为了使这些基于超分位数的函数适合于机器学习中流行的基于梯度的算法，我们展示了如何通过无穷卷积来平滑它们，并描述了计算平滑近似梯度的数值过程。我们把它与其他平滑技术进行比较，并通过玩具的例子来说明它的角度的方法。
Fast Computation of Superquantile-Constrained Optimization Through Implicit Scenario Reduction
Department of Industrial and Systems Engineering, University of Minnesota（明尼苏达大学工业与系统工程系）；Department of Industrial Engineering and Operations Research, University of California, Berkeley（加州大学伯克利分校工业工程与运筹学系）
Stochastic set-valued optimization and its application to robust learning
Department of Mechanical and Materials Engineering, University of Cincinnati（机械与材料工程系，辛辛那提大学）；Department of Industrial and Systems Engineering, Lehigh University（工业与系统工程系，莱恩大学）
Generalized-Hukuhara-Gradient Efficient-Direction Method to Solve Optimization Problems with Interval-valued Functions and its Application in Least Squares Problems
A Gradient Sampling method based on Ideal direction for solving nonsmooth nonconvex optimization problems: convergence analysis and numerical experiments
Combining Gradient Information and Primitive Directions for High-Performance Mixed-Integer Optimization
Global Optimization Laboratory (GOL)（全局优化实验室）；Dip. di Ingegneria dell’Informazione（信息工程系）；Università di Firenze（佛罗伦萨大学）；Università di Roma “La Sapienza”（罗马第一大学）
A Continuous-Time Analysis of Smoothed Matrix-Polar Spectral Gradient Flows for Muon-Type Optimization
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Huzhou Normal University（湖州师范学院）；State Key Laboratory of Industrial Control Technology, the Institute of Cyber-Systems and Control, College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院网络控制系统研究所工业控制技术国家重点实验室）；Huzhou Institute of Zhejiang University（浙江大学湖州研究院）
AdaDGS: An adaptive black-box optimization method with a nonlocal directional Gaussian smoothing gradient
Oak Ridge National Laboratory（橡树岭国家实验室）
局部梯度指向无穷小邻域中最陡斜率的方向。当损失是多模态的时，由局部梯度引导的优化器经常陷入局部最优。最近在（Zhang et al.，2020），并用于定义一个真正的非局部梯度，称为DGS梯度，用于高维黑盒优化。有希望的结果表明，取代传统的局部梯度与DGS梯度可以显着提高基于梯度的方法在优化高度多模态损失函数的性能。然而，DGS梯度的最佳性能可能依赖于两个重要超参数的微调，即，平滑半径和学习率。在本文中，我们提出了一个简单的，但巧妙的和有效的自适应方法与DGS梯度优化，消除了超参数微调的需要。由于DGS梯度通常指向良好的搜索方向，因此我们沿着DGS方向执行线搜索以确定每次迭代的步长。学习的步长反过来会告诉我们周围区域中函数景观的规模，基于此，我们相应地调整平滑半径以进行下一次迭代。我们提出了高维基准函数，翼型设计问题和游戏内容生成问题的实验结果。AdaDGS方法已经显示出优于几种最先进的黑盒优化方法的性能。
Generalized Quadratic Gradient: A New Direction in Optimization via the Fusion of Positive-Definite Curvature Matrices and Gradients into A Unified Framework
Katyusha: The First Direct Acceleration of Stochastic Gradient Methods
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
Nesterov的动量技巧以加速梯度下降而闻名，并已被证明在构建快速迭代算法方面很有用。然而，在随机设置中，存在反例，并阻止Nesterov的动量提供类似的加速度，即使潜在的问题是凸和有限和。我们引入$\mathtt{Katyusha}$，一个直接的，原始的唯一的随机梯度法来解决这个问题。在凸有限和随机最优化中，$\mathtt{Katyusha}$具有最优加速收敛速度，并且在小批量环境下具有最优并行线性加速比。主要成分是$\textit{Katyusha momentum}$，一种新的“负动力”，位于涅斯捷罗夫的动力之上。它可以被合并到一个方差减少为基础的算法，并加快它，无论是在$\textit{sequential and parallel}$性能方面。由于方差缩减已成功地应用于越来越多的实际问题，我们的论文建议，在每一个这样的情况下，人们可能会尝试给喀秋莎一个拥抱。
