We consider a general online stochastic optimization problem with multiple budget constraints over a horizon of finite time periods. In each time period, a reward function and multiple cost functions are revealed, and the decision maker needs to specify an action from a convex and compact action set to collect the reward and consume the budget. Each cost function corresponds to the consumption of one budget. In each period, the reward and cost functions are drawn from an unknown distribution, which is non-stationary across time. The objective of the decision maker is to maximize the cumulative reward subject to the budget constraints. This formulation captures a wide range of applications including online linear programming and network revenue management, among others. In this paper, we consider two settings: (i) a data-driven setting where the true distribution is unknown but a prior estimate (possibly inaccurate) is available; (ii) an uninformative setting where the true distribution is completely unknown. We propose a unified Wasserstein-distance based measure to quantify the inaccuracy of the prior estimate in setting (i) and the non-stationarity of the system in setting (ii). We show that the proposed measure leads to a necessary and sufficient condition for the attainability of a sublinear regret in both settings. For setting (i), we propose a new algorithm, which takes a primal-dual perspective and integrates the prior information of the underlying distributions into an online gradient descent procedure in the dual space. The algorithm also naturally extends to the uninformative setting (ii). Under both settings, we show the corresponding algorithm achieves a regret of optimal order. In numerical experiments, we demonstrate how the proposed algorithms can be naturally integrated with the re-solving technique to further boost the empirical performance.
Online Optimization of Difference-of-Convex Compositions with Smooth Mappings
Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）；The Daniel J. Epstein Department of Industrial and Systems Engineering, University of Southern California（南加州大学丹尼尔·J·埃普斯坦工业与系统工程系）
Gaussian Process regression over discrete probability measures: on the non-stationarity relation between Euclidean and Wasserstein Squared Exponential Kernels
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
Momentum LMS Theory beyond Stationarity: Stability, Tracking, and Regret
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学科学国家重点实验室）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
Distributionally Time-Varying Online Stochastic Optimization under Polyak-Łojasiewicz Condition with Application in Conditional Value-at-Risk Statistical Learning
The Australian National University（澳大利亚国立大学）；The University of Melbourne（墨尔本大学）
Stochastic Approximation versus Sample Average Approximation for population Wasserstein barycenters
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）
Online Learning to Transport via the Minimal Selection Principle
University of Chicago（芝加哥大学）；University of British Columbia（不列颠哥伦比亚大学）
基于运筹学中的鲁棒动态资源分配问题，本文研究了决策变量为概率测度的无穷维对象的\textit{Online Learning to Transport}（OLT）问题。我们通过一种称为最小选择原理的见解，在在线学习、最优运输和偏微分方程之间建立联系，该原理最初由\citet{Ambrosio_2005}在Wasserstein梯度流设置中研究。这使我们能够将标准的在线学习框架无缝地扩展到无限维环境。基于我们的框架，我们推导出一种新的方法，称为\textit{minimal selection or exploration (MSoE) algorithm}解决OLT问题，使用平均场近似和离散化技术。在位移凸设置，支撑我们的方法的主要理论信息是，随着时间的推移，最小化运输成本（通过最小选择原则），确保最佳的累积遗憾上限。在算法方面，我们的MSoE算法适用于位移凸设置之外，使得最优传输的数学理论实际上与动态资源分配中常见的非凸设置相关。
Optimizing the Preconditioner: A Black-box Online-to-Nonconvex Conversion with Static Regret Minimization Oracles
Center for Computational Science and Engineering, MIT（麻省理工学院计算科学与工程中心）；Department of Civil and Environmental Engineering, MIT（麻省理工学院土木与环境工程系）；Institute for Data, Systems, and Society, MIT（麻省理工学院数据、系统与社会研究所）
Exponential ergodicity of mirror-Langevin diffusions
Massachusetts Institute of Technology（麻省理工学院）
受病态对数凹分布的采样问题的启发，我们给出了Zhang et al.（2020）中介绍的镜像朗之万扩散的干净的非渐近收敛分析。作为这个框架的一个特殊情况下，我们提出了一类称为牛顿-朗之万扩散，并证明了他们收敛到平稳指数快速的速度，不仅是无量纲的，而且也没有依赖于目标分布。我们给出了一个应用程序的这一结果的问题，从均匀分布的凸体上使用的策略启发的邻域点方法的采样。我们的一般方法遵循最近的趋势，链接采样和优化，并突出了卡方分歧的作用。特别是，它产生了新的结果的收敛香草Langevin扩散Wasserstein距离。
Optimal Transport Based Change Point Detection and Time Series Segment Clustering
Tufts Center for Applied Brain and Cognitive Sciences (CABCS)（塔夫茨应用脑与认知科学中心）
时间序列分析中的两个常见问题是将数据流分解为不相交的片段，每个片段在某种意义上都是“同质的”-一个被称为变点检测（CPD）的问题-以及将相似的不相邻片段分组，我们称之为时间序列片段聚类（TSSC）。基于最近的理论进展，表征了Wasserstein双样本测试的限制性无分布行为（Ramdas et al. 2015），我们提出了一种新的无监督，无分布CPD算法，该算法适用于离线和在线设置。我们还介绍了一种方法，以减轻CPD中的误报，并通过使用检测到的片段之间的Wasserstein距离来建立一个亲和矩阵，我们应用谱聚类来解决TSSC。合成和真实数据集上的结果显示了该方法的优点。
Non-Stationary Online Structured Prediction with Surrogate Losses
CyberAgent, Tokyo, Japan（日本东京CyberAgent公司）；National Institute of Informatics, Tokyo, Japan（日本东京信息机构）；Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan（日本东京RIKEN高级智能项目）；The Institute of Statistical Mathematics, Tokyo, Japan（日本东京统计数学研究所）；Tohoku University, Miyagi, Japan（日本宫城县立东大学）；Nanyang Technological University, Singapore（新加坡南洋理工大学）
Improved Analysis for Dynamic Regret of Strongly Convex and Smooth Functions
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文对强凸光滑函数的动态后悔问题提出了一种改进的分析方法。具体来说，我们研究了Zhang et al.（2017）提出的在线多梯度下降（OMGD）算法。原始的分析表明，OMGD的动态遗憾最多是$\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T\})$，其中$\mathcal{P}_T$和$\mathcal{S}_T$是路径长度和平方路径长度，测量的在线功能的最小值的累积移动。我们证明，通过改进的分析，OMGD的动态遗憾可以改进为$\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T,\mathcal{V}_T\})$，其中$\mathcal{V}_T$是在线函数的函数变化。请注意，$\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T$的数量本质上反映了环境非平稳性的不同方面--它们通常不具有可比性，并且在不同的情况下更受欢迎。因此，本文提出的动态后悔实际上实现了\emph{best-of-three-worlds}保证，并且比以前的结果严格。
A stochastic smoothing framework for nonconvex-nonconcave minEmax problems with applications to Wasserstein distributionally robust optimization
Department of Applied Mathematics, Hong Kong Polytechnic University, Hong Kong, China（应用数学系，香港理工大学）；Institute for Math & AI, Wuhan (IMAI), Wuhan university, China（数学与人工智能研究院，武汉大学）；Department of Mathematical Sciences Rensselaer Polytechnic Institute, Troy, NY, USA（数学科学系，伦斯勒理工学院）
Approximate Heavy Tails in Offline (Multi-Pass) Stochastic Gradient Descent
Inria Paris（巴黎国立信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；CMAP（应用数学中心）；Ecole Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
Wasserstein multivariate auto-regressive models for modeling distributional time series
Université Grenoble Alpes, CNRS, Inria, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔INP、LJK研究中心）；Institut de Mathématiques de Bordeaux, Université de Bordeaux（波尔多数学研究所、波尔多大学）
Stochastic Saddle-Point Optimization for Wasserstein Barycenters
HSE University（俄罗斯高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）
