We propose a general method for combinatorial online learning problems whose offline optimization problem can be solved efficiently via a dynamic programming algorithm defined by an arbitrary min-sum recurrence. Examples include online learning of Binary Search Trees, Matrix-Chain Multiplications, $k$-sets, Knapsacks, Rod Cuttings, and Weighted Interval Schedulings. For each of these problems we use the underlying graph of subproblems (called a multi-DAG) for defining a representation of the solutions of the dynamic programming problem by encoding them as a generalized version of paths (called multipaths). These multipaths encode each solution as a series of successive decisions or components over which the loss is linear. We then show that the dynamic programming algorithm for each problem leads to online algorithms for learning multipaths in the underlying multi-DAG. The algorithms maintain a distribution over the multipaths in a concise form as their hypothesis. More specifically we generalize the existing Expanded Hedge and Component Hedge algorithms for the online shortest path problem to learning multipaths. Additionally, we introduce a new and faster prediction technique for Component Hedge which in our case directly samples from a distribution over multipaths, bypassing the need to decompose the distribution over multipaths into a mixture with small support.
An Approximate Dynamic Programming Approach to Adversarial Online Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Univ. Grenoble Alpes（格勒诺布尔大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（格勒诺布尔信息与信号处理实验室）；Max-Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）；University of California, Berkeley（加利福尼亚大学伯克利分校）
Learning-Augmented Algorithms for Online Linear and Semidefinite Programming
Purdue University（普渡大学）；University of Melbourne（墨尔本大学）；Massachusetts Institute of Technology（麻省理工学院）；UC Berkeley（加州大学伯克利分校）；Rice University（莱斯大学）；Carnegie Mellon University（卡内基梅隆大学）
半定规划（SDP）是一个统一的框架，它概括了线性规划和二次约束二次规划，同时在理论和实践中也产生了有效的求解器。然而，当覆盖SDP的约束以在线方式到达时，存在用于近似最优解的已知不可能结果。在本文中，我们研究了在线覆盖的线性和半定的计划，其中的算法是增加了一个可能错误的预测咨询。我们表明，如果预测是准确的，我们可以有效地绕过这些不可能的结果，并实现一个常数因子近似的最优解，即，一致性另一方面，如果预测器是不准确的，在某些技术条件下，我们实现了与经典最优上界和紧下界都匹配到常数因子的结果，即，鲁棒性更广泛地说，我们引入了一个框架，扩展了（1）由Bamas，Maggiori和Svensson研究的机器学习预测器增强的在线集合覆盖问题（NeurIPS 2020），以及（2）由Elad，Kale和Naor发起的在线覆盖SDP问题（ICALP 2016）。具体来说，我们得到了一般的在线学习增强算法覆盖线性规划与分数的建议和约束，并开始学习增强算法覆盖SDP问题的研究。我们的技术基于Buchbinder和Naor的原始-对偶框架（Mathematics of Operations Research，34，2009），并且可以进一步调整以处理变量位于有界区域中的约束，即，框约束。
Beyond $\mathcal{O}(\sqrt{T})$ Regret: Decoupling Learning and Decision-making in Online Linear Programming
Stanford University（斯坦福大学）；Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）；RIIS, Shanghai University of Finance and Economics（上海财经大学RIIS）；Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程学院）
Online Linear Programming: Dual Convergence, New Algorithms, and Regret Bounds
Stanford University（斯坦福大学）
研究了一个随机输入模型下的在线线性规划问题，其中约束矩阵的列和目标函数中的相应系数是独立同分布生成的.从一个未知的分布，并揭示了随着时间的推移顺序。实际上，所有先前存在的在线算法都是基于学习线性规划（LP）的对偶最优解/价格，并且它们的分析集中在聚合目标值和求解约束矩阵和目标中的所有系数都是非负的包装LP。然而，两个主要的开放问题是：（i）在现有算法中学习的LP最优对偶价格集是否收敛于“离线”LP的最优对偶价格集，以及（ii）结果是否可以扩展到系数可以是正或负的一般LP问题。我们解决这两个问题，建立收敛结果的双重价格一般LP问题的适度正则性条件下。具体来说，我们确定了一个等价形式的对偶问题，涉及到一个随机程序的样本平均近似的对偶LP。此外，我们提出了一种新型的OLP算法，基于历史的学习算法，它通过考虑过去的输入数据以及已经做出的决策/动作来改善以前的算法性能。我们推导出一个$O(\log n \log \log n)$遗憾界（在局部强凸性和光滑性条件下）的建议算法，对$O(\sqrt{n})$界典型的双价格学习算法，其中$n$是决策变量的数量。数值实验验证了所提算法和动作历史相关设计的有效性。
RWTH Aachen University（亚琛工业大学）；Saarland University（萨尔大学）；University College London（伦敦大学学院）
我们研究加权规划，指定数学模型的编程范式。更具体地说，我们研究的加权程序就像通常的命令式程序一样，具有两个额外的功能：（1）不确定性分支和（2）加权执行轨迹。权重可以是数字，也可以是其他对象，如字母表中的单词、多项式、形式幂级数或基数。我们认为，加权规划作为一种范式，可以用来指定数学模型超越概率分布（如概率规划）。我们开发了最弱的预条件和最弱的自由预条件风格的演算à la Dijkstra，用于推理加权程序指定的数学模型。我们提出了几个案例研究。例如，我们使用加权规划来模拟滑雪租赁问题-一个优化问题。我们不仅模型的优化问题本身，而且最好的确定性在线算法解决这个问题的加权程序。通过最弱前提式推理，可以在源代码级确定在线算法的竞争比。
Beyond Non-Degeneracy: Revisiting Certainty Equivalent Heuristic for Online Linear Programming
School of Data Science, the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Data Science and Analytics Thrust, Information Hub, the Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）信息枢纽数据科学与分析学域）
Hash-Based Tree Similarity and Simplification in Genetic Programming for Symbolic Regression
Josef Ressel Centre for Symbolic Regression（约瑟夫·雷塞尔符号回归中心）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）；Johannes Kepler University（约翰内斯·开普勒大学）
An Online Boosting Algorithm with Theoretical Justifications
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Department of Computer Science and Information Engineering, National Taiwan University（台湾大学计算机科学与信息工程学系）
National Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；University of Piraeus（比雷埃夫斯大学）；National Center for Scientific Research “Demokritos”（德谟克利特国家科学研究中心）
