We provide algorithms that guarantee regret $R_T(u)\le \tilde O(G\|u\|^3 + G(\|u\|+1)\sqrt{T})$ or $R_T(u)\le \tilde O(G\|u\|^3T^{1/3} + GT^{1/3}+ G\|u\|\sqrt{T})$ for online convex optimization with $G$-Lipschitz losses for any comparison point $u$ without prior knowledge of either $G$ or $\|u\|$. Previous algorithms dispense with the $O(\|u\|^3)$ term at the expense of knowledge of one or both of these parameters, while a lower bound shows that some additional penalty term over $G\|u\|\sqrt{T}$ is necessary. Previous penalties were exponential while our bounds are polynomial in all quantities. Further, given a known bound $\|u\|\le D$, our same techniques allow us to design algorithms that adapt optimally to the unknown value of $\|u\|$ without requiring knowledge of $G$.
Sydney Institute for Robotics and Intelligent Systems (SIRIS)（悉尼机器人与智能系统研究所）；Australian Centre for Field Robotics (ACFR)（澳大利亚野外机器人中心）；University of Sydney（悉尼大学）
Beyond the Golden Ratio for Variational Inequality Algorithms
University of Wisconsin--Madison（威斯康星大学麦迪逊分校）；University of Vienna（维也纳大学）；Linköping University（林雪平大学）
我们提高了$\textit{golden ratio algorithm}$的理解，它解决单调变分不等式（VI）和凹凸极小极大问题通过适应当地Lipschitz常数的步长的显着特点。自适应步长不仅消除了选择超参数的需要，而且还消除了全局Lipschitz连续性的必要性，并且可以从一次迭代到下一次迭代增加。我们首先建立了该算法与流行的VI方法，如反射梯度，波波夫或乐观的梯度下降上升在无约束的情况下，恒定的步长的等价性。然后，我们移动到约束设置，并引入一个新的分析，允许使用更大的步长，完成黄金比例算法和文献中现有的算法之间的桥梁。这样做，我们实际上消除了黄金比例$\frac{1+\sqrt{5}}{2}$和算法之间的联系。此外，我们改进了自适应版本的算法，首先通过删除最大步长超参数（从分析的工件），以提高复杂性的界限，其次通过调整它的非单调问题与弱明蒂解决方案，具有优越的经验性能。
On the Last Iterate Convergence of Momentum Methods
Boston University（波士顿大学）；George Mason University（乔治梅森大学）
SGD with Momentum（SGDM）是一种广泛用于机器学习问题大规模优化的算法族。然而，当优化通用凸函数时，任何SGDM算法都没有比普通SGD算法更好的优势。此外，即使是最新的结果需要改变的SGDM算法，如平均的迭代和投影到一个有界域，这是很少使用在实践中。在本文中，我们主要关注的SGDM的最后一个收敛速度。第一次证明了对于任意的常数动量因子，存在一个Lipschitz凸函数，使得SGDM的最后一步迭代在经过$T$迭代后收敛速度为$Ω(\frac{\ln T}{\sqrt{T}})$.基于这一事实，我们研究了一类（自适应和非自适应）基于Follow-The-Regularized-Leader-based SGDM算法的增加动量和收缩更新。对于这些算法，我们证明了最后一个无约束凸随机优化问题的最佳收敛$O(\frac{1}{\sqrt{T}})$没有投影到有界域，也没有知识的$T$。此外，我们展示了各种基于FTRL的SGDM与自适应步长一起使用时的结果。实证结果也显示。
