极小极大最优与局部自适应的在线非参数回归
Minimax-optimal and Locally-adaptive Online Nonparametric Regression
- Sorbonne Université（索邦大学）
- CNRS（法国国家科学研究中心）
- Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
- INRIA（法国国家信息与自动化研究所）
- Grenoble INP（格勒诺布尔理工学院）
- Vienna University（维也纳大学）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本文针对对抗性在线非参数回归提出一种无参数算法，通过修剪链式树动态适应局部 Hölder 平滑性，首次实现计算高效且局部自适应的极小极大最优速率。
AI中文摘要：
我们研究具有一般凸损失的对抗性在线非参数回归，并提出一种无参数学习算法，该算法能够达到极小极大最优速率。我们的方法利用链式树（chaining tree）与 Hölder 函数竞争，并建立最优遗憾界。虽然与非参数函数类竞争可能具有挑战性，但它们通常表现出局部模式——例如局部 Hölder 连续性——在线算法可以利用这些模式。在缺乏先验知识的情况下，我们的方法通过修剪核心链式树结构，动态跟踪并适应不同的 Hölder 轮廓，使其与局部平滑性变化保持一致。这产生了第一个在对抗环境下具有局部自适应最优速率的计算高效在线回归算法。最后，我们讨论了如何将这些概念扩展到提升（boosting）框架，为未来研究提供了有前景的方向。
英文摘要：
We study adversarial online nonparametric regression with general convex losses and propose a parameter-free learning algorithm that achieves minimax optimal rates. Our approach leverages chaining trees to compete against H{ö}lder functions and establishes optimal regret bounds. While competing with nonparametric function classes can be challenging, they often exhibit local patterns - such as local H{ö}lder continuity - that online algorithms can exploit. Without prior knowledge, our method dynamically tracks and adapts to different H{ö}lder profiles by pruning a core chaining tree structure, aligning itself with local smoothness variations. This leads to the first computationally efficient algorithm with locally adaptive optimal rates for online regression in an adversarial setting. Finally, we discuss how these notions could be extended to a boosting framework, offering promising directions for future research.
