There is a large body of work on convergence rates either in passive or active learning. Here we outline some of the results that have been obtained, more specifically in a nonparametric setting under assumptions about the smoothness and the margin noise. We also discuss the relative merits of these underlying assumptions by putting active learning in perspective with recent work on passive learning. We provide a novel active learning algorithm with a rate of convergence better than in passive learning, using a particular smoothness assumption customized for $k$-nearest neighbors. This smoothness assumption provides a dependence on the marginal distribution of the instance space unlike other recent algorithms.
Our algorithm thus avoids the strong density assumption that supposes the existence of the density function of the marginal distribution of the instance space and is therefore more generally applicable.
A Convergence Theory for Federated Average: Beyond Smoothness
University of British Columbia（不列颠哥伦比亚大学）；Adobe Research（奥多比研究院）；Columbia University（哥伦比亚大学）；McGill University（麦吉尔大学）
联邦学习使得大量边缘计算设备能够学习模型，而无需联合进行数据共享。作为该设置中的领先算法，Federated Average FedAvg在本地设备上并行运行随机梯度下降（SGD）并且仅偶尔对序列进行平均，由于其简单性和低通信成本而被广泛使用。然而，尽管最近的研究工作，它缺乏理论分析的假设下超越平滑。本文分析了FedAvg的收敛性。与已有工作不同的是，我们放宽了强光滑性的假设。更具体地说，我们假设半光滑性和半Lipschitz性质的损失函数，其中有一个额外的一阶项的假设定义。此外，我们还假设梯度上有界，这比收敛性分析格式中常用的有界梯度假设要弱。作为一种解决方案，本文对联邦学习的收敛性进行了理论研究。
Provable Adaptivity of Adam under Non-uniform Smoothness
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peking University（北京大学）；Chinese Academy of Mathematics and Systems Science（中国科学院数学与系统科学研究院）；Microsoft（微软）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
A simple parameter-free and adaptive approach to optimization under a minimal local smoothness assumption
University of California, Berkeley（加州大学伯克利分校）；Noah’s Ark Lab, Huawei Technologies（华为诺亚方舟实验室）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）
研究了在\emph{budgeted number of evaluations}下函数的优化问题。我们只假设函数在其全局最优点附近是\emph{locally}光滑的。优化的难度根据1）函数评估的\emph{noise} $b$的量和2）函数的局部平滑度$d$来测量。较小的$d$导致较小的优化误差。我们采用了一种新的、简单的、无参数的方法。首先，对于$b$和$d$的所有值，这种方法至少恢复了最先进的遗憾保证。其次，我们的方法还获得了这些结果，同时\textit{agnostic}的值都$b$和$d$。这导致第一算法自然地适应于噪声$b$的\textit{unknown}范围，并且导致在中等和低噪声范围中的显著改进。第三，我们的方法也获得了显着的改善，在国家的最先进的SOO算法时，噪声是非常低的，其中包括确定性反馈下的优化（$b=0$）的情况下。在那里，在我们的最小局部平滑假设下，这种改进是指数量级的，并且适用于一类函数，该函数涵盖了从业者优化的绝大多数函数（$d=0$）。我们表明，我们的算法改进证明了在实验中，我们凭经验表明，在共同的基准更快的收敛。
