Modern realities and trends in learning require more and more generalization ability of models, which leads to an increase in both models and training sample size. It is already difficult to solve such tasks in a single device mode. This is the reason why distributed and federated learning approaches are becoming more popular every day. Distributed computing involves communication between devices, which requires solving two key problems: efficiency and privacy. One of the most well-known approaches to combat communication costs is to exploit the similarity of local data. Both Hessian similarity and homogeneous gradients have been studied in the literature, but separately. In this paper, we combine both of these assumptions in analyzing a new method that incorporates the ideas of using data similarity and clients sampling. Moreover, to address privacy concerns, we apply the technique of additional noise and analyze its impact on the convergence of the proposed method. The theory is confirmed by training on real datasets.
FLECS-CGD: A Federated Learning Second-Order Framework via Compression and Sketching with Compressed Gradient Differences
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
在最近的论文FLECS（Agafonov et al，FLECS：A联邦学习Second-Order Framework via Compression and Sketching）中，针对联邦学习问题提出了二阶框架FLECS。该方法利用Hessian草图的压缩，使通信成本低。然而，FLECS的主要瓶颈是没有压缩的梯度通信。在本文中，我们提出了修改的FLECS压缩梯度差异，我们称之为FLECS-CGD（FLECS压缩梯度差异），使其适用于随机优化。在强凸和非凸的情况下提供收敛保证。实验结果表明，该方法具有较好的实用价值.
DP-FedSOFIM: Differentially Private Federated Stochastic Optimization using Regularized Fisher Information Matrix
Department of Mechanical Engineering, Indian Institute of Technology Delhi（印度理工学院德里机械工程系）；SQC & OR Unit, Indian Statistical Institute Kolkata（印度统计研究院科钦SQC与OR单位）；Department of Artificial Intelligence, Indian Institute of Technology Hyderabad（印度理工学院海得拉巴人工智能系）；Operations Management & Quantitative Techniques Area, Indian Institute of Management, Indore（印度管理学院印地尔运营管理和定量技术领域）
Xidian University（西安电子科技大学）；JD Tech（京东科技）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；JD Finance America Corporation（京东金融美国公司）；Simon Fraser University（西蒙弗雷泽大学）；University of Pittsburgh（匹兹堡大学）
Accelerated Training of Federated Learning via Second-Order Methods
Department of Artificial Intelligence, Indian Institute of Technology Hyderabad, India（人工智能系，印度理工学院海得拉尔分校）；Department of Computing Technologies, Swinburne University of Technology, Hawthorn, australia（计算技术系，斯威本科技大学 Hawthorn 分校）；Department of Mechanical Engineering , Indian Institute of Technology Delhi, India（机械工程系，印度理工学院德里分校）；Department of Computer Science and Engineering, Indian Institute of Technology Hyderabad, India（计算机科学与工程系，印度理工学院海得拉尔分校）
FLECS: A Federated Learning Second-Order Framework via Compression and Sketching
受FedNL（Safaryan et al，FedNL：Making Newton-Type Methods Applied to Federated Learning）的启发，我们提出了一个新的用于联邦学习的通信高效的二阶框架，即FLECS。所提出的方法通过使用存储在中央服务器上的Hessian近似的L-SR 1类型更新来降低FedNL的高内存需求。一个低维的“草图”的海森是所有需要由每个设备生成一个更新，使内存成本以及海森矢量产品的代理是低的。利用有偏和无偏压缩来使通信成本也较低。在强凸和非凸两种情况下，给出了FLECS的收敛保证，并在强凸条件下证明了局部线性收敛.数值实验证实了这种新的FLECS算法的实际效益。
Causal Unlearning in Collaborative Optimization: Exact and Approximate Influence Reversal under Adversarial Contributions
Department of Computer Engineering, SRC, Islamic Azad University Tehran, Iran（伊朗伊斯兰Azad大学塔希尔分校计算机工程系）；School of Computer Engineering, Iran University of Science and Technology Tehran, Iran（伊朗科学技术大学塔希尔分校计算机工程系）；Meta CA, USA（美国Meta公司）
Application of Optimal Inexact Second-Order Acceleration to Distributed Stochastic Optimization under Statistical Similarity
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
Decentralized Local Stochastic Extra-Gradient for Variational Inequalities
Innopolis University（Innopolis大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机学研究所）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；HSE University（高等经济大学）；Yandex（Yandex公司）；EPFL（洛桑联邦理工学院）
在大规模分布式学习框架（如联邦学习）中，非凸优化的鞍点避免问题具有相当大的挑战性，特别是在拜占庭工人存在的情况下。\cite{nest}中著名的正则化牛顿法是在标准集中式（非分布式）设置中避免鞍点的最优雅的方法之一。在本文中，我们扩展的正则化牛顿方法的分布式框架，同时解决一些实际的挑战，如通信瓶颈和拜占庭攻击。注意，在拜占庭机器存在的情况下，鞍点避免的问题变得更加关键，因为流氓机器可能在损失函数的鞍点附近创建\emph{fake local minima}，也称为鞍点攻击。作为一个二阶算法，我们的迭代复杂度比一阶算法低得多。此外，我们使用压缩（或稀疏化）技术，如$δ$ -近似压缩通信效率。我们获得了理论保证，我们提出的计划下的几个设置，包括近似（二次采样）梯度和海森。此外，我们使用标准数据集和几种类型的拜占庭攻击的实验验证了我们的理论研究结果，并获得了改进的$25\%$相对于一阶方法的迭代复杂度。
