Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
遗憾已被广泛采用的分布式，多智能体系统的在线优化算法的性能评估的选择度量。然而，与代理相关的数据/模型变化可能会显著影响决策，并需要代理之间的共识。此外，大多数现有的工作都集中在开发方法（无论是强或非强）凸损失，并已获得很少的结果，在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题，我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式，我们开发了一个基于共识的在线归一化梯度（CONGD）方法的伪凸损失，它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失，我们首先阐明了遗憾的设置分布式在线非凸学习的基础上，最近的进展，没有确定性算法可以实现次线性遗憾。然后，我们开发了分布式在线非凸优化与复合遗憾（DINOCO）没有访问的梯度，依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知，这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
Distributed Primal-Dual Optimization for Online Multi-Task Learning
Baidu Research（百度研究院）
传统的在线多任务学习算法存在两个严重的局限性：1）向中央机器提供高速的顺序数据所导致的繁重通信; 2）用于构建任务相关性的昂贵的运行时复杂度。为了解决这些问题，在本文中，我们考虑一个设置，其中多个任务在地理上位于不同的地方，其中一个任务可以与其他任务同步数据，以利用相关任务的知识。具体来说，我们提出了一种自适应的原始-对偶算法，它不仅可以捕获对抗学习中特定于任务的噪声，还可以在运行时效率下进行无投影更新。此外，我们的模型非常适合分散的网络连接任务，因为它允许能源匮乏或带宽约束的任务推迟更新。理论结果表明，我们的分布式算法的收敛性保证与最佳遗憾。实验结果表明，该模型在各种真实数据集上都是非常有效的。
2020-04-02 cs.LG stat.ML
Distributed Online Learning via Cooperative Contextual Bandits
UCLA（加州大学洛杉矶分校）
在本文中，我们提出了一个新的框架，分散，在线学习的许多学习者。在每个时刻，由特定上下文表征的实例可能到达每个学习者;基于上下文，学习者可以选择自己的动作之一（给予奖励并提供信息）或请求另一个学习者的帮助。在后一种情况下，请求者支付成本并获得奖励，但提供者了解信息。在我们的框架中，学习者被建模为合作的上下文土匪。每个学习者都寻求从其到达的预期回报最大化，这涉及到权衡从自己的行动中获得的回报，从自己的行动中学习到的信息，从他人请求的行动中获得的回报以及为这些行动支付的成本-考虑到它从每个其他学习者那里学到的关于帮助价值的知识。我们开发了分布式在线学习算法，并提供了分析边界，以比较这些算法的效率与完整的知识（Oracle）基准（其中每个动作的预期回报在每个上下文中是已知的每个学习者）。我们的估计表明，后悔-算法产生的损失-是次线性的时间。我们的理论框架可以用于许多实际应用，包括大数据采掘，事件检测在监测传感器网络和分布式在线推荐系统。
2015-03-23 cs.LG stat.ML
Communication-Efficient Distributed Online Learning with Kernels
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Saarland University（萨尔大学）
我们提出了一个有效的分布式低延迟实时服务的在线学习协议。它扩展了以前提出的协议，以内核化的在线学习者，代表他们的模型的支持向量扩展。虽然这样的学习器通常比线性学习器实现更高的预测性能，但是对于大量的支持向量，传递支持向量扩展变得低效。所提出的扩展允许更大类的在线学习算法-包括那些通过模型压缩来缓解上述问题的算法。此外，我们通过引入一个新的标准，要求通信所遭受的损失有界的质量所提出的协议的特点。
2019-11-28 cs.DC cs.LG stat.ML
Data-Distributed Weighted Majority and Online Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们专注于在线学习在多大程度上可以受益于分布式计算的问题。我们专注于设置中，$N$代理在线学习合作，每个代理只能访问自己的数据。我们提出了一个通用的数据分布式在线学习元算法。然后，我们介绍了分布式加权多数和分布式在线镜像下降算法，作为特例。我们表明，使用理论分析和实验，相比于一个单一的代理：给定相同的计算时间，这些分布式算法实现较小的泛化误差，并给予相同的泛化误差，他们可以快$N$倍。
2011-05-11 cs.DC cs.LG
Differentially Private Distributed Online Learning
Huazhong University of Science and Technology（华中科技大学）；Georgia Tech（佐治亚理工学院）
在线学习长期以来一直是机器学习社会的焦点。在大数据时代，要处理大量的数据，单个学习者无法有效地完成这项繁重的任务。因此，在本文中，我们提出了一种新的分布式在线学习算法来解决这个问题。与典型的集中式在线学习器相比，分布式学习器基于本地数据源优化自己的学习参数，并及时与邻居进行通信。然而，通信可能会导致隐私泄露。因此，我们使用差分隐私来保护学习者的隐私，并研究保证差分隐私对分布式在线学习算法效用的影响。此外，通过使用Kakade和Tewari（2009）的结果，我们使用在线学习的遗憾界限来实现分布式场景中离线学习算法的快速收敛速度，这提供了比现有最先进的结果更严格的效用性能。在仿真中，我们证明了差分私有离线学习算法具有较高的方差，但我们可以使用小批量来提高性能。最后，仿真结果表明，我们所提出的定理的分析结果是正确的，我们的私人分布式在线学习算法是一个通用的框架。
2015-06-23 cs.LG
Fundamental Limits of Online and Distributed Algorithms for Statistical Learning and Estimation
Weizmann Institute of Science（魏茨曼科学研究所）
许多机器学习方法的特征在于它们如何与训练数据交互的信息约束。这些包括内存和顺序存取约束（例如解决随机优化问题的快速一阶方法）;通信约束（例如分布式学习）;对底层数据的部分访问（例如缺失特征和多臂强盗）等等。然而，目前我们还不了解这些信息约束如何从根本上影响我们的性能，独立于学习问题的语义。例如，是否存在这样的学习问题，即任何具有小内存占用（或可以使用每个示例中的任何有限数量的位，或具有某些通信约束）的算法将比没有这些约束的算法执行得更差？在本文中，我们描述了如何一组结果意味着积极的答案，上述几个不同的设置。
2014-10-28 cs.LG stat.ML
Online and Distributed learning of Gaussian mixture models by Bayesian Moment Matching
David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学大卫·R·切里顿计算机科学学院）
高斯混合模型是聚类和数据建模的经典技术，在许多应用中使用。随着大数据的兴起，需要能够处理流数据并将计算分布在多个处理器上的参数估计技术。虽然存在期望最大化（EM）算法的在线变体，但它们的数据效率因E步的随机近似而降低，并且不清楚如何将计算分布在多个处理器上。我们提出了一种贝叶斯学习技术，自然适合在线和分布式计算。由于贝叶斯后验是不听话的，我们将其投影到一个家庭听话的分布后，每个观察匹配一组足够的时刻。在一组数据建模基准上，这种贝叶斯矩匹配技术在时间和精度方面优于在线EM。
2016-09-19 cs.AI cs.LG stat.ML
Online and Distributed Robust Regressions under Adversarial Data Corruption
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）；U. S. Army Corps of Engineers（美国陆军工程兵团）
在当今的大数据时代，当考虑到数据集爆炸性增长的对抗性腐败时，鲁棒最小二乘回归成为一个更具挑战性的问题。传统的鲁棒方法可以处理噪声，但在应用于大型数据集时会遇到一些挑战，包括1）一次处理整个数据集的计算不可行性，2）存在异构分布的损坏，以及3）当数据无法完全加载时难以估计损坏。本文提出了在线和分布式鲁棒回归方法，这两种方法可以同时解决所有上述挑战。具体地说，分布式算法通过启发式硬阈值优化每个数据块的回归系数，并将所有估计值组合在分布式鲁棒合并中。此外，提出了一个在线版本的分布式算法，以增量更新现有的估计与新的传入数据。我们还证明了我们的算法受益于强大的鲁棒性保证回归系数恢复与一个恒定的上限的错误的国家的最先进的批处理方法。在人工数据集和真实数据集上的大量实验表明，我们的方法在有效性上优于现有方法，具有竞争力的效率。
2017-10-02 cs.DS cs.LG stat.ML
Byzantine-Robust Online and Offline Distributed Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑一个分布式的强化学习设置，多个代理分别探索环境，并通过中央服务器交流他们的经验。然而，$α$ -分数的代理是敌对的，可以报告任意的假信息。至关重要的是，这些敌对代理可以勾结，他们的假数据可以是任何大小。我们希望在这些对抗性代理存在的情况下，为底层马尔可夫决策过程鲁棒地确定一个接近最优的策略。我们的主要技术贡献是加权团，一种新的算法的强大的平均估计批量问题，可以处理任意批量大小。在此基础上，在离线环境下，设计了一个拜占庭鲁棒分布式悲观值迭代算法;在在线环境下，设计了一个拜占庭鲁棒分布式乐观值迭代算法.这两种算法都获得了接近最优的样本复杂度，并实现了比以前的作品更好的鲁棒性保证。
2022-06-01 cs.DC cs.LG stat.ML
Asynchronous Distributed Gaussian Process Regression for Online Learning and Dynamical Systems: Complementary Document
Technical University of Munich (TUM)（慕尼黑工业大学）；School of Computation, Information and Technology (CIT)（计算、信息与技术学院）
本文为异步分布式高斯过程回归用于在线学习与动力系统的论文提供补充说明。
2024-12-16 cs.LG cs.SY eess.SY
Finite Sample Guarantees for Distributed Online Parameter Estimation with Communication Costs
Purdue University（普渡大学）
我们研究的问题，估计一个未知的参数在一个分布式和在线的方式。现有的分布式在线学习的工作通常集中在渐近分析，或提供遗憾的界限。然而，在有限数量的时间步长之后，这些结果可能不会直接转化为学习模型的误差界限。在本文中，我们提出了一个分布式在线估计算法，使网络中的每个代理，以提高其估计精度与邻居进行通信。我们提供的估计误差的非渐近界，利用底层模型的统计特性。我们的分析表明，估计误差和通信成本之间的权衡。此外，我们的分析允许我们确定通信可以停止的时间（由于与通信相关联的成本），同时满足期望的估计精度。我们还提供了一个数值例子来验证我们的结果。
2022-09-12 cs.LG cs.SY eess.SY
Distributed Online Learning for Joint Regret with Communication Constraints
Università degli Studi di Milano（米兰大学）；University of Amsterdam（阿姆斯特丹大学）
我们考虑分布式在线学习的联合遗憾与通信约束。在此设置中，有多个连接在图中的代理。每一轮，对手首先激活其中一个代理发布预测并提供相应的梯度，然后允许代理向图中的邻居发送$b$位消息。所有的代理合作，以控制联合遗憾，这是激活代理的损失减去损失的最佳固定的共同比较参数$u$评估的总和。我们观察到，这是次优代理等待梯度，需要太长的时间才能到达。相反，应该将图划分为相互通信的本地集群。我们的主要结果是一种新的方法，可以适应对抗激活和梯度的最佳图分区，其中图分区是从一组候选分区中选择的。一个关键的构建模块是一个新的算法，用于在线凸优化与延迟梯度信息，是比较器自适应，这意味着其联合遗憾尺度与比较器$||u||$的范数。我们进一步提供了接近最优的梯度压缩方案，这取决于$b$的比率和图的直径的维数。
2021-10-25 cs.LG stat.ML
Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Modeling Online Discourse with Coupled Distributed Topics
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个深，全球规范化的主题模型，结合结构关系连接文档在社会上生成的语料库，如在线论坛。我们的模型（1）除了传统的主题信息之外，还沿着观察到的回复链接捕获话语交互，（2）将潜在的分布式表示纳入深层架构中，这使得基于GPU的平均场推理过程能够有效地扩展到大数据。我们将我们的模型应用于一个新的社交媒体数据集，该数据集由从流行的互联网论坛Reddit挖掘的1300万条评论组成，Reddit对不考虑连接用户评论的关系的模型构成了重大挑战。我们评估现有的方法在多个指标，包括困惑和元数据预测，并定性分析学习的交互模式。
2020-05-08 cs.CL cs.LG stat.ML
Online Distributed Learning Over Networks in RKH Spaces Using Random Fourier Features
University of Athens（雅典大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
我们提出了一种新的扩散计划在线基于核的网络学习。到目前为止，任何在线学习算法的一个主要缺点，在再生核希尔伯特空间（RKHS）中操作，是需要更新越来越多的参数随着时间的迭代演变。除了复杂性之外，这还导致在分布式环境中对通信资源的需求增加。相比之下，所提出的方法使用随机傅立叶特征将解近似为固定大小的向量（比输入空间更大的维度）。这为使用标准的线性组合然后调整技术铺平了道路。据我们所知，这是第一次，一个完整的协议，在RKHS分布式在线学习。并给出了网络后悔的渐近收敛性和有界性条件。仿真实验验证了该方案的有效性。
2017-03-24 cs.LG
Distributed Online Learning with Multiple Kernels
University of Southern California（南加州大学）；Hanyang University（汉阳大学）
我们考虑的问题，学习一个非线性函数在一个网络的学习者在一个完全分散的方式。另外假设在线学习，其中每个学习者在本地接收连续流数据。这种学习模型被称为完全分布式在线学习（或完全分散式在线联邦学习）。针对该模型，我们提出了一种新的多核学习框架，称为DOMKL。建议的DOMKL是通过利用在线交替方向法的乘数和分布式对冲算法的原则。我们从理论上证明了DOMKL在T个时隙上可以实现最佳的次线性遗憾，这意味着网络中的每个学习者都可以学习一个共同的函数，该函数与事后的最佳函数之间的差距越来越小。我们的分析还表明，DOMKL产生了与最先进的集中式方法相同的渐近性能，同时保持边缘学习器的本地数据。通过对真实数据集的数值测试，我们证明了所提出的DOMKL在各种在线回归和时间序列预测任务上的有效性。
2021-02-26 cs.LG
Robust Distributed Online Prediction
Microsoft Research（微软研究院）
在线预测的标准模型是通过单个处理器对输入进行串行处理。然而，在大规模在线预测问题中，输入以高速率到达，越来越常见的必要性是将计算分布在多个处理器上。一个不平凡的挑战是设计分布式算法在线预测，保持良好的遗憾保证。在\cite{DMB}中，我们提出了DMB算法，这是一个通用的框架，可以将任何串行的基于梯度的在线预测算法转换为分布式算法。而且，对于光滑凸损失函数和随机输入，它的后悔保证是渐近最优的。另一方面，它对分布式环境中常见的许多类型的故障都很脆弱。在这篇配套论文中，我们提出了DMB算法的变体，它对许多类型的网络故障有弹性，并能容忍计算节点的不同性能。
2010-12-07 cs.LG math.OC
A Survey on Distributed Online Optimization and Game
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）
分布式在线优化和博弈在过去十年中得到了越来越多的研究，主要是由于其在传感器网络，机器人（例如，分布式目标跟踪和编队控制）、智能电网、深度学习等等。在这些问题中，有一个可以合作的代理网络（即，分布式在线优化）或非协作（即，网络游戏，通过信息交流。在动态甚至对抗环境中，每个代理的局部成本函数往往是时变的。每一次，决策必须由每个代理人根据手头的历史信息做出，而不知道成本函数的未来信息。对于这些问题，目前还缺乏一个全面的调查。本文旨在从问题设置、通信、计算、算法和性能的角度对分布式在线优化和博弈进行全面的概述。此外，还讨论了一些潜在的未来发展方向。
2023-01-21 cs.LG math.OC
Distributed Online Optimization with Long-Term Constraints
Nanjing University of Science and Technology（南京理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；The University of Sydney（悉尼大学）
我们考虑分布式在线凸优化问题，其中分布式系统由通过时变通信图连接的各种计算单元组成。在每个时间步中，每个计算单元选择一个约束向量，经历等于在该向量处评估的任意凸函数的损失，并且可以与图中的其邻居通信。目标是尽量减少系统范围内随着时间的推移而积累的损失。我们提出了一个分散的算法与遗憾和累积约束违反$\mathcal{O}(T^{\max\{c,1-c\} })$和$\mathcal{O}(T^{1-c/2})$，分别为任何$c\in (0,1)$，其中$T$是时间范围。当损失函数是强凸的时，我们在$\mathcal{O}(\log(T))$和$\mathcal{O}(\sqrt{T\log(T)})$中建立了改进的后悔和约束违反上界。这些遗憾缩放匹配的国家的最先进的算法和基本限制，在相应的集中式在线优化问题（凸和强凸损失函数）。在强盗反馈的情况下，所提出的算法实现了遗憾和约束违反$\mathcal{O}(T^{\max\{c,1-c/3 \} })$和$\mathcal{O}(T^{1-c/2})$的任何$c\in (0,1)$。我们数值说明了我们的算法的分布式在线正则化线性回归问题的特定情况下的性能。
2019-12-20 cs.LG math.OC stat.ML
Online Distributed Sensor Selection
Caltech（加州理工学院）
传感器网络中的一个关键问题是决定何时查询哪些传感器，以便获得最有用的信息（例如，用于执行准确的预测），受到约束（例如，在功率和带宽上）。在许多应用中，效用函数不是先验已知的，必须从数据中学习，甚至可以随时间变化。此外，大型传感器网络解决集中式优化问题选择传感器是不可行的，因此，我们寻求一个完全分布式的解决方案。在本文中，我们提出了分布式在线贪婪（DOG），一个有效的，分布式的算法，反复选择传感器在线，只接收反馈的效用所选择的传感器。我们证明了非常强大的理论无遗憾的保证，适用于任何时候（未知）的效用函数满足一个自然递减的回报属性称为子模块。我们的算法具有极低的通信要求，并可扩展到大型传感器部署。我们扩展DOG允许观察依赖的传感器选择。我们经验证明了我们的算法在几个现实世界的传感任务的有效性。
2010-05-13 cs.LG
Adaptive Communication Bounds for Distributed Online Learning
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University Bonn（波恩大学）；Haifa University（海法大学）；Technion, Israel Institute of Technology（以色列理工学院）
我们认为分布式在线学习协议，控制本地学习者之间的信息交换，在一轮为基础的学习场景。这种协议的学习性能直观上是最佳的，如果发生近似相同的损失，在一个假设的串行设置。如果一个协议做到了这一点，那么它本质上不可能同时实现强通信绑定。在最坏的情况下，每个输入对于学习性能是必不可少的，即使对于串行设置，因此需要在本地学习器之间交换。然而，要求一个与序列化预测问题的难度成比例的界限是合理的，如通过串行在线学习算法接收的损失所测量的。我们提供了正式的标准，基于这种直觉，并表明，他们持有的简化版本的先前公布的协议。
2019-11-28 cs.DC cs.LG stat.ML
Centralized and distributed online learning for sparse time-varying optimization
在过去的几年里，在线算法的发展，以跟踪时变系统引起了很多关注，特别是在在线凸优化的框架。同时，稀疏时变优化已经成为一个强大的工具，以处理广泛的应用，从动态压缩传感到简约系统辨识。在大多数关于稀疏时变问题的文献中，假设系统演化的一些先验信息是可用的。相比之下，在本文中，我们提出了一种在线学习方法，它不使用给定的模型，适用于对抗框架。具体来说，我们开发集中式和分布式算法，我们从理论上分析他们的动态遗憾，在网上学习的角度来看。此外，我们提出了数值实验，说明其实际有效性。
2020-01-31 cs.LG math.OC
Online Machine Learning in Big Data Streams
Institute for Computer Science and Control, Hungarian Academy of Sciences（匈牙利科学院计算机科学与控制研究所）
大数据流中的在线机器学习领域涵盖了（1）分布式算法和（2）从数据流中工作的算法，只有有限的可能性存储过去的数据。第一个要求主要涉及软件架构和有效的算法。第二个也对建模方法施加了重要的理论限制：在数据流模型中，随着新数据的到来，旧数据不再可用于修改早期的次优建模决策。在这篇文章中，我们提供了分布式软件架构和库以及用于在线学习的机器学习模型的概述。我们强调的分类，回归，推荐和无监督建模流数据的最重要的想法，我们展示了它们是如何实现在各种分布式数据流处理系统。这篇文章是一份参考资料，而不是一份调查。我们并不试图全面描述所有现有的方法和解决方案;相反，我们给出了该领域最重要的资源。所有相关的子领域，在线算法，在线学习和分布式数据处理在当前的研究和开发中占主导地位，在撰写本文时出现了概念上新的研究成果和软件组件。在本文中，我们参考了几个调查结果，包括分布式数据处理和在线机器学习。与过去的调查相比，我们的文章是不同的，因为我们讨论推荐系统的扩展细节。
2018-02-16 cs.DC cs.LG stat.ML
Locally Differentially Private Gradient Tracking for Distributed Online Learning over Directed Graphs
Clemson University（克莱姆森大学）
本文针对有向图上的分布式在线学习提出一种本地差分隐私梯度跟踪算法，在保证严格隐私且累计隐私预算有限的同时实现均方收敛到精确最优解，并通过多个基准实验验证其优于现有方法。
2023-10-29 cs.LG
Decentralized Online Big Data Classification - a Bandit Framework
University of California, Los Angeles（加州大学洛杉矶分校）
分布式、在线数据采掘系统的出现是由于需要分析由多个分布式数据源产生的大量相关和高维数据的应用。我们提出了一个分布式的在线数据分类框架，其中的数据是由分布式数据源收集和处理的一组异构的分布式学习者，在线学习，在运行时，如何分类不同的数据流，或者通过使用本地可用的分类功能，或通过帮助彼此分类对方的数据。重要的是，由于数据是在不同的位置收集的，因此将数据发送给另一个学习者进行处理会产生额外的成本，例如延迟，因此只有当从更好的分类中获得的好处超过成本时，这才是有益的。我们假设每个处理元素可用的分类函数是固定的，但它们对各种类型的传入数据的预测精度是未知的，并且可以随时间动态变化，因此它们需要在线学习。我们建模的问题的联合分类的分布式和异构的学习者从多个数据源作为一个分布式的上下文强盗问题，每个数据的特点是由一个特定的上下文。我们开发分布式在线学习算法，我们可以证明，他们有次线性遗憾。与分布式在线数据采掘中的先前工作相比，我们的工作是第一个提供分析遗憾的结果表征所提出的算法的性能。
2013-08-25 cs.LG cs.MA
DADAM: A Consensus-based Distributed Adaptive Gradient Method for Online Optimization
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Florida（佛罗里达大学）
诸如\textsc{Adagrad}、\textsc{Rmsprop}和\textsc{Adam}的基于自适应梯度的优化方法被广泛用于解决包括深度学习的大规模机器学习问题。在文献中已经提出了许多方案，旨在并行化它们，基于外围节点与中心节点的通信，但产生高的通信成本。为了解决这个问题，我们开发了一种新的共识为基础的分布式自适应矩估计方法（\textsc{Dadam}）在线优化的分散网络，使数据并行化，以及分散计算。该方法特别有用，因为它可以适应允许访问本地数据的设置。此外，在这项工作中建立的理论，它可以优于集中式自适应算法，为某些类别的损失函数中使用的应用程序。我们分析了所提出的算法的收敛特性，并提供了一个动态的遗憾界的收敛速度的自适应矩估计方法在随机和确定性设置。实验结果表明，\textsc{Dadam}工程也很好地在实践中，并媲美竞争在线优化方法。
2019-05-28 cs.LG math.OC stat.ML
Optimal Distributed Online Prediction using Mini-Batches
Microsoft Research（微软研究院）
在线预测方法通常呈现为在单个处理器上运行的串行算法。然而，在网络规模的预测问题的时代，它是越来越常见的情况下，遇到一个单一的处理器无法跟上输入到达的高速率。在这项工作中，我们提出了\emph{distributed mini-batch}算法，一种将许多串行基于梯度的在线预测算法转换为分布式算法的方法。我们证明了这种方法是渐近最优光滑凸损失函数和随机输入的遗憾界。此外，我们的分析明确考虑到在分布式环境中的节点之间的通信延迟。我们展示了如何使用我们的方法来解决密切相关的分布式随机优化问题，实现了多个处理器的渐近线性加速。最后，我们展示了我们的方法的优点在网络规模的在线预测问题。
2012-01-31 cs.DC cs.LG math.OC
Distributed Variational Inference for Online Supervised Learning
Contextual Robotics Institute（情境机器人研究所）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出一种可扩展的分布式概率推断算法，通过推导可分下界DELBO实现传感器网络单跳通信，设计在线DGVI算法处理流数据，并应用于多机器人概率地图构建。
2023-10-22 cs.LG cs.RO eess.SP
On Distributed Online Classification in the Midst of Concept Drifts
University of California（加州大学）
在这项工作中，我们分析了分布式在线学习算法在平稳和非平稳环境下的泛化能力。我们推导出界限的过度风险达到每个节点在一个连接的网络的学习者和研究的性能优势，扩散策略有超过个人的非合作处理。我们进行了大量的模拟来说明结果。
2013-01-01 cs.DC cs.LG cs.SI
Curvature-Independent Regret Bounds for Distributed Online Optimization on Hadamard Manifolds
Northeastern University（东北大学）
本文提出分布式黎曼在线梯度下降（D-ROGD）算法，在Hadamard流形上针对h-凸函数实现曲率无关的遗憾界，分别达到O(√T)和O(log T)的静态遗憾，并通过实验验证。
2026-09-15 cs.LG math.OC stat.ML
Byzantine-Robust Distributed Online Learning: Taming Adversarial Participants in An Adversarial Environment
Sun Yat-Sen University（中山大学）；George Mason University（乔治梅森大学）
该研究分析拜占庭攻击下的分布式在线学习，证明完全对抗环境中遗憾只能线性且紧，并提出在诚实损失 i.i.d. 时实现次线性随机遗憾的鲁棒动量算法。
2023-12-05 cs.DC cs.LG
Robust Online and Distributed Mean Estimation Under Adversarial Data Corruption
Purdue University（普渡大学）
我们研究了在线和分布式场景中存在对抗性数据攻击的鲁棒均值估计。在每一个时间步，网络中的每个代理都接收到一个可能被破坏的数据点，其中数据点最初是随机变量的独立和相同分布的样本。我们提出了在线和分布式算法的所有代理渐近估计的平均值。我们提供的误差界和收敛性的估计下，我们的算法的真均值。基于网络拓扑结构，我们进一步评估每个代理的收敛速度之间的权衡，将数据从邻居和学习只有本地的意见。
2022-09-17 cs.CR cs.LG cs.MA
Distributed Online System Identification for LTI Systems Using Reverse Experience Replay
Northeastern University（东北大学）
线性时不变系统的辨识在控制和强化学习中起着重要的作用。渐近和有限时间离线系统辨识在文献中得到了很好的研究。对于在线系统辨识，最近提出了随机梯度下降与反向经验重放（SGD-RER）的思想，其中数据序列存储在多个缓冲器中，并且随机梯度下降（SGD）更新在每个缓冲器中向后执行以打破数据点之间的时间依赖性。受此启发，我们研究了分布式在线系统辨识的LTI系统在多智能体网络。我们认为代理商是相同的LTI系统，网络的目标是通过利用代理商之间的通信来联合估计系统参数。我们提出了DSGD-RER，一个分布式的SGD-RER算法的变种，并从理论上描述了改进的估计误差相对于网络的大小。我们的数值实验证明，随着网络规模的增长，估计误差的减少。
2022-09-15 cs.LG cs.SY eess.SY
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Distributed Associative Memory via Online Convex Optimization
KCLIP, CIIPS, Department of Engineering, King’s College London, London WC2R 2LS, UK（KCLIP、CIIPS、工程系、伦敦国王学院，伦敦 WC2R 2LS，英国）；Communication Systems Department, EURECOM, 06904 Sophia Antipolis, France（通信系统部门、EURECOM、法国索菲亚抗皮斯，06904）；Intelligent Networked Systems Institute, Northeastern University London, London E1 8PH, UK（智能网络系统研究所、伦敦东北大学、伦敦 E1 8PH，英国）
针对分布式联想记忆问题，提出基于路由树通信的分布式在线梯度下降方法以协同优化各智能体本地记忆，并证明次线性遗憾且实验优于现有基线。
2025-09-26 cs.LG eess.SP
Distributed Autonomous Online Learning: Regrets and Intrinsic Privacy-Preserving Properties
Purdue University（普渡大学）；University of Waterloo（滑铁卢大学）
在线学习在处理海量数据方面越来越受欢迎。然而，在线学习的顺序性质需要集中式学习器来存储数据和更新参数。在本文中，我们考虑在线学习与{ \em分布式}数据源。自主学习器根据本地数据源更新本地参数，并定期与通信网络中的一小部分邻居交换信息。我们推导了强凸函数的遗憾界，推广了Ram et al.（2010）关于凸函数的工作。最重要的是，我们表明，我们的算法具有\emph{intrinsic}隐私保护属性，我们证明了隐私保护的充分必要条件在网络中。这些条件意味着，对于具有大于一的连通性的网络，恶意学习者无法重建其他学习者的子梯度（和敏感的原始数据），这使得我们的算法在隐私敏感的应用程序中具有吸引力。
2011-02-04 cs.AI cs.LG
Ensemble of Distributed Learners for Online Classification of Dynamic Data Streams
UCLA（加州大学洛杉矶分校）
我们提出了一个有效的分布式在线学习计划，从分布式，异构和动态数据源捕获的数据进行分类。我们的方案由多个分布式本地学习器组成，这些学习器分析与需要分类的共同事件相关的不同数据流。每个学习器使用局部分类器进行局部预测。然后，每个学习器收集局部预测，并使用加权多数规则组合以输出最终预测。我们提出了一种新的在线集成学习算法来更新聚合规则，以适应底层的数据动态。我们严格确定我们的算法，这取决于最好的静态聚集规则的误分类概率的最坏情况下的误分类概率的界限，和最好的本地分类。重要的是，我们的算法的最坏情况下的误分类概率渐近趋于0，如果最好的静态聚集规则的误分类概率或最好的局部分类器的误分类概率趋于0。然后，我们扩展我们的算法，以解决特定的分布式实现的挑战，我们证明了新的界限，适用于这些设置。最后，我们测试我们的计划进行评估研究的几个数据集。当应用到广泛使用的文献处理动态数据流和概念漂移的数据集，我们的计划表现出的性能增益范围从34%到71%的最先进的解决方案。
2013-08-24 cs.LG
Distributed Online Linear Quadratic Control for Linear Time-invariant Systems
Texas A&M University（得克萨斯农工大学）
经典的线性二次（LQ）控制围绕线性时不变（LTI）系统，其中控制状态对引入时不变参数的二次成本。在线优化和控制的最新进展提供了新的工具来研究LQ问题是鲁棒的时变成本参数。受这一研究思路的启发，我们研究了相同LTI系统的分布式在线LQ问题。考虑一个多智能体网络，其中每个智能体都被建模为一个LTI系统。的LTI系统是与解耦，随时间变化的二次成本，揭示顺序。该网络的目标是使所有代理的控制序列与事后看来最好的集中式策略竞争，这是由后悔的概念捕获的。我们开发了一个分布式的在线LQ算法的变体，它运行分布式在线梯度下降与投影到一个半定规划（SDP）生成控制器。我们建立了一个遗憾界缩放的平方根的有限时间范围，这意味着代理达成共识，随着时间的增长。我们进一步提供了数值实验验证我们的理论结果。
2020-09-29 cs.LG cs.SY eess.SY
Distributed dual vigilance fuzzy adaptive resonance theory learns online, retrieves arbitrarily-shaped clusters, and mitigates order dependence
Missouri University of Science and Technology（密苏里科技大学）
提出了一种新的基于自适应共振理论（ART）的无监督学习模块化结构，即分布式双警戒模糊ART（DDVFA）。DDVFA由一个全局ART系统组成，其节点是局部模糊ART模块。它配备了分布式高阶激活和匹配功能的显着特点，使用双警戒参数负责聚类相似性和数据量化。总之，这些允许DDVFA执行无监督的模块化，创建多原型聚类表示，检索任意形状的集群，并控制其紧凑性。另一个重要的贡献是减少了顺序依赖，这是一个影响任何凝聚聚类方法的问题。本文演示了两种方法来减轻订单依赖：预处理使用聚类趋势的视觉评估（VAT）或后处理使用一种新的合并ART模块。前者适用于批处理，后者适用于在线学习。在30个基准数据集上进行的在线学习模式下的实验结果表明，当样本随机呈现时，DDVFA与Merge ART级联在统计上优于其他基于ART的系统。相反，当使用VAT预处理样本时，发现它们在离线模式下具有统计学等效性。值得注意的是，性能比较非ART为基础的聚类算法表明，DDVFA（增量学习）也是统计等效的非增量（离线）方法DBSCAN，单链接层次凝聚聚类（HAC），和k均值，同时保留吸引人的属性ART。链接到源代码和数据提供。考虑到算法的简单性，在线学习能力和性能，它是许多凝聚聚类应用的理想选择。
2018-11-28 cs.LG cs.NE stat.ML
Distributed Online Convex Optimization with Time-Varying Coupled Inequality Constraints
KTH Royal Institute of Technology（KTH皇家理工学院）；Nanyang Technological University（南洋理工大学）
研究了具有时变耦合不等式约束的分布式在线优化问题。全局目标函数由局部凸代价函数和正则化函数组成，耦合约束函数由局部凸函数和构成。提出了一种分布式在线原始-对偶动态镜像下降算法来解决这个问题，该算法的局部代价、正则化和约束函数都是私有的，并且只在每个时隙后才显示。在不假设斯莱特的条件下，我们首先推导出后悔和约束违反边界的算法，并显示它们如何依赖于步长序列，累积的动态变化的比较器序列，代理的数量，和网络的连通性。结果表明，在某些自然递减步长序列下，如果最优序列的累积动态变化也呈次线性增长，则算法达到次线性动态后悔和约束违反.我们还证明了该算法实现次线性静态遗憾和约束违反温和的条件下。假设斯莱特的条件下，我们表明，该算法实现了更小的界限上的约束违反。此外，当目标函数是强凸的时，静态后悔的边界更小。最后，通过数值模拟验证了理论结果的有效性。
2019-06-05 cs.DC cs.LG math.OC
Locally Differentially Private Distributed Online Learning with Guaranteed Optimality
Clemson University（克莱姆森大学）
本文提出一种局部差分隐私分布式在线学习方法，利用在线学习特性在无限时间跨度下同时保证学习精度与有限累积隐私预算，并通过机器学习任务验证了其有效性。
2024-08-23 cs.CR cs.LG cs.MA
Distributed Private Online Learning for Social Big Data Computing over Data Center Networks
Huazhong University of Science & Technology（华中科技大学）；Peking University（北京大学）；Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
随着互联网技术的快速发展，云计算和社交网络已经变得无处不在。越来越多的人参与到社交网络中，获得了大量的在线社交数据。为了从获取的大量数据中挖掘知识，预测用户的社会行为，迫切需要在社交网络中实现数据采掘。几乎所有的在线网站都使用云服务来有效地处理从分布式数据中心收集的大规模社交数据。这些数据是如此的大规模，高维和广泛分布，我们提出了一个分布式稀疏在线算法来处理它们。此外，隐私保护是社交网络中的一个重要问题。我们不应该损害网络中个人的隐私，而这些社会数据正在为数据采掘而学习。因此，本文也考虑了隐私问题。我们的模拟结果表明，适当的稀疏数据将提高我们的算法的性能和隐私保护的方法并没有显着损害所提出的算法的性能。
2016-02-21 cs.DC cs.LG cs.SI
DeepAuditor: Distributed Online Intrusion Detection System for IoT devices via Power Side-channel Auditing
William & Mary（威廉与玛丽学院）；Old Dominion University（欧道明大学）
随着物联网设备数量的迅速增加，物联网僵尸网络已经利用了物联网设备的漏洞。然而，在大规模攻击之前检测物联网设备上的初始入侵仍然具有挑战性。最近的研究利用电源侧信道信息来识别物联网设备上的这种入侵行为，但仍然缺乏用于无处不在的僵尸网络检测的实时准确模型。我们提出了第一个在线入侵检测系统，称为DeepAuditor，用于通过电源审计的物联网设备。为了开发实时系统，我们提出了一个轻量级的电力审计设备称为电力审计。我们还设计了一个分布式CNN分类器，用于实验室环境中的在线推理。为了防止数据泄漏和减少网络冗余，我们提出了一个隐私保护的推理协议，通过压缩同态加密和滑动窗口协议在我们的系统。的分类精度和处理时间进行了测量，所提出的分类器优于基线分类器，特别是对看不见的模式。我们还证明了分布式CNN设计对任何分布式组件都是安全的。总的来说，这些测量结果表明了我们的实时分布式系统在物联网设备上进行入侵检测的可行性。
2022-05-10 cs.CR cs.LG
Distributed Online Convex Optimization with Compressed Communication: Optimal Regret and Applications
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文研究了在压缩通信下分布式在线凸优化问题，提出最优算法，解决了压缩误差与投影误差之间的耦合问题，并在非光滑优化中提供了首次保证。
2026-04-10 cs.LG
Online Distributed Learning with Quantized Finite-Time Coordination
Digital Futures, KTH Royal Institute of Technology（KTH皇家理工学院数字未来中心）
本文针对无中央服务器的在线分布式学习场景，提出一种基于量化有限时间协调协议的分布式算法，支持本地随机梯度训练，并从与在线解的平均距离角度分析性能，通过逻辑回归实验验证其有效性。
2023-08-31 cs.DC cs.LG math.OC
Online Learning for Wireless Distributed Computing
University of Southern California（南加州大学）；General Motors Global R&D（通用汽车全球研发中心）
对无线分布式计算（WDC）的兴趣日益增长，WDC利用多个无线设备上的协作计算。WDC支持单个设备无法单独支持的复杂应用程序。然而，考虑到资源可用性和信道条件由于移动性和其他因素而以不可预测的方式随时间变化，在现实世界设置中遇到的动态环境中，在多个设备上分配任务的问题变得具有挑战性。在本文中，我们制定了一个任务分配问题作为一个在线学习问题，使用一个对抗性的多臂强盗框架。我们提出MABSTA，一种新的在线学习算法，学习未知的设备和信道质量的性能不断通过探索性探测，并利用获得的知识，使任务分配决策。为了获得最大的适应性，MABSTA被设计为对环境没有随机假设。我们对其进行数学分析，并为任何动态环境提供最坏情况下的性能保证。我们还将其与最佳离线策略以及其他基线进行了比较，通过对从无线物联网测试平台获得的跟踪数据进行仿真，并表明它在所有情况下都具有竞争力和强大的性能。据我们所知，MABSTA是第一个在线算法在这一领域的任务分配问题，并提供可证明的性能保证。
2016-11-09 cs.LG
Anytime MiniBatch: Exploiting Stragglers in Online Distributed Optimization
University of Toronto（多伦多大学）；Wayne State University（韦恩州立大学）
分布式优化在解决大规模机器学习问题中至关重要。分布式优化技术的一个广泛共享的特征是要求所有节点在每个计算时期完成其分配的任务，然后系统才能继续进行到下一个时期。在这样的环境中，被称为掉队者的慢节点会大大减缓进展。为了减轻掉队者的影响，我们提出了一种在线分布式优化方法称为Anytime Minibatch。在这种方法中，所有节点都有一个固定的时间来计算尽可能多的数据样本的梯度。结果是每个节点的minibatch大小可变。然后，工作人员获得固定的通信时间，通过几轮共识来平均他们的小批量梯度，然后通过双重平均来更新原始变量。任何时候Minibatch都可以防止掉队者阻碍系统，而不会浪费掉队者可以完成的工作。我们提出了一个收敛性分析和分析壁时间性能。我们的数值结果表明，我们的方法在Amazon EC2中快了1.5倍，当计算节点性能变化较大时，速度快了5倍。
2020-06-10 cs.DC cs.LG math.OC
Regret Analysis of Distributed Online LQR Control for Unknown LTI Systems
Northeastern University（东北大学）
在线优化最近开辟了途径，研究最优控制的时变费用函数是事先未知的。受此启发，我们研究了动态未知的线性时不变（LTI）系统的分布式在线线性二次型调节器（LQR）问题。考虑一个多智能体网络，其中每个智能体都被建模为一个LTI系统。该网络具有全局时变二次成本，可以逆向演化，并且每个代理只能部分地顺序观察。该网络的目标是共同（i）估计未知的动态和（ii）计算本地控制序列竞争的最佳集中式政策在事后，这最小化网络成本随时间的总和。这个问题被公式化为后悔最小化。我们提出了一个分布式的在线LQR算法的变体，代理计算他们的系统估计在探索阶段。然后，每个代理应用分布式在线梯度下降的半定规划（SDP）的可行集是基于代理系统的估计。我们证明了我们提出的算法的遗憾界的比例为$O(T^{2/3}\log T)$，这意味着随着时间的推移，所有代理的共识的概率很高。我们还提供了仿真结果验证我们的理论保证。
2022-02-06 cs.LG cs.SY eess.SY
GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online Optimization
University of Bologna（博洛尼亚大学）
本文提出GTAdam分布式在线优化算法，结合梯度跟踪与一阶和二阶动量估计，在强凸条件下证明动态遗憾上界并保证静态线性收敛，多智能体实验验证其优于现有方法。
2023-09-12 cs.DC cs.LG math.OC
Lightweight Distributed Gaussian Process Regression for Online Machine Learning
Pennsylvania State University（宾夕法尼亚州立大学）
本文针对多智能体通过流式数据协作学习共同潜在函数的问题，提出一种轻量级分布式高斯过程回归算法，通过本地预测、协作全局预测与结果融合，证明有限通信能在帕累托意义上提升学习性能。
2023-07-10 cs.LG cs.MA
Distributed Online Submodular Maximization under Communication Delays: A Simultaneous Decision-Making Approach
University of Michigan（密歇根大学）
本文提出分布式在线贪心算法DOG，解决通信延迟下的子模优化问题，通过结合对抗性带宽学习与延迟反馈，在任意网络拓扑中实现同时决策，分析协调性能与收敛时间的权衡。
2026-08-14 cs.LG cs.MA cs.SY
Distributed Online Convex Optimization with Nonseparable Costs and Constraints
Department of Systems Engineering, City University of Hong Kong（系统工程系，香港城市大学）；Department of Electrical and Computer Engineering, New York University（电气计算机工程系，纽约大学）；Department of Civil and Urban Engineering, New York University（土木与城市工程系，纽约大学）；Department of Civil Engineering Technology and Environmental Management Safety, Rochester Institute of Technology（土木工程科技与环境管理安全系，罗切斯特理工学院）
本文提出了一种分布式在线对偶信念共识算法，解决了非分离全局成本和约束下的分布式在线凸优化问题，实现了 sublinear 悔恨和累积约束违规界。
2026-02-17 cs.LG math.OC
Distributed Online Linear Regression
The Australian National University（澳大利亚国立大学）；Nanjing University of Science and Technology（南京理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；The University of Sydney（悉尼大学）
我们在分布式环境中研究在线线性回归问题，其中数据分布在网络上。在每一轮中，每个网络节点提出线性预测器，其目的是拟合\emph{network-wide}数据。然后，它根据接收到的本地反馈和从相邻节点接收到的信息更新其预测器用于下一轮。通过后悔的概念来评估在给定节点处做出的预测，后悔的概念被定义为它们的累积网络范围平方误差与最佳离线网络范围线性预测器的累积网络范围平方误差之间的差。各种情况下进行了调查，根据本地反馈的性质（充分的信息或强盗反馈），对可用的预测集（决策集），以及数据的生成方式（由一个不经意的或自适应的对手）。我们提出了简单而自然的分布式回归算法，涉及到，在每个节点和每一轮，一个本地的梯度下降步骤和通信和平均步骤，节点的目的是对齐他们的预测他们的邻居。当决策集是无界的时，我们在${\cal O}(T^{3/4})$中建立了后悔上界，当决策集是有界的时，我们在${\cal O}(\sqrt{T})$中建立了后悔上界。
2019-02-13 cs.DC cs.LG math.OC
