Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Robust Distributed Online Prediction
Microsoft Research（微软研究院）
在线预测的标准模型是通过单个处理器对输入进行串行处理。然而，在大规模在线预测问题中，输入以高速率到达，越来越常见的必要性是将计算分布在多个处理器上。一个不平凡的挑战是设计分布式算法在线预测，保持良好的遗憾保证。在\cite{DMB}中，我们提出了DMB算法，这是一个通用的框架，可以将任何串行的基于梯度的在线预测算法转换为分布式算法。而且，对于光滑凸损失函数和随机输入，它的后悔保证是渐近最优的。另一方面，它对分布式环境中常见的许多类型的故障都很脆弱。在这篇配套论文中，我们提出了DMB算法的变体，它对许多类型的网络故障有弹性，并能容忍计算节点的不同性能。
2010-12-07 cs.LG math.OC
A Survey on Distributed Online Optimization and Game
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）
分布式在线优化和博弈在过去十年中得到了越来越多的研究，主要是由于其在传感器网络，机器人（例如，分布式目标跟踪和编队控制）、智能电网、深度学习等等。在这些问题中，有一个可以合作的代理网络（即，分布式在线优化）或非协作（即，网络游戏，通过信息交流。在动态甚至对抗环境中，每个代理的局部成本函数往往是时变的。每一次，决策必须由每个代理人根据手头的历史信息做出，而不知道成本函数的未来信息。对于这些问题，目前还缺乏一个全面的调查。本文旨在从问题设置、通信、计算、算法和性能的角度对分布式在线优化和博弈进行全面的概述。此外，还讨论了一些潜在的未来发展方向。
2023-01-21 cs.LG math.OC
Asynchronous Distributed Gaussian Process Regression for Online Learning and Dynamical Systems: Complementary Document
Technical University of Munich (TUM)（慕尼黑工业大学）；School of Computation, Information and Technology (CIT)（计算、信息与技术学院）
本文为异步分布式高斯过程回归用于在线学习与动力系统的论文提供补充说明。
2024-12-16 cs.LG cs.SY eess.SY
Online Distributed Estimation of Principal Eigenspaces
University of Florida（佛罗里达大学）
主成分分析（PCA）是一种应用广泛的降维技术。本文提出了一种在线分布式主特征空间恢复算法。我们进一步建立它的收敛速度，并显示它如何涉及到分布式计算中使用的节点数，所考虑的数据矩阵的有效秩，以及底层人口协方差阵的频谱中的差距。所提出的算法说明低秩近似和$\boldsymbol{k}$均值聚类任务。数值结果表明，一个显着的计算速度比标准的分布式PCA算法，而不影响学习精度。
2019-05-17 cs.LG stat.ML
Centralized and distributed online learning for sparse time-varying optimization
在过去的几年里，在线算法的发展，以跟踪时变系统引起了很多关注，特别是在在线凸优化的框架。同时，稀疏时变优化已经成为一个强大的工具，以处理广泛的应用，从动态压缩传感到简约系统辨识。在大多数关于稀疏时变问题的文献中，假设系统演化的一些先验信息是可用的。相比之下，在本文中，我们提出了一种在线学习方法，它不使用给定的模型，适用于对抗框架。具体来说，我们开发集中式和分布式算法，我们从理论上分析他们的动态遗憾，在网上学习的角度来看。此外，我们提出了数值实验，说明其实际有效性。
2020-01-31 cs.LG math.OC
Wide and Deep Graph Neural Networks with Distributed Online Learning
University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）
图神经网络（GNN）从具有自然分布式架构的网络数据中学习表示，使其非常适合分散式学习。通常情况下，这种分散的图支持由于链路故障或拓扑变化而随时间变化。这些变化在GNN训练的图形和测试的图形之间造成了不匹配。在线学习可用于在测试时重新训练GNN，从而克服这个问题。然而，大多数在线算法都是集中式的，并且处理凸问题（GNN很少导致凸问题）。本文提出了宽和深GNN（WD-GNN），一种新的架构，可以很容易地更新与分布式在线学习机制。WD-GNN由两部分组成：宽部分是一组线性图滤波器，深部分是GNN。在训练时，联合架构从数据中学习非线性表示。在测试时，深度部分（非线性）保持不变，而宽部分在线重新训练，导致凸问题。我们得到收敛保证这个在线再培训过程，并进一步提出了一个分散的替代方案。群集机器人群体控制的实验证实了理论和分布式在线学习的建议架构的潜力。
2020-10-24 cs.LG stat.ML
Decentralized Online Big Data Classification - a Bandit Framework
University of California, Los Angeles（加州大学洛杉矶分校）
分布式、在线数据采掘系统的出现是由于需要分析由多个分布式数据源产生的大量相关和高维数据的应用。我们提出了一个分布式的在线数据分类框架，其中的数据是由分布式数据源收集和处理的一组异构的分布式学习者，在线学习，在运行时，如何分类不同的数据流，或者通过使用本地可用的分类功能，或通过帮助彼此分类对方的数据。重要的是，由于数据是在不同的位置收集的，因此将数据发送给另一个学习者进行处理会产生额外的成本，例如延迟，因此只有当从更好的分类中获得的好处超过成本时，这才是有益的。我们假设每个处理元素可用的分类函数是固定的，但它们对各种类型的传入数据的预测精度是未知的，并且可以随时间动态变化，因此它们需要在线学习。我们建模的问题的联合分类的分布式和异构的学习者从多个数据源作为一个分布式的上下文强盗问题，每个数据的特点是由一个特定的上下文。我们开发分布式在线学习算法，我们可以证明，他们有次线性遗憾。与分布式在线数据采掘中的先前工作相比，我们的工作是第一个提供分析遗憾的结果表征所提出的算法的性能。
2013-08-25 cs.LG cs.MA
Distributed Low-Rank Estimation Based on Joint Iterative Optimization in Wireless Sensor Networks
University of York（约克大学）；PUC-Rio（里约热内卢天主教大学）；Princeton University（普林斯顿大学）
提出了一种新的分布式降秩算法和一种自适应分布式估计算法。建议的分布式方案是基于一个变换，在网络的每个代理进行降维，然后由一个降维参数向量。提出了一种分布式降秩联合迭代估计算法，与现有技术相比，该算法能够显著降低通信开销，提高估计性能。仿真结果表明，所提出的策略在收敛速度和均方误差性能方面的优势。
2014-11-05 cs.IT cs.LG math.IT
Incremental learning with online SVMs on LiDAR sensory data
The University of Nottingham, Malaysia Campus（诺丁汉大学马来西亚校区）
管道输送系统是能源工业中存在已久的一个发展方向。管道维护服务的成本一直是该行业关注的焦点。通常，探测方法（例如，磁通量泄漏和涡流）将为每个管道里程碑建立固定的传感器，或者携带传感器在管道内移动。由于大量的传感器，这使得维护过程非常困难。解决方案之一是实施机器学习技术来分析传感数据。虽然SVM可以通过内核技巧解决这个问题，但问题是计算内核也取决于数据大小。这是因为如果支持向量的数量变得非常大，则该过程可能会很快被夸大。特别是LiDAR以极快的速度旋转，输入数据的流动最终可能导致大规模的扩张。在我们提出的方法中，每个样本都是以即时的方式学习的，同时计算支持的内核。在这项研究中，增量学习方法与在线支持向量机（SVMs），旨在处理激光雷达传感器数据。
2020-12-30 cs.LG eess.SP
Multi-frequency calibration for DOA estimation with distributed sensors
Mines Paristech（巴黎高等矿业学院）；Safran Electronics and Defense（赛峰电子与防务公司）；Paris-Nanterre University（巴黎楠泰尔大学）；University of Lille（里尔大学）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）
在这项工作中，我们调查的方向发现存在的传感器增益的不确定性和方向扰动的传感器阵列处理在多频率的情况下。具体地说，我们采用了一种分布式优化方案，其中纳入了一致性模型，本地代理只在网络中连接的节点之间交换信息，即，没有融合中心。数值模拟突出了所提出的并行迭代技术在统计和计算效率方面的优势。
2020-02-24 cs.LG eess.SP stat.ML
Data-Driven Distributed State Estimation and Behavior Modeling in Sensor Networks
College of Information Sciences and Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）；School of Electrical Engineering and Computer Science, Pennsylvania State University（宾夕法尼亚州立大学电气与计算机科学学院）
如今，传感器网络的普及已经使得能够跟踪动态对象的状态，用于从自动驾驶到环境监测和城市规划的广泛应用。然而，跟踪现实世界的对象往往面临着两个关键的挑战：第一，由于单个传感器的限制，状态估计需要以协作和分布式的方式解决。第二，对象的运动行为是未知的，并且需要使用传感器观察来学习。在这项工作中，第一次，我们正式制定的问题，同时状态估计和行为学习的传感器网络。然后，我们提出了一个简单而有效的解决方案，这个新问题的高斯过程为基础的贝叶斯过滤器（GP贝叶斯过滤器）的在线，分布式设置。利用合成数据和多机器人平台采集的数据对未知运动行为的目标进行跟踪，验证了该方法的有效性。
2020-09-24 cs.LG cs.RO
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
遗憾已被广泛采用的分布式，多智能体系统的在线优化算法的性能评估的选择度量。然而，与代理相关的数据/模型变化可能会显著影响决策，并需要代理之间的共识。此外，大多数现有的工作都集中在开发方法（无论是强或非强）凸损失，并已获得很少的结果，在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题，我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式，我们开发了一个基于共识的在线归一化梯度（CONGD）方法的伪凸损失，它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失，我们首先阐明了遗憾的设置分布式在线非凸学习的基础上，最近的进展，没有确定性算法可以实现次线性遗憾。然后，我们开发了分布式在线非凸优化与复合遗憾（DINOCO）没有访问的梯度，依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知，这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
Optimal Distributed Online Prediction using Mini-Batches
Microsoft Research（微软研究院）
在线预测方法通常呈现为在单个处理器上运行的串行算法。然而，在网络规模的预测问题的时代，它是越来越常见的情况下，遇到一个单一的处理器无法跟上输入到达的高速率。在这项工作中，我们提出了\emph{distributed mini-batch}算法，一种将许多串行基于梯度的在线预测算法转换为分布式算法的方法。我们证明了这种方法是渐近最优光滑凸损失函数和随机输入的遗憾界。此外，我们的分析明确考虑到在分布式环境中的节点之间的通信延迟。我们展示了如何使用我们的方法来解决密切相关的分布式随机优化问题，实现了多个处理器的渐近线性加速。最后，我们展示了我们的方法的优点在网络规模的在线预测问题。
2012-01-31 cs.DC cs.LG math.OC
Bandwidth-efficient distributed neural network architectures with application to body sensor networks
KU Leuven（鲁汶大学）；Leuven.AI - KU Leuven institute for AI（鲁汶大学人工智能研究所）
在本文中，我们描述了一个概念设计方法来设计分布式神经网络架构，可以在传感器网络的通信带宽的限制进行有效的推理。不同的传感器信道分布在多个传感器设备上，这些传感器设备必须通过带宽有限的通信信道交换数据以解决例如，分类任务。我们的设计方法从一个用户定义的集中式神经网络，并将其转换成一个分布式架构中的通道分布在不同的节点。分布式网络由两个并联支路组成，其输出在融合中心进行融合。第一个分支收集分类结果从本地，节点特定的分类器，而第二个分支压缩每个节点的信号，然后重建多通道的时间序列在融合中心的分类。我们进一步提高带宽增益动态激活压缩路径时，本地分类不足以。我们验证了这种方法在一个模拟的EEG传感器网络的电机执行任务，并分析了由此产生的带宽精度权衡。我们的实验表明，所提出的框架，使高达20倍的带宽减少，最小的损失（高达2%）的分类精度相比，集中的基线上演示电机执行任务。所提出的方法提供了一种方法来顺利地转换一个集中式架构的分布式，带宽效率的网络适合低功耗传感器网络。虽然本文的应用重点是可穿戴脑机接口，所提出的方法可以应用于其他传感器网络类应用程序以及。
2022-10-14 cs.LG cs.NI eess.SP
Distributed Learning in Wireless Sensor Networks
在无线传感器网络等应用中的分布式或分散式检测和估计问题通常被认为是在参数模型的框架中，其中对自然的统计描述进行了强有力的假设。在某些应用中，这样的假设是有道理的，从这些模型设计的系统显示出希望。然而，在其他情况下，先验知识充其量是模糊的，将这种知识转化为统计模型是不可取的。应用程序，如这些铺平了道路，分布式检测和估计的非参数研究。在本文中，我们回顾了作者最近的工作，其中一些基本模型的分布式学习被认为是。这些模型符合非参数统计学经典工作的精神，适用于无线传感器网络。
2005-03-26 cs.IT cs.LG math.IT
A Method for Robust Online Classification using Dictionary Learning: Development and Assessment for Monitoring Manual Material Handling Activities Using Wearable Sensors
University of Southern California（南加州大学）；Texas A&M University（得克萨斯农工大学）；Virginia Tech（弗吉尼亚理工大学）
基于稀疏估计的分类方法在处理图像等高维数据方面具有很好的效果，近年来受到了广泛的关注。在本文中，提出了一种方法，以提高性能的稀疏表示分类（SRC）的方法，然后将其应用到人类工人的在线过程监控的问题，特别是手动材料处理（MMH）操作使用可穿戴传感器（涉及111个传感器通道）监测。我们提出的方法优化的设计矩阵（又名字典）的线性模型用于SRC，最大限度地减少其不适定性，以实现稀疏的解决方案。这个过程基于字典学习（DL）的思想：我们优化由训练数据集形成的设计矩阵，以最大限度地减少冗余和一致性，并减少这些数据集的大小。使用这种优化的训练数据可以随后提高分类精度，并有助于减少SRC所需的计算时间;因此，它更适用于在线过程监控。所提出的方法的性能证明使用可穿戴传感器从手动材料处理实验获得的数据，并被发现优于基准方法的准确性，同时也需要适当的MMH在线监测的计算时间。
2018-10-22 cs.LG stat.ME stat.ML
Graph Neural Network-Based Distributed Optimal Control for Linear Networked Systems: An Online Distributed Training Approach
Department of Electrical Engineering, University of Notre Dame（电气工程系，诺丁汉大学）；Department of Electrical and Computer Engineering, Stevens Institute of Technology（电气与计算机工程系，史蒂文斯理工学院）
本文针对线性网络化系统，提出基于图递归神经网络的分布式最优控制方法，将控制问题构建为自监督学习问题，并设计分布式在线训练优化器，同时给出闭环稳定性条件，通过数值仿真验证了方法有效性。
2025-07-22 cs.LG cs.SY eess.SY
Distributed dictionary learning over a sensor network
Ecole Centrale Lille（里尔中央理工学院）；INRIA Lille（里尔法国国家信息与自动化研究所）；University of Nice Sophia-Antipolis（尼斯索菲亚·安提波利斯大学）
我们考虑分布式字典学习的问题，其中一组节点需要从噪声测量中集体学习一个共同的字典。这种方法在包括传感器网络在内的几种情况下可能是有用的。扩散合作方案已被提出来解决分布式线性回归问题。在这项工作中，我们专注于一个基于扩散的自适应字典学习策略：每个节点记录的意见，并通过共享其本地字典与邻居合作。所得到的算法对应于分布式块坐标下降（交替优化）。除了字典学习，这种策略可以适用于许多矩阵分解问题，并推广到各种设置。本文介绍了我们的方法，并说明其效率的一些数值例子。
2013-04-12 cs.LG stat.AP stat.ML
Communication-Efficient Distributed Online Learning with Kernels
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Saarland University（萨尔大学）
我们提出了一个有效的分布式低延迟实时服务的在线学习协议。它扩展了以前提出的协议，以内核化的在线学习者，代表他们的模型的支持向量扩展。虽然这样的学习器通常比线性学习器实现更高的预测性能，但是对于大量的支持向量，传递支持向量扩展变得低效。所提出的扩展允许更大类的在线学习算法-包括那些通过模型压缩来缓解上述问题的算法。此外，我们通过引入一个新的标准，要求通信所遭受的损失有界的质量所提出的协议的特点。
2019-11-28 cs.DC cs.LG stat.ML
On Distributed Online Classification in the Midst of Concept Drifts
University of California（加州大学）
在这项工作中，我们分析了分布式在线学习算法在平稳和非平稳环境下的泛化能力。我们推导出界限的过度风险达到每个节点在一个连接的网络的学习者和研究的性能优势，扩散策略有超过个人的非合作处理。我们进行了大量的模拟来说明结果。
2013-01-01 cs.DC cs.LG cs.SI
GDTM: An Indoor Geospatial Tracking Dataset with Distributed Multimodal Sensors
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US DEVCOM Army Research Laboratory（美国DEVCOM陆军研究实验室）；Amazon（亚马逊）
本文提出GDTM，一个九小时的室内多模态跟踪数据集，采用分布式传感器与可重构布局，用于研究多模态融合架构优化及模型在不利条件和布局变化下的鲁棒性。
2024-02-21 cs.LG cs.RO eess.SP
Robust Online and Distributed Mean Estimation Under Adversarial Data Corruption
Purdue University（普渡大学）
我们研究了在线和分布式场景中存在对抗性数据攻击的鲁棒均值估计。在每一个时间步，网络中的每个代理都接收到一个可能被破坏的数据点，其中数据点最初是随机变量的独立和相同分布的样本。我们提出了在线和分布式算法的所有代理渐近估计的平均值。我们提供的误差界和收敛性的估计下，我们的算法的真均值。基于网络拓扑结构，我们进一步评估每个代理的收敛速度之间的权衡，将数据从邻居和学习只有本地的意见。
2022-09-17 cs.CR cs.LG cs.MA
ON-Traffic: An Operator Learning Framework for Online Traffic Flow Estimation and Uncertainty Quantification from Lagrangian Sensors
Eindhoven University of Technology（埃因霍温理工大学）
本文提出 ON-Traffic 深度算子网络与滚动时域学习框架，利用移动探测车辆数据和下游边界输入实现在线时空交通状态估计及不确定性量化。
2025-03-18 cs.AI cs.LG cs.SY
Machine Learning For Distributed Acoustic Sensors, Classic versus Image and Deep Neural Networks Approach
FH Kaernten（克恩藤应用科学大学）
基于光纤的分布式声传感技术是管道监测和保护的一项新技术。在这项工作中，我们应用并比较了两种使用DAS进行事件检测的方法：经典的机器学习方法和基于图像处理和深度学习的方法。虽然这两种方法都可以实现可接受的性能，但初步结果表明，基于图像的深度学习是更有前途的方法，事件检测延迟降低了六倍，执行时间降低了十二倍。
2019-04-25 cs.LG cs.SD eess.AS
Finite Sample Guarantees for Distributed Online Parameter Estimation with Communication Costs
Purdue University（普渡大学）
我们研究的问题，估计一个未知的参数在一个分布式和在线的方式。现有的分布式在线学习的工作通常集中在渐近分析，或提供遗憾的界限。然而，在有限数量的时间步长之后，这些结果可能不会直接转化为学习模型的误差界限。在本文中，我们提出了一个分布式在线估计算法，使网络中的每个代理，以提高其估计精度与邻居进行通信。我们提供的估计误差的非渐近界，利用底层模型的统计特性。我们的分析表明，估计误差和通信成本之间的权衡。此外，我们的分析允许我们确定通信可以停止的时间（由于与通信相关联的成本），同时满足期望的估计精度。我们还提供了一个数值例子来验证我们的结果。
2022-09-12 cs.LG cs.SY eess.SY
Distributed Online Linear Quadratic Control for Linear Time-invariant Systems
Texas A&M University（得克萨斯农工大学）
经典的线性二次（LQ）控制围绕线性时不变（LTI）系统，其中控制状态对引入时不变参数的二次成本。在线优化和控制的最新进展提供了新的工具来研究LQ问题是鲁棒的时变成本参数。受这一研究思路的启发，我们研究了相同LTI系统的分布式在线LQ问题。考虑一个多智能体网络，其中每个智能体都被建模为一个LTI系统。的LTI系统是与解耦，随时间变化的二次成本，揭示顺序。该网络的目标是使所有代理的控制序列与事后看来最好的集中式策略竞争，这是由后悔的概念捕获的。我们开发了一个分布式的在线LQ算法的变体，它运行分布式在线梯度下降与投影到一个半定规划（SDP）生成控制器。我们建立了一个遗憾界缩放的平方根的有限时间范围，这意味着代理达成共识，随着时间的增长。我们进一步提供了数值实验验证我们的理论结果。
2020-09-29 cs.LG cs.SY eess.SY
EON-1: A Brain-Inspired Processor for Near-Sensor Extreme Edge Online Feature Extraction
imec（荷蘭校際微電子研究中心）；University of Twente（特温特大学）；Technical University of Delft（代尔夫特理工大学）；Maastricht University（马斯特里赫特大学）；CNRS（法国国家科学研究中心）
针对边缘AI设备端在线学习开销大的问题，提出类脑处理器EON-1，集成脉冲神经网络实现近传感器在线特征提取，学习能耗开销仅1%且保持推理精度，支持实时低延迟处理高清流视频。
2024-06-25 cs.AI cs.ET cs.LG
