MOANOFS: Multi-Objective Automated Negotiation based Online Feature Selection System for Big Data Classification
REsearch Groups in Intelligent Machines（智能机器研究组）；University of Sfax（斯法克斯大学）；ENIS（斯法克斯国立工程师学院）
特征选择在学习和分类任务中起着重要的作用。FS的目的是选择相关的和非冗余的功能。由于实际应用中特征数量巨大，采用批量学习技术的FS方法无法解决大数据问题，特别是当数据顺序到达时。在本文中，我们提出了一个在线特征选择系统，解决了这个问题。更具体地说，我们把在线监督的二进制分类的特征选择的问题作为一个决策问题。这个问题的哲学视野导致两个重要领域之间的杂交：特征选择使用在线学习技术（OFS）和自动协商（AN）。提出的OFS系统称为MOANOFS（多目标自动协商基于在线特征选择）使用两个层次的决策。在第一级中，从n个学习者（或OFS方法）中，我们决定哪些是k个可信的学习者（具有高置信度或信任值）。这些选出的k学习者将参加第二级。在这个层次上，我们整合我们提出的多边自动协商的OFS（MANOFS）方法，以决定最终哪个是最好的解决方案或相关功能。我们表明，MOANOFS系统是适用于不同的领域成功地实现了高精度与几个现实世界的应用。索引术语：特征选择、在线学习、多目标自动协商、信任、分类、大数据。
2019-06-18 cs.AI cs.CV cs.LG
Distributed Autonomous Online Learning: Regrets and Intrinsic Privacy-Preserving Properties
Purdue University（普渡大学）；University of Waterloo（滑铁卢大学）
在线学习在处理海量数据方面越来越受欢迎。然而，在线学习的顺序性质需要集中式学习器来存储数据和更新参数。在本文中，我们考虑在线学习与{ \em分布式}数据源。自主学习器根据本地数据源更新本地参数，并定期与通信网络中的一小部分邻居交换信息。我们推导了强凸函数的遗憾界，推广了Ram et al.（2010）关于凸函数的工作。最重要的是，我们表明，我们的算法具有\emph{intrinsic}隐私保护属性，我们证明了隐私保护的充分必要条件在网络中。这些条件意味着，对于具有大于一的连通性的网络，恶意学习者无法重建其他学习者的子梯度（和敏感的原始数据），这使得我们的算法在隐私敏感的应用程序中具有吸引力。
2011-02-04 cs.AI cs.LG
Uncertainty-Aware Selection of Online Algorithms with Simulator Ensembles
本文提出不确定性感知的模拟器集成选择方法，以缓解离线数据有限时Plug-In选择的不稳定性，并在理论上和机器人控制实验中证明其能提升在线强化学习的可靠性与性能。
2026-09-29 cs.AI cs.LG
Distributed Online Big Data Classification Using Context Information
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
分布式、在线数据采掘系统的出现是由于需要分析由多个分布式数据源产生的大量相关和高维数据的应用。我们提出了一个分布式的在线数据分类框架，其中的数据是由分布式数据源收集和处理的一组异构的分布式学习者，在线学习，在运行时，如何分类不同的数据流，或者通过使用本地可用的分类功能，或通过帮助彼此分类对方的数据。重要的是，由于数据是在不同的位置收集的，因此将数据发送给另一个学习者进行处理会产生额外的成本，例如延迟，因此只有当从更好的分类中获得的好处超过成本时，这才是有益的。我们建模的问题的联合分类的分布式和异构的学习者从多个数据源作为一个分布式的上下文强盗问题，每个数据的特点是由一个特定的上下文。我们开发了一个分布式的在线学习算法，我们可以证明次线性后悔。与分布式在线数据采掘中的先前工作相比，我们的工作是第一个提供分析遗憾的结果表征所提出的算法的性能。
2013-07-02 cs.LG stat.ML
Differentially Private Distributed Online Learning
Huazhong University of Science and Technology（华中科技大学）；Georgia Tech（佐治亚理工学院）
在线学习长期以来一直是机器学习社会的焦点。在大数据时代，要处理大量的数据，单个学习者无法有效地完成这项繁重的任务。因此，在本文中，我们提出了一种新的分布式在线学习算法来解决这个问题。与典型的集中式在线学习器相比，分布式学习器基于本地数据源优化自己的学习参数，并及时与邻居进行通信。然而，通信可能会导致隐私泄露。因此，我们使用差分隐私来保护学习者的隐私，并研究保证差分隐私对分布式在线学习算法效用的影响。此外，通过使用Kakade和Tewari（2009）的结果，我们使用在线学习的遗憾界限来实现分布式场景中离线学习算法的快速收敛速度，这提供了比现有最先进的结果更严格的效用性能。在仿真中，我们证明了差分私有离线学习算法具有较高的方差，但我们可以使用小批量来提高性能。最后，仿真结果表明，我们所提出的定理的分析结果是正确的，我们的私人分布式在线学习算法是一个通用的框架。
2015-06-23 cs.LG
Asynchronous Distributed Gaussian Process Regression for Online Learning and Dynamical Systems: Complementary Document
Technical University of Munich (TUM)（慕尼黑工业大学）；School of Computation, Information and Technology (CIT)（计算、信息与技术学院）
本文为异步分布式高斯过程回归用于在线学习与动力系统的论文提供补充说明。
2024-12-16 cs.LG cs.SY eess.SY
Robust Online and Distributed Mean Estimation Under Adversarial Data Corruption
Purdue University（普渡大学）
我们研究了在线和分布式场景中存在对抗性数据攻击的鲁棒均值估计。在每一个时间步，网络中的每个代理都接收到一个可能被破坏的数据点，其中数据点最初是随机变量的独立和相同分布的样本。我们提出了在线和分布式算法的所有代理渐近估计的平均值。我们提供的误差界和收敛性的估计下，我们的算法的真均值。基于网络拓扑结构，我们进一步评估每个代理的收敛速度之间的权衡，将数据从邻居和学习只有本地的意见。
2022-09-17 cs.CR cs.LG cs.MA
LOFS: Library of Online Streaming Feature Selection
University of South Australia（南澳大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Vermont（佛蒙特大学）
作为一个新兴的研究方向，在线流特征选择处理的是在一个特征空间中连续增加的维度，而数据实例的数量是固定的。在线流特征选择提供了一种新的、互补的算法方法来丰富在线特征选择，特别是针对大数据分析中的高维度。本文介绍了第一个在MATLAB中使用的全面的开源库，它实现了在线流特征选择的最新算法。该库旨在促进这一令人兴奋的研究方向的新算法的开发，并在新方法和现有方法之间进行比较。
2016-03-02 cs.LG stat.ML
Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Particle swarm optimization for online sparse streaming feature selection under uncertainty
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）
针对在线稀疏流式特征选择中特征-标签关系不确定和数据不完整问题，提出融合粒子群优化与三支决策的POS2FS框架，在六个真实数据集上验证其优于现有OSFS和OS2FS方法。
2025-08-24 cs.AI cs.LG cs.NE
Locally Differentially Private Distributed Online Learning with Guaranteed Optimality
Clemson University（克莱姆森大学）
本文提出一种局部差分隐私分布式在线学习方法，利用在线学习特性在无限时间跨度下同时保证学习精度与有限累积隐私预算，并通过机器学习任务验证了其有效性。
2024-08-23 cs.CR cs.LG cs.MA
Robust Distributed Online Prediction
Microsoft Research（微软研究院）
在线预测的标准模型是通过单个处理器对输入进行串行处理。然而，在大规模在线预测问题中，输入以高速率到达，越来越常见的必要性是将计算分布在多个处理器上。一个不平凡的挑战是设计分布式算法在线预测，保持良好的遗憾保证。在\cite{DMB}中，我们提出了DMB算法，这是一个通用的框架，可以将任何串行的基于梯度的在线预测算法转换为分布式算法。而且，对于光滑凸损失函数和随机输入，它的后悔保证是渐近最优的。另一方面，它对分布式环境中常见的许多类型的故障都很脆弱。在这篇配套论文中，我们提出了DMB算法的变体，它对许多类型的网络故障有弹性，并能容忍计算节点的不同性能。
2010-12-07 cs.LG math.OC
Lightweight Distributed Gaussian Process Regression for Online Machine Learning
Pennsylvania State University（宾夕法尼亚州立大学）
本文针对多智能体通过流式数据协作学习共同潜在函数的问题，提出一种轻量级分布式高斯过程回归算法，通过本地预测、协作全局预测与结果融合，证明有限通信能在帕累托意义上提升学习性能。
2023-07-10 cs.LG cs.MA
Online and Distributed learning of Gaussian mixture models by Bayesian Moment Matching
David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学大卫·R·切里顿计算机科学学院）
高斯混合模型是聚类和数据建模的经典技术，在许多应用中使用。随着大数据的兴起，需要能够处理流数据并将计算分布在多个处理器上的参数估计技术。虽然存在期望最大化（EM）算法的在线变体，但它们的数据效率因E步的随机近似而降低，并且不清楚如何将计算分布在多个处理器上。我们提出了一种贝叶斯学习技术，自然适合在线和分布式计算。由于贝叶斯后验是不听话的，我们将其投影到一个家庭听话的分布后，每个观察匹配一组足够的时刻。在一组数据建模基准上，这种贝叶斯矩匹配技术在时间和精度方面优于在线EM。
2016-09-19 cs.AI cs.LG stat.ML
A Survey on Distributed Online Optimization and Game
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）
分布式在线优化和博弈在过去十年中得到了越来越多的研究，主要是由于其在传感器网络，机器人（例如，分布式目标跟踪和编队控制）、智能电网、深度学习等等。在这些问题中，有一个可以合作的代理网络（即，分布式在线优化）或非协作（即，网络游戏，通过信息交流。在动态甚至对抗环境中，每个代理的局部成本函数往往是时变的。每一次，决策必须由每个代理人根据手头的历史信息做出，而不知道成本函数的未来信息。对于这些问题，目前还缺乏一个全面的调查。本文旨在从问题设置、通信、计算、算法和性能的角度对分布式在线优化和博弈进行全面的概述。此外，还讨论了一些潜在的未来发展方向。
2023-01-21 cs.LG math.OC
Online Feature Selection with Group Structure Analysis
Hefei University of Technology（合肥工业大学）；National University of Singapore（新加坡国立大学）
近年来，动态特征的在线选择引起了人们的广泛兴趣。然而，现有的在线特征选择方法单独评估特征，忽略了特征流的底层结构。例如，在图像分析中，特征是按组生成的，这些组表示颜色、纹理和其他视觉信息。在特征选择中简单地破坏组结构可能会降低性能。受此事实的启发，我们制定了一个在线组特征选择的问题。该问题假设特征是单独生成的，但在特征流中存在组结构。据我们所知，这是第一次，在特征流之间的相关性已被认为是在线特征选择过程。为了解决这个问题，我们开发了一种新的在线群体特征选择方法OGFS。我们提出的方法包括两个阶段：在线组内选择和在线组间选择。在组内选择中，我们设计了一个基于谱分析的标准来选择每个组中的鉴别特征。在组间选择中，我们利用线性回归模型来选择最佳子集。这个两阶段的过程继续，直到没有更多的功能到达或满足一些预定义的停止条件。%我们的方法已被应用最后，我们将我们的方法应用到多个任务，包括图像分类%，人脸验证和人脸验证。在真实世界和基准数据集上进行的大量实证研究表明，我们的方法优于其他最先进的在线特征选择%方法。
2016-08-21 cs.CV cs.LG stat.ML
Online Distributed Learning Over Networks in RKH Spaces Using Random Fourier Features
University of Athens（雅典大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
我们提出了一种新的扩散计划在线基于核的网络学习。到目前为止，任何在线学习算法的一个主要缺点，在再生核希尔伯特空间（RKHS）中操作，是需要更新越来越多的参数随着时间的迭代演变。除了复杂性之外，这还导致在分布式环境中对通信资源的需求增加。相比之下，所提出的方法使用随机傅立叶特征将解近似为固定大小的向量（比输入空间更大的维度）。这为使用标准的线性组合然后调整技术铺平了道路。据我们所知，这是第一次，一个完整的协议，在RKHS分布式在线学习。并给出了网络后悔的渐近收敛性和有界性条件。仿真实验验证了该方案的有效性。
2017-03-24 cs.LG
Distributed Online Learning with Multiple Kernels
University of Southern California（南加州大学）；Hanyang University（汉阳大学）
我们考虑的问题，学习一个非线性函数在一个网络的学习者在一个完全分散的方式。另外假设在线学习，其中每个学习者在本地接收连续流数据。这种学习模型被称为完全分布式在线学习（或完全分散式在线联邦学习）。针对该模型，我们提出了一种新的多核学习框架，称为DOMKL。建议的DOMKL是通过利用在线交替方向法的乘数和分布式对冲算法的原则。我们从理论上证明了DOMKL在T个时隙上可以实现最佳的次线性遗憾，这意味着网络中的每个学习者都可以学习一个共同的函数，该函数与事后的最佳函数之间的差距越来越小。我们的分析还表明，DOMKL产生了与最先进的集中式方法相同的渐近性能，同时保持边缘学习器的本地数据。通过对真实数据集的数值测试，我们证明了所提出的DOMKL在各种在线回归和时间序列预测任务上的有效性。
2021-02-26 cs.LG
Online Distributed Estimation of Principal Eigenspaces
University of Florida（佛罗里达大学）
主成分分析（PCA）是一种应用广泛的降维技术。本文提出了一种在线分布式主特征空间恢复算法。我们进一步建立它的收敛速度，并显示它如何涉及到分布式计算中使用的节点数，所考虑的数据矩阵的有效秩，以及底层人口协方差阵的频谱中的差距。所提出的算法说明低秩近似和$\boldsymbol{k}$均值聚类任务。数值结果表明，一个显着的计算速度比标准的分布式PCA算法，而不影响学习精度。
2019-05-17 cs.LG stat.ML
Centralized and distributed online learning for sparse time-varying optimization
在过去的几年里，在线算法的发展，以跟踪时变系统引起了很多关注，特别是在在线凸优化的框架。同时，稀疏时变优化已经成为一个强大的工具，以处理广泛的应用，从动态压缩传感到简约系统辨识。在大多数关于稀疏时变问题的文献中，假设系统演化的一些先验信息是可用的。相比之下，在本文中，我们提出了一种在线学习方法，它不使用给定的模型，适用于对抗框架。具体来说，我们开发集中式和分布式算法，我们从理论上分析他们的动态遗憾，在网上学习的角度来看。此外，我们提出了数值实验，说明其实际有效性。
2020-01-31 cs.LG math.OC
An Online Sparse Streaming Feature Selection Algorithm
Southwest University（西南大学）；University of Chinese Academy of Sciences（中国科学院大学）
在线流特征选择（OSFS）是一种在线进行特征选择的方法，在高维数据处理中起着重要的作用。在许多实际应用中，例如智能医疗平台，流媒体功能总是有一些缺失的数据，这对进行OSFS提出了关键挑战，即，如何建立稀疏流特征和标签之间的不确定关系。遗憾的是，现有的OSFS算法没有考虑这种不确定的关系。为了填补这一空白，我们在本文中提出了一个在线稀疏流特征选择与不确定性（OS 2FSU）算法。OS 2FSU主要包括两个部分：1）在进行特征选择之前，利用潜在因子分析对稀疏流特征中的缺失数据进行预估计; 2）在进行特征选择时，利用模糊逻辑和邻域粗糙集来消除估计的流特征与标签之间的不确定性。在实验中，OS 2FSU与五个国家的最先进的OSFS算法在六个真实的数据集进行了比较。结果表明，OS 2FSU优于其竞争对手时，在OSFS中遇到丢失的数据。
2022-08-03 cs.LG
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
遗憾已被广泛采用的分布式，多智能体系统的在线优化算法的性能评估的选择度量。然而，与代理相关的数据/模型变化可能会显著影响决策，并需要代理之间的共识。此外，大多数现有的工作都集中在开发方法（无论是强或非强）凸损失，并已获得很少的结果，在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题，我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式，我们开发了一个基于共识的在线归一化梯度（CONGD）方法的伪凸损失，它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失，我们首先阐明了遗憾的设置分布式在线非凸学习的基础上，最近的进展，没有确定性算法可以实现次线性遗憾。然后，我们开发了分布式在线非凸优化与复合遗憾（DINOCO）没有访问的梯度，依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知，这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
Optimal Distributed Online Prediction using Mini-Batches
Microsoft Research（微软研究院）
在线预测方法通常呈现为在单个处理器上运行的串行算法。然而，在网络规模的预测问题的时代，它是越来越常见的情况下，遇到一个单一的处理器无法跟上输入到达的高速率。在这项工作中，我们提出了\emph{distributed mini-batch}算法，一种将许多串行基于梯度的在线预测算法转换为分布式算法的方法。我们证明了这种方法是渐近最优光滑凸损失函数和随机输入的遗憾界。此外，我们的分析明确考虑到在分布式环境中的节点之间的通信延迟。我们展示了如何使用我们的方法来解决密切相关的分布式随机优化问题，实现了多个处理器的渐近线性加速。最后，我们展示了我们的方法的优点在网络规模的在线预测问题。
2012-01-31 cs.DC cs.LG math.OC
Filter-then-Weight: Online Data Selection and Reweighting for LLM Fine-Tuning
Department of Computer Science（计算机科学系）
本文提出一种优化器感知的在线数据选择与重新加权框架，通过两阶段过滤和加权算法提升大语言模型微调的收敛性和下游性能。
2026-05-12 cs.AI cs.CL cs.LG
On Distributed Online Classification in the Midst of Concept Drifts
University of California（加州大学）
在这项工作中，我们分析了分布式在线学习算法在平稳和非平稳环境下的泛化能力。我们推导出界限的过度风险达到每个节点在一个连接的网络的学习者和研究的性能优势，扩散策略有超过个人的非合作处理。我们进行了大量的模拟来说明结果。
2013-01-01 cs.DC cs.LG cs.SI
Wide and Deep Graph Neural Networks with Distributed Online Learning
University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）
图神经网络（GNN）从具有自然分布式架构的网络数据中学习表示，使其非常适合分散式学习。通常情况下，这种分散的图支持由于链路故障或拓扑变化而随时间变化。这些变化在GNN训练的图形和测试的图形之间造成了不匹配。在线学习可用于在测试时重新训练GNN，从而克服这个问题。然而，大多数在线算法都是集中式的，并且处理凸问题（GNN很少导致凸问题）。本文提出了宽和深GNN（WD-GNN），一种新的架构，可以很容易地更新与分布式在线学习机制。WD-GNN由两部分组成：宽部分是一组线性图滤波器，深部分是GNN。在训练时，联合架构从数据中学习非线性表示。在测试时，深度部分（非线性）保持不变，而宽部分在线重新训练，导致凸问题。我们得到收敛保证这个在线再培训过程，并进一步提出了一个分散的替代方案。群集机器人群体控制的实验证实了理论和分布式在线学习的建议架构的潜力。
2020-10-24 cs.LG stat.ML
Online Distributed Sensor Selection
Caltech（加州理工学院）
传感器网络中的一个关键问题是决定何时查询哪些传感器，以便获得最有用的信息（例如，用于执行准确的预测），受到约束（例如，在功率和带宽上）。在许多应用中，效用函数不是先验已知的，必须从数据中学习，甚至可以随时间变化。此外，大型传感器网络解决集中式优化问题选择传感器是不可行的，因此，我们寻求一个完全分布式的解决方案。在本文中，我们提出了分布式在线贪婪（DOG），一个有效的，分布式的算法，反复选择传感器在线，只接收反馈的效用所选择的传感器。我们证明了非常强大的理论无遗憾的保证，适用于任何时候（未知）的效用函数满足一个自然递减的回报属性称为子模块。我们的算法具有极低的通信要求，并可扩展到大型传感器部署。我们扩展DOG允许观察依赖的传感器选择。我们经验证明了我们的算法在几个现实世界的传感任务的有效性。
2010-05-13 cs.LG
Model Selection for Production System via Automated Online Experiments
Spotify（声田）
行业中的机器学习从业者面临的一个挑战是选择最佳模型部署到生产中。由于模型通常是生产系统的中间组件，因此在线受控实验（如A/B测试）可以对整个系统的有效性进行最可靠的估计，但由于预算限制，只能比较两个或几个模型。我们提出了一个自动化的在线实验机制，可以有效地执行模型选择从大量的模型与少量的在线实验。我们从使用历史日志训练的贝叶斯代理模型中获得包含模型不确定性的感兴趣度量的概率分布。我们的方法通过从候选集中顺序选择和部署一系列模型来有效地识别最佳模型，这些模型平衡了探索-开发。使用基于真实数据的模拟，我们证明了我们的方法在两个不同的任务上的有效性。
2021-05-27 cs.AI cs.LG stat.ML
Graph Neural Network-Based Distributed Optimal Control for Linear Networked Systems: An Online Distributed Training Approach
Department of Electrical Engineering, University of Notre Dame（电气工程系，诺丁汉大学）；Department of Electrical and Computer Engineering, Stevens Institute of Technology（电气与计算机工程系，史蒂文斯理工学院）
本文针对线性网络化系统，提出基于图递归神经网络的分布式最优控制方法，将控制问题构建为自监督学习问题，并设计分布式在线训练优化器，同时给出闭环稳定性条件，通过数值仿真验证了方法有效性。
2025-07-22 cs.LG cs.SY eess.SY
Scalable and Accurate Online Feature Selection for Big Data
Simon Fraser University（西蒙弗雷泽大学）；Hefei University of Technology（合肥工业大学）；University of Vermont（佛蒙特大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）
特征选择在许多大数据应用中非常重要。与大数据密切相关的两个关键挑战。首先，在许多大数据应用中，维度非常高，以百万计，并且还在不断增长。其次，大数据应用要求以在线方式的高度可扩展的特征选择算法，使得每个特征可以在顺序扫描中被处理。本文提出了一种可扩展的、精确的在线特征选择方法SAOLA。通过对特征间成对相关性的理论分析，SAOLA采用了新的成对比较技术，并以在线方式随时间保持一个简约模型。此外，为了处理即将到来的功能，到达组，我们扩展了SAOLA算法，然后提出了一个新的组-SAOLA算法的在线组特征选择。group-SAOLA算法能够同时在线维护一组在组和个体特征两个层次上都稀疏的特征组。使用一系列基准真实数据集的实证研究表明，我们的两个算法，SAOLA和组SAOLA，是可扩展的数据集的极高维，并具有优越的性能比国家的最先进的特征选择方法。
2016-07-28 cs.LG
Accelerating Distributed Online Meta-Learning via Multi-Agent Collaboration under Limited Communication
Arizona State University（亚利桑那州立大学）
在线元学习正在成为物联网生态系统中实现边缘智能的一种使能技术。然而，为了学习一个好的元模型，以实现任务内的快速适应，单个智能体必须单独学习许多任务，这就是所谓的“冷启动”问题。观察到在多智能体网络中，不同智能体之间的学习任务通常具有一些模型相似性，我们提出了以下基本问题：“是否有可能通过有限的通信来加速智能体之间的在线元学习，如果是的话，可以实现多大的好处？为了回答这个问题，我们提出了一个多智能体在线元学习框架，并将其转换为一个等价的两级嵌套在线凸优化（OCO）问题。通过表征代理任务平均遗憾的上界，我们表明，多代理在线元学习的性能在很大程度上取决于有多少代理可以受益于分布式网络级的OCO元模型更新通过有限的通信，但这是不是很好地理解。为了解决这一挑战，我们设计了一个分布式的在线梯度下降算法与梯度跟踪，每个代理跟踪全局梯度使用只有一个通信步骤与它的邻居每次迭代，它的结果是在一个平均遗憾$O(\sqrt{T/N})$每个代理，表明$\sqrt{1/N}$的一个因素的加速比最佳的单代理遗憾$O(\sqrt{T})$后，$T$迭代，其中$N$是代理的数量。在此基础上，我们接下来开发了一个多智能体在线元学习算法，并表明它可以通过有限的通信以更快的$O(1/\sqrt{NT})$速度实现最佳任务平均遗憾，相比单智能体在线元学习。大量的实验证实了理论结果。
2020-12-19 cs.DC cs.LG cs.MA
Communication-Efficient Distributed Online Learning with Kernels
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Saarland University（萨尔大学）
我们提出了一个有效的分布式低延迟实时服务的在线学习协议。它扩展了以前提出的协议，以内核化的在线学习者，代表他们的模型的支持向量扩展。虽然这样的学习器通常比线性学习器实现更高的预测性能，但是对于大量的支持向量，传递支持向量扩展变得低效。所提出的扩展允许更大类的在线学习算法-包括那些通过模型压缩来缓解上述问题的算法。此外，我们通过引入一个新的标准，要求通信所遭受的损失有界的质量所提出的协议的特点。
2019-11-28 cs.DC cs.LG stat.ML
Online structural kernel selection for mobile health
Harvard University（哈佛大学）；University of Michigan（密歇根大学）
出于对移动健康中高效和个性化学习的需求，我们研究了多任务环境下高斯过程回归的在线核选择问题。为此，我们提出了一种新的生成过程的内核组成。我们的方法表明，内核演变的轨迹可以在用户之间转移，以改善学习，内核本身对于mHealth预测目标是有意义的。
2021-07-21 cs.LG stat.ML
Distributed Online Submodular Maximization under Communication Delays: A Simultaneous Decision-Making Approach
University of Michigan（密歇根大学）
本文提出分布式在线贪心算法DOG，解决通信延迟下的子模优化问题，通过结合对抗性带宽学习与延迟反馈，在任意网络拓扑中实现同时决策，分析协调性能与收敛时间的权衡。
2026-08-14 cs.LG cs.MA cs.SY
Wide and Deep Graph Neural Network with Distributed Online Learning
Univ. of Pennsylvania（宾夕法尼亚大学）；Rice Univ.（莱斯大学）
图神经网络（GNN）是用于从网络数据学习表示的自然分布式架构。这使他们成为分散任务的合适人选。在这些场景中，由于链路故障或拓扑变化，底层图通常会随着时间而变化，从而在GNN训练的图和测试的图之间产生不匹配。可以利用在线学习在测试时重新训练GNN来克服这个问题。然而，大多数在线算法都是集中式的，通常只对凸问题提供保证，而GNN很少会导致凸问题。本文开发了宽深GNN（WD-GNN），一种新的架构，可以更新分布式在线学习机制。WD-GNN由两部分组成：宽部分是线性图滤波器，深部分是非线性GNN。在训练时，联合广度和深度架构从数据中学习非线性表示。在测试时，宽的线性部分被重新训练，而深的非线性部分保持不变。这往往导致一个凸公式。我们进一步提出了一个分布式的在线学习算法，可以在分散的设置。我们还显示了稳定的WD-GNN底层图的变化，并分析了所提出的在线学习过程的收敛性。电影推荐，源定位和机器人群体控制的实验证实了理论研究结果，并显示了分布式在线学习的WD-GNN的潜力。
2022-03-18 cs.LG eess.SP
Byzantine-Robust Distributed Online Learning: Taming Adversarial Participants in An Adversarial Environment
Sun Yat-Sen University（中山大学）；George Mason University（乔治梅森大学）
该研究分析拜占庭攻击下的分布式在线学习，证明完全对抗环境中遗憾只能线性且紧，并提出在诚实损失 i.i.d. 时实现次线性随机遗憾的鲁棒动量算法。
2023-12-05 cs.DC cs.LG
Large-scale Online Feature Selection for Ultra-high Dimensional Sparse Data
Singapore Management University（新加坡管理大学）；Microsoft Research（微软研究院）
大规模高维数据的特征选择在机器学习和数据采掘中具有重要的意义和挑战性。在线特征选择是一种比批处理特征分割方法更有效、更可扩展的新方法，但现有的在线特征选择方法与批处理方法相比往往效率较低。在本文中，我们提出了一种新的二阶在线特征选择计划，是简单而有效的，非常快速和极具可扩展性，以处理大规模的超高维稀疏数据流。其基本思想是改进现有的一阶在线特征选择方法，利用二阶信息选择具有高置信度权重的重要特征子集。然而，不像许多二阶学习方法，往往遭受额外的高计算成本，我们设计了一种新的智能算法二阶在线特征选择使用基于MaxHeap的方法，这不仅是更有效的比现有的一阶方法，但也显着更有效和可扩展的大规模特征选择与超高维稀疏数据，从我们广泛的实验验证。令人印象深刻的是，在一个十亿规模的合成数据集（10亿个维度，10亿个非零特征和100万个样本）上，我们的新算法在一台PC上只花了8分钟，比传统的批处理方法快了几个数量级。\url{http://arxiv.org/abs/1409.7794}
2015-11-19 cs.CV cs.LG
Finite Sample Guarantees for Distributed Online Parameter Estimation with Communication Costs
Purdue University（普渡大学）
我们研究的问题，估计一个未知的参数在一个分布式和在线的方式。现有的分布式在线学习的工作通常集中在渐近分析，或提供遗憾的界限。然而，在有限数量的时间步长之后，这些结果可能不会直接转化为学习模型的误差界限。在本文中，我们提出了一个分布式在线估计算法，使网络中的每个代理，以提高其估计精度与邻居进行通信。我们提供的估计误差的非渐近界，利用底层模型的统计特性。我们的分析表明，估计误差和通信成本之间的权衡。此外，我们的分析允许我们确定通信可以停止的时间（由于与通信相关联的成本），同时满足期望的估计精度。我们还提供了一个数值例子来验证我们的结果。
2022-09-12 cs.LG cs.SY eess.SY
Online Distributed Optimization on Dynamic Networks
University of Washington（华盛顿大学）
本文提出了一种在存在成本不确定性和切换通信拓扑下的分布式优化方案，通过双对偶子梯度平均算法实现合作最小化成本函数，并分析了网络拓扑对收敛速度的影响。
2014-12-22 cs.DS cs.LG cs.MA
Locally Differentially Private Gradient Tracking for Distributed Online Learning over Directed Graphs
Clemson University（克莱姆森大学）
本文针对有向图上的分布式在线学习提出一种本地差分隐私梯度跟踪算法，在保证严格隐私且累计隐私预算有限的同时实现均方收敛到精确最优解，并通过多个基准实验验证其优于现有方法。
2023-10-29 cs.LG
Information-theoretic Online Memory Selection for Continual Learning
DeepMind（深度思维）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）；Baidu Apollo（百度阿波罗）
无任务持续学习中的一个挑战性问题是从数据流中在线选择代表性重放记忆。在这项工作中，我们从信息论的角度研究了在线记忆选择问题。为了收集最多的信息，我们提出了\textit{surprise}和\textit{learnability}标准来挑选信息点并避免离群值。我们提出了一个贝叶斯模型来计算的标准，有效地利用秩一矩阵结构。我们证明，这些标准鼓励选择信息点在线记忆选择的贪心算法。此外，通过识别\textit{the timing to update the memory}的重要性，我们介绍了随机信息理论水库采样器（InfoRS），它进行高信息的选择点之间的采样。与水库采样相比，InfoRS显示出对数据不平衡的更好的鲁棒性。最后，通过对持续学习基准的实证分析，证明了该方法的有效性。
2022-04-10 cs.LG stat.ML
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Parameter-free online learning via model selection
Cornell University（康奈尔大学）；Google Research（谷歌研究院）；NYU（纽约大学）
我们介绍了一个有效的算法框架模型选择在线学习，也被称为无参数在线学习。从以前的工作，重点是高度结构化的函数类，如嵌套球在希尔伯特空间，我们提出了一个通用的元算法框架，实现在线模型选择预言的不平等下最小的结构假设。我们给出了第一个计算效率高的无参数算法，工作在任意Banach空间下温和的光滑性假设，以前的结果只适用于希尔伯特空间。我们进一步推导出矩阵类，非嵌套凸集，和$\mathbb{R}^{d}$一般正则化新的甲骨文不等式。最后，我们推广了这些结果，提供了预言不等式的任意非线性类在线监督学习模型。这些结果都是通过一个统一的元算法方案，使用一种新的“多尺度”算法预测与专家意见的基础上随机播放，这可能是独立的利益。
2018-01-03 cs.LG stat.ML
Distributed Online Linear Quadratic Control for Linear Time-invariant Systems
Texas A&M University（得克萨斯农工大学）
经典的线性二次（LQ）控制围绕线性时不变（LTI）系统，其中控制状态对引入时不变参数的二次成本。在线优化和控制的最新进展提供了新的工具来研究LQ问题是鲁棒的时变成本参数。受这一研究思路的启发，我们研究了相同LTI系统的分布式在线LQ问题。考虑一个多智能体网络，其中每个智能体都被建模为一个LTI系统。的LTI系统是与解耦，随时间变化的二次成本，揭示顺序。该网络的目标是使所有代理的控制序列与事后看来最好的集中式策略竞争，这是由后悔的概念捕获的。我们开发了一个分布式的在线LQ算法的变体，它运行分布式在线梯度下降与投影到一个半定规划（SDP）生成控制器。我们建立了一个遗憾界缩放的平方根的有限时间范围，这意味着代理达成共识，随着时间的增长。我们进一步提供了数值实验验证我们的理论结果。
2020-09-29 cs.LG cs.SY eess.SY
Distributed Online Learning with Multiple Kernels
University of Southern California（南加州大学）；Hanyang University（汉阳大学）
在物联网（IoT）系统中，存在由大量IoT设备提供的大量信息数据（例如，传感器）。从这些数据中学习函数在物联网系统的机器学习任务中具有极大的兴趣。针对流（或序列）数据，我们提出了一个隐私保护的分布式多核在线学习框架（DOMKL）。建议的DOMKL设计利用在线交替方向的乘数（OADMM）和分布式对冲算法的原则。我们从理论上证明了DOMKL在T个时隙上可以实现最优次线性遗憾，这意味着每个学习函数都可以像最先进的集中式在线学习方法那样在事后实现最佳函数的性能。此外，确保任何两个相邻学习器的学习函数随着T的增长具有可忽略的差异，即，所谓的共识约束依然存在。通过各种真实数据集的实验测试，我们验证了所提出的DOMKL回归和时间序列预测任务的有效性。
2020-11-17 cs.LG stat.ML
Online Selective Conformal Prediction: Errors and Solutions
Carnegie Mellon University（卡内基梅隆大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对在线选择性共形推断中现有校准选择策略存在的理论错误，本文提出可保持数据可交换性的新策略，证明其能同时保证选择条件覆盖率与FCR控制，并通过实验验证了有效方法间的权衡关系。
2025-03-21 cs.LG stat.ML
Diverse Online Feature Selection
University of Technology Sydney（悉尼科技大学）
在线特征选择是近年来一个活跃的研究领域。提出了一种新的基于确定点过程（DPP）的多样性在线特征选择方法。我们的模型旨在提供不同的功能，可以组成一个监督或无监督的框架。该框架的目的是促进多样性的基础上产生的内核上的功能级别，通过最多三个阶段：功能采样，本地标准和全球标准的功能选择。在特征采样中，我们使用条件DPP对传入的特征流进行采样。局部标准用于评估和选择流特征（即仅当它们到达时），我们使用无监督的尺度不变方法来去除冗余特征，并使用可选的监督方法来引入标签信息以评估相关特征。最后，全局准则使用正则化方法来选择全局最优特征子集。这三个阶段的过程继续，直到没有更多的特征到达或满足某个预定义的停止条件。我们证明了基于实验进行的，这种方法产生更好的紧凑性，是可比的，在某些情况下优于其他国家的最先进的在线特征选择方法。
2019-04-25 cs.LG stat.ML
Distributed Associative Memory via Online Convex Optimization
KCLIP, CIIPS, Department of Engineering, King’s College London, London WC2R 2LS, UK（KCLIP、CIIPS、工程系、伦敦国王学院，伦敦 WC2R 2LS，英国）；Communication Systems Department, EURECOM, 06904 Sophia Antipolis, France（通信系统部门、EURECOM、法国索菲亚抗皮斯，06904）；Intelligent Networked Systems Institute, Northeastern University London, London E1 8PH, UK（智能网络系统研究所、伦敦东北大学、伦敦 E1 8PH，英国）
针对分布式联想记忆问题，提出基于路由树通信的分布式在线梯度下降方法以协同优化各智能体本地记忆，并证明次线性遗憾且实验优于现有基线。
2025-09-26 cs.LG eess.SP
COIN-GP: Cooperative Online Learning in Networked Distributed Systems with Partial Measurements via Gaussian Process Regression
Technical University of Munich（慕尼黑工业大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tongji University（同济大学）；Shanghai Yangzhi Rehabilitation Hospital（上海市养志康复医院）；University of Science and Technology of China（中国科学技术大学）；The Hong Kong Polytechnic University（香港理工大学）
针对分布式传感器网络中的部分观测问题，提出基于观测器的在线分布式高斯过程回归协作学习框架，并给出数据收集策略与误差上界，仿真验证其优越性。
2026-09-18 cs.LG cs.MA cs.SY
Online Learning-based Waveform Selection for Improved Vehicle Recognition in Automotive Radar
本文介绍了与调频连续波（FMCW）汽车雷达系统中基于在线学习的波形选择目标识别相关的重要考虑因素和挑战。我们提出了一种新的学习方法的基础上满意汤普森采样，快速识别波形，预计将产生令人满意的分类性能。我们通过测量级仿真证明，即使在雷达必须从大量候选波形中进行选择的情况下，也可以快速学习有效的波形选择策略。雷达学习自适应地选择适当的分辨率的带宽和慢时间单模码的干扰缓解在感兴趣的场景中通过优化预期的分类度量。
2022-12-01 cs.LG eess.SP
An Analysis of Selection Bias Issue for Online Advertising
Yahoo Japan Corporation（雅虎日本公司）
在在线广告中，一组潜在的广告可以通过某个拍卖系统进行排名，其中通常前1个广告将被选择并显示在广告空间处。在本文中，我们展示了一个选择偏差的问题，是目前在拍卖系统。我们分析了选择偏差破坏了拍卖的真实性，这意味着拍卖中的买家（广告商）不能最大化他们的利润。虽然选择偏差在统计学领域是众所周知的，并且有很多关于它的研究，但我们的主要贡献是将选择偏差的理论分析与拍卖机制结合起来。在我们的实验中，使用在线A/B测试，我们评估的选择偏差的拍卖系统的排名分数是预测的CTR（点击率）的广告。实验表明，通过使用学习所有广告数据的多任务学习，选择偏差大大减少。
2022-06-07 cs.GT cs.IR cs.LG
Damped Online Newton Step for Portfolio Selection
Massachusetts Institute of Technology（麻省理工学院）
我们重新审视经典的在线投资组合选择问题，在每一轮中，学习者选择一组投资组合的分布来分配其财富。众所周知，对于这个问题，例如，使用通用投资组合选择算法可以实现关于覆盖损失的对数后悔。然而，所有现有的算法，实现了对数遗憾这个问题的每轮时间和空间复杂度的规模与总轮数的多项式，使他们不切实际。在本文中，我们以Haipeng等人2018年的最新工作为基础，提出了第一个实用的在线投资组合选择算法，该算法具有对数遗憾，其每轮时间和空间复杂度仅在数学上依赖于地平线。在我们的方法背后是两个独立兴趣的关键技术创新。我们首先表明，即使在处理时变正则化器时，阻尼在线牛顿步骤也可以很好地逼近镜像下降迭代。其次，我们提出了一个新的元算法，实现了自适应对数遗憾（即对数遗憾的任何子区间）的混合损失。
2022-02-15 cs.LG math.OC
Learnability in Online Kernel Selection with Memory Constraint via Data-dependent Regret Analysis
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对带内存约束的在线核选择问题，提出依赖核对齐和竞争假设累积损失的数据依赖上界，构建基于新型缓冲区与专家建议预测归约的算法框架，证明小内存下次线性数据复杂度下可学习，并经实验验证性能。
2025-03-24 cs.LG
Online Learning in a Contract Selection Problem
University of California, Los Angeles（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
在一个在线合同选择问题中，有一个卖方提供一组合同给顺序到达的买方，这些买方的类型来自一个未知的分布。如果在提供的集合中存在对买方有利的合同，即，一个合同的收益高于不接受任何合同的收益，买方选择最大化其收益的合同。本文研究了以卖方利润最大化为目标的在线合同选择问题。假设买方的支付函数的结构属性称为有序的偏好，我们提出了在线学习算法，具有次线性遗憾的最佳合同集的分布在买方的类型。这个问题有许多应用，包括频谱合同，无线服务提供商的数据计划和推荐系统。
2013-05-15 cs.GT cs.LG math.OC
