Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Decentralized Online Riemannian Optimization for Strongly Geodesically Convex Functions
Department of Mechanical & Industrial Engineering at Northeastern University（东北大学机械与工业工程系）
研究黎曼流形上强测地凸损失的分散式在线优化，通过提供时变调度的网络误差分析，为分散式在线黎曼梯度下降建立$O(\log T)$静态遗憾界，并为两点策略反馈设置证明相同界，匹配强凸欧几里得在线优化最优速率。
2026-07-23 cs.LG cs.MA math.OC
Adaptive Feature Selection: Computationally Efficient Online Sparse Linear Regression under RIP
Google Research（谷歌研究院）；Amazon（亚马逊）；University of Chicago（芝加哥大学）；Yahoo Research（雅虎研究院）
在线稀疏线性回归是一个在线问题，其中算法重复选择一个坐标子集以在反向选择的特征向量中进行观察，进行实值预测，接收真实标签，并产生平方损失。目标是设计一个在线学习算法，具有次线性遗憾的最佳稀疏线性预测后见之明。在没有任何假设的情况下，这个问题在计算上是难以处理的。在本文中，我们假设数据矩阵满足限制等距性质，并表明，这一假设导致计算效率的算法与次线性遗憾的两个变种的问题。在第一种变体中，根据具有加性高斯噪声的稀疏线性模型生成真实标签。在第二种情况下，真正的标签被对立地选择。
2017-06-14 cs.LG
An Online Sparse Streaming Feature Selection Algorithm
Southwest University（西南大学）；University of Chinese Academy of Sciences（中国科学院大学）
在线流特征选择（OSFS）是一种在线进行特征选择的方法，在高维数据处理中起着重要的作用。在许多实际应用中，例如智能医疗平台，流媒体功能总是有一些缺失的数据，这对进行OSFS提出了关键挑战，即，如何建立稀疏流特征和标签之间的不确定关系。遗憾的是，现有的OSFS算法没有考虑这种不确定的关系。为了填补这一空白，我们在本文中提出了一个在线稀疏流特征选择与不确定性（OS 2FSU）算法。OS 2FSU主要包括两个部分：1）在进行特征选择之前，利用潜在因子分析对稀疏流特征中的缺失数据进行预估计; 2）在进行特征选择时，利用模糊逻辑和邻域粗糙集来消除估计的流特征与标签之间的不确定性。在实验中，OS 2FSU与五个国家的最先进的OSFS算法在六个真实的数据集进行了比较。结果表明，OS 2FSU优于其竞争对手时，在OSFS中遇到丢失的数据。
2022-08-03 cs.LG
Stabilized Sparse Online Learning for Sparse Data
Columbia University（哥伦比亚大学）
随机梯度下降（SGD）通常用于大规模机器学习问题的优化。Langford等人（2009）介绍了一种稀疏在线学习方法，通过截断梯度来诱导稀疏性。然而，对于高维稀疏数据，由于特征稀疏性的异质性，该方法收敛速度慢且方差大。为了缓解这个问题，我们引入了一个稳定的截断随机梯度下降算法。我们采用软阈值方案的权重向量，其中施加的收缩是自适应的每个功能中可用的信息量。所得到的稀疏权重向量的可变性进一步控制的稳定性选择集成的信息截断。为了更好地收敛，我们采用了一种退火策略的截断率，这导致了一个平衡的权衡之间的探索和利用学习稀疏的权重向量。数值实验表明，该算法在预测精度、稀疏性和稳定性方面优于原算法。
2017-05-09 cs.LG stat.ML
A Spectral Filtering Approach to Regret Analysis of Distributed Online Control for Linear Dynamical Systems
National Cheng Kung University（成功大学）
本文将在线谱控制框架拓展至分布式场景，通过基于Hankel矩阵前导特征向量的谱控制器与分布式在线梯度下降更新，为线性时不变系统分布式在线控制建立了含稳定裕度、网络特性的次线性悔界。
2026-08-04 cs.LG cs.SY eess.SY
Sparse LMS via Online Linearized Bregman Iteration
Howard Hughes Medical Institute, Janelia Farm Research Campus（霍华德·休斯医学研究所，贾尼利亚农场研究园区）
提出了一种用于稀疏系统辨识的最小均方（LMS）算法。我们的算法称为在线线性化Bregman迭代（OLBI）是来自最小化的累积预测误差平方以及l1-l2范数正则化。通过系统地处理不可微正则化子，我们得到了一个简单的两步迭代。我们证明了OLBI是无偏的，并将其操作与现有的稀疏LMS算法进行比较，通过在在线凸优化框架中重新推导它们。我们进行白输入信号的OLBI的收敛性分析，并推导出稳态和瞬时均方偏差（MSD）的理论表达式。我们证明数值OLBI提高了性能的LMS型算法产生的信号稀疏抽头权重。
2012-10-01 cs.IT cs.LG math.IT
Online Sparse Feature Selection in Data Streams via Differential Evolution
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）
本文提出了一种基于微分进化的在线稀疏特征选择方法，通过潜在因子分析插补缺失数据并评估特征重要性，以提升数据流中特征选择的性能。
2025-11-24 cs.AI cs.LG
Online Sparse Streaming Feature Selection Using Adapted Classification
Southwest University（西南大学）
传统的特征选择需要在学习之前知道特征空间，而在线流特征选择（OSFS）被提出来动态地处理流特征。现有方法在不丢失数据的情况下将特征分为相关和不相关，删除不相关特征可能导致信息丢失。基于此，本文重点研究了流特征矩阵的构造和特征相关性的划分，提出了基于自适应分类的在线稀疏流特征选择算法（OS 2FS-AC）。本研究使用潜在因素分析（LFA）来预估缺失数据。此外，我们使用自适应的方法来获得阈值，将特征分为强相关，弱相关和不相关的特征，然后再划分弱相关与更多的信息。在10个真实数据集上的实验结果表明，OS 2FS-AC的性能优于现有算法。
2023-02-25 cs.AI cs.LG
Quantum Algorithm for Sparse Online Learning with Truncated Gradient Descent
University of Latvia（拉脱维亚大学）；National University of Singapore（新加坡国立大学）；University of Edinburgh（爱丁堡大学）
本文基于截断梯度下降方法，为逻辑回归、SVM和最小二乘开发量子稀疏在线学习算法，实现维度上的二次加速并保持最优遗憾界。
2024-11-06 cs.LG quant-ph
Particle swarm optimization for online sparse streaming feature selection under uncertainty
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）
针对在线稀疏流式特征选择中特征-标签关系不确定和数据不完整问题，提出融合粒子群优化与三支决策的POS2FS框架，在六个真实数据集上验证其优于现有OSFS和OS2FS方法。
2025-08-24 cs.AI cs.LG cs.NE
Large-scale Online Feature Selection for Ultra-high Dimensional Sparse Data
Singapore Management University（新加坡管理大学）；Microsoft Research（微软研究院）
大规模高维数据的特征选择在机器学习和数据采掘中具有重要的意义和挑战性。在线特征选择是一种比批处理特征分割方法更有效、更可扩展的新方法，但现有的在线特征选择方法与批处理方法相比往往效率较低。在本文中，我们提出了一种新的二阶在线特征选择计划，是简单而有效的，非常快速和极具可扩展性，以处理大规模的超高维稀疏数据流。其基本思想是改进现有的一阶在线特征选择方法，利用二阶信息选择具有高置信度权重的重要特征子集。然而，不像许多二阶学习方法，往往遭受额外的高计算成本，我们设计了一种新的智能算法二阶在线特征选择使用基于MaxHeap的方法，这不仅是更有效的比现有的一阶方法，但也显着更有效和可扩展的大规模特征选择与超高维稀疏数据，从我们广泛的实验验证。令人印象深刻的是，在一个十亿规模的合成数据集（10亿个维度，10亿个非零特征和100万个样本）上，我们的新算法在一台PC上只花了8分钟，比传统的批处理方法快了几个数量级。\url{http://arxiv.org/abs/1409.7794}
2015-11-19 cs.CV cs.LG
An improved convergence analysis for decentralized online stochastic non-convex optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文研究节点网络上分散在线随机非凸优化问题。在分散式随机梯度下降中集成一种称为梯度跟踪的技术，我们证明了所得到的算法GT-DSGD具有一定的理想特性，可以最小化光滑非凸函数的总和。特别是，对于一般光滑的非凸函数，我们建立了非渐近的GT-DSGD的特征，并推导出条件下，它实现网络无关的性能，匹配的集中minibatch SGD。相比之下，现有的结果表明，GT-DSGD总是依赖于网络，因此严格比集中式小批量SGD更差。当全局非凸函数另外满足Polyak-Lojasiewics（PL）条件时，我们证明了GT-DSGD算法在适当的常数步长下直到稳态误差是线性收敛的.此外，在随机逼近步长下，我们首次给出了在几乎每一条样本路径上的最优全局次线性收敛速度，以及期望的渐近最优次线性收敛速度.由于强凸函数是满足PL条件的函数的特殊情况，我们的结果不仅是立即适用，而且还改善了目前已知的最佳收敛速度和它们对问题参数的依赖性。
2020-12-29 cs.LG cs.MA cs.SY
Massive Redundancy in Gradient Transport Enables Sparse Online Learning
Independent Researcher（独立研究员）
本文研究了递归动力学中梯度传输的冗余性，发现通过随机路径可实现稀疏在线学习，且在不同网络规模下保持有效性。
2026-03-27 cs.LG
Parsimonious Online Learning with Kernels via Sparse Projections in Function Space
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
尽管它们的吸引力，流行的看法是，非参数函数逼近技术不扩展到流数据，由于它们需要的存储量的棘手的增长。为了以内存负担得起的方式解决这个问题，我们提出了一种基于函数随机梯度下降的在线技术，并结合基于贪婪函数子空间投影的监督稀疏化。该方法，称为简约的在线学习与内核（POLK），提供了一个可控的权衡？它的解决方案的准确性和它所需要的内存量之间的关系。我们得出的条件下，生成的函数序列几乎肯定收敛到最优函数，我们建立的内存需求仍然有限。我们评估POLK内核多类逻辑斯谛回归和内核铰链损失分类三个典型的数据集：合成高斯混合模型，MNIST手写数字，和Brodatz纹理数据库。在所有这三个任务中，我们观察到一个有利的权衡目标函数评估，分类性能，和复杂性的非参数回归提取的方法。
2016-12-13 cs.LG stat.ML
Online Orthogonal Matching Pursuit
Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；Univ. Paris-Sud（巴黎南大学）；Université Paris-Saclay（巴黎萨克雷大学）
特征选择的贪婪算法被广泛用于恢复线性模型中的稀疏高维向量。在经典的过程中，主要的重点放在样本的复杂性，很少或根本没有考虑所需的计算资源。提出了一种新的在线算法：在线正交匹配追踪（OOMP），用于稀疏线性回归随机设计环境下的在线支持度恢复。我们的程序选择功能顺序，交替之间的分配样本只需要候选功能，并优化选定的一组变量，以估计的回归系数。证明了算法输出的理论保证，并分析了算法的计算复杂度。
2021-02-10 cs.LG stat.ML
Distributed Sparse Feature Selection in Communication-Restricted Networks
Sharif University of Technology（谢里夫理工大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究研究所（IPM））
本文旨在提出并理论分析一种新的分布式稀疏线性回归和特征选择方案。其主要目标是从一个未知的稀疏线性模型中学习高维数据集的几个因果特征。然而，包括$\mathbb{R}^p$中的$n$数据样本的假定训练集已经分布在具有通过极低带宽链路连接的$N$客户端的大型网络上。此外，我们考虑了$1\ll N\ll n\ll p$的渐近构型。为了从整个数据集中推断因果维度，我们提出了一种简单而有效的网络信息共享方法。在这方面，我们从理论上表明，真正的因果关系的功能可以可靠地恢复，可以忽略不计的带宽使用的$O\left(N\log p\right)$在整个网络。与将所有样本发送到单个节点的普通情况（集中式场景）相比，这产生了显著更低的通信成本，该情况需要$O\left(np\right)$传输。甚至更复杂的方案，如ADMM，仍然具有$O\left(Np\right)$的通信复杂度。令人惊讶的是，我们的样本复杂性界被证明是相同的（直到一个常数因子），在每个节点的固定性能指标的最佳集中式方法，而一个天真的分散技术与$N$线性增长。本文的理论保证基于Javanmard等人（2019）最近的去偏LASSO分析框架，并得到了在合成和真实世界数据集上进行的几个计算机实验的支持。
2021-11-02 cs.LG stat.ML
Distributed Autonomous Online Learning: Regrets and Intrinsic Privacy-Preserving Properties
Purdue University（普渡大学）；University of Waterloo（滑铁卢大学）
在线学习在处理海量数据方面越来越受欢迎。然而，在线学习的顺序性质需要集中式学习器来存储数据和更新参数。在本文中，我们考虑在线学习与{ \em分布式}数据源。自主学习器根据本地数据源更新本地参数，并定期与通信网络中的一小部分邻居交换信息。我们推导了强凸函数的遗憾界，推广了Ram et al.（2010）关于凸函数的工作。最重要的是，我们表明，我们的算法具有\emph{intrinsic}隐私保护属性，我们证明了隐私保护的充分必要条件在网络中。这些条件意味着，对于具有大于一的连通性的网络，恶意学习者无法重建其他学习者的子梯度（和敏感的原始数据），这使得我们的算法在隐私敏感的应用程序中具有吸引力。
2011-02-04 cs.AI cs.LG
Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and Tight Coordinatewise Rates
Nanyang Technological University（南洋理工大学）
针对Warmuth和Amid在2023年COLT会议提出的开放问题，研究在线线性回归特征启动规则的稀疏遗憾，证明三种规则的遗憾下界，给出匹配数据秩的紧单变量速率，相关多元前沿仍待解决。
2026-09-09 cs.LG stat.AP stat.ML
A Continuous-Time Nesterov Accelerated Gradient Method for Centralized and Distributed Online Convex Optimization
利用在线连续时间Nesterov加速梯度法（OCT-NAG）研究了在线凸优化问题。我们表明，在线版本的布雷格曼拉格朗日产生的连续时间动态实现了恒定的静态遗憾$\frac{c}σ$独立的$T$，提供了一些有界性假设的目标函数和最优解。据作者所知，这是文献中最低的静态遗憾（低于$O(\text{log}(T))$）。我们进一步证明了在相同的假设条件下，该算法的动态遗憾是$O(T)$，这是与现有的方法相媲美。仿真结果验证了该方法的有效性。此外，仿真结果表明，该算法表现出良好的动态遗憾的一些特定的缩放条件。此外，我们考虑所提出的在线优化方法在分布式在线最优化问题中的应用，并表明所提出的算法实现了$O(\sqrt{T})$静态遗憾，这是与现有的分布式在线最优化方法。与这些方法不同的是，该方法既不需要梯度有界性假设，也不需要紧约束集假设，从而允许与文献中不同的目标函数和最优化问题。一个可比的动态后悔。仿真结果表明了分布式算法的有效性和效率。
2020-09-26 math.OC
Follow The Approximate Sparse Leader for No-Regret Online Sparse Linear Approximation
IIT (ISM) Dhanbad（印度理工学院（达姆达德印度矿业学院））
针对在线稀疏线性逼近问题，提出 Follow-The-Approximate-Sparse-Leader 元策略，并证明其静态遗憾具有从对数到平方根范围的依赖数据次线性界，仿真验证了有效性。
2025-01-07 cs.LG math.OC
Online Identification using Adaptive Laws and Neural Networks for Multi-Quadrotor Centralized Transportation System
本文提出一种自适应神经识别方法，用于增强多四旋翼集中运输系统的鲁棒性，通过在线调节和学习分解的误差子空间，实现对时变扰动和模型不确定性的高效实时补偿。
2025-09-02 cs.RO cs.SY eess.SY
Robustness Enhancement for Multi-Quadrotor Centralized Transportation System via Online Tuning and Learning
针对集中式多四旋翼协同运输系统，提出结合多神经网络与自适应律的自适应神经几何控制方法，可在线协同调优模型参数与网络权重，无需预训练或PE条件即可保证误差有界与系统稳定，提升了抗扰与模型不匹配场景下的鲁棒性。
2025-09-02 cs.RO cs.SY eess.SY
Communication-efficient Algorithm for Distributed Sparse Learning via Two-way Truncation
University of Minnesota Twin Cities（明尼苏达大学双城分校）
我们提出了一个通信和计算效率高的算法，高维分布式稀疏学习。在每次迭代中，本地机器计算本地数据上的梯度，而主机器解决一个移位的$l_1$正则化最小化问题。通过双向截断过程，通信代价从现有算法的维数的常数倍降低到稀疏数的常数倍。理论上，我们证明了所提出的算法的估计误差呈指数下降，并在温和的假设下匹配的集中式方法。仿真数据和真实数据的实验结果表明，该算法在解决高维稀疏学习问题时具有与集中式方法相当的性能。
2017-09-09 cs.LG math.OC stat.ML
Online reinforcement learning via sparse Gaussian mixture model Q-functions
Institute of Science Tokyo, Department of Information and Communications（东京科学研究所信息与通信系）
本文提出一种基于稀疏高斯混合模型Q函数的在线强化学习框架，通过稀疏化和流式数据探索，在保持表现力的同时减少参数量，优于传统深度强化学习方法。
2026-02-16 cs.LG math.OC
Informativity for centralized design of distributed controllers for networked systems
最近在数据驱动控制方面的工作已经导致了直接从未知系统的测量中找到稳定控制器的方法。然而，对于多智能体系统，我们往往有兴趣找到控制器，考虑到他们的分布式性质。例如，完整状态可能无法在每个代理处用于反馈。为了处理这样的信息，我们考虑的问题，找到一个给定的块结构的反馈控制器的测量数据的基础上。此外，我们提供了一个算法，如果它收敛，导致最大稀疏控制器。
2022-07-29 math.OC
Online Sparse Subspace Clustering
本文针对稀疏子空间聚类问题，提出基于在线稀疏表示求解构建相似字典再结合谱聚类的在线算法，分析了强凸与非强凸SR代价下的算法性能。
2019-06-03 math.OC
Online optimization in dynamic environments: a regret analysis for sparse problems
时变系统在许多科学和工程领域都是一个挑战。通常，时变参数或信号的估计必须在线进行，这就要求开发响应式在线算法。在本文中，我们在稀疏优化的背景下考虑这个问题;具体来说，我们考虑弹性网络模型，它促进了简约的解决方案。根据\cite{mok16}的基本原理，我们提出了一个在线算法，我们从理论上证明了它是成功的动态后悔。然后，我们展示了一个应用程序的时变自回归模型的递归识别问题，在这种情况下，待估计的参数的数量是未知的。数值结果表明了该方法的有效性。
2018-09-07 math.OC
Online Learning for Matrix Factorization and Sparse Coding
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院信息学实验室）；Ecole Normale Supérieure（巴黎高等师范学院）；University of Minnesota（明尼苏达大学）
稀疏编码--即将数据向量建模为基本元素的稀疏线性组合--广泛用于机器学习、神经科学、信号处理和统计学。本文主要研究大规模矩阵分解问题，包括学习基集，使其适应特定数据。这个问题的变体包括信号处理中的字典学习、非负矩阵分解和稀疏主成分分析。在本文中，我们提出了一个新的在线优化算法，基于随机逼近，它可以优雅地扩展到具有数百万训练样本的大型数据集，并自然扩展到各种矩阵分解公式，使其适用于广泛的学习问题。收敛的证明，以及自然图像和基因组数据的实验表明，它导致最先进的性能方面的速度和优化的小型和大型数据集。
2010-02-11 cs.LG math.OC stat.ML
Online sparse observers for cyber-physical systems under sensor bias
Politecnico di Torino（都灵理工大学）
研究网络物理系统在传感器偏差下的在线稀疏观测器问题，通过分析恒定攻击的可观测性，从不同方法框架研究多种在线稀疏观测器，统一概述可实际应用的观测器，讨论收敛特性并比较性能。
2026-07-22 cs.SY eess.SY math.OC
A sparse Kaczmarz solver and a linearized Bregman method for online compressed sensing
本文提出了一种计算稀疏或最小TV解的线性系统算法框架，包含Kaczmarz方法和线性化Bregman方法作为特例，并引入了稀疏Kaczmarz求解器等新方法，适用于测量缓慢且昂贵的在线压缩感知、TV断层成像和射电干涉测量等问题。
2014-03-28 cs.CV cs.IT cs.NA
An Online Parallel and Distributed Algorithm for Recursive Estimation of Sparse Signals
本文考虑了线性回归的递推估计问题，其中待估计信号具有稀疏表示，测量样本只能按顺序获得。我们提出了一个收敛的并行估计方案，包括在解决一系列的$\ell_{1}$正则化最小二乘问题近似。该算法的创新之处在于：（1）在每个时刻并行更新未知向量变量的所有元素，收敛速度比现有的顺序更新的方法快得多;（2）每个元素的更新方向和步长都有简单的闭式表达式，因此该算法适合在线求解（实时）实现;和iii）步长被设计为加速收敛，但它不遭受文献中常见的参数调整麻烦。集中式和分布式的实施方案进行了讨论。所提出的算法的吸引力的功能也数值巩固。
2015-03-12 math.OC
A Poisson Jump-driven SDE Approach to Distributed Gradient Descent with Sparse Communication
本文提出用泊松跳驱动的随机微分方程将异步稀疏通信嵌入分布式梯度下降，并证明了在保证任意指数收敛速度下所需的通信速率界限。
2025-11-09 math.OC
