Distributed Online System Identification for LTI Systems Using Reverse Experience Replay
Northeastern University（东北大学）
线性时不变系统的辨识在控制和强化学习中起着重要的作用。渐近和有限时间离线系统辨识在文献中得到了很好的研究。对于在线系统辨识，最近提出了随机梯度下降与反向经验重放（SGD-RER）的思想，其中数据序列存储在多个缓冲器中，并且随机梯度下降（SGD）更新在每个缓冲器中向后执行以打破数据点之间的时间依赖性。受此启发，我们研究了分布式在线系统辨识的LTI系统在多智能体网络。我们认为代理商是相同的LTI系统，网络的目标是通过利用代理商之间的通信来联合估计系统参数。我们提出了DSGD-RER，一个分布式的SGD-RER算法的变种，并从理论上描述了改进的估计误差相对于网络的大小。我们的数值实验证明，随着网络规模的增长，估计误差的减少。
2022-09-15 cs.LG cs.SY eess.SY
Identification of AC Networks via Online Learning
University of Pavia（帕维亚大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Identification and Control of Dynamic Systems Laboratory（动态系统辨识与控制实验室）；Institute of Mechanical Engineering（机械工程研究所）
间歇性分布式能源在电网中的渗透率越来越高，这就需要新的规划和控制方法，这些方法依赖于对电网的详细了解。然而，关于系统拓扑结构和参数的可靠信息对于随时间变化的配电网络可能丢失或过时。本文提出了一种在线学习过程来估计网络导纳矩阵捕捉拓扑信息和线路参数。我们首先提供了一个递归识别算法，利用相量测量的电压和电流。随着加速收敛的目标，我们随后补充我们的基础算法与实验设计的过程，最大限度地提高数据的信息含量，在每一步计算最佳电压激励。我们的方法改进了现有的技术，其有效性是由现实的试验台上的数值研究证实。
2021-09-19 cs.LG cs.SY eess.SY
Variational message passing for online polynomial NARMAX identification
TU Eindhoven（埃因霍温理工大学）
提出了一种在线非线性系统辨识的变分贝叶斯推断方法。对于每个输出观测，更新一组参数后验分布，然后将其用于形成未来输出的后验预测分布。我们专注于一类多项式NARMAX模型，我们铸造成概率的形式，并表示在Forney风格的因子图。在这个图中的推理是有效地执行的变分消息传递算法。我们的经验表明，我们的变分贝叶斯估计优于在线递归最小二乘估计，最明显的是在小样本量设置和低噪声制度，并执行与离线训练的迭代最小二乘估计。
2022-04-02 cs.LG cs.SY eess.SP
Online system identification in a Duffing oscillator by free energy minimisation
TU Eindhoven（埃因霍温理工大学）
在线系统辨识是针对输入和输出信号的每次测量来估计动态系统的参数，例如质量或摩擦系数。在这里，Duffing振子的非线性随机微分方程被铸造成生成模型和动力学参数推断使用变分信息传递的模型的因子图。该方法进行了验证与实验数据从电子实现的Duffing振荡器。建议的推理过程执行以及离线预测误差最小化在一个国家的最先进的非线性模型。
2020-09-02 cs.LG cs.NE cs.SY
Online Planning with Lookahead Policies
Facebook AI Research（脸书人工智能研究院）；Microsoft Research（微软研究院）；Technion（以色列理工学院）；Google Research（谷歌研究院）；Nvidia Research（英伟达研究院）
实时的动态规划（RTDP）是一种基于动态规划（DP）的在线算法，它采用一步贪婪规划。与DP不同，RTDP不需要访问整个状态空间，即，它显式地处理探索。这一事实使得RTDP在状态空间很大并且不可能同时更新所有状态时特别有吸引力。在这方面，我们设计了一个多步贪婪RTDP算法，我们称之为$h$ -RTDP，它取代了1步贪婪的政策与$h$一步前瞻政策。我们分析了$h$ -RTDP的确切形式，并建立了增加前瞻视野，$h$，结果在一个改进的样本复杂性，与额外的计算成本。这是第一个工作，证明了改进的样本复杂性，作为{ \em增加}的前瞻视野在线规划的结果。然后，我们分析的性能$h$ -RTDP在三个近似设置：近似模型，近似值更新，近似状态表示。对于这些情况下，我们证明了$h$ -RTDP的渐近性能保持不变，相应的近似DP算法，最好的人可以希望没有进一步的假设上的近似误差。
2020-10-12 cs.LG math.OC stat.ML
Efficient Model-Based Concave Utility Reinforcement Learning through Greedy Mirror Descent
本文针对CURL问题提出MD-CURL算法，利用非标准正则化实现闭式解和低计算复杂度，并进一步提出在线版本Greedy MD-CURL，在部分未知动态下保证次线性甚至对数遗憾。
2023-11-30 math.OC physics.data-an stat.ML
An Online Hierarchical Algorithm for Extreme Clustering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
许多现代聚类方法可以很好地扩展到大量的数据项N，但不能扩展到大量的聚类K。本文介绍了PERCH，一个新的非贪心算法的在线层次聚类，规模庞大的N和K-一个问题的设置，我们长期极端聚类。我们的算法有效地路由新的数据点的叶子的增量构建的树。出于对准确性和速度的期望，我们的方法执行树旋转，以提高子树纯度和鼓励平衡。我们证明了，在自然可分性假设下，我们的非贪心算法将产生具有完美树状图纯度的树，而不管在线数据到达顺序。我们的实验表明，PERCH构建更准确的树比其他树建设聚类算法和规模以及与N和K，实现了更高的质量聚类比最强的平聚类竞争对手在近一半的时间。
2017-04-06 cs.LG stat.ML
$ε$-Policy Gradient for Online Pricing
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（阿兰·图灵研究所）；Naresuan University（那黎宣大学）；Imperial College London（伦敦帝国学院）
本文提出ε-策略梯度算法用于在线定价，用梯度下降替代ε-贪婪中的贪婪利用并结合模型推断，通过量化探索与利用成本实现O(√T)阶期望遗憾。
2024-05-06 cs.LG math.OC q-fin.ST
Stochastic processes and feedback-linearisation for online identification and Bayesian adaptive control of fully-actuated mechanical systems
Oxford University（牛津大学）
本文提出了一种新的方法，结合概率识别与控制，利用随机过程先验条件和拉格朗日力学结构知识，通过反馈线性化实现对完全驱动机械系统的灵活非参数贝叶斯学习。
2014-04-01 cs.LG cs.SY eess.SY
Online Weak-form Sparse Identification of Partial Differential Equations
University of Colorado（科罗拉多大学）
提出了一种基于非线性动力学弱形式稀疏辨识算法（WSINDy）的偏微分方程（PDE）在线辨识算法。该算法是在线的，在某种意义上说，如果执行识别任务，通过处理解决方案的快照顺序到达。该方法的核心是将候选偏微分方程的弱形式离散化与稀疏回归问题的在线近似梯度下降方法相结合。特别是，我们不正规化的$\ell_0$ -伪范数，而是发现，直接应用其邻近算子（对应于硬阈值）导致有效的在线系统辨识从噪声数据。我们证明了成功的Kuramoto-Sivashinsky方程的方法，随时间变化的波速的非线性波动方程，线性波动方程，在一个，两个和三个空间维度，分别。特别是，我们的例子表明，该方法是能够识别和跟踪系统的系数突然变化的时间，并提供了一个流的替代问题，在更高的维度。
2022-03-08 cs.LG math.OC stat.ML
Global Convergence of Online Identification for Mixed Linear Regression
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文针对混合线性回归提出两种基于EM原理的在线辨识算法，在不依赖i.i.d.假设下证明其全局收敛，并验证聚类性能渐近达到参数已知时的水平。
2023-11-30 cs.LG cs.SY eess.SY
Online Identification and Tracking of Subspaces from Highly Incomplete Information
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出GROUSE算法，利用Grassmann流形上的增量梯度下降，从高度不完整观测中在线跟踪子空间，并可用于低秩矩阵补全。
2011-07-12 cs.IT cs.SY eess.SY
Greedy Block Coordinate Descent for Large Scale Gaussian Process Regression
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；University of Bonn（波恩大学）
我们提出了一个变量分解算法-贪婪块坐标下降（GBCD）-为了使密集高斯过程回归适用于大规模的问题。GBCD将大规模优化分解为一系列小的子问题。变量分解算法的挑战是识别产生最大改进的子问题（活动变量集）。我们分析了现有方法的局限性，并将活动集选择问题转化为一个零范数约束优化问题，使用贪婪方法求解。通过直接估计目标函数的下降，我们不仅得到有效的近似解GBCD，但我们也能够证明该方法是全局收敛的。与竞争密集方法（如共轭梯度或SMO）的经验比较表明，GBCD快了一个数量级。与稀疏GP方法的比较表明，GBCD既准确又能够处理10万个或更多样本的数据集。
2012-06-13 cs.LG stat.ML
A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning
Indiana University（印第安纳大学）
强化学习方法广泛应用的主要障碍之一是我们的核心学习算法的参数敏感性。在许多大规模的应用中，在线计算和函数逼近是扩展强化学习算法的关键策略。在这种情况下，我们有有效的和合理的理解算法，以适应学习率参数，在线学习过程中。这种元学习方法可以提高学习的鲁棒性，并使当前任务专业化，提高学习速度。对于我们在这里研究的时间差学习算法，还有另一个参数$λ$，它在实践中同样会影响学习速度和稳定性。不幸的是，与学习率参数不同，$λ$参数化了时间差分方法优化的目标函数。$λ$的不同选择产生不同的定点解，因此在线适配$λ$并表征优化实质上比适配学习速率参数更复杂。没有用于$λ$的元学习方法可以实现（1）增量更新，（2）与函数近似的兼容性，以及（3）在开和关策略采样下保持学习的稳定性。在本文中，我们提供了一个新的目标函数优化$λ$作为一个功能的状态，而不是时间。我们推导出一个新的增量，线性复杂度$λ$ -适应算法，不需要离线批量更新或访问的模型的世界，并提出了一套实验说明我们的新算法在三个不同的设置的实用性。总之，我们的贡献代表了在现实世界中的问题的时间差学习方法的黑箱应用的具体步骤。
2016-10-24 cs.AI cs.LG stat.ML
Online optimal exact identification of a quantum change point
我们考虑在线检测策略，用于识别据称在相同状态下制备的量子粒子流中的变点。我们表明，识别的变化点可以通过连续的本地测量，同时达到最佳性能的量子力学设置的范围内没有错误。通过这种方式，我们建立了准确识别量子变化点的任务，作为局部协议与全局协议一样强大的实例。最佳的在线检测策略在后续测量之间只需要一位存储器，并且它适合于用当前技术进行实验实现。
2018-11-06 quant-ph stat.ML
Online Bayesian system identification in multivariate autoregressive models via message passing
Eindhoven Artificial Intelligence Systems Institute（埃因霍温人工智能系统研究所）；Department of Electrical Engineering, Eindhoven University of Technology（电子工程系，埃因霍温理工大学）
本文提出基于因子图消息传递的多元自回归模型递归贝叶斯辨识方法，可同时估计自回归系数与噪声精度的完整后验分布，并支持在线模型证据计算，在合成与机械系统上验证了收敛性和竞争力。
2025-06-03 cs.LG eess.SP stat.ML
Robust Non-linear Regression: A Greedy Approach Employing Kernels with Application to Image Denoising
我们考虑的任务，强大的非线性回归的存在下，内点噪声和离群值。假设未知的非线性函数属于再生核希尔伯特空间（RKHS），我们的目标是估计相关的未知参数的集合。由于异常值的存在，核岭回归（KRR）或支持向量回归（SVR）等常用技术被证明是不够的。相反，我们采用稀疏建模参数显式建模和估计离群值，采用贪婪的方法。所提出的鲁棒方案，即，核贪心算法的鲁棒去噪（KGARD）是在经典的正交匹配追踪（OMP）算法的基础上提出的。具体而言，所提出的方法交替之间的KRR任务和OMP样的选择步骤。提供了有关识别异常值的理论结果。此外，KGARD与其他前沿方法相比，其性能通过一组实验与各种类型的噪声进行评估。最后，将所提出的鲁棒估计框架应用于图像去噪任务，并证明了其在存在离群值的情况下的增强性能。
2016-08-03 cs.LG stat.ML
Online Orthogonal Matching Pursuit
Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；Univ. Paris-Sud（巴黎南大学）；Université Paris-Saclay（巴黎萨克雷大学）
特征选择的贪婪算法被广泛用于恢复线性模型中的稀疏高维向量。在经典的过程中，主要的重点放在样本的复杂性，很少或根本没有考虑所需的计算资源。提出了一种新的在线算法：在线正交匹配追踪（OOMP），用于稀疏线性回归随机设计环境下的在线支持度恢复。我们的程序选择功能顺序，交替之间的分配样本只需要候选功能，并优化选定的一组变量，以估计的回归系数。证明了算法输出的理论保证，并分析了算法的计算复杂度。
2021-02-10 cs.LG stat.ML
Regret Minimization and Statistical Inference in Online Decision Making with High-dimensional Covariates
Hong Kong University of Science and Technology（香港科技大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究高维在线决策的遗憾最小化与统计推断，结合ε-贪心算法与硬阈值估计并提出去偏推断框架，揭示探索-利用权衡，还证明无探索的纯贪心算法在特定条件下可同时实现最优遗憾与一致推断，且经实验验证有效。
2025-05-17 cs.LG stat.ML
Online Time-Varying Topology Identification via Prediction-Correction Algorithms
Theory Lab, Central Research Institute, 2012 Labs, Huawei Technologies Co.,Ltd（华为技术有限公司2012实验室中央研究院理论实验室）
图上支持的数据的信号处理和机器学习算法需要图拓扑的知识。除非这个信息是由问题的物理学给出的（例如，供水网络、电网），拓扑必须从数据中学习。拓扑识别是一项具有挑战性的任务，因为问题往往是不适定的，并且当图结构是时变的时变得更加困难。在本文中，我们解决了动态拓扑识别的问题，建立在最近的结果，从时变优化，设计一个通用的在线算法在非平稳环境中运行。由于其迭代约束的性质，所提出的方法表现出一个内在的时间正则化的图拓扑结构，而不显式地执行it.As一个案例研究，我们专门我们的方法高斯图模型（GGM）的问题，并证实其性能。
2021-02-10 cs.IR cs.LG eess.SP
Malicious Web Domain Identification using Online Credibility and Performance Data by Considering the Class Imbalance Issue
目的：恶意域名识别对于保护互联网用户的安全具有重要意义。利用在线可信度和性能数据，本文旨在通过考虑类不平衡问题（即，存在比恶意网域更多的良性网域）。设计/方法/办法：我们提出了一个综合的reservation方法来处理类不平衡相结合的合成少数过采样技术（SMOTE）和粒子群优化（PSO），基于人口的元启发式算法。我们使用SMOTE的过采样和PSO的欠采样。调查结果：通过应用八个著名的机器学习分类器，建议的综合检索方法进行了全面检查，使用几个不平衡的Web域数据集具有不同的不平衡比率。实验结果表明，该方法与其他五种常见的检索方法相比，具有较高的检索效率.实际影响：该研究不仅为在线可信度和性能数据在恶意域名识别中的实际应用提供了启发，而且为处理恶意域名识别领域的类不平衡问题提供了一种有效的解决方法。创意/价值：在线可信度和性能数据被应用于使用机器学习技术来构建恶意Web域识别模型。提出了一种综合的再分配方法来解决类不平衡问题。基于具有不同不平衡比的真实世界数据集，证实了所提出的方法的性能。
2018-10-19 cs.CR cs.LG cs.NE
DeepWriterID: An End-to-end Online Text-independent Writer Identification System
South China University of Technology（华南理工大学）
由于触摸屏移动终端和基于笔的界面的快速增长，基于手写的书写者识别系统在个人认证、数字取证和其他应用中正吸引越来越多的关注。然而，由于数据的不足和难以在不同的笔迹条件下设计出良好的特征，大部分关于笔迹鉴别的研究并不令人满意。因此，我们引入了一个端到端系统，即DeepWriterID，它采用了深度卷积神经网络（CNN）来解决这些问题。DeepWriterID的一个关键特性是我们提出的一种新方法，称为DropSegment。它旨在实现数据增强，提高CNN的通用性。为了充分的特征表示，我们进一步引入路径签名特征映射来提高性能。实验在NLPR笔迹数据库上进行。即使我们只使用给定手写样本的落笔状态下的笔位置信息，我们也实现了中文文本95.72%和英文文本98.51%的新的最先进的识别率。
2015-12-22 cs.CV cs.LG stat.ML
Online non-convex learning for river pollution source identification
The University of Hong Kong（香港大学）；JD.com, Inc.（京东集团）；Shanghai Jiao Tong University（上海交通大学）；National University of Singapore（新加坡国立大学）
在本文中，新的基于梯度的在线学习算法的发展，调查一个重要的环境应用：实时河流污染源识别，其目的是估计释放的质量，位置和时间的河流污染源下游传感器数据监测污染浓度的基础上。污染被假定为瞬间释放一次。该问题可以被公式化为统计学习中的非凸损失最小化问题，并且我们的在线算法具有向量化和自适应步长，以确保在具有不同幅度的三维中的高估计精度。为了避免算法陷入非凸损失的鞍点，推导了逃逸鞍点模块和多起点设置，通过搜索损失函数的全局最小值，进一步提高估计精度。这可以从理论上和实验上证明为$O(N)$局部遗憾的算法和高概率累积遗憾界$O(N)$在特定的错误界条件下的损失函数。一个实际的河流污染源识别的例子表明，我们的算法相比，现有的方法在估计精度方面的优越性能。还提供了决策者使用算法的管理见解。
2022-03-11 cs.LG math.OC stat.ML
