Grassmannian Optimization for Online Tensor Completion and Tracking with the t-SVD
University of Michigan（密歇根大学）
我们提出了一个新的快速流算法的张量完成问题的输入丢失的条目的低管秩张量使用张量奇异值分解（t-SVD）代数框架。我们表明，t-SVD是一个专业化的研究块项分解的三阶张量，我们提出了一个算法，在这个模型下，可以跟踪不完整的流2-D数据的变化自由子模块。该算法利用子空间的格拉斯曼流形上的增量梯度下降原理，以线性复杂度和时间样本数的恒定记忆来解决张量完成问题。我们提供了我们的算法的局部预期线性收敛结果。我们的经验结果在准确性上具有竞争力，但在计算时间上比实际应用中最先进的张量完成算法要快得多，以在有限的采样下恢复时间化学传感和MRI数据。
2022-04-14 cs.LG eess.SP
Online Tensor Methods for Learning Latent Variable Models
University of California, Irvine（加州大学欧文分校）
我们介绍了一个在线张量分解为基础的方法为两个潜在的变量建模问题，即（1）社区发现，其中我们学习的潜在社区，社会行动者在社交网络属于，和（2）主题建模，其中我们推断隐藏的主题的文本文章。我们考虑使用随机梯度下降矩张量的分解。我们在SGD中进行多线性运算的优化，避免直接形成张量，以节省计算和存储成本。我们提出了两个平台上的优化算法。我们基于GPU的实现利用SIMD架构的并行性，通过仔细优化存储和数据传输来实现最大的加速，而我们基于CPU的实现使用高效的稀疏矩阵计算，适合于大型稀疏数据集。对于社区发现问题，我们在Facebook，Yelp和DBLP数据集上展示了准确性和计算效率，对于主题建模问题，我们在纽约时报数据集上也展示了良好的性能。我们比较我们的结果的国家的最先进的算法，如变分法，并报告增益的准确性和增益的几个数量级的执行时间。
2015-10-03 cs.DC cs.LG cs.SI
Online Tensor Learning: Computational and Statistical Trade-offs, Adaptivity and Optimal Regret
University of Michigan（密歇根大学）；Hong Kong University of Science and Technology（香港科技大学）
本文提出在线黎曼梯度下降算法 oRGrad 及其自适应版本，通过在线更新和自适应步长解决大规模张量学习的高计算与存储问题，在未知时间范围下实现最优遗憾和统计最优误差率。
2024-10-22 cs.LG stat.ML
Online Multilinear Dictionary Learning
Department of Electrical & Electronic Engineering, Imperial College London, United Kingdom（伦敦帝国理工学院电子与电气工程系）
提出了一种在线张量字典学习方法。在可分字典的假设下，利用张量收缩将$\mathcal{O}\left(L^N\right)$的$N$ -路模型简化为具有实时性的简单的$\mathcal{O}\left(NL^2\right)$矩阵方程。为了避免稀疏矩阵求逆引起的数值不稳定性，通过最小二乘解构造了一类具有记忆的随机梯度算法，以保证算法的收敛性和鲁棒性。讨论并实现了精确线搜索的梯度下降法和牛顿法。还详细解释了如何处理不良初始化和离群值的扩展。两个合成信号的实验证实了我们所提出的方法令人印象深刻的性能。
2020-03-10 cs.LG stat.ML
POLA: Online Time Series Prediction by Adaptive Learning Rates
Institute for Infocomm Research（资讯通信研究院）
流时间序列数据的在线预测对于许多实际应用具有实际用途，其中下游决策取决于对未来的准确预测。动态环境中的部署要求模型快速适应不断变化的数据分布，而不会过度拟合。我们提出了POLA（通过学习率适应在线预测）来自动调节递归神经网络模型的学习率，以适应随时间变化的时间序列模式。POLA通过吸收用于在线预测的先决或先测试后训练评估方案来元学习随机梯度下降（SGD）算法的学习率。我们在三个常用的递归神经网络模型的两个真实数据集上评估POLA。POLA表现出与其他在线预测方法相比具有可比或更好的预测性能。
2021-02-17 cs.LG stat.ML
Constrained Online Convex Optimization with Memory and Predictions
本文研究了具有记忆的约束在线凸优化（COCO-M），提出首次实现亚线性后悔和亚线性累积约束违反的算法，适用于时间变化约束，且在有无预测情况下均有效。
2026-03-22 cs.LG stat.ML
NonSTOP: A NonSTationary Online Prediction Method for Time Series
University of Washington（华盛顿大学）；Microsoft（微软）
我们提出了在线预测方法的时间序列，让我们明确地处理非平稳的文物（如趋势和季节性）存在于最真实的时间序列。具体来说，我们表明，应用适当的变换，这样的时间序列预测之前，可以导致改进的理论和经验预测性能。此外，由于这些转换通常是未知的，我们采用学习与专家设置开发一个完全在线的方法（NonSTOP-NonSTationary Online Prediction）预测非平稳时间序列。该框架考虑了单变量时间序列中的季节性和/或其他趋势以及多变量时间序列中的协整。我们的算法和遗憾分析继承了最近的相关工作，同时显着扩展了这些方法的适用性。对于所有的方法，我们提供了次线性遗憾界使用宽松的假设。理论上的保证并没有完全捕捉到转换的好处，因此我们提供了一个数据依赖的分析，跟随领导者算法，提供了洞察使用这种转换的成功。我们支持我们所有的模拟和真实数据的实验结果。
2018-08-26 cs.LG stat.ML
Online Convex Optimization Using Predictions
利用预测是在线算法的一个关键领域，但尚未得到充分开发。本文研究了一类在线优化问题，我们有外部噪声预测。我们提出了一个随机预测误差模型，该模型概括了学习和随机控制社区中的先验模型，结合了预测误差之间的相关性，并捕捉到预测随着时间的推移而改善的事实。我们证明，实现次线性的遗憾和恒定的竞争比在线算法需要使用一个无界的预测窗口在对抗设置，但在更现实的随机预测误差模型下，可以使用平均固定地平线控制（AFHC），同时实现次线性的遗憾和恒定的竞争比在预期中使用一个恒定大小的预测窗口。此外，我们表明，AFHC的性能是紧密集中在其平均值。
2015-04-25 cs.LG
Online Optimization with Predictions and Non-convex Losses
IIIS, Tsinghua University（清华大学交叉信息研究院）；California Institute of Technology（加州理工学院）
我们研究在线优化的设置，在线学习者寻求优化每轮命中成本，这可能是非凸的，而在轮之间改变动作时会产生移动成本。我们要求：\textit{under what general conditions is it possible for an online learner to leverage predictions of future cost functions in order to achieve near-optimal costs?}先前的工作提供了接近最优的在线算法的特定组合的假设击中和切换成本，但没有一般的结果是已知的。在这项工作中，我们给出了两个一般的充分条件，指定击球和运动成本之间的关系，保证了一个新的算法，同步固定地平线控制（SFHC），提供了一个$1+O(1/w)$竞争比，其中$w$是学习者可用的预测数。我们的条件不要求成本函数是凸的，我们也得到了非凸的打击和运动成本的竞争比结果。我们的研究结果提供了第一个常数，无量纲的竞争比在线非凸优化运动成本。此外，我们给出了一个自然实例的例子，凸体追逐（CBC），其中不满足充分条件，我们可以证明没有在线算法可以具有收敛到1的竞争比。
2020-01-24 cs.LG stat.ML
Online Localized Conformal Prediction
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文提出OLCP方法，结合在线适应与协变量依赖的局部化，以更好地反映异质性，并通过模拟和实验证明其在长期覆盖性上的有效性。
2026-05-08 cs.LG
Lazy Lagrangians with Predictions for Online Learning
Trinity College Dublin（都柏林圣三一学院）；Delft University of Technology（代尔夫特理工大学）
我们考虑一般的在线凸优化问题与时变的附加约束下的预测下一个成本和约束函数。将Follow-The-Regularized-Leader迭代与预测自适应动态步长相结合，设计了一种新的原始-对偶算法。该算法实现了$\mathcal O(T^{\frac{3-β}{4}})$遗憾和$\mathcal O(T^{\frac{1+β}{2}})$约束违反边界，可通过参数$β\!\in\
