Online learning of Riemannian hidden Markov models in homogeneous Hadamard spaces
Centre for Mathematical Sciences, University of Cambridge（剑桥大学数学科学中心）；CNRS（法国国家科学研究中心）；University of Bordeaux（波尔多大学）；University of Cambridge（剑桥大学）
欧氏空间中的隐马尔可夫模型在信号和图像处理中起着重要的作用。以前的工作扩展到模型的观察位于黎曼流形的基础上鲍姆-韦尔奇算法遭受高内存使用和速度慢。在这里，我们提出了一个算法，是在线的，更准确，并提供了显着的速度和效率的提高。
2022-07-04 cs.LG math.DG stat.CO
Activity Recognition using Hierarchical Hidden Markov Models on Streaming Sensor Data
Amirkabir University of Technology（阿米尔卡比尔理工大学）
从传感器数据中识别活动涉及各种挑战，例如重叠活动，活动标记和活动检测。虽然识别领域的每个挑战都非常重要，但最重要的挑战是在线活动识别。本研究尝试使用在线层次隐马尔可夫模型来检测传感器数据流上的活动，该模型可以预测具有任何传感器事件的环境中的活动。活动识别样本通过活动持续时间等统计特征进行标记。我们提出的方法在现实世界中的两个不同的灵巧家庭数据集上进行测试的结果表明，一个数据集的结果提高了4%，达到了59%，而另一个数据的结果达到了64.6%，通过使用最好的方法。
2018-10-04 cs.LG stat.ML
Existence conditions for hidden feedback loops in online recommender systems
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们探讨了在线推荐系统中隐藏的反馈环效应。反馈循环导致在线多臂强盗（MAB）建议退化为一个小的子集，失去覆盖范围和新颖性。我们研究了用户兴趣的不确定性和噪声如何影响反馈回路的存在。首先，我们证明了用户兴趣中的无偏加性随机噪声不会阻止反馈回路。其次，我们证明了重置用户兴趣的非零概率足以限制反馈回路并估计效果的大小。我们的实验证实了理论研究结果在模拟环境中的四个强盗算法。
2021-12-16 cs.IR cs.LG
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-05-25 cs.LG math.OC stat.ML
Dynamical Models and Tracking Regret in Online Convex Programming
Duke University（杜克大学）
本文介绍了一种新的在线凸优化方法，它结合了一个家庭的候选动力学模型，并建立了新的跟踪遗憾界的规模与比较器的偏差，在这个家庭中的最佳动力学模型。先前的在线优化方法被设计为具有与最佳比较器序列的总累积损失相当的总累积损失，并且现有的跟踪或移位遗憾界限随着比较器序列的总体变化而缩放。然而，在许多实际情况下，环境是非平稳的，并且具有小变化的比较器序列是相当弱的，从而导致大的损失。相比之下，所提出的动态镜像下降方法可以通过跟踪最佳动态模型并基于该模型形成预测来产生相对于高度可变的比较器序列的低遗憾。这一概念在动态场景的连续压缩观察和跟踪动态社交网络的背景下实证。
2013-01-07 cs.LG stat.ML
Online Network Inference from Graph-Stationary Signals with Hidden Nodes
Rey Juan Carlos University（胡安·卡洛斯国王大学）；Rice University（莱斯大学）
针对真实场景中数据不完整、无法一次性获取且存在隐藏节点的问题，提出基于图平稳信号的在线图估计方法，通过近端梯度算法实时求解凸优化问题，理论与实验验证了其在缺失观测下的可行性。
2024-09-13 cs.LG eess.SP
The Estimation of Continual Causal Effect for Dataset Shifting Streams
Didi Chuxing（滴滴出行）
本文提出ICE-PKD框架，通过多处理uplift network和增量训练策略应对时间性数据集变化，提升在线营销中的因果效应估计性能，并已部署于网约车平台。
2025-04-29 cs.AI cs.LG stat.ME
Hidden Representation Clustering with Multi-Task Representation Learning towards Robust Online Budget Allocation
Meituan Beijing, China（美团北京）
本文提出一种基于多任务表示学习和隐表示聚类的在线预算分配方法，将大规模个体分组并建模为整数随机规划问题，在美团平台实验中显著优于现有算法。
2025-06-01 cs.LG
Online Pseudo-average Shifting Attention(PASA) for Robust Low-precision LLM Inference: Algorithms and Numerical Analysis
Huawei Technologies Co., Ltd.（华为技术有限公司）；Xiamen University（厦门大学）；Beijing Jiaotong University（北京交通大学）；Tohoku University（东北大学）；Fudan University（复旦大学）；Shanghai Jiaotong University（上海交通大学）；Cambridge Research Institute（剑桥研究院）
针对长序列推理中注意力计算耗时问题，提出基于Flash Attention的低精度等价算法PASA，通过在线伪平均移位和全局恢复技术避免半精度溢出并提升受限硬件性能，经多模型验证有效。
2025-02-26 cs.AI cs.LG cs.NA
Optimal Hidden-Target Learning for Online Inventory Optimization on General Convex Sets
UIUC（伊利诺伊大学厄巴纳-香槟分校）
针对一般凸容量集上的在线库存优化问题，提出隐藏目标投影方法，将遗憾从逆概率依赖改进为平方根逆概率依赖，并证明匹配下界，同时首次给出强凸损失的 polylog 遗憾和动态遗憾保证。
2026-06-15 cs.LG cs.SY eess.SY
A Predictive View on Streaming Hidden Markov Models
Oxford-Man Institute, University of Oxford（牛津大学牛津曼研究所）
本文提出一种预测优先的优化框架，用于流式隐马尔可夫模型，通过在线学习预测模型参数，在固定转移先验下实现准确的步进预测分布。
2026-04-10 cs.LG stat.ML
Online Learning with Automata-based Expert Sequences
Courant Institute（库朗研究所）；Google Research（谷歌研究院）
我们认为一个一般的框架在线学习与专家的意见，遗憾的定义相对于序列的专家接受了加权自动机。我们的框架涵盖了以前研究的几个问题，包括与K-移位专家的竞争。我们给出了一系列的算法，这个问题，包括一个自动机为基础的算法扩展加权多数和更有效的算法的基础上的概念，故障转移。我们进一步提出了有效的算法的竞争对手自动机的近似的基础上，特别是通过最小化的\infty -雷尼分歧得到的n元模型，并提出了广泛的研究这种模型的近似特性。最后，我们还将我们的算法和结果扩展到睡眠专家的框架。
2017-10-22 cs.LG
Beyond Worst-Case Online Classification: VC-Based Regret Bounds for Relaxed Benchmarks
Yale University（耶鲁大学）；MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
该研究针对在线二分类，提出与捕捉平滑最优性的松弛基准竞争的方法，算法后悔界仅依赖VC维与实例空间复杂度，对广义间隔γ呈O(log(1/γ))依赖并补充匹配下界，连接对抗鲁棒性与平滑在线学习思想。
2025-04-14 cs.LG stat.ML
The Hidden Cost of Approximation in Online Mirror Descent
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究）
研究在线镜像下降（OMD）在近似误差下的鲁棒性，发现正则子光滑度与误差容忍度密切相关：均匀光滑正则子有紧界，而负熵在单纯形上需指数小误差，对数障碍和Tsallis正则子仅需多项式误差。
2026-06-19 cs.LG
Decoding Hidden Markov Models Faster Than Viterbi Via Online Matrix-Vector (max, +)-Multiplication
University of Trento（特伦托大学）；Politecnico di Milano（米兰理工大学）；University of Verona（维罗纳大学）
本文提出了一种新的时间齐次隐马尔可夫模型（HMM）的最大后验译码（MAPD）算法，将经典Viterbi算法的最坏情况下的运行时间提高了一个对数因子。在我们的方法中，我们解释的维特比算法作为一个重复计算的矩阵向量$(\max, +)$乘法。在时间齐次的Hynomial上，这种计算是在线的：一个预先知道的矩阵必须与几个向量相乘，每次一个。我们的主要贡献是一个算法解决这个版本的矩阵向量$(\max,+)$乘法在次二次时间，通过执行多项式预处理的矩阵。采用这种快速乘法算法，我们解决了在$O(mn^2/ \log n)$时间的任何时间齐次HMM的大小$n$和观察序列的长度$m$的MAPD问题，与额外的多项式预处理成本可以忽略不计的$m > n$。据我们所知，这是第一个算法的MAPD问题需要次二次时间每次观察，唯一的假设下-通常在实践中验证-转移概率矩阵不随时间变化。
2015-12-11 cs.DS cs.IT cs.LG
Plasticity of Growing and Elastic Neural Networks in Online Continual Learning
University of California, Los Angeles (UCLA)（加利福尼亚大学洛杉矶分校）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本文研究在线持续学习中生长型与弹性型神经网络的可塑性，实验显示自适应生长型和弹性型神经网络可维持高准确率、不丧失可塑性，或为在线持续学习提供有前景的算法类别。
2026-08-04 cs.LG
An Online Expectation-Maximisation Algorithm for Nonnegative Matrix Factorisation Models
University of Cambridge（剑桥大学）
在本文中，我们制定的非负矩阵分解（NMF）问题作为隐马尔可夫模型的最大似然估计问题，并提出在线期望最大化（EM）算法估计的NMF和其他未知的静态参数。我们还提出了一个连续的Monte Carlo近似我们的在线EM算法。我们展示了所提出的方法的性能与两个数值例子。
2014-01-11 cs.LG stat.CO stat.ML
Parameter-Free and Group Conditional Online Conformal Prediction
Data Science and AI Institute (DSAI), Johns Hopkins University（数据科学与人工智能研究院（DSAI），约翰霍普金斯大学）；Mathematical Institute for Data Science (MINDS), Johns Hopkins University（数据科学数学研究院（MINDS），约翰霍普金斯大学）；Department of Biomedical Engineering, Johns Hopkins University（生物医学工程系，约翰霍普金斯大学）；Department of Computer Science, Johns Hopkins University（计算机科学系，约翰霍普金斯大学）；Amazon Responsible AI（亚马逊负责任人工智能）
提出一种无参数算法用于组条件在线共形预测，在保证组条件覆盖的同时无需调参，并在合成和真实数据上验证了其有效性和可靠性。
2026-07-08 cs.LG stat.ML
Bayesian Online Change Point Detection for Baseline Shifts
Intel K.K.（英特尔株式会社）
在时间序列数据分析中，实时（在线）检测变化点在许多领域都有很大的兴趣，例如金融，环境监测和医学。一个有前途的手段来实现这一点是贝叶斯在线变化点检测（BOCPD）算法，这已成功地通过在特定的情况下，其中的时间序列的利益有一个固定的基线。然而，我们已经发现，当基线不可逆地从其初始状态转移时，该算法会出现问题。这是因为使用原始BOCPD算法，如果数据点在相对远离原始基线的位置处波动，则可以检测到变化点的灵敏度降低。在本文中，我们不仅扩展了原来的BOCPD算法适用于一个时间序列，其基线是不断向未知值，但也可视化为什么建议的扩展工程。为了证明所提出的算法的有效性相比，原来的，我们研究这些算法在两个真实世界的数据集和六个合成数据集。
2022-01-07 cs.LG stat.AP stat.ML
Online Security Learning in Cooperative Multi-Agent Systems under Hidden Byzantine Attacks
本文针对隐藏拜占庭攻击下的多智能体系统在线协同控制问题，分析攻击者信息对模型几何特性的影响，推导安全学习的信息论极限，提出鲁棒学习者并给出遗憾界，为可靠多智能体系统提供理论与算法基础。
2026-08-10 cs.LG
Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems
Google LLC（谷歌有限责任公司）；Google DeepMind（谷歌DeepMind）；University of California, Davis（加州大学戴维斯分校）
本文针对推荐系统中知识蒸馏被忽视的数据分布偏移、教师配置寻优及标签共享等挑战，提出并在Google多个大规模视频推荐系统上评估了稳健的KD系统，在线实验证明其显著提升了学生模型性能并保障了高质量教师标签的持续生成。
2024-08-26 cs.AI cs.IR cs.LG
Oracle-Efficient Hybrid Online Learning with Unknown Distribution
Purdue University（普渡大学）
针对特征由未知独立同分布过程生成、标签对抗生成的混合在线学习问题，提出Oracle高效在线预测器，首次得到次线性遗憾界，验证了相关猜想并扩展到分布漂移及情境K臂老虎机场景。
2024-01-27 cs.LG stat.ML
An Online Learning-based Framework for Tracking
University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们研究的跟踪问题，即，估计隐藏状态的对象随着时间的推移，从不可靠的和嘈杂的测量。跟踪问题的标准框架是生成框架，这是解决方案的基础，如贝叶斯算法及其近似，粒子滤波器。然而，这些解决方案可能对模型失配非常敏感。在本文中，动机的在线学习，我们介绍了一个新的框架跟踪。我们为这个框架提供了一个有效的跟踪算法。我们提供的实验结果比较我们的算法模拟数据的贝叶斯算法。实验结果表明，当模型存在轻微的不匹配时，该算法的性能优于贝叶斯算法。
2012-03-15 cs.AI cs.LG stat.ML
Online Learning for the Random Feature Model in the Student-Teacher Framework
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Universität Leipzig（莱比锡大学）
本文在学生-教师框架下通过推导微分方程研究随机特征模型的过参数化问题，发现仅当隐藏层大小呈指数级大于输入维度时才能实现完美泛化，否则存在非零渐近泛化误差。
2023-04-06 cond-mat.dis-nn cs.AI cs.LG
Dynamic Matching Bandit For Two-Sided Online Markets
University of California Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对双边在线市场中偏好随上下文动态变化的问题，提出动态匹配赌博机算法，通过在线估计偏好排序实现智能体最优稳定匹配，并证明对数遗憾界，实验验证其鲁棒性与实用性。
2024-05-29 cs.GT cs.LG cs.MA
Revealing the Hidden Patterns: A Comparative Study on Profiling Subpopulations of MOOC Students
Durham University（杜伦大学）；University of São Paulo（圣保罗大学）
大规模开放式在线课程（MOOC）显示出学生的显著异质性。来自MOOC平台的复杂“大数据”的出现是一个具有挑战性但有益的机会，可以深入了解学生如何参与MOOC。过去的研究主要关注整体行为，可能错过了与学生多样性有关的模式。使用FutureLearn提供的MOOC中的大型数据集，我们深入研究了一种通过机器学习和统计建模来研究隐藏模式的新方法。在本文中，我们报告的聚类分析的学生活动和比较分析的行为模式和人口统计学模式的学生亚群之间的MOOC。我们的方法可以更深入地了解MOOC学生的行为和成就。我们的研究结果可用于设计增强MOOC体验的自适应策略
2020-08-12 cs.HC cs.LG
Harnessing the Continuous Structure: Utilizing the First-order Approach in Online Contract Design
本文利用连续动作空间和一阶条件刻画在线合约设计中的代理人行为，并将多结果合约、线性合约及同质代理人合约学习分别归约或算法化，得到更简单且具有多项式样本复杂度的方案。
2025-06-09 cs.GT cs.LG
Online Domain-aware LLM Decoding for Continual Domain Evolution
University of North Texas（北卡罗来纳州立大学）
本文提出在线领域感知解码框架ODD，通过概率融合和自适应置信度调节，提升LLM在持续领域变化中的适应能力，实验表明其在语法和语义生成任务中表现优异。
2026-02-08 cs.AI cs.LG
Denoising and Adaptive Online Vertical Federated Learning for Sequential Multi-Sensor Data in Industrial Internet of Things
Peng Cheng Laboratory（鹏城实验室）
针对工业装配线多传感器序列数据的隐私、通信噪声与异构性问题，提出DAO-VFL在线纵向联邦学习算法，并通过遗憾界分析和两个真实数据集验证其优越性能。
2025-01-03 cs.LG cs.NI
