Active Learning for Online Recognition of Human Activities from Streaming Videos
从流媒体视频中识别人类活动对学习算法提出了独特的挑战:预测模型需要可扩展,可增量训练,并且即使在数据流任意长的情况下也必须保持大小有限。此外,由于参数调整在流设置中是有问题的,因此合适的方法应该是无参数的,并且不对流中可能出现什么类标签做出假设。我们在这里提出了一种从流数据中识别人类动作的方法,它满足所有这些要求:(1)增量学习一个模型,该模型自适应地覆盖具有简单局部分类器的特征空间;(2)采用主动学习策略来减少注释请求;(3)在固定模型大小内实现有希望的准确性。在标准基准上的大量实验表明,我们的方法与最先进的非增量方法相比具有竞争力,并且优于现有的主动增量基线。
2016-04-11 cs.CV cs.LG stat.ML
Streaming PAC-Bayes Gaussian process regression with a performance guarantee for online decision making
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
高斯过程(GP)作为一种功能强大的贝叶斯非参数化算法,在贝叶斯优化和信号处理中发挥着重要作用。全科医生也有先进的在线决策系统,因为他们的后验分布有一个封闭的形式的解决方案。然而,它的训练和推理过程需要存储所有历史数据,并从头开始训练GP模型。出于这些原因,一些在线GP算法,如O-SGPR和O-SVGP,已专门设计用于流媒体设置。在本文中,我们提出了一个新的理论框架,在线GPS的基础上在线可能近似正确(PAC)贝叶斯理论。该框架提供了广义性能和良好的准确性的保证。我们的算法不是最小化边际似然,而是优化经验风险函数和正则化项,这与参数的先验分布和后验分布之间的分歧成比例。除了理论上的吸引力,该算法在几个回归数据集上的经验表现良好。与其他在线GP算法相比,我们产生了泛化保证和非常有竞争力的准确性。
2022-10-26 cs.AI cs.LG stat.ML
Derivative Delay Embedding: Online Modeling of Streaming Time Series
University of Tenneessee(田纳西大学)
来自现实世界的惊人数量的流时间序列需要更高效和有效的在线建模解决方案。对于时间序列建模,大多数现有的工作做了一些不切实际的假设,如输入数据是固定的长度或对齐,这需要额外的努力分割或规范化的原始流数据。虽然一些文献声称他们的方法是不变的数据长度和错位,他们太耗时的流时间序列建模在线的方式。我们提出了一种新的和更实用的在线建模和分类方案,DDE-MGM,它不对时间序列做任何假设,同时保持高效率和最先进的性能。微分延迟嵌入(DDE)的发展,以增量方式将时间序列的嵌入空间,其中的数据的固有特性被保存为递归模式,而不管流的长度和错位。然后,提出了一种非参数马尔可夫地理模型(MGM)的模型和分类的模式在网上的方式。实验结果表明,所提出的DDE-MGM的有效性和优越的分类精度在在线设置相比,国家的最先进的。
2016-09-24 cs.LG
Particle swarm optimization for online sparse streaming feature selection under uncertainty
Chongqing University of Posts and Telecommunications(重庆邮电大学);Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(中国科学院重庆绿色智能技术研究院)
针对在线稀疏流式特征选择中特征-标签关系不确定和数据不完整问题,提出融合粒子群优化与三支决策的POS2FS框架,在六个真实数据集上验证其优于现有OSFS和OS2FS方法。
2025-08-24 cs.AI cs.LG cs.NE
Multi-Modal Machine Learning for Assessing Gaming Skills in Online Streaming: A Case Study with CS:GO
本研究针对在线直播游戏技能评估需求,清理数据集缺陷后提出多模态端到端模型变体学习联合表示,验证了有效性同时发现模型易识别用户而非学习有效表示,指明后续研究方向。
2023-07-23 cs.CV cs.LG
Online Clustering by Penalized Weighted GMM
Intel(英特尔公司)
随着大数据时代的到来,数据集正在迅速增长。数据流来自任何地方-从相机,手机,汽车和其他电子设备。聚类流数据是一个非常具有挑战性的问题。与数据集可以多次存储和扫描的传统聚类算法不同,对流数据进行聚类必须满足诸如有限内存大小、实时响应、未知数据统计和未知簇数量等约束。在本文中,我们提出了一种新的在线聚类算法,可用于聚类流数据,而不知道的簇的数量先验。在合成数据集和真实数据集上的结果表明,该算法产生的分区接近于一次聚类整个数据所能得到的分区。
2019-02-07 cs.CV cs.LG stat.ML
Low-rank extended Kalman filtering for online learning of neural networks from streaming data
U. Chicago(芝加哥大学);Queen Mary Univ.(玛丽女王大学);U. Colorado, Boulder(科罗拉多大学博尔德分校);Google DeepMind(谷歌DeepMind)
提出基于EKF的低秩加对角分解在线贝叶斯推理算法,实现线性计算成本与无需步长调整的确定性学习,在适应分布变化和累积奖励上表现更优。
2023-06-28 cs.LG stat.ML
Federated Online Learning for Heterogeneous Multisource Streaming Data
Yale School of Public Health(耶鲁大学公共卫生学院);Tsinghua University(清华大学);Xiamen University(厦门大学)
针对多源流数据,提出联邦在线学习方法,通过个性化模型与子群假设结合惩罚可更新估计,在保障隐私与降低存储的同时实现最优统计效率与优越预测性能。
2025-08-08 cs.LG stat.ML
An ensemble-based online learning algorithm for streaming data
School of Information and Communication Technology, Griffith University(格里菲斯大学信息与通信技术学院);Department of Computer Science, Water Resources University(水利大学计算机科学系);Computer Science and Information Technology Department, University of Melbourne(墨尔本大学计算机科学与信息技术系)
在这项研究中,我们介绍了一个基于集成的在线机器学习的方法。在我们的方法中的基分类器的集成是通过学习不同的训练集,这是由原始训练集投影到低维空间生成的朴素贝叶斯分类器。我们提出了一种机制,学习数据序列使用数据块范例。在多个UCI数据集和一个人工数据集上进行的实验表明,该方法的性能明显优于一些著名的在线学习算法.
2017-04-26 cs.LG
Streaming Generated Gaussian Process Experts for Online Learning and Control: Extended Version
针对精确高斯过程处理流式数据时计算与内存复杂度高的问题,本文提出流式渐进生成高斯过程专家框架SkyGP及两个针对性变体,经实验验证其性能优于现有最优方法。
2025-11-14 cs.LG cs.SY eess.SY
Learning from time-dependent streaming data with online stochastic algorithms
Sorbonne Université(索邦大学)
该研究针对带时间相关有偏梯度的流式随机优化问题,分析多种一阶SGD方法及其Polyak-Ruppert平均,通过非渐近分析得到加速收敛的启发式规则,并通过模拟与真实数据实验验证理论结论。
2023-07-18 cs.LG math.OC stat.ML
Online and Streaming Algorithms for Constrained $k$-Submodular Maximization
Boston University(波士顿大学);Northeastern University(东北大学)
本文针对基数约束和背包约束下的单调与非单调 k-子模最大化问题,提出了具有常数因子近似保证的单遍流式和在线组合算法,在近似比、空间和运行时间上均达到最优,并在广告分配等应用中验证了其高效性和可扩展性。
2023-05-25 cs.DS cs.LG
A Geometric Approach to Online Streaming Feature Selection
University of Maine(缅因大学);University of Michigan(密歇根大学)
在线流特征选择(OSFS)是一个顺序学习问题,其中所有样本中的各个特征以流的方式提供给算法。在这项工作中,首先,我们断言,OSFS的主要假设,在运行时提供的所有样本的数据是不现实的,并介绍了一个新的设置,功能和样本流并发称为OSFS与流样本(OSFS-SS)。其次,主要的OSFS方法,SAOLA利用一个无界的互信息措施,并需要存储和传入的功能集之间的多个比较步骤,以评估一个功能的重要性。我们介绍几何在线自适应,一种算法,需要相对较少的功能比较步骤,并使用有界的条件几何依赖措施。我们的算法在各种数据集上的性能优于包括SAOLA在内的几个OSFS基线。我们还将SAOLA扩展到OSFS-SS设置中,并表明GOA继续取得最佳效果。第三,目前的OSFS算法比较范式存在缺陷。算法是通过比较使用的特征数量和学习者获得的准确性来衡量的,这两个属性从根本上相互矛盾。如果不对这些属性中的任何一个进行限制,则通过不同算法获得的特征的质量是不可比拟的。我们试图纠正这种不一致,固定的最大数量的功能提供给学习者和比较算法的准确性。此外,我们还描述了SAOLA和GOA在来自流行的深度卷积特征化器的特征集上的行为。
2020-03-16 cs.CV cs.LG stat.ML
Streaming Normalization: Towards Simpler and More Biologically-plausible Normalizations for Online and Recurrent Learning
McGovern Institute(麦戈文研究所);MIT(麻省理工学院)
我们系统地探索了一系列与批量归一化(BN)相关的归一化算法,并提出了一个通用的公式,同时解决了BN的两个主要限制:(1)在线学习和(2)递归学习。我们的建议更简单,在生物学上更合理。与以前的方法不同,我们的技术可以开箱即用地应用于所有学习场景(例如,在线学习、批量学习、全连接、卷积、前馈、递归和混合-递归和卷积),并且与现有方法相比毫不逊色。我们还提出了Lp Normalization,用于通过不同阶的统计矩进行归一化。特别是,L1归一化性能良好,易于实现,计算速度快,生物学上更合理,因此非常适合GPU或硬件实现。
2016-10-19 cs.LG cs.NE
Don't Think It Twice: Exploit Shift Invariance for Efficient Online Streaming Inference of CNNs
EPFL(洛桑联邦理工学院);Embedded Systems Laboratory (ESL)(嵌入式系统实验室(ESL))
本文提出 StreamiNNC 策略,通过利用卷积平移不变性并解决零填充与池化对齐问题,实现重叠窗口 CNN 在线流式推理的线性加速,并在生物医学信号任务中验证了低偏差效果。
2024-08-06 cs.LG
Act Now: A Novel Online Forecasting Framework for Large-Scale Streaming Data
School of Information Science and Engineering, Shandong University(山东大学信息科学与工程学院);School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院);Ocean College, Jiangsu University of Science and Technology(江苏科技大学海洋学院);School of Qilu Transportation, Shandong University(山东大学齐鲁交通学院);Shandong Key Laboratory of Intelligent Communication and Sensing-Computing Integration(山东省智能通信与感知计算集成重点实验室)
针对现有在线预测方法存在信息泄露、概念漂移加剧、验证集缺失及GPU支持不足等问题,提出Act-Now框架,通过RSS算法、FSB/SSB双缓冲区更新、Lade模型及验证集在线更新,在大规模流数据上性能平均提升28.4%和19.5%。
2024-11-28 cs.LG
ROSFD: Robust Online Streaming Fraud Detection with Resilience to Concept Drift in Data Streams
National Institute of Technology(印度国家理工学院)
针对传统批处理难以捕捉流数据中欺诈模式快速演变的问题,提出ROSFD框架,通过离线模型初始化解决冷启动问题,结合实时漂移检测实现模型自适应,在五个数据集中的四个取得最高AUC,减少重新训练次数且不影响性能。
2025-04-14 cs.LG
Online Variance Reduction for Domain Adaptation on Streaming Data
University of Southampton(南安普顿大学)
研究流数据域适应的随机方差缩减问题,提出在线SVR算法ARROW,通过维护移动平均参考和自适应重新加权小批量数据,使小批量与参考统计量对齐,实验表明该算法在运行时间、方差缩减及目标域准确性方面与离线算法相当。
2026-07-23 cs.LG
Using real-time cluster configurations of streaming asynchronous features as online state descriptors in financial markets
School of Computer Science and Applied Mathematics, University of the Witwatersrand(金山大学计算机科学与应用数学学院);Machine Learning Research Group, Oxford-Man Institute of Quantitative Finance, University of Oxford(牛津大学牛津-曼量化金融研究所机器学习研究组)
我们提出了一个计划,在线,无监督的状态发现和检测流,多功能,异步数据在高频金融市场。使用无偏无损傅立叶估计器计算在线特征相关性。一个高速的最大似然聚类算法,然后使用找到最好的解释结构的相关矩阵的特征集群配置。我们推测,这个功能配置是一个候选人的描述系统的时间状态。使用一个简单的集群配置相似性度量,我们能够枚举的状态空间的基础上占主导地位的功能配置。所提出的状态表示消除了对用于状态属性规范的人为驱动的数据预处理的需要,允许学习代理在流数据中找到结构,辨别系统中的变化,枚举其感知的状态空间并学习合适的动作选择策略。
2017-05-04 cs.LG q-fin.CP q-fin.TR
Online Enhanced Semantic Hashing: Towards Effective and Efficient Retrieval for Streaming Multi-Modal Data
Shandong University(山东大学)
随着多媒体设备和应用的蓬勃发展,大规模多模态数据的高效检索已成为一个热门的研究课题。其中,哈希算法由于其检索效率高、存储成本低而成为一种普遍的选择。虽然多模式哈希算法近年来引起了人们的广泛关注,但仍存在一些问题。第一点是,现有的方法主要是在批处理模式下设计的,不能有效地处理流多模态数据。第二点是,所有现有的在线多模式哈希方法都无法有效地处理与流数据块连续出现的看不见的新类。在本文中,我们提出了一个新的模型,称为在线增强语义haShing(OASIS)。我们设计了新的语义增强的数据表示,这可以帮助处理新的未来类,从而构建增强的语义目标函数。进一步提出了一种高效的离散在线优化算法。大量的实验表明,我们的方法可以超过国家的最先进的模型。为了良好的可重复性和造福社区,我们的代码和数据已经在补充材料中提供,并将公开提供。
2022-03-24 cs.LG cs.MM
ODEStream: A Buffer-Free Online Learning Framework with ODE-based Adaptor for Streaming Time Series Forecasting
RMIT University(皇家墨尔本理工大学);University of New South Wales(新南威尔士大学)
本文提出ODEStream无缓冲持续学习框架,结合时间隔离层与神经常微分方程处理不规则流式时间序列,通过学习序列动态变化实现优于现有在线学习基线的长期准确预测。
2025-04-09 cs.LG
Online Kernel Dynamic Mode Decomposition for Streaming Time Series Forecasting with Adaptive Windowing
University of Washington(华盛顿大学)
针对流式数据实时预测中的非平稳与计算限制挑战,提出WORK-DMD方法,结合随机傅里叶特征与在线动态模式分解及滚动窗口Sherman-Morrison更新,实现单次遍历、固定成本的高精度预测,尤其擅长短期预测,为深度学习提供高效替代。
2025-10-17 cs.LG
Burn After Reading: Online Adaptation for Cross-domain Streaming Data
University of Maryland(马里兰大学);Salesforce Research(Salesforce 研究院)
在在线隐私的背景下,许多方法提出了复杂的隐私和安全保护措施来保护敏感数据。在本文中,我们认为:不存储任何敏感数据是最好的安全形式。因此,我们提出了一个“阅后即焚”的在线框架,即每个在线样本在处理后立即删除。同时,我们解决了不可避免的分布偏移之间的标记的公共数据和未标记的私人数据作为无监督的领域自适应的问题。具体来说,我们提出了一种新的算法,旨在在线自适应设置的最根本的挑战-缺乏不同的源-目标数据对。因此,我们设计了一个跨域自举的方法,称为CroDoBo,以增加跨域的组合多样性。此外,为了充分利用不同组合之间的有价值的差异,我们采用了多个学习者与共同监督的培训策略。CroDoBo在四个领域自适应基准上实现了最先进的在线性能。
2021-12-08 cs.CV cs.LG
Gibbs Sampling Strategies for Semantic Perception of Streaming Video Data
Woods Hole Oceanographic Institution(伍兹霍尔海洋研究所);McGill University(麦吉尔大学)
流传感器数据的主题建模可用于移动机器人对环境的高水平感知。在本文中,我们比较各种吉布斯采样策略的主题建模流时空数据,如视频捕获的移动机器人。与以往的在线主题建模,如o-LDA和增量LDA的工作相比,我们表明,所提出的技术的结果在较低的在线和最终的困惑,给定的实时约束。
2015-09-10 cs.LG cs.RO
ORIS: Online Active Learning Using Reinforcement Learning-based Inclusive Sampling for Robust Streaming Analytics System
George Mason University(乔治梅森大学);Amazon(亚马逊公司)
针对流分析系统中标记数据收集的挑战,提出ORIS方法,通过基于强化学习的包容性采样进行在线主动学习,在情感识别任务中其人类标记性能和模型性能均优于传统基线。
2024-11-27 cs.LG
Streaming data preprocessing via online tensor recovery for large environmental sensor networks
Vanderbilt University(范德堡大学)
现在,通过低成本的城市环境传感器网络,可以在细粒度的范围内测量建筑和自然环境。然而,细粒度的城市规模的数据分析是复杂的繁琐的数据清理,包括删除离群值和填补缺失数据。虽然有许多方法可以自动纠正异常情况和估算缺失条目,但在大时空尺度和变化模式的数据方面仍然存在挑战。为了应对这些挑战,我们提出了一种在线鲁棒张量恢复(OLRTR)方法来预处理流高维城市环境数据集。一个小规模的字典,捕捉数据的基础模式进行计算,并不断更新新的数据。OLRTR能够为提供连续数据流的大规模传感器网络实现在线恢复,与离线批处理相比,其计算内存使用量更低。此外,我们制定的目标函数,使OLRTR可以检测结构化的离群值,如错误的读数在很长一段时间。我们验证OLRTR的综合退化的国家海洋和大气管理局温度数据集,恢复误差为0.05,并将其应用到物联网的城市规模的传感器网络在芝加哥,IL的阵列,显示优越的结果相比,几个建立在线和批量为基础的低秩分解方法。
2021-09-01 cs.LG
Optimal Sampling Designs for Multi-dimensional Streaming Time Series with Application to Power Grid Sensor Data
Department of Statistics(统计系);Data Science, University of Central Florida, Orlando, FL 32826 USA(数据科学系,中央佛罗里达大学);Department of Statistics, University of Georgia, Athens, GA 30602 USA(统计系,佐治亚大学)
针对多维流式时间序列在线分析的计算成本问题,提出基于D-最优性准则的混合伯努利与杠杆得分采样方法,在电网数据上优于基准方法。
2023-03-14 cs.LG stat.AP stat.ML
Confidence Decision Trees via Online and Active Learning for Streaming (BIG) Data
决策树分类器是数据流挖掘中广泛使用的工具。使用置信区间来估计与每个分裂相关联的增益导致非常有效的方法,如流行的Hoeffding树算法。从统计学的角度来看,在流设置中的决策树分类器的分析需要知道何时已经收集了足够的新信息来证明分裂叶子是合理的。虽然Hoeffding树的统计分析中的一些问题已经澄清,一般和严格的研究置信区间的分裂标准是失踪。我们填补了这一空白,推导出准确的置信区间估计分裂增益决策树学习的三个标准:熵,基尼指数,和第三个指标提出的卡恩斯和曼苏尔。我们的置信区间更详细地依赖于树的参数。我们还将我们的置信度分析扩展到选择性采样设置,其中决策树学习器自适应地决定在流中查询哪些标签。我们提供了理论保证边界的概率,分类是非最优的学习决策树通过我们的选择性抽样策略。在流媒体环境中对真实数据和合成数据的实验表明,我们的树确实比其他技术生成的具有相同数量叶子的树更准确,并且我们的主动学习模块允许节省标记成本。此外,比较我们的标签策略与最近的方法,我们表明,我们的方法是更强大的和一致的尊重所有其他技术应用于增量决策树。
2016-04-12 cs.LG stat.ML
An Acceleration Scheme for Memory Limited, Streaming PCA
Trinity College Dublin(都柏林圣三一学院)
在本文中,我们提出了一个加速计划的在线内存有限的PCA方法。我们的计划收敛到第一个$k>1$特征向量在一个单一的数据通过。我们提供的经验收敛结果,我们的计划的基础上尖峰协方差模型。我们的计划不需要任何预定义的参数,如本征间隙,因此很好地促进了流数据的情况。此外,我们将我们的计划具有挑战性的时变系统,在线PCA方法无法收敛。具体来说,我们讨论了一个家庭的时变系统,是基于分子动力学模拟批PCA收敛到实际的分析解决方案,这样的系统。
2018-07-17 cs.CV cs.LG stat.ML
Squeezing More from the Stream : Learning Representation Online for Streaming Reinforcement Learning
Chandar Research Lab(昌达研究实验室);Mila - Quebec AI Institute(魁北克人工智能研究所);Royal Military College of Canada(加拿大皇家军事学院);Canada CIFAR AI Chair(加拿大CIFAR人工智能席位)
本文提出了一种改进的流式强化学习方法,通过自预测表示提升表示学习效率,有效解决采样效率低的问题,并在多个基准测试中表现出色。
2026-02-10 cs.AI cs.LG
Near-Optimal Online Deployment and Routing for Streaming LLMs
Stony Brook University(史泰森布鲁克大学)
StageRoute算法通过优化部署和路由策略,在流式LLM管理中实现近最优的并发和成本控制。
2026-01-29 cs.AI cs.LG
Online anomaly detection using statistical leverage for streaming business process events
Ulsan National Institute of Science and Technology (UNIST)(蔚山国家科学技术研究所)
虽然最近在文献中出现了几种用于在离线设置中检测事件日志中的跟踪级异常的技术,但目前缺乏在线设置的这种技术。在线设置中的事件日志异常检测对于发现流程执行中的异常至关重要,一旦异常发生,就可以立即采取早期纠正措施。本文介绍了一种新的方法,事件日志异常检测的事件流,使用统计杠杆。杠杆作用已被广泛用于统计,以制定措施,以确定离群值,它已在本文中的事件流数据的特定场景。所提出的方法已在人工和真实事件流上进行了评估。
2021-03-01 cs.LG stat.CO
Scheduling to Learn In An Unsupervised Online Streaming Model
TIFR, Mumbai(孟买塔塔基础研究院);IIT-Bombay(印度理工学院孟买分校)
一个无监督的在线流模型被认为是在$T$插槽的样本到达在线的方式。存在$M$分类器,其混淆矩阵先验未知。在每个槽中,最多一个样本可以由任何分类器标记。样本的准确性是从各种分类器中为其获得的标签集的函数。样本的效用是其精度减去响应时间(离开时隙和到达时隙的差)的标量倍数,其中离开时隙也由算法决定。由于每个分类器每个时隙最多可以标记一个样本,因此在为特定样本获得更大的标签集合以提高其准确性与其响应时间之间存在折衷。最大化所有样本的效用之和的问题被认为是,学习混淆矩阵,样本分类器匹配分配,和样本离开槽决定相互依赖。该算法首先学习混淆矩阵,然后使用贪心算法进行样本分类器匹配。一旦样本的增量效用变为非正,样本就会离开。我们证明了该算法的竞争比是$\frac{1}{2}-{\mathcal O}\left(\frac{\log T}{T}\right)$。
2021-12-02 cs.LG
Class Incremental Online Streaming Learning
IIT Kanpur(印度理工学院坎普尔分校);Duke University(杜克大学);Verisk Analytics(威斯科分析公司);University of Bath(巴斯大学)
已经开发了各种各样的方法来实现传统深度神经网络中的终身学习。然而,为了取得成功,这些方法需要在训练期间多次访问一批样本。虽然这在静态设置中工作得很好,但在数据到达\emph{online streaming manner}的更现实的情况下,这些方法继续受到影响。我们凭经验证明,如果输入是作为具有以下限制的数据流获得的,则当前方法的性能会降低:$(i)$每个实例每次出现一个并且只能看到一次,并且$(ii)$输入数据违反i.i.d假设,即,可以存在基于类的相关性。我们提出了一种新的方法(CIOSL)的类增量学习的\emph{online streaming setting},以解决这些挑战。该方法利用隐式和显式双权重正则化和经验重放。隐式正则化通过知识蒸馏来利用,而显式正则化通过学习缓冲区重放和当前样本的联合分布来合并用于参数正则化的新方法。此外,我们提出了一个有效的在线内存重放和替换缓冲区的策略,显着提高模型的性能。大量的实验和具有挑战性的数据集上的消融表明所提出的方法的有效性。
2021-10-20 cs.AI cs.CV cs.LG
A Spatio-Temporal Online Robust Tensor Recovery Approach for Streaming Traffic Data Imputation
Center for Intelligent Decision-making and Machine Learning, School of Management, Xi’an Jiaotong University(智能决策与机器学习中心,管理学院,西安交通大学);Department of Marketing, School of Management, Xi’an Jiaotong University(市场营销系,管理学院,西安交通大学)
针对交通数据流式恢复问题,提出一种在线鲁棒张量恢复算法,同时利用全局时空相关性与局部一致性,在保证高恢复精度的同时将计算效率提升多达三个数量级。
2025-11-03 cs.LG stat.ML
Online Deep Learning from Doubly-Streaming Data
Old Dominion University(奥多明尼昂大学);University of Pennsylvania(宾夕法尼亚大学)
本文研究了一个新的在线学习问题与双流数据,其中的数据流描述的特征空间,不断演变,新的功能出现和旧的功能消失。这个问题的挑战有两个方面:1)随着时间的推移,不断流入的数据样本可能会携带变化的模式,需要学习者进行更新,从而适应动态。2)新出现的特征由很少的样本描述,导致弱学习者倾向于做出错误预测。克服这些挑战的一个合理的想法是建立前后演化特征空间之间的关系,以便在线学习者可以利用从旧特征中学到的知识来改善新特征的学习性能。不幸的是,这个想法不能扩展到具有复杂特征相互作用的高维媒体流,这在在线性(偏向浅学习者)和表达性(需要深度学习者)之间进行权衡。基于此,我们提出了一种新的OLD^3S范式,在该范式中,发现了一个共享的潜在子空间来总结新旧特征空间的信息,建立中间特征映射关系。OLD^3S的一个关键特性是将模型容量视为可学习的语义,根据输入数据流的复杂性和非线性,以在线方式联合产生最佳模型深度和参数。理论分析和实证研究证实了我们的建议的可行性和有效性。
2022-09-14 cs.LG
A novel online multi-label classifier for high-speed streaming data applications
提出了一种基于极限学习机的高速在线神经网络多标签分类器。在多标签分类中,每个输入数据样本属于一个或多个目标标签。传统的二值分类和多类分类是多标签分类的子集,其中每个样本只属于一个目标类。多标签分类问题比二进制和多类分类问题复杂得多,因为目标标签的数量和对应于每个输入样本的每个目标标签都要被识别。所提出的工作利用极端学习机的高速特性来实现流数据的实时多标签分类。针对高速流数据多标签分类问题,提出了一种新的基于阈值的在线序贯学习算法。所提出的方法进行了实验,从不同的应用领域,如多媒体,文本和生物学的六个不同的数据集。汉明损失,准确性,训练时间和测试时间的建议的技术进行了比较与9个不同的国家的最先进的方法。实验结果表明,该方法在性能和速度方面优于现有的多标签分类器。
2016-09-01 cs.AI cs.LG cs.NE
Activity Recognition using Hierarchical Hidden Markov Models on Streaming Sensor Data
Amirkabir University of Technology(阿米尔卡比尔理工大学)
从传感器数据中识别活动涉及各种挑战,例如重叠活动,活动标记和活动检测。虽然识别领域的每个挑战都非常重要,但最重要的挑战是在线活动识别。本研究尝试使用在线层次隐马尔可夫模型来检测传感器数据流上的活动,该模型可以预测具有任何传感器事件的环境中的活动。活动识别样本通过活动持续时间等统计特征进行标记。我们提出的方法在现实世界中的两个不同的灵巧家庭数据集上进行测试的结果表明,一个数据集的结果提高了4%,达到了59%,而另一个数据的结果达到了64.6%,通过使用最好的方法。
2018-10-04 cs.LG stat.ML
Streaming Variational Monte Carlo
Stony Brook University(石溪大学)
针对流式非线性状态空间模型中状态与动力学联合推断难题,提出结合变分推断和序贯蒙特卡洛的在线贝叶斯滤波框架,并用稀疏高斯过程建模潜在动力学,实现恒定时间复杂度。
2021-11-08 cs.LG stat.ML
What Streaming Anomaly Detection Finds (and Misses) in Industrial Time Series
EDF R&D(法国电力集团研发部);Inria, ENS, CNRS, PSL(法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、巴黎文理研究大学)
本研究比较了流式方法与在线TSAD模型在真实核电站数据上的异常检测性能,发现在线TSAD一致性更高,集成策略鲁棒性强。
2026-10-01 cs.AI cs.LG
Online Proximal ADMM for Graph Learning from Streaming Smooth Signals
Pontificia Universidad Católica del Perú(秘鲁天主教大学);University of Rochester(罗切斯特大学)
本文提出一种基于近端ADMM的在线图学习算法,用于从流式平滑信号中高效学习动态图结构,具有低内存消耗和次线性遗憾,并在实验中优于现有基线。
2024-09-19 cs.LG eess.SP
Online NEAT for Credit Evaluation -- a Dynamic Problem with Sequential Data
Southern University of Science and Technology(南方科技大学)
在本文中,我们描述了神经进化的P2P贷款问题,其中的信用评估模型更新的基础上流数据的应用。我们采用的算法神经进化的增广拓扑(NEAT),这还没有广泛应用的信用评估领域。除了比较的方法与其他广泛应用的机器学习技术,我们开发和评估几个增强算法,使其适用于特定方面的在线学习是相关的问题。这些问题包括处理不平衡的流数据、高计算成本以及随时间保持模型相似性,即用新数据训练随机学习算法,但最小化模型改变,除非对模型性能有明显的益处
2020-07-06 cs.LG stat.ML
Online Linearized LASSO
The Hong Kong University of Science and Technology(香港科技大学);Tower Research Capital LLC(Tower研究资本有限责任公司);University of Toronto(多伦多大学)
稀疏回归已成为一种流行的方法来执行变量选择,并提高预测精度和解释的统计模型。现有的方法主要集中在离线正则化回归,而在线的情况下,很少有研究。在本文中,我们提出了一种新的在线稀疏线性回归框架分析流数据时,数据点顺序到达。我们提出的方法是内存有效的,需要不太严格的限制强凸性假设。从理论上讲,我们表明,与适当选择的正则化参数,$\ell_2$ -范数统计误差的估计减少到零的最佳顺序的$\tilde{O}({\sqrt{s/t}})$,其中$s$是稀疏水平,$t$是流样本量,和$\tilde{O}(\cdot)$隐藏对数项。数值实验证明了算法的有效性。
2023-01-02 cs.LG stat.ML
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University(京都大学)
本文描述了一种有效的训练方法,在线流的注意力为基础的编码器-解码器(AED)的自动语音识别(ASR)系统。AED机型通过联合优化所有组件,在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架,通过模型,如单调分块注意力(MoChA)。然而,精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外,序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题,我们提出了CTC同步训练(CTC-ST),其中利用CTC对齐作为令牌边界的参考,使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标,以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外,所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此,CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明,该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法,并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器(RNN-T)相当的识别准确性,同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
Online Learning with Recency: Algorithms for Sliding-window Streaming Multi-armed Bandits
Johns Hopkins University(约翰霍普金斯大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Texas A&M University(德克萨斯农工大学)
针对在线学习中的近因效应,研究单遍滑动窗口流式多臂老虎机问题,提出纯探索和遗憾最小化算法,并给出记忆-遗憾权衡。
2026-06-08 cs.DS cs.LG
Sonic: A Sampling-based Online Controller for Streaming Applications
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在诸如机器学习和计算机视觉之类的重要问题领域中的许多应用都是随着时间的推移获取一系列输入的流应用。找到优化这些应用程序的运行时性能的旋钮设置是具有挑战性的,因为最佳旋钮设置通常是输入、计算平台、时间以及用户要求的函数,这些要求可能非常多样化。大多数先前的工作解决这个问题,离线剖析,然后训练模型的控制。然而,基于分析的方法在执行之前会产生很大的开销;在其他运行时配置中重新部署它们也很困难。在本文中,我们提出了Sonic,一个基于采样的在线控制器,用于长期运行的流媒体应用程序,不需要提前分析。在流媒体应用程序执行的每个阶段,Sonic利用开始部分对旋钮空间进行策略性采样,并针对用户指定的约束优化问题,为其余阶段选择最佳旋钮设置。机器学习回归和贝叶斯优化的混合方法用于更好的总体采样选择。Sonic的实现独立于应用程序、设备、输入、性能目标和约束。我们在传统的并行基准测试以及跨多个平台的深度学习推理基准测试上评估Sonic。我们的实验表明,当使用Sonic来控制旋钮设置时,应用程序运行时性能仅比使用最佳旋钮设置时低5.3%,这表明Sonic能够在不同的运行时配置下快速找到接近最佳的旋钮设置而无需先验知识。
2021-08-15 cs.DC cs.LG cs.PF
Online TT-ALS for Streaming Tensor Decomposition with Incremental Orthogonalization
The University of Osaka(大阪大学)
提出在线TT-ALS算法,通过增量正交化实现流式张量分解,在保持高重构精度的同时降低计算复杂度,并在视频质量指标上超越现有在线方法。
2026-07-01 cs.CV cs.LG cs.NA
Fast Online "Next Best Offers" using Deep Learning
TCS Research(塔塔咨询服务公司研究院)
在本文中,我们提出了iPrescribe,一个可扩展的低延迟架构,用于在在线环境中推荐“下一个最佳产品”。本文介绍了iPrescribe的设计,并比较其性能的实现使用不同的实时流技术栈。iPrescribe使用深度学习和机器学习算法的集成进行预测。我们描述了可扩展的实时流技术栈和优化的机器学习实现,以实现38毫秒的第90百分位推荐延迟。优化包括一种新的机制,可以有效地部署周期性长短期记忆(LSTM)深度学习网络。
2019-05-31 cs.DC cs.LG cs.PF
Efficient Principal Subspace Projection of Streaming Data Through Fast Similarity Matching
Flatiron Institute(弗莱提伦研究所);NYU Langone Medical Center(纽约大学朗格尼医学中心)
大数据问题通常需要以流方式处理数据集,因为所有数据都可以同时使用,但总体上大于可用内存,或者因为数据本质上一次到达一个数据点,必须在线处理。在这里,我们介绍了一个计算效率高的版本的相似性匹配,在线降维的框架,增量估计流数据的顶部K维主子空间,同时在内存中只保留最后一个样本和当前样本。为了评估我们的方法的性能,我们构建并公开了一个测试套件,其中包含一个合成数据生成器和基础设施,用于在真实数据集上测试在线降维算法,以及我们的算法和具有类似目标的竞争算法的性能实现。在考虑的算法中,我们发现我们的方法是有竞争力的,在合成和真实数据上都是最好的。
2018-08-06 cs.LG stat.CO
Fast Botnet Detection From Streaming Logs Using Online Lanczos Method
CA Technologies, Inc.(CA Technologies公司);College of Computing & Informatics, Drexel University(德雷塞尔大学计算与信息学院);Department of Mathematics, Temple University(Temple大学数学系);Department of Computer Science, Maryland University at Baltimore County(马里兰大学巴尔的摩县计算机科学系)
本文提出了一种基于在线兰茨斯方法的僵尸网络检测方法,通过将PCA方法改进为亚立方复杂度,提高了实时检测的准确性和灵敏度,同时提出了通用的在线相关矩阵更新公式和新的终止条件。
2018-12-19 cs.CR cs.LG cs.NA
Online Sparse Feature Selection in Data Streams via Differential Evolution
Chongqing University of Posts and Telecommunications(重庆邮电大学);Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(中国科学院重庆绿色智能技术研究院)
本文提出了一种基于微分进化的在线稀疏特征选择方法,通过潜在因子分析插补缺失数据并评估特征重要性,以提升数据流中特征选择的性能。
2025-11-24 cs.AI cs.LG
Online Real-time Learning of Dynamical Systems from Noisy Streaming Data: A Koopman Operator Approach
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出一种基于鲁棒Koopman算子的在线实时学习算法,从含噪流式数据中学习动态系统,获得线性表示,计算效率优于EDMD,并在多个系统上验证有效性。
2023-12-24 cs.LG math.DS
Streaming Coresets for Symmetric Tensor Factorization
IIT Gandhinagar(印度理工学院甘地纳格尔分校)
分解张量最近已经成为许多机器学习管道中的重要优化模块,特别是在潜变量模型中。我们展示了如何在流媒体设置中有效地做到这一点。给定一组$n$向量,每个在$\mathbb{R}^d$,我们提出的算法来选择一个次线性数量的这些向量作为coreset,同时保证CP分解的$p$矩张量的coreset近似相应的分解的$p$矩张量计算的完整的数据。我们介绍了两种新的算法技术:在线过滤和核化。使用这两个,我们提出了六个算法,实现不同的权衡coreset大小,更新时间和工作空间,击败或匹配各种最先进的算法。在矩阵($2$有序张量)的情况下,我们的在线行采样算法保证了$(1 \pm ε)$相对误差谱近似。我们展示了我们的算法在学习单主题建模中的应用。
2020-07-13 cs.DS cs.LG stat.ML
Streaming Binary Sketching based on Subspace Tracking and Diagonal Uniformization
CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心)
在本文中,我们解决的问题,学习紧凑的相似性保持嵌入大量的高维数据流,以执行有效的相似性搜索。我们提出了一种新的在线方法来计算高维真实特征向量的二进制压缩表示(草图)。给定一个期望的代码长度$c$和高维输入数据点,我们的算法提供了一个$c$位的二进制代码,以保持从原始高维空间的点之间的距离。我们的算法既不需要存储整个数据集,也不需要存储块,因此它完全适应流媒体设置。它还提供低时间复杂度和收敛保证。我们证明了我们的二进制草图的质量,通过对真实数据的最近邻搜索任务在网上设置的实验。
2018-02-08 cs.LG