Modeling and Mining Multi-Aspect Graphs With Scalable Streaming Tensor Decomposition
University of California Riverside（加州大学河滨分校）
图表几乎出现在每一个现实世界的应用领域，从在线社交网络到健康数据和电影观众模式。通常情况下，这种真实世界的图表是大的和动态的，在这个意义上，他们随着时间的推移而发展。此外，图通常包含多方面的信息，即在社交网络中，我们可以在节点之间拥有“通信手段”，例如谁给谁发消息，谁给谁打电话，以及谁在谁的时间轴上发表评论等等。我们如何从这样的多方面图中建模和挖掘有用的模式，例如图中的节点社区？当要处理的数据量非常大时，我们如何识别这些图中的动态模式，以及如何处理流数据？为了回答这些问题，在这篇论文中，我们提出了新的基于张量的方法来挖掘静态和动态多方面图。一般来说，张量是矩阵的高阶泛化，可以表示高维多方面数据，如时间演化网络，协作网络和时空数据，如脑电图（EEG）大脑测量。本论文分为两个协同推进：首先，我们专注于静态多方面图，其目标是通过利用数据中的张量结构来识别节点之间的一致社区和模式。其次，随着我们的图的动态演变，我们专注于处理数据中的这种流更新，而不必重新计算分解，而是增量地更新现有的结果。
2022-10-10 cs.AI cs.LG cs.SI
CyberCScope: Mining Skewed Tensor Streams and Online Anomaly Detection in Cybersecurity Systems
SANKEN, Osaka University（大阪大学 SANKEN）
提出流式方法CyberCScope，通过混合偏斜无限与有限维分解处理高阶张量流，实现网络安全中多类型入侵的实时检测与特征总结。
2025-03-02 cs.AI cs.CR cs.LG
Multi-Aspect Mining and Anomaly Detection for Heterogeneous Tensor Streams
SANKEN, The University of Osaka（SANKEN大学）
HeteroComp通过建模异构张量流的潜在群体和时序动态，实现对群体异常的高效检测。
2026-02-04 cs.LG
Discovering general partial orders in event streams
Indian Institute of Science（印度科学学院）；Microsoft Research Labs（微软研究院实验室）
频繁事件发现是一种流行的事件流模式发现框架。一个事件是一个部分有序的节点集，每个节点与一个事件类型相关联。有效的（和单独的）算法存在的情节发现时，相关的偏序是总（串行情节）和平凡（并行情节）。在本文中，我们提出了有效的算法发现频繁情节一般偏序。这些算法可以很容易地专门用于发现串行或并行事件。此外，算法是足够灵活的，专门用于挖掘空间中的某些有趣的偏序子类。我们指出，在频繁偏序挖掘中存在固有的组合爆炸，最重要的是，频率本身并不足以衡量兴趣度。我们提出了一个新的兴趣度一般偏序情节和发现方法，基于此措施，过滤掉不感兴趣的偏序。仿真实验证明了算法的有效性。
2009-12-11 cs.AI cs.LG
Active Mining of Parallel Video Streams
Faculdade de Engenharia da Universidade do Porto (FEUP)（波尔图大学工程学院（FEUP））；INESC TEC（INESC TEC（科技与创新国家研究所））
视频监控系统的实用性受到可以放置在人力资源上的查询量及其响应的警惕性的不利限制。为了超越这一限制，正在进行的一项重大努力是包括（完全或至少半）自动挖掘视频片段的软件，以减少对系统的负担。在这里，我们提出了一个半监督的增量学习框架，不断发展的视觉流，以开发一个强大的和灵活的轨道分类系统。我们提出的方法通过每次更新一个集合来从连续的批次中学习。它试图在系统性能和需要标记的数据量之间取得平衡。由于没有考虑任何限制，该系统可以解决许多实际问题，在一个不断发展的多摄像机的场景，如概念漂移，类进化和各种长度的视频流，以前没有解决。在非平稳环境中对合成和真实世界的视觉数据进行了实验，结果显示出很高的准确性，而人类的协作却很少。
2014-05-14 cs.CV cs.LG
Continuous Outlier Mining of Streaming Data in Flink
Department of Informatics, Aristotle University of Thessaloniki, Greece（塞萨洛尼基亚里士多德大学信息学系）；The University of Manchester, UK（曼彻斯特大学）
在这项工作中，我们专注于度量空间中基于距离的离群值，其中实体是否是离群值的状态是基于其邻域中其他实体的数量。近年来，有几种解决方案已经解决了数据流中基于距离的离群值问题，其中离群值必须随着新元素的可用而不断挖掘。一个有趣的研究问题是将流环境与大规模并行系统相结合，以提供可扩展的基于流的算法。然而，先前提出的技术中没有一个涉及大规模并行设置。我们的提案填补了这一空白，并调查了将最先进的技术转移到Apache Flink的挑战，这是一个用于密集流媒体分析的现代平台。我们全面介绍了遇到的技术挑战和可能应用的替代方案。我们显示的速度高达117（分别。2076）倍于一个天真的平行（resp.非并行）解决方案，只使用一个普通的四核机器和一个真实世界的数据集。当迁移到三台机器集群时，由于竞争较少，我们能够在窗口幻灯片大小和数据维度方面实现更好的可扩展性，甚至更高的加速，例如，是510倍总的来说，我们的研究结果表明，oulier挖掘可以以一种高效和可扩展的方式实现。由此产生的技术已作为开源软件公开提供。
2019-02-21 cs.DB cs.DC cs.LG
Mining Process Model Descriptions of Daily Life through Event Abstraction
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research（飞利浦研究院）
流程挖掘技术的重点是从事件日志中提取对流程的洞察。过程挖掘有可能在（非）健康习惯方面提供有价值的见解，并在应用于来自灵巧家庭环境的数据时有助于环境辅助生活解决方案。然而，在灵巧家庭环境中记录的事件是在传感器触发器的级别上，在该级别上，过程发现算法产生过度概括的过程模型，该过程模型允许太多的行为并且难以为人类专家解释。我们表明，抽象的事件，以更高层次的解释，可以发现更精确，更容易理解的模型。我们提出了一个框架提取的功能，可用于抽象的监督学习方法，是基于XES IEEE标准的事件日志。在传感器和人类活动事件都已知的训练数据上训练该框架之后，该框架可以自动地将传感器级事件抽象为它们在人类活动级的解释。我们展示了我们的抽象框架上的三个现实生活中的灵巧家庭事件日志，并表明，抽象后可以发现的过程模型确实更精确。
2017-05-25 cs.AI cs.DB cs.LG
Updating Formulas and Algorithms for Computing Entropy and Gini Index from Time-Changing Data Streams
Artificial Intelligence Laboratory, Jožef Stefan Institute（约瑟夫·斯特凡研究所人工智能实验室）
尽管人们对数据流挖掘越来越感兴趣，但最成功的增量学习器，如VFDT，仍然使用周期性的重新计算来更新属性信息增益和基尼指数。本文提供了从时变数据流中计算熵和基尼指数的简单增量公式和算法。
2016-07-30 cs.AI cs.LG
Adversarial Concept Drift Detection under Poisoning Attacks for Robust Data Stream Mining
Virginia Commonwealth University（弗吉尼亚联邦大学）
从流数据中进行连续学习是当代机器学习中最具挑战性的课题之一。在这一领域，学习算法不仅要能够处理大量快速到达的数据，而且要使自己适应潜在的新兴变化。数据流的演化性质的现象被称为概念漂移。虽然有大量的方法用于检测其发生，但所有这些方法都假设漂移与数据源的潜在变化有关。但是，必须考虑恶意注入虚假数据以模拟概念漂移的可能性。这种对抗性的设置假设可能进行中毒攻击，以便通过强制适应错误数据来破坏底层的分类系统。现有的漂移检测器不能区分真实的和敌对的概念漂移。在本文中，我们提出了一个强大的概念漂移检测框架中存在的对抗性和中毒攻击。我们介绍了两种类型的对抗性概念漂移的分类，以及一个强大的可训练漂移检测器。它是基于增强的限制玻尔兹曼机与改进的梯度计算和能量函数。我们还介绍了鲁棒性的相对损失-一种新的措施，用于评估中毒攻击下的概念漂移检测器的性能。大量的计算实验，进行充分和稀疏标记的数据流，证明了高鲁棒性和效率的漂移检测框架在对抗性的情况下。
2020-09-20 cs.LG stat.ML
Concept Drift Adaptation in Text Stream Mining Settings: A Systematic Review
Instituto Federal de Santa Catarina（圣卡塔琳娜联邦教育、科学和技术学院）；Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学）；Instituto Federal de São Paulo（圣保罗联邦教育、科学和技术学院）；Universidade de Campinas（坎皮纳斯大学）；École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）；Universidade Estadual de Ponta Grossa（庞塔格罗萨州立大学）
本文对2018-2024年8月48篇论文进行系统综述，分析文本流挖掘场景中概念漂移适应的漂移类别、检测类型、模型更新机制等，还讨论漂移可视化与模拟，指出开放挑战与未来方向。
2024-11-25 cs.CL cs.IR cs.LG
GlaLSTM: A Concurrent LSTM Stream Framework for Glaucoma Detection via Biomarker Mining
Department of Computer Science, Southern Methodist University（计算机科学系，南方 Methodist 大学）；Department of Ophthalmology, University of Texas Southwestern Medical Center（眼科系，德克萨斯南方医学中心大学）；National Aeronautics and Space Administration（美国国家航空航天局）；Department of Pharmacy and Health Systems Sciences, Northeastern University（药学与健康系统科学系，东北大学）
本文提出 GlaLSTM 并发 LSTM 流框架，通过挖掘潜在生物标志物关系实现青光眼检测，在提升准确率的同时增强模型可解释性，并超越现有最先进方法。
2025-09-22 cs.CV cs.LG eess.IV
Fast and Multi-aspect Mining of Complex Time-stamped Event Streams
Osaka University（大阪大学）；Fujitsu（富士通）；RIKEN（理化学研究所）
本文提出 CubeScope 方法，用于在高阶张量事件流中高效挖掘 regimes 和 components 两类模式，并支持异常检测，在真实数据上验证了其准确性和速度优势。
2023-07-06 cs.AI cs.IT cs.LG
On Mining IoT Data for Evaluating the Operation of Public Educational Buildings
Sapienza University of Rome（罗马第一大学）
公共教育系统运营着成千上万的建筑物，这些建筑物在规模、年龄、位置、建筑、热行为和用户社区方面具有截然不同的特征。他们的战略规划和可持续运营是一个非常复杂的过程，需要对建筑物的性能进行定量分析，例如室内-室外环境的相互作用。物联网（IoT）部署可以提供必要的数据来评估，重新设计并最终改进组织和管理措施。在这项工作中，提出了一种数据挖掘方法来分析在希腊，意大利和瑞典的18所学校建筑中部署的物联网基础设施在2年内收集的传感器数据。现实世界的评估表明，对传感器数据的数据挖掘可以为建筑物管理人员和保管人员提供关键的见解，了解如何通过有效管理建筑物运营来降低建筑物的能源足迹。
2019-06-20 cs.LG eess.SP
Activity Recognition using Hierarchical Hidden Markov Models on Streaming Sensor Data
Amirkabir University of Technology（阿米尔卡比尔理工大学）
从传感器数据中识别活动涉及各种挑战，例如重叠活动，活动标记和活动检测。虽然识别领域的每个挑战都非常重要，但最重要的挑战是在线活动识别。本研究尝试使用在线层次隐马尔可夫模型来检测传感器数据流上的活动，该模型可以预测具有任何传感器事件的环境中的活动。活动识别样本通过活动持续时间等统计特征进行标记。我们提出的方法在现实世界中的两个不同的灵巧家庭数据集上进行测试的结果表明，一个数据集的结果提高了4%，达到了59%，而另一个数据的结果达到了64.6%，通过使用最好的方法。
2018-10-04 cs.LG stat.ML
A Causality-Aware Pattern Mining Scheme for Group Activity Recognition in a Pervasive Sensor Space
Korea Advanced Institute of Science & Technology（韩国科学技术院）；Meta
本文提出一种因果感知模式挖掘方案，通过从普适传感器事件序列中提取频繁因果模式并进行加权模式匹配，在无需用户识别的情况下实现高效群体活动识别，实验表明其识别精度优于现有方案且运行时开销较小。
2023-12-01 cs.DB cs.LG
Streaming data preprocessing via online tensor recovery for large environmental sensor networks
Vanderbilt University（范德堡大学）
现在，通过低成本的城市环境传感器网络，可以在细粒度的范围内测量建筑和自然环境。然而，细粒度的城市规模的数据分析是复杂的繁琐的数据清理，包括删除离群值和填补缺失数据。虽然有许多方法可以自动纠正异常情况和估算缺失条目，但在大时空尺度和变化模式的数据方面仍然存在挑战。为了应对这些挑战，我们提出了一种在线鲁棒张量恢复（OLRTR）方法来预处理流高维城市环境数据集。一个小规模的字典，捕捉数据的基础模式进行计算，并不断更新新的数据。OLRTR能够为提供连续数据流的大规模传感器网络实现在线恢复，与离线批处理相比，其计算内存使用量更低。此外，我们制定的目标函数，使OLRTR可以检测结构化的离群值，如错误的读数在很长一段时间。我们验证OLRTR的综合退化的国家海洋和大气管理局温度数据集，恢复误差为0.05，并将其应用到物联网的城市规模的传感器网络在芝加哥，IL的阵列，显示优越的结果相比，几个建立在线和批量为基础的低秩分解方法。
2021-09-01 cs.LG
Streaming Algorithms for Pattern Discovery over Dynamically Changing Event Sequences
Virginia Tech（弗吉尼亚理工大学）；Microsoft Research（微软研究院）
发现事件序列上的频繁发作是一项重要的数据采掘任务。在许多应用中，构成数据序列的事件作为流以极快的速率到达，并且由于底层事件生成过程的动态性质，最近的趋势（或频繁的情节）可能改变和漂移。在许多应用场景中，检测和跟踪频繁发作的这种变化集合的能力可能是有价值的。当前用于频繁情节发现的方法通常是多遍算法，这使得它们不适合流媒体上下文中。在本文中，我们提出了一个新的流算法发现频繁的情节在一个窗口中的流中最近的事件。我们的算法在事件到达时处理它们，一次一批，同时在由几个批次组成的窗口中发现最频繁的事件。我们推导出近似保证我们的算法的条件下，频繁的情节近似以及分离的不频繁的窗口的每一批。我们提出了广泛的实验评估我们的算法在真实和合成数据。我们还提出了比较基线和适应流算法的项集挖掘文献。
2012-05-21 cs.DB cs.LG
Fast Wireless Sensor Anomaly Detection based on Data Stream in Edge Computing Enabled Smart Greenhouse
Qufu Normal University（曲阜师范大学）；Weifang University of Science and Technology（潍坊科技学院）；Nanjing University of Science and Technology（南京理工大学）；Shandong First Medical University (Shandong Academy Of Medical Sciences)（山东第一医科大学（山东省医学科学院））
基于边缘计算的智能温室是物联网技术的代表性应用，它可以实时的监测环境信息，并利用这些信息进行智能决策。在此过程中，无线传感器数据的异常检测起着重要的作用。然而，传统的异常检测算法主要针对静态数据的异常检测，没有考虑无线传感器产生的数据流的无限性、相关性和概念漂移等固有特性，这给基于数据流的异常检测带来了很大的挑战，导致检测精度和效率较低。首先，数据流通常是快速生成的，这意味着它是无限的和巨大的，所以任何传统的离线异常检测算法，试图存储整个数据集或扫描数据集多次异常检测将耗尽内存空间。其次，不同数据流之间存在相关性，传统算法很少考虑这一点。第三，底层数据生成过程或数据分布可能会随时间而改变。因此，传统的异常检测算法如果不进行模型更新，将失去其有效性。针对这些问题，本文提出了一种基于局部敏感散列和时间窗技术的DLSHiForest方法，在实现准确高效检测的同时解决了这些问题。综合实验使用真实世界的农业温室数据集，以证明我们的方法的可行性。实验结果表明，我们的建议是切实可行的，在解决传统的异常检测的挑战，同时确保准确性和效率。
2021-07-28 cs.AI cs.LG eess.SP
Privacy Mining from IoT-based Smart Homes
Simula Research Laboratory（西穆拉研究实验室）；University of Oslo（奥斯陆大学）
近来，各种各样的智能设备被部署在各种环境中以提高人类生活质量。基于物联网的重要应用之一是用于医疗保健的灵巧家庭，特别是针对老年人。基于物联网的灵巧家庭使老年人的健康得到适当的监测和照顾。然而，长者的隐私可能会因网络通信未完全保护或其他原因而从灵巧家庭中泄露。为了证明这个问题是多么严重，我们在本文中介绍了一个隐私挖掘方法（PMA）挖掘隐私从灵巧家庭进行一系列的推理和分析所产生的传感器数据集由灵巧家庭。实验结果表明，PMA能够推导出一个全局的传感器拓扑结构的灵巧家庭和披露老人的隐私，他们的房子布局。
2018-09-11 cs.CY cs.LG stat.ML
Tensor Embedding: A Supervised Framework for Human Behavioral Data Mining and Prediction
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）
今天的密集仪器化的世界提供了巨大的机会，连续采集和分析的多模态传感器数据提供个人的行为的时间表征。是否有可能将如此丰富的传感器数据与预测建模技术有效地结合起来，以提供对个人表现和健康的上下文和有见地的评估？从这些嘈杂的、不完整的和异质的生物行为时间数据中预测人类行为的不同方面是一个具有挑战性的问题，超越了潜在结构的无监督发现。针对高维多模态数据，提出了一种基于输入变量和目标变量联合分解的监督张量嵌入算法。此外，我们表明，特征选择将有助于减少污染的预测和提高性能。通过两个不同的真实世界的数据集的方法的有效性进行了测试。
2018-08-31 cs.LG stat.ML
Generating Time-Based Label Refinements to Discover More Precise Process Models
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research（飞利浦研究院）
流程挖掘是一个研究领域，专注于分析事件数据，旨在提取与动态行为相关的见解。将过程挖掘技术应用于来自灵巧家庭环境的数据，有可能为（不）健康习惯提供有价值的见解，并有助于环境辅助生活解决方案。然而，找到正确的事件标签来启用流程挖掘技术的应用远非微不足道，因为简单地使用触发传感器作为传感器事件的标签会导致无信息模型，从而允许太多的行为（过度泛化）。领域专家建议的传感器级事件标签的改进已经被证明可以发现更精确和更有洞察力的过程模型。然而，目前还没有自动化的方法来生成细化的事件标签的过程挖掘的上下文中。在本文中，我们提出了一个框架，自动生成的标签细化的事件的时间属性的基础上，使我们能够区分行为上不同的情况下，相同的事件类型的时间属性的基础上。我们展示了一个案例研究与现实生活中的灵巧家庭事件数据，使用自动生成的精炼标签的过程发现，我们可以找到更具体的，因此更有见地，过程模型。我们观察到，一个标签细化可能会对其他标签细化一起使用时的有用性产生影响。因此，我们探索四种策略来生成多个标签细化的有用组合，并在三个现实生活中的灵巧家庭事件日志上进行评估。
2017-10-31 cs.AI cs.DB cs.LG
Efficient Subspace Search in Data Streams
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
在现实世界中，数据流无处不在--想想网络流量或传感器数据。采矿模式，例如，离群值或聚类必须实时的发生。这是具有挑战性的，因为（1）流通常具有高维度，以及（2）数据特性可能随时间而改变。现有的方法往往只关注一个方面，要么是高维，要么是流媒体设置的细节。对于静态数据，一种常见的处理高维数据的方法-称为子空间搜索-提取低维的、“有趣的”投影（子空间），在这些投影中更容易找到模式。在本文中，我们通过将子空间搜索推广到数据流来解决挑战（1）和（2）。我们的方法，流贪婪最大随机偏差（SGMRD），监测有趣的子空间在高维数据流。它利用新的多变量依赖估计和监测技术的基础上，强盗理论。我们发现，SGMRD的好处是双重的：（i）它有效地监控子空间，（ii）这提高了下游数据采掘任务，如离群值检测的结果。我们的实验，对合成和真实世界的数据进行，证明SGMRD优于其竞争对手的大幅度。
2021-01-07 cs.DS cs.LG
Integrating E-Commerce and Data Mining: Architecture and Challenges
我们表明，电子商业领域可以提供所有正确的成分，成功的数据采掘，并声称它是一个杀手域的数据采掘。我们描述了一个集成的体系结构，根据我们的经验，在蓝色马提尼软件，支持这种集成。该架构可以显著减少预处理、清理和数据理解工作，这些工作通常在知识发现项目中占用80%的时间。我们强调需要在应用程序服务器层（而不是Web服务器）进行数据汇集，以支持对发现过程至关重要的数据和元数据的日志记录。我们描述了从事务处理系统和客户事件流（例如，clickstreams）到数据仓库。我们详细介绍了挖掘工作台，它需要通过报告、数据采掘算法、可视化和OLAP提供数据的多个视图。我们总结了一系列挑战。
2000-07-14 cs.AI cs.CV cs.DB
Missing Value Imputation for Multi-attribute Sensor Data Streams via Message Propagation (Extended Version)
Roskilde University（罗斯基勒大学）；Zhejiang University（浙江大学）；Aalborg University（奥尔堡大学）；Technische Universität Berlin（柏林工业大学）；DFKI Berlin（德国人工智能研究中心柏林分部）；BIFOLD（柏林信息与数据基础研究所）
针对物联网传感器数据流中的缺失值问题，提出基于消息传播的填补网络MPIN及连续填补框架，实现高效准确填补，实验证明性能大幅优于现有方法。
2023-11-14 cs.DB cs.LG
More Sensors Only One Field: Rethinking Continual Spatio-Temporal Forecasting
City University of Hong Kong (Dongguan)（香港城市大学（东莞））；City University of Hong Kong（香港城市大学）；Zhuhai College of Science and Technology（珠海科技学院）；Northwestern Polytechnical University（西北工业大学）
针对传感器扩展导致连续时空预测性能下降的问题，提出STFO方法，将预测知识参数化为共享场演化算子，通过坐标归一化聚合和频谱描述符适应动态变化，在三个数据集上取得最先进性能。
2026-09-28 cs.LG
Multi-Source Transfer Learning for Non-Stationary Environments
University of Leicester（莱斯特大学）；University of Birmingham（伯明翰大学）
在数据流挖掘中，预测模型通常会由于概念漂移而导致预测性能下降。由于必须收集表示新概念的足够数据以使新概念被很好地学习，因此现有模型的预测性能通常需要一些时间来从概念漂移中恢复。为了提高数据流挖掘中概念漂移的恢复速度和预测性能，提出了一种新的非静态环境下的多源在线迁移学习方法（Melanie）。Melanie是第一种能够在非静态环境中的多个数据流源之间传输知识的方法。它创建了几个子分类器，随着时间的推移从不同的源和目标概念中学习不同的方面。识别与当前目标概念匹配良好的子分类器，并将其用于组成用于从目标概念预测示例的集成。我们评估梅兰妮几个合成数据流包含不同类型的概念漂移和现实世界的数据流。实验结果表明，Melanie算法能够处理多种数据流漂移，并通过利用多个数据源提高预测性能。
2019-03-22 cs.LG stat.ML
A Utility-Mining-Driven Active Learning Approach for Analyzing Clickstream Sequences
Høgskulen på Vestlandet（西挪威应用科技大学）
本研究提出了一种基于效用挖掘的主动学习策略HUSPM-SHAP模型，通过利用SHAP值进行高效用序列模式挖掘，在维持高预测性能的同时有效减少了数据标注需求，优化了电子商务点击流数据的预测建模。
2026-10-30 cs.LG
SparseSense: Human Activity Recognition from Highly Sparse Sensor Data-streams Using Set-based Neural Networks
The University of Adelaide（阿德莱德大学）
无电池或所谓的无源可穿戴设备为人类活动识别（HAR）提供了新的创新方法，特别是在老年人的医疗保健应用中。无源传感器成本低、重量轻、不显眼并且理想地是一次性的;对于医院和疗养院中的医疗保健应用具有吸引力的属性。尽管传感应用的令人信服的主张，从这些传感器的数据流的特点是高稀疏性-传感器读数之间的时间间隔是不规则的，而每单位时间的读数的数量往往是有限的。在本文中，我们严格探讨了从时间稀疏数据中学习活动识别模型的问题。我们描述了如何以端到端的方式使用深度学习范式直接从稀疏数据中学习。我们在老年人的真实无源传感器数据集上展示了最先进的深度学习人类活动识别模型的显着分类性能改进。此外，我们通过对基准数据集的补充实验和对学习到的活动特征空间的可视化来深入了解模型的行为。
2019-06-06 cs.HC cs.LG stat.ML
A Historical Context for Data Streams
University of Helsinki（赫尔辛基大学）；Ecole Polytechnique（巴黎综合理工学院）
本文回顾了数据流研究的历史背景，旨在将流式机器学习中常见的严格假设置于其历史脉络中加以理解。
2023-10-18 cs.DB cs.LG cs.SY
Online Local Boosting: improving performance in online decision trees
Londrina State University（隆德里纳州立大学）；University of São Paulo（圣保罗大学）
随着每天产生的数据越来越多，数据流挖掘的重要性也越来越大，这表明需要能够快速处理这些数据的算法。数据流挖掘算法是专门针对连续数据问题的在线知识提取解决方案。目前的数据流挖掘算法中，有许多算法的处理和存储开销都很大.通常，预测性能越高，这些成本就越高。为了在不增加内存和时间开销的情况下提高预测性能，提出了一种新的在线局部提升算法（OLBoost），该算法可以与在线决策树算法相结合，在不改变诱导决策树结构的情况下提高其预测性能.为此，OLBoost会对实例空间的小的单独区域应用提升。实验结果表明，通过使用OLBoost，在线学习决策树算法的预测性能得到了显著提高。此外，它可以使较小的树表现得与较大的树一样好或更好。
2019-07-16 cs.LG stat.ML
A multi-modal approach towards mining social media data during natural disasters -- a case study of Hurricane Irma
University of North Carolina - Greensboro（北卡罗来纳大学格林斯伯勒分校）；The Pennsylvania State University（宾夕法尼亚州立大学）；Mississippi State University（密西西比州立大学）
流媒体社交媒体提供了极端天气影响的实时一瞥。然而，大量的流数据使挖掘信息成为应急管理人员、政策制定者和学科科学家的挑战。在这里，我们探讨了数据学习方法的有效性，以挖掘和过滤来自飓风厄玛在美国佛罗里达州登陆的流媒体数据中的信息。我们使用了来自16，598名用户的54，383条Twitter消息（来自784 K地理定位消息）。2017年10月10日至12日，开发4个独立的模型来过滤相关性数据：1）基于每个推文的地点和时间的强制条件的地理空间模型，2）包括图像的推文的图像分类模型，3）预测高音喇叭可靠性的用户模型，以及4）确定文本是否与飓风伊尔玛有关的文本模型。所有四个模型都经过独立测试，并且可以结合起来，根据用户为每个子模型定义的阈值快速过滤和可视化推文。我们设想，这种类型的过滤和可视化例程可以作为从噪声源（如Twitter）中捕获数据的基础模型。这些数据随后可以被政策制定者、环境管理者、应急管理者和领域科学家使用，他们有兴趣找到具有特定属性的推文，以便在灾难的不同阶段使用（例如，准备、响应和恢复）或详细研究。
2021-01-02 cs.IR cs.LG cs.SI
Improving the performance of bagging ensembles for data streams through mini-batching
Federal University of São Carlos（圣卡洛斯联邦大学）；University of Waikato（怀卡托大学）
通常，机器学习应用必须应对动态环境，其中数据以具有潜在无限长度和瞬态行为的连续数据流的形式收集。与传统的（批处理）数据采掘相比，流处理算法对计算资源和数据演化的适应性有额外的要求。它们必须增量地处理实例，因为数据的连续流禁止为多个传递存储数据。在这种情况下，包围学习取得了显著的预测性能。作为一组（几个）单独的分类器实现，集成自然是并行任务。然而，用于捕获概念漂移的增量学习和动态数据结构增加了高速缓存未命中并阻碍了并行性的益处。本文提出了一种mini-decompression策略，可以提高多核环境下流挖掘集成算法的存储访问局部性和性能。借助一个正式的框架，我们证明了迷你的缓存可以显着降低重用距离（和缓存未命中的数量）。应用具有不同特征的四个基准数据集对六种不同的最先进的集成算法进行的实验显示，在8核处理器上的加速比高达5倍。这些好处是以预测性能的小幅降低为代价的。
2021-12-18 cs.LG cs.PF
The Wilderness Area Data Set: Adapting the Covertype data set for unsupervised learning
Queen’s University（女王大学）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
基准数据集在机器学习研究中至关重要，正如现有的公开数据库数量所表明的那样。虽然其中许多也可用于流挖掘上下文中，但哪些数据集可用于评估数据流聚类算法并不明显。我们注意到，经典的Covertype数据集的大小使其在流挖掘中具有吸引力，但不幸的是，它是专门为分类设计的。在这里，我们详细介绍了将Covertype数据集转换为适合无监督学习的数据集的过程，我们称之为Wilderness Area数据集。我们的定量分析使我们得出结论，荒野地区的数据集是更适合无监督学习比原来的覆盖型数据集。
2019-01-30 cs.LG stat.ML
Streaming Traffic Flow Prediction Based on Continuous Reinforcement Learning
Northeast Normal University（东北师范大学）
交通流预测是智能交通的重要组成部分。其目标是根据传感器和交通网络记录的历史数据预测未来的交通状况。随着城市的不断建设，部分交通网络将被添加或修改。如何准确预测不断扩展和演进的长期流媒体网络具有重要意义。为此，我们提出了一个新的基于模拟的标准，该标准考虑教导自主代理模仿传感器模式，根据传感器的配置文件（例如，交通、速度、占用率）。当代理可以完美地模拟传感器的活动模式时，传感器记录的数据是最准确的。我们建议制定的问题作为一个连续的强化学习任务，其中代理是下一个流量值预测，行动是下一个时间序列的流量值的传感器，和环境状态是一个动态融合的传感器和运输网络的表示。代理采取的行动改变了环境，这反过来又迫使代理的模式更新，而代理进一步探索动态交通网络中的变化，这有助于代理更准确地预测其下一次访问。因此，我们开发了一种策略，其中传感器和交通网络相互更新，并将时间的背景下，随着时间的推移量化状态表示。
2022-12-24 cs.LG stat.ML
An Ensemble Classification Algorithm Based on Information Entropy for Data Streams
School of Computer and Information Technology, Shanxi University（山西大学计算机与信息技术学院）；Key Laboratory of Computational Intelligence and Chinese Information Processing, Ministry of Education（计算智能与中文信息处理教育部重点实验室）；School of Computer Science and Technology, Faculty of Electronic Information and Electrical Engineering, Dalian University of Technology（大连理工大学电子信息与电气工程学部计算机科学与技术学院）
数据流挖掘问题在机器学习和数据采掘领域引起了广泛的关注。近年来的一些研究中，集成分类被广泛应用于概念漂移检测，但大多数研究都将分类准确率作为判断概念漂移是否发生的标准。信息熵是测量不确定度的一种重要而有效的方法。基于信息熵理论，提出了一种利用信息熵对分类结果进行评价的新算法。它采用集成分类技术，通过集成分类器系统产生的结果的熵来确定每个分类器的权重。当数据流中的概念发生变化时，一次放弃权值低于某个阈值的分类器，以适应新的概念。在实验分析部分，六个数据库和四个提出的算法执行。实验结果表明，该方法不仅能有效地处理概念漂移问题，而且在分类精度和时间性能上都优于对比算法。
2017-08-11 cs.DS cs.LG
Enhancing Predictive Maintenance in Mining Mobile Machinery through a TinyML-enabled Hierarchical Inference Network
本文提出ESN-PdM分层推理框架，利用TinyML在边缘设备、网关和云端动态调整推理位置，平衡准确率、延迟与能耗，实现采矿机械可靠的实时预测性维护与异常检测。
2024-11-16 cs.DC cs.LG cs.MA
Mining Heterogeneous Multivariate Time-Series for Learning Meaningful Patterns: Application to Home Health Telecare
在过去的几年里，时间序列挖掘已经成为研究人员的一个具有挑战性的问题。一个重要的应用在于大多数监控目的，这需要分析大量的时间序列来学习通常的模式。任何偏离该学习到的配置文件的情况都被认为是意外情况。此外，复杂的应用程序可能涉及到几个异构参数的时间研究。在这篇论文中，我们提出了一种方法来挖掘异构多元时间序列学习有意义的模式。所提出的方法允许混合的时间序列-包含模式和非模式数据-如不精确的匹配，离群值，拉伸和全球翻译的模式实例的时间。我们提出的早期结果，我们的方法在监测一个人在家里的健康状况的背景下。目的是通过分析通过安装在家中的传感器记录的几个定量或定性参数的时间变化来建立人的行为特征。
2004-12-01 cs.LG
Encoding Temporal Markov Dynamics in Graph for Visualizing and Mining Time Series
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Microsoft Corporation（微软公司）
时间序列和信号在统计学、机器学习和模式识别领域引起了越来越多的关注，因为它广泛地出现在行业中，特别是在传感器和物联网相关的研究和应用中，但由于其时间维度和复杂的动态特性，在有效的时间序列可视化分析和交互方面几乎没有取得进展。最近的努力，使用网络指标来表征时间序列的分类的启发，我们提出了一种方法来可视化的时间序列作为复杂的网络的基础上的一阶马尔可夫过程在其时间排序。与经典的条形图、线图和其他基于统计的图形相比，我们的方法提供了更直观的可视化，更好地保留了时间依赖性和频率结构。它提供了一个自然的逆操作来将图形映射回原始信号，从而可以使用图形统计来表征时间序列，以更好地进行可视化探索和统计分析。我们的实验结果表明，各种任务，如模式发现和分类的合成和实时的序列和传感器数据的有效性。
2018-08-14 cs.HC cs.LG
Bayesian Optimization of Process Parameters of a Sensor-Based Sorting System using Gaussian Processes as Surrogate Models
Fraunhofer IOSB, Institute of Optronics, System Technologies（弗劳恩霍夫研究所光学与系统技术研究所）
本文提出一种基于贝叶斯优化和高斯过程代理模型的方法，用于优化、监控和调整传感器分选系统的工艺参数，以最小化实验次数并同时满足两种物料输出流的要求，并通过三个示例参数验证了该方法。
2025-10-23 cs.AI cs.LG cs.SY
Handling Concept Drift for Predictions in Business Process Mining
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
如今，预测服务在所有业务部门中都发挥着重要作用。然而，部署的机器学习模型受到随着时间推移而改变的数据流的挑战，这被描述为概念漂移。模型的预测质量在很大程度上受到这种现象的影响。因此，概念漂移通常通过重新训练模型来处理。然而，目前的研究缺乏一个建议，哪些数据应该被选择用于重新训练的机器学习模型。因此，在这项工作中，我们系统地分析了不同的数据选择策略。随后，我们实例化我们的发现在过程挖掘的用例，这是强烈的概念漂移的影响。我们可以证明，我们可以提高精度从0.5400到0.7010的概念漂移处理。此外，我们描述了不同的数据选择策略的效果。
2020-05-18 cs.LG stat.ML
Detecting Irregular Patterns in IoT Streaming Data for Fall Detection
Queen’s University（女王大学）；IBM Canada（IBM加拿大）
在实时的流数据中检测模式一直是一个有趣且具有挑战性的数据分析问题。随着各种传感器设备的激增，实时分析来自物联网（IoT）的数据以学习规则和不规则模式已经成为重要的机器学习问题，以实现用于自动通知和决策支持的预测分析。在这项工作中，我们解决了从可穿戴传感器的物联网数据流中学习不规则人类活动模式的问题。我们提出了一个基于加速度计数据的深度神经网络模型，用于检测跌倒，使用Vavoulas等人发布的名为“WARNACT”的在线身体活动监测数据集，准确率达到98.75%。初始模型使用IBM Watson studio开发，然后通过IBM Streams支持的流分析服务转移并部署在IBM Cloud上，用于监测实时物联网数据。我们还提出了实时跌倒检测框架的系统架构，我们打算与mbientlabs可穿戴健康监测传感器一起使用，用于在养老院或康复诊所进行实时的患者监测。
2018-11-16 cs.AI cs.DC cs.LG
Scikit-Multiflow: A Multi-output Streaming Framework
Télécom ParisTech（巴黎高等电信学院）；Université Paris-Saclay（巴黎-萨克雷大学）；École Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；National University of Singapore（新加坡国立大学）
Scikit-multiflow是Python程序设计语言的多输出/多标签和流数据采掘框架。设想作为一个平台，鼓励流学习研究的民主化，它提供了流学习，流生成器和评估器的多种最先进的方法。scikit-multiflow建立在流行的开源框架之上，包括scikit-learn，MOA和MEKA。开发遵循FOSS原则，质量通过遵循PEP 8指导方针并使用持续集成和自动测试来加强。源代码可在https://github.com/scikit-multiflow/scikit-multiflow上公开获得。
2018-07-12 cs.LG stat.ML
CURIE: A Cellular Automaton for Concept Drift Detection
TECNALIA（泰克纳利亚研究院）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟）；University of the Basque Country UPV/EHU（巴斯克地区大学）；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）；ParisTech（巴黎高科）；The University of Waikato（怀卡托大学）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
数据流挖掘是从大量快速连续流动的数据（数据流）中提取信息。它们通常会受到数据分布变化的影响，从而产生一种称为概念漂移的现象。因此，学习模型必须检测和适应这种变化，以便在漂移发生后表现出良好的预测性能。在这方面，有效的漂移检测算法的发展成为数据流挖掘的关键因素。在这项工作中，我们提出了CU RIE，漂移检测器依赖于细胞自动机。具体地，在CU RIE中，数据流的分布在元胞自动机的网格中表示，然后可以利用元胞自动机的邻域规则来检测流上可能的分布变化。计算机模拟和讨论表明，CU RIE，当与其他基础学习者杂交，呈现出竞争行为的检测指标和分类精度。CU RIE与成熟的漂移检测器相比，在不同的漂移特性的合成数据集。
2020-09-21 cs.LG stat.ML
Discovering Process Maps from Event Streams
University of Tartu（塔尔图大学）；University of Melbourne（墨尔本大学）
自动流程发现是一类流程挖掘方法，它允许分析人员从事件日志中提取业务流程模型。传统的流程发现方法从完整存储的事件日志的快照中提取流程模型。然而，在某些情况下，事件以高到达率持续到来，以至于存储整个事件日志并从头开始连续重新发现流程模型是不切实际的。这样的场景需要在线过程发现方法。给定由业务流程的执行产生的事件流，在线流程发现方法的目标是利用有限的内存量来维护流程的持续更新的模型，同时实现与离线方法类似的准确性。然而，现有的在线发现方法需要相对大量的存储器来实现与离线方法相当的准确度。因此，本文提出了一种方法，通过映射的问题，在线进程发现的高速缓存存储管理，并适用于众所周知的高速缓存替换策略的问题，在线进程发现，解决了这一限制。该方法已在.NET中实现，实验性地与Minit进程挖掘工具集成，并使用现实生活中的数据集对现有基线进行了比较评估。
2018-04-08 cs.LG stat.ML
Secure and Privacy-Preserving Federated Learning for Next-Generation Underground Mine Safety
2 School of Engineering；Applied Science, Washington State University, Richland, WA 99354, USA；3 Computer Science Department, Missouri University of Science；4 Explosive \& Mining Engineering Department, Missouri University of Science
FedMining通过去中心化功能加密和平衡聚合机制，解决地下采矿中隐私保护和模型收敛问题，实现安全高效的联邦学习应用。
2025-12-09 cs.CR cs.LG
TinyDéjàVu: Smaller RAM and Faster Inference with Neural Networks on MCUs for Sensor Data Streams
Inria Saclay, France（法国萨克利研究所）；Inria, France（法国研究所）
提出TinyDéjàVu框架，通过优化神经网络推理中的数据流，在微控制器上实现高达90%的RAM节省和相同计算延迟，用于传感器数据时间序列的推理。
2026-05-27 cs.LG cs.PF cs.SD
C-AAE: Compressively Anonymizing Autoencoders for Privacy-Preserving Activity Recognition in Healthcare Sensor Streams
Kyushu University（九州大学）
提出 C-AAE，结合 AAE 与 ADPCM，在保持活动识别性能的同时降低用户重识别风险，并减少约75%数据量。
2025-07-24 cs.CR cs.LG eess.SP
Cadence: A Practical Time-series Partitioning Algorithm for Unlabeled IoT Sensor Streams
Rutgers University（罗格斯大学）
时间序列分区是大多数机器学习驱动的基于传感器的物联网应用程序中的重要步骤。本文介绍了一种采样效率高、鲁棒性强的时间序列分割模型和算法。我们表明，通过学习一个表示，特别是基于最大平均差异（MMD）的分割目标，我们的算法可以鲁棒地检测跨不同应用程序的时间序列事件。我们的损失函数允许我们推断连续的样本序列是否来自相同的分布（零假设），并确定拒绝零假设的对之间的变点（即，来自不同的分布）。我们证明了它在现实世界的物联网部署环境感知为基础的活动识别的适用性。此外，虽然文献中存在许多关于变点检测的工作，但我们的模型要简单得多，平均可以在9-93秒内完成完全训练，不同应用程序的数据超参数变化很小。我们在四个流行的变化点检测（CPD）数据集上对Cadence进行了经验评估，其中Cadence匹配或优于现有的CPD技术。
2022-08-01 cs.LG cs.SY eess.SY
CICLAD: A Fast and Memory-efficient Closed Itemset Miner for Streams
Centre de recherche en intelligence artificielle (CRIA), UQÀM（魁北克大学蒙特利尔分校人工智能研究中心）
从数据流中挖掘关联规则是一项具有挑战性的任务，因为（通常）可用的资源有限，而结果的大小很大。频繁闭项集（FCI）实现了有效的第一步，然而当前的FCI流挖掘器在资源消耗上不是最优的，例如，它们以额外的成本存储大量额外的项集。为了寻求更好的存储效率权衡，我们设计了Ciclad，一个基于交集的滑动窗口FCI矿工。利用对FCI发展的深入见解，它将最小存储与快速访问相结合。实验结果表明，Ciclad的记忆印记低得多，其性能优于竞争对手的方法。
2020-07-03 cs.DB cs.LG stat.ML
A Dynamic-Adversarial Mining Approach to the Security of Machine Learning
University of Louisville（路易斯维尔大学）；Huai Hai Institute of Technology（淮海工学院）
在动态的现实世界环境中操作需要分类器的前瞻性思维和对抗意识设计，而不仅仅是将模型拟合到训练数据。在这种情况下，有必要使分类器- a）更难逃避，b）更容易检测数据分布随时间的变化，c）能够重新训练并从模型退化中恢复。虽然机器学习的安全性方面的大多数工作都集中在规避阻力（a）问题上，但在对攻击（b和c）做出反应方面的工作很少。此外，虽然流数据研究集中在对数据分布变化做出反应的能力上，但他们通常对安全问题采取敌对的不可知论观点。这使得它们容易受到对抗性活动的影响，这是为了逃避概念漂移检测机制本身。在本文中，我们分析了机器学习的安全性，从动态和对抗意识的角度。限制性一类分类器模型，复杂的学习模型和基于随机化的集成，现有的技术被证明是短视的，因为他们接近安全作为一个静态的任务。这些方法不适合动态环境，因为它们向对手泄漏了过多的信息，对手随后可以发起与良性数据无法区分的攻击。基于经验脆弱性分析，针对复杂的对手，一种新的特征重要性隐藏方法的分类器设计。所提出的设计，确保未来的攻击分类器可以检测和恢复。拟议的工作提出了动机，作为一个蓝图，在动态对抗挖掘领域的未来工作，它结合了从流数据采掘，对抗性学习和网络安全的经验教训。
2018-03-24 cs.CR cs.LG stat.ML
An IoT-Based System: Big Urban Traffic Data Mining Through Airborne Pollutant Gases Analysis
Shiraz University（设拉子大学）
本文提出一种基于物联网的城市交通拥堵检测系统，通过计算区域空气污染量来获取交通拥堵情况，实验结果令人满意。
2020-02-15 cs.LG cs.SY eess.SP
