Towards a Generic Multimodal Architecture for Batch and Streaming Big Data Integration
Mohammed V University in Rabat(拉巴特穆罕默德五世大学);School of Information Sciences(信息科学学院)
大数据是从各种异构数据源中快速生成的。它们有不同的类型(文本、图像、视频或音频),具有不同的可靠性和完整性。最有趣的架构之一是以高速处理大量新兴数据的lambda架构。事实上,它结合了两个不同的处理层,即批处理层和速度层,每个层都提供特定的数据视图,同时确保鲁棒性、快速和可扩展的数据处理。然而,大多数关于lambda架构的论文都集中在一个数据源产生的单一类型的数据上。此外,架构的各个层是独立实现的,或者最多是组合在一起执行基本处理,而不需要评估数据的可靠性或完整性。因此,受lambda架构的启发,我们在本文中提出了一种通用的多模式架构,该架构结合了批处理和流处理,以便基于从多个异构大数据源中提取的知识,近实时地构建完整,全局和准确的洞察力。我们的架构使用批处理来分析数据结构和内容,建立学习模型,并计算所涉及的源的可靠性指标,而流处理使用批处理层的内置模型,立即处理传入的数据,并迅速提供结果。我们验证我们的架构在城市交通管理系统的背景下,以检测异常。
2021-08-09 cs.AI cs.LG
A Big Data Analytics System for Predicting Suicidal Ideation in Real-Time Based on Social Media Streaming Data
Dams and Water Resources Research Center, University of Mosul(摩苏尔大学大坝与水资源研究中心);Yildiz Technical University(伊兹密尔技术大学);Centre for Industrial Software, University of Southern Denmark(南丹麦大学工业软件中心)
提出基于大数据架构的社交媒体自杀意念实时预测系统,采用批处理和流式两阶段方法,结合多种特征提取与Spark ML分类器,最优模型准确率达93.47%。
2024-03-19 cs.CL cs.LG cs.SI
Employing Sentence Space Embedding for Classification of Data Stream from Fake News Domain
Department of Systems;Computer Networks, Faculty of Information;Communication Technology, Wroc aw University of Science
本文首次提出利用句空间嵌入将文本编码为离散数字信号,并借助图像分类卷积深度网络进行虚假新闻数据流分类,在Fakeddit数据集上验证了其泛化能力与时间效率。
2025-11-10 cs.CL cs.LG
Boosting K-means for Big Data by Fusing Data Streaming with Global Optimization
University of Washington(华盛顿大学);Satbayev University(萨特巴耶夫大学);Institute of Information and Computational Technologies(信息与计算技术研究所)
本文提出一种基于变邻域搜索的启发式算法,通过对大数据随机样本上的部分目标函数景观进行序贯全局优化,显著提升K-means聚类的准确性与效率,成为该领域新的最先进方法。
2024-10-18 cs.AI cs.LG math.OC
Confidence Decision Trees via Online and Active Learning for Streaming (BIG) Data
决策树分类器是数据流挖掘中广泛使用的工具。使用置信区间来估计与每个分裂相关联的增益导致非常有效的方法,如流行的Hoeffding树算法。从统计学的角度来看,在流设置中的决策树分类器的分析需要知道何时已经收集了足够的新信息来证明分裂叶子是合理的。虽然Hoeffding树的统计分析中的一些问题已经澄清,一般和严格的研究置信区间的分裂标准是失踪。我们填补了这一空白,推导出准确的置信区间估计分裂增益决策树学习的三个标准:熵,基尼指数,和第三个指标提出的卡恩斯和曼苏尔。我们的置信区间更详细地依赖于树的参数。我们还将我们的置信度分析扩展到选择性采样设置,其中决策树学习器自适应地决定在流中查询哪些标签。我们提供了理论保证边界的概率,分类是非最优的学习决策树通过我们的选择性抽样策略。在流媒体环境中对真实数据和合成数据的实验表明,我们的树确实比其他技术生成的具有相同数量叶子的树更准确,并且我们的主动学习模块允许节省标记成本。此外,比较我们的标签策略与最近的方法,我们表明,我们的方法是更强大的和一致的尊重所有其他技术应用于增量决策树。
2016-04-12 cs.LG stat.ML
Anomaly Detection in Big Data
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
异常被定义为系统不符合正常行为的状态。例如,核反应堆通道中的中子发射超过指定阈值是异常的。大数据是指\emph{high volume, streaming, heterogeneous, distributed}(通常是\emph{sparse})的数据集。如今,大数据并不罕见。例如,根据互联网实时统计,每天发布的推文数量超过5亿条。由于数据爆炸的数据负载领域,传统的异常检测技术开发的小数据集上的大规模数据集的规模差。因此,我们采用另一种方法来解决大数据中的异常检测。从本质上讲,有两种方法可以在大数据中扩展异常检测。第一种是基于\emph{online}学习,第二种是基于\emph{distributed}学习。本文的目标是在有效检测异常的同时解决大数据问题。为此,本文首先以大数据的\emph{streaming}问题为研究对象,提出了被动攻击GMEAN(PAGMEAN)算法。虽然在线学习算法可以很好地扩展大量的数据点和维度,但当数据分布在多个位置时,它们无法处理数据;这在当今非常常见。因此,我们提出了使用ADMM的固有分布式异常检测算法。最后,我们提出了一个核电站数据异常检测的案例研究。
2022-03-03 cs.LG
Employing chunk size adaptation to overcome concept drift
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
现代分析系统必须准备好处理流数据并正确响应数据分布变化。数据分布的变化现象被称为概念漂移,它可能会损害所使用的模型的质量。此外,概念漂移出现的可能性导致所使用的算法必须准备好模型对变化的数据分布的持续适应。这项工作的重点是非平稳数据流分类,其中使用的分类器集成。为了使集成模型保持最新,新的基本分类器在传入数据块上进行训练并添加到集成中,同时从集成中删除过时的模型。这种类型的模型的问题之一是对数据分布变化的快速反应。我们提出了一个新的块自适应恢复框架,可以适应任何基于块的数据流分类算法。该算法在概念漂移检测的情况下调整数据块大小,以最大限度地减少变化对所用模型预测性能的影响。实验研究表明,块自适应恢复算法可以显著缩短模型的恢复时间。
2021-10-25 cs.LG
Deep Learning for IoT Big Data and Streaming Analytics: A Survey
Western Michigan University(西密歇根大学);University of Idaho(爱达荷大学)
在物联网(IoT)时代,大量的传感设备随着时间的推移为广泛的领域和应用收集和/或生成各种传感数据。根据应用程序的性质,这些设备将产生大的或快速/实时的数据流。对这些数据流应用分析来发现新信息、预测未来见解并做出控制决策是一个至关重要的过程,这使得物联网成为企业的一个有价值的范例和改善生活质量的技术。在本文中,我们提供了一个全面的概述,使用一类先进的机器学习技术,即深度学习(DL),以促进物联网领域的分析和学习。我们首先阐述物联网数据的特征,并从机器学习的角度确定物联网数据的两种主要处理方法,即物联网大数据分析和物联网流数据分析。我们还讨论了为什么DL是在这些类型的数据和应用程序中实现所需分析的有前途的方法。然后讨论了使用新兴DL技术进行物联网数据分析的潜力,并介绍了其承诺和挑战。我们提出了一个全面的背景不同的DL架构和算法。我们还分析和总结了在物联网领域利用DL的主要研究尝试。还讨论了将DL纳入其智能背景的智能物联网设备。还调查了支持物联网应用的雾和云中心的DL实现方法。最后,我们阐明了未来研究的一些挑战和潜在方向。在每一节的最后,我们强调了我们的实验和最近的文献回顾的基础上吸取的教训。
2018-06-05 cs.DB cs.LG cs.NI
A Big Data Lake for Multilevel Streaming Analytics
School of Computing(计算机学院)
大型组织正在寻求创建新的体系结构和可扩展的平台,以有效地应对过去罕见的数据爆炸性带来的数据管理挑战。这些数据管理挑战主要由来自多种格式的各种源的高速流数据的可用性提出。数据范式的变化导致了新的数据分析和管理架构的出现。本文主要研究在一种称为数据湖的数据存储架构中以原始格式存储大容量、高速度和多样化的数据。首先,我们提出了我们的研究传统的数据仓库在处理最近的数据范式的变化的局限性。我们讨论并比较了可用于开发数据湖的不同开源和商业平台。然后,我们描述了我们的端到端数据湖设计和实施方法,使用Hadoop分布式文件系统(HDFS)在Hadoop数据平台(HDP)。最后,我们提出了一个现实世界的数据湖开发用例,用于数据流摄取,分段和多级流分析,它结合了结构化和非结构化数据。这项研究可以作为个人或组织计划为他们的用例实施数据湖解决方案的指南。
2020-09-25 cs.AI cs.DB cs.DC
Subspace Learning and Imputation for Streaming Big Data Matrices and Tensors
University of Minnesota(明尼苏达大学)
从高维数据中提取潜在的低维结构在“大数据”分析遇到的及时推理任务中至关重要。然而,越来越多的噪声、异构和不完整的数据集以及对流数据的{ \em实时}处理的需求为此提出了主要挑战。在这种情况下,本文件渗透的好处,从秩最小化可扩展填补缺失数据,通过跟踪低维子空间和解开潜在的(可能是多路)结构从\emph{incomplete streaming}数据。对于低秩矩阵数据,提出了一种基于核范数正则化的指数加权最小二乘准则的子空间估计器。在将不可分离的核范数转换成适合在线优化的形式后,开发了具有互补优势的实时算法,并在简化的技术假设下建立了它们的收敛性。在一个固定的设置,得到的渐近估计提供了有据可查的性能保证的{ \em批}核范数正则化估计。在相同的统一框架下,开发了一种新的在线(自适应)算法,以获得多路分解的\emph{low-rank tensors}与丢失的条目,并执行插补作为副产品。模拟测试与合成以及真实的互联网和心脏磁共振成像(MRI)数据证实了所提出的算法的有效性,其优越的性能相对于国家的最先进的替代品。
2014-04-17 cs.IT cs.LG math.IT
Range-Net: A High Precision Streaming SVD for Big Data Applications
The University of Texas at Austin(德克萨斯大学奥斯汀分校);School of Information(信息学院);Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究所)
在大数据环境中,由于主存储器要求,计算主导SVD因子是有限制的。最近引入的流式随机SVD方案的工作下的限制性假设,奇异值谱的数据具有指数衰减。对于任何实际数据来说,这很少是正确的。虽然这些方法被要求适用于科学计算由于相关的尾部能量误差界,在奇异向量和值的近似误差是高的,当上述假设不成立。此外,从实际的角度来看,过采样仍然可能是内存密集型的,或者更糟的是可能超过数据的特征维度。为了解决这些问题,我们提出了范围网络作为随机SVD的替代方案,满足Eckart-Young-Mirsky(EYM)定理给出的尾能量下界。Range-Net是一种随机初始化的确定性两阶段神经优化方法,其中主内存需求显式取决于特征维度和期望秩,与样本维度无关。数据样本在流设置中读取,其中网络最小化问题收敛到期望的rank-r近似。Range-Net是完全可解释的,其中所有网络输出和权重都具有特定含义。从理论上保证了Range-Net提取的SVD因子在机器精度下满足EYM尾能量下界。我们在不同尺度下对真实数据的数值实验证实了这一界限。与最先进的流随机SVD的比较表明,范围网络的准确性是更好的六个数量级,同时是内存效率。
2021-03-18 cs.AI cs.LG cs.NA
Intensive Care as One Big Sequence Modeling Problem
Eindhoven University of Technology(埃因霍温理工大学);Bundeswehr University Munich(慕尼黑联邦国防军大学)
本文提出“医疗保健作为序列建模”范式,将患者与医疗提供者的交互视为事件流,并构建MIMIC-SEQ基准以训练基线模型,验证通用模型在医疗任务中的潜力。
2024-05-24 cs.AI cs.LG
Data Stream Classification using Random Feature Functions and Novel Method Combinations
Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心);Aalto University(阿尔托大学);HIIT(赫尔辛基信息技术研究所);Télécom ParisTech(巴黎电信学院)
大数据流正在以更快、更大、更普遍的方式生成。在这种情况下,Hoeffding树是一种既定的分类方法。存在几个扩展,包括高性能的集成设置,如在线和利用装袋。此外,$k$ -最近邻是一个流行的选择,大多数扩展处理潜在无限流上的固有性能限制。与此同时,梯度下降方法正变得越来越受欢迎,部分原因是深度学习的成功。虽然深度神经网络可以增量学习,但到目前为止,它们对超参数选项和初始条件过于敏感,不能被视为有效的“现成”数据流解决方案。在这项工作中,我们看看Hoeffding树,最近邻,和梯度下降方法的组合与流预处理方法的形式的随机特征函数过滤器的额外的预测能力。我们进一步将调查扩展到GPU上的实现方法,我们在一些大型真实数据集上进行了测试,并展示了使用GPU进行数据流学习的好处,因为它们具有很高的可扩展性。我们的实证评估产生积极的结果,我们实验的新方法,突出重要的问题,并阐明了有前途的未来方向的方法,数据流分类。
2015-11-03 cs.LG cs.NE
Real Time Analytics: Algorithms and Systems
Twitter Inc.(推特公司)
速度是通常用于描述大数据特征的4个V之一。在这方面,Forrester在2014年第三季度指出:“来自市场数据、物联网、移动、传感器、点击流甚至交易等无数实时数据源的高速数据流在很大程度上仍然没有被大多数公司所驾驭。利用流媒体分析的机会从未如此之大。流分析的示例用例包括但不限于:(a)实时可视化业务指标(b)促进高度个性化的体验(c)在紧急情况下加快响应。流媒体分析广泛应用于各种领域,如医疗保健、电子商务、金融服务、电信、能源和公用事业、制造业、政府和交通运输。在本教程中,我们将深入概述流媒体分析-应用程序,算法和平台-景观。我们将走查该领域在过去十年中是如何演变的,然后讨论当前的挑战--其他三个V的影响,即,关于大数据流分析的容量、多样性和准确性。该教程是为研究人员和从业人员在行业。我们还将在Twitter上展示流媒体分析的现状。
2017-08-07 cs.DB cs.LG
Challenges of Feature Selection for Big Data Analytics
Arizona State University(亚利桑那州立大学)
我们被大量的大规模高维数据所包围。由于维数灾难的存在,许多学习任务都希望降低数据的维数。特征选择通过建立更简单和更全面的模型,提高学习性能,以及准备干净,可理解的数据,在许多应用中显示出其有效性。近年来,大数据的一些独特特性,如数据速度和数据多样性,对特征选择问题提出了挑战。在本文中,我们设想了大数据分析的特征选择的这些挑战。特别是,我们首先简要介绍了特征选择,然后详细介绍了结构化,异构和流数据的特征选择的挑战,以及它的可扩展性和稳定性问题。最后,为了方便和促进特征选择的研究,我们提出了一个开源的特征选择知识库(scikit-feature),它包含了当前流行的特征选择算法。
2016-11-07 cs.LG
Active Weighted Aging Ensemble for Drifted Data Stream Classification
Wrocław University of Science and Technology(弗罗茨瓦夫科技大学)
流数据分类的一个重要问题是概念漂移的发生,包括分类任务的概率特性的变化。这种现象使分类模型的性能不稳定,并严重降低其质量。一个适当的策略抵消这种现象是需要适应分类器的变化的概率特性。实现这种解决方案的一个重要问题是对数据标签的访问。它通常是昂贵的,因此为了最小化与该过程相关的费用,提出了基于半监督学习的学习策略,例如,采用主动学习方法来指示哪些传入对象有价值被标记以改进分类器的性能。本文提出了一种新的基于分类器集成学习的非平稳数据流的基于块的方法和一种考虑有限预算的主动学习策略,可以成功地应用于任何数据流分类算法。所提出的方法已通过计算机实验,使用真实的和生成的数据流进行评估。结果证实了所提出的算法的高品质的国家的最先进的方法。
2021-12-19 cs.LG
A Sharp Memory-Regret Trade-Off for Multi-Pass Streaming Bandits
Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
随机$K$ -armed bandit问题由于其在从在线广告到临床试验的各个领域的应用而得到了广泛的研究。然而,在实践中,臂的数量可能非常大,从而导致同时处理它们需要大的存储器。在本文中,我们考虑一个流设置的武器在流和算法使用有限的内存来处理这些武器。在这里,我们的目标不仅是尽量减少遗憾,而且要在最小的记忆中做到这一点。针对该问题的先前算法在两种设置中的一种中操作:它们或者使用流上的$Ω(\log \log T)$传递(Rathod,2021; Chaudhuri和Kalyanakrishnan,2020; Liau等人,2018),或仅单次通过(Maiti等人,2021年)。在本文中,我们研究了记忆和遗憾之间的权衡时,$B$通过流是允许的,对于任何$B \geq 1$,并建立严格的遗憾上限和下限的任何$B$通过算法。我们的研究结果揭示了一个令人惊讶的 * 急剧转变现象 *:$O(1)$记忆足以在$B$传球中实现$\widetildeΘ\Big(T^{\frac{1}{2} + \frac{1}{2^{B+2}-2}}\Big)$遗憾,并且将记忆增加到$o(K)$的任何数量对进一步减少这种遗憾几乎没有影响,除非我们使用$Ω(K)$记忆。我们的主要技术贡献是我们的下限,这需要使用信息理论技术以及从轮消除的想法,以表明 * 剩余问题 * 仍然具有挑战性的后续通行证。
2022-05-02 cs.LG stat.ML
VDMS: Efficient Big-Visual-Data Access for Machine Learning Workloads
Intel Labs(英特尔实验室)
我们引入了可视化数据管理系统(VDMS),它可以更快地访问大可视化数据并增加对可视化分析的支持。这是通过通过存储为图形的元数据搜索相关的视觉数据来实现的,并通过新的机器友好的存储格式实现对视觉数据的更快访问。VDMS与现有的大规模照片服务、视频流和文本大数据管理系统不同,因为其主要关注于支持使用视觉数据(图像、视频和特征向量)的机器学习和数据分析管道,将这些视为第一类实体。我们描述了如何通过其用户友好的界面使用VDMS,以及它如何通过机器学习管道处理医学图像来实现丰富而高效的视觉分析。我们展示了在可比设置的复杂查询中2倍的改进性能。
2018-12-11 cs.DB cs.LG
Lightweight Multi-scale Hierarchical Anomaly Detection and Localization for Geospatial Big Data Applications at the Edge
Mississippi State University(密西西比州立大学)
针对边缘端地理空间大数据实时异常检测的存储处理通信挑战,本文提出结合H3离散全球网格系统与多尺度下钻逻辑的轻量型方法,可降低99.7%计算开销,高效识别空间持续异常信号,提炼海量数据为可行动洞见。
2026-08-25 cs.LG cs.SY eess.SP
Superior Parallel Big Data Clustering through Competitive Stochastic Sample Size Optimization in Big-means
Satbayev University(萨塔巴耶夫大学);Institute of Information and Computational Technologies(信息与计算技术研究所);University of Washington(华盛顿大学)
本文提出一种改进的Big-means K-means聚类算法,通过并行处理、随机采样与工作节点间竞争性样本量动态优化,在保证聚类质量的同时提升大数据场景下的计算效率与可扩展性。
2024-03-27 cs.AI cs.DC cs.IR
Active Learning for Online Recognition of Human Activities from Streaming Videos
从流媒体视频中识别人类活动对学习算法提出了独特的挑战:预测模型需要可扩展,可增量训练,并且即使在数据流任意长的情况下也必须保持大小有限。此外,由于参数调整在流设置中是有问题的,因此合适的方法应该是无参数的,并且不对流中可能出现什么类标签做出假设。我们在这里提出了一种从流数据中识别人类动作的方法,它满足所有这些要求:(1)增量学习一个模型,该模型自适应地覆盖具有简单局部分类器的特征空间;(2)采用主动学习策略来减少注释请求;(3)在固定模型大小内实现有希望的准确性。在标准基准上的大量实验表明,我们的方法与最先进的非增量方法相比具有竞争力,并且优于现有的主动增量基线。
2016-04-11 cs.CV cs.LG stat.ML
Hybrid Forest: A Concept Drift Aware Data Stream Mining Algorithm
Amirkabir University of Technology(阿米尔卡比尔理工大学)
如今,随着组织中在线控制系统的数量不断增加,以及对使用数据流来记录和控制其子系统的监控和统计设施的需求越来越高,数据流挖掘变得越来越重要。Hoeffding树(也称为非常快速决策树,VFDT)作为一种大数据方法,在处理数据流的分类和回归问题时表现出了良好的性能,能够应对面临的挑战,并使随时预测成为可能。尽管这些方法优于其他方法,例如人工神经网络(ANN)和支持向量回归(SVR),但是当输入数据的统计分布改变时,它们在适应新概念方面存在高延迟。本文提出了一种新的概念漂移检测算法,该算法能够有效地检测和处理概念漂移现象。该算法还受益于快速启动能力,这有助于系统能够在数据流到达的开始时比其他算法更快地预测。我们还表明,我们的方法在分类和回归任务方面优于其他有争议的方法。
2019-02-10 cs.LG stat.ML
Exploiting a Stimuli Encoding Scheme of Spiking Neural Networks for Stream Learning
TECNALIA(泰克纳利亚);Télécom ParisTech(巴黎电信学院);University of Waikato(怀卡托大学);Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心);University of the Basque Country UPV/EHU(巴斯克大学(UPV/EHU))
随着新的流应用和大数据场景的到来,流数据处理已经获得了进步的势头。流学习中最有前途的技术之一是脉冲神经网络,其中一些使用有趣的群体编码方案将传入的刺激转换为尖峰。这项研究揭示了这种编码方案的关键问题,高斯感受野,并专注于将它们作为预处理技术应用于任何数据集,以获得代表性,并提高流学习方法的预测性能。合成和真实数据集的实验,并导致确认,我们的方法可以成功地应用于许多实际情况下,作为一个通用的预处理技术。
2019-07-23 cs.AI cs.LG cs.NE
Massively-Parallel Feature Selection for Big Data
我们提出了并行,向前向后修剪(PFBP)算法的特征选择(FS)在大数据设置(高维度和/或样本大小)。为了应对大数据的挑战,FS PFBP根据行(样本、训练样本)和列(特征)对数据矩阵进行分区。通过采用$p$ -条件独立性测试和元分析技术的值的概念,PFBP管理,只依赖于本地的计算分区,同时最大限度地减少通信成本。然后,它采用强大而安全的(渐近合理的)算法来做出早期的近似决策,例如在随后的迭代中提前放弃考虑功能,在同一迭代中提前停止考虑功能,或者在每次迭代中提前返回获胜者。PFBP提供了一个因果网络(贝叶斯网络或最大祖先图)忠实地表示数据分布的最优性的渐近保证。我们的实证分析证实了一个超线性加速的算法,增加样本大小,线性可扩展性的功能和处理核心的数量,同时主导其他竞争对手的同类算法。
2017-08-23 cs.LG stat.ML
Efficient Principal Subspace Projection of Streaming Data Through Fast Similarity Matching
Flatiron Institute(弗莱提伦研究所);NYU Langone Medical Center(纽约大学朗格尼医学中心)
大数据问题通常需要以流方式处理数据集,因为所有数据都可以同时使用,但总体上大于可用内存,或者因为数据本质上一次到达一个数据点,必须在线处理。在这里,我们介绍了一个计算效率高的版本的相似性匹配,在线降维的框架,增量估计流数据的顶部K维主子空间,同时在内存中只保留最后一个样本和当前样本。为了评估我们的方法的性能,我们构建并公开了一个测试套件,其中包含一个合成数据生成器和基础设施,用于在真实数据集上测试在线降维算法,以及我们的算法和具有类似目标的竞争算法的性能实现。在考虑的算法中,我们发现我们的方法是有竞争力的,在合成和真实数据上都是最好的。
2018-08-06 cs.LG stat.CO
Online Clustering by Penalized Weighted GMM
Intel(英特尔公司)
随着大数据时代的到来,数据集正在迅速增长。数据流来自任何地方-从相机,手机,汽车和其他电子设备。聚类流数据是一个非常具有挑战性的问题。与数据集可以多次存储和扫描的传统聚类算法不同,对流数据进行聚类必须满足诸如有限内存大小、实时响应、未知数据统计和未知簇数量等约束。在本文中,我们提出了一种新的在线聚类算法,可用于聚类流数据,而不知道的簇的数量先验。在合成数据集和真实数据集上的结果表明,该算法产生的分区接近于一次聚类整个数据所能得到的分区。
2019-02-07 cs.CV cs.LG stat.ML
Leveraging Machine Learning and Big Data for Smart Buildings: A Comprehensive Survey
Western Michigan University(西密歇根大学);Information Technology University(信息技术大学)
未来的建筑将为居民提供新的便利、舒适和效率。随着技术的深入,信息处理充分融入人们的日常生活活动和对象,人们的生活方式将发生变化。智能建筑的未来期望包括使居民的体验尽可能简单和舒适。智能建筑设备和设备生成和捕获的大量流数据包含有价值的信息,需要挖掘这些信息以促进及时采取行动和更好地决策。机器学习和大数据分析无疑将在实现此类智能服务的交付方面发挥关键作用。在本文中,我们调查了智能建筑领域,特别关注机器学习和大数据分析技术的作用。该调查还回顾了智能建筑服务发展的当前趋势和面临的挑战。
2019-05-19 cs.CY cs.LG stat.ML
Analytical confidence intervals for the number of different objects in data streams
Università degli Studi di Milano(米兰大学)
本文提出了一种新的分析统计方法来分析一类Flajolet-Martin算法(FMa),并给出了流中不同元素个数F0的解析置信区间. FMa类在大数据流学习中已经非常流行,并且文献的关注主要基于算法方面,基本上是复杂度最优性,而这些算法的统计分析通常是抽象地面对的。这里提供的分析显示了与数学特殊函数和极值理论的深刻联系。后一种联系可能有助于解释启发式的考虑,而第一个打开许多数字问题,面临着在本文件的结尾。最后,算法进行了测试,匿名的真实数据流和蒙特卡洛模拟提供支持我们的分析选择在这种情况下。
2021-06-19 cs.DS cs.LG math.ST
Towards Robust Human Activity Recognition from RGB Video Stream with Limited Labeled Data
Georgia State University(佐治亚州立大学)
基于视频流的人体活动识别近年来受到了广泛的关注。由于缺乏深度信息,与基于RGB-D视频的解决方案相比,基于RGB视频的活动识别性能较差。另一方面,获取深度信息、惯性等是昂贵的,需要特殊的设备,而RGB视频流在普通相机中是可用的。因此,我们的目标是调查是否可以实现类似的,甚至更高的准确性与RGB的唯一模式。在这方面,我们提出了一种新的框架,耦合从RGB视频提取的骨架数据和深度双向长短期记忆(BLSTM)模型的活动识别。训练这种深度网络的一大挑战是有限的训练数据,而探索仅RGB流大大夸大了难度。因此,我们提出了一组算法技术来有效地训练该模型,例如,数据增强、动态帧丢失和梯度注入。实验表明,我们的RGB解决方案超越了最先进的方法,所有利用RGB-D视频流的显着保证金。这使得我们的解决方案可以广泛部署在普通相机上。
2018-12-16 cs.AI cs.CV cs.LG
A Scalable Framework for Multilevel Streaming Data Analytics using Deep Learning
Queen’s University(女王大学);Gnowit Inc.(Gnowit公司)
数据在速度、数量、价值、种类和准确性方面的快速增长为各种类型的企业带来了令人兴奋的新机遇,也带来了巨大的挑战。最近,人们对开发用于处理连续数据流的系统产生了相当大的兴趣,这是因为越来越需要实时分析来支持商业、医疗保健、制造和安全领域的决策。流数据的分析通常依赖于静态或归档数据的离线分析的输出。然而,像我们的行业合作伙伴Gnowit这样的企业和组织,努力为客户提供实时市场信息,并不断寻找一个统一的分析框架,可以无缝集成流媒体和离线分析,从大量混合流媒体数据中提取知识。我们通过比较领先的可扩展开源、分布式和内存中技术,介绍了我们关于设计多级流文本数据分析框架的研究。我们展示了使用深度学习进行语言理解和情感分析(包括数据索引和查询处理)的多级文本分析用例的框架功能。我们的框架结合了用于实时文本处理的Spark流,用于更高级别情感分析的长短期记忆(LSTM)深度学习模型,以及用于基于SQL的分析处理的其他工具,为多级流文本分析提供了可扩展的解决方案。
2019-07-15 cs.LG cs.SY eess.SY