The Lernaean Hydra of Data Series Similarity Search: An Experimental Evaluation of the State of the Art
越来越大的数据系列集合在许多不同的领域和应用程序中变得越来越普遍。相似性搜索是数据序列集合分析中的一个关键操作,在过去的二十年里,它吸引了大量的关注和努力。尽管文献中提出了几种相关方法,但现有研究均未针对现有替代品进行详细评价。由于术语使用不规范,导致混乱和误解,使缺乏比较结果的情况更加严重。在本文中,我们提供了定义的不同口味的相似性搜索,在过去的研究,并提出了第一个系统的实验评估的数据序列相似性搜索技术的效率。根据实验结果,我们描述了每种方法的优点和缺点,并给出了在典型用例下使用的最佳方法的建议。最后,通过确定每种方法的缺点,我们的研究结果奠定了坚实的基础,在该领域的进一步发展。
2020-06-20 cs.DB
Forecasting Stock Time-Series using Data Approximation and Pattern Sequence Similarity
时间序列分析是使用统计技术建立模型来表示时间序列数据特征的过程。处理和预测大量的时间序列数据是一项具有挑战性的任务。本文提出了股票时间序列数据的逼近与预测(APST),它是一种两步预测股票价格指数变化方向的方法。首先,使用多水平分段平均(MSM)技术进行数据逼近。在第二阶段,使用欧氏距离和最近邻技术对近似数据进行预测。数据近似的计算代价是O(nni),预测任务的计算代价是O(m |NN|).因此,在所提出的方法中预测所需的准确性和时间比现有的基于标签的预测(LBF)方法[1]相对有效。
2013-09-10 cs.DB
Hercules Against Data Series Similarity Search
我们提出了大力士,一个并行的基于树的技术,精确的相似性搜索大规模的基于磁盘的数据系列集合。我们提出了新的索引建设和查询应答算法,利用不同的汇总技术,精心安排昂贵的操作,优化内存和磁盘访问,并利用现代硬件的多线程和SIMD功能来执行CPU密集型计算。我们证明了大力神的优越性和鲁棒性与广泛的实验评估对国家的最先进的技术,使用许多合成和真实的数据集,和不同难度的查询工作量。结果表明,大力士的表现比最好的竞争对手快一个数量级(这并不总是相同的)。此外,Hercules是唯一一个在所有场景下都优于优化扫描的索引,包括基于磁盘的数据集上的硬查询工作负载。本文发表在VLDB捐赠的论文集,第15卷,第10期,2022年6月。
2022-12-26 cs.DB
climber++: Pivot-Based Approximate Similarity Search over Big Data Series
针对现有分布式大数据序列近似kNN搜索重可扩展性、轻准确性的问题,提出含抗损失双重表示、分布式两级索引及两种查询算法的CLIMBER框架,实现了80%以上准确率且兼具太字节级可扩展性。
2024-04-15 cs.DB
ProS: Data Series Progressive k-NN Similarity Search and Classification with Probabilistic Quality Guarantees
现有的系统处理日益增加的数据系列量不能保证交互式响应时间,即使是基本的任务,如相似性搜索。因此,有必要开发分析方法,通过提供渐进的结果来支持勘探和决策,然后才能计算出最终和准确的结果。以前的工作缺乏效率和准确性时,适用于大规模的数据系列收集。我们提出并实验评估ProS,一种新的基于概率学习的方法,为渐进最近邻(NN)查询回答提供质量保证。我们开发了我们的k-NN查询方法,并演示了它如何可以应用于两个最流行的距离测量,即欧几里得和动态时间规整(DTW)。我们提供了初始和渐进的估计,最终的答案是越来越好的相似性搜索过程中,以及合适的停止标准的渐进式查询。此外,我们描述了如何使用这种方法,以开发一个渐进的算法的数据系列分类(基于一个k-NN分类器),我们还提出了一种专门为分类任务设计的方法。几个不同的合成和真实数据集的实验表明,我们的预测方法构成了第一个实际的解决方案的问题,显着优于竞争的方法。该论文发表在VLDB Journal(2022)上。
2022-12-26 cs.DB
Odyssey: A Journey in the Land of Distributed Data Series Similarity Search
本文介绍了奥德赛,一种新的分布式数据系列处理框架,有效地解决了关键的挑战,表现出良好的加速和确保高的可扩展性,在数据系列处理,利用现代集群的全部计算能力组成的多核服务器。Odyssey解决了设计高效和高度可扩展的分布式数据系列索引方面的许多挑战,包括高效的调度和负载平衡,而无需支付高昂的数据移动成本。它还支持灵活的部分复制方案,这使Odyssey能够在查询应答期间在数据可扩展性和良好性能之间进行基本权衡。通过广泛的配置和使用几个真实和合成的数据集,我们的实验分析表明,奥德赛实现了其具有挑战性的目标。
2023-01-26 cs.DB cs.DC
Effective and Efficient Variable-Length Data Series Analytics
在过去的二十年中,数据序列相似性搜索已经成为与数据序列收集相关的几个分析任务和应用程序的核心的基本操作。许多解决不同挖掘问题的方法都是通过相似性搜索来实现的。在这方面,所有提出的解决方案都需要进行相似性搜索的序列长度的先验知识。在一些情况下,长度的选择是至关重要的,并合理地影响预期结果的质量。不幸的是,明显的暴力解决方案,它提供了一个给定范围内的所有长度的结果是计算上站不住脚的。在这个博士工作中,我们提出了第一个解决方案,本质上支持可扩展的和可变长度的相似性搜索的数据序列,应用于序列/序列匹配,模体和discord发现问题。实验结果表明,我们的方法是高达数量级的速度比替代品。它们还表明,我们可以消除使用预定义长度执行分析的不切实际的限制,从而获得更直观和可操作的结果,否则这些结果将被错过。
2020-09-22 cs.DB
Data Series Indexing Gone Parallel
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而,国家的最先进的技术未能提供所需的交互式探索,或大型数据系列集合的分析的时间性能。在这个博士工作,我们提出了第一个数据系列索引解决方案,磁盘上和内存中的数据,旨在利用多核架构的固有优势,以加快相似性搜索处理时间。我们对各种合成数据和真实数据的实验表明,我们的方法比其他方法快了几个数量级。更具体地说,我们的磁盘解决方案可以在几秒钟内回答100 GB数据集上的精确相似性搜索查询,而我们的内存解决方案可以在几毫秒内回答,这使得对非常大的数据系列集合进行实时交互式数据探索成为可能。
2020-09-02 cs.DB
DRSP : Dimension Reduction For Similarity Matching And Pruning Of Time Series Data Streams
时间序列数据流的相似性匹配和连接在当今拥有大量流数据的世界中获得了很多相关性。该过程在位置跟踪、传感器网络、对象定位和监视等领域中得到了广泛的应用。然而,随着数据流的大小增加,为了帮助相似性匹配的过程而保留所有数据所涉及的成本也增加。我们开发了一个新的框架,以解决以下目标。首先,在预处理阶段进行降维,其中大的流数据被分割和减少到一个紧凑的表示,这样它保留了所有的关键信息,通过一种技术称为多级段均值(MSM)。这降低了与大的时间序列数据流的存储相关联的空间复杂度。其次,它采用了有效的相似性匹配技术来分析新的数据对象是否对称于现有的数据流。最后是剪枝技术,过滤掉伪数据对象对,只连接相关的对。MSM的计算成本是O(l*ni),修剪的成本是O(DRF*wsize*d),其中DRF是降维因子。我们已经进行了详尽的实验测试,以表明所提出的框架是有效的和称职的,与早期的作品相比。
2013-12-10 cs.DB
Scalable Data Series Subsequence Matching with ULISSE
数据序列相似性搜索是一个重要的操作,是与数据序列收集相关的几个分析任务和应用程序的核心。尽管数据序列索引支持快速相似性搜索,但所有现有索引只能回答单一长度的查询(在索引构建时固定),这是一个严重的限制。在这项工作中,我们提出了ULISSE,第一个数据系列的索引结构,旨在回答相似性搜索查询的可变长度(在一定范围内)。我们的贡献是双重的。首先,我们介绍了一种新的表示技术,它有效地和简洁地总结了不同长度的多个序列。基于建议的索引,我们描述了高效的算法近似和精确的相似性搜索,结合磁盘的索引访问和内存中的顺序扫描。我们的方法支持非Z-归一化和Z-归一化序列,并且可以在不改变欧氏距离和动态时间弯曲的情况下使用,用于回答k-NN和ε-范围查询。我们实验评估我们的方法使用几个合成和真实的数据集。结果表明,ULISSE是几倍,并高达数量级更有效的空间和时间成本方面,相比竞争的方法。(论文发表于VLDBJ 2020)
2020-09-22 cs.DB
Fast Data Series Indexing for In-Memory Data
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而,国家的最先进的技术未能提供所需的交互式探索,或大型数据系列集合的分析的时间性能。在这项工作中,我们提出了MESSI,第一个数据系列索引设计在内存中操作的现代硬件。我们的索引利用了现代硬件并行化的机会(即,SIMD指令、多套接字和多核架构),以便加速索引构建和相似性搜索处理时间。此外,它受益于在并行工作器和数据结构的设置和协调中的精心设计,使得它最大化其在内存中操作的性能。MESSI支持使用欧氏距离和动态时间规整(DTW)距离的相似性搜索。我们对合成数据集和真实数据集的实验表明,总体MESSI在索引构建方面快4倍,在查询响应方面比最先进的并行方法快11倍。MESSI是第一个在约50毫秒(30- 75毫秒)内回答100 GB数据集上的精确相似性搜索查询的系统,这使得在非常大的数据系列集合上进行实时,交互式的数据探索成为可能。
2021-10-14 cs.DB
TSseek: Pattern-Based Search for Distributed Time Series Datasets
Worcester Polytechnic Institute(伍斯特理工学院);Qatar Computing Research Institute(卡塔尔计算机研究所)
提出TSseek框架,通过正则表达式查询语言支持趋势、值范围和通配符模式搜索,并构建分布式空间索引TSseek-X实现高效精确匹配。
2026-11-13 cs.DB
MESSI: In-Memory Data Series Indexing
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而,国家的最先进的技术未能提供所需的交互式探索,或大型数据系列集合的分析的时间性能。在这项工作中,我们提出了MESSI,第一个数据系列索引设计在内存中操作的现代硬件。我们的索引利用了现代硬件并行化的机会(即,SIMD指令、多核和多套接字架构),以便加速索引构建和相似性搜索处理时间。此外,它受益于在并行工作器和数据结构的设置和协调中的精心设计,使得它最大化其在内存中操作的性能。我们对合成数据集和真实数据集的实验表明,总体MESSI在索引构建方面快4倍,在查询响应方面比最先进的并行方法快11倍。MESSI是第一个在_50毫秒(30- 75毫秒,跨不同的数据集)内回答100 GB数据集上的精确相似性搜索查询的系统,这使得在非常大的数据系列集合上进行实时,交互式的数据探索成为可能。
2020-09-02 cs.DB
Uncertain Time-Series Similarity: Return to the Basics
在过去的几年中,在广泛的应用领域中,连续传感器测量的可用性已经有了相当大的增长,例如基于位置的服务(LBS)、医疗监测系统、制造厂和工程设施,以确保效率、产品质量和安全、水文和地质观测系统、污染管理等。由于传感器观测的固有不精确性,许多研究最近转向查询,挖掘和存储不确定数据。不确定性也可能是由于数据聚合、隐私保护转换和易出错的挖掘算法。在这项研究中,我们调查的技术,已提出专门用于建模和处理不确定的时间序列,一个重要的模型的时间数据。我们提供了一个分析评估的替代品,已在文献中提出,突出了每种方法的优点和缺点,并进一步比较这些替代品与两个额外的技术,仔细研究之前。我们用17个真实数据集进行了广泛的实验评估,并讨论了一些令人惊讶的结果,这表明一个富有成效的研究方向是考虑时间序列中的时间相关性。根据我们的评估,我们还提供了对该领域从业人员有用的指导方针。
2012-08-09 cs.DB
DumpyOS: A Data-Adaptive Multi-ary Index for Scalable Data Series Similarity Search
针对现有数据序列索引构建慢、准确率低的问题,提出自适应多叉索引Dumpy及其变体,并行化得到DumpyOS并优化近似搜索算法,兼顾构建效率与搜索精度。
2024-12-12 cs.DB
ParIS+: Data Series Indexing on Multi-Core Architectures
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而,即使是最先进的技术也无法提供大型数据系列收集所需的时间性能。我们提出了ParIS和ParIS+,第一个基于磁盘的数据系列索引精心设计,从本质上利用多核架构,以加快相似性搜索处理时间。我们的实验表明,ParIS+完全消除了磁盘驻留数据的索引构建过程中的CPU延迟,并且对于精确的查询应答,比当前最先进的索引扫描方法快1个数量级,比优化的串行扫描方法快3个数量级。ParIS+(它是ADS+索引的演变)的效率归功于多核和多套接字架构的有效使用,以便并行分布和执行索引构建和查询应答,并利用现代CPU的单指令多数据(SIMD)功能,以便进一步并行执行每个核心内的指令。
2020-09-01 cs.DB
SparseDTW: A Novel Approach to Speed up Dynamic Time Warping
我们提出了一种新的空间有效的方法,(SparseDTW),计算动态时间弯曲(DTW)的距离之间的两个时间序列,总是产生最佳的结果。这与通常牺牲最优性以获得空间效率的其他已知方法形成对比。我们的方法背后的主要思想是动态地利用时间序列之间的相似性和/或相关性的存在。时间序列之间的相似性越大,计算它们之间的DTW所需的空间就越少。据我们所知,所有其他技术,以加速DTW,施加先验约束,并不利用相似性特征,可能存在于数据中。我们进行实验,并证明SparseDTW优于以前的方法。
2012-01-13 cs.DB cs.DS
Time Series Synthesis Using the Matrix Profile for Anonymization
University of California, Riverside(加州大学河滨分校);Visa Research(Visa研究院)
针对数据发布的隐私问题,提出基于矩阵轮廓的时间序列合成方法TSSUMP,在保留相似连接信息的同时降低与原数据相关性,实验验证其可在移除敏感信息的同时保证下游挖掘任务性能接近原数据水平。
2023-11-05 cs.AI cs.CR cs.DB
Employing Subsequence Matching in Audio Data Processing
Faculty of Informatics, Masaryk University(马萨里克大学信息学院)
我们概述了当前的问题,音频检索和时间序列子序列匹配。我们讨论了使用子序列匹配方法在音频数据处理,特别是在自动语音识别(ASR)领域,我们的目标是提高性能的检索过程。为了克服已知的问题,从时间序列领域的实现偏差和数据偏差的发生,我们提出了一个子序列匹配框架作为快速原型设计,建设和测试相似性搜索子序列匹配应用程序的工具。该框架是建立在MESSIF(度量相似性搜索实现框架)之上,因此,子序列匹配算法可以利用先进的相似性索引,以显着提高其查询处理性能。为了证明我们的概念,我们提供了一个查询的例子口语术语检测类型的应用程序与使用的语音后验图和子序列匹配方法的设计。
2012-04-11 cs.DB cs.SD