Return of the Lernaean Hydra: Experimental Evaluation of Data Series Approximate Similarity Search
数据序列是存在于众多领域的一种特殊类型的多维数据,其中相似性搜索是数据序列文献中已广泛研究的关键操作。与此同时,多维社区研究了近似相似性搜索技术。我们提出了一个分类的相似性搜索技术,调和这两个领域中使用的术语,我们描述了修改数据系列索引技术,使他们能够回答近似相似性查询的质量保证,我们进行了彻底的实验评估,比较近似相似性搜索技术在一个统一的框架下,在内存和磁盘上的合成和真实的数据集。虽然数据系列不同于一般的多维向量(系列通常表现出相邻值之间的相关性),我们的研究结果表明,数据系列技术回答近似%相似性查询具有强有力的保证和优秀的经验性能,数据系列和向量一样。当在磁盘上操作时,这些技术优于最先进的向量近似技术,并且在内存中保持竞争力。
2020-06-20 cs.DB
HQANN: Efficient and Robust Similarity Search for Hybrid Queries with Structured and Unstructured Constraints
内存中近似最近邻搜索(ANNS)算法在快速高查全率查询处理方面取得了巨大成功,但在处理具有非结构化(即,特征向量)和结构化(即,相关属性)约束。在本文中,我们提出了HQANN,一个简单而高效的混合查询处理框架,可以很容易地嵌入到现有的基于邻近图的人工神经网络算法。我们保证低延迟和高召回利用属性之间的导航感和融合向量相似性搜索与属性过滤。在公共和内部数据集上的实验结果表明,HQANN比最先进的混合ANNS解决方案快10倍,以达到相同的召回质量,其性能几乎不受属性复杂性的影响。它可以在大约50微秒内达到99\% recall@10在GLOVE-1.2M上具有数千个属性约束。
2022-07-16 cs.DB cs.IR
Cardinality Estimation for High Dimensional Similarity Queries with Adaptive Bucket Probing
The Hong Kong University of Science and Technology(香港科技大学);Hong Kong Generative AI Research and Development Center (HKGAI)(香港生成式人工智能研发中心(HKGAI))
本文提出一种轻量级框架,利用LSH分区和自适应桶探针技术,结合渐进采样和不对称距离计算,提升高维相似性查询的卡数估计精度和在线效率。
2026-04-06 cs.AI cs.DB
Fast and Exact Similarity Search in less than a Blink of an Eye
本文提出 SOFA 索引,结合 SFA 频域摘要、树索引、GEMINI 下界与 SIMD,实现精确数据序列相似性搜索,并在含 10 亿条序列的新基准上显著提速。
2024-12-03 cs.DB
A New Similairty Measure For Spatial Personalization
利用空间数据仓库提取相关信息变得越来越困难。事实上,由于空间数据仓库中存储了大量的数据,用户通常不知道立方体的哪个部分包含相关的信息,以及即将到来的查询应该是什么。作为一种解决方案,我们建议研究用户的行为之间的相似性,在系统上发起的空间MDX查询,作为推荐下一个相关的MDX查询给当前用户的基础。本文介绍了一种新的相似性度量比较空间MDX查询。所提出的相似性度量可以直接支持空间个性化方法的发展。建议的相似性度量考虑了相似性评估模型的基本组成部分:拓扑结构,方向和距离。
2012-09-09 cs.DB
Exact Trajectory Similarity Search With N-tree: An Efficient Metric Index for kNN and Range Queries
针对轨迹相似性搜索中现有度量索引性能不足的问题,提出新型度量距离函数DistanceAvg与N-tree索引结构,在kNN查询上优于现有最优索引,范围查询性能相当,可返回精确结果。
2024-08-14 cs.DB cs.DS cs.IR
Local Similarity Search on Geolocated Time Series Using Hybrid Indexing
地理位置的时间序列,即,与特定位置相关的时间序列,在许多现代应用中比比皆是。在本文中,我们考虑混合查询检索地理定位的时间序列过滤器的基础上,结合空间距离和时间序列的相似性。对于后者,与现有的工作不同,我们允许基于局部相似性进行过滤,这是基于连续性而不是每个系列的整个长度计算的,从而允许发现更细粒度的趋势和模式。为了有效地支持这样的查询,我们首先利用国家的最先进的BTSR树索引,利用时间序列的位置和形状的界限修剪的搜索空间。此外,我们提出了优化,检查在特定的时间戳,以确定可能超过所需的本地相似性阈值的候选时间序列。为了进一步提高剪枝能力,我们引入了SBTSR树索引,这是对BTSR树的扩展,它在时间上对时间序列进行了额外的分段,从而可以构建更严格的边界。我们在几个真实数据集上的实验结果表明,SBTSR树可以为所有检查的查询类型提供更快的答案。该论文发表在第27届地理信息系统进展国际会议(ACM SIGSPATIAL 2019)上。
2021-04-19 cs.DB
Similarity Driven Approximation for Text Analytics
随着企业越来越多地寻求从文本数据集中提取决策见解,文本分析已成为商业智能的重要组成部分。然而,处理大型文本数据集在计算上是昂贵的,特别是如果它涉及复杂的算法。当需要对一个数据集运行不同类型的查询时,这个挑战会加剧,这使得构建多个索引以加快查询处理的成本很高。在本文中,我们提出并评估了一个名为EmApprox的框架,该框架使用近似来加快处理大范围的查询,在大型文本数据集。关键的见解是,不同类型的查询可以通过处理与查询最相似的数据子集来近似。EmApprox通过学习自然语言处理模型为数据集构建通用索引,生成一组高度压缩的向量,表示单词和文档子集。然后,在查询处理时,EmApprox使用索引来指导数据集的采样,选择文档的每个子集合的概率与其与查询的{ \em相似度}成比例,如使用向量表示所计算的。我们已经实现了EmApprox的原型作为Apache Spark系统的扩展,并使用它来近似三种类型的查询:聚合,信息检索和推荐。实验结果表明,EmApprox的相似性引导的采样实现了更好的精度比随机采样。此外,如果用户可以容忍少量的不准确性,EmApprox可以实现显著的加速。例如,当采样率为10%时,EmApprox将一组查询的速度提高了近10倍,同时对90%的查询实现了小于22%的估计相对误差。
2020-01-12 cs.DB cs.DC
DaiSy: A Library for Scalable Data Series Similarity Search
Université Paris Cité(巴黎西岱大学);Université de Bordeaux(波尔多大学);Chinese Academy of Sciences(中国科学院)
本文提出DaiSy库,整合多种先进算法,支持跨不同执行环境的精确数据序列相似性搜索,提供C++和Python接口,开源可用。
2026-06-20 cs.DB
High-Throughput Vector Similarity Search in Knowledge Graphs
Apple(苹果公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究知识图谱中的混合向量相似度搜索,提出系统HQI通过工作负载感知的向量数据分区和多查询优化技术,实现高效批处理,在工业工作负载上相比现有方法吞吐量提升31倍。
2023-04-04 cs.AI cs.DB cs.LG
Scalable Data Series Subsequence Matching with ULISSE
数据序列相似性搜索是一个重要的操作,是与数据序列收集相关的几个分析任务和应用程序的核心。尽管数据序列索引支持快速相似性搜索,但所有现有索引只能回答单一长度的查询(在索引构建时固定),这是一个严重的限制。在这项工作中,我们提出了ULISSE,第一个数据系列的索引结构,旨在回答相似性搜索查询的可变长度(在一定范围内)。我们的贡献是双重的。首先,我们介绍了一种新的表示技术,它有效地和简洁地总结了不同长度的多个序列。基于建议的索引,我们描述了高效的算法近似和精确的相似性搜索,结合磁盘的索引访问和内存中的顺序扫描。我们的方法支持非Z-归一化和Z-归一化序列,并且可以在不改变欧氏距离和动态时间弯曲的情况下使用,用于回答k-NN和ε-范围查询。我们实验评估我们的方法使用几个合成和真实的数据集。结果表明,ULISSE是几倍,并高达数量级更有效的空间和时间成本方面,相比竞争的方法。(论文发表于VLDBJ 2020)
2020-09-22 cs.DB
VeriTS: Verifiable Model-Enhanced Time-Series Queries on Blockchain Systems
College of Computer Science;Technology Zhejiang University Hangzhou, China;Technology Wuhan University of Science;School of Software Engineering Xi'an Jiaotong University Xi'an, China;Technology College Dalian Maritime University Dalian, China;School of Computer Science \& School of Software Nanjing University of Information Science \& Technology Nanjing, China;Department of Informatics University of Oslo Oslo, Norway
提出首个区块链可验证时间序列查询框架VeriTS,通过认证聚合区间树实现高效可验证查询,验证效率与证明大小较单记录证明大幅优化。
2026-08-31 cs.DB
The Lernaean Hydra of Data Series Similarity Search: An Experimental Evaluation of the State of the Art
越来越大的数据系列集合在许多不同的领域和应用程序中变得越来越普遍。相似性搜索是数据序列集合分析中的一个关键操作,在过去的二十年里,它吸引了大量的关注和努力。尽管文献中提出了几种相关方法,但现有研究均未针对现有替代品进行详细评价。由于术语使用不规范,导致混乱和误解,使缺乏比较结果的情况更加严重。在本文中,我们提供了定义的不同口味的相似性搜索,在过去的研究,并提出了第一个系统的实验评估的数据序列相似性搜索技术的效率。根据实验结果,我们描述了每种方法的优点和缺点,并给出了在典型用例下使用的最佳方法的建议。最后,通过确定每种方法的缺点,我们的研究结果奠定了坚实的基础,在该领域的进一步发展。
2020-06-20 cs.DB
Example-Driven Query Intent Discovery: Abductive Reasoning using Semantic Similarity
传统的关系数据接口需要对潜在的复杂模式进行精确的结构化查询。这些严格的数据检索机制给非专家用户带来了障碍,他们通常缺乏语言专业知识,不熟悉模式的细节。示例查询(QBE)方法提供了一种替代机制:用户提供他们想要的查询输出的示例,QBE系统需要推断出想要的查询。然而,这些方法专注于示例的结构相似性,而忽略了数据中存在的更丰富的上下文。因此,它们通常会产生过于笼统的查询,并且无法有效地捕获用户的意图。在本文中,我们提出了SQuID,一个系统,执行语义相似性感知查询意图发现。我们的工作做出了以下贡献:(1)我们设计了一个端到端的系统,自动制定选择项目连接查询在一个开放的世界设置,可选的分组聚合和交叉运算符;一个更大的类比以前的QBE技术。(2)我们表达的问题,查询意图发现使用概率溯因模型,推断查询作为最有可能的解释所提供的例子。(3)我们引入了一个绑架准备数据库的概念,它预先计算语义属性和相关的统计数据,使SQuID实现实时性能。(4)我们对三个真实世界的数据集进行了广泛的实证评估,包括用户意图案例研究,证明SQuID是高效和有效的,优于机器学习方法,以及相关查询逆向工程问题的最新技术。
2019-06-25 cs.DB
Analyzing and Reducing Search Quality Differences in Vector Similarity Search
Carnegie Mellon University(卡内基梅隆大学)
本研究针对向量相似性搜索中平均召回率优化掩盖查询间召回率差异的问题,设计轻量级系统RCheck动态调整搜索工作量,在相同吞吐量下提升平均召回率并增加达标查询占比。
2026-08-27 cs.DB cs.OS
BSTree: an Incremental Indexing Structure for Similarity Search and Real Time Monitoring of Data Streams
在这项工作中,提出了一种新的索引技术的数据流称为BSTree。该技术使用数据离散化方法SAX [4]来在线降低数据流的维度。该方法利用Btree构建索引,并采用LRV(least Recently Visited)剪枝技术去除上次访问时间超过阈值的数据,从而最大限度地缩短相似性查询的响应时间。
2014-06-23 cs.DB
Forecasting Stock Time-Series using Data Approximation and Pattern Sequence Similarity
时间序列分析是使用统计技术建立模型来表示时间序列数据特征的过程。处理和预测大量的时间序列数据是一项具有挑战性的任务。本文提出了股票时间序列数据的逼近与预测(APST),它是一种两步预测股票价格指数变化方向的方法。首先,使用多水平分段平均(MSM)技术进行数据逼近。在第二阶段,使用欧氏距离和最近邻技术对近似数据进行预测。数据近似的计算代价是O(nni),预测任务的计算代价是O(m |NN|).因此,在所提出的方法中预测所需的准确性和时间比现有的基于标签的预测(LBF)方法[1]相对有效。
2013-09-10 cs.DB
Hercules Against Data Series Similarity Search
我们提出了大力士,一个并行的基于树的技术,精确的相似性搜索大规模的基于磁盘的数据系列集合。我们提出了新的索引建设和查询应答算法,利用不同的汇总技术,精心安排昂贵的操作,优化内存和磁盘访问,并利用现代硬件的多线程和SIMD功能来执行CPU密集型计算。我们证明了大力神的优越性和鲁棒性与广泛的实验评估对国家的最先进的技术,使用许多合成和真实的数据集,和不同难度的查询工作量。结果表明,大力士的表现比最好的竞争对手快一个数量级(这并不总是相同的)。此外,Hercules是唯一一个在所有场景下都优于优化扫描的索引,包括基于磁盘的数据集上的硬查询工作负载。本文发表在VLDB捐赠的论文集,第15卷,第10期,2022年6月。
2022-12-26 cs.DB
climber++: Pivot-Based Approximate Similarity Search over Big Data Series
针对现有分布式大数据序列近似kNN搜索重可扩展性、轻准确性的问题,提出含抗损失双重表示、分布式两级索引及两种查询算法的CLIMBER框架,实现了80%以上准确率且兼具太字节级可扩展性。
2024-04-15 cs.DB
ProS: Data Series Progressive k-NN Similarity Search and Classification with Probabilistic Quality Guarantees
现有的系统处理日益增加的数据系列量不能保证交互式响应时间,即使是基本的任务,如相似性搜索。因此,有必要开发分析方法,通过提供渐进的结果来支持勘探和决策,然后才能计算出最终和准确的结果。以前的工作缺乏效率和准确性时,适用于大规模的数据系列收集。我们提出并实验评估ProS,一种新的基于概率学习的方法,为渐进最近邻(NN)查询回答提供质量保证。我们开发了我们的k-NN查询方法,并演示了它如何可以应用于两个最流行的距离测量,即欧几里得和动态时间规整(DTW)。我们提供了初始和渐进的估计,最终的答案是越来越好的相似性搜索过程中,以及合适的停止标准的渐进式查询。此外,我们描述了如何使用这种方法,以开发一个渐进的算法的数据系列分类(基于一个k-NN分类器),我们还提出了一种专门为分类任务设计的方法。几个不同的合成和真实数据集的实验表明,我们的预测方法构成了第一个实际的解决方案的问题,显着优于竞争的方法。该论文发表在VLDB Journal(2022)上。
2022-12-26 cs.DB
Equi-Joins Over Encrypted Data for Series of Queries
加密提供了一种保护外包给DBMS提供商的数据的方法,例如,在云端但是,对加密数据执行数据库操作需要专门的加密方案,这些加密方案需要仔细平衡安全性和性能。在本文中,我们提出了一种新的加密方案,可以有效地执行equi-joins加密数据具有更好的安全性比国家的最先进的。特别是,我们的加密方案减少泄漏到平等的行匹配的选择标准,只揭示了传递封闭的泄漏的总和,每个查询在一系列的查询。我们的加密方案是可证明安全的。我们实现了我们的加密方案,并在TPC-H基准测试的数据集上对其进行了评估。
2021-03-10 cs.CR cs.DB
Multimodal Embeddings for 3D Similarity Search in Semantic Web-of-Things Digital-Twin Platforms
Univ Rennes, Inria, CNRS, IRISA(雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、IRISA);Orange Research(橙研)
本文针对语义物联网数字孪生平台缺乏三维相似度搜索能力的问题,提出多模态嵌入框架,在Thing'in平台实现后经S3DIS验证,可支持混合本体-向量查询,满足相关领域的三维相似度搜索需求。
2026-08-04 cs.DB cs.IR
Effective and Efficient Variable-Length Data Series Analytics
在过去的二十年中,数据序列相似性搜索已经成为与数据序列收集相关的几个分析任务和应用程序的核心的基本操作。许多解决不同挖掘问题的方法都是通过相似性搜索来实现的。在这方面,所有提出的解决方案都需要进行相似性搜索的序列长度的先验知识。在一些情况下,长度的选择是至关重要的,并合理地影响预期结果的质量。不幸的是,明显的暴力解决方案,它提供了一个给定范围内的所有长度的结果是计算上站不住脚的。在这个博士工作中,我们提出了第一个解决方案,本质上支持可扩展的和可变长度的相似性搜索的数据序列,应用于序列/序列匹配,模体和discord发现问题。实验结果表明,我们的方法是高达数量级的速度比替代品。它们还表明,我们可以消除使用预定义长度执行分析的不切实际的限制,从而获得更直观和可操作的结果,否则这些结果将被错过。
2020-09-22 cs.DB
Data Series Indexing Gone Parallel
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而,国家的最先进的技术未能提供所需的交互式探索,或大型数据系列集合的分析的时间性能。在这个博士工作,我们提出了第一个数据系列索引解决方案,磁盘上和内存中的数据,旨在利用多核架构的固有优势,以加快相似性搜索处理时间。我们对各种合成数据和真实数据的实验表明,我们的方法比其他方法快了几个数量级。更具体地说,我们的磁盘解决方案可以在几秒钟内回答100 GB数据集上的精确相似性搜索查询,而我们的内存解决方案可以在几毫秒内回答,这使得对非常大的数据系列集合进行实时交互式数据探索成为可能。
2020-09-02 cs.DB
DRSP : Dimension Reduction For Similarity Matching And Pruning Of Time Series Data Streams
时间序列数据流的相似性匹配和连接在当今拥有大量流数据的世界中获得了很多相关性。该过程在位置跟踪、传感器网络、对象定位和监视等领域中得到了广泛的应用。然而,随着数据流的大小增加,为了帮助相似性匹配的过程而保留所有数据所涉及的成本也增加。我们开发了一个新的框架,以解决以下目标。首先,在预处理阶段进行降维,其中大的流数据被分割和减少到一个紧凑的表示,这样它保留了所有的关键信息,通过一种技术称为多级段均值(MSM)。这降低了与大的时间序列数据流的存储相关联的空间复杂度。其次,它采用了有效的相似性匹配技术来分析新的数据对象是否对称于现有的数据流。最后是剪枝技术,过滤掉伪数据对象对,只连接相关的对。MSM的计算成本是O(l*ni),修剪的成本是O(DRF*wsize*d),其中DRF是降维因子。我们已经进行了详尽的实验测试,以表明所提出的框架是有效的和称职的,与早期的作品相比。
2013-12-10 cs.DB
Fast Data Series Indexing for In-Memory Data
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而,国家的最先进的技术未能提供所需的交互式探索,或大型数据系列集合的分析的时间性能。在这项工作中,我们提出了MESSI,第一个数据系列索引设计在内存中操作的现代硬件。我们的索引利用了现代硬件并行化的机会(即,SIMD指令、多套接字和多核架构),以便加速索引构建和相似性搜索处理时间。此外,它受益于在并行工作器和数据结构的设置和协调中的精心设计,使得它最大化其在内存中操作的性能。MESSI支持使用欧氏距离和动态时间规整(DTW)距离的相似性搜索。我们对合成数据集和真实数据集的实验表明,总体MESSI在索引构建方面快4倍,在查询响应方面比最先进的并行方法快11倍。MESSI是第一个在约50毫秒(30- 75毫秒)内回答100 GB数据集上的精确相似性搜索查询的系统,这使得在非常大的数据系列集合上进行实时,交互式的数据探索成为可能。
2021-10-14 cs.DB
Navigable Proximity Graph-Driven Native Hybrid Queries with Structured and Unstructured Constraints
Hangzhou Dianzi University(杭州电子科技大学)
随着研究兴趣的激增,向量相似性搜索被应用于多个领域,包括数据采掘、计算机视觉和信息检索。{给定一组对象(例如,一组图像)和查询对象,我们可以很容易地将每个对象转换为特征向量,并应用向量相似性搜索来检索最相似的对象。然而,原始向量相似性搜索不能很好地支持\textit{hybrid queries},其中用户不仅输入非结构化查询约束(即,查询对象的特征向量)以及结构化查询约束(即,感兴趣的期望属性)。混合查询处理的目标是识别出与查询对象具有相似特征向量并满足给定属性约束的对象。最近的努力尝试通过分别执行属性过滤和向量相似性搜索并且随后合并结果来回答混合查询,这限制了效率和准确性,因为它们不是为混合查询而专门构建的。本文提出了一种基于邻近图(PG)的原生混合查询(NHQ)框架,为混合查询提供了专用的\textit{composite index and joint pruning}模块。我们可以很容易地部署现有的各种PG在这个框架上有效地处理混合查询。此外,我们提出了两个新的导航PG(NPG)与优化的边缘选择和路由策略,获得更好的整体性能比现有的PG。之后,我们在NHQ中部署了所提出的NPG以形成两种混合查询方法,它们在所有实验数据集上的性能都显着优于最先进的竞争对手(在相同的\textit{Recall}下快10 $\times$),包括8个公共数据集和1个内部真实世界数据集。我们的…
2022-03-25 cs.CV cs.DB cs.IR
TSseek: Pattern-Based Search for Distributed Time Series Datasets
Worcester Polytechnic Institute(伍斯特理工学院);Qatar Computing Research Institute(卡塔尔计算机研究所)
提出TSseek框架,通过正则表达式查询语言支持趋势、值范围和通配符模式搜索,并构建分布式空间索引TSseek-X实现高效精确匹配。
2026-11-13 cs.DB
MESSI: In-Memory Data Series Indexing
数据序列相似性搜索是跨多个不同领域的多个数据序列分析应用的核心操作。然而,国家的最先进的技术未能提供所需的交互式探索,或大型数据系列集合的分析的时间性能。在这项工作中,我们提出了MESSI,第一个数据系列索引设计在内存中操作的现代硬件。我们的索引利用了现代硬件并行化的机会(即,SIMD指令、多核和多套接字架构),以便加速索引构建和相似性搜索处理时间。此外,它受益于在并行工作器和数据结构的设置和协调中的精心设计,使得它最大化其在内存中操作的性能。我们对合成数据集和真实数据集的实验表明,总体MESSI在索引构建方面快4倍,在查询响应方面比最先进的并行方法快11倍。MESSI是第一个在_50毫秒(30- 75毫秒,跨不同的数据集)内回答100 GB数据集上的精确相似性搜索查询的系统,这使得在非常大的数据系列集合上进行实时,交互式的数据探索成为可能。
2020-09-02 cs.DB
Quantifying Uncertainty in Aggregate Queries over Integrated Datasets
本文针对双表一对多数据集成工作流,提出一种基于二分图匹配的多项式时间算法,用于量化聚合查询结果的最大和最小不确定性范围,帮助用户在缺乏真实数据时指导匹配参数搜索。
2023-09-11 cs.DB
Uncertain Time-Series Similarity: Return to the Basics
在过去的几年中,在广泛的应用领域中,连续传感器测量的可用性已经有了相当大的增长,例如基于位置的服务(LBS)、医疗监测系统、制造厂和工程设施,以确保效率、产品质量和安全、水文和地质观测系统、污染管理等。由于传感器观测的固有不精确性,许多研究最近转向查询,挖掘和存储不确定数据。不确定性也可能是由于数据聚合、隐私保护转换和易出错的挖掘算法。在这项研究中,我们调查的技术,已提出专门用于建模和处理不确定的时间序列,一个重要的模型的时间数据。我们提供了一个分析评估的替代品,已在文献中提出,突出了每种方法的优点和缺点,并进一步比较这些替代品与两个额外的技术,仔细研究之前。我们用17个真实数据集进行了广泛的实验评估,并讨论了一些令人惊讶的结果,这表明一个富有成效的研究方向是考虑时间序列中的时间相关性。根据我们的评估,我们还提供了对该领域从业人员有用的指导方针。
2012-08-09 cs.DB
SQL-Encoder: Improving NL2SQL In-Context Learning Through a Context-Aware Encoder
Huawei Technologies Canada Co. Ltd(华为技术加拿大有限公司);University of Alberta(阿尔伯塔大学)
本文提出SQL-Encoder模型,通过17万问题对数据集训练相似性预测,精准捕捉查询结构相似性,显著提升NL2SQL模型在1-shot上下文学习中的下游性能。
2024-03-24 cs.CL cs.DB cs.HC
Dynamic Enumeration of Similarity Joins
本文考虑在动态更新下枚举相似连接查询的答案:给定$\mathbb{R}^d$中的两组$n$点$A,B$,度量$ϕ(\cdot)$和距离阈值$r > 0$,用$ϕ(a,b) \le r$报告所有点对$(a, b) \in A \times B$。我们的目标是将$A,B$存储到一个动态数据结构中,无论何时被要求,都可以枚举所有具有最坏情况延迟保证的结果对,即,枚举两个连续对之间的时间是有界的。此外,当点被插入到$A$或$B$中或从$A$或$B$中删除时,可以有效地更新数据结构。我们提出了几个有效的数据结构,以回答低维的相似连接查询。对于精确枚举的相似性连接,我们提出了近线性大小的数据结构$\ell_1, \ell_\infty$度量与$\log^{O(1)} n$更新时间和延迟。我们表明,这样的数据结构是不可行的$\ell_2$度量$d \ge 4$。对于近似枚举的相似连接,距离阈值是一个软约束,我们得到了一个统一的线性大小的数据结构$\ell_p$度量,与$\log^{O(1)} n$延迟和更新时间。在高维度,我们提出了一个有效的数据结构,最坏情况下的延迟保证使用局部敏感哈希(LSH)。
2021-05-05 cs.DB cs.DS
SEAnet: A Deep Learning Architecture for Data Series Similarity Search
LIPADE, Université Paris Cité(巴黎西岱大学LIPADE实验室)
本文提出SEAnet,一种基于深度神经网络的新型架构,用于改进数据序列相似性搜索任务,通过引入平方和保留属性和改进的采样策略提升性能。
2026-04-02 cs.DB cs.LG
Odyssey: A Journey in the Land of Distributed Data Series Similarity Search
本文介绍了奥德赛,一种新的分布式数据系列处理框架,有效地解决了关键的挑战,表现出良好的加速和确保高的可扩展性,在数据系列处理,利用现代集群的全部计算能力组成的多核服务器。Odyssey解决了设计高效和高度可扩展的分布式数据系列索引方面的许多挑战,包括高效的调度和负载平衡,而无需支付高昂的数据移动成本。它还支持灵活的部分复制方案,这使Odyssey能够在查询应答期间在数据可扩展性和良好性能之间进行基本权衡。通过广泛的配置和使用几个真实和合成的数据集,我们的实验分析表明,奥德赛实现了其具有挑战性的目标。
2023-01-26 cs.DB cs.DC
Error-bounded Approximate Time Series Joins Using Compact Dictionary Representations of Time Series
Visa Research(Visa研究院);University of California, Riverside(加州大学河滨分校)
针对现有矩阵轮廓近似连接研究多聚焦自连接的问题,提出基于时间序列紧凑字典表示的误差有界近似跨序列相似性连接方法,可将异常挖掘系统吞吐量提升至少20倍且准确率基本无降,还能提供语义化洞见,已在多领域验证效用。
2023-11-05 cs.DB cs.LG
A Learned Index for Exact Similarity Search in Metric Spaces
Hong Kong University of Science and Technology(香港科技大学);Guangzhou University(广州大学)
索引是在大型数据库中支持高效查询处理的有效方法。最近,学习索引的概念,它取代或补充传统的索引结构与机器学习模型,已被积极探索,以减少存储和搜索成本。然而,在高维度量空间中准确和高效的相似性查询处理仍然是一个开放的挑战。在本文中,我们提出了一种新的索引方法,称为LIMS,使用数据聚类,基于XML的数据转换技术和学习索引,以支持有效的相似性查询处理度量空间。在LIMS中,底层数据被划分为簇,使得每个簇遵循相对均匀的数据分布。数据重新分配是通过为每个集群使用少量的枢轴来实现的。相似的数据被映射到紧凑的区域和映射的值是完全有序的。开发机器学习模型来近似磁盘上每个数据记录的位置。设计了基于LIMS的范围查询和最近邻查询处理算法,以及动态更新的索引维护算法。在真实世界和人工数据集上的大量实验表明,LIMS与传统索引和最先进的学习索引相比具有优越性。
2022-07-29 cs.DB cs.LG
Elastic Product Quantization for Time Series
KU Leuven(鲁汶大学)
由于高存储成本和计算要求,分析大量或长时间序列在实践中是困难的。因此,已经提出了生成时间序列的紧凑的相似性保持表示的技术,使得能够对大型存储器内数据汇集进行实时相似性搜索。然而,现有的技术并不理想地适合于评估相似性时,序列是局部异相。在本文中,我们提出了使用产品量化有效的相似性为基础的时间序列比较下的时间扭曲。其思想是首先通过将时间序列划分为由短代码表示的等长子序列来压缩数据。两个时间序列之间的距离,然后可以有效地近似预先计算的弹性距离之间的代码。分割成子序列迫使不需要的对齐,我们使用最大重叠离散小波变换(MODWT)的预对齐步骤解决。为了证明我们的方法的效率和准确性,我们在最近邻分类和聚类应用程序的基准数据集上进行了广泛的实验评估。总的来说,所提出的解决方案出现作为一个高效的(无论是在内存使用和计算时间)的时间序列应用程序中的弹性措施的替代品。
2022-08-26 cs.DB cs.LG
The Minimal Compression Rate for Similarity Identification
传统上,数据压缩处理简明地表示数据源(例如字母序列)的问题,以便最终再现(精确或近似)。在这项工作中,我们感兴趣的情况下,目标是回答相似性查询的压缩序列,即识别原始序列是否类似于一个给定的查询序列。我们研究的压缩率和压缩数据上执行的查询的可靠性之间的基本权衡。为了i.i.d.序列,我们表征的最小压缩率,允许查询答案,这是可靠的意义上有一个消失的假阳性概率,当假阴性是不允许的。该结果部分基于Ahlswede等人先前的工作,而内在典型子集引理在逆证明中起着关键作用。然后,我们的压缩率可实现的方案,使用有损源代码作为一个积木的特点,并表明,这样的计划是,在一般情况下,次优。最后,我们解决的问题,评估的最小压缩率,通过将问题转化为一系列的凸规划,可以有效地解决。
2013-12-07 cs.DB cs.IR cs.IT
CodexDB: Generating Code for Processing SQL Queries using GPT-3 Codex
Cornell University(康奈尔大学)
CodexDB是一个SQL处理引擎,其内部可以通过自然语言指令进行自定义。CodexDB基于OpenAI的GPT-3 Codex模型,可将文本转换为代码。它是一个基于GPT-3 Codex的框架,可以将复杂的SQL查询分解为一系列简单的处理步骤,用自然语言描述。处理步骤通过用户提供的说明和数据库属性的描述进行了丰富。Codex将结果文本转换为查询处理代码。CodexDB的早期原型能够为WikiSQL基准的大多数查询生成正确的代码,并且可以以各种方式进行定制。
2022-04-19 cs.CL cs.DB cs.LG