Tracking Where Events Take Place: Reverse Spatial Term Queries on Streaming Data
在线用户生成的大量内容被地理标记,这为在各种基于位置的服务中进行查询提供了丰富的资源。此类服务中的一类重要查询涉及内容和位置之间的关联。在本文中,我们研究了两种类型的查询流地理标记数据:1)“Top-k反向频繁空间查询”,其中给定一个术语,目标是找到前K个位置,该术语是频繁的,和2)“词频空间查询”,这是找到一个术语在给定位置的预期频率。为了有效地支持这些查询流设置,我们的模型术语作为事件,并探索地理分布的概率模型,使我们能够估计的频率,在没有保持在流草图或摘要的位置。我们研究了查询效率、更新效率和结果准确性之间的来回关系,并确定了一些可以开发高效和有效算法的最佳点。我们证明,我们的方法可以扩展到支持多项查询。为了评估我们的算法的效率,我们进行了一个相对较大的收集地理标记的推文和地理标记的Flickr照片的实验。评估表明,我们提出的方法达到了很高的精度时,只有有限的内存量。此外,与最近的基线相比,查询时间被改善了2-3个数量级,而准确性没有太大损失,并且在某些术语分布或更新策略下,更新时间可以进一步改善至少一个数量级。
2022-01-19 cs.DB
mmLSH: A Practical and Efficient Technique for Processing Approximate Nearest Neighbor Queries on Multimedia Data
许多大型多媒体应用需要高效的最近邻查询处理。通常,多媒体数据被表示为重要的高维特征向量的集合。现有的局部敏感散列(LSH)技术要求用户为表示查询对象的每个特征向量找到前k个相似的特征向量。由于两个主要原因,这导致了浪费和冗余的工作:1)不是所有的特征向量都可以在找到前k个相似的多媒体对象时做出同等的贡献,以及2)在查询处理期间独立地处理特征向量。此外,对于返回的多媒体结果没有理论保证。在这项工作中,我们提出了一个实用和高效的索引方法,找到前k个近似最近邻的多媒体数据使用LSH称为mmLSH,它可以提供理论上的保证返回的多媒体结果。此外,我们提出了一个缓冲区意识的策略,以加快查询处理。实验评估表明,显着的收益,在不同的真实多媒体数据集的性能时间和准确性相比,对国家的最先进的LSH技术。
2020-06-22 cs.DB
Reverse k Nearest Neighbor Search over Trajectories
GPS使移动设备能够不断提供新的机会来改善我们的日常生活。例如,Uber或公共交通管理局创建的应用程序中收集的数据可用于规划交通路线,估计容量,并主动识别低覆盖区域。本文研究了一种新的查询算法--反向k最近邻轨迹搜索算法(RkNNT),它可用于路径规划和容量估计。给定一组现有路线DR、一组乘客转换DT和查询路线Q,RkNNT查询返回将Q作为其k个最近行驶路线之一的所有转换。为了解决这个问题,我们首先开发了一个索引来处理动态轨迹更新,以便最新的过渡数据可用于回答RkNNT查询。然后,我们介绍了一个过滤器的细化框架处理RkNNT查询使用建议的索引。接下来,我们展示了如何使用RkNNT来解决最优路线规划问题MaxRkNNT(MinRkNNT),即根据预定义的旅行距离阈值,搜索从起点到终点的最优路线,以吸引最大(或最小)乘客数量。在真实数据集上的实验证明了该方法的有效性和可扩展性。据我们所知,这是第一个工作,研究RkNNT问题的路线规划。
2017-04-13 cs.DB
Reverse Nearest Neighbor Heat Maps: A Tool for Influence Exploration
我们研究了通过寻找二维空间中每个点的RNN集来构造反向最近邻热图的问题。基于一个点的RNN集,我们获得了一个定量的影响(即,热)为题。热图提供了关于空间中影响力分布的全局视图,因此支持许多应用中的探索性分析,例如营销和资源管理。为了构建这样的热图,我们首先将其简化为一个称为区域着色(RC)的问题,该问题将空间划分为不相交的区域,其中所有点都具有相同的RNN集。然后,我们提出了一种新的算法名为CREST,有效地解决了RC问题,通过标记每个区域与其包含点的热量值。在CREST中,我们提出了创新技术,以避免处理昂贵的RNN查询,并大大减少区域标记操作的数量。我们对CREST算法的复杂性和RC问题的下界进行了详细的分析,并证明了CREST算法在最坏情况下是渐近最优的。真实和合成数据集的大量实验表明,CREST优于替代算法的几个数量级。
2016-02-02 cs.DB
The complexity of reverse engineering problems for conjunctive queries
合取查询(CQ)的逆向工程问题,例如按示例查询(QBE)或可定义性,采用一组用户示例并将其转换为解释性CQ。尽管它们很重要,但这些问题的复杂性高得令人望而却步(coNEXPTIME-完全)。我们隔离他们的两个主要来源的复杂性,并提出放宽他们,降低复杂性,同时有意义的理论解释。第一个放松是基于使用存在卵石游戏近似同态测试的想法。我们表明,这特征QBE/可定义的CQ树宽$k$,同时降低复杂性EXPTIME。作为一个副产品,我们得到的复杂性的QBE/可定义性问题的CQ的树宽$k$是EXPTIME完全的每个$k \geq 1$。第二个放松是基于“去重化”直积的思想,它表征了CQ的并集的QBE/可定义性,并降低了coNP的复杂性。这两个松弛的组合产生了QBE的易处理性,并以树宽至多为$k$的CQ的并集来表征它。我们还研究了这些问题的复杂性,图数据库上的合取规则路径查询,显示它们并不比CQ更困难。
2016-07-07 cs.DB cs.LO
Maximizing the Influence of Bichromatic Reverse k Nearest Neighbors in Geo-Social Networks
地理社交网络为地理定位服务的营销和推广提供了机会。在这种情况下,我们探索一个新的问题,称为最大化双色反向k最近邻的影响(MaxInfBRkNN)。我们的目标是找到一组兴趣点(POI),这是地理文本和社会吸引力的社会影响者,预计将在很大程度上促进POI通过在线影响传播。换句话说,该问题旨在检测具有最大口碑(WOM)营销潜力的最佳POI集合。此功能在各种现实生活应用中非常有用,包括社交广告、基于位置的病毒式营销和个性化POI推荐。然而,解决MaxInfBRkNN与理论保证是具有挑战性的,因为禁止开销的BRkNN检索地理社会网络,和NP和#P-硬度在寻找最佳POI集。为了实现实际的解决方案,我们提出了一个框架,精心设计的索引,高效的批处理BRkNN处理算法,以及替代POI选择策略,支持近似和启发式解决方案。在真实数据集和人工数据集上的大量实验证明了我们所提出的方法的良好性能。
2022-04-25 cs.DB cs.SI
Discovering Attractive Products based on Influence Sets
Skyline查询作为一种实用的多准则决策分析工具和涉及偏好查询的应用程序已被广泛使用。例如,在一个典型的在线零售应用程序中,skyline查询可以帮助客户在可用的产品池中选择最感兴趣的产品。最近,已经提出了反向天际线查询,突出了制造商的角度来看,即如何确定给定产品的预期买家。在这项工作中,我们开发了新的算法,涉及客户偏好的两个重要类别的查询。首先,我们提出了一种新的算法,称为RSA,回答反向天际线查询。然后,我们引入一种新的类型的查询,即k-最有吸引力的候选人k-MAC查询。在这种类型的查询中,给定一组现有的产品规格P、一组客户偏好C和一组新的候选产品Q,k-MAC查询返回来自Q的k个候选产品的集合,其共同最大化预期买家的总数,其被测量为各个反向天际线集合的并集的基数(即,影响集)。应用现有的方法来解决这个问题将需要计算每个候选人的反向天际线集,这对于大型数据集来说是非常昂贵的。因此,我们提出了一个批处理算法,这个问题,并比较其性能对一个分支定界的变体,我们设计。这两种算法都使用了我们的RSA算法的核心变体。我们使用合成和真实数据集的实验研究表明,我们提出的算法优于现有的,或天真的解决方案,我们研究类的查询。
2011-07-25 cs.DB
Ball*-tree: Efficient spatial indexing for constrained nearest-neighbor search in metric spaces
新兴的基于位置的系统和数据分析框架需要有效管理空间数据,以进行近似和精确搜索。精确的相似性搜索可以使用空间划分数据结构来完成,例如Kd树、R* 树和Ball树。在本文中,我们专注于球树,一个高效的搜索树,是特定的空间查询,使用欧几里德距离。球树的每个节点定义一个球,即一个包含要搜索的点的子集的超球体。在本文中,我们提出了球 * 树,一个改进的球树,更有效的空间查询。Ball*-tree具有一种改进的空间划分算法,该算法考虑了数据点的分布,以找到一个有效的分裂超平面。此外,我们提出了一个新的算法,KNN查询与限制范围使用球 *-树,这比KNN和范围搜索这样的查询。实验结果表明,Ball*-tree算法比原Ball-tree算法快39%~ 57%。
2015-11-02 cs.CG cs.DB cs.DS
RT-RkNN: Reverse k Nearest Neighbor Queries as a Graphics Ray Casting Problem
RIKEN Center for Computational Science(理化学研究所计算科学中心)
提出将二维空间中的反向k最近邻查询问题转化为图形光线投射问题,并利用现代GPU上的专用硬件光线追踪核心实现首个算法,在k值大、用户密集或设施稀疏等挑战场景下保持强过滤性能。
2026-06-15 cs.DB cs.DC
Inverse Queries For Multidimensional Spaces
对于给定的查询对象$q$,传统的空间查询返回满足给定谓词的所有数据库对象,例如查询范围和$k$ -最近邻居。本文定义并研究了{ \em逆}空间查询,给定一个数据库对象子集$Q$和一个查询谓词,它返回所有的对象,这些对象如果用作带有谓词的查询对象,则在其结果中包含$Q$。我们首先展示了一个简单的解决方案,回答任何查询谓词的逆空间查询。然后,我们提出了一个过滤和细化框架,可以用来提高效率。我们将展示如何应用这个框架上的各种反向查询,使用适当的空间修剪策略。特别是,我们提出了解决方案,逆范围查询,逆$k$ -最近邻查询,逆天际线查询。我们的实验表明,我们的框架是显着更有效的比天真的方法。
2011-05-05 cs.DB
HRNN: A Hybrid Graph Index for Approximate Reverse k-Nearest Neighbor Search on High-Dimensional Vectors
HKUST (GZ)(香港科技大学(广州));HKUST(香港科技大学);University of Leicester(莱斯特大学)
针对高维空间中反向k近邻搜索存在的候选扩展开销大和验证成本高的问题,提出HRNN混合图索引,通过代理点策略和离线物化kNN半径实现高效近似搜索。
2026-06-02 cs.DB cs.DS
Approximate Reverse $k$-Ranks Queries in High Dimensions
针对高维空间中以项目为中心的搜索需求,本文研究反向k-秩查询问题,提出一种高效近似算法,通过理论和实证分析验证其效率与有效性。
2025-04-18 cs.DB
Privacy Preserving Moving KNN Queries
我们提出了一种新的方法,保护轨迹隐私的用户访问基于位置的服务,通过移动k最近邻(MkNN)查询。MkNN查询连续返回移动用户(查询点)的k个最近的数据对象。简单地更新用户的不精确位置,如区域,而不是基于位置的服务提供商(LSP)的确切位置,不能确保用户对MkNN查询的隐私:区域的连续披露使LSP能够遵循用户的轨迹。我们确定的轨迹隐私的问题,所产生的连续区域的重叠,同时请求MkNN查询,并提供了这个问题的第一个解决方案。我们的方法允许用户指定的置信水平,代表了多少用户可能需要旅行比实际的第k个最近的数据对象的界限。通过隐藏用户所需的置信度和所需的距离LSP最近的数据对象的数量,我们开发了一种技术,以防止LSP跟踪用户的轨迹MkNN查询。我们提出了一个有效的算法LSP找到k个最近的数据对象的区域与用户指定的置信水平,这是一个重要的组成部分,以评估一个MkNN查询的隐私保护的方式,该算法是至少两倍的速度比国家的最先进的算法。大量的实验研究验证了我们的轨迹隐私保护技术的有效性和我们的算法的效率。
2011-04-14 cs.DB
Providing Diversity in K-Nearest Neighbor Query Results
给定多维空间中的一个点查询Q,KNN查询根据数据库中关于Q的给定距离度量返回K个最近的答案。在这种情况下,大多数答案可能与其他答案非常相似,特别是当数据具有聚类时。对于各种应用程序,这种同质结果集可能不会为用户增加价值。在本文中,我们考虑的问题,提供多样性的KNN查询的结果,也就是说,产生最接近的结果集,使每个答案是充分不同的休息。我们首先提出了一个用户可调的多样性定义,然后提出了一个算法,称为MOTLEY,根据这个定义产生一个不同的结果集。通过对真实数据和合成数据的详细实验评估,我们表明,MOTLEY可以产生不同的结果集,只需读取数据库中的元组的一小部分。此外,它不对传统KNN查询的评估施加额外的开销,从而提供多样性和距离之间的无缝接口。
2003-10-15 cs.DB
Efficient Computation of Trip-based Group Nearest Neighbor Queries (Full Version)
提出基于行程的群组最近邻(T-GNN)查询,通过三种 POI 剪枝技术细化搜索空间,实现与用户现有行程匹配的最优聚会点实时高效计算。
2025-08-29 cs.DB
On Efficient Approximate Aggregate Nearest Neighbor Queries over Learned Representations
The University of Hong Kong(香港大学);CNRS, Univ. Grenoble Alpes(法国国家科学研究中心,格勒诺布尔阿尔卑斯大学);The University of British Columbia(不列颠哥伦比亚大学)
本文提出SPRinT框架,通过结合高质量和低成本表示,高效近似聚合最近邻查询,实现低误差和低计算成本。
2026-01-05 cs.DB cs.DS cs.IR
On Top-$k$ Weighted SUM Aggregate Nearest and Farthest Neighbors in the $L_1$ Plane
本文研究了在平面$L_1$度量下,使用加权SUM算子的top-$k$聚集(或组)最近邻查询。给定$n$点的集合$P$,对于由$m$加权点的集合$Q$和整数$k$组成的任何查询,$ 1 \le k \le n$,顶部$k$聚合最近邻查询要求$P$的$k$点,其到$Q$的聚合距离最小,其中$P$的每个点$p$到$Q$的聚合距离是从$p$到$Q$的所有点的加权距离之和。我们在$O(n\log n \log\log n)$时间内构建了一个$O(n\log n\log\log n)$大小的数据结构,这样每个top-$k$查询都可以在$O(m\log m+(k+m)\log^2 n)$时间内得到回答.我们也得到了其他的结果与预处理和查询之间的权衡。即使对于$k=1$的特殊情况,我们的结果也优于以前最好的方法(在PODS 2012中),它需要$O(n\log^2 n)$预处理时间,$O(n\log^2 n)$空间和$O(m^2\log^3 n)$查询时间。此外,对于这个问题的一维版本,我们的方法可以建立一个$O(n)$大小的数据结构,在$O(n\log n)$时间,可以支持$O(\min\{k,\log m\}\cdot m+k+\log n)$时间查询。此外,我们将我们的技术扩展到顶部- $k$聚合最远邻居查询,具有相同的界限。
2014-11-29 cs.CG cs.DB cs.DS
Efficient Spatial Nearest Neighbor Queries Based on Multi-layer Voronoi Diagrams
最近邻问题是一个重要的科学问题。NN查询是在一组点中找到与给定查询点最近的一个点,广泛用于密度估计、模式分类、信息检索和空间分析等应用中。NN查询的一个直接推广是k最近邻查询(kNN),其中要求找到k个最近点,自从NN和kNN问题被提出以来,已经提出了许多算法来解决它们。在文献中已经指出,以次线性时间复杂度精确地解决这些问题的唯一方法是通过使用通常被称为空间索引的预处理结构来过滤掉不必要的空间计算。最近提出的用于NN搜索的空间索引几乎都是通过空间划分来构造的。这些索引是树状的,树状的层次结构通常可以显着提高NN搜索的效率。然而,当数据分布极不均匀时,很难同时满足树的平衡和节点对应的子空间的不重叠。因此,加速性能的树状指数是严重危害。本文提出了一种由多层沃罗诺伊图(MVD)组成的非树空间索引。该索引完全避免了树状结构所面临的困境,并以对数时间复杂度稳定地解决了神经网络问题。此外,通过在MVD上扩展NN搜索,可以方便地实现kNN搜索。在实验中,我们评估的效率,这种索引的NN搜索和kNN搜索通过比较VoR树,R树和kd树。实验结果表明,与NN搜索和kNN搜索相比,这两种搜索方法具有更高的效率与其他三个指标,MVD。
2019-11-07 cs.DB
BBC: Improving Large-k Approximate Nearest Neighbor Search with a Bucket-based Result Collector
Nanyang Technological University(南洋理工大学);Huawei Technologies Co., Ltd(华为技术有限公司);Peking University(北京大学)
针对大规模k近似最近邻查询中现有量化索引方法性能下降的问题,提出一种基于桶的结果收集器(BBC),通过桶式结果缓冲区和两种重排序算法,显著提升查询效率。
2026-06-02 cs.DB cs.DS
Dynamically Detect and Fix Hardness for Efficient Approximate Nearest Neighbor Search
针对近似最近邻搜索中OOD查询精度下降问题,提出Escape Hardness度量并分两阶段动态修复图缺陷,显著提升搜索速度与构建效率。
2025-10-25 cs.DB
Efficient Approximate Nearest Neighbor Search under Multi-Attribute Range Filter
Tongji University(同济大学);Zhejiang Gongshang University(浙江工商大学);University of Technology Sydney(悉尼科技大学);The University of New South Wales(新南威尔士大学);Shanghai Jiao Tong University(上海交通大学)
本文提出KHI索引,通过结合属性空间划分树与HNSW图,实现多属性范围过滤下的高效近似最近邻搜索,显著提升查询吞吐量和召回率。
2026-02-17 cs.DB
Eclipse: Generalizing kNN and Skyline
$k$最近邻($k$ NN)查询和skyline查询是多维数据点上的重要操作。给定一个查询点,$k$ NN查询基于评分函数(例如属性的加权和)返回$k$最近邻居,这需要预定义的属性权重(或首选项)。Skyline查询返回任何单调评分函数的所有可能的最近邻,而不需要属性权重,但返回的点的数量可能非常大。我们观察到,$k$ NN和skyline都是不灵活的,并且不能容易地定制。在本文中,我们提出了一种新的\emph{eclipse}运营商,推广了经典的$1$ NN和skyline查询,并提供了一个更灵活和可定制的查询解决方案,为用户。在Eclipse中,用户可以指定粗略的和可定制的属性首选项,并控制返回点的数量。我们证明了$1$ NN和skyline都是eclipse的实例。为了处理Eclipse查询,我们提出了一个具有时间复杂度的基线算法$O(n^22^{d-1})$,和一个改进的基于时间转换的算法$O(n\log ^{d-1}n)$,其中$n$是点的数目,$d$是维数。此外,我们提出了一种新的基于索引的算法,利用对偶变换,具有更好的效率。在真实NBA数据集和合成数据集上的实验结果表明了eclipse算子的有效性和eclipse算法的效率。
2019-06-14 cs.DB
B+ANN: A Fast Billion-Scale Disk-based Nearest-Neighbor Index
Georgia Institute of Technology(佐治亚理工学院);IBM T. J. Watson Research Center(IBM 沃森研究中心)
B+ANN是一种基于磁盘的快速十亿级最近邻索引,通过改进空间和时间局部性,提升查询性能和减少资源消耗,同时支持不相似性查询。
2025-11-19 cs.AI cs.DB cs.DS
Nearest Neighbor Classifiers over Incomplete Information: From Certain Answers to Certain Predictions
ETH Zurich(苏黎世联邦理工学院);Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
机器学习(ML)应用最近一直在蓬勃发展,这在很大程度上归功于数据可用性的增加。然而,不一致和不完整的信息在现实世界的数据集中无处不在,它们对ML应用程序的影响仍然难以捉摸。在本文中,我们提出了一个正式的研究这种影响扩展的概念,某些答案Codd表,这已经探索了几十年的数据库研究社区,到机器学习领域。具体地说,我们专注于分类问题,并提出了“确定性预测”(CP)的概念--如果在由数据的不完整性引起的所有可能世界之上训练的所有可能的分类器都将产生相同的预测,则测试数据示例肯定可以被预测(CP“ed)。我们研究了两个基本的CP查询:(Q1)检查查询,确定数据示例是否可以被CP'ed;以及(Q2)计数查询,计算支持特定预测的分类器的数量(即,标签)。鉴于CP查询的一般解决方案,毫不奇怪,很难没有假设的分类器的类型,我们进一步提出了一个案例研究的上下文中的最近邻(NN)分类器,在那里可以开发有效的解决方案CP查询-我们表明,它是可能的回答这两个查询在线性或多项式时间指数许多可能的世界。我们展示了CP在“机器学习的数据清理(DC for ML)”的重要应用中的一个示例用例。“我们表明,我们提出的基于CP的CPClean方法在分类准确性方面通常可以显着优于现有技术,只需进行轻度手动清理。
2020-05-12 cs.DB cs.LG stat.ML
Space-Time Tradeoffs for Spatial Conjunctive Queries
本文针对空间合取查询,建立回答时间与空间使用的权衡下界,并构建最优索引,支持范围空性、范围计数和最近邻查询,可提升关系算法性能。
2025-09-12 cs.DB
Nearest Keyword Set Search in Multi-dimensional Datasets
在文本丰富的多维数据集中基于关键字的搜索促进了许多新的应用程序和工具。在本文中,我们考虑的对象是标记的关键字,并嵌入在一个向量空间。对于这些数据集,我们研究查询,要求满足一组给定的关键字的最紧密的点组。我们提出了一种新的方法称为ProMiSH(投影和多尺度哈希),使用随机投影和基于哈希的索引结构,并实现了高可扩展性和加速比。我们提出了一个精确的和近似的版本的算法。我们在真实和合成数据集上的实证研究表明,ProMiSH比最先进的基于树的技术具有超过四个数量级的加速。我们的可扩展性测试的数据集的大小高达1000万和维度高达100查询有多达9个关键字显示,ProMiSH规模与数据集大小,数据集维度,查询大小和结果大小呈线性关系。
2014-09-12 cs.DB cs.IR
Survey of Filtered Approximate Nearest Neighbor Search over the Vector-Scalar Hybrid Data
本文针对向量-标量混合数据上的带过滤近似最近邻搜索(FANNS)缺乏系统综述的问题,正式定义相关概念与评估指标,提出以剪枝为核心的分类框架,并分析混合查询难度,为该领域建立结构化基础。
2025-05-10 cs.DB
Skyline Diagram: Efficient Space Partitioning for Skyline Queries
天际线查询在许多应用领域中是重要的。在本文中,我们提出了一种新的结构天际线图,它给出了一组点,划分成一组区域,称为天际线polyominos平面。同一天际线polyomino中的所有查询点具有相同的天际线查询结果。类似于通常用于促进$k$最近邻($k$ NN)查询的$k^{th}$阶沃罗诺伊图,天际线图可用于促进天际线查询和许多其他应用。然而,构建天际线图在计算上可能是昂贵的。通过利用一些有趣的性质的天际线,我们提出了几种有效的算法来构建图的三种天际线查询,象限,全球和动态的天际线。此外,我们提出了一个近似的天际线图,可以显着降低空间成本。在真实数据集和合成数据集上的实验结果表明,我们的算法是有效的和可扩展的。
2018-12-04 cs.DB
RoarGraph: A Projected Bipartite Graph for Efficient Cross-Modal Approximate Nearest Neighbor Search
Fudan University(复旦大学)
针对跨模态ANNS中查询分布外导致现有方法效率低的问题,提出基于查询分布构建的RoarGraph图索引,在跨模态数据集上90%召回率下搜索速度最高达现有方法的3.56倍。
2024-08-16 cs.AI cs.DB cs.IR
Aggregate-Max Nearest Neighbor Searching in the Plane
我们研究了平面上MAX算子的聚集/组最近邻搜索。对于$n$点的集合$P$和$m$点的查询集合$Q$,查询要求$P$中到$Q$中的点的最大距离被最小化的点。我们提出的数据结构回答这样的查询$L_1$和$L_2$距离措施。以前,只有启发式和近似算法给出了这两个版本。对于$L_1$版本,我们在$O(n\log n)$时间内构建了一个O(n)大小的数据结构,这样每个查询都可以在$O(m+\log n)$时间内得到回答。对于$L_2$版本,我们在$O(n\log n)$时间和$O(n\log \log n)$空间中构建数据结构,使得每个查询可以在$O(m\sqrt{n}\log^{O(1)} n)$时间中被回答,或者,我们在$O(n^{2+ε})$时间和空间中为任何$ε>0$构建数据结构,使得每个查询可以在$O(m\log n)$时间中被回答。进一步地,我们将我们的结果扩展到$L_1$版本的top- $k$查询,其中每个查询要求$P$的$k$点,其到$Q$的最大距离对于任何具有$1\leq k\leq n$的$k$是最小的:我们在$O(n\log n)$时间内构建O(n)大小的数据结构,使得每个top- $k$查询可以在$O(m+k\log n)$时间内被回答。
2013-09-07 cs.CG cs.DB cs.DS
Spatial Queries with Two kNN Predicates
位置感知设备的广泛使用已经导致了无数的基于位置的服务,其中用户查询可以是任意复杂的,即,一种嵌入多个空间选择和连接谓词的方法。在这些谓词中,k-最近邻(kNN)谓词是最重要和最广泛使用的谓词之一。与相关研究不同的是,本文超越了单kNN谓词查询的优化,并显示了如何优化两个kNN谓词的查询。特别是,本文解决了查询的优化:(i)两个kNN-选择谓词,(ii)两个kNN-连接谓词,(iii)一个kNN-连接谓词和一个kNN-选择谓词。对于每种类型的查询,概念上正确的查询评估计划(QEPs)和新的算法,优化查询执行时间。实验结果表明,所提出的算法优于概念上正确的QEP的数量级。
2012-08-01 cs.DB
A GPU-Accelerated Framework for Multi-Attribute Range Filtered Approximate Nearest Neighbor Search
本文提出Garfield框架,通过轻量索引结构和硬件感知执行流水线,解决传统方法在索引膨胀和构建开销上的问题,实现更高效的GPU加速多属性范围过滤近邻搜索。
2026-07-13 cs.DB
Multi-Attribute Group Fairness in $k$-NN Queries on Vector Databases
NJIT(新泽西理工学院)
本文提出了一种多属性群体公平性框架,通过改进的LSH和整数线性规划算法,在向量数据库的k-NN查询中实现公平性与效率的平衡。
2026-02-19 cs.DB
SQLord: A Robust Enterprise Text-to-SQL Solution via Reverse Data Generation and Workflow Decomposition
Alibaba Group(阿里巴巴集团)
针对企业级NL2SQL缺乏领域微调数据和复杂查询处理难的问题,提出SQLord框架,通过SQL逆向数据生成、工作流分解及GPT-Judge评估体系,在离线与在线测试中准确率超90%并成功落地最大B2B平台。
2025-07-14 cs.AI cs.DB
DARTH: Declarative Recall Through Early Termination for Approximate Nearest Neighbor Search
DARTH 通过将自适应提前终止策略集成到 ANNS 搜索算法中,以目标声明式召回率替代依赖算法的参数调优,在满足用户定义召回目标的同时实现显著加速。
2025-08-18 cs.DB
Toward Metric Indexes for Incremental Insertion and Querying
在这项工作中,我们探讨使用度量索引结构,加速最近邻查询,在这种情况下,我们需要在部署过程中交错插入和查询。这个用例的灵感来自于恶意软件分析分类的现实需求,并且令人惊讶地未得到充分研究。现有的文献往往要么只关注最终查询效率,往往不支持增量插入,或不支持任意的距离度量。我们修改和改进了三种算法,以支持我们的情况下,增量插入和查询任意指标,并评估他们对多个数据集和距离指标,而不同的值$k$的所需数量的最近的邻居。在这样做的时候,我们确定我们的改进的最小方差优势点树在这种情况下表现最好。
2018-01-12 cs.DB cs.DS stat.ML
80 New Packages to Mine Database Query Logs
DBMS的查询日志是一种功能强大的资源。它支持许多实际应用,包括查询优化和用户体验增强。然而,挖掘SQL查询是一项艰巨的任务。基本问题是查询是符号对象,而不是数字向量。因此,许多流行的统计概念,如平均值,回归,或决策树不适用。大多数作者将自己限制在基于邻域的ad hoc算法或方法,例如k最近邻。我们的目标就是挑战这种局限性。我们引入了操作SQL查询的方法,就好像它们是向量一样,从而打开了整个统计工具箱。我们提出了三个家庭的方法:特征映射,内核方法和贝叶斯模型。第一种技术直接将查询编码为向量。第二个隐式地转换查询。最后一个利用概率图模型作为向量空间的替代。我们介绍了每种解决方案的优点和缺点,强调了它们之间的关系,并为未来的调查提供了理由。
2017-03-25 cs.DB
NeuroDB: A Neural Network Framework for Answering Range Aggregate Queries and Beyond
范围聚集查询(RAQs)是许多实际应用中不可或缺的一部分,在这些应用中,通常需要查询的快速和近似答案。最近的工作已经研究了使用机器学习模型来回答RAQ,其中学习数据的模型来回答查询。然而,这样的建模选择未能利用任何查询特定信息。为了捕获这样的信息,我们观察到,可以由查询函数来表示RQ,查询函数是采用查询实例的函数(即,特定的RAQ)作为输入并输出其相应的答案。使用这种表示,我们制定了学习的问题,以近似的查询功能,并提出NeuroDB,查询专用的神经网络框架,有效地回答RAQs。NeuroDB是查询类型不可知的(即,它不对底层查询类型做出任何假设),并且我们关于查询可以由函数表示的观察结果并不特定于RQ。因此,我们研究NeuroDB是否可以用于其他查询类型,通过将其应用于最近邻查询的距离。我们的实验表明,NeuroDB优于国家的最先进的这种查询类型,往往由数量级。此外,使用了与用于RQ相同的神经网络架构,从而揭示了使用通用框架来有效地回答任何查询类型的可能性。
2021-07-10 cs.DB
Wally: Batched Private Nearest Neighbor Search at Scale
Apple Inc.(苹果公司);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
Wally通过批量处理和加密技术实现大规模隐私保护下的高效最近邻搜索,显著提升吞吐量和降低通信成本。
2026-07-10 cs.CR cs.DB
DET-LSH: A Locality-Sensitive Hashing Scheme with Dynamic Encoding Tree for Approximate Nearest Neighbor Search
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);LIPADE, Université Paris Cité(巴黎西岱大学 LIPADE 实验室)
DET-LSH通过动态编码树提升索引效率和查询准确性,在高维空间中实现更高效的近似最近邻搜索。
2026-02-10 cs.DB
Accelerating High-Dimensional Nearest Neighbor Search with Dynamic Query Preference
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学)
提出DQF双索引框架,通过热索引加速高频查询、全索引保证冷查询完整性,结合竞争搜索与自适应更新机制,在百万级数据集上实现2.2-6.9倍加速。
2026-06-16 cs.DB
GGNN: Graph-based GPU Nearest Neighbor Search
University of Tübingen(图宾根大学);Amazon(亚马逊)
高维近似最近邻(ANN)搜索是若干计算机视觉系统的组成部分,并且在具有显式记忆表示的深度学习中变得重要。由于PQT、FAISS和SONG开始利用GPU提供的大规模并行性,因此基于GPU的实现是当今最先进的ANN方法的关键资源。虽然这些方法中的大多数都允许更快的查询,但很少强调加速底层索引结构的构建。在本文中,我们提出了一种新的GPU友好的搜索结构的基础上最近邻图和图上的信息传播。我们的方法旨在利用GPU架构来加速索引结构的分层构造和执行查询。经验评估表明,GGNN在构建时间、准确性和搜索速度方面明显优于最先进的基于CPU和GPU的系统。
2022-04-07 cs.CV cs.DB cs.DS
A new data structure for efficient search on isovists
空间数据结构允许在地理信息系统(GIS)上进行有效的查询。空间查询涉及数据的几何形状,例如点、线或多边形。例如,空间查询可以轮询给定位置最近的餐馆。空间查询可以通过遍历整个数据来彻底解决,随着数据点数量的增加,这是禁止的。在这篇文章中,我们感兴趣的是在无限长的几何形状上进行有效的查询。例如,角扇区,定义为两个半空间的交点,是无限长的。然而,规则的空间数据结构不适合于这些几何形状。我们提出了一种新的方法,允许进行有效的空间查询角扇区(即一个点是否在一个角扇区内)。它从角扇区的对偶空间构建R-树。一个广泛的评估表明,我们的方法比使用常规的R-树更快。
2022-11-10 cs.DB cs.DS
MOIST: A Scalable and Parallel Moving Object Indexer with School Tracking
基于位置的服务(LBS)正在迅速成为广泛的移动应用的下一个无处不在的技术。为了支持需要最近邻和历史查询的应用程序,LBS空间索引器必须能够有效地更新,查询,存档和挖掘位置记录,这些记录可能会相互竞争。在这项工作中,我们提出了MOIST,其基线是一个递归的空间分区索引BigTable上建立。为了减少更新和查询争用,MOIST将附近具有相似轨迹的对象分组到同一个学校,并仅跟踪学校领导者的历史。这种动态聚类方案可以消除冗余更新,从而减少更新延迟。为了改进历史查询处理,MOIST在内存中保留一些历史数据,同时以本地保留的方式将过时的数据刷新到并行磁盘上。通过实验研究,我们表明,MOIST可以支持高效的最近邻居和历史查询,并可以扩展以及随着用户数量和更新频率的增加。
2012-08-21 cs.DB
HQANN: Efficient and Robust Similarity Search for Hybrid Queries with Structured and Unstructured Constraints
内存中近似最近邻搜索(ANNS)算法在快速高查全率查询处理方面取得了巨大成功,但在处理具有非结构化(即,特征向量)和结构化(即,相关属性)约束。在本文中,我们提出了HQANN,一个简单而高效的混合查询处理框架,可以很容易地嵌入到现有的基于邻近图的人工神经网络算法。我们保证低延迟和高召回利用属性之间的导航感和融合向量相似性搜索与属性过滤。在公共和内部数据集上的实验结果表明,HQANN比最先进的混合ANNS解决方案快10倍,以达到相同的召回质量,其性能几乎不受属性复杂性的影响。它可以在大约50微秒内达到99\% recall@10在GLOVE-1.2M上具有数千个属性约束。
2022-07-16 cs.DB cs.IR
NL4ST: A Natural Language Query Tool for Spatio-Temporal Databases
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);The Hong Kong University of Science and Technology(香港科技大学)
NL4ST是一种用于时空数据库的自然语言查询工具,通过三层架构实现自然语言到查询计划的转换,支持非专业人士高效查询时空数据。
2026-01-22 cs.DB
Query Language for Complex Similarity Queries
对于多媒体等复杂数据类型,传统的数据管理方法已不适用。代替属性匹配方法,基于对象相似性的访问方法正变得流行。近年来,基于相似性检索的索引和检索方法得到了广泛的研究。如今,许多有效的方法已经可用,但使用它们来构建实际的搜索系统仍然需要专家调整方法并手动构建系统。已经进行了几次尝试来为这样的系统提供查询语言形式的更方便的高级接口,但是这些仅限于支持基本的相似性查询。在本文中,我们提出了一种新的语言,允许制定基于内容的查询,以灵活的方式,考虑到所提供的功能,在使用中的特定搜索引擎。为了确保这一点,该语言是基于一个通用的数据模型与一个抽象的操作集。因此,该语言支持各种高级查询操作,如相似性连接,反向最近邻查询或不同的kNN查询,以及多对象和多模式查询。该语言主要设计用于MESSIF框架,用于基于内容的搜索,但也可以用于其他检索系统。
2012-04-05 cs.DB cs.IR cs.MM
CHASE: A Native Relational Database for Hybrid Queries on Structured and Unstructured Data
本文提出原生关系数据库 CHASE,通过查询语义分析、新物理算子和编译优化支持结构化与非结构化混合查询,较现有系统最高加速 7500 倍。
2025-01-09 cs.DB
Efficient Approximate Nearest Neighbor Search for Multiple Weighted $l_{p\leq2}$ Distance Functions
最近邻搜索是广泛应用的基础。由于精确最近邻搜索受到“维数灾难”的影响,近似方法,如局部敏感散列(LSH),被广泛使用,以换取更高的查询效率的一点查询精度。在许多场景中,需要在高维空间中进行多个加权距离函数下的最近邻搜索。本文研究了高维空间中多重加权距离函数的有效近似最近邻搜索问题。据我们所知,以前的工作只能解决$l_2$距离的问题。然而,许多研究表明,在高维空间中,与$p\in(0,2)$的$l_p$距离可能比$l_2$距离更有效。我们提出了一种新的方法,WLSH,以解决问题的$l_p$距离$p\in(0,2]$。WLSH采用LSH方法,理论上可以在最小化所需的哈希表总数的同时,保证处理查询的效率和查询结果的准确性。我们进行了大量的实验合成和真实的数据集,结果表明,WLSH实现高性能的查询效率,查询精度和空间消耗。
2020-11-24 cs.DB cs.DS
Edit Based Grading of SQL Queries
手动给学生的SQL查询评分是一个繁琐且容易出错的过程。测试学生SQL查询正确性的早期工作,例如XData系统,可以用来测试学生查询的正确性。然而,如果学生查询被发现是不正确的,目前没有办法自动分配部分分数。部分标记是重要的,这样小错误比大错误受到的惩罚要少。手动授予部分分数对于学生人数众多的课程,特别是MOOC,是不可扩展的,而且也容易出现人为错误。在本文中,我们讨论的技术,以找到一个最小的成本编辑一个学生查询,将使其正确,这可以帮助分配部分标记,并帮助学生准确地了解他们错了。鉴于目前的形式化方法的局限性,检查等价性,我们的方法是基于找到最近的查询,从一组教师提供的正确的查询,即被发现是基于查询规范化的等价。我们表明,穷举技术是昂贵的,并提出了一个贪婪的启发式方法,以及在现实世界的数据集查询的运行时间和准确性。我们的系统也可以用于学习模式,查询编辑可以建议作为反馈给学生,引导他们对正确的查询。我们的部分评分系统已成功地用于印度理工学院孟买和印度理工学院达瓦德的课程。
2019-12-19 cs.DB
COL-Trees: Efficient Hierarchical Object Search in Spatial Networks
Center for Computational Science, RIKEN(计算科学中心,RIKEN);Faculty of Information Technology, Monash University(信息科技学院,墨尔本大学);Department of Computer and Information Science, University of Konstanz(计算机与信息科学系,康斯坦茨大学)
COL-Trees通过高效的层次图遍历方法,提升了道路网络中多代理POI搜索的效率,实现高达4个数量级的性能改进。
2026-11-05 cs.AI cs.DB cs.DS
Xpose: Bi-directional Engineering for Hidden Query Extraction
Indian Institute of Science(印度科学学院)
针对隐藏查询提取(HQE)现有工具仅能处理扁平查询的局限,提出双向工程方案Xpose,结合扩展的逆向工程(RE)与基于LLM的正向工程(FE),可准确提取含联合、子查询等的复杂查询,提升HQE覆盖范围。
2025-04-15 cs.AI cs.DB
PDET-LSH: Scalable In-Memory Indexing for High-Dimensional Approximate Nearest Neighbor Search with Quality Guarantees
Oceanbase, Ant Group(蚂蚁集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);LIPADE, Université Paris Cité(巴黎西岱大学)
本文提出PDET-LSH,通过动态编码树提升索引效率并支持高效范围查询,实验显示其在索引和查询速度上优于现有方法,尤其在大规模数据集上表现突出。
2026-03-26 cs.DB
Efficient Privacy-Preserving Range Filtered Approximate Nearest Neighbor Search
Xidian University(西安电子科技大学);The Chinese University of Hong Kong(香港中文大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Xi’an University of Posts and Telecommunications(西安邮电大学)
本研究针对外包加密向量数据库的隐私保护需求,提出了分离范围定位与加密向量搜索的过滤-精调RFANNS方案,实验验证其在QPS-召回率权衡上优于现有安全适配方案。
2026-08-18 cs.DB cs.IR