Tursio for Credit Unions: Structured Data Search with Automated Context Graphs
Tursio
Tursio 通过自动上下文图技术,实现信用社等受监管行业结构化数据的自然语言查询与高效搜索。
2026-03-11 cs.DB
Towards Output-Optimal Uniform Sampling and Approximate Counting for Join-Project Queries
University of Waterloo(滑铁卢大学);The Chinese University of Hong Kong(香港中文大学)
本文提出首个渐近最优算法,针对连接-投影查询(包括矩阵、星型和链式查询)解决均匀采样与近似计数问题,通过新型拒绝采样策略和混合计数缩减,实现多项式加速,并通过通信复杂度下界证明结果最优。
2026-05-12 cs.DB
Joins on Samples: A Theoretical Guide for Practitioners
尽管对近似查询处理(AQP)进行了数十年的研究,但我们对基于样本的连接的理解仍然有限,在某种程度上甚至是肤浅的。社区中的共同信念是加入随机样本是徒劳的。这种信念主要是基于早期的结果,表明两个均匀样本的连接不是原始连接的独立样本,并且它会导致二次方更少的输出元组。然而,不幸的是,这一结果对从业者面临的关键问题几乎没有适用性。例如,成功度量通常是最终近似的精度,而不是输出基数。此外,还有许多非均匀采样策略可以采用。在所有这些设置中,对联接进行采样仍然是徒劳的吗?如果不是,在每种情况下最好的抽样策略是什么?据我们所知,没有正式的研究回答这些问题。本文旨在提高我们对基于样本的连接的理解,并为实践者构建和使用真实世界的AQP系统提供指导。我们研究的限制,离线样本近似连接查询:给定一个离线采样预算,以及可以近似连接两个表?我们回答这个问题的两个成功指标:输出大小和估计方差。我们表明,最大限度地提高输出规模是很容易的,而有一个信息理论的下限上的最低方差可实现的任何抽样策略。然后,我们定义了一个混合抽样方案,捕获分层,宇宙,和伯努利抽样的所有组合,并表明,我们的最佳参数,该方案达到了理论下限内的一个常数因子。由于计算这些最佳参数需要在整个网络中进行洗牌统计,我们还提出了一个分散的变体,其中每个节点使用最小的统计数据自主行动。
2020-01-24 cs.DB
Improving Distributed Similarity Join in Metric Space with Error-bounded Sampling
给定两组对象,度量相似连接根据度量空间中特定的距离函数找到所有相似的对象对。在大数据时代,人们越来越需要提供一种可扩展的相似性连接框架,以支持高效的查询和分析服务。现有的分布式度量相似连接算法采用随机抽样技术产生枢轴,并在此基础上采用整体划分方法对数据进行划分,由于生成的枢轴和划分策略都没有质量保证,导致数据偏斜问题。为了解决这个问题,我们提出了SP-Join,一个基于MapReduce范式的端到端框架来支持度量空间中的分布式相似性连接,它(i)采用基于估计的分层抽样方法来产生具有任何样本大小质量保证的枢轴,以及(ii)设计了一个有效的代价模型作为指导思想,将整个数据集在地图上划分为分区,并根据采样的枢轴进行阶段缩减。虽然获得一个最佳的分区集被证明是NP-Hard,SP-Join采用高效的分区策略,基于这样的成本模型,以实现一个均匀的分区与解释的质量。我们在Apache Spark平台上实现了我们的框架,并在四个真实世界的数据集上进行了广泛的实验。结果表明,我们的方法显着优于国家的最先进的方法。
2019-05-15 cs.DB
Efficient and Effective Table-Centric Table Union Search in Data Lakes
Hong Kong Polytechnic University(香港理工大学);The University of Hong Kong(香港大学)
本文提出TACTUS方法,通过表级语义建模和表优先搜索策略,提升数据湖中表联合搜索的效率与效果。
2026-03-18 cs.DB
Weighted Random Sampling over Joins
由于多对多关系,将满足链接条件的记录与所有其他记录连接可能会导致天文数字般大量的组合。对于这种具有挑战性的(非循环的)连接,对连接结果进行随机采样是处理超大连接结果的一种实用替代方法。而以前的作品仅限于均匀连接采样,其中每个连接行被分配相同的概率,在这项工作中的范围扩展到加权采样,以支持新兴的应用,如科学发现在观测数据和隐私保护查询回答。尽管有一些幼稚的方法,这项工作提出了第一种方法,加权随机抽样连接结果。由于缺乏基线,在各种连接类型和真实世界的数据集进行实验,以显示大量的内存节省和竞争力的性能与主存索引为基础的方法在等概率设置。与现有的统一采样方法,需要准备好的结构,占用有竞争力的资源,挤出稍快的查询时间,所提出的方法表现出的品质,迫切需要在实践中,即减少内存占用,流操作,支持选择,外连接,半连接和反连接和不等概率采样。所有相关代码和数据可在https://github.com/shekelyan/weightedjoinsampling上找到
2022-01-07 cs.DB cs.DS
Random Sampling over Spatial Range Joins
本文首次研究在不执行空间范围连接的情况下高效获取随机连接样本的问题,提出一种新的数据结构,实现期望时间 $\ ilde{O}(n+m+t)$、空间 $O(n+m)$ 的算法,并在真实数据集上验证其显著优于基线方法。
2025-08-20 cs.DB
Combining Aggregation and Sampling (Nearly) Optimally for Approximate Query Processing
基于样本的近似查询处理(AQP)有许多缺陷,如无法回答非常有选择性的查询和不可靠的置信区间时,样本量很小。最近的研究提出了一种有趣的解决方案,将物化的,预先计算的聚合物与采样相结合,以获得准确和更可靠的AQP。我们在这项工作中详细探索了这个解决方案,并提出了一个AQP物理设计,称为PASS,或预计算辅助分层采样。PASS构建一个部分聚合树,覆盖数据集的不同分区。该树的叶节点形成分层样本的层。其谓词与分区(或分区的并集)对齐的聚合查询用深度优先搜索精确地回答,并且任何部分重叠用分层样本近似。我们提出了一种算法,用于最佳地划分到这样的数据结构与各种实用的近似技术的数据。
2021-03-29 cs.DB
Relational Lattice Axioms
关系格是关系代数的一种形式化数学模型。它将六个经典的关系代数运算符减少到两个:自然连接和内部联合。我们继续研究关系格的性质,重点放在公理化定义上。新的成果包括额外的公理,方程定义集差(更一般的反连接),和案例研究,展示应用关系格理论的查询转换。
2008-07-24 cs.DB
Learning to Sample: Counting with Complex Queries
我们研究的问题,有效地估计计数查询涉及复杂的过滤器,如用户定义的功能,或谓词涉及自连接和相关的子查询。对于这样的查询,传统的采样技术可能不适用,因为过滤器的复杂性阻止了对连接进行采样,并且由于计算完全连接的成本,在连接之后进行采样可能不可行。另一种自然的方法是训练和使用廉价的分类器来估计计数,而不是昂贵的谓词,这种方法在训练一个好的分类器和给出有意义的置信区间方面存在困难。在本文中,我们提出了一种新的学习方法,以样本,我们结合了两个世界中最好的两个阶段使用采样。首先,我们使用样本学习一个概率分类器,然后使用分类器设计一个分层抽样方法来获得最终的估计。我们从理论上分析算法,以获得最佳分层,并比较我们的方法与一套自然的替代品,如量化学习,加权和分层采样,以及其他技术的文献。我们还使用多个真实和合成数据集在不同的用例中提供了广泛的实验,以评估我们方法的质量,效率和鲁棒性。
2019-12-29 cs.DB
Accelerating Approximate Analytical Join Queries over Unstructured Data with Statistical Guarantees
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出BaS算法,结合嵌入式阻塞和采样,提供统计保证并提高效率,实验证明其在不同模态数据集上有效减少估计误差。
2026-03-17 cs.DB
EasyTUS: A Comprehensive Framework for Fast and Accurate Table Union Search across Data Lakes
RPTU Kaiserslautern-Landau(莱茵兰-普法尔茨技术大学凯泽斯劳滕-兰道校区)
本文提出 EasyTUS 框架,利用大型语言模型通过表序列化、表表示和向量搜索三步实现跨数据湖的高效表并集搜索,并引入 TUSBench 基准,实验证明其在 MAP、数据准备和查询处理速度上均显著优于现有方法。
2025-11-04 cs.DB
Join Sampling under Acyclic Degree Constraints and (Cyclic) Subgraph Sampling
本文提出在无环度约束下高效连接采样方法,并推广至有向及无向子图采样,通过丢弃循环约束保持多拟阵界,实现均匀随机采样。
2023-12-20 cs.DB cs.DS
Approximate Distributed Joins in Apache Spark
连接操作是并行数据处理的基本构件。不幸的是,在大量数据集上计算equi-join是非常资源密集的。近似计算范式允许用户以精确性和延迟换取昂贵的数据处理操作。因此,等价连接算子是使用近似技术进行优化的自然候选者。虽然基于采样的方法被广泛用于近似,采样连接是一个引人注目的,但具有挑战性的任务,关于输出质量。在数据集样本上执行连接的朴素方法不会保留连接输出的统计属性。为了实现这一潜力,我们交织布鲁姆过滤器草图和分层采样与连接计算在一个新的运营商,近似连接,保留了统计特性的连接输出。ApproxJoin利用Bloom过滤器来避免在网络中混洗不可连接的数据项,然后应用分层采样来获得连接输出的代表性样本。我们的分析表明,ApproxJoin可扩展性很好,并显着减少了数据移动,而不会牺牲最终结果准确性的严格误差范围。我们在Apache Spark中实现了ApproxJoin,并使用微基准测试和真实案例研究对ApproxJoin进行了评估。评估表明,在相同的采样率下,ApproxJoin比未修改的基于Spark的连接实现了6- 9倍的加速。此外,加速还伴随着洗牌数据量的显着减少,这比未修改的基于Spark的连接少5- 82倍。
2018-05-15 cs.DB cs.DC
Guaranteeing the Õ(AGM/OUT) Runtime for Uniform Sampling and OUT Size Estimation over Joins
提出一种用于估计连接查询答案数量和均匀采样的新方法,支持任意查询并在 Õ(AGM/OUT) 时间内保证高概率小误差,并利用广义超树分解优化小输出时的复杂度。
2023-04-10 cs.CC cs.DB
Similarity Join Size Estimation using Locality Sensitive Hashing
相似连接是一种重要的操作,有着广泛的应用。本文研究了向量相似连接长度估计问题。它是以前研究的集合相似性连接大小估计(SSJ)问题的推广,可以处理更有趣的情况下,如TF-IDF向量。相似性连接大小估计中的关键挑战之一是连接大小可以根据输入相似性阈值而显著变化。我们提出了一个基于采样的算法,使用局部敏感哈希(LSH)计划。所提出的算法LSH-SS使用LSH索引,即使在高阈值下也能够进行有效采样。我们将所提出的技术与随机抽样和最先进的SSJ技术(适用于VSJ)进行比较,并证明LSH-SS在高和低相似性阈值以及使用真实数据集的小方差下提供更准确的估计。
2011-04-16 cs.DB cs.DS
TabSketchFM: Sketch-based Tabular Representation Learning for Data Discovery over Data Lakes
Northeastern University(东北大学);IBM Research(IBM研究院);Rensselaer Polytechnic Institute(罗切斯特理工学院)
TabSketchFM 提出基于草图的预训练神经表格模型,通过微调识别可并表、可连接和子集表格对,显著提升数据湖表格搜索的 F1 分数,并具备跨数据集与跨任务的泛化能力。
2025-08-26 cs.AI cs.DB cs.LG
DP-S4S: Accurate and Scalable Select-Join-Aggregate Query Processing with User-Level Differential Privacy
Southeast University(东南大学);National University of Singapore(新加坡国立大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文提出DP-S4S,通过采样聚合单元和建立RDP数学基础,解决差分隐私下选-连接-聚合查询的可扩展性和准确性问题,实验证明其在大规模数据集上有效。
2026-03-19 cs.CR cs.DB