DeepJoin: Joinable Table Discovery with Pre-trained Language Models
NEC Corporation（NEC公司）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
Deepjoin利用预训练语言模型进行嵌入检索，统一处理等值和语义连接，实现对数级搜索时间，精度优于近似解，在GPU上快达两个数量级。
2023-06-23 cs.AI cs.DB cs.LG
Scaling and Load-Balancing Equi-Joins
本文提出 AM-Join 及 IB-Join 算法族，通过 Tree-Join 与 Broadcast-Join 自适应协同解决分布式无共享架构中的等值连接倾斜与负载均衡问题。
2025-03-13 cs.DB cs.DC
Efficient Joinable Table Discovery in Data Lakes: A High-Dimensional Similarity-Based Approach
NEC Corporation（日本电气股份有限公司）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
本文提出PEXOSO框架，通过高维向量嵌入和相似性连接，结合枢轴过滤与分区技术，在数据湖中高效发现可连接表，识别更多有意义结果并支持数据增强。
2021-03-29 cs.AI cs.DB cs.IR
Differentially Private Data Release over Multiple Tables
研究多表差分隐私合成数据发布问题，提出一种通用算法并证明其在常用隐私参数下对简单查询实现参数化最优，针对分层连接利用均匀化敏感度进一步提升效用。
2023-06-27 cs.CR cs.DB
Computing Multi-Relational Sufficient Statistics for Large Databases
Simon Fraser University（西蒙弗雷泽大学）
数据库包含有关实体之间存在和不存在哪些关系的信息。为了使这些信息可用于统计分析，需要计算足够的统计数据，这些统计数据将来自不同数据库表的信息组合在一起。这样的统计可以涉及任何数量的{ \em正和负}关系。使用朴素枚举方法，计算足够的负关系统计数据仅适用于小型数据库。我们解决了这个问题，一个新的动态规划算法，执行虚拟连接，计算所需的计数，而不物化连接表。列联表代数是关系代数的一个新的扩展，它有助于有效地实现这种Möbius虚连接操作。Möbius Join可扩展到具有复杂模式的大型数据集（超过1 M元组）。七个基准数据集的实证评估表明，有关链接的存在和不存在的信息可以利用在特征选择，关联规则挖掘，贝叶斯网络学习。
2014-08-22 cs.DB cs.LG
Calibration: A Simple Trick for Wide-table Delta Analytics
规范化数据库上的数据分析通常需要计算和具体化昂贵的连接（宽表）。分解查询执行将执行建模为连接图中关系之间的消息传递，并通过连接推送聚合以减少中间结果大小。虽然这加快了查询执行速度，但它只优化了单个宽表查询。相比之下，宽表分析通常是交互式的，用户希望将delta应用于初始查询结构。例如，用户希望对维度进行切片、切割和下钻，更新部分表并与新表连接以进行扩充。这种宽表Delta分析提供了新的工作共享机会。这项工作表明，在查询执行期间仔细地具体化消息可以使宽表Delta分析的速度比因子分解执行快10^5倍，并且只会产生恒定的因子开销。关键的挑战是消息对消息传递顺序很敏感。为了应对这一挑战，我们借用概率图模型中的校准概念来实现足够的消息来支持任何排序。我们体现了这些想法在新的校准连接超树（CJT）数据结构，这是快速建立，积极地重用消息，以加速未来的查询，并逐步维护更新。我们进一步展示了CJT如何使OLAP、查询解释、流数据和ML的数据增强等应用程序受益。我们的实验评估了在单线程自定义引擎、云数据库和Pandas中运行的三个版本的CJT，并在上述应用程序上显示出比最先进的因子分解执行算法提高了30倍到10^5倍。
2022-10-07 cs.DB
TabJoinBench: A Benchmark for Joinable Table Discovery
Arizona State University（亚利桑那州立大学）
TabJoinBench是一个用于评估语义、关系和混合数据湖场景中可连接表发现方法的基准，通过可组合扰动构建查询-候选对并保留可靠真实标注，支持可复现比较。
2026-10-02 cs.AI cs.CL cs.DB
Scalable and Efficient Self-Join Processing technique in RDF data
RDF数据的有效管理在成功理解和快速查询数据方面起着重要作用。虽然目前的RDF三元组索引方法，如属性表和垂直分区解决了许多问题，但它们仍然受到复杂的自连接查询和插入数据在同一个表中的性能。作为本文的改进，我们提出了一种替代解决方案，以促进灵活性和效率，在该查询，并试图达到最佳的解决方案，以减少自连接尽可能多的，这种解决方案的思想基础上的“递归映射的孪生表”。双表递归映射（RecursiveMappingofTwinTables，RTMT）方法的主要目标是将主RDF Triple划分为两个具有相同结构的表，并递归插入RDF数据。我们的实验结果比较了连接查询的性能在垂直分区的方法和RTMT方法使用非常大的RDF数据，如DBLP和DBpedia数据集。实验结果表明，与RDF-3X方法相比，该方法具有很高的可扩展性，并且在复杂查询中，RTMT比RDF-3X方法减少了3-4倍的自连接次数
2014-09-16 cs.DB
Glue: Adaptively Merging Single Table Cardinality to Estimate Join Query Size
Alibaba Group（阿里巴巴集团）；Renmin University of China（中国人民大学）
基数估计（CardEst）是查询优化器的核心组件，在DBMS中生成高质量查询计划方面起着重要作用。在过去的几十年里，CardEst问题已经被广泛研究，使用传统的和ML增强的方法。然而，CardEst中最困难的问题，即，如何估计多个表上的连接查询大小尚未得到广泛解决。现有的方法要么依赖于独立性假设，要么采用负担沉重的技术，其性能还远不能令人满意。更糟糕的是，现有的CardEst方法通常被设计为优化一个目标，即，推理速度或估计精度，不能适应不同的场合。在本文中，我们提出了一个非常通用的框架，称为胶水，以应对这些挑战。它的核心思想是优雅地解耦不同表之间的相关性，并对单个表CardEst结果进行丢失合并，以估计连接查询的大小。Glue支持使用任何现有的CardEst方法获得单个表式CardEst结果，并可以处理任何复杂的连接模式。因此，它很容易适应具有不同性能要求的不同场景，即，快速估计时间的OLTP或高估计精度的OLAP。同时，我们表明，胶水可以无缝集成到计划搜索过程中，并能够支持计数不同数量的值。所有这些属性都展示了在现实世界的DBMS中部署Glue的潜在优势。
2021-12-07 cs.AI cs.DB
Scardina: Scalable Join Cardinality Estimation by Multiple Density Estimators
Osaka University（大阪大学）
针对复杂关系模式下现有方法基数估计不精确的问题，提出基于模式结构的多分区模型Scardina，通过组合多个密度估计器有效提升连接基数估计的准确性。
2023-03-31 cs.DB cs.LG
Hippasus: Effective and Efficient Automatic Feature Augmentation for Machine Learning Tasks on Relational Data
Athena Research Center（阿提卡研究中心）
Hippasus通过结合统计信号和语义推理，高效提升关系数据机器学习任务中的特征增强效果。
2026-07-21 cs.DB cs.LG
FactorJoin: A New Cardinality Estimation Framework for Join Queries
Massachusetts Institute of Technology（麻省理工学院）
基数估计是查询优化中最基本也是最具挑战性的问题之一。无论是经典的还是基于学习的方法在估计连接查询的基数时都不会产生令人满意的性能。它们要么依赖于简化的假设，导致无效的基数估计，要么构建大型模型来理解数据分布，导致规划时间长，缺乏跨查询的通用性。在本文中，我们提出了一个新的框架FactorJoin估计连接查询。FactorJoin结合了经典的join-histogram方法背后的思想，以有效地处理joins与基于学习的方法，以准确地捕获属性相关性。具体来说，FactorJoin扫描数据库中的每个表，并在离线准备阶段构建单表条件分布。当连接查询到来时，FactorJoin将其转换为学习分布上的因子图模型，以有效地估计其基数。与现有的基于学习的方法不同，FactorJoin不需要预先对连接进行反规范化，也不需要执行查询工作负载来训练模型。由于FactorJoin只依赖于单表统计数据，因此它的空间开销很小，并且非常容易训练和维护。在我们的评估中，FactorJoin可以比以前最先进的基于学习的方法产生更有效的估计，估计延迟减少40倍，模型大小减少100倍，训练速度加快100倍，精度相当或更高。此外，FactorJoin可以在一秒钟内估计10，000个子计划查询，以优化查询计划，这与商业DBMS中传统的基数估计器非常接近。
2022-12-11 cs.DB cs.LG
Are Key-Foreign Key Joins Safe to Avoid when Learning High-Capacity Classifiers?
University of California, San Diego（加州大学圣地亚哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
关系数据上的机器学习（ML）是数据库行业和学术界的一个蓬勃发展的领域。虽然有几个项目旨在构建可扩展和快速的ML系统，但很少有工作解决了为ML任务采购数据和功能的痛苦。现实世界的关系数据库通常有许多表（通常是几十个），数据科学家通常很难获得和连接所有可能的表，这些表为ML提供了功能。在这种情况下，Kumar等人最近表明，表之间的键-外键依赖关系（KFKD）通常可以让我们避免这种连接，而不会显著影响预测准确性-他们称之为安全避免连接的想法。虽然最初存在争议，但这一想法已被多家公司用于减轻ML的数据来源负担。但他们的工作仅适用于线性分类器。在这项工作中，我们验证他们的结果是否适用于三种流行的复杂分类器：决策树，SVM和ANN。我们使用真实世界的数据集和模拟进行了广泛的实验研究，以分析避免KFK连接对这些模型的影响。我们的研究结果表明，与线性分类器相比，这些高容量分类器在避免KFK连接方面具有令人惊讶和反直觉的鲁棒性，反驳了先前工作分析的直觉。我们直观地解释了这种行为，并确定了数据管理和ML理论研究交叉点的开放问题。我们所有的代码和数据集都可以从http://cseweb.ucsd.edu/~arunkk/hamlet下载。
2017-06-04 cs.DB cs.LG
TablePuppet: A Generic Framework for Relational Federated Learning
ETH Zürich（苏黎世联邦理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chicago（芝加哥大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
提出关系型联邦学习（RFL）概念及通用框架TablePuppet，通过LoJ和LoU两步骤将学习下推至分布式关系表，结合计算优化与差分隐私，在保护隐私的同时实现与集中式基线相当的模型准确率。
2024-03-23 cs.DB cs.DC cs.LG
Forgetting by Pruning: Data Deletion in Join Cardinality Estimation
CEP是一种专为多表学习基数估计系统设计的遗忘框架，通过分布敏感性剪枝和领域剪枝有效减少数据删除带来的高估问题，提升效率并降低计算开销。
2025-11-25 cs.AI cs.DB cs.LG
Guided Table Retrieval for Structured Data Search
Tursio
该研究针对结构化数据库自然语言问答任务，提出四阶段引导式表格检索流程，在BIRD-DEV和BEAVER基准上取得优于基线的准确率与F1值，生成的精确连接树可直接供下游查询编译器使用。
2026-08-14 cs.DB
Efficiently Transforming Tables for Joinability
来自不同来源的数据很少符合单一格式，即使它们描述同一组实体，当来自多个来源的数据必须连接或交叉引用时，这会引起关注。当从各种公共和第三方来源收集数据时，这种格式不匹配是不可避免的。当数据表示或格式存在差异时，商业数据库系统无法执行连接，并且手动重新格式化既耗时又容易出错。我们研究的问题，有效地加入文本数据的条件下，连接列的格式不相同，不能等连接，但他们成为joinable下的一些转换。这个问题之所以具有挑战性，是因为可能的变换数量随着输入长度和行数的增加而激增，即使每个变换都使用非常少的基本单元来形成。我们表明，一个有效的算法可以开发的共同特点的基础上加入列，并开发一个这样的算法在一组丰富的基本操作，可以组成，以形成转换。我们比较了我们的算法的覆盖范围和运行时间的一个国家的最先进的方法，并表明，我们的算法涵盖了每一个转换，是涵盖在国家的最先进的方法，但几个数量级的速度更快，评估各种真实和合成数据。
2022-03-06 cs.DB
Simpli-Squared: A Very Simple Yet Unexpectedly Powerful Join Ordering Algorithm Without Cardinality Estimates
由于其复杂性和完备性，连接顺序基准（JOB）已经成为事实上的标准来评估关系数据库查询优化器的性能。为了计算最佳执行计划-连接顺序-现有的解决方案采用了大量的数据概要和表属性之间的相关性-函数依赖性。这些结构在设计、构建和维护方面会产生大量开销。在本文中，我们提出了\textit{Simpli}城市\textit{Simpli}字段（\textit{Simpli-Squared}），一个非常简单的连接排序算法，取得了意想不到的好结果。Simpli-Squared计算连接顺序时不使用任何统计信息或基数估计值。它只接受模式定义中声明的引用完整性约束和基表中元组的数量（大小）作为输入。给定查询的连接顺序是通过沿着多对多连接分割连接图并根据表的大小对表进行排序来计算的。一对多联接中涉及的表根据大小和查询联接图而被广泛包括。由此产生的计划可以有效地产生一个轻量级的查询重写过程。在PostgreSQL中的JOB基准测试上的实验表明，Simpli-Squared实现的运行时间仅增加了16%-有时甚至减少-与四个更复杂的最先进的解决方案相比。基于这些结果，我们质疑JOB是否充分测试查询优化器，或者准确的基数估计是否是在JOB基准测试中表现良好的基本要求。
2021-10-30 cs.DB
Figaro on GPUs: Two Tables
本文提出Figaro-GPU算法，在GPU上高效计算两表自然连接矩阵的QR和SVD分解，通过符号变换与并行计算结合，性能提升与连接/输入大小比成正比，内存使用大幅减少。
2025-03-30 cs.DB cs.ET
Predicate Transfer: Efficient Pre-Filtering on Multi-Join Queries
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
谓词转移通过Bloom过滤器优化多表连接查询，显著提升性能，平均比Bloom连接快3.1倍。
2025-11-29 cs.DB
EcoTable: Cost-effective Table Integration in Data Lakes for Natural Language Queries
University of Arizona（亚利桑那大学）；Kuaishou Technology（快手科技）；Beijing Institute of Technology（北京理工大学）
针对数据湖中表格格式多样导致ETL困难的问题，提出EcoTable框架，利用LLM的语义理解和复杂推理能力，通过图结构搜索和轻量级模型降低LLM调用成本，在4个基准数据集上准确率提升30%以上，成本降低5倍。
2026-08-04 cs.DB
Correlation Sketches for Approximate Join-Correlation Queries
本文提出连接-相关性查询以支持关系数据增强，并设计了一种草图索引方法和多种评分策略，高效发现可连接且相关的数据列，实验证明其具有高准确率和高质量排序。
2021-04-07 cs.DB cs.DS cs.IR
Efficient Massively Parallel Join Optimization for Large Queries
现代数据分析工作负载通常需要在大量表上运行查询。一个最佳的查询计划，这样的查询是至关重要的，能够在可接受的时间范围内运行这些查询。但是，对于涉及许多表的查询，查找最佳连接顺序成为查询优化的瓶颈。由于连接顺序优化的指数性质，优化器在阈值数量的表之后求助于启发式解决方案。我们的目标有两个方面：（a）减少生成最优计划的优化时间;（b）提高启发式解决方案的质量。在本文中，我们提出了一种新的大规模并行算法，MPDP，可以有效地修剪大搜索空间（通过一种新的计划枚举技术），同时利用现代硬件（例如：GPU）提供的大规模并行。当使用PostgreSQL对真实世界的基准查询进行评估时，与大型分析查询的最新技术相比，MPDP至少快了一个数量级。因此，我们能够在PostgreSQL中以相同的时间预算将扩展性回退限制从12个关系增加到25个关系。此外，为了处理查询，甚至更大数量的表，我们增加MPDP一个众所周知的启发式，IDP $_2$（迭代DP版本2）和一个新的启发式UnionDP。通过系统地探索更大的搜索空间，这些算法提供的查询计划比最先进的技术便宜7倍，同时计算速度更快。
2022-03-01 cs.DB
Detecting Logic Bugs of Join Optimizations in DBMS
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
TQS是一种新型测试框架，用于检测数据库管理系统中多表连接查询的逻辑错误，通过数据引导的模式和查询生成技术有效发现115个错误。
2026-02-25 cs.DB
Auto-BI: Automatically Build BI-Models Leveraging Local Join Prediction and Global Schema Graph
本文提出Auto-BI系统，通过k-MCA优化问题结合局部连接预测与全局模式图，自动构建BI模型，在超10万真实模型和TPC基准上实现高效且F1超过0.9的准确预测。
2023-06-21 cs.DB
Selection of BJI configuration: Approach based on minimal transversals
决策系统处理存储在称为数据仓库的新数据库中的大量数据。数据仓库通常由星型模式建模，星型模式通常表示中心事实表和一组维度表。因此，针对这种类型的模型的相应查询非常复杂。为了减少执行复杂查询的成本，其中包含非常昂贵的联接，设想的解决方案将是保证数据仓库的良好物理设计。二进制连接索引非常适合减少执行这些连接的成本。在这项工作中，我们提出了一个二元连接索引选择方法的基础上的最小横切面的概念。得到的最终配置由几个索引组成，这使得优化查询集的执行成本成为可能。
2018-10-22 cs.DB
Secure Machine Learning over Relational Data
近年来，由于许多ML任务的训练数据都是关系查询（最常见的是join-select查询）的结果，因此机器学习和关系数据库的更紧密集成得到了发展。在联合设置中，这带来了额外的挑战，即表由不同的方作为其私有数据持有，并且各方希望训练模型而不必使用可信的第三方。现有的工作只考虑的情况下，训练数据存储在一个平面表，已被垂直分区，这对应于一个简单的PK-PK连接。在本文中，我们描述了安全协议来计算符合一般的外键非循环模式的多个表的连接结果，以及如何将结果以秘密共享的形式提供给安全的ML工具箱。此外，现有的安全ML系统揭示了连接结果中的PK。我们将隐私保护提升到更高的水平，实现训练模型之外的零信息泄露。如果模型本身被认为是敏感的，我们将展示如何将差分隐私纳入我们的框架，以防止模型侵犯个人隐私。
2021-09-30 cs.CR cs.DB
ModelTables: A Corpus of Tables about Models
University of Waterloo（滑铁卢大学）；University Waterloo（滑铁卢大学）
ModelTables是一个大规模结构化数据基准，用于评估模型和表格的相关性，通过表格搜索展示了改进语义检索和结构化知识组织的潜力。
2025-12-18 cs.AI cs.DB cs.IR
