Calibration: A Simple Trick for Wide-table Delta Analytics
规范化数据库上的数据分析通常需要计算和具体化昂贵的连接（宽表）。分解查询执行将执行建模为连接图中关系之间的消息传递，并通过连接推送聚合以减少中间结果大小。虽然这加快了查询执行速度，但它只优化了单个宽表查询。相比之下，宽表分析通常是交互式的，用户希望将delta应用于初始查询结构。例如，用户希望对维度进行切片、切割和下钻，更新部分表并与新表连接以进行扩充。这种宽表Delta分析提供了新的工作共享机会。这项工作表明，在查询执行期间仔细地具体化消息可以使宽表Delta分析的速度比因子分解执行快10^5倍，并且只会产生恒定的因子开销。关键的挑战是消息对消息传递顺序很敏感。为了应对这一挑战，我们借用概率图模型中的校准概念来实现足够的消息来支持任何排序。我们体现了这些想法在新的校准连接超树（CJT）数据结构，这是快速建立，积极地重用消息，以加速未来的查询，并逐步维护更新。我们进一步展示了CJT如何使OLAP、查询解释、流数据和ML的数据增强等应用程序受益。我们的实验评估了在单线程自定义引擎、云数据库和Pandas中运行的三个版本的CJT，并在上述应用程序上显示出比最先进的因子分解执行算法提高了30倍到10^5倍。
2022-10-07 cs.DB
Scalable and Efficient Self-Join Processing technique in RDF data
RDF数据的有效管理在成功理解和快速查询数据方面起着重要作用。虽然目前的RDF三元组索引方法，如属性表和垂直分区解决了许多问题，但它们仍然受到复杂的自连接查询和插入数据在同一个表中的性能。作为本文的改进，我们提出了一种替代解决方案，以促进灵活性和效率，在该查询，并试图达到最佳的解决方案，以减少自连接尽可能多的，这种解决方案的思想基础上的“递归映射的孪生表”。双表递归映射（RecursiveMappingofTwinTables，RTMT）方法的主要目标是将主RDF Triple划分为两个具有相同结构的表，并递归插入RDF数据。我们的实验结果比较了连接查询的性能在垂直分区的方法和RTMT方法使用非常大的RDF数据，如DBLP和DBpedia数据集。实验结果表明，与RDF-3X方法相比，该方法具有很高的可扩展性，并且在复杂查询中，RTMT比RDF-3X方法减少了3-4倍的自连接次数
2014-09-16 cs.DB
JoinGR: Learning to Traverse Join Graphs for Table Retrieval
Arizona State University（亚利桑那州立大学）；Adobe Research India（Adobe 印度研究院）
提出JOINGR，一种利用数据库连接图进行表检索的方法，通过遍历连接边聚合分数，在BIRD、Spider和BEAVER基准上表现优异，并展现出跨域可迁移性。
2026-10-02 cs.AI cs.CL cs.DB
Guided Table Retrieval for Structured Data Search
Tursio
该研究针对结构化数据库自然语言问答任务，提出四阶段引导式表格检索流程，在BIRD-DEV和BEAVER基准上取得优于基线的准确率与F1值，生成的精确连接树可直接供下游查询编译器使用。
2026-08-14 cs.DB
Scaling and Load-Balancing Equi-Joins
本文提出 AM-Join 及 IB-Join 算法族，通过 Tree-Join 与 Broadcast-Join 自适应协同解决分布式无共享架构中的等值连接倾斜与负载均衡问题。
2025-03-13 cs.DB cs.DC
Simpli-Squared: A Very Simple Yet Unexpectedly Powerful Join Ordering Algorithm Without Cardinality Estimates
由于其复杂性和完备性，连接顺序基准（JOB）已经成为事实上的标准来评估关系数据库查询优化器的性能。为了计算最佳执行计划-连接顺序-现有的解决方案采用了大量的数据概要和表属性之间的相关性-函数依赖性。这些结构在设计、构建和维护方面会产生大量开销。在本文中，我们提出了\textit{Simpli}城市\textit{Simpli}字段（\textit{Simpli-Squared}），一个非常简单的连接排序算法，取得了意想不到的好结果。Simpli-Squared计算连接顺序时不使用任何统计信息或基数估计值。它只接受模式定义中声明的引用完整性约束和基表中元组的数量（大小）作为输入。给定查询的连接顺序是通过沿着多对多连接分割连接图并根据表的大小对表进行排序来计算的。一对多联接中涉及的表根据大小和查询联接图而被广泛包括。由此产生的计划可以有效地产生一个轻量级的查询重写过程。在PostgreSQL中的JOB基准测试上的实验表明，Simpli-Squared实现的运行时间仅增加了16%-有时甚至减少-与四个更复杂的最先进的解决方案相比。基于这些结果，我们质疑JOB是否充分测试查询优化器，或者准确的基数估计是否是在JOB基准测试中表现良好的基本要求。
2021-10-30 cs.DB
Octopus: Agentic Multi-Table Discovery over Tabular Data Lakes
Cornell University（康奈尔大学）
Octopus是一种无需训练的轻量级系统，通过细粒度实体识别和直接扫描表内容，实现多表数据发现和单元格级值检索，提高准确性和效率。
2026-10-30 cs.DB
Efficient Joinable Table Discovery in Data Lakes: A High-Dimensional Similarity-Based Approach
NEC Corporation（日本电气股份有限公司）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
本文提出PEXOSO框架，通过高维向量嵌入和相似性连接，结合枢轴过滤与分区技术，在数据湖中高效发现可连接表，识别更多有意义结果并支持数据增强。
2021-03-29 cs.AI cs.DB cs.IR
Predicate Transfer: Efficient Pre-Filtering on Multi-Join Queries
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
谓词转移通过Bloom过滤器优化多表连接查询，显著提升性能，平均比Bloom连接快3.1倍。
2025-11-29 cs.DB
HyperJoin: LLM-augmented Hypergraph Link Prediction for Joinable Table Discovery
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；ACEM, Shanghai Jiao Tong University（ACEM，上海交通大学）
HyperJoin通过构建超图并利用大语言模型增强的超图链接预测，提升可连接表发现的精度和召回率。
2026-01-03 cs.CL cs.DB
EcoTable: Cost-effective Table Integration in Data Lakes for Natural Language Queries
University of Arizona（亚利桑那大学）；Kuaishou Technology（快手科技）；Beijing Institute of Technology（北京理工大学）
针对数据湖中表格格式多样导致ETL困难的问题，提出EcoTable框架，利用LLM的语义理解和复杂推理能力，通过图结构搜索和轻量级模型降低LLM调用成本，在4个基准数据集上准确率提升30%以上，成本降低5倍。
2026-08-04 cs.DB
Differentially Private Data Release over Multiple Tables
研究多表差分隐私合成数据发布问题，提出一种通用算法并证明其在常用隐私参数下对简单查询实现参数化最优，针对分层连接利用均匀化敏感度进一步提升效用。
2023-06-27 cs.CR cs.DB
TOPJoin: A Context-Aware Multi-Criteria Approach for Joinable Column Search
本文针对企业数据湖中列相似性不足以识别可连接表的问题，提出了上下文感知的列可连接性定义，并设计了多准则方法 TOPJoin 用于可连接列搜索，实验证明其在学术和真实基准上均优于现有基线。
2025-07-15 cs.DB
Glue: Adaptively Merging Single Table Cardinality to Estimate Join Query Size
Alibaba Group（阿里巴巴集团）；Renmin University of China（中国人民大学）
基数估计（CardEst）是查询优化器的核心组件，在DBMS中生成高质量查询计划方面起着重要作用。在过去的几十年里，CardEst问题已经被广泛研究，使用传统的和ML增强的方法。然而，CardEst中最困难的问题，即，如何估计多个表上的连接查询大小尚未得到广泛解决。现有的方法要么依赖于独立性假设，要么采用负担沉重的技术，其性能还远不能令人满意。更糟糕的是，现有的CardEst方法通常被设计为优化一个目标，即，推理速度或估计精度，不能适应不同的场合。在本文中，我们提出了一个非常通用的框架，称为胶水，以应对这些挑战。它的核心思想是优雅地解耦不同表之间的相关性，并对单个表CardEst结果进行丢失合并，以估计连接查询的大小。Glue支持使用任何现有的CardEst方法获得单个表式CardEst结果，并可以处理任何复杂的连接模式。因此，它很容易适应具有不同性能要求的不同场景，即，快速估计时间的OLTP或高估计精度的OLAP。同时，我们表明，胶水可以无缝集成到计划搜索过程中，并能够支持计数不同数量的值。所有这些属性都展示了在现实世界的DBMS中部署Glue的潜在优势。
2021-12-07 cs.AI cs.DB
Efficient Massively Parallel Join Optimization for Large Queries
现代数据分析工作负载通常需要在大量表上运行查询。一个最佳的查询计划，这样的查询是至关重要的，能够在可接受的时间范围内运行这些查询。但是，对于涉及许多表的查询，查找最佳连接顺序成为查询优化的瓶颈。由于连接顺序优化的指数性质，优化器在阈值数量的表之后求助于启发式解决方案。我们的目标有两个方面：（a）减少生成最优计划的优化时间;（b）提高启发式解决方案的质量。在本文中，我们提出了一种新的大规模并行算法，MPDP，可以有效地修剪大搜索空间（通过一种新的计划枚举技术），同时利用现代硬件（例如：GPU）提供的大规模并行。当使用PostgreSQL对真实世界的基准查询进行评估时，与大型分析查询的最新技术相比，MPDP至少快了一个数量级。因此，我们能够在PostgreSQL中以相同的时间预算将扩展性回退限制从12个关系增加到25个关系。此外，为了处理查询，甚至更大数量的表，我们增加MPDP一个众所周知的启发式，IDP $_2$（迭代DP版本2）和一个新的启发式UnionDP。通过系统地探索更大的搜索空间，这些算法提供的查询计划比最先进的技术便宜7倍，同时计算速度更快。
2022-03-01 cs.DB
Auto-FuzzyJoin: Auto-Program Fuzzy Similarity Joins Without Labeled Examples
模糊相似连接是一种重要的数据库操作，在实际中有着广泛的应用。到目前为止，研究界一直专注于优化模糊连接\textit{scalability}。然而，如今的实践者也在努力优化模糊连接\textit{quality}，因为他们面临令人生畏的参数空间（例如，距离函数、距离阈值、标记化选项等），并且常常不得不求助于人工试错法来编程这些参数以便优化模糊连接质量。迄今为止，自动生成高质量模糊连接程序的关键挑战很少受到关注。在这项工作中，我们研究的问题“自动程序”模糊连接。利用距离函数的几何解释，我们开发了一个无监督的\textsc{Auto-FuzzyJoin}框架，可以推断出合适的模糊连接程序给定的输入表，而不需要明确的人类输入，如标记的训练数据。使用\textsc{Auto-FuzzyJoin}，用户只需提供两个输入表$L$和$R$，以及所需的精度目标$τ$（例如0.9）。\textsc{Auto-FuzzyJoin}利用输入之一是引用表这一事实，自动编程满足预期精度目标$τ$的模糊连接，同时最大化模糊连接召回率（定义为正确连接的记录数）。在现有基准测试和使用从维基百科数据创建的50个模糊连接任务的新基准测试上进行的实验表明，所提出的\textsc{Auto-FuzzyJoin}显着优于现有的无监督方法，并且即使与有监督方法相比也具有令人惊讶的竞争力（例如，Magellan和DeepMat…
2021-03-07 cs.DB
TabJoinBench: A Benchmark for Joinable Table Discovery
Arizona State University（亚利桑那州立大学）
TabJoinBench是一个用于评估语义、关系和混合数据湖场景中可连接表发现方法的基准，通过可组合扰动构建查询-候选对并保留可靠真实标注，支持可复现比较。
2026-10-02 cs.AI cs.CL cs.DB
Detecting Logic Bugs of Join Optimizations in DBMS
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
TQS是一种新型测试框架，用于检测数据库管理系统中多表连接查询的逻辑错误，通过数据引导的模式和查询生成技术有效发现115个错误。
2026-02-25 cs.DB
Auto-BI: Automatically Build BI-Models Leveraging Local Join Prediction and Global Schema Graph
本文提出Auto-BI系统，通过k-MCA优化问题结合局部连接预测与全局模式图，自动构建BI模型，在超10万真实模型和TPC基准上实现高效且F1超过0.9的准确预测。
2023-06-21 cs.DB
Figaro on GPUs: Two Tables
本文提出Figaro-GPU算法，在GPU上高效计算两表自然连接矩阵的QR和SVD分解，通过符号变换与并行计算结合，性能提升与连接/输入大小比成正比，内存使用大幅减少。
2025-03-30 cs.DB cs.ET
DeepJoin: Joinable Table Discovery with Pre-trained Language Models
NEC Corporation（NEC公司）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
Deepjoin利用预训练语言模型进行嵌入检索，统一处理等值和语义连接，实现对数级搜索时间，精度优于近似解，在GPU上快达两个数量级。
2023-06-23 cs.AI cs.DB cs.LG
MetaJoin: Adaptive Join Selections for Heterogeneous Tables
Cornell University（康奈尔大学）
QJoin通过强化学习框架学习并重用变换策略，提升连接发现的准确性和效率。
2026-10-12 cs.DB cs.LG
An Algorithm for the Discovery of Independence from Data
多年来，独立性一直被认为是许多学科的重要概念。然而，我们提出了第一个研究，调查发现问题的独立性数据。独立性（英语：Independence）是两组列之间的一个语句，表示对于表中的每两行，表中也有一行与第一组列上的第一行和第二组列上的第二行重合。我们表明，问题的决定是否有一个独立的声明，持有一个给定的表不仅是NP-完全的，但$W[3]$ -完全的，可以说是最自然的参数，即它的arity。我们建立了第一个算法，发现所有的独立性声明，保持在一个给定的表。我们在实验中与基准数据表明，我们的算法表现良好，我们的硬度结果所建立的限制内。在实践中，确定独立性声明在给定表中的比率通常是有用的。为此，我们表明，我们对独立性的处理和算法的设计使我们能够将我们的发现扩展到近似独立性。在我们的最后的实验中，我们提供了一些见解之间的权衡运行时间和近似比。当然，比率越小，独立性陈述就越接近，发现所有这些陈述所需的时间也就越长。虽然这项研究建立了第一个洞察发现独立于数据的计算特性，我们希望开始研究更复杂的独立性概念，包括嵌入式多值依赖关系，以及它们的上下文特定和概率变体。
2021-01-07 cs.DB
TKHist: Cardinality Estimation for Join Queries via Histograms with Dominant Attribute Correlation Finding
TKHist通过放宽直方图均匀性假设并引入主导连接路径相关性发现算法，实现了多表连接查询的准确基数估计，误差方差较最先进方法降低2-3个数量级。
2025-10-17 cs.DB
Approximate Integrity Constraints in Incomplete Databases With Limited Domains
本文针对不完全数据库，引入强可能多值依赖和交叉连接，分析其有效性检查复杂性，并研究强可能键、函数依赖、多值依赖及交叉连接的近似度量及确定近似值的复杂性。
2024-02-07 cs.DB
Correlation Sketches for Approximate Join-Correlation Queries
本文提出连接-相关性查询以支持关系数据增强，并设计了一种草图索引方法和多种评分策略，高效发现可连接且相关的数据列，实验证明其具有高准确率和高质量排序。
2021-04-07 cs.DB cs.DS cs.IR
Selection of BJI configuration: Approach based on minimal transversals
决策系统处理存储在称为数据仓库的新数据库中的大量数据。数据仓库通常由星型模式建模，星型模式通常表示中心事实表和一组维度表。因此，针对这种类型的模型的相应查询非常复杂。为了减少执行复杂查询的成本，其中包含非常昂贵的联接，设想的解决方案将是保证数据仓库的良好物理设计。二进制连接索引非常适合减少执行这些连接的成本。在这项工作中，我们提出了一个二元连接索引选择方法的基础上的最小横切面的概念。得到的最终配置由几个索引组成，这使得优化查询集的执行成本成为可能。
2018-10-22 cs.DB
Beyond Marginals: A Multi-Dimensional Evaluation Framework for Multi-Table Synthetic Data Generation
Microsoft（微软）
针对多表合成数据缺乏统一评估框架的问题，提出SynEval六维评估框架，联合评估保真度、结构、完整性、效用、隐私和边缘情况，并生成加权质量分数。
2026-10-07 cs.DB cs.LG
LAKEGEN: A LLM-based Tabular Corpus Generator for Evaluating Dataset Discovery in Data Lakes
针对数据集发现方法评估缺乏合适表格基准的问题，提出基于LLM的LAKEGEN生成器，聚焦可连接表格任务，解决现有语料库通用化、无人工标注列对及缺乏语义列关系的缺陷。
2025-07-08 cs.DB
Decomposition-Driven Multi-Table Retrieval and Reasoning for Numerical Question Answering
RMIT University（皇家墨尔本理工大学）；The University of Queensland（昆士兰大学）；University of Wollongong（伍伦贡大学）；Xiamen University（厦门大学）
本文提出DMRAL框架，通过构建表关系图和子问题引导推理器，有效解决大规模表集合中的多表检索与推理问题，提升答案准确性。
2026-03-09 cs.DB
Retrieve, Merge, Predict: Augmenting Tables with Data Lakes
Inria Saclay（法国萨克利实验室）；Dataiku（Dataiku公司）；EURECOM Biot（EURECOM生物研究所）
针对数据湖的机器学习表格增强需求，研究了检索、合并、预测三步的不同方法，基于两个数据湖实验验证了候选表检索的重要性、简单合并的高效性与树模型的抗噪性，提供可复现开源环境以推动相关研究。
2025-05-19 cs.DB cs.LG
TablePuppet: A Generic Framework for Relational Federated Learning
ETH Zürich（苏黎世联邦理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chicago（芝加哥大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
提出关系型联邦学习（RFL）概念及通用框架TablePuppet，通过LoJ和LoU两步骤将学习下推至分布式关系表，结合计算优化与差分隐私，在保护隐私的同时实现与集中式基线相当的模型准确率。
2024-03-23 cs.DB cs.DC cs.LG
Fuzzy Integration of Data Lake Tables
针对开放数据场景下等值全析取集成效果受限的问题，提出支持模糊匹配的扩展全析取方法，通过数据驱动方式实现近似连接，在不显著增加时间开销的同时提升了数据集集成效果。
2025-01-16 cs.DB cs.IR
Cross Modal Data Discovery over Structured and Unstructured Data Lakes
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Amazon Web Services, Germany（亚马逊云科技德国分部）
针对数据湖中结构化与非结构化数据关联发现难、现有方法可扩展性差且易破坏表结构等问题，提出 CMDL 系统，在保留表结构属性的同时支持跨模态数据发现。
2023-07-16 cs.AI cs.DB
Forgetting by Pruning: Data Deletion in Join Cardinality Estimation
CEP是一种专为多表学习基数估计系统设计的遗忘框架，通过分布敏感性剪枝和领域剪枝有效减少数据删除带来的高估问题，提升效率并降低计算开销。
2025-11-25 cs.AI cs.DB cs.LG
Exploring Multi-Table Retrieval Through Iterative Search
Sorbonne Université, CNRS, LIP6（索邦大学、国家科学研究中心、LIP6）
针对数据湖开放域问答的多表检索难题，本文提出迭代搜索框架及贪心连接感知检索算法，在5个NL2SQL基准上取得与MIP方法相当的性能，速度提升4-400倍。
2025-11-17 cs.AI cs.CL cs.DB
Computing Multi-Relational Sufficient Statistics for Large Databases
Simon Fraser University（西蒙弗雷泽大学）
数据库包含有关实体之间存在和不存在哪些关系的信息。为了使这些信息可用于统计分析，需要计算足够的统计数据，这些统计数据将来自不同数据库表的信息组合在一起。这样的统计可以涉及任何数量的{ \em正和负}关系。使用朴素枚举方法，计算足够的负关系统计数据仅适用于小型数据库。我们解决了这个问题，一个新的动态规划算法，执行虚拟连接，计算所需的计数，而不物化连接表。列联表代数是关系代数的一个新的扩展，它有助于有效地实现这种Möbius虚连接操作。Möbius Join可扩展到具有复杂模式的大型数据集（超过1 M元组）。七个基准数据集的实证评估表明，有关链接的存在和不存在的信息可以利用在特征选择，关联规则挖掘，贝叶斯网络学习。
2014-08-22 cs.DB cs.LG
Discovery-Driven Integration of Disjoint Tables via Text
UPC, BarcelonaTech（加泰罗尼亚理工大学，巴塞罗那理工）；Université Libre de Bruxelles（布鲁塞尔自由大学）
针对数据湖中缺乏显式连接属性的不相交表，提出LOKI架构，通过文本介导发现细粒度行-句关联并物化为可解释的类型化集成表，在真实基准上精度达0.982且成本降低40倍。
2026-09-23 cs.CL cs.DB cs.IR
Scardina: Scalable Join Cardinality Estimation by Multiple Density Estimators
Osaka University（大阪大学）
针对复杂关系模式下现有方法基数估计不精确的问题，提出基于模式结构的多分区模型Scardina，通过组合多个密度估计器有效提升连接基数估计的准确性。
2023-03-31 cs.DB cs.LG
Hippasus: Effective and Efficient Automatic Feature Augmentation for Machine Learning Tasks on Relational Data
Athena Research Center（阿提卡研究中心）
Hippasus通过结合统计信号和语义推理，高效提升关系数据机器学习任务中的特征增强效果。
2026-07-21 cs.DB cs.LG
FactorJoin: A New Cardinality Estimation Framework for Join Queries
Massachusetts Institute of Technology（麻省理工学院）
基数估计是查询优化中最基本也是最具挑战性的问题之一。无论是经典的还是基于学习的方法在估计连接查询的基数时都不会产生令人满意的性能。它们要么依赖于简化的假设，导致无效的基数估计，要么构建大型模型来理解数据分布，导致规划时间长，缺乏跨查询的通用性。在本文中，我们提出了一个新的框架FactorJoin估计连接查询。FactorJoin结合了经典的join-histogram方法背后的思想，以有效地处理joins与基于学习的方法，以准确地捕获属性相关性。具体来说，FactorJoin扫描数据库中的每个表，并在离线准备阶段构建单表条件分布。当连接查询到来时，FactorJoin将其转换为学习分布上的因子图模型，以有效地估计其基数。与现有的基于学习的方法不同，FactorJoin不需要预先对连接进行反规范化，也不需要执行查询工作负载来训练模型。由于FactorJoin只依赖于单表统计数据，因此它的空间开销很小，并且非常容易训练和维护。在我们的评估中，FactorJoin可以比以前最先进的基于学习的方法产生更有效的估计，估计延迟减少40倍，模型大小减少100倍，训练速度加快100倍，精度相当或更高。此外，FactorJoin可以在一秒钟内估计10，000个子计划查询，以优化查询计划，这与商业DBMS中传统的基数估计器非常接近。
2022-12-11 cs.DB cs.LG
Are Key-Foreign Key Joins Safe to Avoid when Learning High-Capacity Classifiers?
University of California, San Diego（加州大学圣地亚哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
关系数据上的机器学习（ML）是数据库行业和学术界的一个蓬勃发展的领域。虽然有几个项目旨在构建可扩展和快速的ML系统，但很少有工作解决了为ML任务采购数据和功能的痛苦。现实世界的关系数据库通常有许多表（通常是几十个），数据科学家通常很难获得和连接所有可能的表，这些表为ML提供了功能。在这种情况下，Kumar等人最近表明，表之间的键-外键依赖关系（KFKD）通常可以让我们避免这种连接，而不会显著影响预测准确性-他们称之为安全避免连接的想法。虽然最初存在争议，但这一想法已被多家公司用于减轻ML的数据来源负担。但他们的工作仅适用于线性分类器。在这项工作中，我们验证他们的结果是否适用于三种流行的复杂分类器：决策树，SVM和ANN。我们使用真实世界的数据集和模拟进行了广泛的实验研究，以分析避免KFK连接对这些模型的影响。我们的研究结果表明，与线性分类器相比，这些高容量分类器在避免KFK连接方面具有令人惊讶和反直觉的鲁棒性，反驳了先前工作分析的直觉。我们直观地解释了这种行为，并确定了数据管理和ML理论研究交叉点的开放问题。我们所有的代码和数据集都可以从http://cseweb.ucsd.edu/~arunkk/hamlet下载。
2017-06-04 cs.DB cs.LG
Schemaless Queries over Document Tables with Dependencies
IBM Research（IBM研究院）；Google, Inc.（谷歌公司）
非结构化的企业数据，如报告、手册和指南，通常包含表格。从这些表中集成数据的传统方法是通过两步过程：表检测/提取和将表布局映射到适当的模式。这可能是一个昂贵的过程。在本文中，我们表明，通过使用语义技术（RDF/SPARQL和数据库依赖）配对一个简单但强大的方式来转换表与非关系布局，它可以提供查询应答服务，这些表与最少的手工工作或特定于域的映射。我们的方法使用户能够利用嵌入在文档中的表中的数据，很少的努力，不仅对于简单的检索查询，而且对于结构化查询，需要加入多个相互关联的表。
2019-11-21 cs.AI cs.DB cs.IR
Secure Machine Learning over Relational Data
近年来，由于许多ML任务的训练数据都是关系查询（最常见的是join-select查询）的结果，因此机器学习和关系数据库的更紧密集成得到了发展。在联合设置中，这带来了额外的挑战，即表由不同的方作为其私有数据持有，并且各方希望训练模型而不必使用可信的第三方。现有的工作只考虑的情况下，训练数据存储在一个平面表，已被垂直分区，这对应于一个简单的PK-PK连接。在本文中，我们描述了安全协议来计算符合一般的外键非循环模式的多个表的连接结果，以及如何将结果以秘密共享的形式提供给安全的ML工具箱。此外，现有的安全ML系统揭示了连接结果中的PK。我们将隐私保护提升到更高的水平，实现训练模型之外的零信息泄露。如果模型本身被认为是敏感的，我们将展示如何将差分隐私纳入我们的框架，以防止模型侵犯个人隐私。
2021-09-30 cs.CR cs.DB
SmartInt: Using Mined Attribute Dependencies to Integrate Fragmented Web Databases
许多网络数据库可以被视为提供关于世界上实体的部分和重叠的信息。为了有效地回答查询，我们需要整合关于分散在多个源中的各个实体的信息。乍一看，这只是传统数据库规范化问题的逆-而不是从通用关系到规范化表，我们希望重建给定表（源）的通用关系。重建实体的标准方法包括连接表。不幸的是，由于源是以自治和分散的方式填充的，它们通常没有主键码-外键关系。虽然表可以共享属性，但这些共享属性上的朴素连接可能会导致重建许多虚假实体，从而严重影响精度。我们的系统，\smartint \的目的是解决在这种情况下的数据集成的问题。对于给定的查询，系统使用近似函数分解（AFD）将相关表拼接成一棵树来回答，生成的结果元组能够在查准率和查全率之间取得良好的平衡。
2011-01-31 cs.DB cs.IR
TabSketchFM: Sketch-based Tabular Representation Learning for Data Discovery over Data Lakes
Northeastern University（东北大学）；IBM Research（IBM研究院）；Rensselaer Polytechnic Institute（罗切斯特理工学院）
TabSketchFM 提出基于草图的预训练神经表格模型，通过微调识别可并表、可连接和子集表格对，显著提升数据湖表格搜索的 F1 分数，并具备跨数据集与跨任务的泛化能力。
2025-08-26 cs.AI cs.DB cs.LG
