Birdie: Natural Language-Driven Table Discovery Using Differentiable Search Index
针对自然语言驱动表发现中错误累积和交互不足的问题，提出基于可微搜索索引的框架Birdie，将索引与搜索统一于编码器-解码器模型中，并引入参数隔离策略缓解灾难性遗忘，准确率提升16.8%且遗忘减少超90%。
2025-04-30 cs.DB
Semantics-aware Dataset Discovery from Data Lakes with Contextualized Column-based Representation Learning
从数据湖中发现数据集在许多实际应用场景中至关重要。在本文中，我们提出了Starmie，这是一个用于从数据湖中发现数据集的端到端框架（以表联合搜索为主要用例）。我们提出的框架具有对比学习方法，以完全无监督的方式从预训练的语言模型中训练列编码器。Starmie的列编码器通过利用对比多列预训练策略来捕获表中丰富的上下文语义信息。我们利用列嵌入向量之间的余弦相似性作为列unionability得分，并提出了一个过滤和验证框架，允许探索各种设计选择，以计算相应的两个表之间的unionability得分。在真实表基准数据集上的实证评估结果表明，Starmie在MAP和召回率方面比最知名的解决方案在表联合搜索的有效性上高出6.8。此外，Starmie是第一个采用HNSW（分层可导航小世界）索引来加速表联合搜索的查询处理的公司，该索引提供了比线性扫描基线高3,000倍的性能增益，比LSH索引（最先进的数据湖索引解决方案）高400倍的性能增益。
2023-01-15 cs.DB
Latent table discovery by semantic relationship extraction between unrelated sets of entity sets of structured data sources
查询是数据库系统的基本功能之一。参与表数量的增加会对查询效率产生不利影响。此外，基于语法的查询在很大程度上限制了数据库系统可以处理的查询的范围。语法查询依赖于数据库表结构，这是大型组织关注的一个原因，因为存储分布在不同地理位置的数据的异构系统之间不兼容。这些问题的解决方案在某种程度上是通过使数据和数据库有意义而转向语义技术来回答的。在这样做时，实体集合的集合之间的关系将不仅限于句法约束，而且还将允许语义连接，尽管这样的关系可以是隐性的、无形的和不可见的。这项工作的目标是提取这种隐藏的关系之间的不相关的实体集，并存储在一个有形的形式。一些示例情况下，提供了辩护，建议的工作，提高查询显着。
2011-04-07 cs.DB
Diverse Unionable Tuple Search: Novelty-Driven Discovery in Data Lakes [Technical Report]
本文提出数据湖中多样化可合并元组搜索问题，并给出基于聚类的 DUST 算法与新型元组嵌入模型，在真实基准上显著提升多样性效果且速度超过基线六倍。
2025-08-31 cs.DB
Shape-Agnostic Table Overlap Discovery: A Maximum Common Subhypergraph Approach
RMIT University（皇家墨尔本理工大学）；University of Wollongong（伍伦贡大学）；The University of Queensland（昆士兰大学）；Data61, CSIRO（CSIRO数据六十一）
本文提出SALTO方法，通过超图模型解决表重叠问题，引入HyperSplit算法实现高效准确的重叠发现，实验显示其在多个实际任务中表现优异。
2026-03-15 cs.DB
LAKEGEN: A LLM-based Tabular Corpus Generator for Evaluating Dataset Discovery in Data Lakes
针对数据集发现方法评估缺乏合适表格基准的问题，提出基于LLM的LAKEGEN生成器，聚焦可连接表格任务，解决现有语料库通用化、无人工标注列对及缺乏语义列关系的缺陷。
2025-07-08 cs.DB
HyperJoin: LLM-augmented Hypergraph Link Prediction for Joinable Table Discovery
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；ACEM, Shanghai Jiao Tong University（ACEM，上海交通大学）
HyperJoin通过构建超图并利用大语言模型增强的超图链接预测，提升可连接表发现的精度和召回率。
2026-01-03 cs.CL cs.DB
Latent Bridges for Multi-Table Question Answering
EURECOM；University of Antwerp（安特卫普大学）
提出GRAB管道，通过图编码器和潜在桥梁将关系数据转化为紧凑表示，冻结LLM以保持推理能力，在多表问答中显著提升性能。
2026-10-23 cs.AI cs.CL cs.DB
Discovering Multi-Table Functional Dependencies Without Full Join Computation
在本文中，我们研究了发现连接FD的问题，即，在多个联接表上保持的函数依赖关系（FD）。我们利用逻辑推理，选择性挖掘和采样，并表明我们可以发现大多数确切的连接FD从单个表参与的连接，并避免连接结果的完整计算。我们提出了算法，以加快加入FD发现过程和地雷FD的飞行只从必要的数据分区。我们介绍JEDI（Join dEpendency DIsparification），我们的解决方案，发现连接FD，而无需事先计算完整的连接。我们在一系列真实世界和合成数据上的实验证明了我们的方法优于现有的FD发现方法，这些方法需要在发现FD之前预先计算连接结果。我们表明，性能取决于基数和覆盖率的连接属性值：对于连接操作覆盖率低，JEDI与选择性挖掘优于竞争的方法，使用直接的方法的全连接计算的一个数量级的运行时间，并可以发现四分之三的确切连接FD主要使用逻辑推理的一半，其总执行时间平均。对于更高的连接覆盖率，JEDI的抽样精度达到1，平均只有表输入大小的63%。
2020-12-11 cs.DB
Efficiently Estimating Mutual Information Between Attributes Across Tables
提出基于草图的高效互信息估计方法，无需物化连接即可评估关系发现查询，返回更小且更相关的可连接表集合，有效解决关系数据增强中的外部表发现问题。
2024-03-22 cs.DB
TabJoinBench: A Benchmark for Joinable Table Discovery
Arizona State University（亚利桑那州立大学）
TabJoinBench是一个用于评估语义、关系和混合数据湖场景中可连接表发现方法的基准，通过可组合扰动构建查询-候选对并保留可靠真实标注，支持可复现比较。
2026-10-02 cs.AI cs.CL cs.DB
Discovery-Driven Integration of Disjoint Tables via Text
UPC, BarcelonaTech（加泰罗尼亚理工大学，巴塞罗那理工）；Université Libre de Bruxelles（布鲁塞尔自由大学）
针对数据湖中缺乏显式连接属性的不相交表，提出LOKI架构，通过文本介导发现细粒度行-句关联并物化为可解释的类型化集成表，在真实基准上精度达0.982且成本降低40倍。
2026-09-23 cs.CL cs.DB cs.IR
An Algorithm for the Discovery of Independence from Data
多年来，独立性一直被认为是许多学科的重要概念。然而，我们提出了第一个研究，调查发现问题的独立性数据。独立性（英语：Independence）是两组列之间的一个语句，表示对于表中的每两行，表中也有一行与第一组列上的第一行和第二组列上的第二行重合。我们表明，问题的决定是否有一个独立的声明，持有一个给定的表不仅是NP-完全的，但$W[3]$ -完全的，可以说是最自然的参数，即它的arity。我们建立了第一个算法，发现所有的独立性声明，保持在一个给定的表。我们在实验中与基准数据表明，我们的算法表现良好，我们的硬度结果所建立的限制内。在实践中，确定独立性声明在给定表中的比率通常是有用的。为此，我们表明，我们对独立性的处理和算法的设计使我们能够将我们的发现扩展到近似独立性。在我们的最后的实验中，我们提供了一些见解之间的权衡运行时间和近似比。当然，比率越小，独立性陈述就越接近，发现所有这些陈述所需的时间也就越长。虽然这项研究建立了第一个洞察发现独立于数据的计算特性，我们希望开始研究更复杂的独立性概念，包括嵌入式多值依赖关系，以及它们的上下文特定和概率变体。
2021-01-07 cs.DB
Discovery of the $D$-basis in binary tables based on hypergraph dualization
发现（强）关联规则或隐含关系是数据管理中的一项重要任务，它在人工智能、数据采掘和语义Web中有着广泛的应用。我们介绍了一种新的方法，发现一组特定的影响，称为$D$的基础上，提供了一个表示为减少二进制表，基于其伽罗瓦格的结构。该方法的核心是格理论框架中定义的$D$ -关系，以及超图对偶算法，该算法使我们能够有效地产生给定Sperner超图的横截集。后一种算法首先由罗格斯运筹学中心的专家开发，已经在解决数据库理论、人工智能和博弈论中的优化问题中找到了许多应用。该方法的一个应用是分析与特定表型变量相关的基因表达数据，并对夏威夷大学癌症中心提供的数据进行了一些初步测试。
2016-01-31 cs.DB cs.DM
Metadata-driven Table Union Search: Leveraging Semantics for Restricted Access Data Integration
本文提出一种仅利用元数据实现受限访问数据表联合搜索的方法，达到81%准确率，优于现有基准，支持隐私敏感领域的安全数据发现。
2025-02-28 cs.DB
Efficient Joinable Table Discovery in Data Lakes: A High-Dimensional Similarity-Based Approach
NEC Corporation（日本电气股份有限公司）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
本文提出PEXOSO框架，通过高维向量嵌入和相似性连接，结合枢轴过滤与分区技术，在数据湖中高效发现可连接表，识别更多有意义结果并支持数据增强。
2021-03-29 cs.AI cs.DB cs.IR
Humans, Machine Learning, and Language Models in Union: A Cognitive Study on Table Unionability
Worcester Polytechnic Institute（伍斯特理工学院）
该研究探究数据发现中人类判定表可联合性的行为，基于实验分析开发机器学习框架提升人类表现，初步发现大语言模型与人类结合效果更佳，为高效数据发现的人在回路系统奠定基础。
2025-06-15 cs.DB cs.LG
TabSketchFM: Sketch-based Tabular Representation Learning for Data Discovery over Data Lakes
Northeastern University（东北大学）；IBM Research（IBM研究院）；Rensselaer Polytechnic Institute（罗切斯特理工学院）
TabSketchFM 提出基于草图的预训练神经表格模型，通过微调识别可并表、可连接和子集表格对，显著提升数据湖表格搜索的 F1 分数，并具备跨数据集与跨任务的泛化能力。
2025-08-26 cs.AI cs.DB cs.LG
Table Integration in Data Lakes Unleashed: Pairwise Integrability Judgment, Integrable Set Discovery, and Multi-Tuple Conflict Resolution
RMIT University（RMIT大学）；University of Wollongong（卧龙岗大学）；The University of Queensland（昆士兰大学）
针对数据湖多表集成挑战，本文聚焦成对可集成性判断、可集成集发现、多元组冲突解决三个核心任务，提出自监督对抗对比学习、社区检测、上下文学习等方法，减少对标注数据的依赖。
2025-04-13 cs.DB cs.IR cs.LG
LEDD: Large Language Model-Empowered Data Discovery in Data Lakes
Tsinghua University（清华大学）；Xiamen University（厦门大学）
针对数据湖表语义搜索与层级目录生成难题，提出可扩展端到端系统LEDD，依托大语言模型实现语义表搜索与带语义的层级全局目录生成，提供Python接口便于算法扩展替换，可支撑下游多类任务。
2025-02-21 cs.AI cs.DB
DeepJoin: Joinable Table Discovery with Pre-trained Language Models
NEC Corporation（NEC公司）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
Deepjoin利用预训练语言模型进行嵌入检索，统一处理等值和语义连接，实现对数级搜索时间，精度优于近似解，在GPU上快达两个数量级。
2023-06-23 cs.AI cs.DB cs.LG
Retrieve, Merge, Predict: Augmenting Tables with Data Lakes
Inria Saclay（法国萨克利实验室）；Dataiku（Dataiku公司）；EURECOM Biot（EURECOM生物研究所）
针对数据湖的机器学习表格增强需求，研究了检索、合并、预测三步的不同方法，基于两个数据湖实验验证了候选表检索的重要性、简单合并的高效性与树模型的抗噪性，提供可复现开源环境以推动相关研究。
2025-05-19 cs.DB cs.LG
LakeBench: Benchmarks for Data Discovery over Data Lakes
IBM Research（IBM研究院）；Northeastern University（东北大学）
LakeBench 利用 CKAN、Socrata 和欧洲中央银行等公开数据源构建了面向可并集、可连接和子集关系的数据发现基准，并评估了 4 个公开表格基础模型，发现现有模型在该任务上仍有显著改进空间。
2023-07-09 cs.AI cs.DB
Into Summarization Techniques for IoT Data Discovery Routing
在本文中，我们考虑了非常大且规模不断增长的网络中的物联网数据发现问题。具体来说，我们深入研究了路由表汇总技术，以支持有效和节省空间的物联网数据发现路由。提出了基于字母、基于哈希和基于意义的摘要算法及其相应的编码方案。潜在的误导路由由于总结的问题也进行了调查。随后，我们分析了何时进行总结的策略，以平衡路由表压缩率和引起误导路由的机会之间的权衡。为了进行实验研究，我们从各种物联网数据库中收集了10万个物联网数据流作为输入数据集。实验结果表明，我们的总结解决方案可以减少路由表的大小由20至30倍，增加2-5%的延迟时，与同类的对等发现路由算法相比，没有总结。此外，我们的方法在延迟和流量方面优于基于DHT的方法2到6倍。
2021-07-21 cs.DB cs.DC cs.IR
Pneuma: Leveraging LLMs for Tabular Data Representation and Retrieval in an End-to-End System
本文提出Pneuma，一个利用大语言模型进行表格表示与检索的RAG系统，通过保留模式与行级信息并结合全文与向量搜索，在六个真实数据集上验证其优于现有表格搜索系统的准确性与资源效率。
2025-04-12 cs.DB cs.IR
Cross Modal Data Discovery over Structured and Unstructured Data Lakes
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Amazon Web Services, Germany（亚马逊云科技德国分部）
针对数据湖中结构化与非结构化数据关联发现难、现有方法可扩展性差且易破坏表结构等问题，提出 CMDL 系统，在保留表结构属性的同时支持跨模态数据发现。
2023-07-16 cs.AI cs.DB
