Birdie: Natural Language-Driven Table Discovery Using Differentiable Search Index
针对自然语言驱动表发现中错误累积和交互不足的问题,提出基于可微搜索索引的框架Birdie,将索引与搜索统一于编码器-解码器模型中,并引入参数隔离策略缓解灾难性遗忘,准确率提升16.8%且遗忘减少超90%。
2025-04-30 cs.DB
Unified Data Discovery across Query Modalities and User Intents
The University of Queensland(昆士兰大学);The University of Wollongong(伍伦贡大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61)
本文提出UniDisc框架,支持自然语言和表格查询,统一处理多样用户意图,通过上下文信号学习鲁棒表征,实现在不同数据发现场景中的统一相关性评估。
2026-04-29 cs.DB
Semantics-aware Dataset Discovery from Data Lakes with Contextualized Column-based Representation Learning
从数据湖中发现数据集在许多实际应用场景中至关重要。在本文中,我们提出了Starmie,这是一个用于从数据湖中发现数据集的端到端框架(以表联合搜索为主要用例)。我们提出的框架具有对比学习方法,以完全无监督的方式从预训练的语言模型中训练列编码器。Starmie的列编码器通过利用对比多列预训练策略来捕获表中丰富的上下文语义信息。我们利用列嵌入向量之间的余弦相似性作为列unionability得分,并提出了一个过滤和验证框架,允许探索各种设计选择,以计算相应的两个表之间的unionability得分。在真实表基准数据集上的实证评估结果表明,Starmie在MAP和召回率方面比最知名的解决方案在表联合搜索的有效性上高出6.8。此外,Starmie是第一个采用HNSW(分层可导航小世界)索引来加速表联合搜索的查询处理的公司,该索引提供了比线性扫描基线高3,000倍的性能增益,比LSH索引(最先进的数据湖索引解决方案)高400倍的性能增益。
2023-01-15 cs.DB
Efficiently Estimating Mutual Information Between Attributes Across Tables
提出基于草图的高效互信息估计方法,无需物化连接即可评估关系发现查询,返回更小且更相关的可连接表集合,有效解决关系数据增强中的外部表发现问题。
2024-03-22 cs.DB
Latent table discovery by semantic relationship extraction between unrelated sets of entity sets of structured data sources
查询是数据库系统的基本功能之一。参与表数量的增加会对查询效率产生不利影响。此外,基于语法的查询在很大程度上限制了数据库系统可以处理的查询的范围。语法查询依赖于数据库表结构,这是大型组织关注的一个原因,因为存储分布在不同地理位置的数据的异构系统之间不兼容。这些问题的解决方案在某种程度上是通过使数据和数据库有意义而转向语义技术来回答的。在这样做时,实体集合的集合之间的关系将不仅限于句法约束,而且还将允许语义连接,尽管这样的关系可以是隐性的、无形的和不可见的。这项工作的目标是提取这种隐藏的关系之间的不相关的实体集,并存储在一个有形的形式。一些示例情况下,提供了辩护,建议的工作,提高查询显着。
2011-04-07 cs.DB
Shape-Agnostic Table Overlap Discovery: A Maximum Common Subhypergraph Approach
RMIT University(皇家墨尔本理工大学);University of Wollongong(伍伦贡大学);The University of Queensland(昆士兰大学);Data61, CSIRO(CSIRO数据六十一)
本文提出SALTO方法,通过超图模型解决表重叠问题,引入HyperSplit算法实现高效准确的重叠发现,实验显示其在多个实际任务中表现优异。
2026-03-15 cs.DB
Diverse Unionable Tuple Search: Novelty-Driven Discovery in Data Lakes [Technical Report]
本文提出数据湖中多样化可合并元组搜索问题,并给出基于聚类的 DUST 算法与新型元组嵌入模型,在真实基准上显著提升多样性效果且速度超过基线六倍。
2025-08-31 cs.DB
An Algorithm for the Discovery of Independence from Data
多年来,独立性一直被认为是许多学科的重要概念。然而,我们提出了第一个研究,调查发现问题的独立性数据。独立性(英语:Independence)是两组列之间的一个语句,表示对于表中的每两行,表中也有一行与第一组列上的第一行和第二组列上的第二行重合。我们表明,问题的决定是否有一个独立的声明,持有一个给定的表不仅是NP-完全的,但$W[3]$ -完全的,可以说是最自然的参数,即它的arity。我们建立了第一个算法,发现所有的独立性声明,保持在一个给定的表。我们在实验中与基准数据表明,我们的算法表现良好,我们的硬度结果所建立的限制内。在实践中,确定独立性声明在给定表中的比率通常是有用的。为此,我们表明,我们对独立性的处理和算法的设计使我们能够将我们的发现扩展到近似独立性。在我们的最后的实验中,我们提供了一些见解之间的权衡运行时间和近似比。当然,比率越小,独立性陈述就越接近,发现所有这些陈述所需的时间也就越长。虽然这项研究建立了第一个洞察发现独立于数据的计算特性,我们希望开始研究更复杂的独立性概念,包括嵌入式多值依赖关系,以及它们的上下文特定和概率变体。
2021-01-07 cs.DB
HyperJoin: LLM-augmented Hypergraph Link Prediction for Joinable Table Discovery
University of Technology Sydney(悉尼科技大学);University of New South Wales(新南威尔士大学);ACEM, Shanghai Jiao Tong University(ACEM,上海交通大学)
HyperJoin通过构建超图并利用大语言模型增强的超图链接预测,提升可连接表发现的精度和召回率。
2026-01-03 cs.CL cs.DB
LAKEGEN: A LLM-based Tabular Corpus Generator for Evaluating Dataset Discovery in Data Lakes
针对数据集发现方法评估缺乏合适表格基准的问题,提出基于LLM的LAKEGEN生成器,聚焦可连接表格任务,解决现有语料库通用化、无人工标注列对及缺乏语义列关系的缺陷。
2025-07-08 cs.DB
Discovery-Driven Integration of Disjoint Tables via Text
UPC, BarcelonaTech(加泰罗尼亚理工大学,巴塞罗那理工);Université Libre de Bruxelles(布鲁塞尔自由大学)
针对数据湖中缺乏显式连接属性的不相交表,提出LOKI架构,通过文本介导发现细粒度行-句关联并物化为可解释的类型化集成表,在真实基准上精度达0.982且成本降低40倍。
2026-09-23 cs.CL cs.DB cs.IR
Gen-T: Table Reclamation in Data Lakes
本文提出表回收问题,旨在用大型表仓库中的真实表整合重现源表,并基于错误感知实例相似度提出解决方案Gen-T,实验证明其准确、高效且可扩展。
2024-03-22 cs.DB
TabJoinBench: A Benchmark for Joinable Table Discovery
Arizona State University(亚利桑那州立大学)
TabJoinBench是一个用于评估语义、关系和混合数据湖场景中可连接表发现方法的基准,通过可组合扰动构建查询-候选对并保留可靠真实标注,支持可复现比较。
2026-10-02 cs.AI cs.CL cs.DB
Discovery of the $D$-basis in binary tables based on hypergraph dualization
发现(强)关联规则或隐含关系是数据管理中的一项重要任务,它在人工智能、数据采掘和语义Web中有着广泛的应用。我们介绍了一种新的方法,发现一组特定的影响,称为$D$的基础上,提供了一个表示为减少二进制表,基于其伽罗瓦格的结构。该方法的核心是格理论框架中定义的$D$ -关系,以及超图对偶算法,该算法使我们能够有效地产生给定Sperner超图的横截集。后一种算法首先由罗格斯运筹学中心的专家开发,已经在解决数据库理论、人工智能和博弈论中的优化问题中找到了许多应用。该方法的一个应用是分析与特定表型变量相关的基因表达数据,并对夏威夷大学癌症中心提供的数据进行了一些初步测试。
2016-01-31 cs.DB cs.DM
Metadata-driven Table Union Search: Leveraging Semantics for Restricted Access Data Integration
本文提出一种仅利用元数据实现受限访问数据表联合搜索的方法,达到81%准确率,优于现有基准,支持隐私敏感领域的安全数据发现。
2025-02-28 cs.DB
Efficient Joinable Table Discovery in Data Lakes: A High-Dimensional Similarity-Based Approach
NEC Corporation(日本电气股份有限公司);Osaka University(大阪大学);Nagoya University(名古屋大学)
本文提出PEXOSO框架,通过高维向量嵌入和相似性连接,结合枢轴过滤与分区技术,在数据湖中高效发现可连接表,识别更多有意义结果并支持数据增强。
2021-03-29 cs.AI cs.DB cs.IR
Humans, Machine Learning, and Language Models in Union: A Cognitive Study on Table Unionability
Worcester Polytechnic Institute(伍斯特理工学院)
该研究探究数据发现中人类判定表可联合性的行为,基于实验分析开发机器学习框架提升人类表现,初步发现大语言模型与人类结合效果更佳,为高效数据发现的人在回路系统奠定基础。
2025-06-15 cs.DB cs.LG
Table Integration in Data Lakes Unleashed: Pairwise Integrability Judgment, Integrable Set Discovery, and Multi-Tuple Conflict Resolution
RMIT University(RMIT大学);University of Wollongong(卧龙岗大学);The University of Queensland(昆士兰大学)
针对数据湖多表集成挑战,本文聚焦成对可集成性判断、可集成集发现、多元组冲突解决三个核心任务,提出自监督对抗对比学习、社区检测、上下文学习等方法,减少对标注数据的依赖。
2025-04-13 cs.DB cs.IR cs.LG
TabSketchFM: Sketch-based Tabular Representation Learning for Data Discovery over Data Lakes
Northeastern University(东北大学);IBM Research(IBM研究院);Rensselaer Polytechnic Institute(罗切斯特理工学院)
TabSketchFM 提出基于草图的预训练神经表格模型,通过微调识别可并表、可连接和子集表格对,显著提升数据湖表格搜索的 F1 分数,并具备跨数据集与跨任务的泛化能力。
2025-08-26 cs.AI cs.DB cs.LG
Pneuma: Leveraging LLMs for Tabular Data Representation and Retrieval in an End-to-End System
本文提出Pneuma,一个利用大语言模型进行表格表示与检索的RAG系统,通过保留模式与行级信息并结合全文与向量搜索,在六个真实数据集上验证其优于现有表格搜索系统的准确性与资源效率。
2025-04-12 cs.DB cs.IR
Retrieve, Merge, Predict: Augmenting Tables with Data Lakes
Inria Saclay(法国萨克利实验室);Dataiku(Dataiku公司);EURECOM Biot(EURECOM生物研究所)
针对数据湖的机器学习表格增强需求,研究了检索、合并、预测三步的不同方法,基于两个数据湖实验验证了候选表检索的重要性、简单合并的高效性与树模型的抗噪性,提供可复现开源环境以推动相关研究。
2025-05-19 cs.DB cs.LG
Novel Table Search [Technical Report]
David R. Cheriton School of Computer Science University of Waterloo Canada
本文提出新颖表搜索(NTS)问题,设计了基于属性的近似技术ANTs,通过实验证明其在语法新颖性捕捉上优于其他方法,且执行效率高。
2026-03-07 cs.DB
DeepJoin: Joinable Table Discovery with Pre-trained Language Models
NEC Corporation(NEC公司);Osaka University(大阪大学);Nagoya University(名古屋大学)
Deepjoin利用预训练语言模型进行嵌入检索,统一处理等值和语义连接,实现对数级搜索时间,精度优于近似解,在GPU上快达两个数量级。
2023-06-23 cs.AI cs.DB cs.LG
GenTUS: Table Union Search via Constrained Generation of Semantic Table Identifiers
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Fudan University(复旦大学)
提出GenTUS框架,将表联合搜索转化为离散语义表标识符的约束生成,直接生成可联合表的标识符,避免显式候选池检索与重排序,在7个基准上取得最优检索质量并降低延迟与存储成本。
2026-11-16 cs.DB
LEDD: Large Language Model-Empowered Data Discovery in Data Lakes
Tsinghua University(清华大学);Xiamen University(厦门大学)
针对数据湖表语义搜索与层级目录生成难题,提出可扩展端到端系统LEDD,依托大语言模型实现语义表搜索与带语义的层级全局目录生成,提供Python接口便于算法扩展替换,可支撑下游多类任务。
2025-02-21 cs.AI cs.DB
Data Lake Organization
我们考虑创建一个导航结构,允许用户最有效地浏览数据湖的问题。我们将组织定义为一个图,其中包含表示数据湖中属性集的节点和表示节点之间子集关系的边。我们提出了一个新的概率模型,用户如何与组织进行交互,并定义用户使用该组织找到表的可能性。我们提出的数据湖组织问题的问题,找到一个组织,最大限度地提高预期的概率发现表通过导航组织。我们提出了一个近似算法的数据湖组织问题。我们展示了该算法在包含来自开放数据门户的数据的真实数据湖和模拟真实数据湖所观察到的特征的基准上的有效性。通过一个正式的用户研究,我们表明,导航可以帮助用户发现相关的表,不能找到关键字搜索。此外,在我们的研究中,42%的用户更喜欢使用导航,58%的用户更喜欢使用关键字搜索,这表明这些是互补的,都是数据湖中数据发现的有用模式。我们的实验表明,数据湖组织考虑了数据湖的分布,并且优于现有的手工分类法和常见的基线组织。
2020-03-02 cs.DB
Ver: View Discovery in the Wild
我们提出了版本,一个数据发现系统,识别项目连接视图在大型存储库的表,不包含连接路径信息,甚至当输入查询是不准确的。Ver实现了一个参考架构,以解决视图发现的技术(规模和搜索)和人为(语义模糊,导航大量结果)问题。我们展示了用户在使用Ver进行用户研究时找到他们想要的视图,并在包含数千万条连接路径的真实数据集上进行了大规模端到端实验,展示了其性能。
2022-10-04 cs.DB
Dataset Discovery in Data Lakes
数据分析将受益于越来越多的数据集的可用性,这些数据集的概念关系并不明确。收集后,这些数据集形成了一个数据湖,通过数据整理等过程,可以构建特定的目标数据集,从而实现增值分析。考虑到这种数据湖的潜在巨大性,问题是如何从湖中提取那些可能有助于争夺给定目标的数据集。我们将此称为数据湖中的数据集发现问题,本文提供了一个有效和高效的解决方案。我们的方法使用数据集中的值的特征来构建基于哈希的索引,将这些特征映射到统一的距离空间。这使得有可能定义特征之间的相似性距离,并将这些距离作为相关性w.r.t.目标表。如果是后者(以及示例元组),我们的方法将返回湖中最相关的表。我们提供了一个详细的描述的方法和报告的经验结果的两种形式的相关性(unionability和joinability)比较他们与以前的工作,在适当的情况下,并显示显着改善所有的精度,召回率,目标覆盖率,索引和发现时间。
2020-11-20 cs.DB
Data-Semantics-Aware Recommendation of Diverse Pivot Tables
University of Utah(犹他大学)
SAGE通过数据语义意识模型和可扩展贪心算法,实现高维数据集的多样化数据透视表推荐,提升推荐的洞察力和可解释性。
2025-12-02 cs.DB
An Improvised Frequent Pattern Tree Based Association Rule Mining Technique with Mining Frequent Item Sets Algorithm and a Modified Header Table
在今天的世界中,有大量的数据广泛可用,因此需要将这些数据转化为有用的信息,即知识。这种对知识发现过程的需求导致了许多用于确定关联规则的算法的发展。这些算法面临的主要问题之一是候选集的生成。FP树算法是关联规则挖掘的首选算法之一,因为它给出关联规则而不产生候选集。但是在这个过程中,产生了大量的CP树,降低了效率。本文提出了一种改进的FP树算法,该算法通过修改头表、备用表和MFI算法来进行关联规则挖掘。该算法不使用候选集和CP树来生成频繁项集。
2015-04-27 cs.DB
LakeBench: Benchmarks for Data Discovery over Data Lakes
IBM Research(IBM研究院);Northeastern University(东北大学)
LakeBench 利用 CKAN、Socrata 和欧洲中央银行等公开数据源构建了面向可并集、可连接和子集关系的数据发现基准,并评估了 4 个公开表格基础模型,发现现有模型在该任务上仍有显著改进空间。
2023-07-09 cs.AI cs.DB
Pylon: Semantic Table Union Search in Data Lakes
数据存储库(如数据湖)的庞大规模和快速增长刺激了对数据发现的需求,以帮助分析师找到相关数据。这个问题已经变得具有挑战性,因为(i)用户通常不知道在巨大的数据存储库中存在什么数据集;以及(ii)通常缺乏统一的数据模型来捕获来自不同来源的异构数据集之间的相互关系。在这项工作中,我们解决了一类重要的发现需求:找到可合并的表。任务是在数据湖中找到可以与给定查询表联合的表。挑战在于识别可合并的列,即使它们以不同的方式表示。在本文中,我们提出了一个数据驱动的学习方法:具体来说,一个无监督的表示学习和嵌入检索任务。我们的关键思想是利用自监督对比学习来学习一个嵌入模型,该模型考虑到索引/搜索数据结构,并为具有语义相似值的列产生嵌入,同时将具有语义不相似值的列推开。然后,我们根据嵌入空间中组成列之间的相似性找到可合并的表。在一个真实的数据湖上,我们证明了我们的最佳性能模型在精度($16\% \uparrow$),召回率($17\% \uparrow $)和查询响应时间(7倍快)方面与最先进的模型相比有了显着的改进。
2023-01-13 cs.DB cs.IR
Into Summarization Techniques for IoT Data Discovery Routing
在本文中,我们考虑了非常大且规模不断增长的网络中的物联网数据发现问题。具体来说,我们深入研究了路由表汇总技术,以支持有效和节省空间的物联网数据发现路由。提出了基于字母、基于哈希和基于意义的摘要算法及其相应的编码方案。潜在的误导路由由于总结的问题也进行了调查。随后,我们分析了何时进行总结的策略,以平衡路由表压缩率和引起误导路由的机会之间的权衡。为了进行实验研究,我们从各种物联网数据库中收集了10万个物联网数据流作为输入数据集。实验结果表明,我们的总结解决方案可以减少路由表的大小由20至30倍,增加2-5%的延迟时,与同类的对等发现路由算法相比,没有总结。此外,我们的方法在延迟和流量方面优于基于DHT的方法2到6倍。
2021-07-21 cs.DB cs.DC cs.IR
TEmBed-T: A Multi-Dimensional Benchmark for Table-Level Embeddings
Technical University of Darmstadt(达姆施塔特工业大学);DFKI(德国人工智能研究中心)
研究表格级嵌入,通过扩展TEmBed进行系统评估,捕捉下游有效性所需属性。对TEmBed模型池实证研究发现无单一模型在所有任务中皆优,证明表格级嵌入质量不能仅用检索衡量。
2026-07-28 cs.DB cs.LG
EasyTUS: A Comprehensive Framework for Fast and Accurate Table Union Search across Data Lakes
RPTU Kaiserslautern-Landau(莱茵兰-普法尔茨技术大学凯泽斯劳滕-兰道校区)
本文提出 EasyTUS 框架,利用大型语言模型通过表序列化、表表示和向量搜索三步实现跨数据湖的高效表并集搜索,并引入 TUSBench 基准,实验证明其在 MAP、数据准备和查询处理速度上均显著优于现有方法。
2025-11-04 cs.DB
Interactive Data Exploration with Smart Drill-Down
我们提出了{ \em智能钻取},一个操作符交互式地探索关系表,发现和总结“有趣”的元组组。每组元组由{ \em规则}描述。例如,规则$(a, b, \star, 1000)$告诉我们,有一千个元组的值$a$在第一列,$b$在第二列(以及第三列中的任何值)。智能下钻为分析师提供了一个规则列表,这些规则一起描述了表的有趣方面。分析师可以定制兴趣的定义,并可以交互式地对现有规则应用智能下钻,以探索表的这一部分。我们证明,底层的优化问题是{ \sc NP-硬},并描述了一种算法,用于找到近似最优的规则列表显示时,用户使用智能钻取,和一个动态的采样方案,有效地与大型表进行交互。最后,我们在我们的实验原型上对真实数据集进行实验,以证明智能钻取的有用性并研究我们算法的性能。
2016-12-19 cs.DB
Dataset-On-Demand: Automatic View Search and Presentation for Data Discovery
当识别出数据集组合的正确视图时,许多数据问题就得到了解决。找到这样的视图是一个挑战,因为在现代组织中,许多表分布在许多数据库、数据湖和云存储中。查找相关的表格并确定如何将它们组合起来是一个困难而耗时的过程,这妨碍了用户的生产力。在本文中,我们描述了按需数据集(DoD),这是一个允许用户指定他们想要的视图模式并让系统为他们查找视图的系统。对于许多底层数据源,任何给定查询的结果视图的数量都很高,选择正确的视图对用户来说是一项繁重的负担。DoD使用一种新的方法4C来减少用户的视图选择空间。4C将视图分为4类:兼容视图完全相同,包含视图呈现包含关系,互补视图是可合并的,矛盾视图具有指示视图之间根本差异的不兼容值。这4个类允许不同的表示策略,以减少用户必须考虑的视图总数。我们评估国防部感兴趣的两个关键指标:它的能力,以减少选择空间的大小,和端到端的性能。DoD在几分钟内找到所有视图,并将呈现给用户的视图数量减少2 - 10倍。
2019-11-26 cs.DB
EcoTable: Cost-effective Table Integration in Data Lakes for Natural Language Queries
University of Arizona(亚利桑那大学);Kuaishou Technology(快手科技);Beijing Institute of Technology(北京理工大学)
针对数据湖中表格格式多样导致ETL困难的问题,提出EcoTable框架,利用LLM的语义理解和复杂推理能力,通过图结构搜索和轻量级模型降低LLM调用成本,在4个基准数据集上准确率提升30%以上,成本降低5倍。
2026-08-04 cs.DB
Cross Modal Data Discovery over Structured and Unstructured Data Lakes
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);Amazon Web Services, Germany(亚马逊云科技德国分部)
针对数据湖中结构化与非结构化数据关联发现难、现有方法可扩展性差且易破坏表结构等问题,提出 CMDL 系统,在保留表结构属性的同时支持跨模态数据发现。
2023-07-16 cs.AI cs.DB
Model Joins: Enabling Analytics Over Joins of Absent Big Tables
University of Warwick(华威大学)
这项工作的动机是两个关键事实。首先,人们非常希望能够学习和执行知识发现和分析(LKD)任务,而无需访问原始数据表。这可能是由于组织发现管理和维护不断增长的表越来越令人沮丧和昂贵,或者出于隐私原因。因此,可以从原始数据中开发紧凑的模型,并代替表格使用。其次,LKD任务通常在一个(可能非常大的)表上执行,该表本身是连接单独的(可能非常大的)关系表的结果。但是,当单独的要连接的表不存在时,如何才能做到这一点呢?在这里,我们提出了以下基本问题:Q1:如何才能一个“连接模型”(缺席/删除)表或“连接模型与其他表”的方式,使LKD就好像它是在实际的原始表的连接执行?Q2:什么是最好的选择?Q3:由于模型连接是实际数据连接的近似,如何评估模型连接结果的质量?这项工作提出了一个框架,模型连接,解决这些挑战。该框架集成并连接缺席表的每个表模型,并生成统一且独立的样本,该样本是实际原始数据连接的统一且独立的样本的高质量近似。这种近似源于模型,而不是模型连接框架。通过Model Join得到的样本可以用于执行LKD下游任务,如近似查询处理、分类、聚类、回归、关联规则挖掘、可视化等。据我们所知,这是第一个与此议程和解决方案相关的工作。TPC-DS数据和合成数据的详细实验展示了模型连接的有用性。
2022-06-21 cs.DB cs.LG
Sato: Contextual Semantic Type Detection in Tables
UMASS Amherst(马萨诸塞大学阿默斯特分校);Megagon Labs(Megagon实验室);The HEINEKEN Company(喜力公司)
检测关系表中数据列的语义类型对于各种数据准备和信息检索任务(诸如数据清理、模式匹配、数据发现和语义搜索)是重要的。然而,现有的检测方法要么表现不佳的脏数据,只支持有限数量的语义类型,未能纳入列的表上下文或依赖于大样本大小的训练数据。我们介绍了Sato,一个混合机器学习模型来自动检测表中列的语义类型,利用来自上下文的信号以及列值。Sato将在大规模表格语料库上训练的深度学习模型与主题建模和结构化预测相结合,分别实现了0.925和0.735的支持加权和宏观平均F1得分,大大超过了最先进的性能。我们广泛地分析了Sato的整体性能和每种类型的性能,讨论了各个建模组件以及特征类别如何对其性能做出贡献。
2020-06-03 cs.CL cs.DB cs.LG
Something's Fishy In The Data Lake: A Critical Re-evaluation of Table Union Search Benchmarks
Sorbonne Université, CNRS, LIP6(索邦大学、法国国家科学研究中心、LIP6)
本文指出现有表联合搜索(TUS)基准存在使简单基线反超复杂方法的局限性,无法有效衡量语义理解增益,并提出未来基准的必要标准以实现更可靠的评估。
2025-05-28 cs.AI cs.CL cs.DB
Conceptual Schema Inference for Tabular Datasets using Large Language Models
针对异构表格数据源,提出两种基于大语言模型的方法(GeSI和EmSI),分别利用生成式和嵌入技术从列标题和单元格值中自动推断概念模式,包括实体类型、属性和类型间关系。
2026-05-25 cs.DB
Generating Preview Tables for Entity Graphs
用户正在为许多应用程序挖掘大量异构的实体图。考虑到来自许多来源的丰富数据集以及它们通常缺乏的信息,为特定需求选择实体图是具有挑战性的。我们提出的方法来产生预览表紧凑的实体图中的重要实体类型和关系的介绍。预览表帮助用户快速粗略地预览数据。它们可以显示在有限的显示空间中,供用户浏览和探索,然后再决定花费时间和资源来获取和调查完整的数据集。我们制定了几个优化问题,寻找最高分数的预览,根据直观的善良措施,在各种约束条件下的预览大小和预览表之间的距离。距离约束下的优化问题是NP难的。我们设计了一个动态规划算法和Apriori风格的算法来寻找最佳的预览。实验结果、与相关工作的比较以及用户研究都证明了评分方法的准确性和发现算法的有效性。
2016-05-04 cs.DB cs.IR
CORNET: Learning Table Formatting Rules By Example
Microsoft(微软);Microsoft Research(微软研究院)
电子表格广泛用于表格操作和演示。这些表格的样式格式对于表示和分析都是一个重要的属性。因此,流行的电子表格软件(如Excel)支持基于规则自动格式化表格。不幸的是,编写这样的格式化规则对于用户来说可能是具有挑战性的,因为它需要底层规则语言和数据逻辑的知识。我们提出了CORNET,一个系统,解决了新的问题,自动学习这种格式的规则,从用户的例子中格式化的细胞的形式。CORNET从归纳编程的进步中获得灵感,并将符号规则枚举与神经排序器相结合,以学习条件格式规则。为了激励和评估我们的方法,我们从超过180万个真实语料库中提取了超过45万个唯一格式规则的表格。由于我们是第一个引入条件格式,我们比较CORNET广泛的符号和神经基线适应相关领域。我们的研究结果表明,CORNET准确地学习规则在不同的评估设置。此外,我们表明,CORNET发现较短的规则比那些用户写的,并发现用户手动格式化的电子表格中的规则。
2022-12-05 cs.AI cs.DB cs.SE
Hippasus: Accurate and Cost-Efficient Feature Augmentation over Relational Tables
Athena Research Center(阿提卡研究中心)
Hippasus通过结合统计信号和语义推理,高效提升关系数据机器学习任务中的特征增强效果。
2026-11-13 cs.DB cs.LG
Correlation Sketches for Approximate Join-Correlation Queries
本文提出连接-相关性查询以支持关系数据增强,并设计了一种草图索引方法和多种评分策略,高效发现可连接且相关的数据列,实验证明其具有高准确率和高质量排序。
2021-04-07 cs.DB cs.DS cs.IR
ModelTables: A Corpus of Tables about Models
University of Waterloo(滑铁卢大学);University Waterloo(滑铁卢大学)
ModelTables是一个大规模结构化数据基准,用于评估模型和表格的相关性,通过表格搜索展示了改进语义检索和结构化知识组织的潜力。
2025-12-18 cs.AI cs.DB cs.IR
Conceptual Schema Inference for Tabular Datasets using Large Language Models
The University of Manchester(曼彻斯特大学)
本文提出两种基于大型语言模型的方法,从原始表格中自动推断概念模式,包括实体类型、属性和类型间关系,以解决异构表格数据的一致性问题。
2026-05-25 cs.AI cs.DB
Rethinking Tabular Data Understanding with Large Language Models
UC San Diego(加州大学圣迭戈分校);USC(南加州大学);UC Davis(加州大学戴维斯分校)
本研究探讨LLMs在表格数据理解上的鲁棒性、文本与符号推理的比较,并提出结构归一化及混合自一致性聚合方法,在WIKITABLEQUESTIONS上达到73.6%的SOTA准确率。
2023-12-27 cs.AI cs.CL cs.DB
Humboldt: Metadata-Driven Extensible Data Discovery
Humboldt框架通过解耦元数据源与UI实现,基于声明性规范自动生成交互式数据发现界面,解决元数据更新导致UI重复开发的问题,提升可扩展性。
2024-08-20 cs.DB cs.HC
Semantic Labeling Using a Deep Contextualized Language Model
Lehigh University(利哈伊大学);Nokia Bell Labs(诺基亚贝尔实验室)
为数据表的列值自动生成模式标签具有许多数据科学应用,例如模式匹配、数据发现和链接。例如,自动提取的缺少标题的表可以由预测的模式标签填充,这大大减少了人工工作。此外,预测标签可以减少多个数据表中不一致名称的影响。了解列值和上下文信息之间的联系是一个重要但被忽视的方面,因为以前提出的方法独立地处理每个列。在本文中,我们提出了一个上下文感知的语义标记方法,同时使用列值和上下文。我们的新方法是基于语义标签的新设置,在这里我们顺序预测缺少标题的输入表的标签。我们使用预训练的上下文化语言模型BERT来合并每个数据列的值和上下文,该模型在多个自然语言处理任务中取得了显着改进。据我们所知,我们是第一个成功地应用BERT来解决语义标记任务。我们使用来自不同领域的两个真实世界的数据集来评估我们的方法,并且我们证明了在最先进的基于特征的方法的评估指标方面的实质性改进。
2020-10-30 cs.DB cs.IR cs.LG
Fast Discovery of Inclusion Dependencies with Desbordante
Saint-Petersburg State University(圣彼得堡国立大学);Universe Data
该研究针对包含依赖发现的计算成本问题,在开源数据探查器Desbordante中实现两种算法并优化,使Spider提速5倍、Faida提速8倍,解决了现有研究忽略实现层面的问题。
2026-08-04 cs.AI cs.DB cs.DC
Taxonomy Inference for Tabular Data Using Large Language Models
The University of Manchester(曼彻斯特大学)
本文提出EmTT和GeTT两种基于大型语言模型的方法,用于表格数据的分类法推断,通过嵌入和迭代提示构建实体类型层次,实验证明与真值高度一致。
2025-03-25 cs.AI cs.CL cs.DB