Joint Management and Analysis of Textual Documents and Tabular Data within the AUDAL Data Lake
2010年，数据湖的概念作为数据仓库的替代方案出现，用于大数据管理。数据湖遵循schema-on-read方法，提供丰富而灵活的分析。然而，尽管在工业界和学术界都很流行，但数据湖的概念仍在成熟，数据湖设计的方法论方法仍然很少。因此，我们引入了一种新的方法来设计一个数据湖，并提出了一个广泛的元数据系统，以激活更丰富的功能比通常支持的数据湖方法。我们在AUDAL数据湖中实现了我们的方法，在那里我们联合利用文本文档和表格数据，与文献中通常在数据湖中处理的结构化和/或半结构化数据相比。此外，我们还通过利用元数据来激活数据检索和内容分析（包括Text-OLAP和SQL查询）进行创新。最后，我们展示了我们的方法的可行性，一方面使用真实的用例，另一方面使用基准测试。
2021-09-03 cs.DB
Create Benchmarks for Data Lakes
本文提出了一种新的数据湖基准测试框架，用于评估不同数据湖实现的性能，涵盖多种数据类型和工作负载模型，通过实验验证其在商业和开源平台中的应用。
2026-01-27 cs.DB
ArchaeoDAL: A Data Lake for Archaeological Data Management and Analytics
随着卫星和无人机等新兴技术的出现，考古学家可以在大面积上收集数据。然而，很难及时处理这些数据。考古数据也有许多不同的格式（图像，文本，传感器数据），可以是结构化，半结构化和非结构化的。这种多样性使得数据难以有效地收集、存储、管理、搜索和分析。已经提出了一些方法，但它们都没有覆盖整个数据生命周期，也没有提供有效的数据管理系统。因此，我们建议使用数据湖来提供集中式数据存储来托管异构数据，以及用于数据质量检查，清理，转换和分析的工具。在本文中，我们提出了一个通用的，灵活的和完整的数据湖架构。我们的元数据管理系统利用goldMEDAL，这是目前可用的最完整的元数据模型。最后，我们详细介绍了这种架构致力于考古项目的具体实施。
2021-07-23 cs.DB
LakeVilla: A Modular and Non-Invasive Toolbox for Lakehouse Transactions
Technical University of Munich（慕尼黑工业大学）；SAP SE（SAP公司）
LakeVilla是一个模块化、非侵入式工具箱，为Apache Iceberg和Delta Lake等开放表格式提供恢复、复杂事务和隔离，性能影响极小。
2025-10-17 cs.DB
Auto-Tag: Tagging-Data-By-Example in Data Lakes
Microsoft Corporation（微软公司）
随着数据湖在当今的大型企业中变得越来越流行，对数据资产进行标记或分类的需求日益增长（例如，文件和数据库）与附加元数据（例如，语义列类型），因为所推断的元数据可以实现一系列下游应用，如数据治理（例如，GDPR合规性）和数据集搜索。考虑到当今企业数据湖的规模庞大，拥有PB级的数据和数百万的数据资产，因此必须使用轻量级推理算法和最少的用户输入来“自动标记”数据资产。在这项工作中，我们开发了自动标记，语料库驱动的方法，自动数据标记的\textit{custom}数据类型在企业数据湖。使用自动标记，用户只需要提供\textit{one}示例列来演示要标记的所需数据类型。利用使用数据湖的轻量级扫描离线构建的索引结构，这类似于机器学习中的预训练，Auto-Tag可以推断出合适的数据模式，以交互速度最好地“描述”给定列的底层“域”，然后可以用于标记数据湖中相同"类型“的其他数据。自动标记方法可以适应自定义数据类型，并被证明是准确和有效的。自动标记的一部分作为基于云的数据治理和目录解决方案\textit{Azure Purview}中的"自定义分类“功能提供。
2021-12-11 cs.DB cs.LG
Metadata-driven Table Union Search: Leveraging Semantics for Restricted Access Data Integration
本文提出一种仅利用元数据实现受限访问数据表联合搜索的方法，达到81%准确率，优于现有基准，支持隐私敏感领域的安全数据发现。
2025-02-28 cs.DB
Semantic Data Management in Data Lakes
Hochschule Niederrhein University of Applied Sciences（下莱茵应用科学大学）；RWTH Aachen University（亚琛工业大学）；Fraunhofer Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所）
该研究针对数据湖易沦为数据沼泽的问题，聚焦语义数据管理技术，梳理相关方法并分类，对比最新研究进展，指出未来需深化大数据与语义网技术融合的挑战。
2023-10-23 cs.AI cs.CL cs.DB
AutoComp: Automated Data Compaction for Log-Structured Tables in Data Lakes
本文提出 AutoComp，一个面向现代数据湖的可扩展自动数据压缩框架，通过分析小文件激增的运营影响并集成 OpenHouse 控制平面，显著降低了文件数量并提升了查询性能，为未来多目标优化与数据布局优化提供了坚实基础。
2025-04-05 cs.DB
EasyTUS: A Comprehensive Framework for Fast and Accurate Table Union Search across Data Lakes
RPTU Kaiserslautern-Landau（莱茵兰-普法尔茨技术大学凯泽斯劳滕-兰道校区）
本文提出 EasyTUS 框架，利用大型语言模型通过表序列化、表表示和向量搜索三步实现跨数据湖的高效表并集搜索，并引入 TUSBench 基准，实验证明其在 MAP、数据准备和查询处理速度上均显著优于现有方法。
2025-11-04 cs.DB
An Agentic Approach to Metadata Reasoning
Google（谷歌）
本文提出元数据推理代理，通过检索候选表和自主咨询元数据，有效筛选数据源。在KramaBench和合成基准测试中，其在数据选择和避免低质量数据方面表现优异。
2026-10-23 cs.DB
Dataset Discovery in Data Lakes
数据分析将受益于越来越多的数据集的可用性，这些数据集的概念关系并不明确。收集后，这些数据集形成了一个数据湖，通过数据整理等过程，可以构建特定的目标数据集，从而实现增值分析。考虑到这种数据湖的潜在巨大性，问题是如何从湖中提取那些可能有助于争夺给定目标的数据集。我们将此称为数据湖中的数据集发现问题，本文提供了一个有效和高效的解决方案。我们的方法使用数据集中的值的特征来构建基于哈希的索引，将这些特征映射到统一的距离空间。这使得有可能定义特征之间的相似性距离，并将这些距离作为相关性w.r.t.目标表。如果是后者（以及示例元组），我们的方法将返回湖中最相关的表。我们提供了一个详细的描述的方法和报告的经验结果的两种形式的相关性（unionability和joinability）比较他们与以前的工作，在适当的情况下，并显示显着改善所有的精度，召回率，目标覆盖率，索引和发现时间。
2020-11-20 cs.DB
MQRLD: A Multimodal Data Retrieval Platform with Query-aware Feature Representation and Learned Index Based on Data Lake
本文提出基于数据湖的多模态检索平台MQRLD，通过查询感知特征表示、统一混合查询接口和高维学习型索引，显著提升复杂环境下多模态数据检索效率。
2025-02-08 cs.DB
Evaluating Joinable Column Discovery Approaches for Context-Aware Search
IBM Research（IBM 研究院）；Northeastern University（东北大学）
本文针对企业数据分析中可连接列发现的方法选择问题，在7个基准上评估了多类方法及6项标准的效果，发现不同数据场景下最优标准有差异，集成方法性能更优，并给出了方法选择指南。
2025-10-28 cs.DB
Efficient and Effective Table-Centric Table Union Search in Data Lakes
Hong Kong Polytechnic University（香港理工大学）；The University of Hong Kong（香港大学）
本文提出TACTUS方法，通过表级语义建模和表优先搜索策略，提升数据湖中表联合搜索的效率与效果。
2026-03-18 cs.DB
Minimally-Supervised Attribute Fusion for Data Lakes
聚合分析，例如比较不同产品类别的国家销售额与全球市场份额，通常会因为没有公共连接属性而变得复杂，例如，即使在将不同的数据从技术上摄取到一个公共数据湖中之后，也可以跨来自不同地理位置或零售连锁店的不同数据集进行分类。有时这是一个缺失数据的问题，而在其他情况下，它可能是固有的，例如，不同地理数据库中的记录可能实际上描述了不同的产品“SKU”，或者遵循不同的分类规范。记录链接技术可用于自动将不同数据源中的产品映射到一组通用的全局属性，从而实现执行联合聚合联接。传统的记录链接技术通常是无监督的，依赖于跨属性的文本相似性特征来估计匹配。在本文中，我们提出了一个集成模型结合最小的监督，使用贝叶斯网络模型与无监督的文本匹配自动化这样的“属性融合”。我们目前的结果，我们的方法对大量的现实生活中的数据，从市场研究的情况下，并与标准的记录匹配算法进行比较。最后，我们说明了如何使用机器学习的属性融合可以包括作为一个数据湖管理功能，特别是因为我们的方法还提供了匹配的置信度值，使人工干预，如果需要的话。
2017-01-04 cs.DB
Semantics-aware Dataset Discovery from Data Lakes with Contextualized Column-based Representation Learning
从数据湖中发现数据集在许多实际应用场景中至关重要。在本文中，我们提出了Starmie，这是一个用于从数据湖中发现数据集的端到端框架（以表联合搜索为主要用例）。我们提出的框架具有对比学习方法，以完全无监督的方式从预训练的语言模型中训练列编码器。Starmie的列编码器通过利用对比多列预训练策略来捕获表中丰富的上下文语义信息。我们利用列嵌入向量之间的余弦相似性作为列unionability得分，并提出了一个过滤和验证框架，允许探索各种设计选择，以计算相应的两个表之间的unionability得分。在真实表基准数据集上的实证评估结果表明，Starmie在MAP和召回率方面比最知名的解决方案在表联合搜索的有效性上高出6.8。此外，Starmie是第一个采用HNSW（分层可导航小世界）索引来加速表联合搜索的查询处理的公司，该索引提供了比线性扫描基线高3,000倍的性能增益，比LSH索引（最先进的数据湖索引解决方案）高400倍的性能增益。
2023-01-15 cs.DB
The Past Still Matters: A Temporally-Valid Data Discovery System
Humboldt-Universität zu Berlin（柏林洪堡大学）
针对现有数据发现忽略时间维度的问题，提出时间有效的数据发现系统，通过版本发现、时间谱系推断、变更日志合成和时间感知发现技术，奠定新型系统基础。
2025-10-15 cs.DB
Fuzzy Integration of Data Lake Tables
针对开放数据场景下等值全析取集成效果受限的问题，提出支持模糊匹配的扩展全析取方法，通过数据驱动方式实现近似连接，在不显著增加时间开销的同时提升了数据集集成效果。
2025-01-16 cs.DB cs.IR
Retrieve, Merge, Predict: Augmenting Tables with Data Lakes
Inria Saclay（法国萨克利实验室）；Dataiku（Dataiku公司）；EURECOM Biot（EURECOM生物研究所）
针对数据湖的机器学习表格增强需求，研究了检索、合并、预测三步的不同方法，基于两个数据湖实验验证了候选表检索的重要性、简单合并的高效性与树模型的抗噪性，提供可复现开源环境以推动相关研究。
2025-05-19 cs.DB cs.LG
DIADA: Automatic Data Composition in Data Lakes
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
针对数据湖中属性组合依赖人工且缺乏通用性的问题，提出DIADA系统，通过多元依赖性标准挖掘有意义关系，提供低噪声属性子集，惠及多样化下游任务。
2026-10-02 cs.DB
The Science Data Lake: A Unified Open Infrastructure Integrating 293 Million Papers Across Eight Scholarly Sources with Embedding-Based Ontology Alignment
Hamburg University of Technology (TUHH)（汉堡工业大学）
科学数据湖通过整合29300万篇论文，利用嵌入本体对齐技术实现跨来源数据统一，提升学术数据整合与分析效率。
2026-03-03 cs.DB cs.DL cs.IR
Spatial Parquet: A Column File Format for Geospatial Data Lakes [Extended Version]
现代数据分析应用程序更喜欢使用列存储格式，因为它们通过编码和压缩提高了存储效率。Parquet是最流行的列数据存储文件格式，它提供了几个开箱即用的好处。然而，Parquet并不支持地理空间数据。本文介绍了Spatial Parquet，一个有效支持地理空间数据的Parquet扩展。Spatial Parquet继承了Parquet对非空间数据的所有优点，例如丰富的数据类型、压缩和列/行过滤。此外，它还增加了三个新功能，以适应地理空间数据。首先，它引入了一种地理空间数据类型，可以将所有标准空间数据类型编码为与Parquet兼容的列格式。其次，它增加了一种新的无损和高效的编码方法，称为FP-delta，该方法可定制为有效地存储以浮点格式存储的地理空间坐标。第三，它添加了一个轻量级的空间索引，允许读者跳过文件的非相关部分，以提高阅读效率。在大规模真实数据上的实验表明，SpatialParquet可以将数据大小减少三分之一，即使没有压缩。压缩可以进一步减小存储大小。此外，当应用轻量级索引时，Spatial Parquet可以将阅读时间减少两个数量级。这个初始原型可以打开新的研究方向，以进一步改善列格式的地理空间数据存储。
2022-09-05 cs.DB
LEDD: Large Language Model-Empowered Data Discovery in Data Lakes
Tsinghua University（清华大学）；Xiamen University（厦门大学）
针对数据湖表语义搜索与层级目录生成难题，提出可扩展端到端系统LEDD，依托大语言模型实现语义表搜索与带语义的层级全局目录生成，提供Python接口便于算法扩展替换，可支撑下游多类任务。
2025-02-21 cs.AI cs.DB
Auto-Validate: Unsupervised Data Validation Using Data-Domain Patterns Inferred from Data Lakes
University of Michigan（密歇根大学）；Microsoft Research（微软研究院）
复杂的数据管道在BI报告和ML建模等各种应用中越来越常见。这些流水线经常定期重现（例如，每天或每周），因为BI报告需要刷新，ML模型需要重新训练。然而，据广泛报道，在复杂的生产管道中，上游数据馈送可能会以意想不到的方式发生变化，导致下游应用程序静默中断，解决成本高昂。因此，数据验证已成为一个重要的话题，谷歌和亚马逊最近的努力证明了这一点，其目标是在管道中出现数据质量问题时尽早发现这些问题。然而，我们在生产数据上的经验表明，在字符串值数据上，这些现有的方法会产生很高的假阳性率，并且经常需要人为干预。在这项工作中，我们开发了一种语料库驱动的方法来自动验证\emph{machine-generated data}，通过推断合适的数据验证“模式”，准确地描述了底层数据域，最大限度地减少误报，同时最大限度地提高数据质量问题。使用来自真实数据湖的生产数据进行的评估表明，Auto-Doppler比现有方法有效得多。该技术的一部分作为Microsoft Azure Purview中的自动标记功能提供。
2021-04-13 cs.AI cs.DB
DataLens: ML-Oriented Interactive Tabular Data Quality Dashboard
DataLens是一个面向机器学习的交互式表格数据质量仪表盘，通过集成数据剖析、错误检测与修复工具及用户在环模块，基于下游ML模型性能自动选择最佳清洗工具，并支持实验跟踪与数据版本控制，以提升数据质量与清洗管道的可复现性。
2025-01-28 cs.DB
ModelTables: A Corpus of Tables about Models
University of Waterloo（滑铁卢大学）；University Waterloo（滑铁卢大学）
ModelTables是一个大规模结构化数据基准，用于评估模型和表格的相关性，通过表格搜索展示了改进语义检索和结构化知识组织的潜力。
2025-12-18 cs.AI cs.DB cs.IR
KramaBench: A Benchmark for AI Systems on Data-to-Insight Pipelines over Data Lakes
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Independent（独立研究者）；University of Arizona（亚利桑那大学）
KramaBench是一个用于评估AI系统在数据湖到洞察流程中端到端能力的基准测试，包含104个挑战，测试AI在自动化编排数据任务方面的表现。
2026-03-05 cs.AI cs.DB cs.MA
Rule Based Metadata Extraction Framework from Academic Articles
科技论文的题名、摘要、关键词或索引词、正文、结论、参考文献等元数据在科技数据库、学术期刊和数字图书馆中对学术数据的收集、管理和存储起着决定性的作用。从科学论文中准确地提取这些类型的数据对于研究人员和图书馆员组织和检索重要的科学信息至关重要。研究社会网络系统和学术数字图书馆系统提供学术数据提取、组织和检索服务。大多数这些类型的服务都不是免费或开源的。它们还存在一些性能问题，并且在可以上传到提取系统的PDF（便携式文档格式）文件数量方面存在提取限制。本文提出了一个完全免费和开源的基于Java的高性能元数据抽取框架。该框架的提取速度比现有的元数据提取系统快9-10倍。它也是灵活的，因为它允许上传无限数量的PDF文件。在该方法中，论文标题提取的布局特征，字体和大小的文本特征。其他元数据字段，如摘要、正文、关键字、结论和参考文献，使用固定的规则集从PDF文件中提取。提取的元数据存储在Oracle数据库和XML（可扩展置标语言）文件中。该框架可用于数字图书馆、在线期刊、在线和离线科学数据库、政府研究机构和研究中心的科学收藏。
2018-07-24 cs.DB cs.IR
Data Leaves: Scenario-oriented Metadata for Data Federative Innovation
The University of Tokyo（东京大学）；Trust Architecture, Inc.（Trust Architecture 公司）；Mie University（三重大学）
提出了一种用于表示每个数据集的摘要信息的方法，该方法面向尝试使用或组合数据集来创建有价值的产品、服务和商业模式的数据用户的创新思想和通信的帮助。与用于经由共享属性（即，变量），该方法通过事件，情况或动作连接数据集，这些事件，情况或动作应该在现实世界中处于活动状态。这种方法反映了每个元数据对特征概念的适应性的考虑，特征概念是期望从数据中获取的信息或知识的抽象;因此，数据的用户获得符合实际业务和现实生活要求的实用知识，以及人工智能技术对数据的实际应用的基础。
2022-08-07 cs.AI cs.DB
The Phish, The Spam, and The Valid: Generating Feature-Rich Emails for Benchmarking LLMs
Department of Informatics University of Oslo Oslo, Norway（信息学院奥斯陆大学奥斯陆挪威）
本文提出PhishFuzzer框架，通过将真实邮件输入大语言模型生成23100种结构一致的电子邮件变体，提供严格三类标签和元数据，评估LLM在不同设置下的可靠性与检测准确性。
2026-03-20 cs.AI cs.CR cs.DB
