Joint Management and Analysis of Textual Documents and Tabular Data within the AUDAL Data Lake
2010年，数据湖的概念作为数据仓库的替代方案出现，用于大数据管理。数据湖遵循schema-on-read方法，提供丰富而灵活的分析。然而，尽管在工业界和学术界都很流行，但数据湖的概念仍在成熟，数据湖设计的方法论方法仍然很少。因此，我们引入了一种新的方法来设计一个数据湖，并提出了一个广泛的元数据系统，以激活更丰富的功能比通常支持的数据湖方法。我们在AUDAL数据湖中实现了我们的方法，在那里我们联合利用文本文档和表格数据，与文献中通常在数据湖中处理的结构化和/或半结构化数据相比。此外，我们还通过利用元数据来激活数据检索和内容分析（包括Text-OLAP和SQL查询）进行创新。最后，我们展示了我们的方法的可行性，一方面使用真实的用例，另一方面使用基准测试。
2021-09-03 cs.DB
Create Benchmarks for Data Lakes
本文提出了一种新的数据湖基准测试框架，用于评估不同数据湖实现的性能，涵盖多种数据类型和工作负载模型，通过实验验证其在商业和开源平台中的应用。
2026-01-27 cs.DB
ArchaeoDAL: A Data Lake for Archaeological Data Management and Analytics
随着卫星和无人机等新兴技术的出现，考古学家可以在大面积上收集数据。然而，很难及时处理这些数据。考古数据也有许多不同的格式（图像，文本，传感器数据），可以是结构化，半结构化和非结构化的。这种多样性使得数据难以有效地收集、存储、管理、搜索和分析。已经提出了一些方法，但它们都没有覆盖整个数据生命周期，也没有提供有效的数据管理系统。因此，我们建议使用数据湖来提供集中式数据存储来托管异构数据，以及用于数据质量检查，清理，转换和分析的工具。在本文中，我们提出了一个通用的，灵活的和完整的数据湖架构。我们的元数据管理系统利用goldMEDAL，这是目前可用的最完整的元数据模型。最后，我们详细介绍了这种架构致力于考古项目的具体实施。
2021-07-23 cs.DB
Benchmarking Data Lakes Featuring Structured and Unstructured Data with DLBench
在过去的几年里，数据湖的概念已经成为数据存储和分析的趋势。因此，已经提出了几种设计方案来构建数据湖系统。然而，这些建议很难评估，因为没有共同的标准来比较数据湖系统。因此，我们引入了DLBench，这是一个评估和比较支持文本和/或表格内容的数据湖实现的基准。更具体地说，我们提出了一个由文本和原始表格文档组成的数据模型，一个由一组各种任务组成的工作负载模型，以及一组基于性能的指标，所有这些都与数据湖的上下文相关。作为概念验证，我们使用DLBench来评估我们以前开发的开放源数据湖系统。
2021-10-04 cs.DB
LakeVilla: A Modular and Non-Invasive Toolbox for Lakehouse Transactions
LakeVilla是一个模块化、非侵入式工具箱，为Apache Iceberg和Delta Lake等开放表格式提供恢复、复杂事务和隔离，性能影响极小。
2025-10-17 cs.DB
Data Lakes for Digital Humanities
数字人文项目中的传统数据具有各种格式（结构化，半结构化，文本），需要大量转换（编码和标记，词干提取，词形化等）。进行管理和分析。为了完全掌握这个过程，我们建议使用数据湖作为数据孤岛和大数据多样性问题的解决方案。我们描述了我们目前与人文和社会科学研究人员密切合作运行的数据湖项目，并讨论了运行这些项目的经验教训。
2020-12-04 cs.DB
Minimally-Supervised Attribute Fusion for Data Lakes
聚合分析，例如比较不同产品类别的国家销售额与全球市场份额，通常会因为没有公共连接属性而变得复杂，例如，即使在将不同的数据从技术上摄取到一个公共数据湖中之后，也可以跨来自不同地理位置或零售连锁店的不同数据集进行分类。有时这是一个缺失数据的问题，而在其他情况下，它可能是固有的，例如，不同地理数据库中的记录可能实际上描述了不同的产品“SKU”，或者遵循不同的分类规范。记录链接技术可用于自动将不同数据源中的产品映射到一组通用的全局属性，从而实现执行联合聚合联接。传统的记录链接技术通常是无监督的，依赖于跨属性的文本相似性特征来估计匹配。在本文中，我们提出了一个集成模型结合最小的监督，使用贝叶斯网络模型与无监督的文本匹配自动化这样的“属性融合”。我们目前的结果，我们的方法对大量的现实生活中的数据，从市场研究的情况下，并与标准的记录匹配算法进行比较。最后，我们说明了如何使用机器学习的属性融合可以包括作为一个数据湖管理功能，特别是因为我们的方法还提供了匹配的置信度值，使人工干预，如果需要的话。
2017-01-04 cs.DB
Auto-Tag: Tagging-Data-By-Example in Data Lakes
Microsoft Corporation（微软公司）
随着数据湖在当今的大型企业中变得越来越流行，对数据资产进行标记或分类的需求日益增长（例如，文件和数据库）与附加元数据（例如，语义列类型），因为所推断的元数据可以实现一系列下游应用，如数据治理（例如，GDPR合规性）和数据集搜索。考虑到当今企业数据湖的规模庞大，拥有PB级的数据和数百万的数据资产，因此必须使用轻量级推理算法和最少的用户输入来“自动标记”数据资产。在这项工作中，我们开发了自动标记，语料库驱动的方法，自动数据标记的\textit{custom}数据类型在企业数据湖。使用自动标记，用户只需要提供\textit{one}示例列来演示要标记的所需数据类型。利用使用数据湖的轻量级扫描离线构建的索引结构，这类似于机器学习中的预训练，Auto-Tag可以推断出合适的数据模式，以交互速度最好地“描述”给定列的底层“域”，然后可以用于标记数据湖中相同"类型“的其他数据。自动标记方法可以适应自定义数据类型，并被证明是准确和有效的。自动标记的一部分作为基于云的数据治理和目录解决方案\textit{Azure Purview}中的"自定义分类“功能提供。
2021-12-11 cs.DB cs.LG
Metadata-driven Table Union Search: Leveraging Semantics for Restricted Access Data Integration
本文提出一种仅利用元数据实现受限访问数据表联合搜索的方法，达到81%准确率，优于现有基准，支持隐私敏感领域的安全数据发现。
2025-02-28 cs.DB
Semantic Data Management in Data Lakes
Hochschule Niederrhein University of Applied Sciences（下莱茵应用科学大学）；RWTH Aachen University（亚琛工业大学）；Fraunhofer Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所）
该研究针对数据湖易沦为数据沼泽的问题，聚焦语义数据管理技术，梳理相关方法并分类，对比最新研究进展，指出未来需深化大数据与语义网技术融合的挑战。
2023-10-23 cs.AI cs.CL cs.DB
AutoComp: Automated Data Compaction for Log-Structured Tables in Data Lakes
本文提出 AutoComp，一个面向现代数据湖的可扩展自动数据压缩框架，通过分析小文件激增的运营影响并集成 OpenHouse 控制平面，显著降低了文件数量并提升了查询性能，为未来多目标优化与数据布局优化提供了坚实基础。
2025-04-05 cs.DB
EasyTUS: A Comprehensive Framework for Fast and Accurate Table Union Search across Data Lakes
本文提出 EasyTUS 框架，利用大型语言模型通过表序列化、表表示和向量搜索三步实现跨数据湖的高效表并集搜索，并引入 TUSBench 基准，实验证明其在 MAP、数据准备和查询处理速度上均显著优于现有方法。
2025-11-04 cs.DB
An Agentic Approach to Metadata Reasoning
Google（谷歌）
本文提出元数据推理代理，通过检索候选表和自主咨询元数据，有效筛选数据源。在KramaBench和合成基准测试中，其在数据选择和避免低质量数据方面表现优异。
2026-10-23 cs.DB
Efficient and Effective Table-Centric Table Union Search in Data Lakes
Hong Kong Polytechnic University（香港理工大学）；The University of Hong Kong（香港大学）
本文提出TACTUS方法，通过表级语义建模和表优先搜索策略，提升数据湖中表联合搜索的效率与效果。
2026-03-18 cs.DB
The Past Still Matters: A Temporally-Valid Data Discovery System
针对现有数据发现忽略时间维度的问题，提出时间有效的数据发现系统，通过版本发现、时间谱系推断、变更日志合成和时间感知发现技术，奠定新型系统基础。
2025-10-15 cs.DB
Fuzzy Integration of Data Lake Tables
针对开放数据场景下等值全析取集成效果受限的问题，提出支持模糊匹配的扩展全析取方法，通过数据驱动方式实现近似连接，在不显著增加时间开销的同时提升了数据集集成效果。
2025-01-16 cs.DB cs.IR
Efficient Joinable Table Discovery in Data Lakes: A High-Dimensional Similarity-Based Approach
NEC Corporation（日本电气股份有限公司）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
本文提出PEXOSO框架，通过高维向量嵌入和相似性连接，结合枢轴过滤与分区技术，在数据湖中高效发现可连接表，识别更多有意义结果并支持数据增强。
2021-03-29 cs.AI cs.DB cs.IR
Evaluation of Semantic Metadata Pair Modelling Using Data Clustering
元数据为两个数据集之间的相关性的连接、阐述、检查和理解提供了一种媒介。元数据可以被丰富以计算不同分解数据集之间的连接的存在。为了做到这一点，第一个任务是获得域的通用元数据表示。这种表示缩小了元数据搜索空间。元数据搜索空间由属性、标签、语义内容、注释等组成以执行分类。现有技术限制了元数据带宽，即，用于匹配目的的操作集受到限制或限定。本研究的重点是生成一个映射函数称为同源，可以找到基于对分解数据集之间的属性的数学相关性。每一对都是使用现有的元数据和可用的元标签从所考虑的数据集之一设计的。在生成对之后，使用不同的对组合来构造样本。两个或多个对之间的相似性和相关性通过使用数据聚类技术来获得，以基于相似性指数从较小的组生成大的组。使用域划分器函数划分搜索空间，并使用相关性和标记作为主要概念创建较小的搜索空间。对于这项研究，最初的数据集仅限于文本信息。一旦生成了所有不相交的元集合，近似算法计算每个元集合的中心。这些中心服务于元指针的目的，即元域表示的集合。然后，每个指针可以基于内容（即元内容）加入集群。它还促进了跨功能域的可能同义词的处理。这可以使用元指针和图池来检查。
2018-09-12 cs.DB
Open Government Data Corpus for Table Search
针对现有表格搜索基准仅覆盖展示用表格、不适配大规模数据表的问题，研究者利用政府开放数据元数据构建首个大规模数据表搜索基准数据集，定义三类表关联搜索模式，支持关键词搜索基准构建，并给出传统与神经方法的基线结果。
2023-08-24 cs.DB
Experiversum: an Ecosystem for Curating and Enhancing Data-Driven Experimental Science
本文提出基于湖仓架构的 Experiversum 生态系统，通过迭代数据循环、元数据与协作决策记录支持探索性实验的策划和复现，并以多学科案例验证其提升研究透明度与稳健性的价值。
2025-09-30 cs.DB
The Science Data Lake: A Unified Open Infrastructure Integrating 293 Million Papers Across Eight Scholarly Sources with Embedding-Based Ontology Alignment
Hamburg University of Technology (TUHH)（汉堡工业大学）
科学数据湖通过整合29300万篇论文，利用嵌入本体对齐技术实现跨来源数据统一，提升学术数据整合与分析效率。
2026-03-03 cs.DB cs.DL cs.IR
DataLens: ML-Oriented Interactive Tabular Data Quality Dashboard
DataLens是一个面向机器学习的交互式表格数据质量仪表盘，通过集成数据剖析、错误检测与修复工具及用户在环模块，基于下游ML模型性能自动选择最佳清洗工具，并支持实验跟踪与数据版本控制，以提升数据质量与清洗管道的可复现性。
2025-01-28 cs.DB
ModelTables: A Corpus of Tables about Models
University of Waterloo（滑铁卢大学）；University Waterloo（滑铁卢大学）
ModelTables是一个大规模结构化数据基准，用于评估模型和表格的相关性，通过表格搜索展示了改进语义检索和结构化知识组织的潜力。
2025-12-18 cs.AI cs.DB cs.IR
VDMS: Efficient Big-Visual-Data Access for Machine Learning Workloads
Intel Labs（英特尔实验室）
我们引入了可视化数据管理系统（VDMS），它可以更快地访问大可视化数据并增加对可视化分析的支持。这是通过通过存储为图形的元数据搜索相关的视觉数据来实现的，并通过新的机器友好的存储格式实现对视觉数据的更快访问。VDMS与现有的大规模照片服务、视频流和文本大数据管理系统不同，因为其主要关注于支持使用视觉数据（图像、视频和特征向量）的机器学习和数据分析管道，将这些视为第一类实体。我们描述了如何通过其用户友好的界面使用VDMS，以及它如何通过机器学习管道处理医学图像来实现丰富而高效的视觉分析。我们展示了在可比设置的复杂查询中2倍的改进性能。
2018-12-11 cs.DB cs.LG
