Efficient Data Ingestion in Cloud-based architecture: a Data Engineering Design Pattern Proposal
本文针对云架构中高容量数据摄取效率不足的问题，提出一种融合增量与全量刷新的元数据驱动数据摄取设计模式，并在 Azure 上验证其显著缩短摄取时间。
2025-04-08 cs.DB
OpenHealth Lake: Designing and testing a data lakehouse platform for health applications
Stellenbosch University（斯泰伦博斯大学）；Center for Epidemic Response and Innovation（疫情响应与创新中心）；Center for the AIDS Programme of Research in South Africa (CAPRISA)（南非艾滋病研究计划中心（CAPRISA））；KwaZulu-Natal Research Innovation and Sequencing Platform (KRISP)（夸祖鲁-纳塔尔研究与创新测序平台（KRISP））；Department of Global Health, University of Washington（华盛顿大学全球健康系）；Instituto Tecnológico de Aeronáutica (ITA)（巴西航空技术学院（ITA））
本文提出了一种基于数据湖架构、数据联邦和FAIR原则的数据管理原型平台OpenHealth Lake，通过用户研究证明其可用性和实用性，展示了其在健康领域中的适应性、可扩展性和可重复性。
2026-05-19 cs.DB cs.SE
EasyTUS: A Comprehensive Framework for Fast and Accurate Table Union Search across Data Lakes
RPTU Kaiserslautern-Landau（莱茵兰-普法尔茨技术大学凯泽斯劳滕-兰道校区）
本文提出 EasyTUS 框架，利用大型语言模型通过表序列化、表表示和向量搜索三步实现跨数据湖的高效表并集搜索，并引入 TUSBench 基准，实验证明其在 MAP、数据准备和查询处理速度上均显著优于现有方法。
2025-11-04 cs.DB
Model Lakes
Northeastern University（东北大学）
针对深度学习模型查找、理解与差异化困难且缺乏完备可靠文档的问题，受数据湖启发提出model lakes概念，形式化其核心任务并探讨大模型管理研究挑战与可应用的数据管理技术。
2025-02-21 cs.AI cs.DB
A Big Data Lake for Multilevel Streaming Analytics
School of Computing（计算机学院）
大型组织正在寻求创建新的体系结构和可扩展的平台，以有效地应对过去罕见的数据爆炸性带来的数据管理挑战。这些数据管理挑战主要由来自多种格式的各种源的高速流数据的可用性提出。数据范式的变化导致了新的数据分析和管理架构的出现。本文主要研究在一种称为数据湖的数据存储架构中以原始格式存储大容量、高速度和多样化的数据。首先，我们提出了我们的研究传统的数据仓库在处理最近的数据范式的变化的局限性。我们讨论并比较了可用于开发数据湖的不同开源和商业平台。然后，我们描述了我们的端到端数据湖设计和实施方法，使用Hadoop分布式文件系统（HDFS）在Hadoop数据平台（HDP）。最后，我们提出了一个现实世界的数据湖开发用例，用于数据流摄取，分段和多级流分析，它结合了结构化和非结构化数据。这项研究可以作为个人或组织计划为他们的用例实施数据湖解决方案的指南。
2020-09-25 cs.AI cs.DB cs.DC
Semantic Data Management in Data Lakes
Hochschule Niederrhein University of Applied Sciences（下莱茵应用科学大学）；RWTH Aachen University（亚琛工业大学）；Fraunhofer Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所）
该研究针对数据湖易沦为数据沼泽的问题，聚焦语义数据管理技术，梳理相关方法并分类，对比最新研究进展，指出未来需深化大数据与语义网技术融合的挑战。
2023-10-23 cs.AI cs.CL cs.DB
Data Lakes: A Survey of Functions and Systems
本文综述了数据湖的发展、架构与系统，根据功能对现有方法和系统进行分类，为设计、实现和部署数据湖提供技术参考并探讨未来研究挑战。
2023-02-17 cs.DB
GraphAr: An Efficient Storage Scheme for Graph Data in Data Lakes
本文提出 GraphAr 存储方案，通过创新的数据组织与编解码技术增强数据湖对 LPG 模型图数据的管理能力，在邻居检索、标签过滤和端到端工作负载上分别实现 4452 倍、14.8 倍和 29.5 倍加速。
2024-09-25 cs.DB
Dataversifying Natural Sciences: Pioneering a Data Lake Architecture for Curated Data-Centric Experiments in Life \& Earth Sciences
本文提出一种面向生命与地球科学的数据湖架构，通过形式化与半自动工具及“研究中循环”方法论实现多源数据精细策展，以提升数据管理能力并支持地震检测、生物多样性等复杂科学问题的可复现研究。
2024-03-29 cs.DB
DatAasee -- A Metadata-Lake as Metadata Catalog for a Virtual Data-Lake
University and State Library of Münster, University of Münster（明斯特大学州立图书馆，明斯特大学）
本文提出一种基于数据湖的元数据湖架构，用于管理分布式数据源的元数据，并展示了一个概念验证实现及其评估。
2026-05-07 cs.DB cs.DL cs.IR
DomainNet: Homograph Detection for Data Lake Disambiguation
现代数据湖在用于描述数据的词汇表中具有很大的异构性。我们研究了数据湖中的消歧问题：我们如何确定一个数据值在湖中出现不止一次是否具有不同的含义，因此是一个同形异义词？虽然单词和实体消歧已经在计算语言学，数据管理和数据科学中得到了很好的研究，但我们表明，数据湖为数据值的消歧提供了一个新的机会，因为它们代表了一个庞大的互联值网络。我们调查在何种程度上，这个网络可以用来消除歧义的价值观。DomainNet在一个二分图上使用网络中心性度量，该图的节点表示值和属性，以在没有监督的情况下确定一个值是否是一个同形异义词。一个彻底的实验评估表明，国家的最先进的技术领域发现不能重新利用我们的方法竞争。具体来说，使用域发现方法来识别同形词具有38%的准确率和召回率，而我们的方法在合成基准上的准确率和召回率为69%。通过将网络中心性度量应用于我们的图表示，DomainNet实现了同形词和具有独特含义的数据值之间的良好分离。在一个真实的数据湖上，我们的前200名精度为89%。
2021-03-23 cs.DB
Reproducible data science over data lakes: replayable data pipelines with Bauplan and Nessie
Bauplan；NYU Tandon（纽约大学坦登工程学院）
本文针对数据湖上数据工作负载难以复现的问题，提出结合Bauplan系统与开源目录Nessie，将计算与数据管理解耦，在对象存储上实现时间旅行和分支语义，仅需几条CLI命令即可实现完整的数据管道可复现性。
2024-04-21 cs.DB cs.LG
Smart caching in a Data Lake for High Energy Physics analysis
University of Perugia（佩鲁贾大学）；INFN - Sezione di Perugia（意大利国家核物理研究所佩鲁贾分部）；University "G. D’Annunzio" of Chieti-Pescara（基耶蒂-佩斯卡拉“加布里埃尔·邓南遮”大学）
几乎所有科学领域的数据生产都在持续增长，这在数据访问和管理方面提出了新的问题，特别是在最终用户以及他们可以访问的资源分布在世界各地的情况下。这项工作的重点是在高能物理领域的背景下，在数据湖基础设施的数据缓存管理。我们提出了一种基于强化学习技术的自主方法，以改善用户体验并控制基础设施的维护成本。
2022-08-02 cs.DB cs.DC cs.LG
Minimally-Supervised Attribute Fusion for Data Lakes
聚合分析，例如比较不同产品类别的国家销售额与全球市场份额，通常会因为没有公共连接属性而变得复杂，例如，即使在将不同的数据从技术上摄取到一个公共数据湖中之后，也可以跨来自不同地理位置或零售连锁店的不同数据集进行分类。有时这是一个缺失数据的问题，而在其他情况下，它可能是固有的，例如，不同地理数据库中的记录可能实际上描述了不同的产品“SKU”，或者遵循不同的分类规范。记录链接技术可用于自动将不同数据源中的产品映射到一组通用的全局属性，从而实现执行联合聚合联接。传统的记录链接技术通常是无监督的，依赖于跨属性的文本相似性特征来估计匹配。在本文中，我们提出了一个集成模型结合最小的监督，使用贝叶斯网络模型与无监督的文本匹配自动化这样的“属性融合”。我们目前的结果，我们的方法对大量的现实生活中的数据，从市场研究的情况下，并与标准的记录匹配算法进行比较。最后，我们说明了如何使用机器学习的属性融合可以包括作为一个数据湖管理功能，特别是因为我们的方法还提供了匹配的置信度值，使人工干预，如果需要的话。
2017-01-04 cs.DB
XTable in Action: Seamless Interoperability in Data Lakes
本文提出全向转换器 XTable，解决数据湖中 Delta Lake、Hudi、Iceberg 等表格式之间的互操作难题，实现一次写入、任意格式读取，并通过真实场景验证其有效性。
2024-01-17 cs.DB
AutoComp: Automated Data Compaction for Log-Structured Tables in Data Lakes
本文提出 AutoComp，一个面向现代数据湖的可扩展自动数据压缩框架，通过分析小文件激增的运营影响并集成 OpenHouse 控制平面，显著降低了文件数量并提升了查询性能，为未来多目标优化与数据布局优化提供了坚实基础。
2025-04-05 cs.DB
Metadata Management for AI-Augmented Data Workflows
本文提出了TableVault元数据治理框架，通过记录摄入事件、追踪操作状态及链接执行参数到数据来源，结合数据库保证与面向AI的设计，解决AI增强数据工作流中的元数据捕获难题，支持混合管道的透明性与可复现性。
2025-08-09 cs.DB
Digital Asset Data Lakehouse. The concept based on a blockchain research center
针对数字资产与区块链领域数据管理的需求，本文提出结合云原生与微服务的数字资产数据湖仓架构，解决可扩展性等问题，经真实场景验证有效，为相关研究与数字经济提供支撑。
2025-03-20 cs.CR cs.DB cs.SY
LakeHopper: Knowledge-Aware Adaptation of Column Type Annotators across Data Lakes
HKUST（香港科技大学）；HKUST(GZ)（香港科技大学（广州））；Ant Group（蚂蚁集团）；HKUST(GZ)/HKUST（香港科技大学（广州）/香港科技大学）
LakeHopper通过模型适应技术，有效解决跨数据湖列类型注释问题，减少注释需求并提升适应性。
2026-08-25 cs.CL cs.DB
Delta Tensor: Efficient Vector and Tensor Storage in Delta Lake
Oracle Labs（甲骨文实验室）
针对AI/ML应用增长带来的向量张量高效存储需求，提出将数组数据库多维存储策略与稀疏编码应用于Delta Lake的湖仓张量存储方案，时空效率均优于传统序列化，为云原生AI/ML数据管理优化提供参考。
2024-05-13 cs.DB cs.DC cs.LG
LEDD: Large Language Model-Empowered Data Discovery in Data Lakes
Tsinghua University（清华大学）；Xiamen University（厦门大学）
针对数据湖表语义搜索与层级目录生成难题，提出可扩展端到端系统LEDD，依托大语言模型实现语义表搜索与带语义的层级全局目录生成，提供Python接口便于算法扩展替换，可支撑下游多类任务。
2025-02-21 cs.AI cs.DB
Scalable Fault-Tolerant Data Feeds in AsterixDB
在本文中，我们描述了AsterixDB中对数据提要摄取的支持，AsterixDB是一个开源大数据管理系统（BDMS），为存储和分析大量半结构化数据提供了一个平台。数据馈送是一种机制，用于使连续数据从外部源到达BDMS，并增量填充持久化数据集和关联索引。持久化和索引“快速流动”的高速数据（并支持即席分析查询）的需求无处不在。然而，当今的技术水平涉及将不同的系统“粘合”在一起。AsterixDB的不同之处在于它是一个统一的系统，对数据馈送摄取具有“本机支持”。我们讨论的挑战，并提出了在AsterixDB中建模和管理数据馈送所涉及的概念的设计和实现。AsterixDB允许自定义运行时行为、资源分配和提供的健壮性程度，以适应希望使用摄取数据的高级应用程序。初步实验评估的可扩展性和容错的AsterixDB数据源设施的报告。
2014-05-07 cs.DB
Accelerating Fresh Data Exploration with Fluid ETL Pipelines
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出流式ETL管道，通过动态利用空闲资源加速新鲜数据探索，解决传统ETL处理延迟高、资源消耗大的问题，验证了其在实际数据集中的有效性。
2026-03-23 cs.DB
DynaHash: Efficient Data Rebalancing in Apache AsterixDB (Extended Version)
并行无共享数据管理系统已被广泛用于利用机器集群进行高效和可扩展的数据处理。当一个集群需要动态扩展时，数据必须有效地重新平衡。理想情况下，数据重新平衡应该具有较低的数据移动成本，在数据摄取和查询处理上产生较小的开销，并且在线执行而不会阻塞读取或写入。然而，现有的并行数据管理系统在有效的数据重新平衡方面经常表现出某些限制和缺点。在本文中，我们介绍了DynaHash，一个有效的数据再平衡方法，结合了动态桶与可扩展的散列无共享的OLAP风格的并行数据管理系统。DynaHash使用可扩展哈希将记录动态地划分为多个桶，以较小的重新平衡成本实现良好的负载平衡。我们进一步描述了一个端到端的实现所提出的方法内的开源大数据管理系统（BDMS），Apache AsterixDB。我们的实现利用了LSM树的错位更新设计来有效地重新平衡数据，而不会阻塞并发读取和写入。最后，我们使用TPC-H基准测试进行了性能实验，并在这里展示了结果。
2021-05-24 cs.DB
Scalable Model-Based Management of Correlated Dimensional Time Series in ModelarDB+
为了监测关键基础设施，越来越多地使用高频率采样的高质量传感器。然而，由于它们产生大量数据，因此只存储简单的聚合。这将消除可能表明问题的异常值和波动。作为一种补救措施，我们提出了一个基于模型的方法来管理时间序列的维度，利用相关性和时间序列之间。具体来说，我们建议压缩组相关的时间序列使用一组可扩展的模型类型在用户定义的误差范围内（可能为零）。我们将这一类新的基于模型的压缩方法命名为时间序列多模型组压缩（MMGC）。我们提出了第一个MMGC方法GOLEMM和扩展模型类型压缩时间序列组。我们提出了原语用户有效地定义不同大小的数据集的组，并基于这些，一个自动分组方法，只使用时间序列维度。我们提出了执行简单和多维聚合查询模型的算法。最后，我们实现了我们的方法在时间序列管理系统（TSMS）ModelarDB（ModelarDB+）。我们的评估表明，与广泛使用的格式相比，ModelarDB+由于高压缩而提供了高达13.7倍的摄取速度，由于GOLEMM的自适应性而提供了113倍的压缩速度，使用模型的聚合速度快了630倍，并且接近线性可扩展性。它也是可扩展的，并支持在线查询处理。
2021-06-29 cs.DB
AFrame: Extending DataFrames for Large-Scale Modern Data Analysis (Extended Version)
分析当今日益庞大的数据量，可能包括自定义机器学习模型的应用，需要利用分布式框架。这可能会给“普通”数据科学家带来严重的生产力问题。本文介绍了AFrame，这是一种由大数据管理系统提供支持的新的可扩展数据分析包，它扩展了数据科学家熟悉的DataFrame操作，以有效地对大规模托管数据进行操作。AFrame作为Apache AsterixDB之上的一层实现，通过一个并行的、无共享的大型数据管理系统透明地扩展DataFrame操作和机器学习模型调用的执行。AFrame递增地构造SQL++查询，并利用AsterixDB的半结构化数据管理设施、用户定义函数支持和实时数据摄取支持。为了评估所提出的方法，本文还介绍了一个可扩展的微基准用于评估DataFrame的性能，在单节点和分布式设置，通过收集代表性的分析操作。本文介绍了AFrame的体系结构，描述了AsterixDB的底层功能，有效地支持现代数据分析操作，并利用建议的基准评估和比较的性能和支持大规模数据分析提供的替代DataFrame库。
2019-08-19 cs.DB
Enhancing Real-Time Master Data Management with Complex Match and Merge Algorithms
本文提出一种结合确定性匹配、模糊匹配和机器学习冲突解决的实时主数据管理算法，基于PySpark和Databricks实现，在千万级记录上达到90%准确率并将延迟改善30%。
2024-10-08 cs.DB cs.DC
Industrial Big Data Analytics: Challenges, Methodologies, and Applications
虽然制造商一直在从各种系统、设备和应用程序中生成高度分布式的数据，但数据管理和数据分析方面的许多挑战需要新的方法来支持大数据时代。工业大数据分析面临的这些挑战是从制造空间的海量异构数据源中进行实时分析和决策。本调查介绍了工业大数据分析的新概念、方法和应用场景，这些新概念、方法和应用场景可以显著提高解决问题的速度和准确性。工业大数据分析的五个重要方法论：1）高度分布式工业数据摄取：从各种系统、设备和应用中访问和集成高度分布式的数据源; 2）工业大数据存储库：应对采样偏差和异构性，存储不同的数据格式和结构; 3）大规模工业数据管理：组织海量异构数据并共享大规模数据; 4）工业数据分析：跟踪数据来源，从数据生成到数据准备; 5）工业数据治理：确保数据的可信性、完整性和安全性。对于每个阶段，我们介绍了目前在工业界和学术界的研究，并讨论了挑战和潜在的解决方案。我们还研究了工业大数据的典型应用，包括智能工厂可视性、机器车队、能源管理、主动维护和及时供应链。这些讨论旨在了解工业大数据的价值。最后，本调查的结论与开放的问题和未来的方向进行了讨论。
2018-12-13 cs.DB
Bridging the Omics Divide: A Modular Relational Approach to Multi-Layer Biological Data Management
University of Malta（马耳他大学）
提出vcf2db样本中心关系框架，通过模块化建模和共享样本标识符实现多组学数据集成检索，在选择性查询上优于现有工具。
2026-10-02 cs.DB
DataLens: ML-Oriented Interactive Tabular Data Quality Dashboard
DataLens是一个面向机器学习的交互式表格数据质量仪表盘，通过集成数据剖析、错误检测与修复工具及用户在环模块，基于下游ML模型性能自动选择最佳清洗工具，并支持实验跟踪与数据版本控制，以提升数据质量与清洗管道的可复现性。
2025-01-28 cs.DB
AgenticER: the next frontier in Entity Resolution
National and Kapodistrian University of Athens（雅典国立卡波季斯特里大学）；Université Paris Cité（巴黎西岱大学）
针对现有实体解析被动范式无法适配异构流数据场景的问题，提出Agentic ER新范式，将其建模为自主智能体的序列决策过程，构建参考架构并明确研究挑战，开拓数据管理与智能体交叉的新研究方向。
2026-07-31 cs.DB
Propuesta de implementación de catálogos federados para espacios de datos sobre DataHub
本文提出一种混合方案，将 DataHub 作为联邦目录进行大规模元数据管理，并通过自定义 Rainbow Catalog 管理 ODRL 策略，实现数据集查询与访问使用策略的关联，从而支持 Dataspace Protocol 下的协商与传输流程，保障数据空间的主权和信任。
2025-09-22 cs.DB cs.ET
Snowpark: Performant, Secure, User-Friendly Data Engineering and AI/ML Next To Your Data
本文介绍Snowpark，一个基于Snowflake弹性架构的托管解决方案，通过安全沙箱、包缓存和智能调度等创新，实现高性能、安全且易用的数据工程与AI/ML处理。
2025-08-07 cs.DB cs.DC
BatteryLake: Agentic, Physics-Grounded Curation of Heterogeneous Battery Aging Data and Benchmarking
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
针对公共电池老化数据集应用受限问题，BatteryLake通过大语言模型智能体、人在回路机制等，将原始数据转化为可用于基准测试的资产，还发布了含多种任务和协议的开放基准测试。
2026-07-14 cs.AI cs.DB
