Query-driven Data Completeness Management (PhD Thesis)
关于数据完整性的知识本质上是数据支持的决策。在这篇论文中，我们提出了一个基于元数据的数据库完整性评估框架。我们讨论了如何表达有关数据完整性的信息，以及如何使用这些信息来得出有关查询答案的完整性的结论。特别是，我们介绍了形式主义的完整性说明部分关系数据库。然后，我们提出的技术，这样的语句和语句之间的推理查询答案的完整性，并展示了如何将技术扩展到包含空值的数据库。我们表明，关系数据库的框架可以转移到RDF数据，类似的框架也可以应用于空间数据。我们还讨论了如何完整性信息可以验证过程中，并介绍了一个数据感知的过程模型，允许这种验证。
2015-04-01 cs.DB
Fast Data Management with Distributed Streaming SQL
为了在当今数据驱动的经济中保持竞争力，大大小小的企业都在转向流处理平台，以在数据到达时处理大容量、高速度和多样化的数据流（快速数据）。由当今流行的系统提供的低级编程模型缺乏对变化的响应：增强需要伴随着大量周转时间的代码变化。尽管分布式SQL查询引擎已经可用于大数据，但我们仍然缺乏对分布式流处理系统中基于SQL的流查询功能的支持。在本白皮书中，我们确定了一组要求，并提出了一个标准的基于SQL的流查询模型，用于管理所谓的快速数据。
2015-11-12 cs.DB
GRAPHITE: An Extensible Graph Traversal Framework for Relational Database Management Systems
图遍历是各种图算法和面向图的查询的基本要素。为了实现最佳的查询性能，它们需要在数据库管理系统的核心实现，该系统旨在存储，操作和查询图形数据。越来越多的现代业务应用程序需要本机图查询和处理能力，用于对存储在关系数据库管理系统中的数据进行企业关键操作。在本文中，我们提出了一个可扩展的图形遍历框架（GRAPHITE）作为中央图形处理组件的一个共同的存储引擎内的关系数据库管理系统。我们研究了图的拓扑结构对图遍历的执行时间的影响，并推导出两个专门用于不同的图拓扑结构和遍历查询的遍历算法实现。我们对GRAPHITE进行了大量的实验，用于各种真实世界的图形数据集和输入配置。我们的实验表明，所提出的遍历算法不同的输入配置的两个数量级，因此证明需要一个通用的框架，以有效地处理图形遍历广泛的不同的图形拓扑结构和类型的查询。最后，我们强调，我们的遍历实现的查询性能是有竞争力的两个原生图数据库管理系统。
2014-12-19 cs.DB
Columnar Storage and List-based Processing for Graph Database Management Systems
我们重新审视面向列的存储和查询处理技术的背景下，当代图形数据库管理系统（GDBMS）。与面向列的RDBMS类似，GDBMS支持读取繁重的分析工作负载，但与传统的分析工作负载相比，这些工作负载具有根本不同的数据访问模式。首先，我们推导出一套必要的优化存储和查询处理器的GDBMS的访问模式的基础上。然后，我们提出了设计的列存储，压缩和查询处理技术的基础上，这些desiderata。除了显示从列式RDBMS的现有技术的直接集成，我们还提出了新的GDBMS的优化。这些包括一个新的基于列表的查询处理器，它避免了传统的基于块的处理器在多对多连接下的昂贵的数据副本，一个新的数据结构，我们称之为单索引的边缘属性页和一个伴随的边缘ID计划，以及一个新的应用Jacobson的位向量索引压缩NULL值和空列表。我们将我们的技术集成到GraphflowDB内存GDBMS中。通过大量的实验，我们证明了我们的技术的可扩展性和查询性能的好处。
2021-10-27 cs.DB
Comparing graph data science libraries for querying and analysing datasets: towards data science queries on graphs
本文提出了一个实验研究，比较分析工具与管理系统的查询和分析图形。我们的实验比较了经典的图导航操作查询，其中分析工具和管理系统采用不同的执行策略。然后，我们的实验通过应用于图的聚类和预测模型来解决数据科学管道问题。在这种实验中，我们强调的兴趣结合这两种方法和依赖于并行执行平台执行查询的兴趣。
2022-08-20 cs.DB
Towards Efficient Path Query on Social Network with Hybrid RDF Management
资源描述框架（RDF）模型的可扩展性和灵活性使其非常适合表示在线社交网络（OSN）。OSN中的一个基本操作是查找关系链，例如k-Hop朋友。SPARQL中的属性路径查询可以表示这种类型的操作，但它的实现受到性能问题考虑到不断增长的数据规模和复杂性的OSN.本文提出了一种基于主存/磁盘的混合RDF数据管理框架，有效的属性路径查询.在这个混合框架中，我们实现了一个高效的内存中代数运算符的属性路径查询使用图遍历，并估计成本的操作，以配合现有的成本为基础的优化。在基准数据集和真实数据集上的实验表明，该方法能够在数据负载开销和在线查询性能之间取得较好的折衷。
2014-06-10 cs.DB cs.SI
PolyFrame: A Retargetable Query-based Approach to Scaling DataFrames (Extended Version)
在过去的几年里，数据科学领域一直在快速发展，因为各种企业都采用了统计和机器学习技术来增强他们的决策和应用。将数据分析（可能包括自定义机器学习模型的应用）扩展到大量数据需要利用分布式框架。这可能会给数据分析师带来严重的技术挑战，并降低他们的生产力。AFrame是一个Python数据分析库，作为Apache AsterixDB之上的一层实现，通过整合数据科学家的开发环境并通过大数据管理系统透明地扩展分析操作的评估来解决这些问题。虽然AFrame能够利用数据管理设施（例如，索引和查询优化），并允许用户与非常大量的数据进行交互，初始版本只生成SQL++查询，并只对Apache AsterixDB进行操作。在这项工作中，我们描述了一个新的设计，重新定位AFrame的增量查询形成其他基于查询的数据库系统，以及，使其更灵活的部署对其他数据管理系统与组合查询语言。
2021-02-10 cs.DB
Towards a unified query language for provenance and versioning
组织和团队从各种来源收集和获取数据，例如社交互动，金融交易，传感器数据和基因组测序仪。组织中的不同团队以及团队中的不同数据科学家对提取各种见解感兴趣，这些见解需要以不同的方式组合和协作分析数据集。DataHub是一个旨在为这种场景提供健壮的版本控制和出处管理的系统。为了真正对协作数据科学有用，还需要能够以统一的方式指定对版本和出处信息的查询和分析任务。在本文中，我们提出了一个初步的设计，我们的查询语言，称为VQuel，其目的是支持这种统一的查询这两种类型的信息，以及分析的中间和最终结果。我们还讨论了一些关键的语言设计和实现挑战。
2015-06-16 cs.DB
Scalable Enforcement of Fine Grained Access Control Policies in Relational Database Management Systems
针对现有关系型数据库细粒度访问控制策略执行扩展性差的问题，提出中间件Sieve，结合查询重写与缓存优化策略执行，实验证明其可大幅提升策略评估性能，适配动态工作负载。
2025-11-18 cs.DB
Survey of Vector Database Management Systems
本文综述了向量数据库管理系统，指出向量数据管理的五大障碍，系统梳理了查询处理、存储索引及查询优化的新技术，并对比了原生与扩展型VDBMSs，指出了未来研究方向。
2023-10-21 cs.DB
Efficient Cloud-edge Collaborative Approaches to SPARQL Queries over Large RDF graphs
Hunan University（湖南大学）；University of Waterloo（滑铁卢大学）；Peking University（北京大学）
本文提出一种高效云边协同方法，通过引入模式诱导子图和混合整数非线性规划模型，优化大规模RDF图SPARQL查询的性能。
2026-01-26 cs.DB
WiSeDB: A Learning-based Workload Management Advisor for Cloud Databases
云数据库的数据库管理必须以满足应用程序性能目标的方式处理资源配置，查询放置和查询调度任务，同时最大限度地降低使用云资源的成本。现有的解决方案孤立地处理这三个挑战，并且只考虑特定类型的性能目标。在本文中，我们介绍了WiSeDB，一个基于学习的框架，用于生成定制的应用程序定义的性能指标和工作负载特性的整体工作负载管理解决方案。我们的方法依赖于监督学习训练成本效益的决策树模型，用于指导查询放置，调度和资源配置决策。应用程序可以将这些模型用于传入工作负载的批处理和在线调度。我们的系统的一个独特功能是，它可以调整其离线模型，以更严格/更宽松的性能目标，最小的重新训练。这使我们能够提出替代的工作负载管理策略，解决云服务的典型性能与成本权衡。实验结果表明，我们的方法具有非常低的训练开销，同时为各种性能目标和工作负载特性提供低成本的策略。
2016-04-30 cs.DB
Collaborative Management of Benchmark Instances and their Attributes
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
实验评估是算法设计过程中不可或缺的一部分。公开可用的基准实例被广泛用于评估SAT求解中的方法。对于结果的解释和算法组合的设计，它们的属性是至关重要的。通过我们对基准实例标识符的规范，捕获基准实例及其属性的相互关系被大大简化。因此，我们的工具通过提供按属性管理和检索基准实例的方法来提高两者的可用性，反之亦然。像这样，它方便了SAT实验的设计和分析以及结果的交流。
2021-09-09 cs.AI cs.DB cs.LO
WikiDBGraph: A Data Management Benchmark Suite for Collaborative Learning over Database Silos
National University of Singapore（新加坡国立大学）
WikiDBGraph通过构建大规模现实数据库数据集，评估协作学习在处理现实数据孤岛中的有效性与局限性，揭示了现有方法在实际部署中的不足。
2026-03-09 cs.DB cs.LG
FRAG: Toward Federated Vector Database Management for Collaborative and Secure Retrieval-Augmented Generation
本文提出FRAG范式，支持互不信任的各方在加密的分布式向量数据库上协作执行近似k近邻搜索，采用单密钥同态加密协议与乘法缓存技术，在确保IND-CPA安全性的同时维持了与传统非联邦RAG系统相当的性能。
2024-10-17 cs.CR cs.DB
Version Reconciliation for Collaborative Databases
我们提出了MindPalace，一个有效的协作数据管理的版本化数据库的原型。MindPalace支持离线协作，用户可以独立工作，而无需实时通信。MindPalace的核心是离线协作的关键步骤：协调由同步数据操作产生的不同分支。我们正式的自动合并的概念，在这种情况下，分支可以不需要人为干预的协调，并提出了一个有效的框架，以确定两个分支是否是自动合并，并确定特定的记录手动和解。
2021-10-05 cs.DB
Decentralized Collaborative Knowledge Management using Git
万维网和语义网被设计为分布式服务和数据集的网络。Web的分布式特性为数据交换带来了多种协作可能性。通常采用的RDF数据协作解决方案是集中式的（例如SPARQL端点和wiki系统）。但是为了支持分布式协作，需要一个系统，该系统支持数据集的发散，带来合并发散状态的可能性，并且允许分布式数据集被同步。在本文中，我们介绍了Quit Store，它受到了成功的Git系统的启发并建立在其基础上。该方法是基于分布式数据集的演化和合并的正式表达。在协作策展过程中，系统自动对RDF数据集进行版本化并跟踪出处信息。它还支持分支、合并和同步分布式RDF数据集。合并过程由RDF数据的特定合并策略来保护。最后，我们使用我们的参考实现，以显示整体良好的性能，并展示了系统的实际可用性。
2018-10-16 cs.DB cs.DC cs.MA
GRBench: A Comprehensive Benchmark Evaluation for Graph-relational Data Management
School of Computer Science, Wuhan University（武汉大学计算机学院）；Big Data Institute, Wuhan University（武汉大学大数据研究院）
GRBench是面向图关系数据管理的综合基准，基于真实数据集构建，可评估系统架构并分析设计权衡，为相关系统优化提供指导。
2026-09-01 cs.DB
The Linked Data Benchmark Council (LDBC): Driving competition and collaboration in the graph data management space
本文介绍了LDBC组织及其过去十年的工作，其通过设计涵盖代表性图数据管理问题的标准基准以实现系统性能可比并促进竞争，同时开展图模式与查询语言研究。
2024-08-30 cs.DB
Multi-SQL: An extensible multi-model data query language
大数据管理的目标是建立数据中心，全面支持多种模型和类型的数据。因此，多模型数据库系统是一个很有前途的体系结构，用于建立这样的多模型数据存储。对于一个集成的数据中心来说，一个统一而灵活的查询语言是非常必要的。本文提出了一种可扩展的实用查询语言--Multi-SQL，从多模型数据协同处理的角度出发，实现了多模型数据的统一管理。据我们所知，Multi-SQL是第一种基于各种数据模型的查询语言。Multi-SQL还可以扩展以适应更复杂的场景，因为它可以灵活地支持其他数据模型。此外，我们还对Multi-SQL的核心特性进行了形式化的语义定义，包括多模型定义、多模型过滤、多模型连接等。此外，我们还提出了一种两级查询实现方法，充分利用底层引擎的现有查询优化能力，大大提高了查询执行效率。
2021-05-16 cs.DB
Enhancing Productivity in Database Management Through AI: A Three-Phase Approach for Database
本文提出一种三阶段人工智能驱动框架，通过自然语言转SQL翻译、查询执行分析及洞察生成简化PostgreSQL系统管理，提升效率、降低延迟并支持非技术用户，在多业务场景验证有效。
2025-04-12 cs.DB
PETGraphDB: A Property Evolution Temporal Graph Data Management System
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
PETGraphDB是一种专为属性演化时间图设计的数据管理系统，通过高效的存储和锁定机制，显著提升存储效率和查询性能。
2025-12-05 cs.DB
DBTuneSuite: An Extendible Experimental Suite to Test the Time Performance of Multi-layer Tuning Options on Database Management Systems
New York University（纽约大学）
DBTuneSuite 通过实验评估不同数据库系统在多种查询负载和调优选项下的性能表现，为数据库系统优化提供实用参考。
2026-01-27 cs.DB
From Blind Search to Memory-Aware Evolution: Efficient DBMS Tuning via Collaborative Diagnosis and Utility-Aware Retrieval
Renmin University of China（中国人民大学）；PingCAP（平凯星辰）
针对多组件DBMS调优难题，EvoTune框架通过协作诊断定位高影响子空间，引入效用感知检索策略，将调优反馈组织成层次化内存，无需LLM微调，实验证明其性能优于现有基线，能快速提升查询性能。
2026-07-21 cs.DB
Revisiting Runtime Dynamic Optimization for Join Queries in Big Data Management Systems
查询优化对于大型数据管理系统来说仍然是一个悬而未决的问题。传统的优化器是基于成本的，并使用中间结果基数的统计估计来分配成本并选择最佳方案。然而，这样的估计往往会变得不太准确，因为过滤条件所造成的未检测到的相关性多个谓词本地到一个单一的数据集，谓词与查询参数，或谓词涉及用户定义的功能（UDF）。因此，传统的查询优化器往往会忽略或错误计算这些设置，从而导致次优的执行计划。考虑到当今的数据量，次优计划很快就会变得非常低效。在这项工作中，我们重新审视了运行时动态优化的旧思想，并将其应用于一个无共享的分布式数据库系统AsterixDB。优化分阶段运行（重新优化点），首先执行单个数据集本地的所有谓词。从每个阶段创建的中间结果用于重新优化剩余的查询。这种重新优化方法避免了不准确的中间结果基数估计，从而导致更好的执行计划。虽然它引入了实现这些中间结果的开销，但我们的实验表明，这种开销相对较小，并且考虑到优化的好处，这是可以接受的代价。事实上，我们的实验评估表明，与当前默认的AsterixDB计划以及基于静态成本的优化（即基于初始数据集统计数据）和其他最先进的方法相比，运行时动态优化可以产生更好的执行计划。
2020-10-05 cs.DB
AgenticScholar: Agentic Data Management with Pipeline Orchestration for Scholarly Corpora
The University of Queensland（昆士兰大学）；Tsinghua University（清华大学）；Wuhan University（武汉大学）
本文提出AgenticScholar系统，整合结构化知识表示层、LLM中心混合查询规划层和统一执行层，实现多模态学术数据的端到端推理，有效提升学术数据管理的效率和可解释性。
2026-03-14 cs.DB
Towards Eco-friendly Database Management Systems
数据库管理系统（DBMS）在很大程度上忽略了管理查询处理期间消耗的能量的任务。经济和环境因素都要求DBMS密切关注能源消耗。在本文中，我们处理这个问题，考虑能源消耗作为一个一流的性能目标，在DBMS中的查询处理。我们提出了两个具体的技术，可以使用的DBMS直接管理的能源消耗。这两种技术都以能耗换取性能。第一种技术称为PVC，利用现代处理器在较低处理器电压和频率下执行的能力。第二种技术称为QED，使用查询聚合来利用工作负载中查询的常见组件。在一个商业数据库管理系统和MySQL上进行的实验表明，PVC可以使处理器能耗降低49%，而响应时间仅增加3%.在MySQL上，PVC可以减少20%的能耗，而响应时间损失仅为6%。对于简单的选择查询没有谓词重叠，我们表明，量子电动力学可以用来优雅地交易响应时间的能量，减少了54%的平均响应时间增加43%的能源消耗。在本文中，我们还强调了一些研究问题，在新兴领域的节能数据处理。
2009-09-09 cs.DB
INSTRUCT: Space-Efficient Structure for Indexing and Complete Query Management of String Databases
搜索引擎、词典和同义词词典存储以及其他文本挖掘应用的巨大扩展，与容易获得的扫描设备和光学字符识别工具的普及相结合，使得对于各种现代应用的大量文本数据库的有效存储、检索和管理成为必要。对于这样的应用程序，我们提出了一种新的数据结构，INFECT，有效地存储和管理的序列数据库。我们的结构使用位向量重用的存储空间，共同的三元组，因此，有一个非常低的内存需求。除了精确的字符串搜索操作之外，INCLUCT还通过迭代地检查三元组的存在来有效地处理前缀和后缀搜索查询。我们还提出了一个扩展的结构，以有效地处理子串搜索，虽然增加了空间的要求。这个扩展是很重要的，在上下文的trie为基础的解决方案，无法有效地处理这样的查询。我们进行了几个实验，描绘INDROCT优于现有的结构，近两个因素的空间需求方面，而查询时间更好。除了支持所有类型的查询（包括精确搜索、前缀/后缀搜索和子串搜索）之外，还能够处理字符串的插入和删除，这使得INCLECT成为一个完整的数据结构。
2012-07-03 cs.DB cs.DS
An introduction to Graph Data Management
图数据库是一种数据库，其中模式和/或实例的数据结构被建模为（标记的）（有向）图或其概括，并且其中查询由面向图的操作和类型构造器表示。在这篇文章中，我们介绍了图形数据库的基本概念，给出了它的主要发展的历史概述，并研究了实现它们的主要当前系统。
2017-12-29 cs.DB
ForkBase: Immutable, Tamper-evident Storage Substrate for Branchable Applications
数据协作活动通常需要系统的或基于协议的协调才能扩展。Git是协作编码的有效推动者，已经在世界各地无数项目中取得了成功。因此，将Git哲学应用于编码之外的一般数据协作是一种激励。我们称之为Git for data。然而，最初的Git设计以文件粒度处理数据，这对于许多数据库应用程序来说太粗了。我们认为，Git数据应该与数据库系统共同设计。为此，我们开发了ForkBase，使Git for data变得实用。ForkBase是一个分布式的、不可变的存储系统，用于数据版本管理和数据协同操作。在本演示中，我们展示了ForkBase如何极大地促进协作数据管理，以及其新颖的重复数据删除技术如何提高归档海量数据版本的存储效率。
2020-04-16 cs.DB
LLMs-Powered Accurate Extraction, Querying and Intelligent Management of Literature derived 2D Materials Data
Academy of Military Sciences（军事科学院）；Hebei University of Technology（河北工业大学）；Beihang University（北京航空航天大学）
本文提出基于大语言模型的文献数据提取与管理方法，提升二维材料数据的整合与利用效率。
2025-11-22 cond-mat.mtrl-sci cs.CL cs.DB
Time Series Management Systems: A Survey
随着部署更多的监测和自动化，时间序列数据的收集也在增加。这些部署的规模从位于家庭中的物联网（IoT）设备到高速产生大量数据的巨大分布式网络物理系统（CPS）。为了存储和分析这些大量的数据，已经开发了专门的时间序列管理系统（TSMS），以克服通用数据库管理系统（DBMS）用于时间序列管理的局限性。在本文中，我们提出了一个彻底的分析和分类的TSMSs开发通过学术或工业研究，并通过出版物记录。我们的分类是根据我们分析过程中观察到的架构组织成类别的。此外，我们还提供了每个系统的概述，重点关注驱动系统开发的动机用例，系统实现的时间序列存储和查询功能，系统组成的组件，以及每个系统在流处理和近似查询处理（AQP）方面的功能。最后，我们总结了该领域其他研究人员提出的研究方向，并提出了我们对下一代TSMS的愿景。
2017-10-03 cs.DB
Graph Data Management and Graph Machine Learning: Synergies and Opportunities
本文综述了图数据管理与图机器学习的协同作用，详细阐述了图数据管理如何通过数据清洗和高效向量管理提升图机器学习性能，以及图机器学习如何辅助知识图谱查询等数据管理任务，并提出了未来的研究方向。
2025-02-01 cs.DB
Challenges for Efficient Query Evaluation on Structured Probabilistic Data
概率数据的查询应答是一项重要的任务，但通常是棘手的。然而，最近已经提出了一种用于该问题的新方法，该方法基于输入数据库的结构分解，例如，树分解本文提出了一个设想的概率数据的数据库管理系统建立在这种结构化的方法。我们回顾了我们现有的和正在进行的关于这一主题的工作，并强调了许多仍有待解决的理论和实践挑战。
2016-07-19 cs.DB
Q-Graph: Preserving Query Locality in Multi-Query Graph Processing
正在兴起的以用户为中心的图形应用（诸如路线规划和个性化社会网络分析）已经引发了现代图形处理系统中的范式向多查询分析的转变，即，在共享图上并行处理多个图查询。这些应用程序在查询热点（如热门城市地区）周围生成动态数量的本地化查询。然而，现有的图形处理系统还没有针对这些属性进行定制：用于图形分区和同步管理的方法忽略了查询局部性和动态性，这导致了高查询延迟。为此，我们提出了系统Q-图的多查询图分析，认为查询局部性的三个层次上。(i)查询感知的图划分算法Q-cut最大化查询局部性，以减少通信开销。(ii)用于同步管理的方法，称为混合屏障同步，允许仅跨越分区的子集的本地查询的充分利用。(iii)这两种方法在运行时适应不断变化的查询工作负载，以保持和利用局部性。我们的实验表明，Q-cut减少平均查询延迟高达57%的静态查询无关的分区算法相比。
2018-05-30 cs.DB cs.DC
Blockchain-Based Privacy-Preserving Data Management
Department of Computer Science and Informatics, Fort Hays State University（霍兹海斯州立大学计算机科学与信息系）
针对数据提供者隐私偏好难以随数据使用动态更新的问题，本文提出基于区块链的方法，将私有数据与偏好及访问者耦合为隐私元组，构建关系数据库与区块链紧耦合框架，实现安全防篡改且查询高效的数据管理。
2026-11-03 cs.CR cs.DB
SPECIAL: Synopsis Assisted Secure Collaborative Analytics
提出SPECIAL系统，首个同时确保有界隐私损失、高级查询规划与无损处理的安全协作分析系统，通过摘要辅助安全处理模型实现复杂查询快80倍、内存省900倍且隐私损失降89倍。
2025-09-17 cs.CR cs.DB
Towards a Flexible Scale-out Framework for Efficient Visual Data Query Processing
Intel Labs（英特尔实验室）
本文提出VDMS-Async，通过事件驱动架构和远程操作扩展，实现视觉数据查询的高效灵活处理，显著降低查询延迟并支持线性扩展。
2024-02-05 cs.CV cs.DB
Robust Recursive Query Parallelism in Graph Database Management Systems
本文提出一种混合morsel分发策略，在源节点和前沿两个粒度上并行化图数据库递归查询，并在Kuzu系统中验证其鲁棒性和性能优势。
2025-08-26 cs.DB cs.PF
Prompt as a Data Type: In-Database LLM Prompt Management and Rewriting
Department of Computing and Mathematics University of Sao Paulo（计算机与数学系 乌拉圭圣保罗大学）；Department of Information Systems University of Münster（信息系统系 梅茵斯特大学）
研究如何在数据库中管理和重写大语言模型提示。核心方法是引入PromptDB系统，将提示视为元组级数据库值，利用数据库元数据重写提示。主要贡献是创造新优化空间，经实验验证数据库引导重写可提高输出有效性并权衡成本质量。
2026-07-27 cs.DB cs.LG
Dissociation and Propagation for Approximate Lifted Inference with Standard Relational Database Management Systems
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
大数据集上的概率推理是一个具有挑战性的数据管理问题，因为精确推理通常是P-困难的，并且目前最常用基于采样的方法近似解决。本文提出了一种替代方法的近似评估的合取查询与标准的关系数据库：在我们的方法中，每个查询完全在数据库引擎评估一个固定数量的查询计划，每个提供一个上限的真实概率，然后采取他们的最小值。我们提供了一个算法，考虑到重要的模式信息，枚举所有可能的计划中只有最小的必要计划。重要的是，该算法是所有已知的PTIME自连接自由合取查询的严格推广：当且仅当我们的算法返回一个单一的计划时，查询在PTIME中。此外，我们的方法是一个家庭的有效的排名方法从图超图的推广。我们还采用了三种关系型查询优化技术来快速评估所有必要的计划。我们给我们的方法进行了详细的实验评估，并在这个过程中，提供了一种新的思路的概率方法的非概率方法的查询答案排名的价值。我们还注意到，本文中开发的技术立即适用于解除推理统计关系模型，因为解除推理对应于PTIME计划的概率数据库。
2016-06-14 cs.AI cs.DB
Distributed Semantic Web Data Management in HBase and MySQL Cluster
网络上的各种计算和数据资源正在通过机器可解释的语义描述来增强，以促进更好的搜索、发现和集成。这种相互关联的元数据构成了语义Web，其数量可能会增加Web的规模。语义Web数据的有效管理（使用W3C的资源描述框架（RDF）表示）对于支持新的数据密集型、启用语义的应用程序至关重要。在这项工作中，我们研究和比较两种方法来分布式RDF数据管理基于新兴的云计算技术和传统的关系数据库聚类技术。特别是，我们设计了分布式RDF数据存储和查询方案HBase和MySQL集群和进行实证比较，这些方法的商品机器集群使用的数据集和查询从第三种来源的挑战和利哈伊大学基准。我们的研究揭示了有趣的模式，查询评估，表明我们的算法是有前途的，并表明云计算具有很大的潜力，可扩展的语义Web数据管理。
2011-05-11 cs.DB cs.PF
Querying Spatial-Temporal-Spectral Data Using a Graphical Query Builder
在结合了空间、时间和光谱方面的数据上构造复杂的查询是一个具有挑战性且容易出错的过程。通用数据库管理系统的查询接口在为用户提供直观支持以有效地和高效地构造查询方面存在不足。为了解决这种情况下，我们开发了GraphicalQueryBuilder，一个工具，它提供了交互式和即时的反馈，在查询建设和可视化表示搜索空间和查询。一项针对10名专业人士的用户研究表明，与Microsoft Access基线相比，用户完成查询的速度平均快40%，准确率高40个百分点。
2022-05-15 cs.DB cs.SE
Causality-Based Scores Alignment in Explainable Data Management
University of Edinburgh（爱丁堡大学）；Carleton University（卡尔顿大学）；IMFD
本文研究了数据库查询中因果评分的对齐问题，发现外生元组的存在对评分一致性有关键影响。
2026-04-03 cs.AI cs.DB
Efficient Evaluation of Arbitrary Relational Calculus Queries
提出一种将任意关系演算查询转换为安全范围查询并最终映射为SQL的新方法，利用标准数据库管理系统实现高效求值，在时间复杂度和实验表现上均优于现有方法。
2023-12-20 cs.DB cs.LO
MLCask: Efficient Management of Component Evolution in Collaborative Data Analytics Pipelines
National University of Singapore（新加坡国立大学）；Beijing Institute of Technology（北京理工大学）；Zhejiang University（浙江大学）；ICTCAS（中国科学院计算技术研究所）；National University Health System（国立大学保健系统）
随着越来越多地采用机器学习进行数据分析，维护机器学习管道变得越来越复杂，因为数据集和训练模型都随着时间的推移而发展。在协作环境中，由于管道演变而导致的更改和更新通常会导致繁琐的协调和维护工作，从而提高成本并使其难以使用。不幸的是，现有的解决方案，不解决版本演变的问题，特别是在一个协作的环境中，非线性版本控制语义是必要的，以隔离不同的用户角色的操作。版本控制语义的缺乏也会导致不必要的存储消耗，并由于数据重复和重复的数据预处理而降低效率，这是可以避免的。在本文中，我们确定了部署机器学习管道过程中出现的两个主要挑战，并通过端到端分析系统MLCask的版本控制设计来解决这些挑战。该系统支持多个用户角色，能够在机器学习管道的上下文中执行类似Git的分支和合并操作。我们定义和加速度量驱动的合并操作，通过使用可重用的历史记录和管道兼容性信息修剪管道搜索树。此外，我们设计并实现了优先级管道搜索，这给优先级的管道，可能会产生更好的性能。MLCask的有效性通过对几个实际部署案例的广泛研究进行评估。性能评估表明，与不利用历史记录的基准方法相比，所提出的合并操作的速度提高了7.8倍，节省了11.9倍的存储空间。
2021-03-16 cs.DB cs.DC cs.LG
FAST CAT: Collaborative Data Entry and Curation for Semantic Interoperability in Digital Humanities
描述性和经验性的科学，如历史，是收集，观察和描述现象的科学，以解释它们，并在特定情况下得出关于影响，驱动力和影响的解释性结论。电子表格软件和关系数据库管理系统仍然是这些科学中定量分析和总体数据管理的主要工具，使研究人员能够直接分析收集的数据并进行学术解释。然而，目前的做法有一系列的局限性，包括收集的数据对最初的研究假设的高度依赖，通常对其他研究无用，缺乏对推断登记关系的细节的表示，以及难以重新访问原始数据源以进行验证，更正或改进。为了应对这些问题，在本文中，我们提出了FAST CAT，一个协作系统的辅助数据录入和策展在数字人文和类似形式的实证研究。我们描述了相关的挑战，我们遵循支持语义互操作性的整体方法，并讨论了使用FAST CAT的背景下，欧洲（ERC）的海洋历史项目，称为SeaLiT，它探讨了经济，社会和人口的影响，在地中海地区的蒸汽船在19世纪50年代和20世纪20年代之间。
2021-05-28 cs.DB cs.DL
Querying in the Age of Graph Databases and Knowledge Graphs
Universidad Católica（智利天主教大学）；IMFD（IMFD（智利数学与计算机科学研究所））；Universidad de Chile（智利大学）
图表已经成为我们所知的表示知识的最佳方式。计算社区已经研究并开发了通过数字技术来管理图形的支持。图形数据库和知识图谱表面作为最成功的解决方案，这一计划。本文档的目标是提供这些开发的基础数据管理任务的概念图，特别关注数据模型和图形的查询语言。
2021-06-25 cs.AI cs.DB
KathDB: Explainable Multimodal Database Management System with Human-AI Collaboration
University of Washington（华盛顿大学）
KathDB是一种结合关系语义和基础模型推理能力的多模数据库管理系统，通过人机协作实现查询解析、执行和结果解释的可解释性。
2025-12-11 cs.AI cs.DB
Flexible Operator Embeddings via Deep Learning
Brandeis University（布兰迪斯大学）
将机器学习集成到数据库管理系统的内部需要大量的特征工程，这是一个人工密集型过程，用于确定表示与任务相关的信息的最佳方式。除了劳动密集型之外，手工设计特征的过程通常必须对每个数据管理任务重复，并且可能对底层数据库做出并非普遍正确的假设。我们引入了灵活的运算符嵌入，这是一种深度学习技术，用于自动将查询运算符转换为对多个数据管理任务有用的特征向量，并为底层数据库定制。我们的方法的工作原理是利用运营商的上下文，从而产生一个神经网络，快速转换稀疏表示的查询运营商到密集的，信息丰富的特征向量。在实验中，我们表明，我们的灵活的操作符嵌入在许多数据管理任务中表现良好，使用合成和真实世界的数据集。
2019-01-31 cs.DB cs.LG
Pennsieve: A Collaborative Platform for Translational Neuroscience and Beyond
本文介绍了开源云端科学数据管理平台 Pennsieve，通过支持多模态数据、模块化架构与协作发布机制，为神经科学等领域的跨学科数据管理、集成与分析提供强大生态。
2024-09-20 cs.CY cs.DB cs.DL
