Building MultiView Analyst Profile From Multidimensional Query Logs: From Consensual to Conflicting Preferences
为了给分析者提供合适的结果，用户偏好摘要被广泛应用于多个领域。本文介绍了一种从OLAP查询日志中构造用户简档的新方法。其核心思想是通过从OLAP日志中提取证据来了解用户的偏好。事实上，分析师的偏好分为三个主要池：（i）一致或非冲突的偏好，指的是所有分析师的相同偏好;（ii）半冲突的偏好，对应于一些分析师的相似偏好;（iii）冲突的偏好，与所有分析师的不相交的偏好。为了建立通用的和全局的模型，准确地描述分析师，我们丰富了所获得的特性，通过包括几个视图，即个人视图，专业视图和行为视图。然后，对从多维数据库中提取的多视图轮廓进行标注。
2012-03-15 cs.DB cs.IR
Mining Precision Interfaces From Query Logs
交互式工具使数据分析更有效，更容易为广大人群所用。简单的界面（如Google Finance）以及复杂的可视化探索界面（如Tableau）都是有效的，因为它们是针对所需的用户任务量身定制的。然而，设计交互式界面需要技术专长和领域知识。专家是稀缺和昂贵的，因此目前不可能为每个用户和每个任务提供定制的（或精确的）界面。我们设想一种数据驱动的方法来生成量身定制的交互式界面。我们观察到，交互式界面的目的是表达一套程序，因此，越来越多的数据系统收集的程序样本，可以帮助我们建立交互式界面。基于这一思想，Precision Interfaces是一个与语言无关的系统，它检查输入查询日志，识别查询在结构上如何变化，并生成交互式Web界面来表达这些变化。本文的重点是将这种思想应用于结构化查询的日志。我们的实验表明，Precision Interfaces可以支持多种查询语言（SQL和SPARQL），从OLAP查询中派生Tableau的突出交互组件，在不到12分钟的时间内分析<75k个查询，并生成改进现有界面的交互设计，与人工制作的界面相当。
2017-11-30 cs.DB
80 New Packages to Mine Database Query Logs
DBMS的查询日志是一种功能强大的资源。它支持许多实际应用，包括查询优化和用户体验增强。然而，挖掘SQL查询是一项艰巨的任务。基本问题是查询是符号对象，而不是数字向量。因此，许多流行的统计概念，如平均值，回归，或决策树不适用。大多数作者将自己限制在基于邻域的ad hoc算法或方法，例如k最近邻。我们的目标就是挑战这种局限性。我们引入了操作SQL查询的方法，就好像它们是向量一样，从而打开了整个统计工具箱。我们提出了三个家庭的方法：特征映射，内核方法和贝叶斯模型。第一种技术直接将查询编码为向量。第二个隐式地转换查询。最后一个利用概率图模型作为向量空间的替代。我们介绍了每种解决方案的优点和缺点，强调了它们之间的关系，并为未来的调查提供了理由。
2017-03-25 cs.DB
OneProvenance: Efficient Extraction of Dynamic Coarse-Grained Provenance from Database Logs [Technical Report]
起源编码连接数据集、其生成工作流和相关联的元数据（例如，谁或何时执行查询）。因此，它有助于广泛的关键治理应用程序（例如，可观察性和审计）。不幸的是，在数据库系统的上下文中，由于数据库工作流的复杂性和庞大的数量，提取粗粒度的出处是一个长期存在的问题。从查询事件日志中提取起源最近被认为是有利的，因为原则上可以为起源应用程序产生有意义的起源图。然而，当前的方法（a）向数据库和起源提取工作流增加了大量开销，并且（b）提取有噪声的起源，省略了查询执行依赖性，并且对于上游应用不够丰富。为了解决这些问题，我们引入OneProvenance：一个高效的查询事件日志出处提取系统。OneProvenance通过以下方式解决了基于日志的提取的独特挑战：（a）通过有效的日志分析识别查询执行依赖关系，（b）通过解释查询依赖关系的新颖事件转换提取起源，以及（c）引入有效的过滤优化。我们全面的实验分析表明，与最先进的基线相比，OneProvenance可以将提取提高约18倍;我们的优化降低了提取噪声，并进一步优化了性能。OneProvenance由Microsoft Purview大规模部署，并积极支持客户来源提取需求（https：//bit.ly/3N2JVGF）。
2023-03-03 cs.DB
Privacy Preserving Web Query Log Publishing: A Survey on Anonymization Techniques
发布包含有研究或营销价值信息的Web查询日志可能会侵犯搜索引擎用户的隐私。因此，渲染查询日志，以限制查询链接到个人，同时保留数据的有用性进行分析，是一个重要的研究问题。本文对这一领域的最新研究进行了综述和讨论。
2012-11-10 cs.CR cs.DB
Bridging the Semantic Gap with SQL Query Logs in Natural Language Interfaces to Databases
构建数据库的自然语言接口（NLIDB）的一个关键挑战是弥合自然语言查询（NLQ）和底层数据之间的语义鸿沟。这个挑战的两个具体表现方式是通过关键字映射和连接路径推理。关键字映射是将原始NLQ中的各个关键字映射到数据库元素（例如关系，属性或值）的任务。这是具有挑战性的，由于在映射用户的心理模型和措辞的模式定义和底层数据库的内容的模糊性。连接路径推断是在最终SQL查询的FROM子句中选择关系和连接条件的过程，并且是困难的，因为NLIDB用户缺乏数据库模式或SQL的知识，因此不能显式地指定构造最终SQL查询所需的中间表和连接。在本文中，我们建议利用数据库的SQL查询日志中的信息来提高现有NLIDBs的性能，以应对这些挑战。我们提出了一个可用于增强现有NLIDB的系统Templar。我们广泛的实验评估表明，我们的方法的有效性，导致高达138%的改善前1的准确性，在现有的NLIDBs利用SQL查询日志信息。
2019-01-31 cs.DB
Control-Flow-Based Querying of Process Executions from Partially Ordered Event Data
在流程挖掘中，事件日志包含描述操作流程执行的事件数据。大多数流程挖掘技术将事件日志作为输入，并通过分析提供的数据来生成有关底层流程的见解。因此，处理大量的事件数据是成功应用流程挖掘的关键。传统上，单个流程执行被认为是顺序排序的流程活动。然而，流程执行越来越多地被视为部分有序的活动，以更准确地反映在现实中观察到的流程行为，如活动的同时执行。包含部分有序活动的流程执行可能包含比基于序列的流程执行更复杂的活动模式。本文提出了一种新的查询语言，用于从包含偏序活动的事件日志中调用进程执行。查询语言允许用户指定活动上的复杂排序关系，即，控制流约束。对给定日志的查询求值将返回满足指定约束的进程执行。我们演示了在一个过程挖掘工具中的查询语言的实现，并评估其在现实生活中的事件日志的性能。
2023-01-04 cs.DB
Extracting Basic Graph Patterns from Triple Pattern Fragment Logs
Triple Pattern Fragment（TPF）方法实际上是一种以低成本和高服务器可用性发布关联数据的新方法。但是，托管TPF服务器的数据提供程序不能分析它们执行的SPARQL查询，因为它们只接收和评估具有一个三重模式的查询。在本文中，我们提出了LIFT：一个算法来提取基本图形模式（BGP）的执行查询TPF服务器日志。实验结果表明，LIFT算法提取出的BGP具有良好的查准率和查全率，噪声较小。
2019-06-20 cs.DB
A Framework for Federated SPARQL Query Processing over Heterogeneous Linked Data Fragments
链接数据片段（LDFs）是指允许访问和查询Web上的知识图谱的Web接口。这些接口（如SPARQL端点或Triple Pattern Fragment服务器）在它们可以计算的SPARQL表达式和它们提供的元数据方面有所不同。已经提出了客户端查询处理方法，并且这些方法被定制以评估各个接口上的查询。此外，联邦查询处理集中在具有单一类型LDF接口（通常是SPARQL端点）的联邦上。在这项工作中，我们解决的挑战，SPARQL查询处理联邦异构LDF接口。为此，我们形式化的概念联邦的关联数据片段，并提出了一个框架，联邦查询异构联邦不同LDF接口。该框架包括查询分解，查询规划，和适应不同LDF接口的特殊性的物理操作符。此外，我们提出了一种方法，我们的框架的每个组成部分，并评估他们在著名的FedBench基准的实验研究。结果表明，通过设计这些接口感知的方法，利用联邦中的异构接口的能力，实现了性能的大幅改善。
2021-02-26 cs.DB
LDQL: A Query Language for the Web of Linked Data (Extended Version)
链接数据网由大量相互链接的RDF文档组成，形成了一个巨大的分布式语义数据库。有效地查询这种分布式数据源是语义Web领域的一个重要的开放问题。在本文中，我们提出了LDQL，一个声明性的语言来查询Web上的关联数据。LDQL的一个新颖之处在于它分别表示（i）描述预期查询结果的模式，以及（ii）选择用于计算结果的数据源的Web导航路径。我们提出了一个正式的语法和语义，证明等价规则，并研究语言的表达能力。特别是，我们表明，LDQL是严格更有表现力的查询形式主义，以前已经提出了在Web上的关联数据。高表达性允许LDQL定义在Web上完全执行在计算上不可行的查询。我们正式研究这个问题，并提供了一个语法充分条件，以避免这个问题，满足这个条件的查询，确保有一个程序，以有效地评估在Web上的关联数据。
2015-07-19 cs.DB
SPARQL for a Web of Linked Data: Semantics and Computability (Extended Version)
万维网目前正在演变成一个链接数据网，其中内容提供方发布和链接数据，就像他们在过去20年中对超文本所做的那样。虽然声明性查询语言SPARQL实际上是用于从Web查询事先定义的数据集，但不存在用于查询关联数据Web本身的语言。然而，很自然地会问SPARQL是否也适合这样的目的。在本文中，我们正式调查的适用性SPARQL作为一个查询语言在Web上的关联数据。特别是，我们研究了两个查询模型：1）一个完整的Web语义的范围内的查询是一套完整的链接数据在Web上和2）一个家庭的可达性为基础的语义，限制范围的数据，是通过遍历某些数据链路。对于这两种模式，我们讨论的属性，如单调性和可计算性，以及查询的影响，是无限大的，由于数据生成服务器的Web。
2012-04-06 cs.DB
Querying Linked Data: how to ensure user's quality requirements
在分布式、动态的Web框架中，数据质量是一个很大的挑战。链接开放数据（LOD）提供了大量的数据，其质量难以控制。质量本质上是一个使用问题，因此消费者需要指定对其使用有意义的质量规则的方法，以便只获得符合这些规则的数据。我们提出了一个用户端的查询框架，配备了一个检查器的约束和信心水平的数据所产生的LOD提供者的查询评估。我们详细介绍了它的理论基础，我们提供的实验结果表明，检查额外的成本是合理的，并在查询中的约束集成进一步提高了显着。
2021-07-13 cs.DB
Improving the recall of decentralised linked data querying through implicit knowledge
除了抓取、索引和集中查询RDF数据之外，链接数据原则还允许通过取消引用URI来动态处理SPARQL查询。所提出的用于关联数据的链接遍历查询方法具有最新结果和分散（即，客户端）执行，但是在解引用文档中可用的不完整知识上操作，从而影响召回。在本文中，我们研究如何内隐知识-特别是通过owl：sameAs和RDFS推理发现-可以提高在这种情况下的召回。我们从一个大型抓取的实证分析开始，这个抓取包含4 m个关联数据源和1.1 g个四元组：我们（1）通过只考虑可解引用的信息来测量预期召回率，（2）通过考虑rdfs来测量召回率的提高：见以前的建议。我们进一步提出并衡量了额外考虑（3）owl：sameAs链接和（4）应用轻量级RDFS推理（特别是ρDF）的影响，以找到更多的结果，依赖于静态模式信息。我们评估我们的方法在我们的爬行实时查询。
2011-09-01 cs.DB
Efficient query evaluation techniques over large amount of distributed linked data
随着RDF的广泛应用和链接数据量的快速增长，对大量数据的高效查询成为一个重大挑战。在本文中，我们提出了一个家庭的算法查询大量的链接数据在分布式方式。这些查询评估算法独立于数据的存储方式以及查询评估的特定实现。然后，我们使用MapReduce范式提出了这些算法的分布式实现，并进行实验评估，虽然这些算法可以直接翻译成其他分布式处理框架。我们还研究并提出了多个查询分解方法的基本图模式（SPARQL查询的子类），用于提高分布式查询回答的整体性能。这些分解算法的有效性进行了深入的分析。
2022-09-12 cs.DB cs.DC cs.DS
Tracking Federated Queries in the Linked Data
联邦查询引擎允许数据使用者通过链接数据（LD）的联邦执行查询。然而，由于联邦查询被分解为可能分布在SPARQL端点之间的数千个子查询，数据提供者不知道联邦查询，他们只知道他们处理的子查询。因此，与仓储方法不同，土地退化数据提供者无法获得二级数据。在本文中，我们提出了FETA（FEderated查询跟踪），查询跟踪算法，推断基本图形模式（BGPs）处理的联邦从数据提供商维护的共享日志。由多个联邦查询引擎生成的上千个子查询的并发执行使得查询跟踪过程具有挑战性和不确定性。与Anapsid的实验表明，FETA是能够提取BGP，即使在最坏的情况下，包含原始查询的BGP。
2015-08-25 cs.DB
Foundations of Traversal Based Query Execution over Linked Data (Extended Version)
最近，在关联数据的Web上执行查询引起了人们的广泛关注。一种特别有趣的方法是基于链接遍历的查询执行，它提出将数据链路的遍历集成到查询结果的构造中。因此，与传统的查询执行范例相比，这种方法并不预先假设一组固定的相关数据源;相反，它可以动态地发现数据，从而使应用程序能够挖掘Web的全部潜力。虽然一些作者研究的可能性，实现基于链接遍历的查询执行的想法，并在这种情况下优化查询执行，没有工作存在，讨论的理论基础的方法一般。我们的论文填补了这一空白。我们引入了一个定义良好的语义查询，可以使用基于链接遍历的方法执行。基于这种语义，我们正式分析这种查询的属性。特别是，我们研究了查询的可计算性以及查询一个潜在的无限的关联数据网络的影响。我们的研究结果表明，查询计算一般不能保证终止，对于任何给定的查询，它是不可判定的执行是否终止。此外，我们定义了一个抽象的执行模型，捕捉到查询执行过程中的链接遍历的集成。在此模型的基础上，我们证明了基于链接遍历的查询执行的可靠性和完备性，并分析了现有的实现方法。
2012-04-20 cs.DB
Empirical Analysis on Comparing the Performance of Alpha Miner Algorithm in SQL Query Language and NoSQL Column-Oriented Databases Using Apache Phoenix
流程感知信息系统（Process Aware Information Systems，PAIS）是一种支持业务流程并从业务流程的执行中生成大量事件日志的IT系统。事件日志表示为CaseID、Timestamp、Activity和Actor的元组。流程挖掘是一个新兴的领域，旨在通过分析事件日志来发现、增强和改进业务流程，并检查运行时间和设计时间业务流程之间的一致性。生成的大量事件日志存储在数据库中。关系数据库对于某类应用程序表现良好。然而，有一类应用程序是关系数据库无法扩展的。为了处理这类应用程序，NoSQL数据库系统出现了。从事件日志中发现流程模型（工作流模型）是流程挖掘中最具挑战性和重要的任务之一。$α$ -miner算法是最早也是最广泛使用的进程发现技术之一。我们的目标是调查哪些数据库（关系型或NoSQL）在流程挖掘下的流程发现应用程序中表现更好。我们实现了$α$ -矿工算法的关系（面向行）和NoSQL（面向列）数据库中的数据库查询语言，使我们的算法是紧密耦合到数据库。我们提出了一个性能基准测试和比较的$α$ -矿工算法在面向行的数据库和NoSQL的面向列的数据库，以便我们可以比较哪个数据库可以有效地存储大量的事件日志，并分析它在几秒钟内发现一个进程模型。
2017-03-16 cs.DB
Efficient Checking of Timed Order Compliance Rules over Graph-encoded Event Logs
根据流程数据验证遵从性规则是业务流程管理的基本功能。多年来，已经针对不同类型的过程数据解决了该问题，即，流程模型、运行时的流程事件数据和表示历史执行的事件日志。已经提出了几种方法来处理对过程日志的合规性检查。这些方法基于不同的数据模型和存储技术，包括关系数据库、图形数据库和专有格式。基于图的事件日志编码是一个很有前途的方向，它将几个流程分析任务转化为底层图上的查询。合规性检查是此类分析任务中的一类。在本文中，我们认为，编码日志数据作为图形单独是不够的，以保证有效地处理这些数据上的查询。由于合规性检查的互动性质，效率很重要。因此，合规性检查将受益于数据的次线性扫描。此外，随着更多的数据被添加，例如，当新的日志批次到达时，数据大小应该呈次线性增长，以优化存储空间和查询时间。我们提出了两种编码方法，使用图表示，实现在Neo4J，并显示这些编码的好处一类特殊的查询，即定时顺序符合规则。与基线编码相比，我们的实验显示查询时间加快了5倍，图形大小减少了3倍。
2022-06-19 cs.DB
Chatting with Logs: An exploratory study on Finetuning LLMs for LogQL
Emory University（埃默里大学）；Composio；MPI SWS（马克斯·普朗克软件系统研究所）；San Jose State University（圣何塞州立大学）；Cloudflare；Google（谷歌）
针对日志查询语言和格式缺乏标准化导致的开发难题，提出基于自然语言接口的解决方案，构建NL2QL数据集并微调LLMs，使模型生成LogQL查询的性能最高提升75%，并验证了数据和格式迁移的效果。
2024-12-04 cs.AI cs.DB cs.PL
Evaluating Learned Query Performance Prediction Models at LinkedIn: Challenges, Opportunities, and Findings
本文评估学习型查询性能预测模型在 LinkedIn 真实 OLAP 查询上的表现，提出多任务学习方法利用操作符级指标，并分析理论性能上限。
2025-04-24 cs.DB
A Query Language for Multi-version Data Web Archives
数据网络是指以关联开放数据的形式发布的大量且快速增长的科学，企业，政府和众包数据，它鼓励在网络上统一表示异构数据项并在它们之间创建链接。开放式链接数据集的日益可用性给数据集的妥善保存和其中不断变化的信息的管理带来了重大的新挑战。在本文中，我们专注于进化和保存相关的挑战，发布和保存不断变化的链接数据随着时间的推移。我们讨论的主要问题，其适当的建模和查询，并提供了一个概念模型和查询语言的建模和检索不断变化的数据以及影响他们的变化。我们详细介绍了查询语言的语法，并展示了它的功能在现实世界中的用例，从生物领域的发展链接数据集。
2016-05-12 cs.DB
Querying Linked Data: An Experimental Evaluation of State-of-the-Art Interfaces
语义网技术的采用，特别是开放数据倡议，促进了网上可访问的数据集和三元组数量的稳步增长。最常见的是，RDF数据上的查询是在SPARQL端点上进行评估的。然而，最近已经提出了诸如TPF之类的替代方案，其目标是将查询处理负载从运行SPARQL端点的服务器转移到发出查询的客户机。虽然这些接口已经对标准基准和测试平台进行了评估，这些基准和测试平台显示了它们在以前的工作中的优势，但对哪些类型的查询利用了不同可用接口的优势的细粒度评估从未完成。在本文中，我们提出了我们深入评估现有的RDF接口的结果。此外，我们还研究了后端对这些接口的性能的影响。使用基于公共SPARQL端点的查询日志的代表性和多样的查询负载，我们对不同的接口和后端进行压力测试，并确定它们的优点和缺点。
2019-12-17 cs.DB
Query Based Access Control for Linked Data
近年来，我们看到用于发布和消费关联数据的技术取得了重大进展。然而，为了支持下一代的电子商务应用程序上的互连的机器可读数据的适当形式的访问控制需要到位。虽然已经提出了一些访问控制模型和框架，很少有研究已经进行到与授予访问部分数据或所提出的访问控制机制的正确性相关的安全问题。因此，本文的贡献有两个方面：我们提出了一个查询重写算法，可用于部分限制访问SPARQL 1.1查询和更新;我们演示了如何一组标准，这是最初用于验证访问控制策略持有不同的数据库状态，可以通过查询重写来验证访问控制的正确性。
2020-12-31 cs.CR cs.DB
ADQUEX: Adaptive Processing of Federated Queries over Linked Data based on Tuple Routing
由于关联数据在网络上的分布性，分布式处理联邦查询的方法对用户更有吸引力，并获得了越来越多的繁荣。在联邦查询的分布式处理中，我们需要一些方法和过程来以最优的方式执行查询。大多数现有的方法执行的优化任务的基础上，一些统计信息，而查询处理器没有精确的统计信息，其属性，因为数据源是自治的。当没有精确的统计数据时，错误估计的可能性将大大增加，并可能导致在运行时执行查询的效率低下。现有方法的另一个问题是，在优化阶段，它们假设查询执行的运行时条件是稳定的，而在链接数据上执行联邦查询的环境是动态的和不可预测的。通过考虑这两个问题，有一个很大的潜力，利用联邦查询处理技术的自适应方式。在本文中，提出了一种自适应的方法来处理联邦查询的链接数据，路由的元组的概念的基础上。所提出的方法，命名为ADQUEX，是能够有效地执行查询没有任何先验统计信息。此方法可以在运行时更改查询执行计划，以便生成更少的中间结果。它还可以适应新的情况下，如果不可预测的网络故障发生的执行计划。通过在已知的链接数据集上运行真实查询，对我们的方法进行了广泛的评估，结果非常好，特别是对于复杂的查询。
2015-05-19 cs.DB cs.DC
Query Log Compression for Workload Analytics
分析数据库访问日志是性能调优、入侵检测、基准测试开发和许多其他数据库管理任务的关键部分。不幸的是，生产数据库通常每天要处理数百万甚至更多的查询，因此必须在使用这些日志之前对其进行汇总。设计适当的摘要编码需要在简洁性和信息内容之间进行权衡。例如：简单的工作负载采样可能会错过罕见的，但高影响的查询。在本文中，我们提出了LogR，一个有损日志压缩方案适用于许多自动日志分析工具，以及人为检查。我们形式化和分析的空间/保真度权衡的背景下，更广泛的家庭的“模式”和“模式混合物”的日志编码LogR属于。我们通过一系列实验表明，LogR压缩编码可以有效地创建，其准确性具有可证明的信息理论界限，并且优于最先进的日志摘要策略。
2018-09-29 cs.DB
Enhancing Data-Awareness of Object-Centric Event Logs
当一个过程中涉及多个对象时，就有机会从不同的角度发现过程，并提供以前可能没有从单个对象的角度进行分析的新信息。这确实需要将事件/对象属性及其值的所有信息存储在日志中，包括具有值列表的属性或具有随时间变化的值的属性。它还要求属性可以明确地链接到对象、事件或两者。因此，以对象为中心的事件日志是流程挖掘中一个有趣的发展，因为它们支持多种类型的对象。首先，本文表明，目前的以对象为中心的事件日志格式不支持上述方面的全部潜力，因为现有的格式不支持动态对象属性（属性值不断变化）的可能性。接下来，本文介绍了一种新的丰富的以对象为中心的事件日志格式，解决上述问题，以及一种自动将XES日志转换为这种数据感知OCEL（DOCEL）格式的算法。
2022-12-06 cs.DB
Walking without a Map: Optimizing Response Times of Traversal-Based Linked Data Queries (Extended Version)
互联网上关联数据的出现引发了对这些数据进行在线声明式查询的研究兴趣。一个特别有趣的方法是基于索引的查询执行，它通过遍历数据链路来获取数据，因此能够利用来自最初未知数据源的最新数据。这种方法的缺点是在查询引擎完成查询执行之前存在延迟。在本文中，我们通过提出一种方法来解决这个问题，以尽快返回尽可能多的结果集元素。这种方法的基础是一种遍历策略，旨在尽可能早地获取结果相关的数据。这种策略的挑战在于，查询引擎并不先验地知道在查询执行期间将发现的数据源中的哪一个包含结果相关数据。我们介绍了16种不同的遍历方法和实验研究它们对响应时间的影响。我们的实验表明，一些方法可以实现显着的改进，在基线上查找URI的先到先得的基础上。此外，我们验证了这些方法的重要性，通过显示，典型的查询优化技术，只专注于构建查询结果的过程中，不能有任何显着的影响，对响应时间的基于查询执行的查询。
2016-07-04 cs.DB
Expressive Power and Complexity Results for SIGNAL, an Industry-scale Process Query Language
本文形式化分析了工业级流程查询语言SIGNAL，发现其核心能力比关系代数更具表达力，并通过归约到半正Datalog确定了其表达能力与数据复杂度的上界。
2024-07-24 cs.DB
Querying over Federated SPARQL Endpoints ---A State of the Art Survey
在过去的几年里，越来越多的关联数据及其固有的分布式特性引起了整个研究界和从业者对数据搜索的极大关注。受传统分布式数据库研究成果的启发，介绍了在SPARQL端点上管理联邦的不同方法。SPARQL是RDF的标准化查询语言，RDF是链接数据部署中使用的默认数据模型，SPARQL端点是许多链接开放数据（LOD）存储库提供的流行访问机制。在本文中，我们首先概述了联邦框架的基础设施，然后继续与现有的SPARQL联邦框架的比较。最后，我们强调了现有框架的缺点，我们希望这有助于催生新的研究方向。
2013-06-07 cs.DB cs.DC
SPARQL query processing with Apache Spark
链接数据源的数量和链接开放数据图的大小每天都在增长。因此，语义RDF服务越来越多地面临各种“大数据”问题。查询处理就是其中之一，需要在可伸缩、高可用和容错的框架上执行，从而有效地解决查询处理问题。需要这些属性的数据管理系统很少从头开始构建，而是在现有集群计算引擎的基础上设计的。在这项工作中，我们考虑使用Apache Spark处理SPARQL查询。我们提出并比较了五种不同的查询处理方法，基于不同的连接执行模型和Spark组件。在真实世界和合成数据集上的详细实验强调，为RDF数据模型定制的两种方法在所有主要查询形状上都优于其他方法，即，星型、雪花型、链式和混合型。
2016-11-03 cs.DB
The Linked Data Benchmark Council (LDBC): Driving competition and collaboration in the graph data management space
本文介绍了LDBC组织及其过去十年的工作，其通过设计涵盖代表性图数据管理问题的标准基准以实现系统性能可比并促进竞争，同时开展图模式与查询语言研究。
2024-08-30 cs.DB
Estimating the Cost of Executing Link Traversal based SPARQL Queries
几乎所有领域的越来越多的组织都开始采用语义Web技术，将其数据发布为开放、链接和互操作（RDF）数据集，可通过SPARQL语言和协议进行查询。链接遍历已经成为一种SPARQL查询处理方法，它利用链接数据原则和Web的动态特性，通过在查询评估期间解析在线资源（URI）来动态地发现与回答查询相关的数据。然而，链接遍历查询的执行时间对于某些查询类型可能变得过高，这是由于在查询执行期间需要访问大量资源。在本文中，我们提出并评估基线方法估计的链接遍历查询的评估成本。这样的方法对于即时决定给定查询所遵循的查询执行策略非常有用，从而减少SPARQL端点的负载并提高查询服务的整体可靠性。为了评估所提出的方法的性能，我们创建了（并公开提供）一个由2，425个查询组成的地面实况数据集。
2022-10-17 cs.DB
Behavior Query Discovery in System-Generated Temporal Graphs
NEC Labs America, Inc.（NEC美国研究院）；UC Santa Barbara（加州大学圣巴巴拉分校）；UC Riverside（加州大学河滨分校）
计算机系统监控会生成大量记录系统实体交互的日志。由于数据的动态性和异构性，如何查询这些数据以更好地理解系统行为并识别潜在的系统风险和恶意行为成为系统管理员的一项具有挑战性的任务。系统监控数据本质上是异构的时态图，节点是系统实体，边是它们随时间的交互。考虑到这种图的复杂性，系统管理员为了检查计算机系统中的异常活动、攻击和漏洞而手动制定有用的查询变得耗时。在这项工作中，我们研究如何查询时态图和处理查询公式作为一个判别时态图模式挖掘问题。我们引入TGMiner从系统日志中挖掘判别模式，这些模式可以作为构建更复杂查询的模板。TGMiner利用图形中的时间信息来修剪具有相似增长趋势的图形模式，而不会影响模式质量。在真实系统数据上的实验结果表明，TGMiner比基线方法快6-32倍。系统专家对发现的模式进行了验证;它们实现了高精度（97%）和召回率（91%）。
2015-11-19 cs.AI cs.DB cs.SI
Pleasantly Consuming Linked Data with RDF Data Descriptions
尽管RDF的目的是提供一种开放的、约束最小的信息表示方式，但越来越多的应用程序需要对RDF数据集的结构和值进行保证。在这方面缺少的是将RDF数据与类似于关系数据库的模式或XML中的DTD的质量保证联系起来的机制，特别是在将带有丰富的完整性约束集（如键或基数约束）的遗留数据转换为RDF时。针对这一缺点，我们提出了RDF数据描述语言（RDD），它使得有可能指定实例级的数据约束RDF。使这些约束显式化不仅有助于断言和维护数据质量，而且还为查询引擎开辟了新的优化机会，最重要的是，使用户和系统开发人员更容易制定查询。我们提出的设计目标，语法，和一个正式的，一阶逻辑为基础的RDD语义，并讨论消费关联数据的影响。
2013-12-06 cs.DB
An Effective Clustering Approach to Web Query Log Anonymization
Web查询日志数据包含对研究有用的信息;然而，此类数据的发布可以重新识别发出查询的搜索引擎用户。这些隐私问题远远超出了删除姓名和地址等明确识别信息的范围，因为非识别个人数据可以与公开信息相结合，以确定个人。在这项工作中，我们的Web查询日志建模为非结构化的交易数据，并提出了一种新的交易匿名技术的基础上聚类和泛化技术，以实现k-匿名隐私。我们对AOL查询日志数据进行了广泛的实验。我们的研究结果表明，这种方法导致更高的数据效用相比，最先进的交易匿名化方法。
2010-12-03 cs.CR cs.DB
Monte Carlo Tree Search for Generating Interactive Data Analysis Interfaces
Columbia University（哥伦比亚大学）
像用户界面这样的交互式工具通过隐藏底层编程细节并向用户公开必要的小部件界面，帮助最终用户实现数据访问的大众化。由于定制界面的构建成本很高，因此需要自动生成界面。SQL是分析数据的主要方式，并且已经存在用于分析数据的日志。以前的工作提出了一种语法的方法来分析SQL查询日志中的结构变化，并自动生成一组小部件来表达的变化。但是，它们不考虑布局可用性和日志中查询的顺序。我们建议采用蒙特卡罗树搜索（MCTS）搜索的最佳接口，帐户的层次布局以及可用性方面如何容易表达的查询日志。
2020-03-04 cs.AI cs.DB cs.HC
The SPARQL2XQuery Interoperability Framework. Utilizing Schema Mapping, Schema Transformation and Query Translation to Integrate XML and the Semantic Web
Web of Data是一个开放的环境，由来自不同领域的大量相互链接的大型RDF数据集组成。在这种环境中，组织和公司采用利用语义Web（SW）技术的关联数据实践，以便发布他们的数据并提供SPARQL端点（即，基于SPARQL的搜索服务）。另一方面，当今Web中信息交换的主导标准是XML。SW和XML世界及其开发的基础设施基于不同的数据模型、语义和查询语言。因此，至关重要的是开发互操作性机制，允许Web of Data用户从他们自己的工作环境中使用SPARQL访问XML数据集。期望所有现有的遗留数据（例如，关系、XML等）将转换为软件数据。因此，将遗留数据发布为关联数据并在其上提供SPARQL端点已成为一个主要的研究挑战。在这个方向上，我们引入了SPARQL 2XQuery框架，它创建了一个可互操作的环境，SPARQL查询自动转换为XQuery查询，以便在Web上访问XML数据。SPARQL 2XQuery框架为OWL-RDF/S到XML Schema映射的表达提供了一个映射模型，也为SPARQL到XQuery的转换提供了一种方法。为此，我们的框架支持本体和XML模式之间的手动和自动映射规范。在自动映射规范场景中，SPARQL 2XQuery利用将XML模式转换为OWL本体的XS 2 OWL组件。最后，进行了大量的实验，以评估模式转换，映射生成，查询翻译和查询评估效率，使用真实和合成…
2014-01-02 cs.DB
Privacy Preservation by Disassociation
在这项工作中，我们专注于防止身份泄露的稀疏多维数据的发布。现有的多维匿名化技术通过改变原始数据的准标识符集合（例如，通过泛化或抑制）或通过添加噪声（例如，使用差分隐私）和/或（b）假定敏感和非敏感信息之间的清楚区别并切断可能的联系。在许多实际应用中，上述技术并不适用。例如，考虑Web搜索查询日志。抑制或泛化匿名化方法将删除数据集中最有价值的信息：原始查询词。此外，web搜索查询日志包含数百万个查询词，这些查询词不能被分类为敏感或非敏感，因为词可能对用户敏感而对另一个用户不敏感。出于这一观察，我们提出了一种匿名化技术，称为分离，保留原始条款，但隐藏的事实，两个或两个以上的不同的条款出现在同一记录。我们通过分离参与识别组合的记录术语来保护用户的隐私。这样，对手就不能以高概率将记录与罕见的术语组合相关联。据我们所知，我们的建议是第一个采用这种技术来提供保护以防身份泄露的建议。我们提出了一个匿名化算法的基础上，我们的方法和评估其性能的真实和合成数据集，比较它与其他国家的最先进的方法的基础上泛化和差分隐私。
2012-06-30 cs.DB
Publishing Life Science Data as Linked Open Data: the Case Study of miRBase
本文介绍了我们的关联开放数据（LOD）基础设施的基因组和实验数据相关的microRNA生物分子。来自两个著名的microRNA数据库的遗留数据与实验数据和观察，以及关于microRNA实体的变化和版本信息，被融合并导出为LOD。我们的LOD服务器帮助生物学家探索生物实体及其进化，并为应用程序和服务提供SPARQL端点，以查询历史miRNA数据并跟踪变化及其原因和影响。
2012-05-10 cs.DB
Efficient Query Processing for SPARQL Federations with Replicated Fragments
公共SPARQL端点的低可靠性和可用性阻止了现实世界的应用程序利用这些查询基础结构的所有潜力。服务器上的数据碎片可以提高数据可用性，但会降低性能。复制片段可以在性能和可用性之间提供新的折衷。我们提出FERENCE，查询关联数据，利用客户端数据复制的框架，并执行源选择算法，旨在减少所选择的公共SPARQL端点，执行时间和中间结果的数量。FERENTIAL已在最先进的查询引擎ANAPSID和FedX上实现，并在各种真实数据集上进行了经验评估。
2015-03-10 cs.DB
Selectivity Estimation with Attribute Value Dependencies using Linked Bayesian Networks
关系查询优化器依赖于成本模型来在不同的查询执行计划之间进行选择。已知选择性估计是成本模型的关键输入。在实践中，标准的选择性估计程序容易产生大的误差。这主要是因为它们依赖于所谓的属性值独立性和连接一致性假设。因此，已经提出了多维方法来捕获两个或多个属性之间的依赖关系内和跨关系。然而，这些方法需要大量的计算成本，这使得它们在实践中无法使用。我们提出了一种基于贝叶斯网络的方法，能够捕获交叉关系的属性值的依赖关系，很少的开销。我们的建议是基于这样的假设，即当涉及连接时，属性之间的依赖关系被保留。此外，我们引入了一个参数之间的交易估计精度和计算成本。我们验证了我们的工作，通过比较它与其他相关的方法在一个大的工作量来自JOB和TPC-DS基准。我们的研究结果表明，我们的方法是一个数量级比现有的方法更有效，同时保持高水平的准确性。
2020-09-21 cs.DB
Fedra: Query Processing for SPARQL Federations with Divergence
本地SPARQL端点的数据复制和部署提高了公共SPARQL端点的可伸缩性和可用性，使链接数据的消费成为现实。此解决方案需要同步和特定的查询处理策略来利用复制。然而，现有的复制感知技术在SPARQL端点的联邦不考虑数据的动态性。我们提出了Fedra，一种查询从复制中受益的端点联盟的方法。Fedra联邦的参与者可以从多个数据集中复制数据片段，并使用出处和视图描述它们。这些描述使Fedra能够减少所选端点的数量，同时满足用户的分散需求。在真实世界数据集上的实验表明，节省高达三个数量级。
2014-07-10 cs.DB
Anonymizing Unstructured Data
在本文中，我们考虑的问题，匿名化数据集，其中每个人都与一组项目，构成个人的私人信息。说明性数据集包括购物篮数据集和搜索引擎查询日志。我们形式化的概念的k-匿名的集值数据作为一个变种的k-匿名模型的传统关系数据集。我们定义了一个优化问题，从这个定义的匿名性，并提供了O（klogk）和O（1）-近似算法相同。我们证明了我们的算法的适用性，美国在线查询日志数据集。
2008-11-03 cs.DB cs.DS
Journey of Migrating Millions of Queries on The Cloud
Treasure Data每天在云端处理数百万个分布式SQL查询。在这种规模下升级查询引擎服务具有挑战性，因为我们需要将客户的所有生产查询迁移到新版本，同时保持数据处理管道的正确性和性能。为了确保查询引擎的质量，我们利用我们的查询日志来构建客户特定的基准，并在安全的预生产环境中使用真实的客户数据重放这些查询。为了模拟数以百万计的查询，我们需要有效地最小化测试查询集，并更好地报告模拟结果，以主动发现新版本的不兼容更改和性能回归。本文介绍了我们的系统的总体设计，并分享了在云上保持查询引擎服务质量的各种挑战。
2022-05-17 cs.DB
Counting Query Answers over a DL-Lite Knowledge Base (extended version)
Free University of Bozen-Bolzano（博尔扎诺自由大学）；Umeå University（于默奥大学）；Max-Planck-Institut für Informatik（马克斯·普朗克计算机科学研究所）
计算查询的答案是几乎所有数据库管理系统都支持的操作。在本文中，我们专注于计数的答案在知识库（KB），这可能被视为一个数据库丰富的背景知识有关的域正在考虑。特别是，我们把我们的工作的上下文中的本体介导的查询/基于本体的数据访问（OMQA/OBDA），其中用于本体的语言是DL-Lite家族的成员和数据是一个（通常是虚拟的）一组断言。我们研究了查询回答的数据复杂性，对于包括数量限制的DL-Lite家族的不同成员，以及对于具有不同形状（连接，分支，根）的计数的合取查询的变体。我们通过提供PTIME和coNP下界，以及PTIME和LOGSPACE的上界来改进现有的结果。对于后者的情况下，我们定义了一个新的查询重写技术到一阶逻辑计数。
2020-07-17 cs.AI cs.DB
NL2KQL: From Natural Language to Kusto Query
Microsoft（微软公司）
针对自然语言转KQL查询的需求，提出包含模式精炼、少样本选择、查询精炼组件的NL2KQL框架，还给出合成数据集生成方法，经多指标评估和基线对比验证了有效性，相关基准数据集已公开。
2025-01-17 cs.AI cs.CL cs.DB
Luzzu Quality Metric Language -- A DSL for Linked Data Quality Assessment
链接的开放数据集的数量稳步增长，导致数据消费者对数据集的质量持保留态度。质量评估需要大量的努力和考虑，包括数据质量指标的定义和基于这些定义评估数据集的过程。Luzzu是一个链接数据的质量评估框架，允许插入特定于域的指标。LQML提供了符号、抽象和表达能力，专注于质量度量的表示。它为定义复杂的质量度量提供了表达能力。它与Luzzu的集成使其能够有效地处理和执行，从而以流式方式全面评估超大型数据集。我们还描述了一种新的本体，使重用，共享和查询这样的定义。最后，我们根据符号框架的认知维度评估了所提出的DSL。
2015-04-29 cs.DB
Expressivity and Complexity of MongoDB (Extended Version)
在过去的十年中，已经提出了大量新颖的数据库体系结构和数据模型。虽然这些新系统中的一些已经流行起来，但它们缺乏适当的形式化，以及对相关查询语言的表达性和计算特性的精确理解。在本文中，我们的目标是填补这一空白，我们这样做，考虑MongoDB，一个广泛采用的文档数据库管理复杂的（树结构）值表示在基于JSON的数据模型，配备了强大的查询机制。我们提供了MongoDB数据模型的形式化，以及MongoDB查询语言的核心片段MQuery。我们研究了MQuery的表达能力，证明了它与嵌套关系代数的等价性。我们进一步研究了它的重要片段的计算复杂性，获得了几个（紧）结合复杂性的界限，其范围从LOGSPACE交替指数时间与多项式数量的交替。因此，我们也得到了嵌套关系代数查询评价的组合复杂性的表征。
2017-04-25 cs.DB
Technical Report: Bundling Linked Data Structures for Linearizable Range Queries
我们提出了捆绑引用，一个新的构建块，提供高度并发的基于锁的链接数据结构的线性范围查询操作。绑定引用允许范围查询遍历与目标原子快照一致的数据结构中的路径。我们展示了我们的技术与三个数据结构：链表，跳表，和二叉搜索树。我们的评估表明，在混合工作负载中，我们的设计可以改进最先进的技术，对于跳表是1.2x-1.8x，对于二叉搜索树是1.3x-3.7x。我们还将捆绑的数据结构集成到DBx 1000内存数据库中，与相同的竞争对手相比，收益高达40%。
2022-06-29 cs.DB cs.DC cs.DS
Sapphire: Querying RDF Data Made Simple
链接开放数据（LOD）云中的RDF数据对于许多不同的应用程序都非常有价值。为了释放这些数据的全部价值，用户应该能够对LOD云中的RDF数据集发出复杂的查询。SPARQL可以表达这样复杂的查询，但是构造SPARQL查询对用户来说可能是一个挑战，因为它需要知道被查询的数据集的结构和词汇。在本文中，我们介绍了蓝宝石，一个工具，帮助用户编写语法和语义正确的SPARQL查询，而无需事先了解查询数据集。Sapphire通过根据查询数据提供自动完成建议，以交互方式帮助用户键入查询。在发出查询后，Sapphire会提供更改查询的建议，以更好地满足用户的需求。我们基于性能实验和用户研究对Sapphire进行了评估，并表明它优于竞争方法。
2018-09-13 cs.DB
Forecasting SQL Query Cost at Twitter
Twitter, Inc.（推特公司）
随着大数据时代的到来，使用传统的DBMS方法来计算SQL查询的资源使用量通常是计算昂贵的。我们是否可以更有效地估计每个查询的成本，而无需在SQL引擎内核中进行任何计算？机器学习技术能否帮助估计SQL查询资源利用率？答案是肯定的。我们提出了一个SQL查询成本预测服务，它采用机器学习技术，训练模型，从历史查询请求日志和快速预测的CPU和内存资源的使用，而无需在SQL引擎中进行任何计算。在Twitter，基础设施工程师正在维护一个跨本地和云数据中心的大规模SQL联合系统，以服务于临时查询。建议的服务可以通过缓解SQL引擎集群中不平衡的在线分析处理（OLAP）工作负载的问题来帮助改善查询调度。它还可以帮助实现抢先扩展。此外，所提出的方法使用普通SQL语句进行模型训练和在线预测，这表明它与硬件和软件无关。该方法可以推广到更广泛的SQL系统和异构环境。该模型对CPU使用率的预测精度达到97.9%，对内存使用率的预测精度达到97%.
2022-04-12 cs.AI cs.DB
Evaluating Continuous Basic Graph Patterns over Dynamic Link Data Graphs
针对动态关联数据图上的基本图模式（BGP）查询持续评估问题，提出基于查询分解的内存算法，在多项式复杂度下计算增量应答，部分子类可达常数/线性复杂度，可高效维护任意时刻的完整查询结果。
2025-05-16 cs.DB
Revealing Secrets in SPARQL Session Level
Southeast University（东南大学）；Leipzig University（莱比锡大学）；University of Paderborn（帕德博恩大学）；Tongji University（同济大学）
知识图谱基于语义Web技术，通过SPARQL服务帮助用户发现感兴趣的信息。搜索者经常反复检查中间结果，并在搜索会话中反复修改SPARQL查询。在这种情况下，理解用户行为是有效的意图预测和查询优化的关键。然而，这些行为还没有在SPARQL会话级别进行系统的研究。本文通过对大量真实SPARQL查询日志的全面调查，揭示了会话级用户搜索行为的秘密。特别是，我们彻底评估用户w.r.t.查询的变化。SPARQL查询的结构和数据驱动功能。为了说明我们的研究结果的潜力，我们采用了一个应用程序的例子，如何使用我们的研究结果，这可能是有价值的设计高效的SPARQL缓存，自动完成，查询建议，近似和放松技术在未来。
2020-11-02 cs.AI cs.DB
LiteMat: a scalable, cost-efficient inference encoding scheme for large RDF graphs
链接数据源的数量和链接开放数据图的大小每天都在增长。因此，语义RDF服务越来越多地面临各种“大数据”问题。推理存在时的查询处理就是其中之一。例如，为了完成SPARQL查询的答案集，RDF数据库系统通过耗时的查询重写算法或耗时的数据物化解决方案来评估语义RDFS关系（subPropertyOf，subClassOf）。为了减少内存占用并简化大型数据集的交换，这些系统通常应用字典方法，通过用整数值替换资源标识符（IRI）、空白节点和文字来压缩三倍数据大小。在这篇文章中，我们提出了一个结构化的资源识别方案，使用一个聪明的编码的概念和属性层次结构，有效地评估主要的常见RDFS蕴涵规则，同时最大限度地减少三重物化和查询重写。我们将展示如何通过可扩展的并行算法计算这种编码，并直接在Apache Spark框架上实现。我们的编码方案的效率是强调的合成和现实世界的数据集进行评估。
2015-10-12 cs.DB
