Pleasantly Consuming Linked Data with RDF Data Descriptions
尽管RDF的目的是提供一种开放的、约束最小的信息表示方式,但越来越多的应用程序需要对RDF数据集的结构和值进行保证。在这方面缺少的是将RDF数据与类似于关系数据库的模式或XML中的DTD的质量保证联系起来的机制,特别是在将带有丰富的完整性约束集(如键或基数约束)的遗留数据转换为RDF时。针对这一缺点,我们提出了RDF数据描述语言(RDD),它使得有可能指定实例级的数据约束RDF。使这些约束显式化不仅有助于断言和维护数据质量,而且还为查询引擎开辟了新的优化机会,最重要的是,使用户和系统开发人员更容易制定查询。我们提出的设计目标,语法,和一个正式的,一阶逻辑为基础的RDD语义,并讨论消费关联数据的影响。
2013-12-06 cs.DB
LinkedCT: A Linked Data Space for Clinical Trials
Linked Clinical Trials(LinkedCT)项目旨在发布第一个开放的临床试验数据语义网数据源。LinkedCT公开的数据库是通过以下方式生成的:(1)将现有的临床试验数据源转换为RDF,以及(2)发现试验数据中的记录与其他几个数据源之间的语义链接。在本文中,我们讨论了这两个步骤所涉及的几个挑战,并提出了在LinkedCT中使用的方法来克服这些挑战。我们的语义链接发现的方法涉及使用国家的最先进的近似字符串匹配技术结合基于本体的语义匹配的记录,所有的声明性和易于使用的框架中进行。我们提出了一个评估我们提出的技术在几个链接发现的情况下,在LinkedCT的性能。
2009-08-04 cs.CE cs.DB cs.IR
Incremental Entity Resolution from Linked Documents
在许多政府应用程序中,我们经常发现有关实体(如人员)的信息存在于不同的数据源中,如护照、驾驶执照、银行账户和所得税记录。类似的场景在拥有多个客户、供应商或合作伙伴数据库的大型企业中很常见。每个数据源维护实体的不同方面,并且基于这些属性解析实体是一个经过充分研究的问题。然而,在许多情况下,一个来源中的文件引用其他来源中的文件;例如,申请人在申请护照时可提供其驾驶执照号码,反之亦然。这些链接定义同一实体的文档之间的关系(与实体间关系相反,后者也经常用于解析)。在本文中,我们描述了一种算法,聚类文件,很可能属于同一个实体,利用除了属性相似性的文件间的引用。我们的技术使用迭代图遍历,局部敏感哈希,迭代匹配合并和图聚类的组合,发现基于文档语料库的独特实体。我们的技术的一个独特的功能是,新的文档集可以增量添加,而必须重新解决以前解决的实体文档集合的一个小的子集。我们目前的性能和质量的两个数据集的结果:一个真实世界的数据库的公司和一个大的综合生成的“人口”数据库。我们还展示了使用文档间引用进行聚类的好处,其形式是增强文档的召回率。
2014-02-18 cs.DB cs.IR
Exploration and Visualization in the Web of Big Linked Data: A Survey of the State of the Art
数据探索和可视化系统在大数据时代非常重要。探索和可视化非常大的数据集已经成为一个主要的研究挑战,其中可扩展性是一个至关重要的要求。在这次调查中,我们描述了现代勘探和可视化系统应该解决的主要先决条件和挑战。考虑到这些挑战,我们提出了如何从数据库和信息可视化社区的最先进的方法试图处理它们。最后,我们调查的语义Web社区的关联数据的背景下开发的系统,并讨论在何种程度上满足当代的要求。
2016-01-29 cs.DB cs.HC
Supporting Finite Element Analysis with a Relational Database Backend, Part II: Database Design and Access
这是关于使用数据库进行有限元分析(FEA)的三篇文章系列的第二部分。它讨论了(1)数据库设计,(2)数据加载,(3)网格构建过程中的典型用例,(4)模拟过程中的典型用例(get和put),(5)分析过程中的典型用例(也在第三部分中完成)以及这些用例的一些性能度量。它认为,使用数据库比自定义数据模式更容易实现,具有更好的性能,因为它可以使用数据并行,更好地支持有限元分析模块化和工具的演变,因为数据库模式的演变,数据独立性,自定义数据。
2007-01-25 cs.CE cs.DB
Technical Report: Bundling Linked Data Structures for Linearizable Range Queries
我们提出了捆绑引用,一个新的构建块,提供高度并发的基于锁的链接数据结构的线性范围查询操作。绑定引用允许范围查询遍历与目标原子快照一致的数据结构中的路径。我们展示了我们的技术与三个数据结构:链表,跳表,和二叉搜索树。我们的评估表明,在混合工作负载中,我们的设计可以改进最先进的技术,对于跳表是1.2x-1.8x,对于二叉搜索树是1.3x-3.7x。我们还将捆绑的数据结构集成到DBx 1000内存数据库中,与相同的竞争对手相比,收益高达40%。
2022-06-29 cs.DB cs.DC cs.DS
VoID-graph: Visualize Linked Datasets on the Web
链接开放数据(LOD)云图是一幅帮助我们掌握全球可用数据集的内容和链接的图片。这种图表是关联数据运动的一种强大的传播方法,使人们能够一瞥这个分布式,互连数据库的大小和结构。然而,为第三方数据集生成这样的图像可能是一项相当复杂的任务,因为它需要安装和理解各种不容易设置的工具。在本文中,我们提出了VoID-graph(http://lmarteis.github.io/void-graph/),一个独立的Web工具,给定VoID描述,可以可视化类似于LOD云的图。这是新颖的,因为图是直接在Web浏览器中自动从VoID描述中形成的,这不需要任何服务器合作。这使得它不仅易于使用,因为不需要安装或配置,而且还使其更具可持续性,因为它是使用开放Web标准(如JavaScript和SVG)构建的。
2014-08-28 cs.DB cs.HC
Query Based Access Control for Linked Data
近年来,我们看到用于发布和消费关联数据的技术取得了重大进展。然而,为了支持下一代的电子商务应用程序上的互连的机器可读数据的适当形式的访问控制需要到位。虽然已经提出了一些访问控制模型和框架,很少有研究已经进行到与授予访问部分数据或所提出的访问控制机制的正确性相关的安全问题。因此,本文的贡献有两个方面:我们提出了一个查询重写算法,可用于部分限制访问SPARQL 1.1查询和更新;我们演示了如何一组标准,这是最初用于验证访问控制策略持有不同的数据库状态,可以通过查询重写来验证访问控制的正确性。
2020-12-31 cs.CR cs.DB
GDsmith: Detecting Bugs in Graph Database Engines
图形数据库引擎在大数据时代脱颖而出,因为它们能够高效地建模和处理链接数据。有一个测试图形数据库引擎的强烈需求。然而,随机测试作为自动化测试生成的最实用方法,在检测图数据库引擎中的错误时面临着语义有效性、非空结果和行为多样性的挑战。为了应对这些挑战,在本文中,我们提出了GDsmith,第一个黑盒方法测试图数据库引擎。它通过骨架的生成和补全来确保每个随机生成的Cypher查询满足语义需求。GDsmith包括我们的技术,通过利用三种类型的结构突变策略来增加生成返回非空结果的Cypher查询的概率。GDsmith还包括我们的技术,通过在生成新查询时根据其先前的频率选择属性键来提高所生成的Cypher查询的行为多样性。我们的评估结果表明,GDsmith是有效和高效的自动查询生成,并大大优于基线。GDsmith成功地在三个流行的开源图形数据库引擎的发布版本上检测到27个以前未知的错误,并从开发人员那里获得了积极的反馈。
2022-06-17 cs.DB cs.SE
Querying over Federated SPARQL Endpoints ---A State of the Art Survey
在过去的几年里,越来越多的关联数据及其固有的分布式特性引起了整个研究界和从业者对数据搜索的极大关注。受传统分布式数据库研究成果的启发,介绍了在SPARQL端点上管理联邦的不同方法。SPARQL是RDF的标准化查询语言,RDF是链接数据部署中使用的默认数据模型,SPARQL端点是许多链接开放数据(LOD)存储库提供的流行访问机制。在本文中,我们首先概述了联邦框架的基础设施,然后继续与现有的SPARQL联邦框架的比较。最后,我们强调了现有框架的缺点,我们希望这有助于催生新的研究方向。
2013-06-07 cs.DB cs.DC
Toward Multi-Database Query Reasoning for Text2Cypher
Neo4j(Neo4j公司)
本文提出多数据库查询推理方法,解决跨多个独立图数据库的查询问题,通过三阶段路线图实现数据库路由、分解和异构查询推理。
2026-05-11 cs.CL cs.DB
Implementing GraphQL as a Query Language for Deductive Databases in SWI-Prolog Using DCGs, Quasi Quotations, and Dicts
在分布式系统中访问大型关系数据库的方法已经很成熟:关系查询语言SQL通常用作数据访问和操作的语言,此外,公共接口使用REST等通信协议公开。与REST类似,GraphQL是Facebook开发的应用层的查询协议。它为客户端和服务器之间的数据获取和操作提供了一个统一的接口。使用GraphQL的类型系统,可以指定各种源的数据处理并组合,例如,与NoSQL数据库的关系。与REST相比,GraphQL提供了单个API端点,并支持对链接数据的灵活查询。GraphQL也可以用作演绎数据库的接口。在本文中,我们介绍了GraphQL,并与REST进行了比较。使用最近添加到SWI-Prolog 7的语言功能,我们开发了Prolog库GraphQL.pl,它实现了GraphQL类型系统和查询语法,作为一种特定于域的语言,并借助定子句语法(DCG),准引号和dicts。使用我们的库,可以验证为演绎数据库创建的类型系统,而查询系统提供了一个统一的接口,用于数据访问和内省。
2017-01-03 cs.DB cs.PL
Managing FAIR Knowledge Graphs as Polyglot Data End Points: A Benchmark based on the rdf2pg Framework and Plant Biology Data
Rothamsted Research(洛桑研究所);Aragon Institute of Engineering Research (I3A)(阿拉贡工程研究所(I3A));University of Zaragoza(萨拉戈萨大学);Arcade Data Ltd(Arcade Data 有限公司)
本文提出rdf2pg框架,将RDF数据映射为标记属性图,并基准测试Virtuoso、Neo4j、ArcadeDB及SPARQL、Cypher、Gremlin,以支持知识图谱的多语言访问。
2025-05-23 cs.AI cs.DB
WikiDBGraph: A Data Management Benchmark Suite for Collaborative Learning over Database Silos
National University of Singapore(新加坡国立大学)
WikiDBGraph通过构建大规模现实数据库数据集,评估协作学习在处理现实数据孤岛中的有效性与局限性,揭示了现有方法在实际部署中的不足。
2026-03-09 cs.DB cs.LG
A Practical Approach to Proper Inference with Linked Data
Colorado State University(科罗拉多州立大学);University of Florida(佛罗里达大学);Duke University(杜克大学)
实体解析(ER),包括记录链接和重复数据删除,是在没有唯一标识符的情况下合并有噪声的数据库以删除重复实体的过程。使用链接数据进行分析的一个主要挑战是在确定的匹配中识别代表性记录以传递到推理或预测任务,称为\emph{downstream task}。此外,在下游任务中纳入ER的不确定性对于确保正确的推断至关重要。为了弥合ER与分析管道中下游任务之间的差距,我们提出了五种方法来从链接数据中选择代表性(或规范)记录,称为规范化。我们的方法在记录数量上是可扩展的,适用于一般的数据场景,并通过贝叶斯规范化阶段提供自然的错误传播。三个模拟数据集和一个应用程序-确定从北卡罗来纳州选举委员会的选民登记数据的人口信息和党派之间的关系,所提出的方法进行评估。我们首先执行贝叶斯ER和评估我们提出的方法规范化之前,考虑线性和逻辑斯谛回归的下游任务。贝叶斯规范化方法的经验表明,通过预测和覆盖,以提高下游的推理在这两种设置。
2022-02-08 cs.DB cs.LG stat.ME
Development of Semantic Web-based Imaging Database for Biological Morphome
RIKEN Center for Life Science Technologies (CLST)(日本理化学研究所生命科学技术中心);RIKEN CLST-JEOL Collaboration Center(日本理化学研究所CLST-JEOL合作中心);RIKEN Compass to Healthy Life Research Complex Program(日本理化学研究所健康生活研究综合体指南项目);RIKEN BioResource Center (BRC)(日本理化学研究所生物资源中心);Advanced Center for Computing and Communication (ACCC), RIKEN(日本理化学研究所高级计算与通信中心)
我们介绍了RIKEN显微结构成像元数据库,一个基于语义网络的成像数据库,其中图像元数据使用资源描述框架(RDF)描述,在图像中观察到的详细生物学特性可以表示为链接的开放数据。元数据被用来开发一个大规模的成像查看器,提供了一个简单的图形用户界面,以可视化一个大的微观结构平铺图像在千兆字节的水平。我们应用该数据库来积累由自动扫描电子显微镜产生的全面的显微结构成像数据。因此,我们成功地管理了大量的图像及其元数据,包括对亚细胞成分和图像中捕获的生物样品中发生的形态表型的解释。我们还讨论了先进的利用形态学成像数据,可以促进这个数据库。
2021-10-20 cs.AI cs.CV cs.DB
Privacy-Preserving Database Fingerprinting
当与其他方共享敏感的关系数据库时,数据库所有者旨在(i)具有对数据库条目的隐私保证,(ii)在接收者未经授权共享其数据库的情况下具有责任保证(通过指纹识别),以及(iii)向接收者提供高质量(实用)数据库。我们观察到,共享一个关系数据库的隐私和责任保证是正交的目标。前者可以通过向数据库中注入噪声来防止对原始数据值的推断来实现,而后者可以通过在数据库中隐藏唯一标记来跟踪未经授权重新分发数据的恶意方(数据接收方)来实现。我们同时实现这两个目标,提出了一种新的入门级差异私有指纹机制的关系数据库。在一个高层次上,所提出的机制满足隐私和责任的要求,利用随机化的性质,是固有的指纹,并实现所需的入门级隐私保证。更具体地说,我们设计了一个比特级的随机响应方案,以实现差分隐私保证任意数据录入时,共享整个数据库,然后,在此基础上,我们开发了一个$ε$ -入口级差分隐私指纹机制。接下来,我们从理论上分析了隐私保障,指纹鲁棒性和数据库效用之间的关系,推导出封闭形式的表达式。该分析的结果使我们能够约束属性推断攻击所造成的隐私泄漏,并描述了隐私-效用耦合和隐私-指纹鲁棒性耦合。此外,我们还提出了一个基于SVT的解决方案,以控制累积的隐私损失时,数据库的指纹副本与多个收件人共享。
2022-03-06 cs.CR cs.DB
Views: A Hardware-Aware Recursively Labeled Graph Database Model for Knowledge Representation and Reasoning
Centre for Electronics Frontiers, Institute for Integrated Micro and Nano Systems, School of Engineering, University of Edinburgh(爱丁堡大学工程学院集成微纳系统研究所电子前沿中心);Literal Labs(Literal实验室)
本文提出Views,一种硬件感知的递归标记图数据库模型,通过链表式链接节点和关联存储架构,实现知识表示与高效K跳遍历,为关联存储和图遍历提供模型-架构协同设计。
2026-09-18 cs.AR cs.DB cs.DC
On the effects of logical database design on database size, query complexity, query performance, and energy consumption
本研究基于IMDb数据集与PostgreSQL开展实证分析,探究数据库规范化对规模、查询复杂度、性能与能耗的影响,发现1NF到2NF优化收益显著,2NF到4NF收益甚微且增加存储需求。
2025-01-13 cs.DB cs.PF
Large Scale Record Linkage in the Presence of Missing Data
记录链接的目的是准确和有效地识别不同数据库中或不同数据库之间代表同一实体的记录。它是数据集成中的一项基本任务,在从健康分析到国家安全的应用领域中越来越需要准确的决策。传统的记录链接技术计算准标识(QID)值之间的字符串相似性,例如人名和地址。然而,错误、变异和缺失QID值会导致低连锁质量,因为无法准确计算记录之间的相似性。为了克服这一挑战,我们提出了一种新的技术,即使QID值包含错误或变化,或丢失,也可以准确地链接记录。我们首先使用基于Apriori的合适QID属性选择生成属性签名(级联QID值),然后使用封装记录之间的关系信息的关系签名。结合起来,这些签名可以唯一地识别单个记录,并通过记录之间的精确相似性计算来促进非常大的数据库的快速和高质量的链接。我们使用大型真实世界的数据库评估我们的方法的链接质量和可扩展性,表明即使被链接的数据库包含大量的缺失值和错误,它也可以实现高链接质量。
2021-04-19 cs.DB cs.IR
Experimenting with recursive queries in database and logic programming systems
Università della Calabria(卡拉布里亚大学)
本文考虑了大量(可能是分布式的)数据的推理问题。目前,现有的建议显示出一些局限性:{ \em(i)}由于推理通常在主存中进行的事实,可以同时处理的数据的量是有限的; { \em(ii)}与外部的交互(和独立的)DBMS不是微不足道的,在某些情况下,根本不允许;{ \em(iii)}当前实现的效率对于它们在涉及大量数据的复杂推理任务中的利用仍然是不够的。本文提供了在这种情况下的贡献,它提出了一个新的系统,称为DLV $^{DB}$,旨在解决这些问题。此外,本文报告了一个彻底的实验分析的结果,我们已经进行了比较我们的系统与几个国家的最先进的系统(包括逻辑和数据库)的一些经典的演绎问题;其他测试系统是:LDL++,XSB,Smodels和三个顶级的商业DBMS。DLV $^{DB}$在递归查询上的性能甚至明显优于商业数据库系统。逻辑程序设计理论与实践(Theory and Practice of Logic Programming,TPLP)
2007-04-24 cs.AI cs.DB
Big Data is not the New Oil: Common Misconceptions about Population Data
The Australian National University(澳大利亚国立大学);University Duisburg-Essen(杜伊斯堡-埃森大学)
涵盖人口中所有个人的数据库越来越多地用于研究和决策。这种数据库的庞大规模经常被误认为是有效推理的保证。然而,人口数据的特点使其难以使用。通常对人口覆盖面和数据质量作出各种假设,包括如何获取此类数据以及对这些数据进行了何种处理。此外,人口数据的全部潜力往往只有在这些数据与其他数据库链接时才能发挥。记录链接往往意味着微妙的技术问题,很容易被忽视。我们讨论了与任何人捕获,处理,链接或分析人口数据相关的各种误解。值得注意的是,这些误解中有许多是由于数据汇集的社会性质,因此被数据处理的纯技术帐户所忽略。这些误解中有许多在科学出版物中也没有得到很好的记载。最后,我们提出了一套使用人口数据的建议。
2022-09-02 cs.CY cs.DB cs.IR