Benchmarking data warehouses
数据仓库体系结构的选择和优化技术对决策支持查询性能至关重要。为了方便这些选择,必须评估所设计的数据仓库的性能,通常使用基准。这些工具既可以帮助系统用户比较不同系统的性能,也可以帮助系统工程师测试各种设计选择的效果。虽然事务处理性能委员会的标准基准解决了第一个问题,但它们的可调性不足以解决第二个问题,并且无法对不同的数据仓库模式进行建模。相比之下,我们的数据仓库工程基准(DWEB)允许生成各种特定的合成数据仓库和工作负载。DWEB是作为一个Java自由软件实现的,它可以与大多数现有的关系数据库管理系统接口。DWEB的完整规格,以及我们进行的实验,以说明如何使用我们的基准测试,在本文中提供。
2017-01-02 cs.DB
PDM based I-SOAS Data Warehouse Design
本文简要介绍了产品数据管理在任何组织的技术和管理数据管理的工业贡献。然后针对目前PDM系统中存在的一些主要问题,即静态搜索和非智能搜索、系统平台无关性和PDM系统的成功实现,简要介绍了一种基于语义的解决方案I-SOAS。本文主要介绍和讨论I-SOAS在任何组织的技术和系统数据管理中的贡献。
2010-08-07 cs.DB
Data Warehouse Design for Multiple Source Forest Inventory Management and Image Processing
本研究开发了整合多源林业数据的原型数据仓库,支持长期监测管理,可转换数据为ML/DL模型输入,首次整合无人机影像与纸质记录并在YOLOv11测试,提升了地面真实数据和模型性能。
2025-02-10 cs.DB
Ontology-based industrial data management platform
关系存储和noSQL存储是为了快速处理具有稳定结构的大型数据集而开发的,而本体则用于表示有限大小的复杂和动态信息集。在工业应用中,经常需要维护从各种来源合并的大型数据仓库。本体是有用的,表示该数据的结构,但RDF三重存储是不是很适合存储it. We提供了一种方法和一个系统,允许使用的机会,快速存储引擎以及基于本体的数据管理工具,包括SPARQL查询的灵活性。该系统实现了一个多模型的数据抽象层,它允许工作的数据,如果它是位于RDF三元组存储,执行SPARQL查询,它和ap-plies SHACL的约束和规则。
2021-03-09 cs.DB cs.SE
Semantic Data Warehouse Modelling for Trajectories
在时空域中的移动对象的轨迹模式在从移动生成的数据的管理方面提供了不同的信息。轨迹数据仓库是用于轨迹对象及其相关联的空间对象在定义的时间段内的数据和信息的数据储存库。来自数据仓库的轨迹对象的查询结果通常不足以回答某些趋势行为和有意义的推断,而没有轨迹对象或特定目的或上下文内的地理空间环境的相关联的语义信息。本文提出并设计了一个通用的本体建模框架,作为设计轨迹语义数据仓库的后台模型平台。该语义轨迹数据仓库可适用于任意时空应用领域的轨迹数据处理和分析。该方法支持更高粒度的数据作为预处理和转换的ETL数据的结果,以便为底层轨迹数据提供有效的语义推理。此外,该方法概述了作为必要的实体提取语义信息的主题方面。此外,建模方法提供了一个设计平台,有效的预测趋势分析和知识发现的轨迹动力学和数据处理的移动对象。
2019-04-13 cs.DB
A Conceptual Metadata Framework for Spatial Data Warehouse
元数据代表了数据仓库中存储的数据信息,是构建高效数据仓库的必备要素,元数据有助于数据集成、沿袭、数据质量和将转换后的数据填充到数据仓库中。空间数据仓库基于主要从地理信息系统(GIS)收集的空间数据元数据的设计和部署是数据仓库建设中最关键的阶段,必须将空间信息和数据建模结合起来。本文介绍了一种基于元数据的空间数据建模方法,我们提出了一个整体的元数据框架,驱动空间数据仓库的元数据创建。从理论上讲,该元数据框架提高了对空间数据仓库频繁查询的数据访问效率,即减少了查询的响应时间,并从数据仓库中获取了包括空间信息在内的准确信息。
2013-06-07 cs.DB
A Complex Data Warehouse for Personalized, Anticipative Medicine
随着新技术的日益普及,医疗保健正在发生重大变化。医学信息化需要开发医疗决策支持系统,需要对各种异构数据进行分析,如病历、医学影像、生物学分析结果等。本文提出了高水平运动员复杂数据仓库的设计。它在两个方面是原创的。首先,它旨在存储复杂的医疗数据。第二,它的设计允许创新的和完全不同的分析,以支持:(1)个性化和预期的药物(相对于治疗药物),为明确的患者;(2)宽带统计研究,在一个给定的人口的患者。此外,该系统包括与若干医学领域有关的数据。它还被设计为渐进式的,以考虑到医学研究的未来进展。
2008-09-16 cs.DB
Les index pour les entrepôts de données : comparaison entre index arbre-B et Bitmap
随着决策系统特别是数据仓库的发展,数据仓库设计在其创建之前的可见性变得至关重要,并且由于数据仓库被认为是赋予决策意义的唯一数据源的重要性。在决策系统中,数据仓库的正常运行一方面取决于中间件工具ETC步骤的平稳运行,另一方面取决于通过数据采掘、报告解决方案、仪表板等的恢复步骤。等其他。通过这些阶段的大量数据需要一个高效的决策系统的最佳设计,而不忽视为数据仓库实施引入的技术的选择,例如:数据库管理系统,服务器操作系统的类型,物理服务器架构(例如64位),这可能是该系统的优势性能。数据仓库的设计者要考虑数据查询的有效性,这取决于相关索引的选择及其与物化视图的结合,注意索引的选择是一个NP完全问题,因为索引的数量在数据库中的属性总数中是呈指数关系的,所以,在数据仓库设计时,适合此数据仓库的索引类型。本文对B树索引类型和位图索引类型进行了比较研究,分析了它们的优缺点,并通过一个实际的实验表明位图索引类型比B树索引类型更有优势。
2013-07-09 cs.DB
Materialized View Selection by Query Clustering in XML Data Warehouses
XML数据仓库为利用复杂数据的决策支持应用程序提供了一个有趣的基础。然而,目前原生XML数据库管理系统的性能有限,有必要设计策略来优化它们。在本文中,我们提出了一个自动化的策略,选择XML物化视图,利用数据采掘技术,更准确地说,聚类的查询工作量。为了验证我们的策略,我们实现了一个按照XCube规范建模的XML仓库。我们在这个仓库上执行了一个XQuery决策支持查询的工作负载,使用和不使用我们的策略。我们的实验结果表明,它的效率,即使查询是复杂的。
2008-09-11 cs.DB
Data Warehouse Benchmarking with DWEB
性能评估是数据库管理系统(DBMS)设计者和用户关心的一个重要问题。性能通常通过软件基准来评估,这些基准有助于,例如,测试架构选择、比较不同的技术或调整系统。在数据仓库和联机分析处理(OLAP)的特定环境中,尽管事务处理性能委员会(TPC)旨在发布标准的决策支持基准,但实际上很少有基准。我们在本章中介绍了数据仓库工程基准(DWEB),它允许生成各种特定的合成数据仓库和工作负载。DWEB是完全参数化的,以满足各种数据仓库的设计需要。但是,两个级别的参数化使其相对易于调整。我们还通过介绍其新的提取,转换和加载(ETL)功能以及新的执行协议来扩展我们以前在DWEB上的工作。DWEB的Java实现可以在线免费获得,它可以与大多数现有的关系DMBS接口。据我们所知,DWEB是数据仓库唯一容易获得的最新基准。
2017-01-27 cs.DB
Architecture of an Open-Sourced, Extensible Data Warehouse Builder: InterBase 6 Data Warehouse Builder (IB-DWB)
本文介绍了一个基于Borland InterBase 6 Open Edition Database Server的开源数据仓库构建器InterBase数据仓库构建器(IB-DWB)的开发。InterBase 6因其低维护和占地面积小而被使用。IB-DWB是模块化设计的,由5个主要组件组成,数据插件平台,发现者平台,多维立方体构建器和查询支持器,由一个内核绑定在一起。它也是一个可扩展的系统,通过数据插件平台和发现者平台成为可能。目前,只能通过动态链接库(DLL)进行扩展。多维立方体构建器代表了数据聚合的基本方法。IB-DWB的体系结构哲学围绕着提供一个可扩展的基础平台,它在功能上由扩展模块支持。IB-DWB目前由sourceforge.net(Unix项目名称:ib-dubble)托管,在GNU通用公共许可证第2版下许可。
2006-06-10 cs.DB
SODA: Generating SQL for Business Users
数据仓库的目的是使业务分析师能够做出更好的决策。多年来,技术已经成熟,数据仓库已经非常成功。因此,越来越多的数据被添加到数据仓库中,并且它们的模式变得越来越复杂。这些系统仍然工作得很好,以生成预先录制的报告。然而,由于它们目前的复杂性,它们往往不适合那些不精通技术的业务分析师,因为他们需要对没有预料到的特定查询的答案。本文介绍了SODA系统(Search over数据仓库)的设计、实现和经验。SODA弥合了分析师的业务需求与当前数据仓库的技术复杂性之间的差距。SODA通过获取业务用户的关键字查询并自动生成可执行的SQL,为数据仓库提供类似Google的搜索体验。其关键思想是使用一种图形模式匹配算法,该算法使用数据仓库的元数据模型。我们的研究结果表明,SODA产生的查询具有很高的精度和召回率,并使业务用户更容易交互式地探索高度复杂的数据仓库。
2012-06-30 cs.DB
A Distributed Spatial Data Warehouse for AIS Data (DIPAAL)
Aalborg University(奥尔堡大学)
本文提出了一种用于AIS数据的分布式空间数据仓库,通过空间划分和栅格查询方法提升大规模船舶轨迹分析效率。
2026-01-20 cs.DB
Designing and Implementing Data Warehouse for Agricultural Big Data
University College Dublin(都柏林大学学院)
近年来,利用现代信息和通信技术的精准农业正变得非常流行。原始和半加工的农业数据通常通过各种来源收集,例如:物联网(IoT)、传感器、卫星、气象站、机器人、农业设备、农民和农业企业等。此外,农业数据集非常庞大、复杂、非结构化、异构、非标准化和不一致。因此,农业数据采掘在数量、种类、速度和准确性上都被认为是大数据应用。它是建立作物智能平台的关键基础,这将使资源有效的农艺决策和建议。本文结合Hive、MongoDB和Cassandra设计并实现了一个大陆级农业数据仓库。我们的数据仓库功能:(1)灵活图式;(2)来自真实农业多数据集的数据集成;(3)数据科学和业务智能支持;(4)高性能;(5)高存储;(6)安全性;(7)治理和监控;(8)复制和恢复;(9)一致性、可用性和分区容忍;(10)分布式和云部署。我们还评估了我们的数据仓库的性能。
2019-05-29 cs.AI cs.DB cs.LG
Modélisation et extraction de données pour un entrepôt objet
本文描述了一种用于设计复杂的、时变的数据仓库数据的面向对象模型。主要贡献是仓库类的概念,它通过时态和归档过滤器以及映射函数扩展了类的概念。过滤器允许保留相关的数据更改,而映射函数则从全局数据源模式定义仓库类模式。该方法考虑了静态特性以及动态特性。行为提取是基于使用矩阵的概念。
2010-05-03 cs.DB
Innovative Approaches for efficiently Warehousing Complex Data from the Web
对数据仓库和联机分析处理的研究为决策支持信息系统的设计、管理和使用提供了重要的技术。随着互联网的发展,各种类型的数据的可用性增加。因此,用户需要应用程序来帮助他们从Web获取知识。一个可能的解决方案,以促进这一任务是从Web提取信息,转换和加载到一个Web仓库,它提供了统一的访问方法,自动处理的数据。在这一章中,我们提出了三个创新的研究,最近推出的决策支持系统的能力,即(1)使用XML作为一个逻辑和物理模型的复杂数据仓库,(2)关联数据采掘OLAP允许复杂的数据进行详细的分析任务和(3)在复杂的数据仓库的模式演变的个性化分析。我们的贡献涵盖了数据仓库设计过程的主要阶段:数据集成和建模以及用户驱动的OLAP分析。
2017-01-30 cs.DB
The End of an Architectural Era for Analytical Databases
传统的企业仓库解决方案围绕着一个单一的、不灵活的分析数据库系统:在分析之前,数据需要被提取、转换并加载到严格的关系形式中。配置和部署一个仓库需要多年的复杂规划;向现有仓库添加新的硬件资源同样是一项漫长而艰巨的任务。此外,现代数据分析采用的统计方法远远超出了仓库系统提供的典型汇总和下钻功能。虽然可以使用SQL和UDF的组合来实现这样的方法,但是关系数据库中的查询引擎不适合这些方法。Hadoop生态系统引入了一套数据分析工具,克服了传统解决方案的一些问题。然而,这些系统放弃了多年的仓库研究。内存在Hadoop集群中的利用率明显不足,与关系型引擎相比,执行引擎是幼稚的。现在是时候重新考虑数据仓库系统的设计,并从两个世界中取其精华了。新一代的仓库系统应该是模块化的、高性能的、容错的、易于配置的,并且被设计为支持SQL查询处理和机器学习应用。本文参考了伯克利分校开发的Shark系统作为初步尝试。
2012-09-06 cs.DB cs.DC
Automatically Drafting Ontologies from Competency Questions with FrODO
Institute of Cognitive Sciences and Technologies, Italian National Research Council (ISTC-CNR)(意大利国家研究委员会认知科学与技术研究所);University of Bologna(博洛尼亚大学)
我们提出了基于框架的本体设计出口(FrODO),一种新的方法和工具,从能力问题自动起草本体。能力问题被表达为自然语言,并且是用于表示许多敏捷本体工程方法(例如极限设计(XD)或SAMOD)中的需求的常见解决方案。FrODO建立在FRED之上。事实上,它利用框架语义来围绕由FRED从能力问题产生的RDF绘制领域相关的边界,从而起草领域本体。我们进行了基于用户的研究,评估FrODO在支持工程师的本体设计任务。研究表明,FrODO是有效的,由此产生的本体草案是定性的。
2022-08-03 cs.AI cs.CL cs.DB
Conceptual Modelling and The Quality of Ontologies: Endurantism Vs. Perdurantism
The University of Jordan(约旦大学);Brunel University – West London(布鲁内尔大学西伦敦校区)
本体是在不同的应用程序和各方之间共享精确的和机器可理解的语义的关键使能器。然而,为了使本体满足这些期望,它们的质量必须具有良好的标准。本体的质量很大程度上取决于所采用的设计方法。本文讨论了本体建模相关的设计问题,具体集中在有关的问题产生的概念化的质量。本文的目的是展示的本体模型的质量上通过的建模范式的影响,因此,这样的决定可以有关系到软件应用程序的开发的潜在影响。为了这个目的,一个本体,是概念化的基础上的对象角色建模(ORM)的方法(代表perdurantism)被重新设计成一个模型的基础上的对象范式(OP)(perdurantism的代表)。接下来,使用指定的标准分析比较两个本体。进行的比较强调,使用OP的本体概念化可以提供更多的表达,可重用的,客观的和时间的本体比那些概念化的基础上的ORM方法。
2012-07-11 cs.AI cs.DB
Pengembangan Domain Specific Language Untuk Pengelolaan Data Warehouse
本研究针对银行交易服务性能优化需求,开发了用于数据仓库数据传输的DSL应用,通过词法、语法等四阶段分析生成可执行命令,可降低非技术人员数据传输的命令编写错误,支持按数据规模进行Oracle传输决策。
2023-06-16 cs.DB cs.FL
Toward a New Approach for Modeling Dependability of Data Warehouse System
任何数据仓库系统(DWS)的可持续性都与用户满意度密切相关。因此,分析人员、设计人员和开发人员更多地关注实现其所有功能,而不考虑其他类型的需求,如可靠性方面。此外,后者通常被认为是系统的属性,一旦项目完成,必须进行检查和纠正。“以后再修复”的做法可能会导致整个数据仓库系统的过时。因此,它需要采用一种方法,以确保从项目DWS的早期阶段起就整合可靠性方面。在本文中,我们首先定义的概念相关的DWS的可靠性。然后,我们提出了我们的方法的灵感来自MDA(模型驱动架构)的方法模型的可靠性的方面,即:可用性,可靠性,可维护性和安全性,考虑到他们的相互作用。
2013-11-04 cs.DB cs.SE
The Conceptual Integration Modeling Framework: Abstracting from the Multidimensional Model
数据仓库绝大多数是通过自底向上的过程构建的,该过程从源的标识开始,继续从这些源提取和转换数据,然后根据期望的多维关系模式将数据加载到一组数据集市中。最终用户商业智能工具被添加到具体化的多维模式之上,以推动组织中的决策制定。不幸的是,这种自下而上的方法在所需的熟练用户和仓库的庞大规模方面都是昂贵的。本文提出了一个自顶向下的框架,其中数据仓库是由一个概念模型驱动。该框架提供了设计时和运行时间环境。在设计时,业务用户首先使用概念建模语言作为多维对象模型来指定所需的业务信息;然后将概念模型映射到预先存在的逻辑多维表示。在运行时间,系统将把用户概念模型与映射一起变换成逻辑多维表示上的视图。我们专注于用户如何从现有的数据仓库中抽象概念,以及如何将这个概念模型映射到逻辑多维表示。我们还给出了一个指示,什么查询语言是使用的概念模型。最后,我们认为,我们的框架是一个步骤,沿着允许自动生成的数据仓库。
2010-09-01 cs.DB
Automatic approach for generating ETL operators
本文讨论了ETL操作符(Extract-Transform-Load)的生成,这些操作符用于从关系数据源提供数据仓库。作为第一步,我们在[1]作者提出的规则基础上增加了新的规则,这些规则处理ETL操作符的组合。在第二步中,我们提出了一种基于模型转换的自动方法来生成加载数据仓库所需的ETL操作。这种方法提供了为加载设置一些设计师要求的可能性。
2012-12-25 cs.DB
Conception d'un banc d'essais décisionnel
本文提出了一种新的评价数据仓库性能的基准。基准测试对系统用户比较不同系统的性能或系统工程师测试各种设计选择的效果都很有用。虽然TPC(事务处理性能委员会)标准基准解决了第一点,但它们的可调性不足以解决第二点。我们的数据仓库工程基准(DWEB)允许生成各种特定的合成数据仓库和工作负载。WEB是完全参数化的。但是,两个级别的参数化使其易于调整。由于DWEB主要满足工程基准测试需求,因此它是TPC标准基准测试的补充,而不是竞争对手。最后,DWEB被实现为一个Java自由软件,可以与大多数现有的关系数据库管理系统。
2007-04-26 cs.DB
A review of ontologies for smart and continuous commissioning
Ryerson University(瑞尔森大学)
建筑物的智能和连续调试(SCCx)可以显著缩小设计和运营性能之间的差距。本体在SCCx中起着重要的作用,因为它们有助于机器的数据可读性和推理。为了在SCCx中开发和整合本体,需要更好地理解本体。本文通过基于构建数据类型、一般方法和应用程序对SCCx领域中自2014年以来构建数据本体的最新研究进行了批判性回顾。建筑信息建模和建筑管理系统这两个主要领域的数据类型已经被大多数现有本体所考虑。通过对现有本体的批判性分析,可以明显看出三个主要应用:(1)关键性能指标计算,(2)建筑性能改进,以及(3)故障检测和诊断。在文献综述中发现的主要差距是SCCx的整体本体论和对如何评估这些方法的见解。基于这些发现,本研究为未来必要的研究,包括:SCCx相关的数据类型的识别,本体性能的评估,并创建开源方法提供了建议。
2022-08-25 cs.AI cs.DB
An Efficient Data Warehouse for Crop Yield Prediction
如今,与现代信息和通信技术相结合的精准农业在农业活动中变得越来越普遍,例如自动灌溉系统,精确种植,养分和农药的变量应用以及农业决策支持系统。在后者中,基于机器学习和数据采掘的作物管理数据分析主要关注如何有效地预测和提高作物产量。近年来,原始和半加工的农业数据通常是使用传感器、机器人、卫星、气象站、农业设备、农民和农业综合企业收集的,而物联网(IoT)应该能够实现农业生态系统中物体和设备的无线连接。农业数据通常捕获有关农业实体和操作的信息。每个农业实体都封装了一个单独的农业概念,如田地、作物、种子、土壤、温度、湿度、害虫和杂草。农业数据集具有空间性、时间性、复杂性、异构性、非标准化性和庞大性等特点。特别是,农业数据在数量、种类、速度和准确性方面被认为是大数据。设计和开发面向精准农业的数据仓库是建立作物智能平台的重要基础,可以实现资源高效的农艺决策和建议。对这种农业数据仓库的一些要求是隐私、安全和其利益相关者之间的实时访问(例如,农民、农业设备制造商、农业综合企业、合作社、客户和可能的政府机构)。然而,目前文献中很少有报道关注设计高效的数据仓库,以实现农业大数据分析和数据采掘。在本文中...
2018-06-26 cs.CY cs.DB
Selection of BJI configuration: Approach based on minimal transversals
决策系统处理存储在称为数据仓库的新数据库中的大量数据。数据仓库通常由星型模式建模,星型模式通常表示中心事实表和一组维度表。因此,针对这种类型的模型的相应查询非常复杂。为了减少执行复杂查询的成本,其中包含非常昂贵的联接,设想的解决方案将是保证数据仓库的良好物理设计。二进制连接索引非常适合减少执行这些连接的成本。在这项工作中,我们提出了一个二元连接索引选择方法的基础上的最小横切面的概念。得到的最终配置由几个索引组成,这使得优化查询集的执行成本成为可能。
2018-10-22 cs.DB
ByteHouse: ByteDance's Cloud-Native Data Warehouse for Real-Time Multimodal Data Analytics
ByteDance(字节跳动);Shanghai Jiao Tong Univ.(上海交通大学)
本文提出ByteHouse,一种云原生数据仓库,解决多模态数据存储效率低、查询优化不足和资源分散导致性能下降的问题,通过统一存储引擎、共享缓存和优化计算层实现高效实时分析。
2026-03-25 cs.DB
Efficient Dependency Analysis for Rule-Based Ontologies
TU Dresden(德累斯顿工业大学)
已经提出了几种类型的依赖关系用于存在规则本体的静态分析,有希望了解给定规则集的计算特性和可能的实际用途,例如,基于本体的查询应答。不幸的是,这些依赖关系很少被实现,因此它们的潜力在实践中很难实现。我们专注于两种规则的依赖关系-积极的依赖和限制-和设计和实现优化算法,其有效的计算。超过100,000条规则的真实世界本体上的实验显示了我们方法的可扩展性,这让我们实现了几个以前提出的应用程序作为实际案例研究。特别是,我们可以分析在多大程度上基于规则的自下而上的推理方法可以保证产生无冗余的“精益”知识图谱(所谓的核心)的实用本体。
2022-07-20 cs.AI cs.DB cs.LO
MedTQ: Dynamic Topic Discovery and Query Generation for Medical Ontologies
University of Missouri-Kansas City(密苏里大学堪萨斯城分校)
生物医学本体是指通过开放数据运动极大地改善了数据管理和数据共享的感兴趣的生物医学领域的共享概念化。生物医学数据的快速增长和可用性使得对大规模本体进行手动分析和查询处理变得不切实际且计算昂贵。缺乏能力,从这样的各种来源的本体分析,并支持临床实践和生物医学研究的知识发现,应克服新技术。在这项研究中,我们开发了一个医学主题发现和查询生成框架(MedTQ),这是由一系列的方法和算法组成。介绍了一种基于谓词邻域模式的方法,该方法能够计算本体中谓词(关系)的相似性。给定谓词相似性度量,机器学习算法已经被开发用于自动主题发现和查询生成。通过扩展已有的有监督聚类算法(K-means clustering)来构造主题层次结构,设计了一种主题发现算法--层次K-means算法。在分层K-Means算法中,针对主题元素之间的强关联性,采用逐层优化策略。自动查询生成的主题,可以引导用户进行交互式查询设计和处理。评价进行生成主题层次的DrugBank本体作为一个案例研究。结果表明,MedTQ框架可以通过从特定领域的数据和本体中捕获底层结构来增强知识发现。
2018-02-12 cs.AI cs.DB cs.IR
A Data Model for Integrating Heterogeneous Medical Data in the Health-e-Child Project
最近有很多关于提供个性化医疗保健所需的数据基础设施的研究活动。特别是集成多个,潜在的分布式,异构的数据源在医疗领域的临床医生使用的要求已经设定了具有挑战性的目标healthgrid社区。本文所倡导的方法围绕提供一个集成的数据模型加上链接到/从本体同质化生物医学(从基因组,通过细胞,疾病,病人和人口相关)数据的背景下,EC框架6健康电子儿童项目。临床需求确定,在构建模型的设计方法进行了详细说明,并从该项目中采取的例子的背景下描述的集成模型。指针给出了未来的工作有关的模型,医学本体和挑战,使用完全集成的模型和本体确定。
2008-12-15 cs.DB
From Data Quality for AI to AI for Data Quality: A Systematic Review of Tools for AI-Augmented Data Quality Management in Data Warehouses
本研究系统综述了151款数据仓库DQ工具,发现仅10款符合AI增强DQM标准,揭示当前工具侧重为AI准备数据而非用AI提升数据质量,并为下一代AI驱动DQ解决方案提供了设计要求与范式转变方向。
2025-06-27 cs.AI cs.CE cs.DB
Mining Generalized Patterns from Large Databases using Ontologies
Université du Québec en Outaouais(魁北克大学乌塔韦分校)
形式概念分析(FCA)是一种基于概念和概念层次的形式化的数学理论。它已成功地应用于数据采掘、软件工程、知识工程等计算机科学领域,并在医学、心理学、语言学和生态学等许多领域得到应用。例如,它已被用于本体的设计,映射和细化。在本文中,我们展示了FCA如何通过分析分类(对象和/或属性)对所产生的概念格的影响,从给定的领域本体中受益。我们将主要集中在使用分类法来提取广义模式(即,当使用给定领域本体的元素时从数据生成的知识)以概念和规则的形式,并改进通过这些模式的导航。为此,我们分析了三个泛化的情况下,并显示其对广义模式集的大小的影响。还讨论了同时对对象和属性进行概括的不同情况
2009-05-28 cs.AI cs.DB cs.DM
Vers l'auto-administration des entrepôts de données
随着一般数据库和特别是数据仓库的广泛发展,减少数据库管理员必须手动执行的任务是重要的。使用数据采掘技术从数据本身中提取有用的管理知识的想法已经存在了一些年。然而,很少有研究取得了成果。本研究的目的是寻找一种方法,从存储的数据中提取有用的知识,自动应用性能优化技术,更具体地说,索引技术。我们设计了一个工具,从给定的工作负载中提取频繁项集来计算索引配置,以帮助优化数据访问时间。我们执行的实验表明,我们的工具生成的索引配置允许在测试数据库和测试数据仓库上获得15%到25%的性能提升。
2007-04-26 cs.DB
Finding Good Proofs for Answers to Conjunctive Queries Mediated by Lightweight Ontologies (Technical Report)
在本体介导的查询应答中,对不完整数据源的访问由本体构成的概念层介导。为了正确地计算查询的答案,有必要对本体所表达的约束进行复杂的推理。在文献中,存在大量的技术,将本体知识的查询。然而,这些方法中很少有被设计用于查询答案的可理解性。在这篇文章中,我们试图弥合这两个质量,适应证明框架最初适用于公理蕴涵的合取查询回答。我们调查的数据和组合的复杂性,确定存在的证明低于一个给定的质量阈值,这可以通过不同的方式来衡量。通过区分各种参数,如查询的形状,我们获得了这个问题的轻量级本体语言DL-Lite_R和EL的复杂性的概述,也有一个简短的时间查询回答。
2022-08-16 cs.DB cs.LO
SafeLoad: Efficient Admission Control Framework for Identifying Memory-Overloading Queries in Cloud Data Warehouses
Zhejiang University(浙江大学);Alibaba Cloud Computing(阿里云计算)
SafeLoad是首个专门用于识别云数据仓库中内存过载查询的高效准入控制框架,通过混合架构和自调优机制提升预测精度和资源利用效率。
2026-01-05 cs.DB cs.LG
Data Warehouse and Decision Support on Integrated Crop Big Data
Ho Chi Minh City Open University(胡志明市开放大学);University College Dublin(都柏林大学学院)
近年来,精准农业正变得越来越流行。采用现代信息和通信技术收集和处理农业数据,使农业生产发生了革命性变化。这已经开始了一段时间前(20世纪初),它是由收集有关一切的数据的低成本驱动的;从种子,土壤,肥料,害虫等领域的信息到天气数据,无人机和卫星图像。特别是今天的农业数据采掘,无论从数量、种类、速度还是准确性上都被认为是大数据应用。因此,它导致了处理大量复杂多样的信息以为农民、农学家和其他企业提取有用知识的挑战。它是建立作物智能平台的关键基础,这将使高效的资源管理和高质量的农艺决策和建议成为可能。本文设计并实现了一个大陆级农业数据仓库(ADW)。ADW的特点是(1)灵活的模式;(2)来自真实农业多数据集的数据集成;(3)数据科学和业务智能支持;(4)高性能;(5)高存储;(6)安全性;(7)治理和监控;(8)一致性,可用性和分区容忍;(9)云兼容性。我们还评估了ADW的性能,并提出了一些复杂的查询,以提取和返回有关作物管理的必要知识。
2021-04-12 cs.DB cs.DC cs.LG
Query-based Industrial Analytics over Knowledge Graphs with Ontology Reshaping
Bosch Center for Artificial Intelligence(博世人工智能中心);Oslo Metropolitan University(奥斯陆城市大学);University of Oslo(奥斯陆大学);Nanjing University(南京大学);City, University of London(伦敦城市大学)
包括设备诊断和异常检测在内的工业分析严重依赖于异构生产数据的集成。知识图谱作为数据格式和本体作为统一的数据模式是一种重要的解决方案,它提供了高质量的数据集成和一种方便的、标准化的方式来交换数据并在其上分层分析应用。事实上,这样的知识库大大增加了用户编写查询的训练时间,消耗大量的存储冗余信息,并且难以维护和更新。为了解决这个问题,我们提出了一个本体重塑的方法,将本体转化为KG模式,更好地反映了底层数据,从而有助于构建更好的KG。在这张海报中,我们对我们正在进行的研究进行了初步讨论,通过一组丰富的SPARQL查询来评估我们的方法,并讨论了我们的发现。
2022-09-22 cs.AI cs.DB