The Conceptual Integration Modeling Framework: Abstracting from the Multidimensional Model
数据仓库绝大多数是通过自底向上的过程构建的，该过程从源的标识开始，继续从这些源提取和转换数据，然后根据期望的多维关系模式将数据加载到一组数据集市中。最终用户商业智能工具被添加到具体化的多维模式之上，以推动组织中的决策制定。不幸的是，这种自下而上的方法在所需的熟练用户和仓库的庞大规模方面都是昂贵的。本文提出了一个自顶向下的框架，其中数据仓库是由一个概念模型驱动。该框架提供了设计时和运行时间环境。在设计时，业务用户首先使用概念建模语言作为多维对象模型来指定所需的业务信息;然后将概念模型映射到预先存在的逻辑多维表示。在运行时间，系统将把用户概念模型与映射一起变换成逻辑多维表示上的视图。我们专注于用户如何从现有的数据仓库中抽象概念，以及如何将这个概念模型映射到逻辑多维表示。我们还给出了一个指示，什么查询语言是使用的概念模型。最后，我们认为，我们的框架是一个步骤，沿着允许自动生成的数据仓库。
2010-09-01 cs.DB
XML content warehousing: Improving sociological studies of mailing lists and web data
在本文中，我们提出了一个基于XML的Web数据的社会学研究，如分析邮件列表或数据库在线的方法的指导方针。使用XML仓库是存储和处理这类数据的灵活解决方案。我们提出了一个实施的解决方案，并显示可能的应用程序与我们的案例研究的轮廓参与W3C标准制定活动的专家。我们说明了社会学使用的半结构化数据库，提出我们的XML模式的邮件列表仓库。XML模式允许在不修改现有数据集的情况下对数据源进行多次转换或交叉，同时允许可能的结构演变。我们还表明，隐藏数据的存在意味着传统的SQL用户的复杂性增加。XML内容仓库允许对内容进行详尽的仓库存储和递归查询，对初始存储的依赖性要小得多。最后，我们提出了将存储在仓库中的数据导出到常用的高级软件中进行社会学分析的可能性。
2011-08-23 cs.DB
Warehousing Web Data
在数据仓库过程中，掌握数据准备阶段可以在执行多维分析或使用数据采掘算法时在时间和性能方面获得实质性的收益。此外，数据仓库可能需要外部数据。在这种情况下，网络是一个普遍的数据源。在本文中，我们提出了一个建模过程，将不同的和异构的（所谓的多形式）数据集成到一个统一的格式。此外，模式定义在我们的数据仓库上下文中提供了一流的元数据。在概念层次上，一个复杂的对象用UML表示。我们的逻辑模型是一个XML模式，可以用DTD或XML-Schema语言描述。最后，我们设计了一个Java原型，它将我们的多种形式的输入数据转换为表示我们的物理模型的XML文档。然后，我们获得的XML文档被映射到一个关系数据库中，我们将其视为ODS（操作数据存储），其内容必须以多维方式重新建模，以允许其存储在基于星型模式的仓库中，并在以后进行分析。
2007-05-10 cs.DB
Microsoft TerraServer: A Spatial Data Warehouse
TerraServer将地球的航空、卫星和地形图像存储在可通过Internet访问的SQL数据库中。它是世界上最大的在线地图集，结合了来自美国地质调查局（USGS）和SPIN-2的5 TB图像数据。本报告介绍了基于我们过去一年的经验进行的系统重新设计。它还报告了过去一年的使用和运营结果-超过20亿次网络点击和超过20 TB的互联网图像。互联网浏览器为数据提供直观的空间和文本界面。用户不需要特殊的硬件、软件或知识来定位和浏览图像。本文描述了如何将数TB的“互联网不友好”的地理空间图像清理和编辑成数亿个“互联网友好”的图像瓦片，并加载到SQL数据仓库中。Microsoft TerraServer的开发实践表明，通用关系数据库技术可以管理大规模的影像数据库，Web浏览器可以成为一个很好的地理空间影像展示系统。
1999-07-09 cs.DB cs.DL
ByteCard: Enhancing ByteDance's Data Warehouse with Learned Cardinality Estimation
针对字节跳动ByteHouse数据仓库传统基数估计误差大、影响查询效率的问题，开发了可高效训练集成、平衡准确性与实用性的学习型基数估计框架ByteCard，使查询第99百分位延迟最高降30%，并分享了工程落地经验。
2024-04-11 cs.DB
The WebStand Project
在本文中，我们提出了法国ANR WebStand项目的进展情况。该项目的目标是构建一个可定制的基于XML的仓库平台，以获取，转换，分析，存储，查询和导出数据从网络，特别是邮件列表，使用这些数据进行社会学研究的最终意图集中在万维网的社会群体，特别强调这些数据的时间方面。我们目前正在使用这个系统来分析W3C的标准化过程，通过其标准制定者的社会网络。
2010-02-04 cs.DB
Data Warehouse Design for Multiple Source Forest Inventory Management and Image Processing
本研究开发了整合多源林业数据的原型数据仓库，支持长期监测管理，可转换数据为ML/DL模型输入，首次整合无人机影像与纸质记录并在YOLOv11测试，提升了地面真实数据和模型性能。
2025-02-10 cs.DB
Toward a New Approach for Modeling Dependability of Data Warehouse System
任何数据仓库系统（DWS）的可持续性都与用户满意度密切相关。因此，分析人员、设计人员和开发人员更多地关注实现其所有功能，而不考虑其他类型的需求，如可靠性方面。此外，后者通常被认为是系统的属性，一旦项目完成，必须进行检查和纠正。“以后再修复”的做法可能会导致整个数据仓库系统的过时。因此，它需要采用一种方法，以确保从项目DWS的早期阶段起就整合可靠性方面。在本文中，我们首先定义的概念相关的DWS的可靠性。然后，我们提出了我们的方法的灵感来自MDA（模型驱动架构）的方法模型的可靠性的方面，即：可用性，可靠性，可维护性和安全性，考虑到他们的相互作用。
2013-11-04 cs.DB cs.SE
Knowledge and Metadata Integration for Warehousing Complex Data
随着所谓的复杂数据的可用性不断增长，特别是在Web上，决策支持系统（如数据仓库）必须存储和处理不仅仅是数字或符号的数据。储存和分析这些数据需要联合利用元数据和与领域有关的知识，因此必须加以整合。在本文中，我们调查的知识和元数据的类型，需要管理复杂的数据，讨论的问题，知识和元数据集成，并提出了一个符合CWM的集成解决方案，我们将纳入一个XML复杂的数据仓库框架，我们以前设计的。
2008-09-11 cs.DB
High-Level ETL for Semantic Data Warehouses -- Full Version
本文提出基于RDF的高层ETL构造及层式集成过程，实现语义数据仓库的自动化ETL，原型SETLCONSTRUCT相比SETLPROG大幅减少键入字符和开发时间，并保持可扩展性和性能。
2020-06-12 cs.DB
Modeling and Querying Data Cubes on the Semantic Web
Web正在改变数据仓库的设计、使用和查询方式。随着开放数据和开放政府等倡议的出现，组织希望共享其多维数据立方体，并使其可供在线查询。RDF数据立方体词汇表（QB）是W3C在RDF中发布统计数据的标准，它在完全支持多维模型方面存在一些限制。QB4OLAP词汇表扩展了QB以克服这些限制，允许使用标准SPARQL查询实现典型的OLAP操作，如汇总、切片、切割和钻取。在本文中，我们介绍了一个正式的数据模型的主要对象是数据立方体，并定义OLAP操作使用这个模型，独立于底层表示的立方体。然后，我们表明，使用我们的模型表示的立方体可以表示使用QB4OLAP词汇表，最后，我们提供了一个SPARQL实现的OLAP操作的数据立方体在QB4OLAP。
2015-12-18 cs.DB
Information Integration using the Typed Graph Model
40多年来，模式和数据集成一直是一个挑战。虽然数据仓库技术是一个相当成功的故事，但仍然缺乏信息集成方法，特别是当数据源基于不同的数据模型或没有模式时。企业信息集成需要处理异构的数据源，需要最新的高质量信息为分析和决策提供可靠的依据。本文提出了虚拟集成使用类型化图模型来支持模式中介。集成过程首先将每个源的结构转换为类型化图模式，然后将其与中介模式进行匹配。映射规则定义模式之间的转换以协调语义。专家可以直观地验证映射。它提供了指标和规则来实现一致的模式映射，从而实现高数据完整性和质量。
2021-07-20 cs.DB
XML Multidimensional Modelling and Querying
随着XML变得无处不在，XML存储和处理变得更加高效，这些技术的用例范围每天都在扩大。一个很有前途的领域是XML和数据仓库的集成，其中原生XML数据库存储多维数据并处理用XQuery询问语言编写的OLAP查询。本文探讨了在实现这样一个数据仓库的问题。我们首先比较了XML中的多维数据建模方法，然后描述了这些模型上的典型OLAP查询如何在XQuery中表达。然后，我们将展示，无论模型如何，XQuery1.1的分组特性如何提高这些查询的性能和可读性。最后，我们使用eXist数据库，我们扩展了一个分组子句的实现，在每个建模选择的查询评估的性能进行评估。
2009-12-06 cs.DB
Designing and Implementing Data Warehouse for Agricultural Big Data
University College Dublin（都柏林大学学院）
近年来，利用现代信息和通信技术的精准农业正变得非常流行。原始和半加工的农业数据通常通过各种来源收集，例如：物联网（IoT）、传感器、卫星、气象站、机器人、农业设备、农民和农业企业等。此外，农业数据集非常庞大、复杂、非结构化、异构、非标准化和不一致。因此，农业数据采掘在数量、种类、速度和准确性上都被认为是大数据应用。它是建立作物智能平台的关键基础，这将使资源有效的农艺决策和建议。本文结合Hive、MongoDB和Cassandra设计并实现了一个大陆级农业数据仓库。我们的数据仓库功能：（1）灵活图式;（2）来自真实农业多数据集的数据集成;（3）数据科学和业务智能支持;（4）高性能;（5）高存储;（6）安全性;（7）治理和监控;（8）复制和恢复;（9）一致性、可用性和分区容忍;（10）分布式和云部署。我们还评估了我们的数据仓库的性能。
2019-05-29 cs.AI cs.DB cs.LG
Data Validation for Big Live Data
异构数据源的数据集成依赖于定期将大量数据传输到物理数据仓库，或者仅根据请求从数据源检索数据。后者导致创建所谓的虚拟数据仓库，当使用最新数据至关重要时，这是优选的。但是，缺点是它会增加网络流量，并且在数据量很高时会导致性能下降。在本文中，我们建议使用readCheck验证器来确保查询数据的及时性并减少数据流量。它进一步表明，readCheck允许事务更新数据源中的数据，遵守完整的原子性，一致性，隔离性和持久性（ACID）属性。
2021-10-05 cs.DB
ETL for the integration of remote sensing data
该工作提出构建模块化ETL基础设施的理论与实践基础，用于下载、转换和集成不同格式的遥感数据，并已部分实现为Python库，可集成到基于有向无环图的工作流工具中。
2023-06-19 cs.DB
Hierarchical Datacubes
本文针对数据仓库 OLAP 查询，提出层次化数据立方体框架及闭层次化数据立方体，以紧凑表示消除强相关数据冗余并优化存储。
2025-01-07 cs.DB
The XML and Semantic Web Worlds: Technologies, Interoperability and Integration. A Survey of the State of the Art
在新兴的数据网络的背景下，大量的组织、机构和公司（例如，DBpedia、Geonames、PubMed ACM、IEEE、NASA、BBC）采用关联数据实践，并利用语义网（SW）技术发布其数据。另一方面，当今Web中信息交换的主导标准是XML。许多国际标准（例如，Dublin Core、MPEG-7、METS、TEI、IEEE LOM）已经用XML Schema表示，从而产生了大量的XML数据集。SW和XML世界及其开发的基础设施基于不同的数据模型、语义和查询语言。因此，提供互操作性和集成机制来弥合SW和XML世界之间的差距是至关重要的。在本章中，我们将对XML和SW世界所采用的技术和标准进行概述和比较。此外，我们还概述了W3C小组的最新工作，包括最新的工作草案和建议（例如，OWL 2、SPARQL 1.1、XML Schema 1.1）。此外，我们提出了一个调查的研究方法，旨在提供XML和SW世界之间的互操作性和集成。最后，我们提出了SPARQL 2XQuery和XS 2 OWL框架，它们弥合了这两个世界之间的差距，并创建了一个可互操作的环境。这些框架提供了以下机制：（a）查询转换（SPARQL到XQuery转换）;（b）映射规范和生成（本体到XML模式映射）;以及（c）模式转换（XML模式到OWL转换）。
2016-08-11 cs.DB
Supporting SPARQL Update Queries in RDF-XML Integration
Web of Data鼓励组织和公司根据关联数据实践发布数据，并提供SPARQL端点。另一方面，信息交换的主导标准是XML。SPARQL 2XQuery框架专注于自动转换XQuery表达式中的SPARQL查询，以便通过Web访问XML数据。在本文中，我们概述了我们正在进行的工作，支持更新查询的RDF-XML集成方案。
2014-08-27 cs.DB
RDF 1.1: Knowledge Representation and Data Integration Language for the Web
资源描述框架（RDF）可以看作是当今知识表示研究领域的一个解决方案。RDF语言具有对称特性，因为三元组中的主语和宾语可以互换使用。此外，RDF语言的规则性和对称性允许机器容易处理的知识表示，并且由于其结构类似于自然语言，因此对于人们来说是合理可读的。RDF为广义知识表示提供了一些有用的特性。由于它的标识符以IRI为基础，它的分布式特性自然会扩展到Web的大小。然而，它的使用往往是隐藏的视图，因此，是一个不太知名的知识表示框架。因此，我们总结了RDF v1.0和v1.1，以扩大其在知识表示社区中的受众。本文回顾了当前从关系数据库映射到RDF以及从XML映射到RDF的方法、工具和应用程序。我们讨论了RDF序列化，包括支持多个图的格式，我们分析了RDF压缩建议。最后，我们给出了RDF 1.1的一个总结性的形式化定义，它为具体化、空节点和蕴涵的建模提供了更多的见解。
2020-01-02 cs.DB
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长，在万维网上的信息，从而提出了一个挑战，Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面（SERP）的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中，我们提出了两个相似性为基础的机制; WDES，提取所需的SERP和存储在本地存储离线浏览和WDICS，整合所需的内容，使用户能够执行预期的分析，并提取所需的信息。实验结果表明，WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
Data Warehouse and Decision Support on Integrated Crop Big Data
Ho Chi Minh City Open University（胡志明市开放大学）；University College Dublin（都柏林大学学院）
近年来，精准农业正变得越来越流行。采用现代信息和通信技术收集和处理农业数据，使农业生产发生了革命性变化。这已经开始了一段时间前（20世纪初），它是由收集有关一切的数据的低成本驱动的;从种子，土壤，肥料，害虫等领域的信息到天气数据，无人机和卫星图像。特别是今天的农业数据采掘，无论从数量、种类、速度还是准确性上都被认为是大数据应用。因此，它导致了处理大量复杂多样的信息以为农民、农学家和其他企业提取有用知识的挑战。它是建立作物智能平台的关键基础，这将使高效的资源管理和高质量的农艺决策和建议成为可能。本文设计并实现了一个大陆级农业数据仓库（ADW）。ADW的特点是（1）灵活的模式;（2）来自真实农业多数据集的数据集成;（3）数据科学和业务智能支持;（4）高性能;（5）高存储;（6）安全性;（7）治理和监控;（8）一致性，可用性和分区容忍;（9）云兼容性。我们还评估了ADW的性能，并提出了一些复杂的查询，以提取和返回有关作物管理的必要知识。
2021-04-12 cs.DB cs.DC cs.LG
Federating and querying heterogeneous and distributed Web APIs and triple stores
当今的国际公司，如作物保护行业的领先公司巴斯夫，生产和消费越来越多的数据，这些数据通常是分散的，可以通过Web API访问。此外，巴斯夫感兴趣的部分专有和公共数据存储在三重存储中，并可通过SPARQL查询语言访问。在不修改或复制原始数据源的情况下，同质化数据访问模式和数据的底层语义成为实现数据集成和互操作性的重要要求。在这项工作中，我们提出了一个联邦数据集成架构内的工业设置，依赖于基于本体的数据访问方法。我们在查询响应时间方面的性能评估表明，大多数查询可以在1秒内得到回答。
2022-06-03 cs.DB
Ontology Based Data Integration Over Document and Column Family Oriented NOSQL
万维网基础设施及其20多亿用户能够以前所未有的速度存储信息。这主要是由于存储在某些Web应用程序上执行的几乎所有最终用户交互的意愿。为了应对可伸缩性和可用性的限制，许多参与这一过程的Web公司最近开始设计自己的数据管理系统。其中许多被称为NOSQL数据库，代表“不仅仅是SQL”。随着它们的广泛采用，出现了新的需求，数据集成就是其中之一。在本文中，我们认为，存储在一组NOSQL源的信息的基于本体的表示是非常必要的。这种方法的主要动机是能够推理本体的元素，并以高效和分布式的方式检索信息。我们的贡献是：（1）我们分析了一组无模式的NOSQL数据库生成本地本体，（2）我们生成一个全局本体的基础上发现的本地本体之间的对应关系，最后（3）我们提出了一个查询翻译解决方案，从SPARQL到查询语言的来源。我们目前正在两个流行的NOSQL数据库上实现我们的数据集成解决方案：MongoDB作为文档数据库，Cassandra作为列族存储。
2013-07-09 cs.DB
Expressing OLAP operators with the TAX XML algebra
随着XML作为表示业务数据的标准的兴起，XML数据仓库成为基于Web的决策支持应用程序的合适解决方案。在这种情况下，有必要允许在XML数据立方体上进行OLAP分析（XOLAP）。因此，需要XQuery扩展。为了帮助定义一个正式的框架，并允许对用XQuery表示的分析查询进行急需的性能优化，最好有一个代数。然而，文献中的XOLAP方法和代数仍然在很大程度上依赖于关系模型和/或仅具有少量的OLAP运算符。相反，我们建议在本文中表示一组广泛的OLAP运算符与TAX XML代数。
2008-09-16 cs.DB
WebRelate: Integrating Web Data with Spreadsheets using Examples
Web源和关系数据之间的数据集成是数据科学家和电子表格用户面临的一个关键挑战。以编程方式将Web数据与关系数据连接起来有两个主要挑战。首先，大多数网站没有公开直接的接口来获取表格数据，因此用户需要制定一个逻辑来为关系表中的每个输入行访问不同的网页。其次，在到达期望的网页之后，用户需要编写复杂的脚本来提取相关数据，这通常以输入数据为条件。由于许多数据科学家和最终用户来自不同的背景，编写如此复杂的基于正则表达式的逻辑脚本来执行数据集成任务通常超出了他们的编程专业知识。我们提出WebRelate，一个系统，允许用户加入半结构化的Web数据与关系数据在电子表格中使用输入输出的例子。WebRelate将Web数据集成任务分解为两个子任务：i）URL学习和ii）依赖输入的Web提取。第一个子任务为包含关系表中所有行的所需数据的网页生成URL。WebRelate通过使用几个示例URL学习字符串转换程序来实现这一点。第二子任务使用要从相应网页提取的所需数据的示例，并学习用于提取其他行的数据的程序。我们设计了表达特定领域的语言的URL生成和Web数据提取，并提出了有效的合成算法，学习程序在这些DSL从几个输入输出的例子。我们评估WebRelate的88现实世界的Web数据集成任务，从在线帮助论坛和Excel产品团队，并表明，WebRelate可以学习所需的程序在几秒钟内使用只有1个例子的大多数任务。
2017-11-15 cs.DB cs.PL
Towards A More Reasonable Semantic Web
本文提议将语义Web的逻辑基础从描述逻辑转向一阶逻辑片段，将其视为大规模数据迁移与集成问题，从而利用现有工具加速其原始愿景。
2024-07-26 cs.DB
Ontology-based Mediation with Quality Criteria
本文提出基于本体与质量准则的数据集成语义系统OntMed，通过语义验证生成无错误全局分析上下文，提供准确统一数据视图，并在OAEI 2015的OA4QA赛道中成功回答所有评估查询。
2023-07-03 cs.DB
Harnessing the Deep Web: Present and Future
在过去的几年里，我们建立了一个系统，向Google.com用户展示了大量的Deep-Web内容。我们的系统显示的内容每秒可提供超过1000个搜索查询，涵盖50多种语言和数百个领域。Deep Web长期以来一直被认为是Web上结构化数据的主要来源，因此访问Deep Web内容长期以来一直是数据管理社区感兴趣的问题。在本文中，我们报告了我们认为深网提供价值的地方，以及它没有提供价值的地方。我们对比了两种非常不同的方法来公开Deep-Web内容--我们使用的表面方法和数据管理文献中经常采用的虚拟集成方法。我们强调这两种方法的价值所在，并警告潜在的陷阱。我们概述了未来研究的重要领域，特别是强调了可以从分析网络上大量可能不同的结构化数据中获得的价值。
2009-09-09 cs.DB
Evaluation of Query Generators for Entity Search Engines
动态Web应用程序（如混搭）需要高效地访问只能通过实体搜索引擎（如产品或出版物搜索引擎）访问的Web数据。然而，当前大多数mashup系统和应用程序只支持简单的关键字搜索，以便从搜索引擎检索数据。我们建议使用更强大的搜索策略建设所谓的查询生成器。对于给定的一组实体，查询生成器能够自动确定一组搜索查询以从实体搜索引擎检索这些实体。我们证明了查询生成器的有用性，按需Web数据集成和评估的有效性和效率的查询生成器的一个具有挑战性的现实世界的集成方案。
2010-03-23 cs.DB cs.IR
Query Interface Integrator For Domain Specific Hidden Web
当今的网络域名准入主要依靠搜索引擎。大量的数据隐藏在数据库背后的搜索接口被称为隐藏的网络，这需要被索引，以便为用户查询。本文将数据库和数据采掘技术用于查询接口集成。查询界面必须尽可能地类似于本地界面的外观和感觉，尽管它是在没有人工支持的情况下自动生成的。这种技术将相关文档保持在相同的域中，使得文档的搜索在时间复杂度方面变得更有效。
2013-11-16 cs.DB cs.IR
Creating Knowledge Graphs for Geographic Data on the Web
University of Bonn（波恩大学）；L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
地理数据在各种Web、语义Web和机器学习应用中起着至关重要的作用。OpenStreetMap和知识图谱是Web上地理数据的重要补充来源。然而，数据的准确性，缺乏地理和语义特征的集成，以及不完整的表示大大限制了数据的效用。验证、丰富和语义表示对于使地理数据可用于语义网和机器学习至关重要。本文介绍了我们最近开发的解决这些挑战的方法。
2023-02-17 cs.AI cs.DB cs.IR
Distributed Semantic Web Data Management in HBase and MySQL Cluster
网络上的各种计算和数据资源正在通过机器可解释的语义描述来增强，以促进更好的搜索、发现和集成。这种相互关联的元数据构成了语义Web，其数量可能会增加Web的规模。语义Web数据的有效管理（使用W3C的资源描述框架（RDF）表示）对于支持新的数据密集型、启用语义的应用程序至关重要。在这项工作中，我们研究和比较两种方法来分布式RDF数据管理基于新兴的云计算技术和传统的关系数据库聚类技术。特别是，我们设计了分布式RDF数据存储和查询方案HBase和MySQL集群和进行实证比较，这些方法的商品机器集群使用的数据集和查询从第三种来源的挑战和利哈伊大学基准。我们的研究揭示了有趣的模式，查询评估，表明我们的算法是有前途的，并表明云计算具有很大的潜力，可扩展的语义Web数据管理。
2011-05-11 cs.DB cs.PF
