Real Time Data Warehouse
数据仓库是商业智能的重要组成部分。数据仓库在20世纪80年代初作为一种快速增长的报告和分析技术出现。如今，它几乎已经取代了关系数据库。然而，随着时间的推移，静态的和历史的数据仓库不能产生实时的报告和分析，从而给出了一种方法，出现了实时的数据仓库（RTDW）的想法。虽然，RTDW存在问题，但随着技术的进步和研究人员的关注，RTDW将能够生成实时的报告，分析和预测。
2013-10-19 cs.DB
SAP HANA Data Volume Management
本文针对 SAP Business Suite on HANA、SAP Business Warehouse 和 Native HANA 三种场景，提出减少 HANA 数据库数据占用空间的最佳实践，以缓解数据增长对性能和预算的影响。
2023-05-28 cs.DB
XWeB: the XML Warehouse Benchmark
随着XML作为表示业务数据的标准的出现，新的决策支持应用程序正在开发中。这些XML数据仓库旨在支持处理不规则XML数据的联机分析处理（OLAP）操作。为了确保这些新工具的可行性，必须解决重要的性能问题。业绩通常是在基准的帮助下评估的。然而，决策支持基准目前不支持XML特性。在本文中，我们介绍了XML仓库基准（XWeB），其目的是填补这一空白。XWeB源自关系决策支持基准TPC-H。它主要由一个测试数据仓库及其相关的XQuery决策支持工作负载组成，该仓库基于XML仓库的统一参考模型，具有XML特定的结构。XWebB的使用说明了几个XML数据库管理系统的实验。
2011-02-02 cs.DB
The Conceptual Integration Modeling Framework: Abstracting from the Multidimensional Model
数据仓库绝大多数是通过自底向上的过程构建的，该过程从源的标识开始，继续从这些源提取和转换数据，然后根据期望的多维关系模式将数据加载到一组数据集市中。最终用户商业智能工具被添加到具体化的多维模式之上，以推动组织中的决策制定。不幸的是，这种自下而上的方法在所需的熟练用户和仓库的庞大规模方面都是昂贵的。本文提出了一个自顶向下的框架，其中数据仓库是由一个概念模型驱动。该框架提供了设计时和运行时间环境。在设计时，业务用户首先使用概念建模语言作为多维对象模型来指定所需的业务信息;然后将概念模型映射到预先存在的逻辑多维表示。在运行时间，系统将把用户概念模型与映射一起变换成逻辑多维表示上的视图。我们专注于用户如何从现有的数据仓库中抽象概念，以及如何将这个概念模型映射到逻辑多维表示。我们还给出了一个指示，什么查询语言是使用的概念模型。最后，我们认为，我们的框架是一个步骤，沿着允许自动生成的数据仓库。
2010-09-01 cs.DB
User Profile-Driven Data Warehouse Summary for Adaptive OLAP Queries
数据仓库是决策支持系统的重要组成部分。它旨在使用户的知识，使更好，更快的日常业务决策。为了改进该决策支持系统并向用户提供越来越多的相关信息，将用户的简档集成到数据仓库过程中的需要变得至关重要。在本文中，我们建议利用用户的喜好为基础，适应OLAP（在线分析处理）查询的用户。为此，我们提出了一种用户简档驱动的数据仓库方法，该方法允许将用户的配置文件由他/她的标识符和他/她的一组偏好组成。我们的方法是基于一个通用的数据仓库架构和一个自适应的OLAP分析系统。我们的主要思想是为每个用户创建一个数据仓库物化视图。当用户第一次定义他/她的配置文件时，该任务离线执行。然后，当用户向数据仓库提交查询时，系统处理他/她的数据仓库物化视图而不是整个数据仓库。换句话说，数据仓库视图通过考虑用户的偏好来为用户概括数据仓库内容。此外，我们正在SQL Server 2005 DBMS（数据库管理系统）下实现我们的数据仓库个性化方法。
2013-01-10 cs.DB
Ontology based data warehouses federation management system
数据仓库是当今各种竞争系统的重要组成部分，是商业智能的主要基础之一。我们甚至可以说，许多公司正在攀登到一个新的水平，并使用一组数据仓库来提供完整的信息，或者它通常是由于两个或多个公司的融合。这些数据仓库可以是异构的，并且在地理上是分离的，这种结构就是我们所说的联邦，即使这些组件在物理上是分离的，它们在逻辑上也被看作是一个单独的组件。通常，这些项目是异构的，这使得难以创建逻辑联邦模式，并且用户查询的执行是复杂的任务。在本文中，我们将填补这一空白，提出了一个现有的算法扩展，以处理不同的模式类型（星，雪flack），包括处理层次结构维使用本体
2013-10-22 cs.DB
Sigma Workbook: A Spreadsheet for Cloud Data Warehouses
云数据仓库（CDW）使大规模数据和计算能力更接近企业中的用户。然而，现有的用于分析CDW中的数据的工具要么局限于临时转换，要么难以用于业务用户。在这里，我们介绍Sigma Workbook，这是一个新的交互式系统，使业务用户能够轻松地对CDW中的数据进行大规模的可视化分析。为此，Sigma Workbook提供了一个可访问的电子表格式界面，用于通过直接操作进行分析。Sigma Workbook基于SQL的多功能性和表达性，从用户交互中动态构建匹配的SQL查询。构造的查询直接在CDW上执行，利用了新一代CDW的优越特性，包括可伸缩性。我们通过3个真实的用例--队列分析、会话化和数据增强--展示了Sigma Workbook，并强调了Workbook的易用性、可扩展性和表现力。
2022-08-18 cs.DB cs.HC
Data warehouse on Manpower Employment for Decision Support System
自从在商业世界中使用计算机以来，由于数据中的可用知识，数据汇集已成为最重要的问题之一;这些数据已存储在数据库中。数据库系统的发展导致了层次和关系数据库的演变，随后是标准查询语言（SQL）。随着数据大小的增加，对更多控制和信息检索的需求也会增加。这些增长导致了数据采掘系统和数据仓库的发展。本文重点讨论了使用数据仓库作为决策支持工具。本文以人力资源管理为例，研究了数据仓库技术在时间和灵活性方面的有效性。最后，对传统关系数据库和数据仓库的使用进行了比较。数据仓库的基本作用是为决策过程提供数据支持。数据仓库环境中的数据是多维数据存储。我们可以简单地说，数据仓库是一个过程，而不是一个产品，用于组装和管理来自各种来源的数据，以获得部分或全部机构的单个详细视图。数据仓库的概念已经改变了决策支持系统的性质，通过增加新的好处来改进和扩展数据的范围、准确性和可访问性。
2019-04-01 cs.DB
Fragmenting very large XML data warehouses via K-means clustering algorithm
由于XML在表示和管理半结构化和复杂多维数据方面的优势，XML数据源在商业智能（BI）和联机分析处理（OLAP）应用中越来越受欢迎。因此，在过去的几年中，许多XML数据仓库模型已经被提出，以便以传统的关系数据仓库方法无法实现的方式来处理多维数据的异构性和复杂性。然而，XML原生数据库系统目前在可管理数据量和查询响应时间方面的性能有限。因此，最近的研究工作将注意力集中在能够克服上述限制的碎裂技术上。派生的水平分片已经在关系数据仓库中使用，并且可以明确地适应XML上下文。然而，经典的分段算法不适合控制原始片段的数量，而原始片段的数量在数据仓库中起着关键作用，并且更重要的是，分布式数据仓库架构。受这一研究挑战的启发，本文提出使用K-means聚类算法来有效地支持超大型XML数据仓库的分片，同时通过适当设置参数K来完全控制和确定原始分片的数量。我们完成了我们的分析贡献，通过一个全面的实验评估，我们提出的XML数据仓库碎片化技术对经典的水平碎片化算法，适用于XML数据仓库的效率进行比较。
2017-01-09 cs.DB
Data Guard: A Fine-grained Purpose-based Access Control System for Large Data Warehouses
LinkedIn Corporation（领英公司）；OpenAI；Anthropic
本文提出 Data Guard，通过基于数据语义与访问目的的策略生成 SQL 屏蔽视图，实现行、列及非原子类型子单元级访问控制，并已在 LinkedIn 生产环境支撑每日逾 2 万次合规表访问。
2025-10-21 cs.DB
fVSS: A New Secure and Cost-Efficient Scheme for Cloud Data Warehouses
云商业智能是一个越来越受欢迎的选择，可以通过弹性的按使用付费的资源提供决策支持功能。然而，数据安全问题是处理敏感数据时的首要问题之一。本文提出了一种基于灵活可验证秘密共享的云数据仓库安全保护新方法fVSS。秘密共享在多个云服务提供商之间加密和分发数据，从而加强数据隐私和可用性。fVSS解决了现有的基于秘密共享的方法中的四个缺点。首先，它允许在某些服务提供者出现故障时刷新数据仓库。其次，它允许在线分析处理。第三，它在内部和外部签名的帮助下加强数据完整性。第四，它通过平衡服务提供商之间的负载来帮助用户控制云仓库的成本。为了说明fVSS的效率，我们将其与现有的基于秘密共享的方法在安全功能、查询能力以及数据存储和计算成本方面进行了彻底比较。
2014-12-11 cs.DB
Business Intelligence for Small and Middle-Sized Entreprises
数据仓库是决策支持系统的核心，目前在世界范围内被各种企业广泛使用。虽然对小型企业决策支持系统的需求进行了大量的研究，但大多采用经验性的解决方案和方法，适合于大型企业，而不适合于中小型企业。小型企业需要廉价、轻量级的架构和工具（硬件和软件）来提供在线数据分析。为了确保这些功能，我们审查基于Web的商业智能方法。对于实时分析，传统的OLAP体系结构是笨重的，存储成本高，因此，我们也重新考虑内存中的处理。因此，本文讨论了现有的方法和工具，在内存和/或与Web接口（包括免费软件工具），相关的中小型企业的决策。
2011-02-01 cs.DB
SiriusDeliver: Automating Data Warehouse Delivery at Tencent
TEG, Tencent Inc.（腾讯公司TEG）；Wuhan University（武汉大学）
腾讯提出SiriusDeliver端到端交付自动化智能体，集成三类组件，经离线实验和腾讯云WeData大规模部署验证，可显著提升DW交付的成功率、效率，缩短交付时间与工程师工作量。
2026-08-11 cs.AI cs.DB cs.SE
Spatial and Spatio-Temporal Multidimensional Data Modelling: A Survey
数据仓库存储并提供对支持组织战略决策的大量历史数据的访问。数据仓库是基于一个多维模型，允许表达用户的需求，以支持决策过程。由于据估计，80%的用于决策的数据具有空间或位置组件[1，2]，空间数据已被广泛集成在数据仓库和OLAP系统中。通过包含空间数据来扩展多维数据模型，提供了简洁且有组织的空间数据仓库表示。本文的目的是提供一个全面的文献综述和建议的空间和时空多维模型。所提出的模型的基准研究。若干评价标准被用来确定趋势的存在以及进一步调查的潜在需要。
2012-08-01 cs.DB
High-Level ETL for Semantic Data Warehouses -- Full Version
本文提出基于RDF的高层ETL构造及层式集成过程，实现语义数据仓库的自动化ETL，原型SETLCONSTRUCT相比SETLPROG大幅减少键入字符和开发时间，并保持可扩展性和性能。
2020-06-12 cs.DB
ByteCard: Enhancing ByteDance's Data Warehouse with Learned Cardinality Estimation
针对字节跳动ByteHouse数据仓库传统基数估计误差大、影响查询效率的问题，开发了可高效训练集成、平衡准确性与实用性的学习型基数估计框架ByteCard，使查询第99百分位延迟最高降30%，并分享了工程落地经验。
2024-04-11 cs.DB
Data Warehouse and Decision Support on Integrated Crop Big Data
Ho Chi Minh City Open University（胡志明市开放大学）；University College Dublin（都柏林大学学院）
近年来，精准农业正变得越来越流行。采用现代信息和通信技术收集和处理农业数据，使农业生产发生了革命性变化。这已经开始了一段时间前（20世纪初），它是由收集有关一切的数据的低成本驱动的;从种子，土壤，肥料，害虫等领域的信息到天气数据，无人机和卫星图像。特别是今天的农业数据采掘，无论从数量、种类、速度还是准确性上都被认为是大数据应用。因此，它导致了处理大量复杂多样的信息以为农民、农学家和其他企业提取有用知识的挑战。它是建立作物智能平台的关键基础，这将使高效的资源管理和高质量的农艺决策和建议成为可能。本文设计并实现了一个大陆级农业数据仓库（ADW）。ADW的特点是（1）灵活的模式;（2）来自真实农业多数据集的数据集成;（3）数据科学和业务智能支持;（4）高性能;（5）高存储;（6）安全性;（7）治理和监控;（8）一致性，可用性和分区容忍;（9）云兼容性。我们还评估了ADW的性能，并提出了一些复杂的查询，以提取和返回有关作物管理的必要知识。
2021-04-12 cs.DB cs.DC cs.LG
Two-level Data Staging ETL for Transaction Data
在数据仓库中，抽取-转换-加载（Extract-Transform-Load，ETL）技术定期地将数据从数据源中抽取到一个中央数据仓库中，以支持业务决策。事务处理系统的数据具有插入、更新、删除等频繁变化的特点。ETL将更改传播到数据仓库并维护更改历史是一个挑战。此外，当处理具有依赖关系的数据时，ETL作业通常按顺序运行，这在处理早期到达的数据时不是最佳的\eg。在本文中，我们提出了一个两级的数据分级ETL处理事务数据。该方法检测来自事务处理系统的数据的变化，识别对应于变化的操作码，并使用两个暂存数据库来促进ETL过程中的数据处理。提出的ETL为快变、慢变和早到数据的处理提供了“一站式”方法。
2014-09-13 cs.DB
Designing and Implementing Data Warehouse for Agricultural Big Data
University College Dublin（都柏林大学学院）
近年来，利用现代信息和通信技术的精准农业正变得非常流行。原始和半加工的农业数据通常通过各种来源收集，例如：物联网（IoT）、传感器、卫星、气象站、机器人、农业设备、农民和农业企业等。此外，农业数据集非常庞大、复杂、非结构化、异构、非标准化和不一致。因此，农业数据采掘在数量、种类、速度和准确性上都被认为是大数据应用。它是建立作物智能平台的关键基础，这将使资源有效的农艺决策和建议。本文结合Hive、MongoDB和Cassandra设计并实现了一个大陆级农业数据仓库。我们的数据仓库功能：（1）灵活图式;（2）来自真实农业多数据集的数据集成;（3）数据科学和业务智能支持;（4）高性能;（5）高存储;（6）安全性;（7）治理和监控;（8）复制和恢复;（9）一致性、可用性和分区容忍;（10）分布式和云部署。我们还评估了我们的数据仓库的性能。
2019-05-29 cs.AI cs.DB cs.LG
Multidimensional Datawarehouse with Combination Formula
数据仓库中的多维是一种强制性，成为信息传递的最重要部分，没有多维的数据仓库中的多维是一种强制性，成为信息传递的最重要部分，没有多维的数据仓库是不完整的。多维提供了以多种不同方式分析业务度量的能力。多维也是联机分析处理（OLAP）的同义词。通过使用数据仓库中的切片、向下钻取、向上卷取等概念，提高了多维数据仓库的能力。本文的研究问题和讨论是数据仓库中每个事实表的多维能力有多深。利用统计组合公式，探讨了超立方体中各维所能产生的组合、维组合的整体、最小组合和最大组合。
2010-06-09 cs.DB
Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows
TextQL
Argo-Bench是一个评估框架，通过模拟纽约市外卖平台并构建企业级数据仓库，测试数据智能体在复杂工作流中的推理与行动能力，超越传统文本到SQL基准。
2026-10-02 cs.AI cs.CL cs.DB
Building an Effective Data Warehousing for Financial Sector
本文介绍了一个金融控股公司的数据仓库的实现过程和业务数据的多维分析。目标是创建一个商业智能系统，以简单、快速但又通用的方式，允许访问有关银行账户余额的最新、汇总、真实和/或预测信息。该系统利用Microsoft SQL Server提供的Integration Services和Analysis Services工具，对支持现金管理信息的业务数据库信息进行提取和处理。最终用户界面是一个数据透视表，它被适当地安排以浏览所生成的多维数据集可用的信息。结果表明，采用在线分析处理多维数据集提供了更好的性能，并提供了一个更自动化和更强大的过程来分析当前和临时汇总的财务数据余额相比，当前的过程基于从交易数据库构建的静态报告。
2017-09-18 cs.DB
A Novel Multi-Secret Sharing Approach for Secure Data Warehousing and On-Line Analysis Processing in the Cloud
云计算有助于降低成本，提高业务灵活性，并为许多类型的应用程序（包括数据仓库和在线分析处理）部署具有高投资回报率的解决方案。然而，将敏感数据存储和传输到云中会引起合理的安全问题。在本文中，我们提出了一种新的多秘密共享方法部署在云中的数据仓库，并允许在线分析处理，同时加强数据的隐私性，完整性和可用性。我们首先从理论上验证我们的方法的相关性，然后用一个简单的随机数据集和星型架构基准实验。我们也证明了它的优越性，相关的方法。
2017-01-19 cs.CR cs.DB
Dimensional Data KNN-Based Imputation
数据仓库是商业智能的核心组成部分。DW中的缺失数据对数据分析有很大的影响。因此，缺失的数据需要填写。与现有的主要适用于事实的数据填补方法不同，我们提出了一种新的尺寸填补方法。该方法包括两个步骤：1）分层插补和2）基于k近邻（KNN）的插补。我们的解决方案的优点是考虑到DW结构和依赖约束。实验评估验证了我们的方法的有效性和效率。
2022-10-05 cs.DB
Indices in XML Databases
随着XML成为商业信息表示和交换的标准，XML文档的存储、索引和查询已迅速成为数据库研究的主要问题。在这种情况下，查询处理和优化是原始的，原生XML数据库还不成熟。诸如索引之类的数据结构有助于大大提高性能，因此得到了广泛的研究，特别是因为XML数据具有相对于关系数据的许多特性。在本文中，我们调查国家的最先进的XML索引，并讨论了主要问题，权衡和未来的趋势，XML索引。我们还提出了一个索引，我们专门设计的XML数据仓库的特定体系结构。
2017-01-27 cs.DB
SafeLoad: Efficient Admission Control Framework for Identifying Memory-Overloading Queries in Cloud Data Warehouses
Zhejiang University（浙江大学）；Alibaba Cloud Computing（阿里云计算）
SafeLoad是首个专门用于识别云数据仓库中内存过载查询的高效准入控制框架，通过混合架构和自调优机制提升预测精度和资源利用效率。
2026-01-05 cs.DB cs.LG
Data-driven Analytics for Business Architectures: Proposed Use of Graph Theory
IBM Research - Almaden（IBM阿尔马登研究中心）
业务架构（BA）在帮助组织理解企业结构和流程，并使其与战略目标保持一致方面发挥着重要作用。然而，传统的BA是以静态模型元素的固定结构表示的，并且无法动态地捕获基于内部和外部数据的业务洞察。为了解决这个问题，本文将图论引入到BA中，旨在构建可扩展的数据驱动分析并自动生成业务洞察。我们使用IBM的组件业务模型（CBM）作为一个例子来说明各种方法，其中图论可以利用数据驱动的分析，包括什么和如何获得业务见解。未来的方向应用图论的业务架构分析进行了讨论。
2018-06-05 cs.DB cs.LG cs.SE
A Novel Query-Based Approach for Addressing Summarizability Issues in XOLAP
在许多应用领域中使用的商业智能和决策支持系统偶然地依赖于数据仓库，数据仓库是建模为多维（MD）结构的面向决策的数据存储库。MD结构有助于通过详细的层次级别导航数据。在许多现实世界的情况下，MD模型中的层次结构是复杂的，这会导致数据聚合问题，统称为可概括性问题。这个问题会导致不正确的分析，并严重影响决策。为了加强可概括性，现有的方法改变MD模型或数据，并且必须由专家在个案基础上先验地应用。为了既不改变模型也不改变数据，最近已经提出了一些查询时间方法，但它们只能检测摘要性问题，而不能解决它们。因此，我们在本文中提出了一种新的方法，自动检测和处理汇总问题，在查询时，不需要任何特定的专业知识，从用户。此外，虽然大多数现有的方法是基于关系模型，我们的方法集中在XML MD模型，因为XML数据通常用于表示业务数据和它的格式更好地处理复杂的层次结构比关系模型。最后，我们的实验表明，我们的方法可能比一个参考方法更好地解决在MD上下文中的概括性问题。
2013-08-30 cs.DB
Implementation of CRISP Methodology for ERP Systems
ERP系统包含大量与业务流程实际执行相关的数据。这些系统具有记录活动的特定方式，这导致在事件日志中不清楚地显示业务流程。ERP系统已经进行了一些工作，其中大部分侧重于开发新的算法，自动发现的业务流程。我们专注于解决这样的问题，如ERP系统的组织如何应用流程挖掘来分析他们的业务流程，以改善他们。ERP系统的数据处理方面与BPMS或基于工作流的系统的数据处理方面形成鲜明对比，后者系统地存储事件有助于流程挖掘技术的应用。CRISP-DM已经成为开发数据采掘和知识发现项目的事实标准。成功的数据采掘需要三种分析能力，即报告、分类和预测。数据挖掘者使用多种分析方法来获得最佳结果。本文的目的是提高流程挖掘技术的可用性和可理解性，通过实施CRISP-DM方法，在ERP环境中的应用，详细的具体实施工具和一步一步的协调。我们的研究证实，ERP系统的数据发现提高了战略和运营决策。
2013-12-07 cs.DB
Transparent, Evaluable, and Accessible Data Agents: A Proof-of-Concept Framework
University Health Network (UHN)（大学健康网络）
本文提出模块化、可解释且带自动评估的数据智能体框架，利用 BigQuery 将自然语言转为可审计查询，并在保险理赔案例中验证其可靠性。
2025-09-28 cs.AI cs.DB
A Reference Model for Collaborative Business Intelligence Virtual Assistants
本文面向协作式商业智能场景，提出由对话、数据探索和推荐代理组成的虚拟助手参考模型，并结合统一BI语义模型、数据仓库与协作单元支持数据分析和协同决策。
2023-04-20 cs.AI cs.DB cs.HC
The Survey of Data Mining Applications And Feature Scope
本文重点介绍了作为数据采掘技术重要领域的各种有用的技术、方法和不同的研究领域。我们知道，许多跨国公司和大型组织在不同国家的不同地方运营，每个运营地点都可能产生大量的数据。企业决策者需要访问所有这些数据源并进行战略决策，数据仓库通过提高管理决策的有效性而具有显著的商业价值。在不确定和高度竞争的商业环境中，战略信息系统的价值是很容易认识到的，但在今天的商业环境中，效率或速度不是竞争力的唯一关键。这种类型的大量数据是以TB-topeta-bytes的形式提供的，在科学和工程领域发生了巨大的变化。为了分析，对这种海量数据的管理和决策需要数据采掘技术，这种技术将在许多领域产生变革，本文介绍了数据采掘的一些应用，并对数据采掘的范围进行了探讨，为进一步的研究提供了帮助。
2012-11-25 cs.DB cs.IR
