Towards Transaction as a Service
本文提出将事务处理从云原生数据库中解耦为独立服务(TaaS),构建执行-事务-存储三层架构,以实现独立扩展、升级,并增强AP引擎的ACID能力、支持多主分布式与多模型事务,提升性能。
2023-11-14 cs.DB
Query Reranking As A Service
分级检索模型已迅速成为客户机-服务器数据库中搜索查询处理的事实方式,特别是在Web上。尽管数据库社区在设计更好的排名功能/机制方面做出了广泛的努力,但许多这样的数据库在实践中仍然未能解决用户对元组排名的不同且有时矛盾的偏好,这可能(至少部分地)是由于数据库所有者缺乏设计真正有效的排名功能的专业知识和/或动机。本文通过定义一个新的{ \em查询重排序问题}来解决这个问题,即,我们的目标是设计一种第三方服务,该第三方服务只使用客户端-服务器数据库的公共搜索接口,以使得能够利用任何用户指定的排名功能(具有或不具有选择条件)来即时处理查询,而不管数据库是否支持排名功能。我们分析了问题的最坏情况的复杂性,并介绍了一些想法,例如,动态索引、支配检测和虚拟元组修剪,以降低查询重排序算法的平均情况成本。我们还提出了广泛的实验结果,在现实世界的数据集,在离线和在线直播系统,证明了我们提出的技术的有效性。
2016-07-16 cs.DB
SEC-NoSQL: Towards Implementing High Performance Security-as-a-Service for NoSQL Databases
在过去的几年中,大数据的爆炸式增长促使云基础设施提供基于云的数据库服务,作为存储和处理大量数据的经济、高效和可扩展的解决方案。因此,NoSQL数据库变得越来越受欢迎,因为它们与其他关系数据库相比具有更好的性能和高可扩展性的固有特性。然而,在这种部署架构中,信息存储在公共云中,保护敏感数据仍然是一个主要问题。由于数据所有者在基于云的数据库解决方案中无法完全控制其敏感数据,因此许多组织不愿意采用数据库即服务(DBaaS)解决方案。最近的一些工作通过引入额外的层来提供加密数据的加密机制来解决这个问题,但是,这些方法更具体,需要对其进行适当的评估,以确保在基于云的生产环境中处理大量数据时,它们是否可以实现高性能和可扩展性。本文提出了一个实用的系统设计和实现,提供安全的NoSQL数据库(SEC-NoSQL)的服务,同时支持执行加密数据的查询,保证系统性能水平。提出了几种不同的实现模型,并使用YCSB基准考虑大量的客户端同时处理的性能进行评估。实验结果表明,我们的设计适合加密数据,同时保持了高性能和可扩展性。此外,为了将我们的解决方案部署为基于云的服务,还包括建立服务级别协议(SLA)的实用指南。
2021-07-04 cs.CR cs.DB
Enabling Secure Database as a Service using Fully Homomorphic Encryption: Challenges and Opportunities
至少在过去的十年里,数据库社区一直在努力查询加密数据,这将使安全的数据库作为服务解决方案。密码学界最近(2009年)的一项突破与全同态加密(FHE)有关,表明对加密数据的任意计算是可能的。然而,成功地采用FHE进行查询处理仍然是一个遥远的梦想,并且必须解决许多挑战。一个挑战是如何执行加密数据的代数查询处理,其中我们产生加密的中间结果,并且可以组合对加密数据的操作。在本文中,我们描述了加密数据的代数查询处理的解决方案,还概述了其他几个需要解决的挑战,同时还描述了可以从数据库社区查询加密数据的十年工作中吸取的教训。
2013-02-11 cs.CR cs.DB
GriDB: Scaling Blockchain Database via Sharding and Off-Chain Cross-Shard Mechanism
GriDB提出首个可扩展区块链数据库,通过链下跨分片机制和新型认证数据结构,在拜占庭环境下高效支持跨分片查询与在线负载均衡,降低共识开销并保留分片收益。
2024-07-04 cs.DB
Graywulf: A platform for federated scientific databases and services
许多科学领域都依赖于关系数据库管理系统来分析、发布和共享数据。由于RDBMS最初是为业务用例设计的,并且其开发方向主要由业务用例驱动,因此它们通常缺乏对科学应用非常重要的功能。水平可伸缩性可能是最重要的缺失特性,这使得传统的关系数据库系统适应不断增长的数据大小变得具有挑战性。由于对数组数据类型和元数据管理的支持有限,关系数据库管理系统在科学领域的成功应用通常需要开发自定义扩展。虽然其中一些扩展是特定于科学领域的,但其中大多数可以很容易地在其他学科中推广和重用。在Graywulf项目中,我们打算瞄准几个目标。我们正在构建一个通用平台,提供可重复使用的组件,用于有效存储,转换,统计分析和呈现存储在Microsoft SQL Server中的科学数据。Graywulf还解决了当前RDBMS技术所带来的分布式计算问题。当前版本支持简单查询的负载均衡和在一组镜像数据库上并行执行分区查询。通过基于Web的查询接口和软件客户端的数据表面提供对数据的统一用户访问。SQL是以稍微修改过的SQL语法制定的,它提供了分布式数据的透明视图。该软件库由几个组件组成,这些组件可以重用以开发复杂的科学数据仓库:系统注册表、管理整个数据库服务器集群的管理工具、复杂的工作流执行框架和SQL解析器库。
2013-08-06 cs.DB
TerraService.NET: An Introduction to Web Services
本文从主机Web站点的角度和使用Web服务的应用程序的角度探讨了地理空间Internet Web服务应用程序的设计和构造。TerraService.NET Web服务被添加到流行的TerraServer数据库和网站中,数据库没有重大的结构变化。本文讨论了Web服务设计、实现和部署概念以及设计指南。Web服务使应用程序能够聚合来自Internet规模的分布式服务器的信息和资源并与之交互。本文介绍了两个USDA应用程序的设计,它们与位于科罗拉多州柯林斯堡的数据库和Web服务资源以及位于华盛顿州图克维拉的TerraService Web服务进行互操作。
2002-08-07 cs.DB cs.DL
Modeling and Performance Analysis of Single-Server Database Over Quasi-static Rayleigh Fading Channel
云数据库是云计算的关键技术。云数据库有效高效的服务质量离不开通信技术,就像提高通信质量会减少售票系统中的并发现象一样。为了直观地观察通信对云数据库的影响,提出了一种准静态瑞利衰落信道下的单服务器数据库通信-数据库模型(Communication-Database,C-D),该模型由客户端源、通信系统和数据库系统三部分组成。本文采用M/G/1//K排队模型对整个系统进行建模。C-D模型分为非线性和线性两种情况进行分析,分别对应于SISO和MIMO的一些情况。对平均停留时间、平均事务数等性能特性的仿真结果与理论结果基本一致,验证了C-D模型的有效性。这些实验结果的比较也证明了差的通信质量确实导致服务质量的降低。
2023-01-17 cs.DB
The Maximum Trajectory Coverage Query in Spatial Databases
随着支持GPS的移动设备的广泛使用,从Bikely、GPS-wayPoints和Uber等各种来源可以获得前所未有的大量轨迹数据。创新交通服务的兴起和最近自动驾驶汽车的突破将导致轨迹数据和相关应用的持续增长。在新兴平台中支持这些服务将需要在轨迹数据库中进行更有效的查询处理。在本文中,我们提出了两个新的覆盖查询轨迹数据库:(i)k最大化反向范围搜索轨迹(kMaxRounds);和(ii)最大k覆盖范围搜索轨迹(MaxkCovests)。我们提出了一种新的索引结构,轨迹四叉树(TQ-tree),利用四叉树层次化组织轨迹到不同的四叉树节点,然后应用z排序进一步组织轨迹的空间位置内的每个节点。这种结构在修剪轨迹搜索空间方面是非常有效的,这是独立感兴趣的。通过利用TQ树数据结构,我们开发了一个分治的方法来计算轨迹的“服务值”,和最好的第一个策略,探索轨迹使用适当的上限上的服务值,以有效地处理一个kMaxRisk查询。此外,为了解决MaxkCovenant,这是一个non-submodular NP-hard问题,我们提出了一个贪婪的近似,也利用了TQ-树。我们评估我们的算法,通过广泛的实验研究几个真实的数据集,并证明我们的TQ树为基础的算法优于常见的基线两到三个数量级。
2018-04-02 cs.DB
HDBSCAN: Density based Clustering over Location Based Services
基于位置的服务(LBS)已经变得非常流行,并被数百万用户使用。流行的LBS涵盖了从地图服务(如谷歌地图)到餐馆(如Yelp)和房地产(如Redfin)的所有领域。LBS的公共查询接口可以抽象地建模为二维的点数据库上的kNN接口:给定任意查询点,系统返回数据库中距离查询点最近的k个点。通常,k被设置为诸如20或50的小值。在本文中,我们考虑的新问题,使基于密度的聚类在LBS只有一个有限的,kNN查询接口。由于LBS对查询速率的限制,即使检索每个元组一次也是不可行的。因此,我们寻求构造聚类分配函数f(.)通过发出少量的kNN查询,使得对于数据库中可能已经或可能尚未被访问的任何给定元组t,f(.)以高精度输出t的聚类分配。我们在基准数据集和流行的现实世界的LBS(如Yahoo!Flickr、Zillow、Redfin和谷歌地图。
2016-02-16 cs.DB
Database Systems Course: Service Learning Project
本文介绍面向高年级和研究生数据库课程的真实客户服务学习项目,明确其交付物、里程碑流程、学生学习目标及服务社区与促进科研等更广泛影响。
2024-07-02 cs.CY cs.DB
Marlin: Efficient Coordination for Autoscaling Cloud DBMS (Extended Version)
针对云数据库控制平面依赖外部融合协调服务存在的扩展性、成本与运维问题,本研究提出云原生协调机制Marlin,通过解耦协调功能、整合进现有数据库并优化提交协议,实现了更高的成本效率和更快的重配置速度。
2025-08-03 cs.DB
Location- and Time-Dependent VPD for Privacy-Preserving Wireless Accesses to Cloud Services
近年来智能手机的出现改变了无线领域。智能手机已经成为云数据库的在线用户界面的平台。云数据库可以提供大量的用户私有和敏感数据(即,对象),而智能手机用户(即,对象)提供位置敏感信息。近年来,在无线访问云数据库中的安全和私有服务一直在积极讨论。然而,先前的技术对于移动对象的无线接入的动态性是不令人满意的。在本文中,我们提出了一种新的技术,动态生成虚拟专用数据库(VPD)的每次访问,考虑到主题的位置和时间信息。本文的贡献包括一个隐私保护的访问控制机制的动态无线接入。
2011-12-12 cs.CR cs.DB
QueryBooster: Improving SQL Performance Using Middleware Services for Human-Centered Query Rewriting
QueryBooster提出基于中间件的服务架构,通过VarSQL规则语言和示例学习,实现以人为中心的SQL查询重写,提升端到端查询性能。
2023-05-14 cs.DB
The Footprint Database and Web Services of the Herschel Space Observatory
赫歇尔空间天文台的数据免费向公众提供,但迄今为止还没有统一处理的观测目录。到目前为止,赫歇尔科学档案并不包含单个观测的确切天空覆盖范围(足迹),并且只支持基于边界圆的测量搜索。借鉴以往的经验,在实施足迹数据库,我们建立了赫歇尔足迹数据库和Web服务的赫歇尔空间天文台提供高效的搜索功能,典型的天文查询。设计该数据库时考虑到以下主要目标:(a)为所有仪器和观测模式的元数据提供统一的数据模型;(b)快速查找涵盖选定天体及其邻域的观测数据;(c)快速查找更大天空区域的每一个观测数据;(d)能够查找跨越观测场的太阳系天体。作为第一步,我们开发了一个统一的数据模型的观测所有三个赫歇尔仪器的所有指向和仪器模式。然后,利用望远镜指向信息和观测元数据,我们编制了一个足迹数据库。与使用球体像素化的方法相反,我们以精确的几何形式表示天空覆盖范围,从而可以进行精确的面积计算。为了更容易地处理具有相当复杂形状的Herschel观测足迹,实现了两种算法来减小轮廓。此外,一个新的可视化工具,绘制足迹与各种球面投影的开发。使用分层三角网格对足迹进行索引,可以快速找到基于天空覆盖,时间和元数据的观测结果。该数据库可以通过网站(http://www.example.com)访问,也可以作为一组REST Web服务功能访问。herschel.vo.elte.hu
2016-06-13 astro-ph.IM cs.DB
Life Under Your Feet: An End-to-End Soil Ecology Sensor Network, Database, Web Server, and Analysis Service
无线传感器网络可以通过提供以前不可能的时间和空间粒度的测量来彻底改变土壤生态学。本文介绍了一个土壤监测系统,我们开发和部署在巴尔的摩的城市森林实现这一愿景的第一步。这个网络中的微粒每分钟都在现场测量和保存土壤湿度和温度。原始测量值由传感器网关定期检索,并存储在中央数据库中,其中导出并存储校准版本。测量数据库通过Web Services接口发布。此外,分析工具让科学家分析当前和历史数据,并帮助管理传感器网络。本文介绍了系统设计,我们从部署中学到了什么,以及从传感器获得的初步结果。该系统以前所未有的时间精度测量土壤因素。然而,部署需要设备级编程,跨空间和时间的传感器校准,以及与外部源的交叉参考测量。数据库、Web服务器和数据分析设计需要大量的创新和专业知识。计算机科学家和生态学家的比例是3:1。在传感器网络能够发挥其作为科学家可以轻松部署的工具的潜力之前,这些技术问题必须得到解决,以便比率是每十个生态学家中有一个书呆子。
2007-01-26 cs.CE cs.DB
Design Issues of JPQ: a Pattern-based Query Language for Document Databases
文档数据库的应用越来越广泛,但如何实现复杂的文档查询,从文档中获取有用的信息,仍然是一个重要的研究课题。本文描述了一种基于模式的文档数据库查询语言JPQ的设计问题。JPQ使用各种表达模式来提取和构造遵循类似JSON的文档数据模型的文档片段。该方法采用树状抽取模式和一致的模式组合机制,从层次结构的文档中抽取数据元素,并维护元素之间的逻辑关系。基于这些关系,JPQ部署了一种演绎机制来声明性地指定数据转换请求,并考虑了分层数据结构上的数据过滤。我们使用各种例子来展示语言的功能,并展示其表现力和声明性在提出复杂的文档查询。
2015-04-15 cs.DB
A Database System for State Management in Stateful Network Service Function Chains [Vision]
本文提出数据库系统DB4NFV,通过将事务语义集成到有状态服务功能链的全生命周期中,以简化开发、优化多核性能并提升执行鲁棒性,从而推动NFV状态管理的有效部署。
2023-12-02 cs.DB cs.NI
Concurrency Control as a Service
Northeastern University(东北大学);Huawei Tec. Co., Ltd(华为技术有限公司);Tsinghua University(清华大学)
本文提出并发控制作为服务(CCaaS),通过解耦并发控制与数据库,构建执行-并发控制-存储三层架构,提升弹性、资源利用率和开发敏捷性,采用分片多写OCC算法和异步日志推送机制降低网络开销和延迟。
2026-03-14 cs.DB
Does query performance optimization lead to energy efficiency? A comparative analysis of energy efficiency of database operations under different workload scenarios
随着在线服务的不断增加以及能源成本的不断增加,能源消耗成为评估数据中心运营的重要成本因素。造成这种情况的一个重要因素是数据库服务器的性能,据认为,数据库服务器是在线服务的骨干。从软件的角度来看,虽然市场上出现了一系列新颖的数据管理技术,例如基于键值的数据库或内存数据库,但经典的关系数据库管理系统(RDBMS)仍然被广泛使用。此外,从硬件的角度来看,大多数数据库服务器仍然使用标准的磁性硬盘驱动器(HDD),而不是固态硬盘(SSD),因为每GB的存储成本较低,忽略了由于高成本可能带来的性能提升。在这项研究中,我们专注于基于软件的数据库服务器的能耗评估,通过运行三个不同的和完整的数据库工作负载,即TCP-H,星型架构基准-SSB以及我们为这项研究推导出的修改后的基准称为W22。我们配置文件之间的最重要的服务器组件的能量分布,并通过使用不同的资源分配,我们评估的能源消耗的一个典型的开源关系数据库管理系统(PostgreSQL)在标准服务器上的性能(测量查询时间)。结果证实了众所周知的事实,即使是完整的工作负载,RDBMS的优化结果,以降低能耗。
2013-03-20 cs.DB
IDSS, a Novel P2P Relational Data Storage Service
本文提出IDSS,一种基于P2P网络和嵌入式关系数据库的新型大规模数据存储服务,通过公共模式支持分布式查询处理,实现对海量数据的高效稳健管理。
2025-07-19 cs.DB cs.DC
Comparative Evaluation of Data Decoupling Techniques for Federated Machine Learning with Database as a Service
University of Nevada(内华达大学);University of California(加利福尼亚大学)
联邦学习(FL)是一种机器学习方法,允许多个客户端在不共享原始数据的情况下协作学习共享模型。然而,目前的FL系统提供了一个一体化的解决方案,这可能会阻碍FL在某些领域,如科学应用的广泛采用。为了克服这一限制,本文提出了一种解耦方法,使客户能够使用特定的数据子系统定制FL应用程序。为了评估这种方法,作者开发了一个称为数据解耦联邦学习(DDFL)的框架,并将其与紧密耦合数据管理和计算的最先进的FL系统进行比较。在各种数据集和数据管理子系统上进行的大量实验表明,DDFL在训练时间、推理精度和数据库查询时间方面都取得了相当或更好的性能。此外,DDFL为客户提供了更多的选项来调整他们的FL应用程序与数据相关的指标。作者还提供了一个详细的定性分析DDFL与主流数据库系统集成时。
2023-03-15 cs.AI cs.DB cs.DC
Starling: A Scalable Query Engine on Cloud Function Services
与本地系统非常相似,在云中运行数据库分析工作负载的自然选择是提供一个节点集群来运行数据库实例。然而,分析工作负载通常是突发性的或低容量的,使集群大部分时间处于空闲状态,这意味着客户即使在未使用的情况下也要为计算资源付费。云函数服务(如AWS Lambda或Azure Functions)能够运行小型细粒度任务,这使得它们似乎是此类设置中查询处理的自然选择。但是,在云功能上实施分析系统也面临着一系列挑战。其中包括管理数百个小型无状态资源受限的工作人员,处理掉队者,以及通过不透明的云服务进行数据洗牌。在本文中,我们提出了Starling,一个查询执行引擎建立在云功能服务,采用了一些技术来减轻这些挑战,提供交互式查询延迟在较低的总成本比低到中等利用率的系统。特别是,在云存储中的1 TB TPC-H数据集上,当查询间隔1分钟或更长时间到达时,Starling比工作负载的最佳配置系统更便宜。Starling还具有比竞争系统更低的延迟,从云对象存储读取,并可以扩展到更大的数据集。
2019-11-26 cs.DB
The MammoGrid Virtual Organisation - Federating Distributed Mammograms
MammoGrid项目的目标是提供一个原型,使放射科医生之间使用网格,面向服务和数据库解决方案的有效合作。网格技术和基于服务的数据库管理解决方案为集成各种分布式资源提供了平台,从而创建了所谓的虚拟组织。MammoGrid虚拟组织促进共享和协调访问参与医院的乳房X光检查数据、医学成像软件和计算资源。医院管理其本地的乳房X线照片数据库,但除此之外,该组织的放射科医生可以共享乳房X线照片,报告,结果和图像分析软件。MammoGrid虚拟组织是一个跨越国界的自治多中心站点联盟。本文概述了基于服务的方法在创建和管理的联邦分布式乳腺X射线摄影数据库,并讨论了分布式图像分析中的虚拟组织的作用。
2005-07-18 cs.DB cs.DC
Enabling Differentiated QoS Degradation for Replicated Databases under Failures
Inria, Univ. Lille, CNRS UMR 9189 CRIStAL, France(法国国家信息与自动化研究所,里尔大学,法国国家科学研究中心 UMR 9189 CRIStAL);CNRS, Univ. Lille, Inria UMR 9189 CRIStAL, France(法国国家科学研究中心,里尔大学,法国国家信息与自动化研究所 UMR 9189 CRIStAL);Univ. Lille, Inria, CNRS UMR 9189 CRIStAL, France(里尔大学,法国国家信息与自动化研究所,法国国家科学研究中心 UMR 9189 CRIStAL)
该研究针对复制数据库服务,提出在故障下通过PLB中间件实现差异化QoS降级的策略,实验显示其能提升Premium服务的吞吐量保留率、吞吐量并降低延迟。
2026-08-13 cs.DB cs.DC
Manu: A Cloud Native Vector Database Management System
随着基于学习的嵌入模型的发展,嵌入向量被广泛用于非结构化数据的分析和搜索。由于矢量集合超过十亿规模,因此需要完全管理和水平可扩展的向量数据库。在过去的三年里,通过与1200多个行业用户的互动,我们勾勒出了下一代向量数据库应该具备的特征,包括长期可演化性、可调一致性、良好的弹性和高性能。我们提出Manu,一个云原生向量数据库,实现这些功能。如果按照传统的DBMS设计规则,很难将所有这些特性集成在一起。由于大多数矢量数据应用程序不需要复杂的数据模型和强大的数据一致性,我们的设计理念是放松数据模型和一致性约束,以换取上述功能。具体来说,Manu首先公开了写前日志(WAL)和binlog作为骨干服务。其次,写组件被设计为日志发布者,而所有只读的分析和搜索组件被设计为日志服务的独立订阅者。最后,我们利用多版本并发控制(MVCC)和增量一致性模型来简化系统组件之间的通信和协作。这些设计实现了系统组件之间的低耦合,这对弹性和进化至关重要。我们还通过硬件感知实现和对复杂搜索语义的支持,对Manu的性能和可用性进行了广泛优化。
2022-06-28 cs.DB
A Consumer-Centric Market for Database Computation in the Cloud
云中公共计算资源的可用性已经彻底改变了数据分析,但请求云资源通常涉及消费者的复杂决策。在当前的定价机制下,云服务提供商提供多种服务选项,并根据消费者使用的资源向其收费。在决定请求哪些云资源之前,消费者必须估计不同服务选项(可能是不同服务提供商)的计算任务的完成时间和成本。即使对于专家云用户来说,这种估计也是具有挑战性的。我们提出了一个新的基于市场的框架,在云中的计算任务定价。我们的框架在消费者和云提供商之间引入了一个代理。代理从用户那里获取数据和计算任务,估计评估任务的时间和成本,并向消费者返回指定价格和完成时间的合同。我们的框架可以直接应用于现有的云市场,而不会改变云提供商提供和定价服务的方式。此外,它还允许消费者比较合同,而不是直接选择资源,从而简化了云的使用。我们目前的设计,分析和算法的贡献,专注于定价计算合同,分析其属性,并在复杂的工作流程中优化它们。我们对现实世界的云服务市场框架进行了实验性评估,并以经验证明,我们的市场确保了三个关键属性:竞争力,公平性和弹性。最后,我们提出了一个细粒度的定价机制,复杂的工作流程,并表明它可以增加代理利润超过一个数量级,在某些情况下。
2017-06-16 cs.DB cs.DC
Query Rewriting On Path Views Without Integrity Constraints
具有绑定模式的视图是对数据库的参数化查询。使用这样的视图,例如,对Web服务进行建模。为了回答对这些视图的查询,必须在执行计划中将视图编排在一起。目标通常是找到等价的重写,它提供与所有数据库上的查询完全相同的结果。然而,这样的重写通常只有在存在完整性约束的情况下才可能-并且不是所有的数据库都有这样的约束。在本文中,我们描述了一类计划,即使没有完整性约束,也能对其结果提供实际保证。我们提供了一个这样的计划和一个完整的和正确的算法来列举他们的特点。最后,我们表明,我们的方法可以在现实世界中的Web服务的计划。
2020-10-07 cs.DB
Frequency-hiding Dependency-preserving Encryption for Outsourced Databases
云模式使用户能够将其数据外包给计算能力强大的第三方服务提供商进行数据管理。许多数据管理任务依赖于外包数据中的数据依赖性。这就提出了一个重要的问题,即数据所有者如何保护外包数据中的敏感信息,同时保持数据依赖性。在本文中,我们考虑函数依赖FD,一种重要的数据依赖类型。我们设计了一个保留FD的加密方案,名为F2,使服务提供商能够从加密数据集中发现FD。我们考虑了频率分析攻击,并证明了F2加密方案可以在Kerckhoff原则下以可证明的保证抵御攻击。我们的实证研究证明了F2的效率和有效性。
2016-03-08 cs.CR cs.DB
Indices in XML Databases
随着XML成为商业信息表示和交换的标准,XML文档的存储、索引和查询已迅速成为数据库研究的主要问题。在这种情况下,查询处理和优化是原始的,原生XML数据库还不成熟。诸如索引之类的数据结构有助于大大提高性能,因此得到了广泛的研究,特别是因为XML数据具有相对于关系数据的许多特性。在本文中,我们调查国家的最先进的XML索引,并讨论了主要问题,权衡和未来的趋势,XML索引。我们还提出了一个索引,我们专门设计的XML数据仓库的特定体系结构。
2017-01-27 cs.DB
Cardinality heterogeneities in Web service composition: Issues and solutions
参与组合的Web服务之间的数据交换引起了几个异质性。在本文中,我们解决的问题,数据基数异质性的组成。首先,我们建立了一个理论框架来描述不同方面的Web服务,涉及到数据基数,其次,我们解决了这个问题,通过开发一个解决方案基数调解的基础上约束逻辑编程。
2008-06-11 cs.DB cs.SE
Database Perspectives on Blockchains
现代区块链系统是对分布式计算范式的全新审视,在大规模公共网络的假设下应用。它们可以用来存储和共享信息,而无需可信的中心方。人们一直在努力开发区块链系统,用于各种用途,从加密货币到身份控制、供应链管理等,这些工作都没有直接研究使用区块链作为管理数据的底层基础设施时出现的基本数据库问题。使用区块链存储数据和集中控制的数据库之间的关键区别在于,交易是通过共识机制被区块链接受的。因此,一旦用户发布了一个交易,她就不能确定它是否会被接受。此外,尚未被接受的交易不能被用户撤回,并且可以在未来附加到区块链。这造成了困难,因为如果交易未被接受,用户可能希望重新发出交易。然而,这些数据可能会被两次附加到区块链上。在本文中,我们通过介绍区块链作为数据库基础的存储层的正式基础,提出了区块链的数据库视角。我们解决的主要问题是交易附加的不确定性,这是共识机制的结果。我们研究了两种类型的事务附加问题:(1)在给定区块链状态、未决事务和完整性约束的情况下,确定拒绝约束是否可能被矛盾的复杂性;(2)生成与未决事务的给定子集相互(不)一致的事务的复杂性。解决这些问题对于确保用户能够发出与其意图一致的事务至关重要。最后,我们为今后的工作指明了重要方向。
2018-03-15 cs.DB
Performing energy modelling exercises in a transparent way the issue of data quality in power plant databases
在能源建模方面,开放数据和开放源代码有助于提高模型工作的可追溯性和可复制性,从而有助于促进有争议的辩论和改进政策咨询。虽然近年来开放式发电厂数据库的可用性有所增加,但它们往往彼此差异很大,其数据质量尚未与专有来源进行系统比较。在这里,我们介绍基于Python的“powerplantmatching”(PPM),这是一个用于清理、标准化和组合多个电厂数据库的开源工具集。我们只对开放式数据库应用一次,对另一个专有数据库应用一次,以便通过分析常规发电厂的能力、国家、燃料类型、地理坐标和投产年份,讨论和阐述数据质量问题。我们发现,纯粹基于开放数据的派生数据集还没有与其中专有数据库已被添加到匹配中的数据集相提并论,即使容量的统计值在很大程度上与两个数据集匹配。当最终数据集的建模需要调试年数时,专有数据库对提高衍生数据集的质量至关重要。
2018-08-29 cs.CY cs.DB
A fusion algorithm for joins based on collections in Odra (Object Database for Rapid Application development)
在本文中,我们提出了一个目前正在开发的数据库编程方法,称为OSPOT(对象数据库快速应用程序开发)的工作原理完全面向对象的原则的功能。数据库程序设计语言称为SBQL(基于堆栈的查询语言)。我们讨论了ODB2中的一些概念,例如ODB2的工作,ODB2运行时环境如何操作,ODB2与.net和java的互操作性。目前,ODB2的开发阶段是查询优化。因此,我们提出了以前的工作,是在OSTOM有关查询优化,我们还提出了一个新的融合算法,OSTOM如何处理连接的基础上收集,如集,列表和数组的查询优化。
2011-11-13 cs.DB
Integrity Coded Databases: An Evaluation of Performance, Efficiency, and Practicality
近年来,云数据库存储已成为企业和个人存储信息的廉价且方便的选择。虽然云计算的积极方面使其对数据存储极具吸引力,但它是一个相对较新的服务领域,容易受到网络攻击和安全漏洞的影响。将数据存储在外部位置还要求所有者将其信息的控制权移交给这些在线数据库服务的系统管理员。这就有可能对数据进行恶意的内部攻击,这些攻击可能涉及操纵、遗漏或添加数据。数据的保留,因为它是打算存储被称为数据库的完整性。我们的研究测试了一种潜在的解决方案,通过将原始数据库转换为完整性编码数据库(ICDB)来维护这些云存储数据库的完整性。ICDB利用完整性代码:通过只有数据所有者有权访问的私钥与数据一起创建的加密代码。当查询数据库时,完整性代码将与查询的信息一起返回。然后,所有者能够验证信息是正确的、完整的和新鲜的。因此,ICDB也会导致性能和内存损失。在我们的研究中,我们探索,测试和基准ICDB,以确定维护ICDB与标准数据库的成本和收益。
2018-02-01 cs.CR cs.DB
LHC Databases on the Grid: Achievements and Open Issues
为了从记录的数据中提取物理结果,LHC实验正在使用网格计算基础设施。网格上的事件数据处理需要可扩展地访问非事件数据(探测器条件、校准等)。存储在关系数据库中。数据库驻留数据对于事件数据重建处理步骤是关键的,并且经常需要物理分析。本文回顾了LHC在网格计算数据库技术方面的经验。主题列表包括:数据库集成与网格计算模型的LHC实验;数据库技术的选择;数据库接口的例子;分布式数据库应用程序(数据的复杂性,更新频率,数据量和访问模式);数据库访问的可扩展性在网格计算环境中的LHC实验。审查报告介绍了取得重大进展的领域和尚未解决的问题。
2010-07-12 cs.DB cs.DC hep-ex
HAKES: Scalable Vector Database for Embedding Search Service
National University of Singapore(国立新加坡大学);Deakin University(德肯大学);Zhejiang University(浙江大学)
本文提出分布式向量数据库 HAKES,通过两阶段 ANN 索引、轻量参数调优、提前终止及读写解耦,在并发负载下实现高召回、高吞吐和可扩展。
2025-05-18 cs.DB cs.LG
The HSF Conditions Database Reference Implementation
本文介绍HSF条件数据库的服务与客户端参考实现,采用Django+PostgreSQL+POSIX文件系统的分离设计,支持高访问速率与分布式计算,已在sPHENIX实验超2.5万核环境中验证部署与扩展能力。
2024-01-29 cs.DB hep-ex
Multi-layer Architecture For Storing Visual Data Based on WCF and Microsoft SQL Server Database
在本文中,我们提出了一种新的体系结构存储视觉数据。有效地存储、浏览和搜索图像集是计算机科学最重要的挑战之一。存储这些数据的架构设计需要一组工具和框架,如SQL数据库管理系统和面向服务的框架。所提出的解决方案是基于一个多层架构,它允许更换任何组件,而无需重新编译其他组件。该方法由模型、基础引擎、具体引擎、CBIR服务和表示五个部分组成。它们基于两种著名的设计模式:依赖注入和反向控制。为了实验的目的,我们实现了SURF局部兴趣点检测器作为特征提取器和$K$ -均值聚类作为索引器。所提出的架构是为了基于内容的检索系统模拟的目的,以及为现实世界的CBIR任务。
2015-04-26 cs.DB cs.IR
Large-Scale Intelligent Microservices
Microsoft(微软);MIT(麻省理工学院)
在数据库中部署机器学习(ML)算法是一项挑战,因为现代ML算法的计算足迹不同,而且各种数据库技术都有自己的限制性语法。我们引入了一个基于Apache Spark的微服务编排框架,该框架扩展了数据库操作,以包括Web服务原语。我们的系统可以编排Web服务在数百台机器上,并充分利用集群,线程和异步并行。使用这个框架,我们提供了大规模的客户端的智能服务,如语音,视觉,搜索,异常检测和文本分析。这使得用户可以使用Apache Spark连接器将即时可用的智能集成到任何服务器中。为了消除网络通信的大部分开销,我们还引入了我们架构的低延迟容器化版本。最后,我们证明了我们调查的服务是有竞争力的各种基准,并提出了两个应用程序,这个框架来创建智能搜索引擎,和实时的汽车比赛分析系统。
2021-12-02 cs.AI cs.DB cs.DC
Recent Trends and Research Issues in Video Association Mining
随着数字图书馆和视频数据库的不断发展,从视频数据库中自动理解和挖掘知识变得越来越重要。在视频数据采掘的研究领域中,发现大型视频数据库中项目之间的关联规则具有重要的意义。在过去几年的研究和发展的基础上,关联规则挖掘在不同的领域,如监控,会议,广播新闻,体育,档案,电影,医疗数据,以及个人和在线媒体收藏中的应用越来越多。本文的目的是提供一个从视频数据库中挖掘关联规则的通用框架。本文还介绍了视频关联挖掘中的研究问题,以及最新的发展趋势。
2011-12-09 cs.DB cs.MM
Enforcing Privacy in Cloud Databases
外包数据库,即,由于云计算的弹性、可用性、可扩展性和即用即付的特征,诉诸数据库即服务(DBaaS)是当今流行的选择。然而,大多数数据在某种程度上是敏感的,数据隐私仍然是DBaaS用户最关心的问题之一,明显的法律和竞争的原因。在本文中,我们调查的机制,旨在使数据库在云环境中的安全,并讨论当前的陷阱和相关的研究挑战。
2017-08-30 cs.CR cs.DB
Finding Performance Issues in Database Systems by Exploiting Dormant Code Paths
ETH Zurich(苏黎世联邦理工学院)
提出分支翻转分析(BFA)方法,通过翻转代码分支强制或禁用优化来系统性地发现数据库系统中的性能问题,并在四个主流DBMS上找到21个未知性能问题。
2026-05-21 cs.DB cs.SE
T-DB: Toward Fully Functional Transparent Encrypted Databases in DBaaS Framework
个人和组织倾向于将其数据迁移到云,特别是在数据库即服务(DBaaS)模式中。主要的障碍是保密性和关系数据库的使用之间的冲突。我们通过严格遵循未修改的DBaaS框架的透明数据库(T-DB)系统来解决这个障碍。数据库所有者将加密的数据库外包给云平台,只需要存储加密密钥和数据库的空表头,数据库用户可以像往常一样对加密的数据库进行几乎所有类型的查询,云可以像数据库未加密一样处理密文查询。在真实云环境中的实验表明,T-DB具有良好的查询回答精度和出色的性能。
2017-08-28 cs.CR cs.DB
Configuration Database for BaBar On-line
组态数据库是BaBar在线系统的重要组成部分。它为数据采集系统和控制系统中需要运行时参数的不同部分提供服务。配置数据库的原始设计和实现在实验开始以来成功的BaBar操作中发挥了重要作用。最近对配置数据库设计的补充为数据管理提供了更好的手段,并增加了新的工具来简化主要配置任务。我们描述了配置数据库的设计,它的实施与Objectivity/DB面向对象的数据库,和我们的经验,在多年的操作过程中收集。
2003-05-29 cs.DB cs.IR
Approximate Similarity Search for Online Multimedia Services on Distributed CPU-GPU Platforms
高维空间中的相似性搜索是各种数据库应用中的关键操作。最近,已经有越来越多的兴趣在相似性搜索的在线基于内容的多媒体服务。然而,这些服务带来了新的挑战,因为必须对大量数据进行索引/搜索,而且需要尽量缩短最终用户观察到的响应时间。此外,这些用户与系统动态交互,导致查询请求率波动,需要搜索算法进行调整,以便更好地利用下划线硬件来减少响应时间。为了解决这些挑战,我们引入hypercurves,一个灵活的框架,回答近似k-最近邻(kNN)查询非常大的多媒体数据库,针对在线基于内容的多媒体服务。Hypercurves在混合CPU-GPU环境中执行,并且能够协同使用这些设备来支持大规模的查询请求速率。为了在请求率变化时保持最佳的响应时间,它采用了一种新型的动态调度器来在CPU和GPU之间划分工作。使用多媒体描述符的大型数据库对Hypercurves进行了全面评估。与单CPU核心版本相比,其协同CPU-GPU执行实现了高达30倍的性能提升。与最佳静态CPU-GPU任务分区配置相比,动态工作分区机制将观察到的查询响应时间减少了约50%。此外,Hypercurves在分布式(多节点)执行中实现了超线性可扩展性,同时保持了与其顺序版本的高度等价性--这要归功于概率等价性的证明,这支持了其积极的并行化设计。
2012-09-03 cs.DB cs.DC cs.MM
Future Robotics Database Management System along with Cloud TPS
Thiagarajar School of management(蒂亚加拉贾管理学院);Sastra University(萨斯特拉大学)
本文讨论机器人技术中的存储管理问题。在我们的建议中,我们打破了创造人形的主要问题之一。.数据库问题是机器人模式设计中的一个复杂问题,在我们的建议中,我们提出了一个新的概念,称为NOSQL数据库,用于有效的数据检索,使人形机器人将获得大量的思维能力,在搜索每个项目使用链指令。对于机器人中的查询事务,我们需要一个有效的一致性事务,因此通过使用最新的技术CloudTPS,它保证了完整的ACID属性,以便机器人可以使用多项事务进行查询,通过这个我们在数据检索中获得数据一致性。此外,我们还引入了map reduce概念,它可以将作业拆分到各个工作者,以便以并行的方式处理数据。
2011-12-09 cs.DB cs.RO
Inductive Logic Programming in Databases: from Datalog to DL+log
Università degli Studi di Bari(巴里大学)
在本文中,我们解决了一个问题,已经引起了数据库社区的注意,随着语义Web的出现,即本体论(和它们所传达的语义)如何帮助解决典型的数据库问题的问题,通过更好地了解KR方面相关的数据库。特别是,我们调查这个问题,从ILP的角度考虑两个数据库的问题,(i)的定义的意见和(ii)的定义的约束,为数据库的模式表示也通过本体。两者都可以重新表述为ILP问题,并可以受益于KR框架DL+log的表达和演绎能力。我们通过实例说明了应用场景。关键词:归纳逻辑程序设计,关系数据库,本体,描述逻辑,混合知识表示和推理系统。逻辑程序设计理论与实践(Theory and Practice of Logic Programming,TPLP)
2010-03-12 cs.AI cs.DB cs.LG
Secure Parallel Processing of Big Data Using Order-Preserving Encryption on Google BigQuery
随着IT基础设施中资源集中化的增加和云服务数量的增加,数据库管理系统(DBMS)将越来越多地外包给云结构即服务(IaaS)提供商。将整个数据库或处理大数据的计算能力外包给外部提供商也意味着提供商可以完全访问数据库中包含的信息。在本文中,我们提出了一个可行的解决方案,其中包括保序加密(OPE)以及最先进的加密方法,用于对外部资源上的大数据进行排序和处理,而不会将未加密的数据暴露给IaaS提供商。我们还介绍了Google BigQuery的概念验证客户端作为示例IaaS Provider。
2016-08-29 cs.CR cs.DB
CERT: Finding Performance Issues in Database Systems Through the Lens of Cardinality Estimation
提出 CERT 技术,通过基数估计视角和黑盒测试方法发现数据库系统中的性能问题,在 MySQL、TiDB 和 CockroachDB 中发现 13 个问题,助力提升系统性能。
2024-01-10 cs.DB cs.SE
XML Query Processing and Query Languges: A Survey
今天的数据库与不同领域和应用程序之间的互操作性有关。这就导致了数据库中数据可移植性的重要性。XML格式符合需求,并且越来越多地用于为不同领域和目的的应用程序提供服务。然而,有效地查询XML文档仍然是一个具有挑战性的问题。本文讨论了XML的查询处理问题,并回顾了各种作者提出的查询XML数据库的解决方案。
2010-10-06 cs.DB cs.DS
Using Object-Relational Mapping to Create the Distributed Databases in a Hybrid Cloud Infrastructure
目前使用云服务的挑战之一是设计专门的数据管理系统的任务。这对于数据位于公共云和私有云的混合系统尤其重要。执行监测功能查询、调度和处理软件必须适当执行,是系统的一个组成部分。为了提供这些功能,建议使用对象关系映射(ORM)。本文致力于介绍为混合云基础设施中托管的信息系统设计数据库的方法。并给出了ORM库的开发实例。
2015-01-04 cs.DB cs.DC cs.NI
Database-Backed Web Applications in the Wild: How Well Do They Work?
大多数现代数据库支持的Web应用程序都构建在对象关系映射(ORM)框架上。虽然ORM框架通过将持久数据抽象为对象来简化应用程序开发,但这种便利性通常伴随着性能成本。在本文中,我们提出了CADO,一个工具,分析应用程序的逻辑和它与数据库的交互使用Ruby on Rails的ORM框架。CADO包括一个静态程序分析器,一个剖析器和一个合成数据生成器,以提取和理解应用程序的性能特征。我们使用CADO分析了27个真实世界的开源Rails应用程序的性能问题,涵盖了在线论坛、电子商务、项目管理、博客等领域。基于结果,我们发现了一些导致应用程序性能次优的问题,包括发布查询、如何使用结果集和物理设计。我们建议可能的补救措施,为每个问题,并强调新的研究机会,从他们。
2016-11-22 cs.DB cs.PF cs.SE