A Cloud-based Service for Real-Time Performance Evaluation of NoSQL Databases
我们创建了一个基于云的服务,允许最终用户在多个不同的数据库上运行测试,以找到最适合他们项目的数据库。从我们的研究中,我们找不到另一个应用程序,使用户能够测试几个数据库,以衡量它们之间的差异。该应用程序允许用户选择要执行的测试类型以及要针对的数据库。应用程序还显示其他用户以前运行的不同测试的结果。还有一个地图显示所有测试运行的位置,以便用户估计位置。与传统的静态测试和报告不同,我们创建了一个Web应用程序来实时的运行和分析这些测试。这个Web应用程序评估了几个NoSQL数据库的性能。涵盖的数据库包括MongoDB、DynamoDB、CouchDB和Firebase。该网络服务可从nosqldb.nextproject.ca访问。
2017-05-23 cs.DB
Student's Attraction for a Carrier Path Related to Databases and SQL: Usability vs Efficiency in Students' Perception -Case Study
该研究通过课程前后两次匿名调查,分析了数据库课程学生对数据库与SQL职业路径的兴趣变化,发现学生认可数据库重要性但预期使用频率较低,且男性比女性更倾向深入学习数据库深层知识。
2023-07-07 cs.CY cs.DB
Database as a Service - Current Issues and Its Future
随着云应用的普及,数据库即服务(DBaaS)成为为云应用提供可靠、灵活的数据存储服务的一种很有前途的方法。它为云开发人员提供了许多有趣的功能,但是,它也有一些缺点:学习曲线和开发周期长,缺乏对NoSQL的深入支持,缺乏对安全和隐私的灵活配置,以及高成本模型。在本文中,我们调查了当前DBaaS提供商中的这些问题,并提出了一种新的三位一体模型,可以显着减少学习曲线,提高安全性和隐私性,并加快数据库设计和开发。我们进一步阐述了我们正在进行的和未来的工作,使用这种新的DBaaS模型开发大型现实世界的SaaS项目。
2018-04-02 cs.DB
An Overview on Cloud Distributed Databases for Business Environments
基于云的分布式数据库是当前许多应用程序的流行选择,特别是那些在Internet上运行的应用程序。通过将分布式数据库系统整合到云环境中,它使企业能够将运营扩展到全球级别,同时实现系统可靠性、可用性和响应性的理想标准。云提供商为分布式数据库提供基础设施和管理工具,即数据库即服务(DBaaS),将企业的投资重新用于数据库服务。本文通过强调适用于处理关系型分布式数据库的Amazon Relational Data Service(RDS)来回顾这些服务的功能。
2023-01-26 cs.DB cs.NI
SEC-NoSQL: Towards Implementing High Performance Security-as-a-Service for NoSQL Databases
在过去的几年中,大数据的爆炸式增长促使云基础设施提供基于云的数据库服务,作为存储和处理大量数据的经济、高效和可扩展的解决方案。因此,NoSQL数据库变得越来越受欢迎,因为它们与其他关系数据库相比具有更好的性能和高可扩展性的固有特性。然而,在这种部署架构中,信息存储在公共云中,保护敏感数据仍然是一个主要问题。由于数据所有者在基于云的数据库解决方案中无法完全控制其敏感数据,因此许多组织不愿意采用数据库即服务(DBaaS)解决方案。最近的一些工作通过引入额外的层来提供加密数据的加密机制来解决这个问题,但是,这些方法更具体,需要对其进行适当的评估,以确保在基于云的生产环境中处理大量数据时,它们是否可以实现高性能和可扩展性。本文提出了一个实用的系统设计和实现,提供安全的NoSQL数据库(SEC-NoSQL)的服务,同时支持执行加密数据的查询,保证系统性能水平。提出了几种不同的实现模型,并使用YCSB基准考虑大量的客户端同时处理的性能进行评估。实验结果表明,我们的设计适合加密数据,同时保持了高性能和可扩展性。此外,为了将我们的解决方案部署为基于云的服务,还包括建立服务级别协议(SLA)的实用指南。
2021-07-04 cs.CR cs.DB
Educational Database Prototype: the Simplest of All
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
EduDB是一个简化数据库原型,旨在帮助学生全面理解数据库系统的设计与优化。
2026-01-27 cs.DB
Enabling Secure Database as a Service using Fully Homomorphic Encryption: Challenges and Opportunities
至少在过去的十年里,数据库社区一直在努力查询加密数据,这将使安全的数据库作为服务解决方案。密码学界最近(2009年)的一项突破与全同态加密(FHE)有关,表明对加密数据的任意计算是可能的。然而,成功地采用FHE进行查询处理仍然是一个遥远的梦想,并且必须解决许多挑战。一个挑战是如何执行加密数据的代数查询处理,其中我们产生加密的中间结果,并且可以组合对加密数据的操作。在本文中,我们描述了加密数据的代数查询处理的解决方案,还概述了其他几个需要解决的挑战,同时还描述了可以从数据库社区查询加密数据的十年工作中吸取的教训。
2013-02-11 cs.CR cs.DB
WIP: DBWorkout: A Gamified SQL Practice Platform to Support Formative Learning in Database Courses
Department of Computer Science Virginia Tech(弗吉尼亚理工大学计算机科学系)
DBWorkout是一个游戏化SQL练习平台,通过沙箱执行、自动化反馈和LLM辅助生成,在170名本科生测试中获得高学习价值(90%)和参与度(87%),但反馈可操作性(42%)待提升。
2026-10-02 cs.CY cs.DB cs.HC
A Modern Approach to Integrate Database Queries for Searching E-Commerce Product
电子商业是指利用电子数据传输来增强业务流程和实施业务策略。电子商业的明确组成部分包括提供售后服务、推销服务或产品到服务、处理付款、参与交易过程、确定客户需求、处理付款和创造服务或产品。近一段时间以来,电子商业的使用在民间已经变得太普遍了。然而,电子商业网站日益增长的需求使得数据库必须支持直接查询Web页面。本研究旨在探讨和评估整合数据库查询及其在电子商务产品搜索中的应用。据分析,电子商业是近几十年来在商业世界中出现的最突出的趋势之一。因此,本研究的目的是探讨整合数据库查询与电子商业产品搜索的好处。这项研究的结果表明,数据库查询是非常有价值的电子商业网站,因为他们使产品搜索更简单,更准确。在这种情况下,集成数据库查询的方法被认为是最合适和令人满意的,因为它简化了搜索的电子商业产品。
2017-07-01 cs.DB
Empowering Database Learning Through Remote Educational Escape Rooms
该研究针对数据库教学需求,在四门高校课程中开展为期两学年的远程教育密室逃脱教学实验,通过前后测、问卷及行为记录平台验证,证明其兼具吸引力与教学效果,为数据库远程教学提供了新的有效路径。
2024-08-28 cs.CY cs.DB
TerraService.NET: An Introduction to Web Services
本文从主机Web站点的角度和使用Web服务的应用程序的角度探讨了地理空间Internet Web服务应用程序的设计和构造。TerraService.NET Web服务被添加到流行的TerraServer数据库和网站中,数据库没有重大的结构变化。本文讨论了Web服务设计、实现和部署概念以及设计指南。Web服务使应用程序能够聚合来自Internet规模的分布式服务器的信息和资源并与之交互。本文介绍了两个USDA应用程序的设计,它们与位于科罗拉多州柯林斯堡的数据库和Web服务资源以及位于华盛顿州图克维拉的TerraService Web服务进行互操作。
2002-08-07 cs.DB cs.DL
Towards Transaction as a Service
本文提出将事务处理从云原生数据库中解耦为独立服务(TaaS),构建执行-事务-存储三层架构,以实现独立扩展、升级,并增强AP引擎的ACID能力、支持多主分布式与多模型事务,提升性能。
2023-11-14 cs.DB
Location- and Time-Dependent VPD for Privacy-Preserving Wireless Accesses to Cloud Services
近年来智能手机的出现改变了无线领域。智能手机已经成为云数据库的在线用户界面的平台。云数据库可以提供大量的用户私有和敏感数据(即,对象),而智能手机用户(即,对象)提供位置敏感信息。近年来,在无线访问云数据库中的安全和私有服务一直在积极讨论。然而,先前的技术对于移动对象的无线接入的动态性是不令人满意的。在本文中,我们提出了一种新的技术,动态生成虚拟专用数据库(VPD)的每次访问,考虑到主题的位置和时间信息。本文的贡献包括一个隐私保护的访问控制机制的动态无线接入。
2011-12-12 cs.CR cs.DB
Query Reranking As A Service
分级检索模型已迅速成为客户机-服务器数据库中搜索查询处理的事实方式,特别是在Web上。尽管数据库社区在设计更好的排名功能/机制方面做出了广泛的努力,但许多这样的数据库在实践中仍然未能解决用户对元组排名的不同且有时矛盾的偏好,这可能(至少部分地)是由于数据库所有者缺乏设计真正有效的排名功能的专业知识和/或动机。本文通过定义一个新的{ \em查询重排序问题}来解决这个问题,即,我们的目标是设计一种第三方服务,该第三方服务只使用客户端-服务器数据库的公共搜索接口,以使得能够利用任何用户指定的排名功能(具有或不具有选择条件)来即时处理查询,而不管数据库是否支持排名功能。我们分析了问题的最坏情况的复杂性,并介绍了一些想法,例如,动态索引、支配检测和虚拟元组修剪,以降低查询重排序算法的平均情况成本。我们还提出了广泛的实验结果,在现实世界的数据集,在离线和在线直播系统,证明了我们提出的技术的有效性。
2016-07-16 cs.DB
Explaining Wrong Queries Using Small Examples
用于测试SQL查询的正确性,例如,在数据库课程中评估学生提交的内容时,标准做法是在一些测试数据库实例上执行有问题的查询,并将其结果与正确查询的结果进行比较。给定两个查询$Q_1$和$Q_2$,如果$Q_1(D)$与$Q_2(D)$不同,我们说数据库实例$D$是一个反例(对于$Q_1$和$Q_2$);这样的反例可以解释为什么$Q_1$和$Q_2$不等价。虽然测试数据库实例可以用作反例,但它可能太大或太复杂,无法阅读和理解不等价性的来源。因此,在本文中,给定一个已知的反例$D$为$Q_1$和$Q_2$,我们的目标是找到最小的反例$D' \subseteq D$其中$Q_1(D') \neq Q_2(D')$。这个问题一般是NP难的。我们给出了一套算法,找到最小的反例为不同类别的查询,一些更听话的比别人。我们还提出了一个有效的基于出处的算法SPJUD查询,使用约束求解器,并将其扩展到更复杂的查询与聚合,分组和嵌套查询。我们进行了大量的实验,表明我们的解决方案的有效性和可扩展性,从本科数据库课程的学生查询和查询TPC-H基准。我们还报告了一个用户研究,从课程中,我们部署我们的工具,以帮助学生与关系代数的作业。
2019-04-09 cs.DB
The Footprint Database and Web Services of the Herschel Space Observatory
赫歇尔空间天文台的数据免费向公众提供,但迄今为止还没有统一处理的观测目录。到目前为止,赫歇尔科学档案并不包含单个观测的确切天空覆盖范围(足迹),并且只支持基于边界圆的测量搜索。借鉴以往的经验,在实施足迹数据库,我们建立了赫歇尔足迹数据库和Web服务的赫歇尔空间天文台提供高效的搜索功能,典型的天文查询。设计该数据库时考虑到以下主要目标:(a)为所有仪器和观测模式的元数据提供统一的数据模型;(b)快速查找涵盖选定天体及其邻域的观测数据;(c)快速查找更大天空区域的每一个观测数据;(d)能够查找跨越观测场的太阳系天体。作为第一步,我们开发了一个统一的数据模型的观测所有三个赫歇尔仪器的所有指向和仪器模式。然后,利用望远镜指向信息和观测元数据,我们编制了一个足迹数据库。与使用球体像素化的方法相反,我们以精确的几何形式表示天空覆盖范围,从而可以进行精确的面积计算。为了更容易地处理具有相当复杂形状的Herschel观测足迹,实现了两种算法来减小轮廓。此外,一个新的可视化工具,绘制足迹与各种球面投影的开发。使用分层三角网格对足迹进行索引,可以快速找到基于天空覆盖,时间和元数据的观测结果。该数据库可以通过网站(http://www.example.com)访问,也可以作为一组REST Web服务功能访问。herschel.vo.elte.hu
2016-06-13 astro-ph.IM cs.DB
Life Under Your Feet: An End-to-End Soil Ecology Sensor Network, Database, Web Server, and Analysis Service
无线传感器网络可以通过提供以前不可能的时间和空间粒度的测量来彻底改变土壤生态学。本文介绍了一个土壤监测系统,我们开发和部署在巴尔的摩的城市森林实现这一愿景的第一步。这个网络中的微粒每分钟都在现场测量和保存土壤湿度和温度。原始测量值由传感器网关定期检索,并存储在中央数据库中,其中导出并存储校准版本。测量数据库通过Web Services接口发布。此外,分析工具让科学家分析当前和历史数据,并帮助管理传感器网络。本文介绍了系统设计,我们从部署中学到了什么,以及从传感器获得的初步结果。该系统以前所未有的时间精度测量土壤因素。然而,部署需要设备级编程,跨空间和时间的传感器校准,以及与外部源的交叉参考测量。数据库、Web服务器和数据分析设计需要大量的创新和专业知识。计算机科学家和生态学家的比例是3:1。在传感器网络能够发挥其作为科学家可以轻松部署的工具的潜力之前,这些技术问题必须得到解决,以便比率是每十个生态学家中有一个书呆子。
2007-01-26 cs.CE cs.DB
An Introduction to Functional dependency in Relational Databases
这篇文章是为计算机科学硕士研究生提供的关于数据库系统高级主题的第二层次课程的建议讲义。需要有算法方面的先决条件和对数据库系统的了解。额外的阅读可能需要接触数学逻辑。这些笔记的出发点是从M.Y. Vardi的调查在此列出作为参考-一些证据是这样提出的。尽管现在提出了全新的设计方法,但对功能依赖性的选择重写旨在提供一些澄清。
2016-03-01 cs.DB
GriDB: Scaling Blockchain Database via Sharding and Off-Chain Cross-Shard Mechanism
GriDB提出首个可扩展区块链数据库,通过链下跨分片机制和新型认证数据结构,在拜占庭环境下高效支持跨分片查询与在线负载均衡,降低共识开销并保留分片收益。
2024-07-04 cs.DB
A Database System for State Management in Stateful Network Service Function Chains [Vision]
本文提出数据库系统DB4NFV,通过将事务语义集成到有状态服务功能链的全生命周期中,以简化开发、优化多核性能并提升执行鲁棒性,从而推动NFV状态管理的有效部署。
2023-12-02 cs.DB cs.NI
Graywulf: A platform for federated scientific databases and services
许多科学领域都依赖于关系数据库管理系统来分析、发布和共享数据。由于RDBMS最初是为业务用例设计的,并且其开发方向主要由业务用例驱动,因此它们通常缺乏对科学应用非常重要的功能。水平可伸缩性可能是最重要的缺失特性,这使得传统的关系数据库系统适应不断增长的数据大小变得具有挑战性。由于对数组数据类型和元数据管理的支持有限,关系数据库管理系统在科学领域的成功应用通常需要开发自定义扩展。虽然其中一些扩展是特定于科学领域的,但其中大多数可以很容易地在其他学科中推广和重用。在Graywulf项目中,我们打算瞄准几个目标。我们正在构建一个通用平台,提供可重复使用的组件,用于有效存储,转换,统计分析和呈现存储在Microsoft SQL Server中的科学数据。Graywulf还解决了当前RDBMS技术所带来的分布式计算问题。当前版本支持简单查询的负载均衡和在一组镜像数据库上并行执行分区查询。通过基于Web的查询接口和软件客户端的数据表面提供对数据的统一用户访问。SQL是以稍微修改过的SQL语法制定的,它提供了分布式数据的透明视图。该软件库由几个组件组成,这些组件可以重用以开发复杂的科学数据仓库:系统注册表、管理整个数据库服务器集群的管理工具、复杂的工作流执行框架和SQL解析器库。
2013-08-06 cs.DB
An innovating approach to teaching applied to database design. Improvement of Action Learning in Lifelong Learning
University Institute of Technology – Angers-Cholet(昂热-舒莱技术学院);University of Angers(昂热大学)
本文提出了一种创新的教学方法,通过行动学习提升数据库设计教学效果,结合法国职业教育的成功因素,实现教学与职业发展的双重目标。
2026-01-26 cs.DB
Comparative Evaluation of Data Decoupling Techniques for Federated Machine Learning with Database as a Service
University of Nevada(内华达大学);University of California(加利福尼亚大学)
联邦学习(FL)是一种机器学习方法,允许多个客户端在不共享原始数据的情况下协作学习共享模型。然而,目前的FL系统提供了一个一体化的解决方案,这可能会阻碍FL在某些领域,如科学应用的广泛采用。为了克服这一限制,本文提出了一种解耦方法,使客户能够使用特定的数据子系统定制FL应用程序。为了评估这种方法,作者开发了一个称为数据解耦联邦学习(DDFL)的框架,并将其与紧密耦合数据管理和计算的最先进的FL系统进行比较。在各种数据集和数据管理子系统上进行的大量实验表明,DDFL在训练时间、推理精度和数据库查询时间方面都取得了相当或更好的性能。此外,DDFL为客户提供了更多的选项来调整他们的FL应用程序与数据相关的指标。作者还提供了一个详细的定性分析DDFL与主流数据库系统集成时。
2023-03-15 cs.AI cs.DB cs.DC
IDSS, a Novel P2P Relational Data Storage Service
本文提出IDSS,一种基于P2P网络和嵌入式关系数据库的新型大规模数据存储服务,通过公共模式支持分布式查询处理,实现对海量数据的高效稳健管理。
2025-07-19 cs.DB cs.DC
Modeling and Performance Analysis of Single-Server Database Over Quasi-static Rayleigh Fading Channel
云数据库是云计算的关键技术。云数据库有效高效的服务质量离不开通信技术,就像提高通信质量会减少售票系统中的并发现象一样。为了直观地观察通信对云数据库的影响,提出了一种准静态瑞利衰落信道下的单服务器数据库通信-数据库模型(Communication-Database,C-D),该模型由客户端源、通信系统和数据库系统三部分组成。本文采用M/G/1//K排队模型对整个系统进行建模。C-D模型分为非线性和线性两种情况进行分析,分别对应于SISO和MIMO的一些情况。对平均停留时间、平均事务数等性能特性的仿真结果与理论结果基本一致,验证了C-D模型的有效性。这些实验结果的比较也证明了差的通信质量确实导致服务质量的降低。
2023-01-17 cs.DB
The Maximum Trajectory Coverage Query in Spatial Databases
随着支持GPS的移动设备的广泛使用,从Bikely、GPS-wayPoints和Uber等各种来源可以获得前所未有的大量轨迹数据。创新交通服务的兴起和最近自动驾驶汽车的突破将导致轨迹数据和相关应用的持续增长。在新兴平台中支持这些服务将需要在轨迹数据库中进行更有效的查询处理。在本文中,我们提出了两个新的覆盖查询轨迹数据库:(i)k最大化反向范围搜索轨迹(kMaxRounds);和(ii)最大k覆盖范围搜索轨迹(MaxkCovests)。我们提出了一种新的索引结构,轨迹四叉树(TQ-tree),利用四叉树层次化组织轨迹到不同的四叉树节点,然后应用z排序进一步组织轨迹的空间位置内的每个节点。这种结构在修剪轨迹搜索空间方面是非常有效的,这是独立感兴趣的。通过利用TQ树数据结构,我们开发了一个分治的方法来计算轨迹的“服务值”,和最好的第一个策略,探索轨迹使用适当的上限上的服务值,以有效地处理一个kMaxRisk查询。此外,为了解决MaxkCovenant,这是一个non-submodular NP-hard问题,我们提出了一个贪婪的近似,也利用了TQ-树。我们评估我们的算法,通过广泛的实验研究几个真实的数据集,并证明我们的TQ树为基础的算法优于常见的基线两到三个数量级。
2018-04-02 cs.DB
HDBSCAN: Density based Clustering over Location Based Services
基于位置的服务(LBS)已经变得非常流行,并被数百万用户使用。流行的LBS涵盖了从地图服务(如谷歌地图)到餐馆(如Yelp)和房地产(如Redfin)的所有领域。LBS的公共查询接口可以抽象地建模为二维的点数据库上的kNN接口:给定任意查询点,系统返回数据库中距离查询点最近的k个点。通常,k被设置为诸如20或50的小值。在本文中,我们考虑的新问题,使基于密度的聚类在LBS只有一个有限的,kNN查询接口。由于LBS对查询速率的限制,即使检索每个元组一次也是不可行的。因此,我们寻求构造聚类分配函数f(.)通过发出少量的kNN查询,使得对于数据库中可能已经或可能尚未被访问的任何给定元组t,f(.)以高精度输出t的聚类分配。我们在基准数据集和流行的现实世界的LBS(如Yahoo!Flickr、Zillow、Redfin和谷歌地图。
2016-02-16 cs.DB
Marlin: Efficient Coordination for Autoscaling Cloud DBMS (Extended Version)
针对云数据库控制平面依赖外部融合协调服务存在的扩展性、成本与运维问题,本研究提出云原生协调机制Marlin,通过解耦协调功能、整合进现有数据库并优化提交协议,实现了更高的成本效率和更快的重配置速度。
2025-08-03 cs.DB
QueryBooster: Improving SQL Performance Using Middleware Services for Human-Centered Query Rewriting
QueryBooster提出基于中间件的服务架构,通过VarSQL规则语言和示例学习,实现以人为中心的SQL查询重写,提升端到端查询性能。
2023-05-14 cs.DB
The MammoGrid Virtual Organisation - Federating Distributed Mammograms
MammoGrid项目的目标是提供一个原型,使放射科医生之间使用网格,面向服务和数据库解决方案的有效合作。网格技术和基于服务的数据库管理解决方案为集成各种分布式资源提供了平台,从而创建了所谓的虚拟组织。MammoGrid虚拟组织促进共享和协调访问参与医院的乳房X光检查数据、医学成像软件和计算资源。医院管理其本地的乳房X线照片数据库,但除此之外,该组织的放射科医生可以共享乳房X线照片,报告,结果和图像分析软件。MammoGrid虚拟组织是一个跨越国界的自治多中心站点联盟。本文概述了基于服务的方法在创建和管理的联邦分布式乳腺X射线摄影数据库,并讨论了分布式图像分析中的虚拟组织的作用。
2005-07-18 cs.DB cs.DC
Enabling Differentiated QoS Degradation for Replicated Databases under Failures
Inria, Univ. Lille, CNRS UMR 9189 CRIStAL, France(法国国家信息与自动化研究所,里尔大学,法国国家科学研究中心 UMR 9189 CRIStAL);CNRS, Univ. Lille, Inria UMR 9189 CRIStAL, France(法国国家科学研究中心,里尔大学,法国国家信息与自动化研究所 UMR 9189 CRIStAL);Univ. Lille, Inria, CNRS UMR 9189 CRIStAL, France(里尔大学,法国国家信息与自动化研究所,法国国家科学研究中心 UMR 9189 CRIStAL)
该研究针对复制数据库服务,提出在故障下通过PLB中间件实现差异化QoS降级的策略,实验显示其能提升Premium服务的吞吐量保留率、吞吐量并降低延迟。
2026-08-13 cs.DB cs.DC
Relational Playground: Teaching the Duality of Relational Algebra and SQL
针对学生在SQL与关系代数之间缺乏联系理解的问题,开发了Relational Playground工具,帮助数据库学生探索两者之间的对应关系。
2023-06-23 cs.DB
NEURON: Query Optimization Meets Natural Language Processing For Augmenting Database Education
关系数据库管理系统(RDBMS)是世界上许多大学的计算机科学课程的一部分。该课程的核心组成部分是关系数据库管理系统中查询优化器的设计和实现。查询优化器的目标是自动识别执行用户提交的声明性SQL查询的最有效执行策略。查询优化过程产生表示查询的执行策略的查询执行计划(QEP)。由于底层查询优化器的复杂性,理解QEP要求学生了解与RDBMS相关的特定于实现的问题。实际上,这是一个不切实际的假设,因为大多数学生都是第一次学习数据库技术。因此,他们通常很难通过仔细阅读QEP来理解DBMS所承担的查询执行策略,从而阻碍了他们的学习过程。在这个演示中,我们提出了一个新的系统,称为神经元,促进自然语言与QEP互动,以提高其理解。NEURON接受SQL查询(可能包括连接、聚合、嵌套等)作为输入,执行它,并生成底层RDBMS部署的执行策略的简化的基于自然语言的描述(文本和语音形式)。此外,它通过基于自然语言的问答框架促进了对与QEP相关的各种特征的理解。我们主张,这样的工具,世界上第一个,可以大大提高学生的学习查询优化的主题。
2018-08-21 cs.DB
A Consumer-Centric Market for Database Computation in the Cloud
云中公共计算资源的可用性已经彻底改变了数据分析,但请求云资源通常涉及消费者的复杂决策。在当前的定价机制下,云服务提供商提供多种服务选项,并根据消费者使用的资源向其收费。在决定请求哪些云资源之前,消费者必须估计不同服务选项(可能是不同服务提供商)的计算任务的完成时间和成本。即使对于专家云用户来说,这种估计也是具有挑战性的。我们提出了一个新的基于市场的框架,在云中的计算任务定价。我们的框架在消费者和云提供商之间引入了一个代理。代理从用户那里获取数据和计算任务,估计评估任务的时间和成本,并向消费者返回指定价格和完成时间的合同。我们的框架可以直接应用于现有的云市场,而不会改变云提供商提供和定价服务的方式。此外,它还允许消费者比较合同,而不是直接选择资源,从而简化了云的使用。我们目前的设计,分析和算法的贡献,专注于定价计算合同,分析其属性,并在复杂的工作流程中优化它们。我们对现实世界的云服务市场框架进行了实验性评估,并以经验证明,我们的市场确保了三个关键属性:竞争力,公平性和弹性。最后,我们提出了一个细粒度的定价机制,复杂的工作流程,并表明它可以增加代理利润超过一个数量级,在某些情况下。
2017-06-16 cs.DB cs.DC
Concurrency Control as a Service
Northeastern University(东北大学);Huawei Tec. Co., Ltd(华为技术有限公司);Tsinghua University(清华大学)
本文提出并发控制作为服务(CCaaS),通过解耦并发控制与数据库,构建执行-并发控制-存储三层架构,提升弹性、资源利用率和开发敏捷性,采用分片多写OCC算法和异步日志推送机制降低网络开销和延迟。
2026-03-14 cs.DB
Frequency-hiding Dependency-preserving Encryption for Outsourced Databases
云模式使用户能够将其数据外包给计算能力强大的第三方服务提供商进行数据管理。许多数据管理任务依赖于外包数据中的数据依赖性。这就提出了一个重要的问题,即数据所有者如何保护外包数据中的敏感信息,同时保持数据依赖性。在本文中,我们考虑函数依赖FD,一种重要的数据依赖类型。我们设计了一个保留FD的加密方案,名为F2,使服务提供商能够从加密数据集中发现FD。我们考虑了频率分析攻击,并证明了F2加密方案可以在Kerckhoff原则下以可证明的保证抵御攻击。我们的实证研究证明了F2的效率和有效性。
2016-03-08 cs.CR cs.DB
Automating Freshman Course Placement and Registration: A Case Study
Rowan University(罗文大学)
罗文大学针对新生入学人数激增导致手动课程流程不可持续的问题,开发了整合Banner等数据的自动化系统,处理超3500名新生,年节省超350小时,减少人为错误并释放人员精力。
2026-08-11 cs.CY cs.DB cs.IR
Does query performance optimization lead to energy efficiency? A comparative analysis of energy efficiency of database operations under different workload scenarios
随着在线服务的不断增加以及能源成本的不断增加,能源消耗成为评估数据中心运营的重要成本因素。造成这种情况的一个重要因素是数据库服务器的性能,据认为,数据库服务器是在线服务的骨干。从软件的角度来看,虽然市场上出现了一系列新颖的数据管理技术,例如基于键值的数据库或内存数据库,但经典的关系数据库管理系统(RDBMS)仍然被广泛使用。此外,从硬件的角度来看,大多数数据库服务器仍然使用标准的磁性硬盘驱动器(HDD),而不是固态硬盘(SSD),因为每GB的存储成本较低,忽略了由于高成本可能带来的性能提升。在这项研究中,我们专注于基于软件的数据库服务器的能耗评估,通过运行三个不同的和完整的数据库工作负载,即TCP-H,星型架构基准-SSB以及我们为这项研究推导出的修改后的基准称为W22。我们配置文件之间的最重要的服务器组件的能量分布,并通过使用不同的资源分配,我们评估的能源消耗的一个典型的开源关系数据库管理系统(PostgreSQL)在标准服务器上的性能(测量查询时间)。结果证实了众所周知的事实,即使是完整的工作负载,RDBMS的优化结果,以降低能耗。
2013-03-20 cs.DB
Large-Scale Intelligent Microservices
Microsoft(微软);MIT(麻省理工学院)
在数据库中部署机器学习(ML)算法是一项挑战,因为现代ML算法的计算足迹不同,而且各种数据库技术都有自己的限制性语法。我们引入了一个基于Apache Spark的微服务编排框架,该框架扩展了数据库操作,以包括Web服务原语。我们的系统可以编排Web服务在数百台机器上,并充分利用集群,线程和异步并行。使用这个框架,我们提供了大规模的客户端的智能服务,如语音,视觉,搜索,异常检测和文本分析。这使得用户可以使用Apache Spark连接器将即时可用的智能集成到任何服务器中。为了消除网络通信的大部分开销,我们还引入了我们架构的低延迟容器化版本。最后,我们证明了我们调查的服务是有竞争力的各种基准,并提出了两个应用程序,这个框架来创建智能搜索引擎,和实时的汽车比赛分析系统。
2021-12-02 cs.AI cs.DB cs.DC
HAKES: Scalable Vector Database for Embedding Search Service
National University of Singapore(国立新加坡大学);Deakin University(德肯大学);Zhejiang University(浙江大学)
本文提出分布式向量数据库 HAKES,通过两阶段 ANN 索引、轻量参数调优、提前终止及读写解耦,在并发负载下实现高召回、高吞吐和可扩展。
2025-05-18 cs.DB cs.LG
The HSF Conditions Database Reference Implementation
本文介绍HSF条件数据库的服务与客户端参考实现,采用Django+PostgreSQL+POSIX文件系统的分离设计,支持高访问速率与分布式计算,已在sPHENIX实验超2.5万核环境中验证部署与扩展能力。
2024-01-29 cs.DB hep-ex
Data-informed healthcare service design for multiple long-term conditions using online patient stories
The University of Exeter(埃克塞特大学)
本文利用2320个患者故事数据库,结合定性洞察与大数据分析,识别出持续护理、协调护理和时间-服务可及性为多长期疾病服务设计的关键改进方向。
2026-03-30 cs.DB
Multi-layer Architecture For Storing Visual Data Based on WCF and Microsoft SQL Server Database
在本文中,我们提出了一种新的体系结构存储视觉数据。有效地存储、浏览和搜索图像集是计算机科学最重要的挑战之一。存储这些数据的架构设计需要一组工具和框架,如SQL数据库管理系统和面向服务的框架。所提出的解决方案是基于一个多层架构,它允许更换任何组件,而无需重新编译其他组件。该方法由模型、基础引擎、具体引擎、CBIR服务和表示五个部分组成。它们基于两种著名的设计模式:依赖注入和反向控制。为了实验的目的,我们实现了SURF局部兴趣点检测器作为特征提取器和$K$ -均值聚类作为索引器。所提出的架构是为了基于内容的检索系统模拟的目的,以及为现实世界的CBIR任务。
2015-04-26 cs.DB cs.IR
Enforcing Privacy in Cloud Databases
外包数据库,即,由于云计算的弹性、可用性、可扩展性和即用即付的特征,诉诸数据库即服务(DBaaS)是当今流行的选择。然而,大多数数据在某种程度上是敏感的,数据隐私仍然是DBaaS用户最关心的问题之一,明显的法律和竞争的原因。在本文中,我们调查的机制,旨在使数据库在云环境中的安全,并讨论当前的陷阱和相关的研究挑战。
2017-08-30 cs.CR cs.DB
Unified Peripartum Database with Natural-Language-to-SQL Capabilities at Udine University Hospital: Design and Prototype
Udine University Hospital(乌迪内大学医院)
本文针对乌迪内大学医院产科数据碎片化问题,设计并原型化整合多源围产期信息、支持NL2SQL自然语言查询的统一关系数据库。
2025-10-18 cs.DB
Manu: A Cloud Native Vector Database Management System
随着基于学习的嵌入模型的发展,嵌入向量被广泛用于非结构化数据的分析和搜索。由于矢量集合超过十亿规模,因此需要完全管理和水平可扩展的向量数据库。在过去的三年里,通过与1200多个行业用户的互动,我们勾勒出了下一代向量数据库应该具备的特征,包括长期可演化性、可调一致性、良好的弹性和高性能。我们提出Manu,一个云原生向量数据库,实现这些功能。如果按照传统的DBMS设计规则,很难将所有这些特性集成在一起。由于大多数矢量数据应用程序不需要复杂的数据模型和强大的数据一致性,我们的设计理念是放松数据模型和一致性约束,以换取上述功能。具体来说,Manu首先公开了写前日志(WAL)和binlog作为骨干服务。其次,写组件被设计为日志发布者,而所有只读的分析和搜索组件被设计为日志服务的独立订阅者。最后,我们利用多版本并发控制(MVCC)和增量一致性模型来简化系统组件之间的通信和协作。这些设计实现了系统组件之间的低耦合,这对弹性和进化至关重要。我们还通过硬件感知实现和对复杂搜索语义的支持,对Manu的性能和可用性进行了广泛优化。
2022-06-28 cs.DB
Approximate Similarity Search for Online Multimedia Services on Distributed CPU-GPU Platforms
高维空间中的相似性搜索是各种数据库应用中的关键操作。最近,已经有越来越多的兴趣在相似性搜索的在线基于内容的多媒体服务。然而,这些服务带来了新的挑战,因为必须对大量数据进行索引/搜索,而且需要尽量缩短最终用户观察到的响应时间。此外,这些用户与系统动态交互,导致查询请求率波动,需要搜索算法进行调整,以便更好地利用下划线硬件来减少响应时间。为了解决这些挑战,我们引入hypercurves,一个灵活的框架,回答近似k-最近邻(kNN)查询非常大的多媒体数据库,针对在线基于内容的多媒体服务。Hypercurves在混合CPU-GPU环境中执行,并且能够协同使用这些设备来支持大规模的查询请求速率。为了在请求率变化时保持最佳的响应时间,它采用了一种新型的动态调度器来在CPU和GPU之间划分工作。使用多媒体描述符的大型数据库对Hypercurves进行了全面评估。与单CPU核心版本相比,其协同CPU-GPU执行实现了高达30倍的性能提升。与最佳静态CPU-GPU任务分区配置相比,动态工作分区机制将观察到的查询响应时间减少了约50%。此外,Hypercurves在分布式(多节点)执行中实现了超线性可扩展性,同时保持了与其顺序版本的高度等价性--这要归功于概率等价性的证明,这支持了其积极的并行化设计。
2012-09-03 cs.DB cs.DC cs.MM
Query Rewriting On Path Views Without Integrity Constraints
具有绑定模式的视图是对数据库的参数化查询。使用这样的视图,例如,对Web服务进行建模。为了回答对这些视图的查询,必须在执行计划中将视图编排在一起。目标通常是找到等价的重写,它提供与所有数据库上的查询完全相同的结果。然而,这样的重写通常只有在存在完整性约束的情况下才可能-并且不是所有的数据库都有这样的约束。在本文中,我们描述了一类计划,即使没有完整性约束,也能对其结果提供实际保证。我们提供了一个这样的计划和一个完整的和正确的算法来列举他们的特点。最后,我们表明,我们的方法可以在现实世界中的Web服务的计划。
2020-10-07 cs.DB
Configuration Database for BaBar On-line
组态数据库是BaBar在线系统的重要组成部分。它为数据采集系统和控制系统中需要运行时参数的不同部分提供服务。配置数据库的原始设计和实现在实验开始以来成功的BaBar操作中发挥了重要作用。最近对配置数据库设计的补充为数据管理提供了更好的手段,并增加了新的工具来简化主要配置任务。我们描述了配置数据库的设计,它的实施与Objectivity/DB面向对象的数据库,和我们的经验,在多年的操作过程中收集。
2003-05-29 cs.DB cs.IR
High-concurrency Custom-build Relational Database System's design and SQL parser design based on Turing-complete automata
数据库系统是软件项目中不可缺少的一部分。它在数据组织和存储中起着重要作用。它的性能和效率直接关系到软件的性能。现在我们有很多通用的关系数据库系统可以在我们的项目中使用,比如SQL Server、MySQL、Oracle等,不可否认的是,在大多数情况下,我们都可以轻松的使用这些数据库系统来完成我们的项目,但是考虑到通用性,通用的数据库系统往往不能发挥极致的速度,完全适应我们的项目。在极少数项目中,我们需要设计一个完全适应我们项目的数据库系统,并具有高效率和并发性。因此,考虑一个可行的数据库系统设计方案是非常重要的(这里我们只考虑关系数据库系统)。同时,对于数据库系统来说,SQL解释和执行模块是必要的。根据形式语言和自动机的理论,该模块的实现可以用自动机来完成。在实验中,我们做了以下几个方面的工作:1)设计了一个小型的关系数据库,并利用该数据库完成了一个高并发的学生选课系统。2)我们设计了一个通用的自动机模块,它可以完成从解析到执行的操作。采用了策略模型和事件驱动的设计方案,并对一般自动机进行了改进,如在自动机中加入了类似记忆的结构,使其更好地存储上下文。所有这些使得自动机模型可以应用于各种场合,而不仅仅是SQL语句的解析和执行。
2020-08-11 cs.DB cs.SE
Secure Parallel Processing of Big Data Using Order-Preserving Encryption on Google BigQuery
随着IT基础设施中资源集中化的增加和云服务数量的增加,数据库管理系统(DBMS)将越来越多地外包给云结构即服务(IaaS)提供商。将整个数据库或处理大数据的计算能力外包给外部提供商也意味着提供商可以完全访问数据库中包含的信息。在本文中,我们提出了一个可行的解决方案,其中包括保序加密(OPE)以及最先进的加密方法,用于对外部资源上的大数据进行排序和处理,而不会将未加密的数据暴露给IaaS提供商。我们还介绍了Google BigQuery的概念验证客户端作为示例IaaS Provider。
2016-08-29 cs.CR cs.DB
Using Object-Relational Mapping to Create the Distributed Databases in a Hybrid Cloud Infrastructure
目前使用云服务的挑战之一是设计专门的数据管理系统的任务。这对于数据位于公共云和私有云的混合系统尤其重要。执行监测功能查询、调度和处理软件必须适当执行,是系统的一个组成部分。为了提供这些功能,建议使用对象关系映射(ORM)。本文致力于介绍为混合云基础设施中托管的信息系统设计数据库的方法。并给出了ORM库的开发实例。
2015-01-04 cs.DB cs.DC cs.NI