Resolving Clinicians Queries Across a Grids Infrastructure
在过去的十年中,计算能力、数据存储容量和网络速度都有了数量级的增长,从而产生了可以处理分布在互联网上的复杂性增加的大量数据的应用程序。网格计算有望解决许多困难,促进医学图像分析,使放射科医生合作,而不必共同定位。欧盟资助的MammoGrid项目旨在研究开发一个基于网格的欧洲乳房X线照片数据库的可行性,并提供一个联合多个乳房X线照片数据库的信息基础设施。这将使临床医生能够开发新的通用,协作和合作的方法来分析乳房X线摄影数据。本文重点介绍了大规模分布式乳腺X线摄影分析的关键要求之一:解决跨网格连接的图像联盟的查询。
2004-02-03 cs.DB cs.SE
Dynamic Physiological Partitioning on a Shared-nothing Database Cluster
传统的DBMS服务器通常在其大部分日常工作负载中过度配置,并且由于它们没有显示出足够好的能量比例,因此在未充分利用的情况下浪费了大量能量。一个小型(弱)服务器集群,其大小可以根据当前工作负载动态调整,为这些工作负载提供更好的能量特性。然而,平衡节点之间的利用率所必需的数据迁移是一项重要且耗时的任务,可能会消耗节省的能量。出于这个原因,需要一个复杂且易于调整的分区方案来促进动态重组。在本文中,我们采用了一种技术,最初创建的SMP系统,称为生理分区,在节点之间分布数据,可以很容易地重新分区数据,而不中断事务。我们动态分区数据库表的基础上节点的利用率和给定的能量约束,并比较我们的方法与物理分区和逻辑分区方法。为了量化可能的节能和查询运行时,它可以想象的缺点,我们评估我们的实验集群上的实现,并比较结果w.r.t.性能和能耗。根据工作负载的不同,我们可以在不牺牲太多性能的情况下大幅节省能源。
2014-07-02 cs.DB cs.DC
The Case for Distributed Shared-Memory Databases with RDMA-Enabled Memory Disaggregation
存储器分解(MD)通过将计算(CPU)与存储器分离,允许可扩展和弹性的数据中心设计。使用MD,计算和内存不再耦合到同一个服务器盒中。相反,它们通过超快速网络(如RDMA)相互连接。MD可以带来许多优点,例如,更高的内存利用率、更好的独立扩展(计算和内存)以及更低的拥有成本。本文提出了MD可以推动下一波数据库系统创新的案例。我们注意到,MD重新唤起了数据库社区中关于“共享什么”的大辩论。我们设想,分布式共享内存数据库(DSM-DB,简称)-以前没有得到太多的关注-可以在未来的MD有前途。我们提出了一个挑战和机遇的列表,可以激发系统设计的下一步,使DSM-DB的情况。
2022-07-07 cs.DB
SLSM : An Efficient Strategy for Lazy Schema Migration on Shared-Nothing Databases
针对shared-nothing数据库在线模式变更需等待大规模数据回填的问题,本文提出SLSM策略,通过保持新旧模式数据分布并融合迁移事务与用户事务,降低通信开销与事务等待,实现零停机高效迁移。
2024-04-05 cs.DB
H2O: An Autonomic, Resource-Aware Distributed Database System
本文介绍了一个自治的,资源感知的分布式数据库,使数据备份和共享,而无需复杂的手动管理的设计。数据库H2O旨在利用工作站机器上未使用的资源。对于未经培训的用户来说,创建和维护高可用性的复制数据库系统可能很困难,对于IT部门来说成本很高。H2O通过在企业中的机器之间重复复制数据和负载平衡来减少手动管理的需要。配置硬件来运行数据库系统可能会带来不必要的成本,因为大多数组织已经在工作站机器中拥有大量空闲资源。H2O旨在通过使用资源可用性信息将数据和计划查询放置在已用于其他任务的工作站机器上来利用此未使用的容量。本文讨论了这样一个系统的要求,并提出了H2O的设计和实现。
2010-06-16 cs.DB cs.DC
Semantically Secure Private Set Intersection over Outsourced Multi-Owner Secret-Shared Databases
私有集合交集(PSI)的目的是让用户在不泄露其他成员信息的情况下,找出用户之间共同共享的项目。最近在数据库社区中提出的PSI方法是Prism,它建立在秘密共享和多个非合谋服务器可用的假设之上。Prism的一个局限性在于其语义安全性:服务器上的编码是确定性的,这意味着该方案在选择明文攻击(IND-CPA)下无法区分。本文通过两个正交原语,即Kaleido-RND和Kaleido-AES,对Prism的PSI方案进行了扩展:前者在随机编码下具有高效的性能,后者在CPA攻击下具有可证明的安全性,但计算开销较大。在一个34节点的SQLite实例集群上实现并部署了一个系统原型。在TPC-H基准测试和三个实际应用中的大量实验证实了所提出的Kaleido原语的有效性。
2023-03-13 cs.CR cs.DB
SharedDB: Killing One Thousand Queries With One Stone
传统的数据库系统是围绕一次查询模型构建的。这种方法试图以最大努力的方式优化性能。不幸的是,对于许多现代应用程序来说,尽力而为还不够好。这些应用需要在高负载情况下保证响应时间。本文介绍了一种新的数据库架构的设计,该架构基于并行查询和共享计算,可能有数百个并发查询和更新。使用TPC-W基准测试的性能实验表明,我们的实现SharedDB的性能在各种动态工作负载中确实很强大。
2012-03-01 cs.DB
Random Access Concatenated Libraries and dd enable a short-latency high-content website on an inexpensive shared server
内容丰富的网站通常将其图像保存为单独的文件或更昂贵的二进制数据库对象。这两种方法都对存储资源提出了很高的要求,同时也带来了相当高的货币成本。廉价的共享服务帐户对磁盘和计算资源有严格的限制,这阻止了它们用于托管内容丰富的网站。为了最小化这些有限资源上的负载,可以将大量图像或其他记录连接到单个文件中,并使用Linux实用程序dd以与文件内的位置无关的短延迟进行交付。该解决方案及其性能的(a)一个网站,其中包含8000+家谱参考书,超过350万250-Kbyte页的图像,(b)一个基于网站的数据库的86万死亡记录,和(c)集群计算应用程序,利用800个神经成像数据库,每个150万条记录。这些不同的应用程序展示了该解决方案的功效、可扩展性和通用性。
2022-10-15 cs.DB
Why We Created Yet Another Memory Framework: Understanding MGA's Role in Next-Gen Database Systems
Oracle America Inc.(甲骨文美国公司)
本文针对现有数据库内存抽象的局限,提出Oracle AI Database的MGA共享内存方案,在TPC-H和ONNX推理测试中实现了显著的延迟降低与内存优化。
2026-08-25 cs.DB
Towards Anticipatory Databases Through Shared Data and Workload Semantics
University of Melbourne(墨尔本大学);Aarhus University(奥胡斯大学)
本文提出将工作负载语义作为一等信号,通过语义局部性与轨迹建模,实现语义预取和缓存淘汰,以增强数据库的预期决策能力。
2026-09-15 cs.DB cs.LG
OLTP on Hardware Islands
现代硬件大量并行,并且越来越异构。众多处理核具有对主存储器和处理器高速缓存的非均匀访问权限,这导致通信成本的变化。不幸的是,数据库系统大多假设所有的处理核心都是相同的,并且微架构的差异不足以出现在关键的数据库执行路径中。然而,正如我们在本文中所展示的,硬件异构性确实出现在关键路线中,并且传统的数据库架构实现了次优甚至更差的不可预测的性能。我们对每个CPU有多个内核(多核)和每个服务器有多个CPU(多插槽)的服务器中的OLTP部署进行了详细的性能分析。我们比较了不同的数据库部署策略,其中我们改变了在单个服务器上运行的独立数据库实例的数量和大小,从单个共享一切实例到细粒度的无共享配置。我们通过以下方式量化非统一硬件对各种部署的影响:(a)检查每个部署使用可用硬件资源的效率;(b)测量分布式事务和偏斜请求对不同工作负载的影响。最后,我们主张支持无共享部署,即拓扑和工作负载感知,并利用同一插槽上的核心岛屿之间的快速片上通信。
2012-08-01 cs.DB
Privacy-Preserving Secret Shared Computations using MapReduce
数据外包允许数据所有者将其数据保存在\emph{untrusted}云中,而这些云无法确保数据和/或计算的隐私。MapReduce是一个用于分布式容错数据处理的有用框架,它是为\emph{trusted}私有云开发的。本文提出了基于Shamir的秘密共享方案的数据外包算法,以及在使用MapReduce作为底层编程模型的同时执行隐私保护SQL查询的算法,例如计数,选择(包括范围选择),投影和连接。我们提出的算法防止对手知道数据库或查询,同时也防止输出大小和访问模式的攻击。有趣的是,我们的算法不涉及数据库所有者,它只创建和分发秘密共享一次,在回答任何查询,因此,数据库所有者也不能学习查询。逻辑和实验,我们评估以下参数的算法的效率:(\textit{i})的通信轮数(用户和服务器之间),(\textit{ii})的比特流的总量(用户和服务器之间),和(\textit{iii})在用户和服务器的计算负载。\B
2019-08-06 cs.CR cs.DB cs.DC
Obscure: Information-Theoretically Secure, Oblivious, and Verifiable Aggregation Queries on Secret-Shared Outsourced Data -- Full Version
尽管密码学取得了令人兴奋的进展,但外包数据的安全和高效查询处理仍然是一个公开的挑战。我们开发了一个通信效率和信息理论上的安全系统,题为模糊的聚合查询与合取或析取谓词,使用秘密共享。模糊是强安全的(即,无论对手的计算能力如何都是安全的),并防止网络以及(对抗)服务器学习用户的查询、结果或数据库。此外,Obscure还提供了额外的安全功能,例如隐藏访问模式(即,隐藏满足查询的元组的身份)和隐藏查询模式(即,隐藏哪两个查询是相同的)。此外,Obscure不需要在查询执行之前/期间/之后存储秘密共享数据的任何两个服务器之间的任何通信。此外,我们的技术处理由单个或多个数据库所有者外包的秘密共享数据,以及允许可能不是数据库所有者的用户对秘密共享数据执行查询。我们进一步开发了(非强制性的)隐私保护结果验证算法,用于检测恶意行为,并通过实验验证了Obscure在大型数据集上的效率,而之前的秘密共享或多方计算系统的方法还没有扩展到这种规模。
2020-04-27 cs.CR cs.DB cs.IR
Bala-Join: An Adaptive Hash Join for Balancing Communication and Computation in Geo-Distributed SQL Databases
Yunxi Technology Company Ltd.(云犀科技有限公司);Shandong Inspur Database Technology Company Ltd.(山东浪潮数据库技术有限公司)
Bala-Join通过平衡分区和部分复制算法及偏斜连接键检测器,优化地理分布式SQL数据库中哈希连接的通信与计算负载,提升吞吐量25%-61%。
2026-03-05 cs.DB
A Distributed Approach to Privacy on the Cloud
基于云的数据处理和存储的日益普及带来了许多隐私问题。用户希望保留对其敏感数据的完全控制,并且不能接受外部存储提供商完全访问这些数据。以前在这方面的研究主要是解决技术,以保护存储在不受信任的数据库服务器上的数据;然而,我认为,云架构提出了一些具体的问题和问题。本论文包含了一个开放的问题进行了详细的分析。为了处理它们,我提出了一种新的方法,其中机密数据存储在高度分布式的分区数据库中,部分位于云上,部分位于客户端上。在我的方法中,数据可以是私有的,也可以是共享的;后者通过简单的授予和撤销权限以安全的方式共享。我开发了一个概念验证实现,它使用具有行级数据加密的内存RDBMS来实现细粒度的数据访问控制。在传统的外包RDBMS中很少采用这种方法,因为它需要几个复杂的步骤。我的proofofof-concept实现的基准测试表明,我的方法克服了大多数问题。
2015-03-27 cs.CR cs.DB
DBA-Bench: A Production-Fidelity Benchmark for LLM-Based Database Operations Agents
University of Electronic Science and Technology of China(电子科技大学)
研究基于大语言模型的数据库操作代理评估问题,提出DBA-Bench基准测试,通过生产保真度等解决评估与生产操作差距,含多场景和难度标签,评估多基线组,揭示安全端到端修复困难。
2026-10-14 cs.AI cs.CL cs.DB
MoMQ: Mixture-of-Experts Enhances Multi-Dialect Query Generation across Relational and Non-Relational Databases
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出基于混合专家的 MoMQ 框架,通过方言专家组、多级路由和共享专家组提升跨关系型与非关系型数据库的多方言查询生成,并构建覆盖 MySQL、PostgreSQL、Cypher、nGQL 的基准。
2024-10-24 cs.AI cs.CL cs.DB
RENSA: Rich Environment Metadata to Navigate Shared and Distributed Endpoints for Automated Federated SPARQL Query Generation
Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(信息学研究所);Database Center for Life Science(生命科学数据库中心)
RENSA是利用扩展SBM的联邦SPARQL查询生成框架,可精准选择数据源、消除ASK查询开销,在LargeRDFBench上表现优异,还能为查询变量推断约束。
2026-09-01 cs.CL cs.DB