OrpheusDB: Bolt-on Versioning for Relational Databases
数据科学团队经常协作分析数据集,在迭代探索和分析的每个阶段生成数据集版本。迫切需要一个可以支持数据集版本控制的系统,使这些团队能够有效地存储,跟踪和查询数据集版本。我们介绍了OrpheusDB,一个数据集版本控制系统,“螺栓”的版本控制功能,以传统的关系数据库系统,从而获得数据库的分析能力“免费”。我们开发和评估多个数据模型表示版本化的数据,以及一个轻量级的分区方案,LyreSplit,以进一步优化模型,减少查询延迟。使用LyreSplit,OrpheusDB在找到有效(和更好)的分区方面比竞争方法平均快1000倍,同时相对于没有分区的方案,版本检索的延迟也减少了20倍。LyreSplit可以在添加新版本时以在线方式应用,以及智能迁移方案,平均将迁移时间缩短10倍。
2017-03-07 cs.DB
Dynamic Physiological Partitioning on a Shared-nothing Database Cluster
传统的DBMS服务器通常在其大部分日常工作负载中过度配置,并且由于它们没有显示出足够好的能量比例,因此在未充分利用的情况下浪费了大量能量。一个小型(弱)服务器集群,其大小可以根据当前工作负载动态调整,为这些工作负载提供更好的能量特性。然而,平衡节点之间的利用率所必需的数据迁移是一项重要且耗时的任务,可能会消耗节省的能量。出于这个原因,需要一个复杂且易于调整的分区方案来促进动态重组。在本文中,我们采用了一种技术,最初创建的SMP系统,称为生理分区,在节点之间分布数据,可以很容易地重新分区数据,而不中断事务。我们动态分区数据库表的基础上节点的利用率和给定的能量约束,并比较我们的方法与物理分区和逻辑分区方法。为了量化可能的节能和查询运行时,它可以想象的缺点,我们评估我们的实验集群上的实现,并比较结果w.r.t.性能和能耗。根据工作负载的不同,我们可以在不牺牲太多性能的情况下大幅节省能源。
2014-07-02 cs.DB cs.DC
ER model Partitioning: Towards Trustworthy Automated Systems Development
在数据库开发中,概念模型以数据关系(ER)模型的形式创建,并转换为关系数据库模式(RDS)以创建数据库。然而,在ER模型上表示的一些重要信息可能不会在RDS上转换和表示。这种情况会导致在转换过程中丢失信息。为了保存信息,在我们以前的研究中,我们将转换过程标准化为一对一,并将其映射为从ER模型到RDS。为此,我们对ER模型和转换算法进行了改进,解决了其中存在的一些不足。由于映射是使用一些真实案例作为基础并出于验证目的而建立的,因此有必要进行形式证明以验证工作。因此,正在进行的旨在创建证明的研究将展示如何将给定的ER模型划分为一组唯一的片段,并使用它来表示ER模型本身。还将解释如何使用这些发现来完成未来的证明。此外,本文亦将讨论资料库开发自动化、概念模型教学、以及形式化方法的研究意义。
2020-07-02 cs.DB
Maintaining Queries under Updates Using Heavy-Light Partitioning of the Input Relations
University of Zurich(苏黎世大学);Relational AI(关系人工智能);OTH Regensburg(雷根斯堡应用技术大学)
研究增量视图维护问题,提出一种通用方法,结合delta查询、材料化视图树和重叠-轻量划分,以常数延迟枚举查询输出。
2026-05-08 cs.DB
Lachesis: Automatic Partitioning for UDF-Centric Analytics
持久分区在避免昂贵的混洗操作方面是有效的。然而,对于广泛使用用户定义函数(UDF)的大数据分析工作负载,自动化此过程仍然是一个重大挑战,与关系应用程序相比,子计算很难重新用于分区。此外,在以UDF为中心的分析中普遍存在的非结构化数据中,广泛用于分区选择的函数依赖性通常不可用。我们提出了Lachesis系统,它代表了UDF为中心的工作负载的可分析和可重用的子计算的工作流程。Lachesis进一步采用深度强化学习模型来推断哪些子计算应该用于划分底层数据。然后应用此分析来自动优化跨应用程序的数据存储,以提高性能和用户的工作效率。
2021-02-22 cs.DB cs.DC
CUTTANA: Scalable Graph Partitioning for Faster Distributed Graph Databases and Analytics
针对大规模图无法单存、现有流式划分质量低的问题,提出带缓冲、粗化细化技术的CUTTANA流式划分器,在保证延迟相当的同时提升划分质量,优化图分析与数据库性能。
2024-12-10 cs.DB cs.DC
Automatic Conversion of Relational Databases into Ontologies: A Comparative Analysis of Protégé Plug-ins Performances
从关系数据库中构造本体是语义Web领域的一个活跃的研究课题。在提出关系数据库和本体结构的概念映射规则/原理的同时,正在开发若干软件模块或插件以使得能够将关系数据库自动转换成本体。然而,所得到的本体之间的相关性与插件从关系数据库和数据库到本体的映射原则自动构建的关注很少。本研究回顾并应用两个Protégé插件,即DataMaster和OntoBase,从关系数据库自动构建本体。由此产生的本体进一步分析,以匹配其结构对数据库到本体映射原则。匹配结果的比较分析表明,OntoBase优于DataMaster在应用数据库到本体的映射原则,自动转换关系数据库到本体。
2016-11-08 cs.DB
Survey of Vector Database Management Systems
本文综述了向量数据库管理系统,指出向量数据管理的五大障碍,系统梳理了查询处理、存储索引及查询优化的新技术,并对比了原生与扩展型VDBMSs,指出了未来研究方向。
2023-10-21 cs.DB
An Automatic Identification System (AIS) Database for Maritime Trajectory Prediction and Data Mining
近年来,海上安全和效率在世界范围内变得越来越重要。自动识别系统(AIS)通过船载收发器和地面和/或卫星基站跟踪船舶运动。AIS采集的数据包括广播的运动信息和静态信息。这两种算法对于智能海事研究领域的异常检测和航线预测等关键技术具有重要的应用价值。本文致力于建立一个标准的AIS数据库,用于海上航迹学习、预测和数据采掘。在此AIS数据库上对路径预测算法进行了测试,测试结果表明,该数据库可以作为不同的轨迹预测算法和其他AIS数据采掘算法的标准化训练资源。
2016-10-13 cs.DB
HONEYBEE: Efficient Role-based Access Control for Vector Databases via Dynamic Partitioning[Technical Report]
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学);VMware Research by Broadcom(VMware由Broadcom进行的研究);Microsoft Research(微软研究院)
HONEYBEE通过动态分区实现向量数据库的高效基于角色的访问控制,平衡内存开销与查询延迟,提升安全性与效率。
2026-01-07 cs.CR cs.DB cs.IR
Automatic Configuration Tuning on Cloud Database: A Survey
本文综述云数据库自动配置调优方法,系统比较贝叶斯优化、神经网络、强化学习和搜索类技术,并梳理调优流水线、实验设置、基准与未来方向。
2024-04-09 cs.DB
A large-scale and fault-tolerant approach of subgraph mining using density-based partitioning
最近,图挖掘方法已经变得非常流行,特别是在诸如生物信息学、化学信息学和社交网络的领域中。在这个范围内,最具挑战性的任务之一是频繁子图发现。这项任务的动机是现有图形数据库的规模急剧增加。从那时起,一个重要的问题,设计有效的和可扩展的方法,在大型集群中的频繁子图发现,已经发生。然而,在大型集群中,失败是一种常态,而不是例外。在这种情况下,MapReduce框架被设计为使节点故障由框架自动处理。在本文中,我们提出了一个大规模的和容错的子图挖掘方法,通过基于密度的分区技术,使用MapReduce。我们的分区旨在平衡机器集合上的计算负载。我们的实验表明,我们的方法显着降低了执行时间和规模的子图发现过程中大型图形数据库。
2012-12-04 cs.DB cs.DC cs.SI
Prediction of Horizontal Data Partitioning Through Query Execution Cost Estimation
IT University of Copenhagen(哥本哈根信息技术大学)
现代数据管理系统中数据量的过度增加需要改进的系统性能,通常通过数据分布、系统可扩展性和性能优化技术来提供。优化的水平数据划分对分布式数据管理系统有着重要的影响。在逻辑数据库设计的早期阶段,在不加载系统中的实际数据的情况下,找到一个最佳的分区模式,并使其适应业务环境的变化,是一个成功的实施,系统的可扩展性和性能的提高是非常重要的。在本文中,我们提出了一种新的方法来找到一个最佳的水平分区模式,表现出最小的总执行成本的一个给定的数据库工作负载。我们的方法是基于一个正式的模型,使抽象的谓词在工作量查询,并随后用于定义所有的关系片段。这种方法具有通过模拟水平分区获得的预测功能,无需将任何数据加载到分区中,而是改变数据库目录中的统计信息。我们定义了一个优化问题,并采用遗传算法(GA)找到一个近似最优的水平分区模式。优化问题的解决方案使用PostgreSQL的查询优化器进行评估。我们的方法的初步实验评估证实了其效率和正确性,数字意味着该方法是有效的,在减少工作负载执行成本。
2019-11-26 cs.DB cs.DC cs.LG
Experience-Enhanced Learning: One Size Still does not Fit All in Automatic Database
近年来,数据库委员会试图开发自动数据库管理系统。虽然有研究表明,将人工智能应用于数据管理是一个重要的、有前途的方向,但在将这些技术应用于实际应用中仍然存在许多问题(训练时间长、环境多样、性能不稳定)。在本文中,我们发现,传统的基于规则的方法有可能解决上述问题。我们提出了三种改进学习方法的方法,即有效预训练的标签收集,模型转移的知识库和稳定性能的理论保证。我们在两种广泛使用的学习方法上实现了我们的方法,深度学习和强化学习。首先,新的经验增强深度学习(EEDL)可以实现高效的训练和稳定的性能。我们评估EEDL与基数估计,一个必不可少的数据库管理。在四个真实数据集上的实验结果表明,我们的EEDL可以优于一般的DL模型[2]。其次,我们设计了一种新的经验增强强化学习(EERL),它可以有效地收敛,并且比一般的RL模型有更好的性能[3]。我们测试EERL与在线索引调优任务。在TPC-H上的实验表明,EERL能加速智能体的收敛,产生更好的解,推广了强化学习。
2021-11-21 cs.DB
A fixed storage distributed graph database hybrid with at-scale OLAP expression and I/O support of a relational DB: Kinetica-Graph
本文将讨论一种分布式图形数据库体系结构,该体系结构与分布式关系数据库共存,用于I/O和大规模OLAP表达式支持,具有数百个PostGIS兼容的几何函数。这种实现的独特性主要源于其双链路拓扑结构,因为其固定的存储特性独立于节点到边缘连接的变化。该实现的另一个值得注意的贡献是其分布式图服务器之间的非阻塞客户端-服务器通信架构。还实现了基于节点重复的非检查分区方案,确保使用地理空间、随机和显式分片选择的分布式过滤进行最小通信。最后,一个有效的重新平衡算法,其次是一个分布式的最短路径求解器将展示与地理空间和社交网络的例子。
2022-01-03 cs.DB
Automatic Classification of Text Databases through Query Probing
网络上的许多文本数据库都“隐藏”在搜索界面之后,它们的文档只能通过查询来访问。搜索引擎通常会忽略这种仅用于搜索的数据库的内容。最近,类似Yahoo的目录已经开始手动地将这些数据库组织成用户可以浏览以找到这些有价值的资源的类别。我们提出了一种新的策略来自动分类的搜索只文本数据库。我们的技术首先训练一个基于规则的文档分类器,然后使用分类器的规则来生成探测查询。查询被发送到文本数据库,然后根据它们为每个查询产生的匹配数量对文本数据库进行分类。我们报告了一些初步的探索性实验表明,我们的方法是有希望的,以自动特征的文本数据库在网络上访问的内容。
2000-03-09 cs.DB cs.IR
PLRTune: Importance Pre-Sampling and LLM-Guided Reinforcement Learning for Automatic Database Tuning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Hangzhou Institute for Advanced Study, UCAS(中国科学院大学杭州高等研究院)
提出PLRTune系统,通过重要性预采样识别关键旋钮子集,结合执行引导的提示精炼和TD3强化学习,在MySQL和PostgreSQL上平均性能提升9.50%,调优速度提升9.03倍。
2026-06-15 cs.DB
Automatic Clustering in Hyrise
物理数据布局是现代数据库的重要性能因素。聚类,即,邻近地存储相似的值可以以几种方式导致性能增益。我们提出了一个自动化的模型,以确定有益的集群列和面向列的,内存驻留数据库Hyrise的聚类算法。为了自动选择集群列,该模型分析数据库的工作负载,并根据某些集群列对工作负载延迟的影响程度提供估计。我们评估模型估计的精度,以及其聚类建议的整体质量。为了应用一个确定的聚类配置,我们开发了一个在线聚类算法。聚类算法支持任意数量的聚类维度。我们表明,该算法对并发运行的数据修改查询是强大的。当对lineitem表进行聚类时,TPC-H基准测试的延迟减少了5%,当对store_sales表进行聚类时,TPC-DS基准测试的延迟减少了4%。
2021-03-29 cs.DB
Automatic Database Configuration Debugging using Retrieval-Augmented Language Models
针对数据库配置调试繁琐困难的问题,提出基于检索增强大语言模型的Andromeda框架,通过多源领域上下文检索与异构文档、遥测分析机制,实现自动配置调试,性能显著优于现有方案。
2025-01-17 cs.DB
DBSP: Automatic Incremental View Maintenance for Rich Query Languages
增量视图维护一直是数据库理论中的一个核心问题。对于受限的数据库语言类,例如关系代数或Datasheet,已经提出了许多解决方案。这些技术并不能自然地推广到更丰富的语言。本文提出了一个解决这个问题的一般方法,分三个步骤:(1)描述了一种简单而富有表现力的描述数据流计算的语言DBSP;(2)给出了任意DBSP程序的增量视图维护问题的通用算法;(3)给出了如何对多种富数据库查询语言建模的方法(包括全关系查询、分组和聚合、单调和非单调递归以及流聚合)。因此,我们获得了有效的增量视图维护技术,所有这些丰富的语言。
2022-03-30 cs.DB
Automatic View Selection in Graph Databases
最近,一些作品研究了图数据库中的视图选择问题。然而,现有方法不能完全利用视图的图形属性,例如,超图视图和公共子图视图,这导致低视图实用性和重复的视图内容。为了解决这个问题,我们提出了一个端到端的图形视图选择工具,G-View,它可以明智地生成一个视图集,从查询工作量,通过探索候选视图的图形属性,并考虑其功效。具体来说,给定图查询集和空间预算,G-View将每个查询转换为候选视图模式,并通过过滤和验证框架检查查询包含。G-View然后使用图基因算法(GGA)选择视图,该算法依赖于一个三阶段框架,该框架探索图视图转换以减少视图空间并优化视图优势。最后,G-View生成的扩展图视图持久化所有的边诱导的子图,同时回答子图和超图查询。在真实数据集和合成数据集上的大量实验表明,G-View在两种基于视图的方法上平均实现了21倍和2倍的查询性能加速,同时分别具有2倍和5倍的空间开销。此外,所提出的选择算法,GGA,优于其他选择方法的有效性和效率。
2021-05-19 cs.DB
Scaling Out Acid Applications with Operation Partitioning
具有无法由单个服务器提供服务的高工作负载的OLTP应用程序需要横向扩展到多个服务器。通常,向外扩展需要将应用程序状态的不同分区分配给每个服务器。但是,数据分区与ACID事务的强一致性保证(许多OLTP应用程序的基本构建块)不一致。我们越是将数据扩展和分散到多个服务器上,访问不同服务器上数据的分布式事务就越频繁。对于大量的服务器,分布式事务的高成本使得向外扩展无效甚至有害。在本文中,我们提出了操作分区,一种新的范式来扩展OLTP应用程序,需要ACID保证。操作分区通过静态分析对应用程序的操作进行分区,从而间接地跨服务器对数据进行分区。这种操作划分产生了用于分布式协调的无锁传送带协议,该协议可以扩展在未修改的数据库管理系统上运行的未修改的应用程序。我们在一个名为Elia的系统中实现了该协议,并使用它扩展了两个应用程序,TPC-W和RUBiS。我们的实验表明,Elia可以将最大吞吐量提高4.2倍,并将延迟降低58.6倍,同时提供更强的隔离保证(可串行化而不是读取提交)。
2018-04-05 cs.DB cs.DC
Automatic Generation of a Hybrid Query Execution Engine
对快速数据处理的需求不断增长,需要新的方法来高效执行查询。即时查询编译技术已被证明可以显著提高一组分析任务的性能。在这项工作中,我们研究了将这种方法添加到现有数据库解决方案中的可能性及其提供的好处。为此,我们创建了一组自动化工具来创建一个运行时代码生成引擎,并将这样的引擎集成到SQLite中,SQLite是世界上最流行的关系数据库之一,用于各种各样的环境。在涉及大量操作的查询的微基准测试中观察到高达1.7倍的加速。
2018-08-16 cs.DB
Duplicate Detection with Efficient Language Models for Automatic Bibliographic Heterogeneous Data Integration
本文提出了一种新的重复项检测方法,该方法利用词汇信息和社会信息对不同书目记录语料库进行合并。正如我们所示,一个平凡的关键是不能用来删除无用的文档。合并异构文档数据库以获得最大信息可能是令人感兴趣的。在我们的案例中,我们试图建立一个关于TOR分子的文档语料库,以便从PubMed和WebOfScience文档数据库中提取与其他基因组件的关系。我们的方法基于n-gram生成关键指纹。我们用这个语料库做了两个文献金标准来做评价。与其他已知的方法在重复数据删除的比较给出了最好的成绩召回率(95%)和精度(100%)。
2015-04-27 cs.DB
Implementing Decentralized Per-Partition Automatic Failover in Azure Cosmos DB
针对分布式数据库跨区域地理故障转移应用少的问题,Azure Cosmos DB即将推出去中心化分区级自动地理故障转移方案,可在任意规模下兼顾RTO、一致性级别与RPO,支持水平扩展并应对多类故障。
2025-05-20 cs.DB
Automatic generation of simplified weakest preconditions for integrity constraint verification
假设约束$c$在数据库$B$上保持,并且更新$u$要在$B$上执行,我们解决以下问题:在执行$u$之后,$c$是否仍然保持?当$B$是一个关系数据库时,我们定义了一个合流终止重写系统,它从$c$和$u$出发,自动导出一个简化的最弱前提$wp(c,u)$,使得只要$B$满足$wp(c,u)$,则更新后的数据库$u(B)$将满足$c$,而且,在其计算仅取决于可由更新修改的$c$的实例的意义上,简化了$wp(c,u)$。然后,我们扩展了一个简化的$wp(c,u)$的演绎数据库的情况下的定义,我们证明它使用不动点归纳。
2006-03-14 cs.DB cs.DS
NEMA: Automatic Integration of Large Network Management Databases
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Cisco(思科)
网络管理,无论是故障分析,故障预测,性能监控和改进,通常涉及大量的数据来自不同的来源。为了有效地集成和管理这些数据源,自动找到它们的模式或本体之间的语义匹配是至关重要的。现有的数据库匹配方法主要分为两类。一种是基于模式属性(如字段名、数据类型、约束和模式结构)的模式级匹配。网络管理数据库包含大量表(例如,网络产品、事件、安全警报和日志),这些信息来自不同的部门和组,具有不统一的字段名称和架构特征。通过这些模式属性来匹配它们是不可靠的。另一类是基于实例级的匹配,使用一般的字符串相似性技术,这是不适用于大型网络管理数据库的匹配。在本文中,我们开发了一个匹配技术,大型网络MANNETWORK数据库(NEMA)部署的实例级匹配有效的数据集成和连接。我们设计的数值和非数值字段的匹配指标和分数,并提出匹配这些字段的算法。通过在大型网络管理数据库中进行基于地面真值字段对的实验,对NEMA的有效性和效率进行了评估。我们对包含1,458个字段的大型数据库进行了测量,每个字段包含超过1000万条记录,结果显示NEMA的准确率高达95%。与基线方法相比,它实现了2%-10%的精度和5倍-14倍的加速。
2020-06-01 cs.AI cs.DB
Heuristic Search Space Partitioning for Low-Latency Multi-Tenant Cloud Queries
Palo Alto Networks, Inc.(帕洛阿尔托网络公司)
本文提出HSSPS系统,通过动态谓词注入在查询时划分搜索空间,减少查询所需访问的页面数,从而降低延迟并提升吞吐量,实验证明在多租户云查询中显著提升性能。
2026-04-21 cs.DB cs.DC
This is Going to Sound Crazy, But What If We Used Large Language Models to Boost Automatic Database Tuning Algorithms By Leveraging Prior History? We Will Find Better Configurations More Quickly Than Retraining From Scratch!
本文提出 Booster 框架,利用 LLM 将历史查询-配置上下文转化为查询级建议并以束搜索组合配置,从而帮助现有自动调优器更快适应工作负载漂移和跨模式迁移。
2025-10-20 cs.DB
Automatic Storage Structure Selection for hybrid Workload
Harbin Institute of Technology(哈尔滨工业大学)
在数据库系统的使用中,存储引擎和数据模型的设计直接影响数据库执行查询时的性能。因此,数据库的使用者需要根据遇到的工作量来选择存储引擎和设计数据模型。然而,在混合工作负载中,数据库的查询集是动态变化的,其最优存储结构的设计也在变化。基于此,提出了一种基于学习代价的存储结构自动选择系统,用于在混合负载下动态选择数据库的最优存储结构。在该系统中,我们引入了一种机器学习方法来建立存储引擎的成本模型,以及一种面向列的数据布局生成算法。实验结果表明,该系统能够根据当前的工作负载选择存储引擎和数据模型的最优组合,大大提高了默认存储结构的性能。系统设计为兼容不同的存储引擎,便于实际应用。
2020-08-15 cs.DB cs.LG
Feature Level Clustering of Large Biometric Database
NIT Rourkela(鲁尔克拉国家技术学院);IIT Kanpur(坎普尔印度理工学院)
提出了一种在身份识别过程中对大型生物特征数据库进行有效划分的方法。该方法从离线签名中提取全局和局部特征向量,利用模糊聚类技术对数据库进行划分。由于生物特征没有自然的排序顺序,因此很难对其进行分类或数字索引。因此,需要一些监督标准来划分搜索空间。在识别过程中引入模糊聚类准则来寻找最近的聚类,以声明查询样本的身份。该系统进行了测试,使用箱错过率和传统的k均值方法相比,表现更好。
2010-02-02 cs.CV cs.DB cs.LG
Automatic database description generation for Text-to-SQL
Alibaba Group(阿里巴巴集团)
针对Text-to-SQL任务中数据库描述缺失问题,提出一种基于LLM的粗到细与细到粗双过程自动生成描述方法,在Bird基准上提升SQL生成准确率0.93%,达到人类水平的37%。
2025-02-28 cs.AI cs.CL cs.DB
ComplexWoundDB: A Database for Automatic Complex Wound Tissue Categorization
São Paulo State University(圣保罗州立大学);University of Wolverhampton(伍尔弗汉普顿大学)
复杂的伤口通常面临皮肤厚度的部分或全部损失,通过继发性愈合。它们可以是急性或慢性的,包括感染、缺血和组织坏死,并与全身性疾病有关。全球各地的研究机构报告了无数病例,最终导致严重的公共卫生问题,因为它们涉及人力资源(例如,医生和卫生保健专业人员),并对生活质量产生负面影响。本文提出了一种新的数据库,用于自动分类复杂伤口的五个类别,非伤口区域、肉芽、纤维素样组织和干燥坏死、血肿。这些图像包括由压力、血管溃疡、糖尿病、烧伤和手术干预后并发症引起的复杂伤口的不同场景。该数据集名为ComplexWoundDB,它是独一无二的,因为它根据在野外获得的$27$图像进行像素级分类,即在患者家中收集图像,由四名健康专业人员标记。使用不同机器学习技术的进一步实验证明了解决计算机辅助复杂伤口组织分类问题的挑战。该手稿揭示了该领域未来的发展方向,并与文献中广泛使用的其他数据库进行了详细的比较。
2022-09-26 cs.CV cs.DB cs.LG
Homomorphism Problems in Graph Databases and Automatic Structures
本论文研究图数据库与自动结构中的同态问题,证明查询最小化可判定并提供高效算法,揭示自动结构同态问题的可判定性二分法,并基于代数语言理论解决逻辑可描述性问题。
2025-10-08 cs.DB cs.FL cs.LO
The Case for Automatic Database Administration using Deep Reinforcement Learning
Big Data Analytics Group(大数据分析组);Saarland Informatics Campus(萨尔兰信息学园区);https://infosys.uni-saarland.de(萨尔兰大学信息系统)
像任何大型软件系统一样,一个成熟的DBMS提供了大量的配置旋钮。这些范围从静态初始化参数(例如缓冲区大小、并发程度或复制级别)到复杂的运行时决策(例如在特定列上创建二级索引或重新组织存储的物理布局)。为了简化配置,工业级DBMS通常附带各种咨询工具,为给定的工作负载和机器提供建议。然而,现实表明,实际的配置、调优和维护通常仍然是由人类管理员依靠直觉和经验完成的。最近关于深度强化学习的工作在解决需要这种直觉的问题方面显示出非常有希望的结果。例如,它已经非常成功地应用于学习如何玩具有巨大搜索空间的复杂游戏。受这些成就的激励,在这项工作中,我们将探索如何深度强化学习可以用来管理DBMS。首先,我们将描述如何使用深度强化学习通过定义问题环境来自动调优任意软件系统(如DBMS)。其次,我们在索引选择的具体示例中展示了NoDBA的概念,并评估了它为给定工作负载推荐索引的效果。
2018-01-17 cs.AI cs.DB
Usable & Scalable Learning Over Relational Data With Automatic Language Bias
Oregon State University(俄勒冈州立大学)
关系数据库是学习新颖有趣的关系和概念的宝贵资源。为了约束搜索通过候选定义的大空间,用户必须通过指定语言偏好来调整算法。不幸的是,具体说明语言偏见是通过试验和错误来完成的,并由专家的直觉指导。我们提出了AutoBias,一个利用数据库的模式和内容中的信息来自动诱导流行的关系学习系统所使用的语言偏见的系统。我们表明,AutoBias提供了相同的准确性,使用手动编写的语言偏见只施加轻微的开销上的运行时间的学习算法。
2020-04-06 cs.DB cs.LG
Modelling an Automatic Proof Generator for Functional Dependency Rules Using Colored Petri Net
数据库管理员需要计算函数依赖闭包(FD)来规范数据库系统和执行完整性规则。有色Petri网(CPN)是一种有效的形式化建模和验证方法.在本文中,我们模拟阿姆斯特朗的公理自动证明生成一个新的FD规则从初始FD规则使用CPN。为此,阿姆斯特朗公理的CPN模型提出和初始FD考虑在模型中作为初始色集。然后通过模型检验在模型的状态空间中搜索所需的FD。如果它存在于状态空间中,则递归ML代码使用在模型的状态空间中的进一步搜索来提取该FD规则的证明。
2012-10-11 cs.DB cs.FL cs.SE
Semi-automatic staging area for high-quality structured data extraction from scientific literature
University of Tsukuba(筑波大学);DFKI GmbH(德国人工智能研究中心)
提出半自动暂存区SuperCon2,结合自动异常检测、训练数据收集机制与智能界面,高效构建超导体数据库并显著提升数据整理质量。
2023-11-16 cond-mat.supr-con cs.CL cs.DB