Automatic Conversion of Relational Databases into Ontologies: A Comparative Analysis of Protégé Plug-ins Performances
从关系数据库中构造本体是语义Web领域的一个活跃的研究课题。在提出关系数据库和本体结构的概念映射规则/原理的同时,正在开发若干软件模块或插件以使得能够将关系数据库自动转换成本体。然而,所得到的本体之间的相关性与插件从关系数据库和数据库到本体的映射原则自动构建的关注很少。本研究回顾并应用两个Protégé插件,即DataMaster和OntoBase,从关系数据库自动构建本体。由此产生的本体进一步分析,以匹配其结构对数据库到本体映射原则。匹配结果的比较分析表明,OntoBase优于DataMaster在应用数据库到本体的映射原则,自动转换关系数据库到本体。
2016-11-08 cs.DB
An Automatic Identification System (AIS) Database for Maritime Trajectory Prediction and Data Mining
近年来,海上安全和效率在世界范围内变得越来越重要。自动识别系统(AIS)通过船载收发器和地面和/或卫星基站跟踪船舶运动。AIS采集的数据包括广播的运动信息和静态信息。这两种算法对于智能海事研究领域的异常检测和航线预测等关键技术具有重要的应用价值。本文致力于建立一个标准的AIS数据库,用于海上航迹学习、预测和数据采掘。在此AIS数据库上对路径预测算法进行了测试,测试结果表明,该数据库可以作为不同的轨迹预测算法和其他AIS数据采掘算法的标准化训练资源。
2016-10-13 cs.DB
Automatic database description generation for Text-to-SQL
Alibaba Group(阿里巴巴集团)
针对Text-to-SQL任务中数据库描述缺失问题,提出一种基于LLM的粗到细与细到粗双过程自动生成描述方法,在Bird基准上提升SQL生成准确率0.93%,达到人类水平的37%。
2025-02-28 cs.AI cs.CL cs.DB
Automatic Classification of Text Databases through Query Probing
网络上的许多文本数据库都“隐藏”在搜索界面之后,它们的文档只能通过查询来访问。搜索引擎通常会忽略这种仅用于搜索的数据库的内容。最近,类似Yahoo的目录已经开始手动地将这些数据库组织成用户可以浏览以找到这些有价值的资源的类别。我们提出了一种新的策略来自动分类的搜索只文本数据库。我们的技术首先训练一个基于规则的文档分类器,然后使用分类器的规则来生成探测查询。查询被发送到文本数据库,然后根据它们为每个查询产生的匹配数量对文本数据库进行分类。我们报告了一些初步的探索性实验表明,我们的方法是有希望的,以自动特征的文本数据库在网络上访问的内容。
2000-03-09 cs.DB cs.IR
Automatic Partitioning of Database Applications
数据库支持的应用程序在我们的日常生活中几乎无处不在。对数据库进行多次小访问的应用程序给开发人员带来了两个挑战:增加延迟和大量网络往返浪费资源。提高事务数据库应用程序性能的一种众所周知的技术是将应用程序的一部分转换为在数据库服务器上执行的存储过程。不幸的是,这种转换往往是困难的。在本文中,我们描述了Pyxis,一个系统,它采用数据库支持的应用程序,并自动将其代码划分为两部分,其中一部分在应用程序服务器上执行,另一部分在数据库服务器上执行。Pyxis分析应用程序和服务器负载,静态分析代码的依赖关系,并生成一个分区,最大限度地减少控制传输的数量以及每次传输期间发送的数据量。我们使用TPC-C和TPC-W的实验表明,与传统的非分区实现相比,Pyxis能够生成延迟减少3倍的分区,吞吐量提高1.7倍,并且具有与自定义存储过程实现相当的性能。
2012-08-01 cs.DB
Automatic Configuration Tuning on Cloud Database: A Survey
本文综述云数据库自动配置调优方法,系统比较贝叶斯优化、神经网络、强化学习和搜索类技术,并梳理调优流水线、实验设置、基准与未来方向。
2024-04-09 cs.DB
DOT: Dynamic Knob Selection and Online Sampling for Automated Database Tuning
Orange / Inria / Univ.\,Lille, France France;Inria / Univ.\,Lille / CNRS, France France;CNRS / Univ.\,Lille / Inria, France France;Univ.\,Lille / CNRS / Inria, France France;Orange / Inria / Univ.\,Lille, France;Inria / Univ.\,Lille / CNRS, France;CNRS / Univ.\,Lille / Inria, France;Univ.\,Lille / CNRS / Inria, France
DOT通过动态选择关键参数和在线采样,减少数据库调优的搜索空间,提升性能,同时降低调优开销。
2026-03-16 cs.AI cs.DB cs.LG
Experience-Enhanced Learning: One Size Still does not Fit All in Automatic Database
近年来,数据库委员会试图开发自动数据库管理系统。虽然有研究表明,将人工智能应用于数据管理是一个重要的、有前途的方向,但在将这些技术应用于实际应用中仍然存在许多问题(训练时间长、环境多样、性能不稳定)。在本文中,我们发现,传统的基于规则的方法有可能解决上述问题。我们提出了三种改进学习方法的方法,即有效预训练的标签收集,模型转移的知识库和稳定性能的理论保证。我们在两种广泛使用的学习方法上实现了我们的方法,深度学习和强化学习。首先,新的经验增强深度学习(EEDL)可以实现高效的训练和稳定的性能。我们评估EEDL与基数估计,一个必不可少的数据库管理。在四个真实数据集上的实验结果表明,我们的EEDL可以优于一般的DL模型[2]。其次,我们设计了一种新的经验增强强化学习(EERL),它可以有效地收敛,并且比一般的RL模型有更好的性能[3]。我们测试EERL与在线索引调优任务。在TPC-H上的实验表明,EERL能加速智能体的收敛,产生更好的解,推广了强化学习。
2021-11-21 cs.DB
Automatic generation of simplified weakest preconditions for integrity constraint verification
假设约束$c$在数据库$B$上保持,并且更新$u$要在$B$上执行,我们解决以下问题:在执行$u$之后,$c$是否仍然保持?当$B$是一个关系数据库时,我们定义了一个合流终止重写系统,它从$c$和$u$出发,自动导出一个简化的最弱前提$wp(c,u)$,使得只要$B$满足$wp(c,u)$,则更新后的数据库$u(B)$将满足$c$,而且,在其计算仅取决于可由更新修改的$c$的实例的意义上,简化了$wp(c,u)$。然后,我们扩展了一个简化的$wp(c,u)$的演绎数据库的情况下的定义,我们证明它使用不动点归纳。
2006-03-14 cs.DB cs.DS
PLRTune: Importance Pre-Sampling and LLM-Guided Reinforcement Learning for Automatic Database Tuning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Hangzhou Institute for Advanced Study, UCAS(中国科学院大学杭州高等研究院)
提出PLRTune系统,通过重要性预采样识别关键旋钮子集,结合执行引导的提示精炼和TD3强化学习,在MySQL和PostgreSQL上平均性能提升9.50%,调优速度提升9.03倍。
2026-06-15 cs.DB
Automatic Storage Structure Selection for hybrid Workload
Harbin Institute of Technology(哈尔滨工业大学)
在数据库系统的使用中,存储引擎和数据模型的设计直接影响数据库执行查询时的性能。因此,数据库的使用者需要根据遇到的工作量来选择存储引擎和设计数据模型。然而,在混合工作负载中,数据库的查询集是动态变化的,其最优存储结构的设计也在变化。基于此,提出了一种基于学习代价的存储结构自动选择系统,用于在混合负载下动态选择数据库的最优存储结构。在该系统中,我们引入了一种机器学习方法来建立存储引擎的成本模型,以及一种面向列的数据布局生成算法。实验结果表明,该系统能够根据当前的工作负载选择存储引擎和数据模型的最优组合,大大提高了默认存储结构的性能。系统设计为兼容不同的存储引擎,便于实际应用。
2020-08-15 cs.DB cs.LG
Automatic Clustering in Hyrise
物理数据布局是现代数据库的重要性能因素。聚类,即,邻近地存储相似的值可以以几种方式导致性能增益。我们提出了一个自动化的模型,以确定有益的集群列和面向列的,内存驻留数据库Hyrise的聚类算法。为了自动选择集群列,该模型分析数据库的工作负载,并根据某些集群列对工作负载延迟的影响程度提供估计。我们评估模型估计的精度,以及其聚类建议的整体质量。为了应用一个确定的聚类配置,我们开发了一个在线聚类算法。聚类算法支持任意数量的聚类维度。我们表明,该算法对并发运行的数据修改查询是强大的。当对lineitem表进行聚类时,TPC-H基准测试的延迟减少了5%,当对store_sales表进行聚类时,TPC-DS基准测试的延迟减少了4%。
2021-03-29 cs.DB
Automatic Database Configuration Debugging using Retrieval-Augmented Language Models
针对数据库配置调试繁琐困难的问题,提出基于检索增强大语言模型的Andromeda框架,通过多源领域上下文检索与异构文档、遥测分析机制,实现自动配置调试,性能显著优于现有方案。
2025-01-17 cs.DB
DBSP: Automatic Incremental View Maintenance for Rich Query Languages
增量视图维护一直是数据库理论中的一个核心问题。对于受限的数据库语言类,例如关系代数或Datasheet,已经提出了许多解决方案。这些技术并不能自然地推广到更丰富的语言。本文提出了一个解决这个问题的一般方法,分三个步骤:(1)描述了一种简单而富有表现力的描述数据流计算的语言DBSP;(2)给出了任意DBSP程序的增量视图维护问题的通用算法;(3)给出了如何对多种富数据库查询语言建模的方法(包括全关系查询、分组和聚合、单调和非单调递归以及流聚合)。因此,我们获得了有效的增量视图维护技术,所有这些丰富的语言。
2022-03-30 cs.DB
Automatic View Selection in Graph Databases
最近,一些作品研究了图数据库中的视图选择问题。然而,现有方法不能完全利用视图的图形属性,例如,超图视图和公共子图视图,这导致低视图实用性和重复的视图内容。为了解决这个问题,我们提出了一个端到端的图形视图选择工具,G-View,它可以明智地生成一个视图集,从查询工作量,通过探索候选视图的图形属性,并考虑其功效。具体来说,给定图查询集和空间预算,G-View将每个查询转换为候选视图模式,并通过过滤和验证框架检查查询包含。G-View然后使用图基因算法(GGA)选择视图,该算法依赖于一个三阶段框架,该框架探索图视图转换以减少视图空间并优化视图优势。最后,G-View生成的扩展图视图持久化所有的边诱导的子图,同时回答子图和超图查询。在真实数据集和合成数据集上的大量实验表明,G-View在两种基于视图的方法上平均实现了21倍和2倍的查询性能加速,同时分别具有2倍和5倍的空间开销。此外,所提出的选择算法,GGA,优于其他选择方法的有效性和效率。
2021-05-19 cs.DB
ComplexWoundDB: A Database for Automatic Complex Wound Tissue Categorization
São Paulo State University(圣保罗州立大学);University of Wolverhampton(伍尔弗汉普顿大学)
复杂的伤口通常面临皮肤厚度的部分或全部损失,通过继发性愈合。它们可以是急性或慢性的,包括感染、缺血和组织坏死,并与全身性疾病有关。全球各地的研究机构报告了无数病例,最终导致严重的公共卫生问题,因为它们涉及人力资源(例如,医生和卫生保健专业人员),并对生活质量产生负面影响。本文提出了一种新的数据库,用于自动分类复杂伤口的五个类别,非伤口区域、肉芽、纤维素样组织和干燥坏死、血肿。这些图像包括由压力、血管溃疡、糖尿病、烧伤和手术干预后并发症引起的复杂伤口的不同场景。该数据集名为ComplexWoundDB,它是独一无二的,因为它根据在野外获得的$27$图像进行像素级分类,即在患者家中收集图像,由四名健康专业人员标记。使用不同机器学习技术的进一步实验证明了解决计算机辅助复杂伤口组织分类问题的挑战。该手稿揭示了该领域未来的发展方向,并与文献中广泛使用的其他数据库进行了详细的比较。
2022-09-26 cs.CV cs.DB cs.LG
Homomorphism Problems in Graph Databases and Automatic Structures
本论文研究图数据库与自动结构中的同态问题,证明查询最小化可判定并提供高效算法,揭示自动结构同态问题的可判定性二分法,并基于代数语言理论解决逻辑可描述性问题。
2025-10-08 cs.DB cs.FL cs.LO
Automatic Generation of a Hybrid Query Execution Engine
对快速数据处理的需求不断增长,需要新的方法来高效执行查询。即时查询编译技术已被证明可以显著提高一组分析任务的性能。在这项工作中,我们研究了将这种方法添加到现有数据库解决方案中的可能性及其提供的好处。为此,我们创建了一组自动化工具来创建一个运行时代码生成引擎,并将这样的引擎集成到SQLite中,SQLite是世界上最流行的关系数据库之一,用于各种各样的环境。在涉及大量操作的查询的微基准测试中观察到高达1.7倍的加速。
2018-08-16 cs.DB
Duplicate Detection with Efficient Language Models for Automatic Bibliographic Heterogeneous Data Integration
本文提出了一种新的重复项检测方法,该方法利用词汇信息和社会信息对不同书目记录语料库进行合并。正如我们所示,一个平凡的关键是不能用来删除无用的文档。合并异构文档数据库以获得最大信息可能是令人感兴趣的。在我们的案例中,我们试图建立一个关于TOR分子的文档语料库,以便从PubMed和WebOfScience文档数据库中提取与其他基因组件的关系。我们的方法基于n-gram生成关键指纹。我们用这个语料库做了两个文献金标准来做评价。与其他已知的方法在重复数据删除的比较给出了最好的成绩召回率(95%)和精度(100%)。
2015-04-27 cs.DB
Implementing Decentralized Per-Partition Automatic Failover in Azure Cosmos DB
针对分布式数据库跨区域地理故障转移应用少的问题,Azure Cosmos DB即将推出去中心化分区级自动地理故障转移方案,可在任意规模下兼顾RTO、一致性级别与RPO,支持水平扩展并应对多类故障。
2025-05-20 cs.DB
This is Going to Sound Crazy, But What If We Used Large Language Models to Boost Automatic Database Tuning Algorithms By Leveraging Prior History? We Will Find Better Configurations More Quickly Than Retraining From Scratch!
本文提出 Booster 框架,利用 LLM 将历史查询-配置上下文转化为查询级建议并以束搜索组合配置,从而帮助现有自动调优器更快适应工作负载漂移和跨模式迁移。
2025-10-20 cs.DB
Usable & Scalable Learning Over Relational Data With Automatic Language Bias
Oregon State University(俄勒冈州立大学)
关系数据库是学习新颖有趣的关系和概念的宝贵资源。为了约束搜索通过候选定义的大空间,用户必须通过指定语言偏好来调整算法。不幸的是,具体说明语言偏见是通过试验和错误来完成的,并由专家的直觉指导。我们提出了AutoBias,一个利用数据库的模式和内容中的信息来自动诱导流行的关系学习系统所使用的语言偏见的系统。我们表明,AutoBias提供了相同的准确性,使用手动编写的语言偏见只施加轻微的开销上的运行时间的学习算法。
2020-04-06 cs.DB cs.LG
MORTAL: A Tool of Automatically Designing Relational Storage Schemas for Multi-model Data through Reinforcement Learning
考虑到关系数据库在处理安全性、用户认证、查询优化等方面具有强大的能力,若干商业和学术框架重用关系数据库来存储和查询半结构化数据(例如,XML、JSON)或图形数据(例如,RDF,属性图)。然而,这些工作集中于使用RDBMS管理上述数据模型之一。也就是说,它没有利用底层工具来自动生成用于存储多模型数据的关系模式。在这个演示中,我们提出了一种新的基于强化学习的工具,称为MORTAL。具体来说,给定包含不同数据模型的多模型数据和一组查询,它可以自动设计一个关系模式来存储这些数据,同时具有很好的查询性能。为了清楚地说明它,我们围绕着以下模块:基于加载的多模型数据生成初始状态,通过设置参数来影响学习过程,通过提供语义约束来控制生成的关系模式,通过指定查询来提高关系模式的查询性能,以及当用户调整生成的关系模式时显示查询性能和存储消耗的高度交互式界面。
2021-09-01 cs.DB
Facilitating Database Tuning with Hyper-Parameter Optimization: A Comprehensive Experimental Evaluation
最近,使用自动配置调优来提高现代数据库管理系统(DBMS)的性能已经引起了数据库社区越来越多的兴趣。这体现在许多正在开发的具有先进调谐能力的系统中。然而,考虑到大量的算法选择,选择最佳的数据库配置调优解决方案仍然是一个挑战。此外,除了在数据库系统上的应用程序,我们可以找到更多的潜在算法设计的配置调优。为此,本文从更广泛的角度对配置调优技术进行了全面的评估,希望能更好地造福于数据库社区。特别是,我们总结了数据库配置调整系统的三个关键模块,并使用各种具有挑战性的情况下进行广泛的消融研究。我们的评估表明,超参数优化算法可以借用,以进一步加强数据库配置调优。此外,我们确定不同模块的最佳算法选择。除了全面的评估之外,我们还通过代理提供了一个高效和统一的数据库配置调优基准,将评估成本降至最低,允许对新技术进行广泛的运行和分析。
2022-03-14 cs.DB
Modelling an Automatic Proof Generator for Functional Dependency Rules Using Colored Petri Net
数据库管理员需要计算函数依赖闭包(FD)来规范数据库系统和执行完整性规则。有色Petri网(CPN)是一种有效的形式化建模和验证方法.在本文中,我们模拟阿姆斯特朗的公理自动证明生成一个新的FD规则从初始FD规则使用CPN。为此,阿姆斯特朗公理的CPN模型提出和初始FD考虑在模型中作为初始色集。然后通过模型检验在模型的状态空间中搜索所需的FD。如果它存在于状态空间中,则递归ML代码使用在模型的状态空间中的进一步搜索来提取该FD规则的证明。
2012-10-11 cs.DB cs.FL cs.SE
Semi-automatic staging area for high-quality structured data extraction from scientific literature
University of Tsukuba(筑波大学);DFKI GmbH(德国人工智能研究中心)
提出半自动暂存区SuperCon2,结合自动异常检测、训练数据收集机制与智能界面,高效构建超导体数据库并显著提升数据整理质量。
2023-11-16 cond-mat.supr-con cs.CL cs.DB