Object-Relational Database Representations for Text Indexing
与数据库管理系统相比,信息检索系统的一个显著特征是它们为倒排列表提供更好的压缩,从而产生更好的I/O性能,从而更快地进行查询评估。在本文中,我们介绍了数据库表示的索引,减少大小(从而磁盘I/O)的倒排列表。这不是通过重新设计DBMS来实现的,而是通过利用现有对象关系DBM系统(RDBMS)已经提供的非1 NF特性来实现的。具体而言,四个不同的数据库表示,并详细的实验结果为100万页的报告。其中三种表示比普通关系表示的空间效率高一个数量级,并且(在查询评估中)更快。
2009-06-17 cs.DB cs.IR
Stochastic Database Cracking: Towards Robust Adaptive Indexing in Main-Memory Column-Stores
现代商业应用和科学数据库要求固有的动态数据存储环境。这种环境的特点是两个具有挑战性的特点:(a)他们有很少的空闲系统时间投入物理设计;(b)有很少的,如果有的话,先验的工作负载知识,而查询和数据的工作负载保持动态变化。在这样的环境中,传统的索引构建和维护方法无法适用。数据库破解已经被提出作为一种解决方案,允许在运行中的物理数据重组,作为查询处理的附带影响。Cracking的目标是连续自动地使索引适应手头的工作负载,而无需人工干预。索引是按需增量、自适应地构建的。然而,正如我们所展示的,现有的自适应索引方法无法提供工作负载鲁棒性;它们在随机工作负载下的表现要比其他方法好得多。这种脆弱性源于这些方法将每个查询解释为数据应该如何存储的提示的不灵活性。当前的破解方案盲目地在每个查询的范围内重新组织数据,即使这导致连续的昂贵操作,索引收益最小。在本文中,我们介绍了随机破解,一个更有弹性的自适应索引方法。随机破解也使用每个查询作为如何重组数据的提示,但不是盲目的;它通过在决策中故意应用某些任意选择来获得弹性并避免性能瓶颈。因此,我们提出了自适应索引到一个成熟的配方,赋予以前的方法缺乏的工作负载鲁棒性。我们广泛的实验研究验证了随机破解保持了原始数据库破解所需的属性,同时在不同的现实工作负载下表现良好。
2012-03-01 cs.DB
Comparative Evaluation of Data Stream Indexing Models
近年来,数据流的管理和处理已经成为计算机科学的几个领域(例如,分布式系统、数据库系统和数据采掘)中活跃的研究主题。数据流可以被认为是一个短暂的,不断增加的数据序列。在数据流应用中,由于在线监控的存在,对用户查询的响应要求具有时间和空间效率。在本文中,我们考虑索引的特殊要求,以确定在数据流处理环境中的不同技术的性能。流索引与传统数据库中的方法有主要区别。此外,我们分析比较数据流索引模型,可以提供一个合适的方法进行流索引。
2012-08-03 cs.DB
RTIndeX: Exploiting Hardware-Accelerated GPU Raytracing for Database Indexing
本文提出 RX,将数据库点查与范围查重构为 GPU 光线追踪相交测试,借助 NVIDIA RTX 专用核心实现索引,并从十四个维度验证其竞争力。
2023-09-27 cs.DB cs.GR
Predictive Indexing
在数据库管理系统(DBMS)中,对自动索引调优进行了大量的研究。但是,这些解决方案中的大多数都是通过回顾性地一次性进行计算代价高昂的物理设计更改来调整索引配置的。这样的改变降低了DBMS在处理期间的性能,并且由于工作负载转移和相关联的改变之间的延迟而降低了在随后的查询处理期间的实用性。一种更好的方法是生成随时间调整物理设计的小更改,预测这些更改的实用性,并提前应用它们以最大限度地发挥其影响。本文介绍了预测索引,不断提高数据库的物理设计使用轻量级的物理设计的变化。它使用机器学习模型来预测这些更改的效用,并不断改进数据库的索引配置以处理不断变化的工作负载。我们引入了一个轻量级的混合扫描操作,DBMS可以利用部分建立的索引进行查询处理。我们的评估表明,预测索引提高了3.5- 5.2倍的数据库管理系统的吞吐量相比,其他国家的最先进的索引方法。我们证明了预测索引与其他轻量级自动化物理设计调优方法无缝配合。
2019-01-21 cs.DB
Indexing Designs and Adaptive Data Distribution Optimization for In-Memory Databases on Hybrid DDR--CXL Memory
East China Normal University(华东师范大学)
针对混合DDR--CXL内存数据库,提出五种索引设计并开发自适应数据分布优化,通过分层热度跟踪和收益感知驱逐提升性能,使单一索引设计吞吐量最高提升至1.59倍。
2026-10-08 cs.DB
Unsupervised classification of uncertain data objects in spatial databases using computational geometry and indexing techniques
无监督分类称为聚类,是将对象组织成成员在某些方面相似的组的过程。不确定数据对象的聚类是空间数据库中的一个挑战。本文采用概率密度函数(PDF)来表示这些不确定的数据对象,并应用不确定K均值算法来生成聚类。该聚类算法使用期望距离(ED)来计算对象和聚类代表之间的距离。为了进一步提高UK-Means的性能,我们提出了一种新的技术,称为沃罗诺伊图从计算几何修剪ED的计算数量。这种技术有效地工作,但结果修剪开销。为了减少这些在修剪开销,我们引入R*-树索引这些不确定的数据对象,使它减少了计算成本和修剪开销。我们的新方法集成UK-Means与沃罗诺伊图和R* 树应用于不确定的数据对象产生强加的结果相比,可访问的方法。
2013-12-09 cs.DB
Exact Indexing for Massive Time Series Databases under Time Warping Distance
Chulalongkorn University(朱拉隆功大学)
在众多时间序列数据的距离度量中,动态时间规整(DTW)距离因其在序列比对中的灵活性而被公认为最准确、最合适的距离度量之一。然而,DTW距离计算是计算密集型的。特别是在非常大的时间序列数据库中,顺序扫描整个数据库肯定是不切实际的,即使是利用一些索引结构的随机访问,因为时间序列数据的高维性会导致极高的I/O成本。更具体地,顺序结构消耗高CPU但低I/O成本,而索引结构需要低CPU但高I/O成本。在这项工作中,因此,我们提出了一种新的索引顺序结构称为TWIST(索引顺序结构中的时间弯曲),受益于顺序存取和索引结构。当一个查询序列发出时,TWIST计算一组候选序列与查询序列之间的下界距离,然后预先识别数据访问顺序,从而减少了大量的顺序访问和随机访问。令人印象深刻的是,我们的索引顺序结构在查询过程中实现了几个数量级的显着加速。此外,我们的方法显示优于现有的竞争对手的方法在查询处理时间,页面访问的数量和存储要求,没有错误的解雇保证。
2009-06-13 cs.AI cs.DB cs.IR
Structural Indexing of Relational Databases for the Evaluation of Free-Connex Acyclic Conjunctive Queries
Pontificia Universidad Católica de Chile(智利天主教 Pontificia Universidad Católica 大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
该研究提出了一种基于数据库元组结构性对称性的索引方法,用于高效评估自由连通无环联接查询。
2026-01-08 cs.DB cs.LO
An index for regular expression queries: Design and implementation
Like正则表达式谓词至少从1989年起就成为SQL标准的一部分。然而,尽管它的流行和广泛的使用,数据库供应商只提供有限的索引支持正则表达式查询,几乎总是需要一个完整的表扫描。在本文中,我们提出了一个严格的和强大的方法,为正则表达式查询提供索引支持。我们的方法包括制定索引问题作为一个组合优化问题。我们从一个数据库开始,它被抽象为字符串的集合。从这个数据集,我们生成一个查询工作负载。优化问题的输入是数据库和工作负载。输出是一组多重字符(子字符串),可以用作满足查询工作负载的记录的键。然后可以将multigram与数据结构(如B+树)集成,为查询提供索引支持。我们提供了一个确定性和随机近似算法(可证明的保证)来解决优化问题。在合成数据集上的大量实验表明,该方法是准确和有效的。我们还提出了一个案例研究的PROSITE模式-这是复杂的正则表达式签名类蛋白质。同样,我们能够证明我们的索引方法在准确性和效率方面的实用性。因此,也许是第一次,有一个强大的和实用的索引机制,为一类重要的数据库查询。
2011-08-15 cs.DB cs.IR
Taking the Shortcut: Actively Incorporating the Virtual Memory Index of the OS to Hardware-Accelerate Database Indexing
本文提出利用操作系统页表作为数据库索引的捷径,通过直接在页表中表达间接层来减少遍历高度并利用硬件加速,并在可扩展哈希上验证了有效性。
2023-10-13 cs.DB cs.OS
INSTRUCT: Space-Efficient Structure for Indexing and Complete Query Management of String Databases
搜索引擎、词典和同义词词典存储以及其他文本挖掘应用的巨大扩展,与容易获得的扫描设备和光学字符识别工具的普及相结合,使得对于各种现代应用的大量文本数据库的有效存储、检索和管理成为必要。对于这样的应用程序,我们提出了一种新的数据结构,INFECT,有效地存储和管理的序列数据库。我们的结构使用位向量重用的存储空间,共同的三元组,因此,有一个非常低的内存需求。除了精确的字符串搜索操作之外,INCLUCT还通过迭代地检查三元组的存在来有效地处理前缀和后缀搜索查询。我们还提出了一个扩展的结构,以有效地处理子串搜索,虽然增加了空间的要求。这个扩展是很重要的,在上下文的trie为基础的解决方案,无法有效地处理这样的查询。我们进行了几个实验,描绘INDROCT优于现有的结构,近两个因素的空间需求方面,而查询时间更好。除了支持所有类型的查询(包括精确搜索、前缀/后缀搜索和子串搜索)之外,还能够处理字符串的插入和删除,这使得INCLECT成为一个完整的数据结构。
2012-07-03 cs.DB cs.DS
Indices in XML Databases
随着XML成为商业信息表示和交换的标准,XML文档的存储、索引和查询已迅速成为数据库研究的主要问题。在这种情况下,查询处理和优化是原始的,原生XML数据库还不成熟。诸如索引之类的数据结构有助于大大提高性能,因此得到了广泛的研究,特别是因为XML数据具有相对于关系数据的许多特性。在本文中,我们调查国家的最先进的XML索引,并讨论了主要问题,权衡和未来的趋势,XML索引。我们还提出了一个索引,我们专门设计的XML数据仓库的特定体系结构。
2017-01-27 cs.DB
Learned Adaptive Indexing
针对动态工作负载下传统学习型索引需预先构建的挑战,提出一种随查询动态构建的学习型自适应索引,利用工作负载预测提升性能,实验显示查询性能提升1.2-5.6倍。
2025-08-05 cs.DB
Curator: Efficient Indexing for Multi-Tenant Vector Databases
Duke University(杜克大学);Yale University(耶鲁大学);Emerald Innovations
本文提出 Curator,一种面向多租户向量数据库的内存索引,通过将租户特定聚类树编码为共享聚类树的子树,同时实现低内存开销和高查询、插入、删除性能。
2024-01-13 cs.DB cs.DC cs.IR
Event Indexing Systems for Efficient Selection and Analysis of HERA Data
本文介绍了为提高DESY HERA电子-质子对撞机ZEUS探测器事件数据离线分析效率而设计和实现的两个软件系统。提出了两种不同的方法,一种使用一组事件目录,另一种使用基于商业面向对象数据库管理系统的标记数据库。这些描述和比较。这两个系统都提供了快速直接存取单个碰撞事件在一个连续的数据存储的几个TB,他们都大大提高了事件分析的效率。特别地,标签数据库提供了非常灵活的选择机制,并且可以显著地减少从总事件样本中提取小的子样本所需的计算时间。已获得高达20倍的增益。
2001-04-03 cs.DB cs.IR
Designing Succinct Secondary Indexing Mechanism by Exploiting Column Correlations (Extended Version)
数据库管理员在数据表上构造二级索引以加速关系数据库管理系统(RDBMS)中的查询处理。根据数据统计信息,这些索引构建在最常查询的列之上。不幸的是,在同一个数据库中维护多个辅助索引可能非常消耗空间,由于可能耗尽内存空间,导致性能显著下降。在本文中,我们证明了有很多机会利用列相关性来加速数据访问。我们提出了HERMIT,一个简洁的现代RDBMS二级索引机制。HERMIT明智地利用隐藏在列中的丰富的软函数依赖关系,为索引键访问修剪掉冗余结构。HERMIT不是构建一个完整的索引来存储键列中的每个条目,而是将任何传入的键访问查询导航到基于相关列构建的现有索引。这是通过分层回归搜索树(TRS树)实现的,TRS树是一种简洁的ML增强型数据结构,可执行快速曲线拟合,以自适应地动态捕获列相关性和离群值。我们在两个不同的RDBMS中进行了广泛的实验研究,证实了HERMIT可以显着减少空间消耗,在查询响应时间和索引维护时间方面的性能开销有限,特别是在支持复杂范围查询时。
2019-04-01 cs.DB
Just In Time Indexing
当今数据库管理员面临的主要挑战之一是管理复杂SQL查询的性能,这些查询本质上是动态的。由于查询的动态特性,不可能对每个查询都进行调优,因此如果不对这些查询进行调优,它们很可能会导致严重的数据库性能问题。常规索引仅适用于那些频繁执行的查询或SQL查询中频繁连接的列。本发明涉及一种用于优化数据库管理系统中的数据库查询的方法、查询优化器。即时(JIT)索引是按需的,是根据当前需求动态创建的临时索引,以便它们能够满足任何类型的查询。仅当查询的资源消耗超过配置的阈值时,才会创建JIT索引。JIT索引将临时存储,并将在一段时间内被新的JIT索引取代。该建议得到证实的实验方案的帮助下,并与各种测试用例。并行编程的思想也被带入画面,因为它可以有效地用于多处理器系统。采用多个线程,而一组线程以常规方式进行,另一组线程以所提出的方式进行。当达到合适的阶段时,进行现场切换,从那时起,所提出的方法将只出现在画面中。
2013-08-16 cs.DB
Indexing the Earth Mover's Distance Using Normal Distributions
查询不确定的数据集(表示为概率分布)提出了许多挑战,由于涉及大量的数据和比较分布之间的不确定性的困难。地球移动器距离(EMD)已越来越多地用于比较不确定的数据,由于其能够有效地捕捉两个分布之间的差异。计算EMD需要找到运输问题的解决方案,这是计算密集型的。在本文中,我们提出了一个新的下界的EMD和索引结构,显着提高性能的EMD为基础的K-最近邻(K-NN)查询不确定数据库。我们提出了一个新的EMD下界,该下界逼近投影向量上的EMD。每个分布都被投影到一个向量上,并近似为正态分布以及伴随的误差项。然后,我们将每个法线表示为Hough变换空间中的一个点。然后,我们使用随机优势的概念,实现一个有效的索引结构中的转换空间。我们表明,我们的方法显着减少K-NN查询时间不确定数据库。索引结构也可以很好地扩展数据库基数。它非常适合于异构数据集,有助于保持EMD为基础的查询易处理的不确定数据集变得更大,更复杂。
2011-11-30 cs.DB
A+ Indexes: Tunable and Space-Efficient Adjacency Lists in Graph Database Management Systems
Cheriton School of Computer Science, University of Waterloo(滑铁卢大学切里顿计算机科学学院)
针对现有图数据库管理系统固定邻接表结构仅适配特定工作负载的问题,提出支持物化视图的可调优A+索引子系统,含顶点/边分区两类索引,采用偏移列表实现二级索引空间高效,经三类工作负载实验验证了可调优性与空间效率。
2021-03-03 cs.DB
Optimization of stochastic database cracking
变体随机破解是一种适应性更强的自适应索引方法。它表明[1]随机破解使用每个查询作为如何重组数据的提示,但不是盲目地这样做;它通过在决策中故意应用某些任意选择来获得弹性并避免性能瓶颈。因此,使自适应索引向前发展到一个成熟的公式,赋予以前的方法缺乏的工作负载鲁棒性。原始破解依赖于工作负载的随机性来很好地收敛。[2][3]然而,在工作负载是非随机的情况下,破解需要自己引入随机性。随机破解明显优于原始破解,在工作负载变化中具有鲁棒性,同时在适应时保持所有原始破解功能。但是看看这两种类型的破解,它传达了一个不完整的画面,因为在某个时间点,必须知道工作负载是随机的还是顺序的。在本文中,我们的重点是优化变量随机破解,这可以通过两种方式来实现,通过减少初始化成本,使随机破解对用户更加透明,特别是对于发起工作负载改变并因此招致更高成本的查询,或者通过经由决定为查询选择哪种算法的动态组件来组合各种随机破解算法的强度在飞行中。已经努力做出一种算法,该算法通过使用两种破解的主要概念来降低初始化成本,同时考虑自适应索引的要求[2]。
2013-05-08 cs.DB
Quantixar: High-performance Vector Data Management System
Quantixar是一个向量数据库项目,通过结合HNSW索引与二进制和乘积量化技术,实现高维数据的高效存储与相似性搜索,降低存储和计算成本。
2024-03-19 cs.DB
Towards Adaptive Storage Views in Virtual Memory
传统上,DBMS将其存储层与索引层分离。虽然存储层物理上实现了数据库并提供了对数据库的低级访问方法,但顶部的索引层可以更快地定位搜索到的条目。虽然这清楚地分离的关注,它也增加了一个层次的间接已经复杂的执行path.In这项工作中,我们提出了一种替代设计:而不是保守地分离两个层,我们自然融合它们集成自适应粗粒度索引方案直接到存储层。我们这样做是通过利用操作系统提供的虚拟内存管理子系统的工具:在最底层,我们将数据库内容具体化为物理主存的形式。最重要的是,我们允许创建任意多个虚拟内存存储视图,这些视图映射到具有某些感兴趣属性的数据库子集。这种创建完全自适应地作为查询处理的副产品发生。为了加快查询应答,我们将每个查询自动路由到最合适的虚拟视图。通过这种方式,我们自然地在其核心中索引存储层,并逐渐提高所提供的扫描性能。
2022-12-06 cs.DB cs.OS
A Pluggable Learned Index Method via Sampling and Gap Insertion
Alibaba Group(阿里巴巴集团)
数据库索引便于数据检索,并有利于在现实世界的系统中的广泛应用。最近,一个新的家庭的索引,命名为学习索引,提出了学习隐藏的但有用的数据分布,并将这些信息纳入索引的学习,这导致有前途的性能改进。然而,“学习”的过程中学习的指标仍然是不够的探索。本文提出了一种基于机器学习的形式化框架来量化索引学习目标,并研究了两种通用的、可插入的技术来提高学习效率和学习效果。在形式化学习目标的指导下,结合提出的采样技术,可以有效地学习索引,并通过提出的结果驱动的间隙插入技术,学习具有增强泛化能力的精确索引。我们在真实世界的数据集上进行了大量的实验,并从索引学习目标的角度比较了几种索引方法。结果表明,所提出的框架,以帮助设计适合不同的情况下的索引的能力。此外,我们证明了所提出的采样技术的有效性,它实现了高达78倍的建设加速,同时保持非退化的索引性能。最后,我们展示了间隙插入技术可以提高现有学习索引方法的静态和动态索引性能,查询加速比高达1.59倍。我们将发布我们的代码和处理后的数据以供进一步研究,这可以从机器学习和数据库的角度对学习索引进行更多的探索。
2021-01-04 cs.AI cs.DB
Cost-Effective, Low Latency Vector Search with Azure Cosmos DB
本研究将DiskANN深度集成到Azure Cosmos DB NoSQL中,在云原生运营数据库内构建高性价比低延迟向量搜索系统,性能与成本优势显著,为数据库向量索引融合提供参考。
2025-07-31 cs.DB cs.IR
Utilizing deep learning for automated tuning of database management systems
Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究针对数据库系统配置难题,基于 OtterTune 框架,利用监督与无监督机器学习技术,通过引入 GMM 聚类和集成模型优化延迟预测,提升了新 DBMS 部署的自动调优效果。
2023-06-25 cs.AI cs.DB
Indexing Join Inputs for Fast Queries and Maintenance
本文提出 merged index,结合传统索引与物化连接视图,支持全连接类型、非阻塞查询及高效维护,实验表明其兼具两者优势。
2025-02-15 cs.DB
Automated Training of Learned Database Components with Generative AI
RPTU Kaiserslautern-Landau(莱茵兰-普法尔茨应用技术大学凯撒斯劳滕-兰道)
本文提出利用生成AI合成训练数据以提升数据库组件的学习效果,通过生成真实查询分布和执行计划,改善数据库技术的适应性。
2025-12-23 cs.DB
Overlay Indexes: Efficiently Supporting Aggregate Range Queries and Authenticated Data Structures in Off-the-Shelf Databases
商业现成的数据库管理系统(DBMS)经过高度优化,可以通过精心设计的索引和查询规划来处理各种查询。然而,许多聚合范围查询通常由DBMS使用顺序扫描来执行,并且根本不支持某些需求,例如存储认证的数据结构(ADS)。从理论上讲,这些需求可以有效地满足采用特定类型的索引,但通常排除在DBMS的设计。我们介绍了覆盖索引的概念:一个索引,这是要存储在一个标准的数据库中,与常规数据和常规软件管理,以补充DBMS的功能。我们展示了一个数据结构,我们称之为DB树,它实现了一个覆盖索引,以支持广泛的自定义聚合范围查询以及ADS,有效。所有DB树操作都可以通过对DBMS执行少量查询来执行,这些查询可以在一个或两个查询轮中并行发出,并且涉及对数数量的数据。我们实验评估DB树的效率表明,我们的方法是有效的,特别是如果数据更新是有限的。
2019-10-25 cs.CR cs.DB cs.DS
Content Based Image Retrieval System Using NOHIS-tree
King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
基于内容的图像检索(CBIR)是计算机视觉的重要研究方向之一。它是一种广泛使用的在大型数据库中搜索图像的方法。在本文中,我们提出了一个CBIR系统称为NOHIS搜索。该系统基于NOHIS树索引技术。描述了系统的两个阶段,并用图像数据库ImagEval说明了系统的性能。将NOHIS-Search系统与其他两种基于内容的检索系统进行了比较,第一种系统采用PDDP索引算法,第二种系统采用顺序检索算法。结果表明,NOHIS-Search系统的性能优于其他两个系统。
2013-02-28 cs.CV cs.DB cs.IR
Accelerating Large-Scale Cheminformatics Using a Byte-Offset Indexing Architecture for Terabyte-Scale Data Integration
School of Computing, Telkom University(电信大学计算机学院)
本文通过整合三个公共化学数据库,采用字节偏移索引架构提升大规模化学数据整合效率,实现从100天到3.2小时的性能提升,解决数据完整性问题。
2026-03-20 cs.CE cs.DB cs.LG
Nonparametric Bayesian Modeling for Automated Database Schema Matching
合并数据库的问题出现在许多政府和商业应用中。模式匹配是常见的第一步,它识别数据库之间的等效字段。我们引入了一个模式匹配框架,为每个字段建立非参数贝叶斯模型,并通过计算单个模型可能生成两个字段的概率来比较它们。我们的实验表明,我们的方法是更准确和更快的比现有的基于实例的匹配算法的一部分,因为使用非参数贝叶斯模型。
2015-07-06 cs.DB cs.IR
Baihe: SysML Framework for AI-driven Databases
Alibaba Group(阿里巴巴集团);Renmin University of China(中国人民大学)
我们介绍了白河,一个用于AI驱动数据库的SysML框架。使用百合,现有的关系数据库系统可以被改造为使用学习的组件用于查询优化或其他常见任务,诸如例如用于索引的学习的结构。为了确保百合的实用性和现实世界的适用性,其高层架构基于以下要求:与核心系统分离,最小的第三方依赖,鲁棒性,稳定性和容错,以及稳定性和可配置性。基于高级架构,我们然后描述了一个具体的实现百合PostgreSQL和学习查询优化器的示例用例。为了服务于实践者,以及DB和AI4DB社区的研究人员,百和PostgreSQL将在开源许可下发布。
2021-12-29 cs.AI cs.DB cs.SY
Rel2Graph: Automated Mapping From Relational Databases to a Unified Property Knowledge Graph
本文提出Rel2Graph方法,实现从关系数据库到统一属性知识图的自动化映射,支持SQL到NoSQL查询转换,并在Spider和KaggleDBQA基准上验证了高执行准确率与数据完整性。
2023-10-26 cs.DB
General and Practical Tuning Method for Off-the-Shelf Graph-Based Index: SISAP Indexing Challenge Report by Team UTokyo
The University of Tokyo(东京大学)
提出基于黑盒优化的通用图索引调优方法,综合调优向量维度、数据库规模和遍历入口点,在SISAP 2023挑战赛10M和30M赛道获第二名,显著优于暴力方法。
2023-09-01 cs.CV cs.DB cs.IR
An Automated LLM-based Pipeline for Asset-Level Database Creation to Assess Deforestation Impact
Imperial College London(伦敦帝国理工学院)
本文提出一种基于大语言模型的自动化数据提取流水线,结合IRZ-CoT提示与检索增强验证,从SEC EDGAR文件中构建资产级数据库,以提升毁林影响评估和监管合规能力。
2025-05-05 cs.AI cs.DB cs.IR
RDBNorma: - A semi-automated tool for relational database schema normalization up to third normal form
本文提出了一种称为RDBNorma的工具,它使用一种新的方法来表示一个关系数据库模式和它的功能依赖在计算机内存中使用一个链表,并用于半自动化的过程关系数据库模式规范化到第三范式。本文解决了所有的问题,表示一个关系模式及其功能的依赖关系,使用一个链表以及算法转换为第二和第三范式,通过使用上述表示。我们已经比较了RDBNorma的性能与现有的工具,称为微使用标准的关系模式从各种资源收集。据观察,建议的工具至少比Micro快2.89倍,需要大约一半的空间比Micro来表示关系。比较是通过以相同的顺序输入关系上的所有属性和函数依赖关系,并在同一台机器上使用相同的语言实现这两种工具来完成的。
2011-03-03 cs.DB
AIM: A practical approach to automated index management for SQL databases
Meta Platforms, Inc.(Meta平台公司)
提出AIM自动索引管理系统,通过配置化方法识别SQL数据库中的有效二级索引,优化资源利用,并在生产环境中验证了快速收敛、减少查询优化器依赖和无回归保证等特性。
2026-05-29 cs.DB
RapidEarth: A Search-by-Classification Engine for Large-Scale Geospatial Imagery
本文提出 RapidEarth 搜索引擎,通过协同设计多维索引与决策分支,将模型推理转化为范围查询,实现秒级大规模卫星影像按分类检索。
2023-09-29 cs.DB
λ-Tune: Harnessing Large Language Models for Automated Database System Tuning
λ-Tune利用大型语言模型生成完整配置脚本,通过成本优化提示选择最佳配置,在PostgreSQL和MySQL上实现更稳健的自动数据库调优。
2024-11-05 cs.DB
Scaling Automated Database System Testing
National University of Singapore(新加坡国立大学)
SQLancer++通过自适应SQL生成器实现自动数据库测试的扩展,发现并修复了196个新错误。
2026-01-26 cs.DB cs.SE
Automated Database Testing via LLM-Synthesized SQL Features
National University of Singapore(新加坡国立大学)
该研究提出ShQveL方法,通过LLM合成SQL特征增强SQL生成器,在5个DBMS上发现55个新漏洞,其中50个已被修复,提升了自动化数据库测试的漏洞发现能力。
2026-08-06 cs.DB cs.SE
TopCom: Index for Shortest Distance Query in Directed Graph
图中两点间的最短距离是一个重要的问题,因为它在地理空间数据库、社会网络分析和信息检索等领域有着广泛的应用。经典算法(如Dijkstra)在多项式时间内解决了这个问题,但这些算法不能对大型图上的大量突发查询提供实时响应。因此,基于索引的解决方案,预处理图,以实时有效地回答(准确或近似)大量的距离查询,正变得越来越流行。现有的解决方案在索引大小、索引构建时间、查询时间和准确性方面具有不同的性能。在这项工作中,我们提出了T OP COM,一种新的基于索引的解决方案,准确地回答距离查询。我们的实验与现有的两个国家的最先进的方法(IS-Label和TreeMap)显示的优越性,T OP COM这两种方法,考虑到可扩展性和查询时间。此外,T OP C OM的索引利用了图中的DAG(有向无环图)结构,这使得它在输入图的SCC(强连通分量)相对较小的情况下比现有方法快得多。
2016-12-05 cs.DB
Secondary Indexing in One Dimension: Beyond B-trees and Bitmap Indexes
设S是一个有限的有序字母表,且x = x_1x_2.. x_n是S上的弦。x的“二级索引”回答以下形式的字母表范围查询:给定S上的范围[a_l,a_r],返回集合I_{[a_l;a_r]} = {i| x_i \in [a_l; a_r]}。二级索引在关系数据库和科学数据分析中得到大量使用。众所周知,为与每个字符相关联的位置集存储字典的明显解决方案并不总是给出最佳查询时间。在本文中,我们给出了第一个理论上最佳的数据结构的二级索引问题。在I/O模型中,当回答查询时读取的数据量在表示I_{[a_l;a_r]}所需的最小空间的常数因子内,假设内部存储器的大小为(|S| log n)^{delta}个块,对于某个常数delta > 0。在最坏的情况下,数据结构的空间使用是O(n log |S|)比特,并且我们进一步展示了如何根据x的0阶熵来约束数据结构的大小。我们展示了如何支持更新实现各种时空权衡。我们还考虑基本二级索引问题的近似版本,其中查询报告包含不在I_{[a_l;a_r]}中的每个元素的I_{[a_l;a_r]}超集,概率最多为epsilon,其中epsilon > 0是误报概率。对于这个问题,需要由查询算法读取的数据量减少到O(|I_{[a_l;a_r]}| log(1/log))位。
2008-11-18 cs.DB cs.DS
DBRepro: Automated Database Synthesis via a Hybrid Constraint-Solving Approach for Reproducing Slow Queries
Renmin University of China(中国人民大学);China Electronics Technology Kingbase (Beijing) Technologies Inc.(中国电子科技集团金仓(北京)科技有限公司)
研究针对慢查询离线诊断的数据库合成难题,提出DBRepro框架,通过混合约束求解方法生成代理数据库,在TPC-H、SSB及真实数据集上验证了其在基数误差、计划一致性等指标上的优势。
2026-08-31 cs.DB cs.SE