Latent table discovery by semantic relationship extraction between unrelated sets of entity sets of structured data sources
查询是数据库系统的基本功能之一。参与表数量的增加会对查询效率产生不利影响。此外,基于语法的查询在很大程度上限制了数据库系统可以处理的查询的范围。语法查询依赖于数据库表结构,这是大型组织关注的一个原因,因为存储分布在不同地理位置的数据的异构系统之间不兼容。这些问题的解决方案在某种程度上是通过使数据和数据库有意义而转向语义技术来回答的。在这样做时,实体集合的集合之间的关系将不仅限于句法约束,而且还将允许语义连接,尽管这样的关系可以是隐性的、无形的和不可见的。这项工作的目标是提取这种隐藏的关系之间的不相关的实体集,并存储在一个有形的形式。一些示例情况下,提供了辩护,建议的工作,提高查询显着。
2011-04-07 cs.DB
Tractable vs. Intractable Cases of Matching Dependencies for Query Answering under Entity Resolution
匹配实体解析(MD)是一个相对较新的声明性实体解析建议。它们是基于数据库中的值所满足的相似性来指定哪些值应该被认为是重复的并且必须被匹配的规则。基于类似于追踪的MD实施过程,我们可以获得干净(无重复)的实例;实际上可能是其中的几个。查询的解析答案是那些在解析实例的结果类下不变的答案。以前的工作确定了某些类的查询和MD集,解决查询回答是易处理的。特别强调的是循环集的MD。在这项工作中,我们进一步研究这个问题的复杂性,确定棘手的情况下,并探索易处理性和难处理性之间的边界。我们主要集中在非循环集的MD。对于一个特殊的情况,我们得到了一个相对于NP-硬度的二分法结果。
2014-04-06 cs.CC cs.DB cs.LO
Extending SPARQL to Support Entity Grouping and Path Queries
在大型图中有效地找到给定查询的相关子图和路径的能力在包括科学数据分析、社交网络和商业智能的许多应用中是重要的。目前,有很少的支持,没有有效的方法来表达和执行这样的查询。本文提出了一个数据模型和一个查询语言来解决这个问题。贡献包括支持以下的构造和选择:(i)文件夹节点,表示一组相关实体,以及(ii)路径节点,表示一组路径,其中路径是图中两个或更多个实体的传递关系。路径和路径可以被存储并用于将来的查询。我们介绍FPSPARQL,这是一个扩展的SPARQL支持文件夹和路径节点。我们已经实现了一个查询引擎,支持FPSPARQL和评估结果表明,它的可行性和查询大型图数据集的效率。
2012-11-21 cs.DB
Building a Structured Query Engine
在数据中发现模式并能够从这些模式中检索信息是信息检索中的一项重要任务。简单的字符串匹配无法满足复杂的搜索需求,需要探索数据中的某些模式,这就需要一个更好的查询引擎来支持通过结构化查询进行搜索。在本文中,我们构建了一个结构化查询引擎,它支持通过ElasticSearch的结构化查询来搜索数据。我们将展示如何通过RESTful API实现数据的实时的索引和检索,以及如何使用我们为以结构化方式存储数据而创建的高效数据结构来创建和处理复杂查询。最后,我们将以一个基于该查询引擎的电影推荐系统为例进行总结。
2017-10-02 cs.DB cs.IR
DataJoint: A Simpler Relational Data Model
关系数据模型在定义数据结构和查询复杂数据方面提供了无与伦比的严格性和精确性。然而,关系数据库在科学数据管道中的使用是有限的,因为它们被认为是笨拙的。我们提出了一个简化的和概念上精炼的关系数据模型命名为DataJoint。该模型包括一种用于模式定义的语言、一种用于数据查询的语言和一种用于可视化实体及其之间关系的图形化表示法。该模型遵循实体规范化的原则,这要求所有数据(包括存储的和派生的)必须由格式良好的实体集表示。DataJoint的数据查询语言是一个关于实体集的代数,它有五个运算符,由于实体规范化,这些运算符提供了与其他关系查询语言的运算符更清晰的匹配能力。DataJoint的实际实现已在神经科学实验室中采用,以便与科学数据管道进行流畅的交互。
2018-07-29 cs.DB
Relaxing Relationship Queries on Graph Data
在许多领域中,我们都看到需要在大型实体关系图中搜索查询中指定的一组实体之间的直接和间接关系。被称为语义关联(SA)的搜索结果通常是紧凑的(例如,直径受限的)连通子图,其包含所有查询实体。对于SA搜索的这个问题,存在有效的算法,但是如果一些查询实体在图中距离较远,则将返回空结果。为了减少失败查询的发生,并提供替代结果,我们研究了SA搜索的上下文中的查询松弛问题。简单地放松紧凑性约束将牺牲SA的紧凑性,更重要的是,可能导致性能问题并且是不切实际的。相反,我们专注于从原始失败的查询中删除最小数量的实体,以形成最大成功的子查询,从而最大限度地减少松弛引起的结果质量损失。我们证明,验证子查询的成功变成找到一个实体(称为证书),满足基于距离的查询实体的条件。为了有效地找到一个最大的子查询的成功证书,我们提出了一个最好的优先搜索算法,利用基于距离的估计,有效地修剪搜索空间。我们通过增加两个细粒度的算法来进一步提高其性能:一个基于度,另一个基于距离。广泛的实验上流行的RDF数据集证明了我们的算法的效率,这是更可扩展性比基线。
2020-02-24 cs.DB cs.IR
A Framework for Combining Entity Resolution and Query Answering in Knowledge Bases
IBM Research(IBM研究院);UC Santa Cruz(加州大学圣克鲁兹分校);Sapienza University of Rome(罗马第一大学)
本文提出一个新框架,在基于tgds和egds规则的知识库中结合实体解析与查询回答,设计了永不失败的chase过程以生成通用解,从而获取合取查询的确定答案。
2023-03-13 cs.AI cs.DB cs.LO
QueryER: A Framework for Fast Analysis-Aware Deduplication over Dirty Data
在这项工作中,我们探讨了正确和有效地回答直接在脏数据上发出的复杂SPJ查询的问题。我们引入QueryER,一个无缝集成实体解析到查询处理的框架。QueryER通过将ER运算符编织到查询计划中来执行分析感知的重复数据删除。我们的方法的实验评估表明,它适应真实和合成数据集的工作量和规模。
2022-02-03 cs.DB
Keyword Search on RDF Graphs - A Query Graph Assembly Approach
关键字搜索为普通用户提供了一个易于使用的查询RDF数据的界面。在给定输入关键字的情况下,本文研究了如何构造一个能够准确、高效地表达用户查询意图的查询图。基于输入的关键字,我们首先获得基本的查询图构建块,如实体/类顶点和谓词边。然后,我们正式定义了查询图组装(QGA)问题。不幸的是,我们从理论上证明了QGA是一个NP完全问题。为了解决这个问题,我们设计了一些启发式的下界,并提出了一个基于二分图匹配的最佳优先搜索算法。该算法的时间复杂度为$O(k^{2l} \cdot l^{3l})$,其中$l$是关键字的数量,而$k$是可调参数,即,允许匹配每个关键字的候选实体/类顶点和谓词边的最大数量。虽然QGA是棘手的,但实际上$l$和$k$都很小。此外,该算法的时间复杂度不依赖于RDF图的大小,这保证了我们的系统在大型RDF图良好的可扩展性。在DBpedia和Freebase上的实验证实了该系统在有效性和效率上的优越性。
2017-08-25 cs.DB
Dr Web: a modern, query-based web data retrieval engine
Birkbeck, University of London(伦敦大学伯贝克学院);University of Messina(墨西拿大学)
本文提出Dr Web,一个基于查询语言的模块化Web数据检索引擎,解决动态内容与杂乱数据提取问题,并阐述其开源发布路径。
2025-02-18 cs.CL cs.DB cs.IR
CrowdGather: Entity Extraction over Structured Domains
众包实体提取通常用于为许多应用获取数据,包括推荐系统、聚合列表和目录的构建以及知识库构建。当前的解决方案集中于使用单个查询的实体提取,例如,在收集所有餐厅的列表时,仅使用“give me another restaurant”。由于人力成本,专注于单个查询的解决方案可能非常不切实际。在本文中,我们利用实体提取通常集中在{ \em结构域}的事实,即,由属性集合描述的域,每个域都可能表现出层次结构。给定这样的域,我们可以实现更丰富的查询空间,例如,“再给我一家曼哈顿的摩洛哥餐厅,叫外卖”。当然,启用更丰富的查询空间会带来许多问题,特别是因为许多查询返回空答案。我们开发了新的统计工具,使我们能够推理的收益发出{ \em额外的查询}几乎没有信息,并显示我们如何可以利用重叠的查询结果的数据域的不同点,以获得准确的估计增益。我们把{ \em预算实体提取}的问题作为一个自适应优化问题来处理,该问题寻求最大化提取实体的数量,同时最小化整体提取成本。我们通过在合成和真实世界数据集上的实验来评估我们的技术,证明在相同预算下,产量高达竞争方法的4倍。
2015-02-24 cs.DB
Storage, Indexing, Query Processing, and Benchmarking in Centralized and Distributed RDF Engines: A Survey
语义网和关联数据的最新进展已经改变了传统网络的工作方式。资源描述框架(RDF)格式被广泛采用,用于保存基于网络的数据。这种大规模的采用为各种集中式和分布式RDF处理引擎的开发铺平了道路。这些引擎采用各种机制来实现查询处理引擎的关键组件,例如数据存储、索引、语言支持和查询执行。所有这些组件都控制查询的执行方式,并对查询运行时产生重大影响。例如,以各种方式存储RDF数据会显著影响所需的数据存储空间和查询运行时性能。RDF引擎中使用的索引方法类型对于快速数据查找至关重要。底层查询语言的类型(例如,SPARQL或SQL)是RDF存储解决方案的关键优化组件。最后,涉及不同联接顺序的查询执行会显著影响查询响应时间。本文从存储、索引、语言支持和查询执行等方面对集中式和分布式RDF引擎进行了全面的综述。
2020-09-23 cs.DB
REX: Explaining Relationships between Entity Pairs
实体和关系的知识库(手动或自动构建)在许多现实世界的搜索引擎(包括Yahoo!微软和谷歌。这些知识库可以被视为具有表示实体的节点和表示(主要)关系的边的图,并且已经进行了关于如何利用它们来回答实体搜索查询的各种研究。与此同时,在一个互补的方向上,对查询日志的分析使研究人员能够识别统计相关的实体对。这样的实体关系然后通过现代搜索引擎中的“相关搜索”特征呈现给搜索用户。然而,这样发现的实体关系对于用户来说常常是“令人困惑的”,因为为什么实体被连接常常是难以描述的。在本文中,我们提出了一个称为“实体关系解释”的新问题,该问题旨在解释为什么一对实体是连接的,并通过整合上述两种互补方法来解决这个具有挑战性的问题,即,我们利用知识库来“解释”在实体对之间发现的连接。更具体地说,我们提出了REX,一个系统,需要一对实体在一个给定的知识库作为输入,并有效地确定一个排名列表的关系解释。我们正式定义关系的解释和分析其可取的属性。此外,我们设计和实现算法,有效地枚举和排名的基础上的多个措施的“兴趣”的所有关系的解释。“我们对从DBpedia和商业搜索引擎收集的真实网络规模数据进行了广泛的实验,证明了REX的效率和可扩展性。我们还进行用户研究,以证实REX生成的解释的有效性。
2011-11-30 cs.DB
Push vs. Pull-Based Loop Fusion in Query Engines
数据库查询引擎使用基于拉或基于推的方法来避免跨查询操作符的数据物化。在本文中,我们深入研究了这两种类型的查询引擎,并提出了各自的局限性和优势。类似地,程序设计语言社区已经开发了循环融合技术,以在集合编程的上下文中移除中间集合。我们画的DB和PL社区之间的平行展示流水线查询引擎和循环融合技术之间的连接。基于这种连接,我们提出了一种新型的拉式引擎,灵感来自循环融合技术,它结合了这两种方法的优点。然后,我们实验性地评估各种引擎,在查询编译的上下文中,第一次在一个公平的环境中,消除了传统上只用于其中一种方法的辅助优化的偏见影响。我们表明,对于现实的分析工作量,有没有相当大的优势,无论是形式的流水线查询引擎,而不是最近的研究表明。此外,通过使用微基准测试,我们表明,我们提出的引擎通过结合两者的优点,占主导地位的现有引擎。
2016-10-28 cs.DB cs.PL
FDB: A Query Engine for Factorised Relational Databases
因子分解数据库是关系数据库,它在物理层使用紧凑的因子分解表示来减少数据冗余并提高查询性能。本文介绍了FDB,一个内存中的查询引擎选择项目连接查询因子分解数据库。FDB的关键组件是用于查询优化和评估的新算法,这些算法利用了数据分解带来的简洁性。实验表明,对于具有多对多关系的数据集,FDB可以在数量级上超过关系引擎。
2012-03-12 cs.DB cs.DS
Automatic Generation of a Hybrid Query Execution Engine
对快速数据处理的需求不断增长,需要新的方法来高效执行查询。即时查询编译技术已被证明可以显著提高一组分析任务的性能。在这项工作中,我们研究了将这种方法添加到现有数据库解决方案中的可能性及其提供的好处。为此,我们创建了一组自动化工具来创建一个运行时代码生成引擎,并将这样的引擎集成到SQLite中,SQLite是世界上最流行的关系数据库之一,用于各种各样的环境。在涉及大量操作的查询的微基准测试中观察到高达1.7倍的加速。
2018-08-16 cs.DB
A Survey of RDF Stores & SPARQL Engines for Querying Knowledge Graphs
RDF在最近几年中得到了越来越多的采用,促进了RDF的SPARQL查询语言的标准化,以及用于处理SPARQL查询的本地和分布式引擎的开发。这篇调查论文对查询RDF知识图谱的技术和系统进行了全面的回顾。虽然其他评论这个主题往往集中在分布式设置,工作的主要重点是提供一个全面的调查国家的最先进的存储,索引和查询处理技术,有效地评估SPARQL查询在本地设置(在一台机器上)。为了保持调查的独立性,我们还提供了一个简短的讨论,在分布式设置中使用的图分区技术。最后,我们讨论当代研究的挑战,进一步提高SPARQL查询引擎。这个扩展版本还提供了超过100个SPARQL查询引擎及其使用的技术的调查,以及12个基准测试及其功能。
2021-10-13 cs.DB
Scripting Relational Database Engine Using Transducer
我们允许数据库用户使用过程语言编写并行关系数据库引擎的脚本。过程语言代码作为用户定义的关系查询操作符(称为transducer)执行。Transducer与关系引擎紧密集成,包括查询优化器,查询执行器,并可以像其他查询操作器一样并行执行。使用transducer,我们可以有效地执行在SQL中很难表达的查询。作为例子,我们展示了如何在并行关系数据库中运行时间序列和图形查询等。
2018-05-11 cs.DB
MorphStore: Analytical Query Engine with a Holistic Compression-Enabled Processing Model
在本文中,我们提出了MorphStore,一个开源的内存中的列式分析查询引擎与一个新的整体压缩启用处理模型。基本上,使用轻量级整数压缩算法的压缩已经在现有的内存列存储数据库系统中发挥了重要作用,但主要是针对基本数据。具体地,在查询处理期间,这些系统仅保持数据被压缩,直到操作员不能直接处理压缩数据,于是数据被解压缩,但不被重新压缩。因此,在查询处理期间压缩的全部潜力没有被利用。为了克服这一点,我们开发了一种新的压缩启用处理模型,如本文所述。正如我们将要展示的那样,对所有基础数据和所有中间数据连续使用压缩对于减少总体内存占用以及提高查询性能是非常有益的。
2020-04-20 cs.DB
An Empirical Evaluation of Cost-based Federated SPARQL Query Processing Engines
Kyung Hee University(庆熙大学);University of Paderborn(帕德博恩大学)
寻找一个好的查询计划是优化查询运行时的关键。这尤其适用于基于成本的联邦引擎,它使用基数估计来实现这一目标。许多研究比较了SPARQL联邦引擎在不同性能指标上的性能,包括查询运行时间、结果集完整性和正确性、选择的源数量和发送的请求数量。尽管这些指标信息量很大,但它们是通用的,无法量化和评估基于成本的联合引擎的基数估计器的准确性。为了彻底评估基于成本的联邦引擎,必须测量估计基数错误对整体查询运行时性能的影响。在本文中,我们解决这个挑战,提出了新的评估指标,针对细粒度基准测试的成本为基础的联邦SPARQL查询引擎。我们评估五个基于成本的联邦SPARQL查询引擎使用现有的以及新的评估指标,通过使用LargeRDFBench查询。我们的研究结果提供了一个详细的分析实验结果,揭示了新的见解,有用的未来成本为基础的联邦SPARQL查询处理引擎的发展。
2021-04-02 cs.DB cs.LG cs.PF
AQETuner: Reliable Query-level Configuration Tuning for Analytical Query Engines
AQETuner提出基于贝叶斯优化的查询级配置调优系统,结合注意力机制、双任务神经过程和粒子群优化,解决旋钮影响、失败忽视及冷启动问题,显著降低延迟和失败率。
2025-06-20 cs.DB
BARQ: A Vectorized SPARQL Query Execution Engine
本文介绍了向量化SPARQL查询执行引擎BARQ,通过批处理元组优化关键操作,成功集成到Stardog平台,在CPU密集型查询上实现大幅提速且不牺牲磁盘密集型查询性能。
2025-04-06 cs.DB
Banyan: A Scoped Dataflow Engine for Graph Query Service
图查询服务(GQS)被广泛用于交互式地回答大规模图数据上的图遍历查询。现有的图形查询引擎主要集中在优化单个查询的延迟。这忽略了GQS带来的重大挑战,包括查询执行期间的细粒度控制和调度,以及从跨用户到查询内的各个级别的性能隔离和负载均衡。为了解决这些控制和调度的挑战,我们提出了一个新的范围内的建模图遍历查询,显式地暴露并发执行和控制的任何子查询的最细粒度。我们实现了Banyan,一个基于GQS的作用域化的Cocklow模型的引擎。Banyan专注于在单台机器上扩展性能,并提供轻松扩展的能力。在多个基准测试上进行的大量实验表明,Banyan在提供性能隔离和负载均衡的同时,将性能提高了三个数量级,超过了最先进的图形查询引擎。
2022-02-25 cs.DB cs.DC
Building Efficient Query Engines in a High-Level Language
无遗憾的抽象是指使用高级程序设计语言进行系统开发而不会对性能产生负面影响的愿景。根据这一愿景设计的数据库系统提供了更高的生产力和高性能,而不是像现有的难以维护和扩展的单片实现那样牺牲前者。在本文中,我们将在分析查询处理领域实现这一愿景。我们提出了LegoBase,一个查询引擎写的高级语言Scala。重新获得效率的关键技术是应用生成式编程:LegoBase执行源到源编译,并通过将高级Scala代码转换为专用的低级C代码来优化整个查询引擎。我们展示了生成式编程如何允许轻松地实现广泛的优化,例如引入数据分区或从行切换到列数据布局,这是难以实现的,与现有的低级别查询编译器,只处理查询。我们证明,足够强大的抽象是必不可少的处理复杂的优化工作,屏蔽开发人员从编译器内部和相互解耦的个人优化。我们使用TPC-H基准测试评估了我们的方法,结果表明:(a)启用所有优化后,LegoBase的性能明显优于商业数据库和现有的查询编译器。(b)程序员只需要提供几百行高级代码来实现优化,而不是现有查询编译方法所需的复杂低级代码。(c)编译开销是低的整体执行时间相比,从而使我们的方法在实践中可用于编译查询引擎。
2016-12-16 cs.DB
VisualNeo: Bridging the Gap between Visual Query Interfaces and Graph Query Engines
Hong Kong Univ. of Sci. & Tech.(香港科技大学)
VisualNeo基于Neo4j构建新型可视化查询系统,实现高效子图查询,继承先进VQI特性并集成数据库管理模块,提升图查询全栈操作体验。
2026-04-28 cs.DB cs.SE
From Custom-Fit to Portable: Bridging the Gap Between Synthesized and Engineered GPU Query Execution
EURECOM
本文针对GPU分析中合成与工程化的争论,提出SHADB框架回答合成GPU代码效果等三个问题,展示合成代码优势,分解性能差距并分类优化,将可推广优化集成到SYCLDB引擎,缩小与合成代码差距并保持相关特性。
2026-07-09 cs.DB
Efficient Fault Tolerance for Pipelined Query Engines via Write-ahead Lineage
本文提出预写式血缘技术,结合血缘重放与预写日志,实现流水线查询引擎的低开销容错,并在Quokka引擎中验证其比SparkSQL快约2倍且恢复性能相当。
2024-03-12 cs.DB cs.DC
Effective Bug Detection in Graph Database Engines: An LLM-based Approach
针对现有图数据库引擎漏洞检测方法受限于特定查询语言、需大量先验知识的问题,提出基于LLM的DGDB范式,通过ChatGPT生成多语言查询并结合差分测试,在多款主流图数据库中成功检测出多个结果错误类漏洞。
2024-02-01 cs.DB
GSmart: An Efficient SPARQL Query Engine Using Sparse Matrix Algebra -- Full Version
由于越来越多地使用RDF对数据进行编码,在大型RDF数据集上高效执行SPARQL查询是一个非常有趣的话题。大多数工作都遵循关系或基于图的方法。在本文中,我们提出了一种替代查询引擎,称为gSmart,基于矩阵代数。这种方法可以潜在地更好地利用我们所针对的高性能异构体系结构的计算能力。gSmart包括:(1)基于分组关联边的SPARQL查询评估,其中使用一系列矩阵运算一起评估顶点的所有未评估边,以充分利用查询约束并缩小解空间;(2)图查询规划器,确定查询图中顶点的评估顺序;(3)存储和计算高效的数据结构,包括用于RDF数据的轻量稀疏矩阵(LSpM)存储和用于评估结果的基于树的表示;(4)多级数据划分器,用于将基于事件边的查询评估映射到异构HPC体系结构中并开发多级并行性;以及(5)并行执行器,其使用细粒度处理方案、预修剪技术以及树修剪技术,以降低节点间通信并实现高吞吐量。gSmart在CPU+GPU HPC架构上的评估显示,与单节点机器上现有的SPARQL查询引擎相比,执行时间加速高达46920.00倍。此外,天河一号A超级计算机上的gSmart从2个CPU+GPU节点扩展到16个节点,最大加速比为6.90倍。
2021-06-26 cs.DB cs.DC
A Distributed Path Query Engine for Temporal Property Graphs
属性图是链接数据的一种常见形式,路径查询用于遍历和探索它们以进行企业事务和挖掘。时态属性图是最近的一个变体,其中时间是要查询的第一类实体,并且它们的属性和结构随时间而变化。这些在社交、电信、交通和流行病网络中可见。然而,当前的图数据库和查询引擎对图实体之间的时间关系的支持有限,不支持时变实体和/或不能在分布式资源上扩展。我们通过扩展属性图上的线性路径查询模型来解决这个差距,以包括直观的时态谓词和时态图上的聚合运算符。我们设计了一个分布式的执行模型,这些时间路径查询使用的时间间隔为中心的计算模型,并开发了一种新的成本模型,选择一个有效的执行计划,从几个。我们进行详细的实验,我们的花岗岩分布式查询引擎使用静态和动态的时间属性图大到52 M顶点,218 M边和325 M的属性,和1600查询的工作量,来自LDBC基准。我们通常在商品集群上提供亚秒级的查询延迟,与行业领先的Neo4J共享内存图数据库和JanusGraph / Spark分布式图查询引擎相比,其速度快149 - 1140倍。Granite还可以完成所有图表的100%查询,而基线系统仅完成32-92%的工作负载。此外,我们的成本模型在90%的情况下选择了在最佳执行时间的10%以内的查询计划。尽管图处理的不规则性,我们表现出弱的伸缩效率>= 60%的8个节点和>= 40%的16个节点,对于大多数查询工作负载。
2020-06-14 cs.DB cs.DC
First-Class Functions for First-Order Database Engines
我们描述查询去功能化,使现成的一阶数据库引擎处理查询的第一类功能。对一级函数的支持的特点是能够将函数视为常规数据项,这些数据项可以在查询运行时构造,传递给其他(高阶)函数或从其他(高阶)函数返回,分配给变量,并存储在持久数据结构中。查询去功能化是一种非侵入性的方法,它将以功能为中心的查询转换为以数据为中心的操作,由常见的查询处理器实现。在XQuery和PL/SQL数据库系统上的实验表明,一阶数据库引擎能够忠实有效地支持表达性的“函数即数据”范式。
2013-08-01 cs.DB cs.PL
Entity Matching by Pool-based Active Learning
School of Software, Tsinghua University(清华大学软件学院)
本文提出基于池的主动学习方法ALMatcher,通过混合不确定性查询策略选择少量高价值样本标注,在七个数据集上以少量标注实现优于现有方法的实体匹配效果。
2022-11-01 cs.DB cs.LG
GenDB: The Next Generation of Query Processing -- Synthesized, Not Engineered
Cornell University(康奈尔大学)
GenDB利用大语言模型合成查询执行代码,以替代传统复杂的查询处理引擎,实现更高效和定制化的查询处理系统。
2026-03-02 cs.AI cs.CL cs.DB
UQE: A Query Engine for Unstructured Databases
Google DeepMind(谷歌DeepMind);Google Cloud(谷歌云);University of Alberta(阿尔伯塔大学);Georgia Institute of Technology(佐治亚理工学院)
提出通用查询引擎UQE,利用LLMs和SQL方言UQL直接对图像、对话等非结构化数据进行高效查询与分析。
2024-11-17 cs.AI cs.DB cs.LG
Demonstrating GenDB: Instance-Optimized and Customized Query Processing Code Generation via LLM Agents
Cornell University(康奈尔大学)
研究针对传统查询处理引擎扩展难题,提出GenDB生成式查询引擎,借助大语言模型代理生成代码。核心方法是通过LLM agents为特定场景生成优化代码,主要贡献是展示其工作流程、性能优势并提供用户探索平台。
2026-07-24 cs.AI cs.CL cs.DB