Effective Keyword Search in Graphs
在节点标记图中,关键字搜索查找图的子树,其节点包含所有查询关键字。这提供了一种查询图数据库的方法,既不需要掌握查询语言(如SPARQL),也不需要深入了解数据库模式。以前的工作排名答案树使用的组合结构和基于内容的指标,如关键字之间的路径长度或相关性的标签在答案树的查询关键字。我们提出了两种新的方法来排名关键字搜索结果的图形。第一个考虑节点的重要性,而第二个是一个双目标优化的边缘权重和节点的重要性。由于这两个问题都是NP难的,我们提出了贪心算法来解决它们,并在一个真实的数据集上实验验证了它们的有效性和效率。
2016-03-29 cs.DB
Transformer-based Ranking Approaches for Keyword Queries over Relational Databases
针对关系关键词搜索中歧义查询下候选连接网络排序不准确的问题,提出基于transformer的排序方法,通过结构线性化和数据增强提升上下文感知评估能力,实验证明其召回率和R@k显著优于原有贝叶斯方法。
2025-03-24 cs.DB
Meet Cyrus - The Query by Voice Mobile Assistant for the Tutoring and Formative Assessment of SQL Learners
由于是声明性的,SQL更有可能成为仅次于自然语言编程的概念计算的程序设计语言。我们研究使用SQL作为后端的自然语言数据库编程的可能性。与基于关键字的SQL查询不同,关键字依赖和SQL的表结构约束在我们的方法中明显不那么明显。我们提出了一个移动终端语音查询接口,称为赛勒斯,任意关系数据库。Cyrus支持一个大型的查询类,对于一个入门级的数据库类来说已经足够了。Cyrus也是独立于应用程序的,允许测试数据库自适应,并且不限于特定的关键字或自然语言句子结构。它的协作错误报告更直观,与大多数当代移动和语音系统相比,基于iOS的移动平台也更容易访问。
2018-11-09 cs.DB
Bridging the Semantic Gap with SQL Query Logs in Natural Language Interfaces to Databases
构建数据库的自然语言接口(NLIDB)的一个关键挑战是弥合自然语言查询(NLQ)和底层数据之间的语义鸿沟。这个挑战的两个具体表现方式是通过关键字映射和连接路径推理。关键字映射是将原始NLQ中的各个关键字映射到数据库元素(例如关系,属性或值)的任务。这是具有挑战性的,由于在映射用户的心理模型和措辞的模式定义和底层数据库的内容的模糊性。连接路径推断是在最终SQL查询的FROM子句中选择关系和连接条件的过程,并且是困难的,因为NLIDB用户缺乏数据库模式或SQL的知识,因此不能显式地指定构造最终SQL查询所需的中间表和连接。在本文中,我们建议利用数据库的SQL查询日志中的信息来提高现有NLIDBs的性能,以应对这些挑战。我们提出了一个可用于增强现有NLIDB的系统Templar。我们广泛的实验评估表明,我们的方法的有效性,导致高达138%的改善前1的准确性,在现有的NLIDBs利用SQL查询日志信息。
2019-01-31 cs.DB
DBTagger: Multi-Task Learning for Keyword Mapping in NLIDBs Using Bi-Directional Recurrent Neural Networks
Bilkent University(比尔肯大学)
在关系数据库的接口中,将自然语言查询语言(NLQs)转换为结构化查询语言(SQL)是一项具有挑战性的任务,近年来在数据库界得到了广泛的研究。传统的基于规则的系统利用一系列解决方案作为流水线来处理该任务的每个步骤,即停止词过滤、标记化、词干提取/词形化、解析、标记和翻译。最近的工作主要集中在翻译步骤,忽略了早期的步骤,使用特设的解决方案。在流水线中,最关键和最具挑战性的问题之一是关键字映射;在查询中的标记和关系数据库元素(表、属性、值等)之间构建映射。我们将关键字映射问题定义为序列标记问题,并提出了一种新的基于深度学习的监督方法,该方法利用NLQs的POS标签。我们提出的方法,称为\textit{DBTagger}(数据库标记),是一个端到端和模式无关的解决方案,这使得它适用于各种关系数据库。我们在八个不同的数据集上评估了我们的方法,并报告了新的最先进的准确性结果,平均值为$92.4\%$。我们的研究结果还表明,DBTagger是快于它的同行高达$10000$倍,可扩展的更大的数据库。
2021-01-11 cs.CL cs.DB
Text-to-SQL based on Large Language Models and Database Keyword Search
Instituto Tecgraf, PUC-Rio(里约天主教大学 Tecgraf 研究所);Petrobras(巴西石油公司);Departamento de Informática, PUC-Rio(里约天主教大学 信息学系);Departamento de Computação, UFC(塞阿拉联邦大学 计算机科学系)
本文提出一种结合动态少样本示例和数据库关键词搜索平台的策略,将自然语言问题编译为SQL查询,在真实世界数据库上超越现有方法。
2025-01-23 cs.AI cs.DB
Size-l Object Summaries for Relational Keyword Search
先前提出的关键字搜索范例产生作为查询结果的对象摘要(OS)的排名列表。OS是相关元组的树结构,它汇总了关系数据库中保存的关于特定数据主体(DS)的所有数据。然而,这些OS中的一些在尺寸上非常大,并且因此对于在进行关于特定DS的更全面的信息之前最初偏好天气信息的用户不友好。在本文中,我们研究了有效和高效的检索简洁和信息丰富的操作系统。我们认为,一个好的大小1操作系统应该是一个独立的和有意义的概要的最重要的信息,特定的DS。更确切地说,我们将大小为1的OS定义为由l个重要元组组成的部分OS。我们提出了三种算法的有效生成的大小1操作系统(除了最佳的方法,需要指数时间)。在DBLP和TPC-H数据库上的实验结果验证了该方法的有效性。
2011-11-30 cs.DB
Benchmarking Top-K Keyword and Top-K Document Processing with T${}^2$K${}^2$ and T${}^2$K${}^2$D${}^2$
Top-k关键字和top-k文档抽取是非常流行的文本分析技术。Top-k关键字和文档通常是动态计算的,但它们利用了构建成本高昂的加权词汇表。为了比较相互竞争的加权方案和数据库实现,通常使用基准测试。据我们所知,目前没有基准可以解决这些问题。因此,在本文中,我们提出了T ${}^2$ K ${}^2$,top-k关键字和文档基准,及其面向决策支持的进化T ${}^2$ K ${}^2$ D ${}^2$。这两个基准测试都有一个真实的tweet数据集和具有各种复杂性和选择性的查询。它们有助于评估加权方案和数据库实现的计算性能。为了说明我们的基准测试的相关性和通用性,我们一方面成功地对TF-IDF和Okapi BM 25加权方案进行了性能测试,另一方面对不同的关系型(Oracle,PostgreSQL)和面向文档的(MongoDB)数据库实现进行了性能测试。
2018-04-20 cs.DB cs.IR
Search and Navigation in Relational Databases
我们提出了一个新的应用程序中的关键字搜索关系数据库,它使用了一种新的算法来解决连接发现问题,通过查找Memex样的线索,通过图形的外键依赖关系。它不同于以前的努力,在所使用的算法,在表示机制和在使用主键只有数据库查询在查询时间,以保持快速响应用户。我们提出的例子使用DBLP数据集。
2003-07-31 cs.DB
Efficient Top K Temporal Spatial Keyword Search
在诸如基于位置的服务和社交网络之类的许多新兴应用中,正在以前所未有的规模生成被地理标记并与文本信息相关联的大量数据。由于其重要性,大量的工作集中在有效地计算各种空间关键字查询。在本文中,我们研究的顶部$k$时空关键字查询,考虑在搜索过程中的三个重要的约束条件,包括时间,空间接近度和文本相关性。一种新的索引结构,即SSG树,有效地插入/删除时空Web对象的高速率。基于SSG树,提出了一种支持top-k时空关键字查询的高效算法。我们表明,通过大量的实验与真正的空间数据库,我们的方法提高了性能的替代技术
2018-05-05 cs.DB
T${}^2$K${}^2$: The Twitter Top-K Keywords Benchmark
从文本数据中进行信息检索的重点是构建包含加权词元组的词汇表。这样的词汇表然后可以被各种文本分析算法利用来提取新的知识,例如,前k个关键字、前k个文档等。前k个关键字被随意地用于各种目的,经常被即时计算,因此必须被有效地计算。为了比较相互竞争的加权方案和数据库实现,通常使用基准测试。据我们所知,目前没有基准解决这些问题。因此,在本文中,我们提出了一个top-k关键字基准测试,T ${}^2$ K ${}^2$,它具有一个真正的鸣叫数据集和各种复杂性和选择性的查询。T ${}^2$ K ${}^2$帮助评估加权方案和数据库实现的计算性能。为了说明T ${}^2$ K ${}^2$的相关性和通用性,我们一方面成功地对TF-IDF和Okapi BM 25加权方案进行了测试,另一方面成功地对不同的关系(Oracle,PostgreSQL)和面向文档(MongoDB)数据库实现进行了测试。
2017-09-14 cs.DB cs.IR
A Formal Definition for Configuration
在关系数据库上进行基于关键字的搜索的技术有很多种,但所有这些技术首先都要将用户查询中的关键字与要查询的数据库元素进行匹配。匹配过程是一项耗时且复杂的任务。因此,提高基于关键字的查询的性能是关系数据源查询的一个关键问题,本文提出了一种基于对称群的关系数据库关键字查询的匹配模型。此外,还详细说明了该方法如何减小搜索空间。
2016-11-10 cs.DB math.CO math.GR
xDBTagger: Explainable Natural Language Interface to Databases Using Keyword Mappings and Schema Graph
University of Waterloo(滑铁卢大学);The Central Bank of the Republic of Türkiye(土耳其共和国中央银行);Bilkent University(比尔肯特大学)
在关系数据库接口中将自然语言查询(NLQ)转换为结构化查询语言(SQL)是一项具有挑战性的任务,已经被来自数据库和自然语言处理社区的研究人员广泛研究。已经提出了许多工作来攻击自然语言数据库接口(NLIDB)问题,无论是传统的基于流水线的解决方案还是基于端到端深度学习的解决方案。然而,无论首选的方法是什么,这种解决方案都表现出黑盒性质,这使得这些系统所针对的潜在用户难以理解为生成翻译后的SQL而做出的决策。为此,我们提出了xDBTagger,一个可解释的混合翻译管道,解释了一路上向用户的文本和视觉的决定。我们还评估xDBTagger在三个现实世界的关系数据库定量。评估结果表明,除了完全可解释,xDBTagger是有效的准确性和翻译查询更有效地相比,其他国家的最先进的基于流水线的系统高达10000倍。
2022-10-07 cs.AI cs.CL cs.DB
Qunits: queried units in database search
针对结构化数据库的关键字搜索已经成为一个流行的研究主题,因为许多用户发现结构化查询太难表达,并且享受可以输入搜索词的"Google式“查询框的自由。解决这一问题的努力面临着一个根本性的困境。数据库查询是基于谓词求值的逻辑,对于给定的查询有一个精确定义的答案集。另一方面,在信息检索方法中,排序查询结果长期以来被认为远优于基于布尔查询评估的结果。因此,当针对数据库尝试关键字查询时,发明了相对特设的排名机制(如果使用排名的话),并且关于如何对查询结果进行排名的大量IR文献中几乎没有利用。我们的建议是在排名和数据库查询之间建立一个明确的分离。这将问题分为两个部分,并允许我们分别解决这些问题。第一个任务是在概念上将数据库表示为独立的“查询单元”或“qunits”的集合,每个单元表示针对数据库的某些查询的期望结果。第二个任务是评估关键字查询对一个集合的qunits,这可以被视为独立的文件查询的目的,从而允许使用标准的IR技术。我们提供的见解,鼓励使用这种查询范式,并讨论初步调查的有效性,基于原型实现的qunits的框架。
2009-09-09 cs.DB cs.IR
Toward a Cognitive Data Model: Exploring a Mind-Inspired Approach to Database Design
本文提出一种受心智启发的认知数据模型(CDM),通过模拟大脑顺序、成对关联的静态数据处理机制,改进数据库设计,解决复杂关系、可扩展性及适应性局限,并展望AI与大数据应用。
2025-03-25 cs.DB
Quasi-SLCA based Keyword Query Processing over Probabilistic XML Data
概率阈值查询是不确定数据库中最常见的查询之一,满足查询的结果必须同时满足概率阈值要求。在本文中,我们研究了概率阈值关键字查询(PrTKQ)在XML数据,这是没有研究过。我们首先引入准SLCA的概念,并使用它来表示结果的PrTKQ考虑可能世界语义。然后,我们设计了一个概率倒置(PI)索引,可以用来快速返回合格的答案,并根据我们提出的上/下限过滤掉不合格的。在此基础上,我们提出了两种有效的算法:基线算法和PI索引算法。为了加速算法的性能,我们还利用概率密度函数。使用真实和合成数据集的实证研究验证了我们的方法的有效性和效率。
2013-01-11 cs.DB
Graph-based keyword search in heterogeneous data sources
数据新闻(Data Journalism)是调查性新闻的一个领域,它关注数字数据,将其视为一等公民。随着人类活动的趋势,留下了强烈的数字痕迹,数据新闻变得越来越重要。然而,随着数据源的数量和多样性的增加,查询应答需要考虑结构不同甚至完全没有结构的异构数据模型。我们与法国领先的报纸《世界报》合作的启发,我们设计了一种新颖的查询算法,通过关键字搜索利用这种异构语料库。我们将底层数据建模为图形,并且给定一组搜索项,我们的算法在图形中包含的异构数据集内和跨异构数据集之间建立链接。我们从结构化和非结构化数据中的关键字搜索的先前工作中汲取灵感,我们扩展了数据异构性维度,这使得关键字搜索问题在计算上更加困难。我们实现我们的算法,我们使用合成和真实世界的数据集来评估其性能。
2021-05-05 cs.DB
DKWS: A Distributed System for Keyword Search on Massive Graphs (Complete Version)
本文提出名为$\DKWS$的新型分布式关键词搜索系统,通过单调性属性保证并行化正确性,结合后向和前向搜索阶段及紧致边界剪枝节点,并引入通知-推送范式与$\PINE$编程模型实现异步交换与抢占式搜索,在真实数据集上比现有技术快两个数量级且通信成本降低7.6倍。
2023-09-09 cs.DB
Knowledge Rich Natural Language Queries over Structured Biological Databases
关键字、自然语言和NoSQL查询正越来越多地用于从传统和非传统数据库(诸如web、文档、图像、GIS、法律和健康数据库)进行信息检索。虽然由于显而易见的原因,它们的受欢迎程度是不可否认的,但它们的工程设计远非简单。在大多数情况下,将通过结构化数据库模式表达的良好理解的自然语言查询映射到结构化查询语言的语义和意图保持映射仍然是一项困难的任务,并且对驯服复杂性的研究是激烈的。在本文中,我们提出了一个多层次的知识为基础的中间件,以促进这种映射,分离的概念层次的物理层次。我们增加了这些多层次的抽象与概念推理和查询策略引擎动态链接任意自然语言查询定义良好的结构化查询。我们证明了我们的方法的可行性,提出了一个基于数据库的原型系统,称为生物智能,可以计算响应任意自然语言查询在任意数据库的自然语言查询的语法分类。
2017-03-30 cs.DB
High speed data retrieval from national data center (ndc) reducing time and ignoring spelling error in search key based on double metaphone algorithm
快速、高效的数据管理是当今社会的一项重要技术。本文提出了一个系统,使目前的手工系统存储和检索大量的孟加拉国公民信息的工作程序自动化,提高其效率。所实现的搜索方法是用户友好的和高效的高速数据检索忽略拼写错误的输入关键字用于搜索特定的公民。在这项研究中,主要关注的是最大限度地减少总的搜索时间为一个给定的关键字。这可以做到,如果我们可以预先建立的想法,得到属于搜索关键字的数据。双隐喻算法为每个单词生成的主要和次要关键代码用于建立关于单词的想法。该算法用于创建原始数据库的映射,通过该映射将关键字与数据进行匹配。
2014-01-10 cs.DB
A Comparative Survey of Recent Natural Language Interfaces for Databases
Zurich University of Applied Sciences(苏黎世应用科学大学);University of Zurich(苏黎世大学)
在过去的几年里,数据库的自然语言接口(NLI)在学术界和工业界都获得了巨大的吸引力。这些系统使用非常不同的方法,如最近的调查文件所述。然而,这些系统还没有系统地比较一套基准问题,以严格评估其功能和表达能力。在本文中,我们给出了一个概述超过24个最近开发的数据库NLI。每个系统都使用一个包含十个样本问题的精选列表进行评估,以显示其优势和劣势。我们将NLI分为四组的基础上,他们使用的方法:关键字,模式,解析,和基于语法的NLI。总的来说,我们了解到基于关键字的系统足以回答简单的问题。为了解决涉及子查询的更复杂的问题,系统需要应用某种解析来识别结构依赖关系。基于语法的系统总体上是最强大的系统,但高度依赖于其手动设计的规则。除了对主要系统进行系统分析外,我们还获得了一些经验教训,这些经验教训对于设计能够回答广泛用户问题的NLI至关重要。
2019-06-21 cs.CL cs.DB cs.LG
Iterative Forgetting: Online Data Stream Regression Using Database-Inspired Adaptive Granulation
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对数据流回归中的低延迟与概念漂移挑战,提出受数据库R*-树启发的自适应粒化与迭代遗忘模型,实现数量级延迟和训练时间改进,同时保持预测精度。
2024-03-14 cs.DB cs.LG
Query Optimization Techniques In Graph Databases
图数据库(GDB)是近年来为克服传统数据库在存储和管理类图数据方面的局限性而出现的。如今,它们代表了许多管理类似图形数据的应用程序(如社交网络)的需求。大多数用于优化图数据库查询的技术已被用于传统的数据库、分布式系统和数据库。或者是从图论中得到的启发。然而,它们在图数据库中的重用应该考虑图数据库的主要特征,例如动态结构、高度互连的数据以及有效访问数据关系的能力。本文综述了图数据库中的查询优化技术。特别是,我们专注于他们引入的功能,以改善查询类图数据。
2016-09-07 cs.DB
From Causes for Database Queries to Repairs and Model-Based Diagnosis and Back
在这项工作中,我们建立和调查数据库中查询答案的因果关系,数据库修复wrt之间的连接。拒绝约束和基于一致性的诊断。前两个是数据库中相对较新的问题,第三个是知识表示中的一个既定主题。我们将展示如何从原因和其他方式获得数据库修复。因果关系问题被表述为诊断问题,诊断提供原因及其责任。关于数据库修复的大量研究可以应用于确定查询答案的实际原因及其责任的新问题。这些连接,这是有趣的本身,使我们能够在过渡后-灵感来自基于一致性的诊断-计算问题的打击集和顶点覆盖超图,获得几个新的算法和复杂性的结果,因果关系在数据库中。
2014-12-14 cs.DB
Search Algorithms for Conceptual Graph Databases
我们考虑由一组概念图组成的数据库。利用概念图和图同态,可以建立一个基于语义搜索的基本查询-应答机制。图同态定义了概念图上的偏序。由于图的同态检验是一个NP完全问题,减少同态检验的次数是数据库组织和管理算法的主要要求。查询是数据库操作问题的基本操作。我们考虑在偏序集合中寻找元素的问题。目标是在最坏的情况下,最小化查找目标元素所需的查询数量。首先,我们分析概念图数据库操作。然后,我们提出了一个新的算法的一个子类格。最后,我们提出了一个一般偏序集的并行搜索算法。关键词概念图,图同态,偏序,格,搜索,数据库。
2012-07-12 cs.DB cs.DM cs.DS
BPI: A Novel Efficient and Reliable Search Structure for Hybrid Storage Blockchain
针对混合存储区块链中链下SP可能遗漏有效查询结果的问题,提出轻量级BPI框架及Articulated Search模式,以低开销支持高效关键词查询、维护与完整性验证,性能优于现有方案。
2025-08-30 cs.DB
What if an SQL Statement Returned a Database?
本文提出用 RESULTDB 关键字扩展 SQL 的 SELECT 子句,使其返回结果数据库而非单表,从而避免连接非规范化,并改善查询性能、结果传输效率及优化器设计。
2023-12-01 cs.DB
A Biologically Inspired Classifier
我们提出了一种方法来测量记录之间的距离的基础上存储在相应的数据库条目中的数据的相关性。原始方法(F. Bagnoli,A. Berrones和F.弗朗西Physica A 332(2004)509-518)是在舆论形成的背景下制定的。对一组主题表达的意见在个人之间形成了一个"知识网络“,其中两个人越接近,他们表达的意见就越相似。假设个人的意见存储在数据库中,作者表明,它是可能的,以预期的意见,使用数据库中的相关性。这相当于用两个人表达的观点的相关性来近似两个人的品味之间的重叠。在本文中,我们将此模型扩展到非线性匹配函数,灵感来自生物学问题,如微阵列(探针样本配对)。我们数值研究的相关性和重叠矩阵之间的误差为8个序列的参考随机探针。结果表明,这种方法是特别强大的检测相似性的易位的存在。
2007-11-16 cs.DB cs.IR
ContextPipe: Database-Inspired Context Assembly for Long-Horizon Agents
MatrixOrigin(矩阵起源);Tsinghua University(清华大学)
ContextPipe将数据库查询执行范式应用于长视距LLM智能体的上下文组装,通过五阶段流水线减少了令牌量、LLM调用次数与响应时间,提升了上下文的可审计性等特性。
2026-09-02 cs.AI cs.DB
Bsmooth: Learning from user feedback to disambiguate query terms in interactive data retrieval
人们对支持不精确查询(例如,关键字搜索或自然语言查询)。为了支持这样的查询,数据库系统通常需要使用其固有可用的任何资源(数据库模式、数据值分布、自然语言模型等)来消除用户指定的查询对数据库的部分的歧义。通常,系统也会有一个可用的用户交互日志,它可以作为一个外部资源,以补充他们的模型基于自己的内在资源。这导致了一个问题,如何最好地结合系统的先验排名与来自用户交互日志的洞察力。统计推断技术,如最大似然或贝叶斯更新从主观先验证明不适用于一个简单的方式,由于可能的噪音,从用户的搜索行为和编码偏见特有的系统的模型。在本文中,我们解决了这样的学习问题,在交互式数据检索,特别关注用户指定的查询条件的类型分类。提出了一种新的贝叶斯平滑算法Bsmooth,该算法具有简单、快速、灵活、准确的特点.我们分析建立了一些理想的属性,并显示,通过实验对一个独立的基准,这样的学习层的增加比标准方法执行得更好。
2017-04-26 cs.DB
SecSkyline: Fast Privacy-Preserving Skyline Queries over Encrypted Cloud Databases
众所周知的云计算的好处刺激了数据库服务外包的流行,人们可以求助于云来方便地存储和查询数据库。随着这种流行趋势的到来,数据隐私受到了威胁,因为云可以访问可能包含敏感信息(如医疗或金融数据)的数据库和查询。已经提出了大量用于查询加密数据库的工作,其中主要集中在安全关键字搜索上。在本文中,我们而是专注于支持安全的天际线查询处理加密外包数据库,在那里做了很少的工作。天际线查询是一种高级数据库查询,对于多准则决策系统和应用程序非常重要。我们提出了SecSkyline,一个新的系统框架,建立在轻量级密码学的快速隐私保护天际线查询。SecSkyline不仅为外包数据库、查询和结果的内容机密性提供了强有力的保护,而且还为可能导致间接数据泄漏的数据模式提供了强有力的保护,例如数据点之间的支配关系和搜索访问模式。大量的实验表明,SecSkyline是大大优于国家的最先进的查询延迟,高达813 $\times$的改善。
2022-11-03 cs.CR cs.DB
Rule Based Metadata Extraction Framework from Academic Articles
科技论文的题名、摘要、关键词或索引词、正文、结论、参考文献等元数据在科技数据库、学术期刊和数字图书馆中对学术数据的收集、管理和存储起着决定性的作用。从科学论文中准确地提取这些类型的数据对于研究人员和图书馆员组织和检索重要的科学信息至关重要。研究社会网络系统和学术数字图书馆系统提供学术数据提取、组织和检索服务。大多数这些类型的服务都不是免费或开源的。它们还存在一些性能问题,并且在可以上传到提取系统的PDF(便携式文档格式)文件数量方面存在提取限制。本文提出了一个完全免费和开源的基于Java的高性能元数据抽取框架。该框架的提取速度比现有的元数据提取系统快9-10倍。它也是灵活的,因为它允许上传无限数量的PDF文件。在该方法中,论文标题提取的布局特征,字体和大小的文本特征。其他元数据字段,如摘要、正文、关键字、结论和参考文献,使用固定的规则集从PDF文件中提取。提取的元数据存储在Oracle数据库和XML(可扩展置标语言)文件中。该框架可用于数字图书馆、在线期刊、在线和离线科学数据库、政府研究机构和研究中心的科学收藏。
2018-07-24 cs.DB cs.IR
Quantum Computing for Databases: Overview and Challenges
本文围绕量子计算与数据库的协同,从量子计算使能技术、受量子计算启发技术两个视角展开综述,梳理相关研究进展,展现领域全貌并提出未来研究路线图。
2024-05-21 cs.DB
TextBenDS: a generic Textual data Benchmark for Distributed Systems
使用加权方案提取top-k关键字和文档是文本挖掘和机器学习中用于不同分析和检索任务的流行技术。权重通常在数据预处理步骤中计算,因为更新和跟踪对数据集执行的所有修改的成本很高。此外,当仅分析数据集的子集时,会引入计算误差。因此,在大数据背景下,降低计算加权方案的运行时间,而不妨碍分析过程和机器学习算法的准确性至关重要。为了解决top-k关键字和文档的任务的这一需求,通常设计基准来比较分布式框架和数据库管理系统的各种配置内的加权方案。因此,我们提出了一个通用的面向文档的基准存储文本数据和构建加权方案(TextBendDS)。我们的基准测试提供了一个通用的数据模型,该模型采用多维方法来存储文本文档。我们还建议使用聚合查询与各种复杂性和选择性的建设长期加权方案,用于提取前k个关键字和文件。我们评估了Apache Hadoop生态系统中几个分布式环境下的查询的计算性能。我们的实验结果提供了有趣的见解。例如,MongoDB被证明具有最佳的整体性能,而Spark的执行时间几乎保持不变,无论权重方案如何。
2021-08-12 cs.DB
Towards a Hybrid Quantum-Classical Computing Framework for Database Optimization Problems in Real Time Setup
University of Southern California(南加州大学)
本文提出了一种实时量子增强型数据库系统,通过结合量子计算与经典数据库技术,提升大规模数据库优化问题的解决效率和质量。
2026-02-15 cs.DB
LifeRaft: Data-Driven, Batch Processing for the Exploration of Scientific Databases
梳理大量数据的工作负载在科学中越来越重要。这些工作负载由“大海捞针”查询组成,这些查询需要长时间运行且数据密集,因此查询吞吐量限制了性能。为了最大限度地提高数据密集型查询的吞吐量,我们提出了LifeRaft:一个查询处理系统,批量查询重叠的数据需求。LifeRaft不是按照到达顺序来调度查询,而是按照最大化查询之间的数据共享的数据排序来并发地执行查询。这减少了I/O并提高了缓存利用率。但是,这种批处理会使交互式工作负载不足,从而增加查询响应时间。LifeRaft使用受磁盘驱动器中磁头调度启发的技术来解决饥饿问题。根据工作负载饱和度和排队时间,系统自适应地和增量地权衡处理查询的到达顺序和数据驱动的批处理。在天文数据库的SkyQuery联邦中评估LifeRaft,发现查询吞吐量有两倍的提高。
2009-09-09 cs.DB
RIOT: I/O-Efficient Numerical Computing without SQL
R是一种数值计算环境,广泛用于统计数据分析。像许多这样的环境一样,R对于大小超过物理内存的大型数据集表现不佳。我们提出了我们的RIOT(R与I/O透明),一个系统,使R程序的I/O效率的方式透明的用户。我们描述我们的经验与RIOT-DB,一个初始的原型,使用关系数据库系统作为后端。尽管通用数据库系统在处理数组数据和数值计算方面存在开销和不足,但RIOT-DB在许多大数据场景中的性能明显优于R,这要归功于一套无缝集成到R中的高级互操作优化。虽然RIOT中的许多技术都受到数据库的启发(对于RIOT-DB来说,是由数据库系统实现的),但RIOT用户与数据库相关的任何东西都是绝缘的。与以前需要用户学习新语言并重写程序以与数据库接口的方法相比,我们相信RIOT将更容易被大多数R用户采用。
2009-09-09 cs.DB
From Causes for Database Queries to Repairs and Model-Based Diagnosis and Back
Carleton University(卡尔顿大学);University of Washington(华盛顿大学)
在这项工作中,我们建立和调查数据库中的查询答案,数据库修复wrt的原因之间的连接。拒绝约束和基于一致性的诊断。前两个是数据库中相对较新的研究领域,第三个是知识表示中的一个既定课题。我们展示了如何从原因中获得数据库修复,以及相反的方法。因果关系问题被表述为诊断问题,诊断提供原因及其责任。关于数据库修复的大量研究可以应用于计算查询答案的实际原因及其责任的新问题。这些连接本身就很有趣,在基于一致性诊断的启发下,我们可以过渡到超图中的碰集和顶点覆盖的计算问题,从而获得数据库因果关系的几个新算法和复杂性结果。
2016-10-23 cs.AI cs.DB cs.LO