Effective Keyword Search in Graphs
在节点标记图中,关键字搜索查找图的子树,其节点包含所有查询关键字。这提供了一种查询图数据库的方法,既不需要掌握查询语言(如SPARQL),也不需要深入了解数据库模式。以前的工作排名答案树使用的组合结构和基于内容的指标,如关键字之间的路径长度或相关性的标签在答案树的查询关键字。我们提出了两种新的方法来排名关键字搜索结果的图形。第一个考虑节点的重要性,而第二个是一个双目标优化的边缘权重和节点的重要性。由于这两个问题都是NP难的,我们提出了贪心算法来解决它们,并在一个真实的数据集上实验验证了它们的有效性和效率。
2016-03-29 cs.DB
Transformer-based Ranking Approaches for Keyword Queries over Relational Databases
针对关系关键词搜索中歧义查询下候选连接网络排序不准确的问题,提出基于transformer的排序方法,通过结构线性化和数据增强提升上下文感知评估能力,实验证明其召回率和R@k显著优于原有贝叶斯方法。
2025-03-24 cs.DB
Meet Cyrus - The Query by Voice Mobile Assistant for the Tutoring and Formative Assessment of SQL Learners
由于是声明性的,SQL更有可能成为仅次于自然语言编程的概念计算的程序设计语言。我们研究使用SQL作为后端的自然语言数据库编程的可能性。与基于关键字的SQL查询不同,关键字依赖和SQL的表结构约束在我们的方法中明显不那么明显。我们提出了一个移动终端语音查询接口,称为赛勒斯,任意关系数据库。Cyrus支持一个大型的查询类,对于一个入门级的数据库类来说已经足够了。Cyrus也是独立于应用程序的,允许测试数据库自适应,并且不限于特定的关键字或自然语言句子结构。它的协作错误报告更直观,与大多数当代移动和语音系统相比,基于iOS的移动平台也更容易访问。
2018-11-09 cs.DB
Bridging the Semantic Gap with SQL Query Logs in Natural Language Interfaces to Databases
构建数据库的自然语言接口(NLIDB)的一个关键挑战是弥合自然语言查询(NLQ)和底层数据之间的语义鸿沟。这个挑战的两个具体表现方式是通过关键字映射和连接路径推理。关键字映射是将原始NLQ中的各个关键字映射到数据库元素(例如关系,属性或值)的任务。这是具有挑战性的,由于在映射用户的心理模型和措辞的模式定义和底层数据库的内容的模糊性。连接路径推断是在最终SQL查询的FROM子句中选择关系和连接条件的过程,并且是困难的,因为NLIDB用户缺乏数据库模式或SQL的知识,因此不能显式地指定构造最终SQL查询所需的中间表和连接。在本文中,我们建议利用数据库的SQL查询日志中的信息来提高现有NLIDBs的性能,以应对这些挑战。我们提出了一个可用于增强现有NLIDB的系统Templar。我们广泛的实验评估表明,我们的方法的有效性,导致高达138%的改善前1的准确性,在现有的NLIDBs利用SQL查询日志信息。
2019-01-31 cs.DB
DBTagger: Multi-Task Learning for Keyword Mapping in NLIDBs Using Bi-Directional Recurrent Neural Networks
Bilkent University(比尔肯大学)
在关系数据库的接口中,将自然语言查询语言(NLQs)转换为结构化查询语言(SQL)是一项具有挑战性的任务,近年来在数据库界得到了广泛的研究。传统的基于规则的系统利用一系列解决方案作为流水线来处理该任务的每个步骤,即停止词过滤、标记化、词干提取/词形化、解析、标记和翻译。最近的工作主要集中在翻译步骤,忽略了早期的步骤,使用特设的解决方案。在流水线中,最关键和最具挑战性的问题之一是关键字映射;在查询中的标记和关系数据库元素(表、属性、值等)之间构建映射。我们将关键字映射问题定义为序列标记问题,并提出了一种新的基于深度学习的监督方法,该方法利用NLQs的POS标签。我们提出的方法,称为\textit{DBTagger}(数据库标记),是一个端到端和模式无关的解决方案,这使得它适用于各种关系数据库。我们在八个不同的数据集上评估了我们的方法,并报告了新的最先进的准确性结果,平均值为$92.4\%$。我们的研究结果还表明,DBTagger是快于它的同行高达$10000$倍,可扩展的更大的数据库。
2021-01-11 cs.CL cs.DB
Text-to-SQL based on Large Language Models and Database Keyword Search
Instituto Tecgraf, PUC-Rio(里约天主教大学 Tecgraf 研究所);Petrobras(巴西石油公司);Departamento de Informática, PUC-Rio(里约天主教大学 信息学系);Departamento de Computação, UFC(塞阿拉联邦大学 计算机科学系)
本文提出一种结合动态少样本示例和数据库关键词搜索平台的策略,将自然语言问题编译为SQL查询,在真实世界数据库上超越现有方法。
2025-01-23 cs.AI cs.DB
An Automatic Identification System (AIS) Database for Maritime Trajectory Prediction and Data Mining
近年来,海上安全和效率在世界范围内变得越来越重要。自动识别系统(AIS)通过船载收发器和地面和/或卫星基站跟踪船舶运动。AIS采集的数据包括广播的运动信息和静态信息。这两种算法对于智能海事研究领域的异常检测和航线预测等关键技术具有重要的应用价值。本文致力于建立一个标准的AIS数据库,用于海上航迹学习、预测和数据采掘。在此AIS数据库上对路径预测算法进行了测试,测试结果表明,该数据库可以作为不同的轨迹预测算法和其他AIS数据采掘算法的标准化训练资源。
2016-10-13 cs.DB
Size-l Object Summaries for Relational Keyword Search
先前提出的关键字搜索范例产生作为查询结果的对象摘要(OS)的排名列表。OS是相关元组的树结构,它汇总了关系数据库中保存的关于特定数据主体(DS)的所有数据。然而,这些OS中的一些在尺寸上非常大,并且因此对于在进行关于特定DS的更全面的信息之前最初偏好天气信息的用户不友好。在本文中,我们研究了有效和高效的检索简洁和信息丰富的操作系统。我们认为,一个好的大小1操作系统应该是一个独立的和有意义的概要的最重要的信息,特定的DS。更确切地说,我们将大小为1的OS定义为由l个重要元组组成的部分OS。我们提出了三种算法的有效生成的大小1操作系统(除了最佳的方法,需要指数时间)。在DBLP和TPC-H数据库上的实验结果验证了该方法的有效性。
2011-11-30 cs.DB
Benchmarking Top-K Keyword and Top-K Document Processing with T${}^2$K${}^2$ and T${}^2$K${}^2$D${}^2$
Top-k关键字和top-k文档抽取是非常流行的文本分析技术。Top-k关键字和文档通常是动态计算的,但它们利用了构建成本高昂的加权词汇表。为了比较相互竞争的加权方案和数据库实现,通常使用基准测试。据我们所知,目前没有基准可以解决这些问题。因此,在本文中,我们提出了T ${}^2$ K ${}^2$,top-k关键字和文档基准,及其面向决策支持的进化T ${}^2$ K ${}^2$ D ${}^2$。这两个基准测试都有一个真实的tweet数据集和具有各种复杂性和选择性的查询。它们有助于评估加权方案和数据库实现的计算性能。为了说明我们的基准测试的相关性和通用性,我们一方面成功地对TF-IDF和Okapi BM 25加权方案进行了性能测试,另一方面对不同的关系型(Oracle,PostgreSQL)和面向文档的(MongoDB)数据库实现进行了性能测试。
2018-04-20 cs.DB cs.IR
Search and Navigation in Relational Databases
我们提出了一个新的应用程序中的关键字搜索关系数据库,它使用了一种新的算法来解决连接发现问题,通过查找Memex样的线索,通过图形的外键依赖关系。它不同于以前的努力,在所使用的算法,在表示机制和在使用主键只有数据库查询在查询时间,以保持快速响应用户。我们提出的例子使用DBLP数据集。
2003-07-31 cs.DB
Efficient Top K Temporal Spatial Keyword Search
在诸如基于位置的服务和社交网络之类的许多新兴应用中,正在以前所未有的规模生成被地理标记并与文本信息相关联的大量数据。由于其重要性,大量的工作集中在有效地计算各种空间关键字查询。在本文中,我们研究的顶部$k$时空关键字查询,考虑在搜索过程中的三个重要的约束条件,包括时间,空间接近度和文本相关性。一种新的索引结构,即SSG树,有效地插入/删除时空Web对象的高速率。基于SSG树,提出了一种支持top-k时空关键字查询的高效算法。我们表明,通过大量的实验与真正的空间数据库,我们的方法提高了性能的替代技术
2018-05-05 cs.DB
T${}^2$K${}^2$: The Twitter Top-K Keywords Benchmark
从文本数据中进行信息检索的重点是构建包含加权词元组的词汇表。这样的词汇表然后可以被各种文本分析算法利用来提取新的知识,例如,前k个关键字、前k个文档等。前k个关键字被随意地用于各种目的,经常被即时计算,因此必须被有效地计算。为了比较相互竞争的加权方案和数据库实现,通常使用基准测试。据我们所知,目前没有基准解决这些问题。因此,在本文中,我们提出了一个top-k关键字基准测试,T ${}^2$ K ${}^2$,它具有一个真正的鸣叫数据集和各种复杂性和选择性的查询。T ${}^2$ K ${}^2$帮助评估加权方案和数据库实现的计算性能。为了说明T ${}^2$ K ${}^2$的相关性和通用性,我们一方面成功地对TF-IDF和Okapi BM 25加权方案进行了测试,另一方面成功地对不同的关系(Oracle,PostgreSQL)和面向文档(MongoDB)数据库实现进行了测试。
2017-09-14 cs.DB cs.IR
A Formal Definition for Configuration
在关系数据库上进行基于关键字的搜索的技术有很多种,但所有这些技术首先都要将用户查询中的关键字与要查询的数据库元素进行匹配。匹配过程是一项耗时且复杂的任务。因此,提高基于关键字的查询的性能是关系数据源查询的一个关键问题,本文提出了一种基于对称群的关系数据库关键字查询的匹配模型。此外,还详细说明了该方法如何减小搜索空间。
2016-11-10 cs.DB math.CO math.GR
The Maximum Trajectory Coverage Query in Spatial Databases
随着支持GPS的移动设备的广泛使用,从Bikely、GPS-wayPoints和Uber等各种来源可以获得前所未有的大量轨迹数据。创新交通服务的兴起和最近自动驾驶汽车的突破将导致轨迹数据和相关应用的持续增长。在新兴平台中支持这些服务将需要在轨迹数据库中进行更有效的查询处理。在本文中,我们提出了两个新的覆盖查询轨迹数据库:(i)k最大化反向范围搜索轨迹(kMaxRounds);和(ii)最大k覆盖范围搜索轨迹(MaxkCovests)。我们提出了一种新的索引结构,轨迹四叉树(TQ-tree),利用四叉树层次化组织轨迹到不同的四叉树节点,然后应用z排序进一步组织轨迹的空间位置内的每个节点。这种结构在修剪轨迹搜索空间方面是非常有效的,这是独立感兴趣的。通过利用TQ树数据结构,我们开发了一个分治的方法来计算轨迹的“服务值”,和最好的第一个策略,探索轨迹使用适当的上限上的服务值,以有效地处理一个kMaxRisk查询。此外,为了解决MaxkCovenant,这是一个non-submodular NP-hard问题,我们提出了一个贪婪的近似,也利用了TQ-树。我们评估我们的算法,通过广泛的实验研究几个真实的数据集,并证明我们的TQ树为基础的算法优于常见的基线两到三个数量级。
2018-04-02 cs.DB
xDBTagger: Explainable Natural Language Interface to Databases Using Keyword Mappings and Schema Graph
University of Waterloo(滑铁卢大学);The Central Bank of the Republic of Türkiye(土耳其共和国中央银行);Bilkent University(比尔肯特大学)
在关系数据库接口中将自然语言查询(NLQ)转换为结构化查询语言(SQL)是一项具有挑战性的任务,已经被来自数据库和自然语言处理社区的研究人员广泛研究。已经提出了许多工作来攻击自然语言数据库接口(NLIDB)问题,无论是传统的基于流水线的解决方案还是基于端到端深度学习的解决方案。然而,无论首选的方法是什么,这种解决方案都表现出黑盒性质,这使得这些系统所针对的潜在用户难以理解为生成翻译后的SQL而做出的决策。为此,我们提出了xDBTagger,一个可解释的混合翻译管道,解释了一路上向用户的文本和视觉的决定。我们还评估xDBTagger在三个现实世界的关系数据库定量。评估结果表明,除了完全可解释,xDBTagger是有效的准确性和翻译查询更有效地相比,其他国家的最先进的基于流水线的系统高达10000倍。
2022-10-07 cs.AI cs.CL cs.DB
TrajectoryDB: A New Database for Agent Trajectories
Harvard University(哈佛大学)
针对AI智能体执行轨迹数据分散且缺乏专用管理的问题,本文提出轨迹应作为独立数据类型,并设计轨迹原生数据库TrajectoryDB,协同优化摄取、存储与查询处理以高效管理分析轨迹。
2026-09-09 cs.DB
Collectively Simplifying Trajectories in a Database: A Query Accuracy Driven Approach
针对现有轨迹简化技术依赖手工误差度量、未充分保障数据可用性的问题,提出查询精度驱动的多智能体强化学习方法,协同集体简化轨迹,在四个真实数据集上性能始终优于基线方案。
2023-12-13 cs.DB
Qunits: queried units in database search
针对结构化数据库的关键字搜索已经成为一个流行的研究主题,因为许多用户发现结构化查询太难表达,并且享受可以输入搜索词的"Google式“查询框的自由。解决这一问题的努力面临着一个根本性的困境。数据库查询是基于谓词求值的逻辑,对于给定的查询有一个精确定义的答案集。另一方面,在信息检索方法中,排序查询结果长期以来被认为远优于基于布尔查询评估的结果。因此,当针对数据库尝试关键字查询时,发明了相对特设的排名机制(如果使用排名的话),并且关于如何对查询结果进行排名的大量IR文献中几乎没有利用。我们的建议是在排名和数据库查询之间建立一个明确的分离。这将问题分为两个部分,并允许我们分别解决这些问题。第一个任务是在概念上将数据库表示为独立的“查询单元”或“qunits”的集合,每个单元表示针对数据库的某些查询的期望结果。第二个任务是评估关键字查询对一个集合的qunits,这可以被视为独立的文件查询的目的,从而允许使用标准的IR技术。我们提供的见解,鼓励使用这种查询范式,并讨论初步调查的有效性,基于原型实现的qunits的框架。
2009-09-09 cs.DB cs.IR
Prediction-based Online Trajectory Compression
最近的时空数据应用,如汽车共享和智能城市,对数据处理系统的可扩展性和及时性提出了新的挑战。轨迹压缩是一种很有前途的时空数据库扩展方法。然而,现有的技术未能解决在线设置,其中轨迹流的压缩版本必须随时间保持。在本文中,我们介绍了ONTRAC,一个新的框架,地图匹配的在线轨迹压缩。使用训练数据来学习用于抑制对轨迹数据库的更新的预测模型。提出了两种预测方案,一种是通过马尔可夫模型预测路段,另一种是结合二次规划和期望最大化预测行程时间。实验表明,即使允许长的更新延迟(4分钟),ONTRAC也优于最先进的离线技术,并实现高达21倍的旅行时间压缩比。此外,我们的方法提高了数据库的可扩展性高达一个数量级。
2016-02-15 cs.DB
Quasi-SLCA based Keyword Query Processing over Probabilistic XML Data
概率阈值查询是不确定数据库中最常见的查询之一,满足查询的结果必须同时满足概率阈值要求。在本文中,我们研究了概率阈值关键字查询(PrTKQ)在XML数据,这是没有研究过。我们首先引入准SLCA的概念,并使用它来表示结果的PrTKQ考虑可能世界语义。然后,我们设计了一个概率倒置(PI)索引,可以用来快速返回合格的答案,并根据我们提出的上/下限过滤掉不合格的。在此基础上,我们提出了两种有效的算法:基线算法和PI索引算法。为了加速算法的性能,我们还利用概率密度函数。使用真实和合成数据集的实证研究验证了我们的方法的有效性和效率。
2013-01-11 cs.DB
Efficient and Private Federated Trajectory Matching
针对联邦轨迹匹配中安全计算效率低的问题,提出基于地理不可区分性的GIST框架,通过新型隐私查询机制实现轨迹过滤,在保障隐私的同时大幅提升速度并降低通信成本。
2023-12-19 cs.DB
DKWS: A Distributed System for Keyword Search on Massive Graphs (Complete Version)
本文提出名为$\DKWS$的新型分布式关键词搜索系统,通过单调性属性保证并行化正确性,结合后向和前向搜索阶段及紧致边界剪枝节点,并引入通知-推送范式与$\PINE$编程模型实现异步交换与抢占式搜索,在真实数据集上比现有技术快两个数量级且通信成本降低7.6倍。
2023-09-09 cs.DB
Trajectory Based Optimal Segment Computation in Road Network Databases
寻找一个新的设施,使设施吸引最大数量的客户的位置是一个具有挑战性的问题。现有的研究要么模型客户静态网站,因此不考虑客户的运动,或者他们专注于理论方面,并没有提供解决方案,经验证明是可扩展的。给定道路网络、一组现有设施和一组客户路线穿越,最优路段查询返回新设施的最优道路网络路段。我们提出了一个实用的框架来计算这个查询,其中每个路线遍历被分配一个分数,该分数根据分数分布模型分布在由路线覆盖的路段之间。查询返回具有最高分数的路段。为了实现低延迟,必须修剪非常大的搜索空间。我们提出了两种算法,采用不同的方法来计算查询。算法AUG使用图增强,和ITE使用迭代道路网络划分。实际数据集的实证研究表明,该算法能够提供高性能的现实环境。
2013-03-10 cs.DB
A Sample-Based Approach to Data Quality Assessment in Spatial Databases with Application to Mobile Trajectory Nearest-Neighbor Search
空间数据在网络和移动制图以及地理信息系统等新技术中发挥着新兴作用。政治、社会和现代人类生活的许多其他方面的重要决策正在使用位置数据做出。许多国家的决策者正在利用空间数据库来收集信息、分析信息和规划未来。事实上,并不是所有的空间数据库都适合这种类型的应用。位置数据与任何其他类型的数据一样,存在不准确、不精确和其他缺陷,可能对基于未经提炼的信息采取的任何行动的可信度产生负面影响。因此,我们需要一种方法来评估空间数据的质量,并将有用的数据与导致弱决策的误导性数据分开。另一方面,空间数据库通常规模巨大,因此使用此类数据会对效率产生负面影响。为了提高使用空间大数据的效率,我们需要一种方法来缩小数据量。抽样是其中一种方法,但它对数据质量的负面影响是不可避免的。在本文中,我们试图显示和评估这种变化的空间数据的质量是抽样的结果。我们使用这种方法来评估在中国的移动用户轨迹相关的采样空间数据的质量,这是在一个著名的空间数据库。结果表明,基于样本的数据质量控制将显着提高查询性能,而不会失去太多的准确性。基于此结果,一些未来的改进指出,这将有助于处理基于位置的查询比以前更快,并在有限的时间内做出更准确的基于位置的决策。
2016-05-14 cs.DB
Discovery of Convoys in Trajectory Databases
随着具有定位能力的移动设备继续激增,捕获移动对象群体的历史移动的所谓轨迹数据库的数据管理变得重要。本文认为查询这样的数据库的车队,车队是一组对象,一起走过了一段时间。更具体地说,本文形式化的概念,车队查询使用密度为基础的概念,以捕捉组的任意范围和形状。关联发现与卡车的吞吐量规划和车辆的拼车中的现实应用相关。虽然有大量的研究文献中的轨迹,这都可以应用到正确检索精确的车队结果集。出于这一动机,我们开发了三个有效的算法,车队发现,采用著名的过滤器细化框架。在过滤步骤中,我们对轨迹应用线简化技术,并建立简化轨迹之间的距离界限。这允许在简化的轨迹上有效地发现车队,而不会错过任何实际的车队。在细化步骤中,候选车队被进一步处理以获得实际车队。我们全面的实证研究提供了深入了解该文件的建议的属性,并表明该建议是有效的和高效的真实世界的轨迹数据。
2010-02-04 cs.CG cs.DB
High speed data retrieval from national data center (ndc) reducing time and ignoring spelling error in search key based on double metaphone algorithm
快速、高效的数据管理是当今社会的一项重要技术。本文提出了一个系统,使目前的手工系统存储和检索大量的孟加拉国公民信息的工作程序自动化,提高其效率。所实现的搜索方法是用户友好的和高效的高速数据检索忽略拼写错误的输入关键字用于搜索特定的公民。在这项研究中,主要关注的是最大限度地减少总的搜索时间为一个给定的关键字。这可以做到,如果我们可以预先建立的想法,得到属于搜索关键字的数据。双隐喻算法为每个单词生成的主要和次要关键代码用于建立关于单词的想法。该算法用于创建原始数据库的映射,通过该映射将关键字与数据进行匹配。
2014-01-10 cs.DB
Technical Report: Parallel Distance Threshold Query Processing for Spatiotemporal Trajectory Databases on the GPU
处理移动对象的轨迹出现在许多应用领域,并已解决了从业者在时空数据库和地理信息系统社区。在这项工作中,我们专注于一个轨迹相似性搜索,距离阈值查询,它发现在给定的距离d内的搜索轨迹在一个时间间隔内的所有轨迹。我们展示了一个多线程实现的性能,其特点是使用一个R-树索引,并具有很高的并行效率(78%-90%)。我们介绍了一个GPGPU的实现,它避免了使用索引树,而是具有GPU友好的索引方法。我们比较多线程和GPU实现的性能,并表明,可以使用后者获得的加速比。我们提出了两类算法,SetSplit和GreedySetSplit,以创建高效的查询批次,减少内存压力和GPU上的计算成本。然而,我们发现使用固定大小的批次在实践中是足够有效的。我们开发了一个经验的性能模型,我们的GPGPU实现,可用于预测的响应时间的距离阈值查询。这个模型可以用来选择一个好的查询批量大小。
2014-09-13 cs.DB cs.DC
Inferring Uncertain Trajectories from Partial Observations
全球定位系统设备的爆炸式增长带来了丰富的轨迹数据。然而,实际上,这些轨迹中的大多数是以低采样率收集的,并且仅提供关于其实际穿过的路线的部分观测。因此,他们陷入了不确定性。在本文中,我们开发了一种称为InferTra的技术,从网络约束的部分观测中推断不确定的轨迹。而不是预测最可能的路线,推断的不确定轨迹采取边加权图的形式,并以整体的方式总结所有可能的路线。对于轨迹推断,InferTra通过从历史轨迹数据库中学习网络移动性模型(NMM)来采用吉布斯采样。在真实轨迹数据库上进行的大量实验表明,InferTra基于图形的方法比最先进的技术准确率高出50%,速度快20倍,并且功能更加广泛。
2016-03-24 cs.DB
A Comparative Survey of Recent Natural Language Interfaces for Databases
Zurich University of Applied Sciences(苏黎世应用科学大学);University of Zurich(苏黎世大学)
在过去的几年里,数据库的自然语言接口(NLI)在学术界和工业界都获得了巨大的吸引力。这些系统使用非常不同的方法,如最近的调查文件所述。然而,这些系统还没有系统地比较一套基准问题,以严格评估其功能和表达能力。在本文中,我们给出了一个概述超过24个最近开发的数据库NLI。每个系统都使用一个包含十个样本问题的精选列表进行评估,以显示其优势和劣势。我们将NLI分为四组的基础上,他们使用的方法:关键字,模式,解析,和基于语法的NLI。总的来说,我们了解到基于关键字的系统足以回答简单的问题。为了解决涉及子查询的更复杂的问题,系统需要应用某种解析来识别结构依赖关系。基于语法的系统总体上是最强大的系统,但高度依赖于其手动设计的规则。除了对主要系统进行系统分析外,我们还获得了一些经验教训,这些经验教训对于设计能够回答广泛用户问题的NLI至关重要。
2019-06-21 cs.CL cs.DB cs.LG
TCSR-SQL: Towards Table Content-aware Text-to-SQL with Self-retrieval
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Inspur Cloud Information Technology Co. Ltd(浪潮云信息技术有限公司);Peng Cheng Laboratory(鹏城实验室);Guangdong Power Grid Co. Ltd(广东电网有限责任公司);University of Macau(澳门大学)
TCSR-SQL通过LLM上下文学习提取问题中的数据内容关键词,推断相关数据库模式并生成种子SQL进行模糊搜索,结合编码知识表和多轮生成-执行-修订过程生成精确SQL,在包含2115个问题-SQL对的表格内容感知基准上执行准确率至少提升27.8%。
2025-11-06 cs.DB
Search Algorithms for Conceptual Graph Databases
我们考虑由一组概念图组成的数据库。利用概念图和图同态,可以建立一个基于语义搜索的基本查询-应答机制。图同态定义了概念图上的偏序。由于图的同态检验是一个NP完全问题,减少同态检验的次数是数据库组织和管理算法的主要要求。查询是数据库操作问题的基本操作。我们考虑在偏序集合中寻找元素的问题。目标是在最坏的情况下,最小化查找目标元素所需的查询数量。首先,我们分析概念图数据库操作。然后,我们提出了一个新的算法的一个子类格。最后,我们提出了一个一般偏序集的并行搜索算法。关键词概念图,图同态,偏序,格,搜索,数据库。
2012-07-12 cs.DB cs.DM cs.DS
BPI: A Novel Efficient and Reliable Search Structure for Hybrid Storage Blockchain
针对混合存储区块链中链下SP可能遗漏有效查询结果的问题,提出轻量级BPI框架及Articulated Search模式,以低开销支持高效关键词查询、维护与完整性验证,性能优于现有方案。
2025-08-30 cs.DB
VecLSTM: Trajectory Data Processing and Management for Activity Recognition through LSTM Vectorization and Database Integration
University of Washington(华盛顿大学)
本文提出VecLSTM框架,通过向量化层优化LSTM处理效率并集成到MySQL中,在146万余条轨迹样本上取得85.47%测试准确率,训练时间减少26.2%。
2024-09-28 cs.AI cs.DB cs.LG
Probabilistic Nearest Neighbor Queries on Uncertain Moving Object Trajectories
轨迹数据库中的最近邻查询由于在时空数据分析中的应用而受到广泛关注。最近的工作已经考虑了现实的情况下,轨迹是不确定的,但是,只有简单的不确定性模型已经提出,这不允许准确的概率搜索。在本文中,我们填补了这一空白,解决数据库中的概率最近邻查询与不确定的轨迹建模的随机过程,特别是马尔可夫链模型。我们研究了三个最近邻查询语义,作为输入的查询状态或轨迹$q$和时间间隔。对于某些查询,我们表明,没有多项式时间的解决方案可以找到。对于可以解决的问题,在PTIME,我们提出了精确的查询评估算法,而对于一般情况下,我们提出了一个复杂的采样方法,它使用贝叶斯推理,以保证采样轨迹符合数据库中存储的观测数据。这种采样方法可以用于基于Monte-Carlo的近似解。我们包括一个广泛的实验研究,以支持我们的理论结果。
2014-01-20 cs.DB
Bsmooth: Learning from user feedback to disambiguate query terms in interactive data retrieval
人们对支持不精确查询(例如,关键字搜索或自然语言查询)。为了支持这样的查询,数据库系统通常需要使用其固有可用的任何资源(数据库模式、数据值分布、自然语言模型等)来消除用户指定的查询对数据库的部分的歧义。通常,系统也会有一个可用的用户交互日志,它可以作为一个外部资源,以补充他们的模型基于自己的内在资源。这导致了一个问题,如何最好地结合系统的先验排名与来自用户交互日志的洞察力。统计推断技术,如最大似然或贝叶斯更新从主观先验证明不适用于一个简单的方式,由于可能的噪音,从用户的搜索行为和编码偏见特有的系统的模型。在本文中,我们解决了这样的学习问题,在交互式数据检索,特别关注用户指定的查询条件的类型分类。提出了一种新的贝叶斯平滑算法Bsmooth,该算法具有简单、快速、灵活、准确的特点.我们分析建立了一些理想的属性,并显示,通过实验对一个独立的基准,这样的学习层的增加比标准方法执行得更好。
2017-04-26 cs.DB
SecSkyline: Fast Privacy-Preserving Skyline Queries over Encrypted Cloud Databases
众所周知的云计算的好处刺激了数据库服务外包的流行,人们可以求助于云来方便地存储和查询数据库。随着这种流行趋势的到来,数据隐私受到了威胁,因为云可以访问可能包含敏感信息(如医疗或金融数据)的数据库和查询。已经提出了大量用于查询加密数据库的工作,其中主要集中在安全关键字搜索上。在本文中,我们而是专注于支持安全的天际线查询处理加密外包数据库,在那里做了很少的工作。天际线查询是一种高级数据库查询,对于多准则决策系统和应用程序非常重要。我们提出了SecSkyline,一个新的系统框架,建立在轻量级密码学的快速隐私保护天际线查询。SecSkyline不仅为外包数据库、查询和结果的内容机密性提供了强有力的保护,而且还为可能导致间接数据泄漏的数据模式提供了强有力的保护,例如数据点之间的支配关系和搜索访问模式。大量的实验表明,SecSkyline是大大优于国家的最先进的查询延迟,高达813 $\times$的改善。
2022-11-03 cs.CR cs.DB
Rule Based Metadata Extraction Framework from Academic Articles
科技论文的题名、摘要、关键词或索引词、正文、结论、参考文献等元数据在科技数据库、学术期刊和数字图书馆中对学术数据的收集、管理和存储起着决定性的作用。从科学论文中准确地提取这些类型的数据对于研究人员和图书馆员组织和检索重要的科学信息至关重要。研究社会网络系统和学术数字图书馆系统提供学术数据提取、组织和检索服务。大多数这些类型的服务都不是免费或开源的。它们还存在一些性能问题,并且在可以上传到提取系统的PDF(便携式文档格式)文件数量方面存在提取限制。本文提出了一个完全免费和开源的基于Java的高性能元数据抽取框架。该框架的提取速度比现有的元数据提取系统快9-10倍。它也是灵活的,因为它允许上传无限数量的PDF文件。在该方法中,论文标题提取的布局特征,字体和大小的文本特征。其他元数据字段,如摘要、正文、关键字、结论和参考文献,使用固定的规则集从PDF文件中提取。提取的元数据存储在Oracle数据库和XML(可扩展置标语言)文件中。该框架可用于数字图书馆、在线期刊、在线和离线科学数据库、政府研究机构和研究中心的科学收藏。
2018-07-24 cs.DB cs.IR
TextBenDS: a generic Textual data Benchmark for Distributed Systems
使用加权方案提取top-k关键字和文档是文本挖掘和机器学习中用于不同分析和检索任务的流行技术。权重通常在数据预处理步骤中计算,因为更新和跟踪对数据集执行的所有修改的成本很高。此外,当仅分析数据集的子集时,会引入计算误差。因此,在大数据背景下,降低计算加权方案的运行时间,而不妨碍分析过程和机器学习算法的准确性至关重要。为了解决top-k关键字和文档的任务的这一需求,通常设计基准来比较分布式框架和数据库管理系统的各种配置内的加权方案。因此,我们提出了一个通用的面向文档的基准存储文本数据和构建加权方案(TextBendDS)。我们的基准测试提供了一个通用的数据模型,该模型采用多维方法来存储文本文档。我们还建议使用聚合查询与各种复杂性和选择性的建设长期加权方案,用于提取前k个关键字和文件。我们评估了Apache Hadoop生态系统中几个分布式环境下的查询的计算性能。我们的实验结果提供了有趣的见解。例如,MongoDB被证明具有最佳的整体性能,而Spark的执行时间几乎保持不变,无论权重方案如何。
2021-08-12 cs.DB
TraHist: Fast and Accurate Cardinality Estimation for Trajectory Data (Extended Version)
Korea University(高丽大学);Curtin University(科廷大学)
针对轨迹数据基数估计中传统直方图因未考虑时空依赖导致高估的问题,提出TraHist方法,构建密度自适应矩形桶,大幅降低估计误差,同时保持高效查询与构建性能。
2026-10-16 cs.DB
Evaluating the Impact Of Spatial Features Of Mobility Data and Index Choice On Database Performance
TU Berlin(柏林工业大学)
本文通过 PostGIS 基准测试结合真实与合成数据,系统评估索引、数据格式及空间重叠和偏斜特征对读写性能的联合影响。
2025-10-21 cs.DB cs.DC
Is Agent Memory a Database? Rethinking Data Foundations for Long-Term AI Agent Memory
Concordia University(康科迪亚大学)
本文提出将长期AI智能体记忆视为一种新的数据管理工作负载,通过形式化治理演化记忆(GEM)框架,用四个状态级操作替代记录级操作,并论证记录级系统无法满足其正确性条件,最后通过原型MemState验证可行性并指出未来研究方向。
2026-05-25 cs.AI cs.DB