A Comprehensive Survey on Vector Database: Storage and Retrieval Technique, Challenge
Sichuan University(四川大学);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Science Library (Chengdu), Chinese Academy of Sciences(中国科学院成都科学图书馆);University of Chinese Academy of Sciences(中国科学院大学);Portland State University(波特兰州立大学);Great Bay University(大湾大学);Terminus Group(Terminus集团);University of Kansas(堪萨斯大学);University of Macau(澳门大学);Arizona State University(亚利桑那州立大学)
本文综述了向量数据库的核心设计与算法,分析了存储与检索技术的演变,比较了主流架构并探讨了与大语言模型整合的新兴方向,为研究者提供系统参考。
2026-03-24 cs.AI cs.DB
Game Theory Meets Large Language Models: A Systematic Survey with Taxonomy and New Frontiers
CFCS, School of Computer Science, Peking University(计算机科学系,北京大学);School of Business, Jiangnan University(商学院,江南大学);Microsoft Research Asia(微软亚洲研究院)
本综述首次系统梳理博弈论与大型语言模型的双向关系,提出四视角分类法,涵盖评估、改进、竞争建模及问题求解,并指出未来方向。
2025-08-05 cs.AI cs.GT cs.LG
Large Language Models Meet Virtual Cell: A Survey
Imperial College London(伦敦帝国理工学院);University College London(伦敦大学学院);New Jersey Institute of Technology(新泽西理工学院);University of Cambridge(剑桥大学);King’s College London(伦敦国王学院);Royal Brompton Hospital(皇家布隆特医院)
本综述提出统一分类法,将大语言模型用于虚拟细胞建模的方法分为预言机和智能体两种范式,并系统梳理了细胞表示、扰动预测和基因调控推断三大核心任务及其挑战。
2025-10-09 cs.CE cs.CL cs.LG
Survey: Multi-Armed Bandits Meet Large Language Models
IBM Research(IBM研究院);Orange Lab(Orange实验室)
本文综述多臂老虎机与大语言模型的双向融合,梳理老虎机用于优化微调、提示和响应生成,以及 LLM 增强上下文决策的方法、挑战与机遇。
2025-09-30 cs.AI
Trajectory Prediction Meets Large Language Models: A Survey
Department of Electrical and Computer Engineering, Northeastern University(电气与计算机工程系,东北大学)
本综述系统梳理了大型语言模型在轨迹预测中的五大应用方向,涵盖语言建模、场景理解、数据生成与推理可解释性,旨在统一视角并指明开放挑战。
2025-10-07 cs.CL cs.CV
A Survey of Graph Meets Large Language Model: Progress and Future Directions
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
本文综述了大语言模型(LLMs)在图相关任务中的应用,提出了基于LLMs角色(增强器、预测器、对齐组件)的新分类法,系统调研了现有方法,并讨论了局限性与未来研究方向。
2024-04-24 cs.CL cs.LG cs.SI
Telephone Surveys Meet Conversational AI: Evaluating a LLM-Based Telephone Survey System at Scale
Decibels Inc.(60分贝公司);University of Oxford(牛津大学)
本研究提出并大规模评估了一个集成TTS、LLM和STT的人工智能电话调查系统,在美国和秘鲁的测试表明其数据质量在结构化项目上接近人工访员,并支持无需培训访员的快速部署。
2025-03-12 cs.CL cs.HC
Large Language Models Meet Computer Vision: A Brief Survey
Tahakom(塔哈科姆)
本文综述了大型语言模型与计算机视觉的交叉研究,分析了Transformer及视觉Transformer的演进,比较了主流付费与开源LLM的性能,梳理了用于视觉任务的方法和训练数据集,并指出了未来研究方向。
2023-11-28 cs.AI cs.CV
A Survey of Large Language Model-Based Generative AI for Text-to-SQL: Benchmarks, Applications, Use Cases, and Challenges
Cleveland State University(克利夫兰州立大学);The Davey Tree Expert Company(戴维树专家公司);The MathWorks(MathWorks公司);Khoury College of Computer Science, Roux Institute at Northeastern University(东北大学鲁克斯研究所科里计算机科学学院)
本文综述了基于大语言模型的文本到SQL系统,涵盖基准、应用与挑战,并提出支持NoSQL和动态交互的未来研究方向。
2025-01-23 cs.AI cs.DB
A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice
Peking University(北京大学);Beijing Institute of Technology(北京理工大学)
本文从定义与理论视角系统综述了大语言模型不确定性估计方法,整合贝叶斯推断、信息论和集成策略进行分类,并探讨其在分布外检测等应用中的挑战与前景。
2024-10-20 cs.CL
Large Language Models Meet NL2Code: A Survey
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院);Shandong Normal University(山东师范大学)
该综述调研了27个用于NL2Code的大型语言模型,比较了基准与指标,指出成功关键为“大规模、优质数据、专家调优”,并讨论了挑战与机遇。
2023-05-08 cs.AI cs.CL cs.PL
LLMs Meet Multimodal Generation and Editing: A Survey
The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室)
本文系统综述了大语言模型在多模态生成与编辑中的方法分类、技术组件、数据集、工具增强智能体及安全进展,为AIGC和世界模型发展提供全景式参考。
2024-06-09 cs.AI cs.CL cs.CV
BERT Meets Relational DB: Contextual Representations of Relational Databases
Indian Institute of Technology, Delhi(德里印度理工学院)
在本文中,我们解决的问题,学习低维表示的实体在关系数据库组成的多个表。嵌入有助于捕获数据库中编码的语义,并可用于各种设置,如表的自动完成,关系连接查询的全神经查询处理,无缝处理缺失值等。目前的工作仅限于使用单个表,或者在外部语料库上使用预训练的嵌入,这使得它们不适合在现实世界的数据库中使用。在这项工作中,我们研究如何使用这些基于注意力的模型来学习嵌入的实体在关系数据库。我们的灵感来自于BERT风格的预训练方法,并有兴趣观察它们如何在结构化数据库上扩展为表示学习。我们评估我们的方法的自动完成的关系数据库,并实现了改进的标准基线。
2021-04-30 cs.CL cs.DB cs.LG
Multimodal Large Language Models Meet Multimodal Emotion Recognition and Reasoning: A Survey
Central South University of Forestry and Technology(林业科技大学);State University of New York(纽约州立大学)
本文综述LLMs与MLLMs在多模态情感识别和推理中的应用,梳理模型架构、数据集与基准,并指出挑战和未来方向。
2025-09-29 cs.CL
Large Language Models Meet Text-Centric Multimodal Sentiment Analysis: A Survey
Harbin Institute of Technology(哈尔滨工业大学);Chinese Academy of Sciences(中国科学院)
本综述围绕以文本为中心的多模态情感分析,回顾相关研究进展,考察大语言模型(LLMs)在该任务中的潜力、方法、优劣势,总结应用场景并探讨未来挑战与研究方向。
2024-08-16 cs.CL
A Survey of Optimization Modeling Meets LLMs: Progress and Future Directions
The State Key Laboratory of Blockchain and Data Security, Zhejiang University(区块链与数据安全国家重点实验室,浙江大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);School of Business, Singapore University of Social Sciences(新加坡国立大学商学院);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院)
本综述回顾了LLM在优化建模技术栈中的最新进展,分析了基准数据集的高错误率并构建了公平评估的新排行榜,同时指出了当前局限与未来方向。
2025-08-12 cs.AI
Symbolic Querying of Vector Spaces: Probabilistic Databases Meets Relational Embeddings
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提出了统一的技术,从概率数据库和关系嵌入模型的目标执行复杂的查询不完整和不确定的数据。我们形式化的概率数据库模型,所有的查询。这使我们能够利用来自概率数据库的丰富的理论和算法文献来解决问题。虽然这种形式化可以与任何关系嵌入模型一起使用,但缺乏定义良好的联合概率分布会导致简单的查询问题变得难以证明。考虑到这一点,我们引入\TO,一个关系嵌入模型,旨在成为一个易于处理的概率数据库,利用典型的嵌入假设的概率框架。使用一个原则,高效的推理算法,可以从它的定义,我们经验证明,\TOs是一个有效的和一般的模型,这些查询任务。
2020-06-27 cs.AI cs.DB
Transformers Meet Relational Databases
Department of Computer Science, Czech Technical University in Prague(计算机科学系,布拉格捷克技术大学)
针对 Transformer 难以处理关系数据库的问题,本文提出遵循关系模型的模块化神经消息传递方案,支持从数据库存储端到端学习,并在广泛数据集上验证其性能优于多个相关领域的代表性模型。
2024-12-06 cs.DB cs.LG
Computational Social Choice Meets Databases
Technion(以色列理工学院);UC Santa Cruz(加州大学圣克鲁兹分校);IBM Research-Almaden(IBM阿尔马登研究中心);Drexel University(德雷塞尔大学)
我们开发了一个新的框架,旨在建立计算社会选择和数据库管理社区之间的桥梁。该框架丰富了目前支持的任务与关系数据库上下文的计算社会选择,从而有可能制定复杂的查询投票规则,候选人,选民,问题和立场。在概念层面上,我们给出了严格的语义查询在这个框架中,通过引入必要的答案和可能的答案查询的概念。在技术层面上,我们开始调查的计算复杂性的必要答案。我们建立了一些结果的复杂性的必要答案的合取查询涉及位置评分规则,形成鲜明对比,与早期的结果的复杂性的必要赢家。
2018-05-10 cs.AI cs.DB
OpenGeoBase: Information Centric Networking meets Spatial Database applications - Extended Version
本文探讨了使用信息中心网络(ICN)实现分布式空间数据库的方法,优势和挑战。我们的研究结果表明,ICN功能完全符合数据库的要求:按名称路由可用于调度查询和插入,网络内缓存可加速查询,以数据为中心的安全性可实现安全的多租户。我们提出了一个基于ICN的分布式空间数据库,命名为OpenGeoBase,并描述其设计选择。得益于ICN,OpenGeoBase可以快速高效地向数据库用户提供信息;轻松地以分布式方式运行,并行部署和使用多个数据库引擎;保护每一条内容;自然地切片资源,以便多个租户和用户可以同时独立地使用数据库。我们还展示了如何OpenGeoBase可以支持一个真实世界的智能交通系统的应用程序,使地理参考公共交通信息的发现。
2016-11-19 cs.DB cs.NI
When Private Blockchain Meets Deterministic Database
私有区块链作为一种复制的交易系统,与分布式数据库有许多共同点。然而,私有区块链和确定性数据库之间的亲密关系从未被研究过。从本质上讲,私有区块链和确定性数据库都通过确定性来确保副本的一致性。在本文中,我们提出了一个全面的分析,以揭示私有区块链和确定性数据库之间的联系。虽然私有区块链最近开始追求确定性交易执行,但确定性数据库已经研究确定性并发控制协议近十年了。这促使我们提出Harmony,一种为区块链设计的新型确定性并发控制协议。我们使用Harmony构建了一个新的关系型区块链,即HarmonyBC,它具有低中止率,热点弹性和块间并行性,所有这些对于面向磁盘的区块链都特别重要。在Smallbank、YCSB和TPC-C上的实证结果表明,HarmonyBC的吞吐量比最先进的私有区块链高出2.0倍至3.5倍。
2022-11-28 cs.DB
Where the Rubber Meets the Sky: Bridging the Gap between Databases and Science
所有领域的科学家都面临着数据雪崩--无论是来自更好的仪器还是来自改进的模拟。我们相信,计算机科学工具和计算机科学家能够通过构建工具和开发技术来管理、分析和可视化千万亿次科学信息,从而帮助所有科学。本文总结了我们在过去七年中的经验,试图弥合数据库技术和天文学界在建造万维望远镜方面的需求之间的差距。
2005-02-02 cs.CE cs.DB
Database Meets Deep Learning: Challenges and Opportunities
National University of Singapore(新加坡国立大学);Beijing Institute of Technology(北京理工大学);Zhejiang University(浙江大学);University of Michigan(密歇根大学)
深度学习最近变得非常流行,因为它在许多复杂的数据驱动应用中取得了令人难以置信的成功,例如图像分类和语音识别。数据库社区已经在数据驱动应用程序上工作了很多年,因此应该在支持这一新浪潮中发挥主导作用。然而,数据库和深度学习在技术和应用方面都是不同的。在本文中,我们讨论的研究问题,在这两个领域的交叉点。特别是,我们从数据库的角度讨论了深度学习系统的可能改进,并分析了可能受益于深度学习技术的数据库应用程序。
2020-01-19 cs.DB cs.DC cs.LG
Neural Graph Reasoning: Complex Logical Query Answering Meets Graph Databases
Stanford University(斯坦福大学);Intel AI Lab(英特尔人工智能实验室);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
复杂逻辑查询应答(CLQA)是最近出现的图机器学习任务,其超越了简单的单跳链接预测,并且解决了在潜在空间中的大量潜在不完整图上的多跳逻辑推理的复杂得多的任务。该任务在社区中获得了巨大的吸引力;许多作品沿着理论和实践轴线扩展了该领域,以使用高效的系统来处理不同类型的复杂查询和图形模式。在本文中,我们提供了一个全面的调查CLQA从多个角度研究该领域的详细分类,包括图形类型(模态,推理域,背景语义),建模方面(编码器,处理器,解码器),支持的查询(运营商,模式,投影变量),数据集,评估指标和应用程序。细化CLQA任务,我们引入神经图数据库(NGDB)的概念。NGDB扩展了图数据库(图数据库)的概念,由神经图存储和神经图引擎组成。在神经图存储中,我们设计了一个图存储,一个特征存储,并使用编码器在潜在嵌入存储中进一步嵌入信息。给定一个查询,神经查询引擎学习如何执行查询规划和执行,以便通过与神经图存储交互来有效地检索正确的结果。与传统的图数据库相比,NGDB允许使用嵌入存储灵活和统一地建模不同模态的特征。此外,当图不完整时,它们可以提供正常图DB无法恢复的答案的鲁棒检索。最后指出了NGDB未来的研究方向、有待解决的问题和应用前景。
2023-03-26 cs.AI cs.DB cs.LG
Meet Cyrus - The Query by Voice Mobile Assistant for the Tutoring and Formative Assessment of SQL Learners
由于是声明性的,SQL更有可能成为仅次于自然语言编程的概念计算的程序设计语言。我们研究使用SQL作为后端的自然语言数据库编程的可能性。与基于关键字的SQL查询不同,关键字依赖和SQL的表结构约束在我们的方法中明显不那么明显。我们提出了一个移动终端语音查询接口,称为赛勒斯,任意关系数据库。Cyrus支持一个大型的查询类,对于一个入门级的数据库类来说已经足够了。Cyrus也是独立于应用程序的,允许测试数据库自适应,并且不限于特定的关键字或自然语言句子结构。它的协作错误报告更直观,与大多数当代移动和语音系统相比,基于iOS的移动平台也更容易访问。
2018-11-09 cs.DB
A Comparative Survey of Recent Natural Language Interfaces for Databases
Zurich University of Applied Sciences(苏黎世应用科学大学);University of Zurich(苏黎世大学)
在过去的几年里,数据库的自然语言接口(NLI)在学术界和工业界都获得了巨大的吸引力。这些系统使用非常不同的方法,如最近的调查文件所述。然而,这些系统还没有系统地比较一套基准问题,以严格评估其功能和表达能力。在本文中,我们给出了一个概述超过24个最近开发的数据库NLI。每个系统都使用一个包含十个样本问题的精选列表进行评估,以显示其优势和劣势。我们将NLI分为四组的基础上,他们使用的方法:关键字,模式,解析,和基于语法的NLI。总的来说,我们了解到基于关键字的系统足以回答简单的问题。为了解决涉及子查询的更复杂的问题,系统需要应用某种解析来识别结构依赖关系。基于语法的系统总体上是最强大的系统,但高度依赖于其手动设计的规则。除了对主要系统进行系统分析外,我们还获得了一些经验教训,这些经验教训对于设计能够回答广泛用户问题的NLI至关重要。
2019-06-21 cs.CL cs.DB cs.LG
NEURON: Query Optimization Meets Natural Language Processing For Augmenting Database Education
关系数据库管理系统(RDBMS)是世界上许多大学的计算机科学课程的一部分。该课程的核心组成部分是关系数据库管理系统中查询优化器的设计和实现。查询优化器的目标是自动识别执行用户提交的声明性SQL查询的最有效执行策略。查询优化过程产生表示查询的执行策略的查询执行计划(QEP)。由于底层查询优化器的复杂性,理解QEP要求学生了解与RDBMS相关的特定于实现的问题。实际上,这是一个不切实际的假设,因为大多数学生都是第一次学习数据库技术。因此,他们通常很难通过仔细阅读QEP来理解DBMS所承担的查询执行策略,从而阻碍了他们的学习过程。在这个演示中,我们提出了一个新的系统,称为神经元,促进自然语言与QEP互动,以提高其理解。NEURON接受SQL查询(可能包括连接、聚合、嵌套等)作为输入,执行它,并生成底层RDBMS部署的执行策略的简化的基于自然语言的描述(文本和语音形式)。此外,它通过基于自然语言的问答框架促进了对与QEP相关的各种特征的理解。我们主张,这样的工具,世界上第一个,可以大大提高学生的学习查询优化的主题。
2018-08-21 cs.DB
A survey on data and transaction management in mobile databases
移动数据库的普及日益增加,因为人们需要的信息,即使在移动中的快速变化的世界。这种数据库技术允许员工使用移动设备连接到他们的公司网络,存储所需的数据,在断开连接的模式下工作,并重新连接到网络以与公司数据库同步。在这种情况下,数据被移动到更接近应用程序的位置,以提高性能和自主性。这就引出了移动数据库研究中的许多有趣的问题,移动数据库已经成为众多研究者的一片沃土。本文对2000年以来移动数据库中的数据和事务管理进行了调查。该调查的重点是对移动数据库和移动事务模型中使用的各种类型的体系结构的完整研究。它还解决了数据管理问题,即复制和缓存策略以及事务管理功能,如并发控制和提交协议、同步、查询处理、恢复和安全。它还提供移动数据库中的研究方向。
2012-11-23 cs.DB
Red Spider Meets a Rainworm: Conjunctive Query Finite Determinacy Is Undecidable
解决了数据库理论中一个著名的、长期存在的公开问题,证明了合取查询有限确定性问题是不可判定的。我们使用的技术建立在我们的红蜘蛛方法的基础上,我们在论文[GM 15]中开发了该方法,以显示在“无限制情况”下同一问题的不可判定性-当数据库实例被允许为无限时。最后,我们还证明了一个具体的例子$Q_0$,${\cal Q}= \{Q_1, Q_2, \ldots Q_k\}$,使得CQ的集合$\cal Q$不确定CQ $Q_0$,但CQ确定它。最后,我们声称,虽然$Q_0$是由$\cal Q$确定的,但关于$\cal Q$,没有$Q_0$的FO-重写,我们概述了这一说法的证明
2015-12-05 cs.DB
Graph Neural Networks for Databases: A Survey
Hunan Univerisity(湖南大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tsinghua University(清华大学);University of Connecticut(康涅狄格大学)
本文综述 GNN 在数据库系统中的应用,按关系数据库与图数据库提出分类框架,梳理关键方法、任务与实践意义,并展望未来集成方向。
2025-02-19 cs.AI cs.DB
Natural Language Interfaces for Spatial and Temporal Databases: A Comprehensive Overview of Methods, Taxonomy, and Future Directions
Department of Computer Science, Marquette University, Milwaukee, Wisconsin, USA(计算机科学系,马凯特大学,密尔沃基,威斯康星州,美国)
本文综述了空间和时间数据库的自然语言接口研究,分析了现有方法的分类、数据集和评估指标,并指出现有研究中的趋势、差异和开放挑战,为未来研究方向提供指导。
2026-03-24 cs.AI cs.CL cs.DB
Towards Enhancing Database Education: Natural Language Generation Meets Query Execution Plans
数据库系统课程是许多主要大学的本科计算机科学学位课程的一部分。学习此类课程的学习者的一个关键学习目标是了解在实践中如何在RDBMS中处理SQL查询。由于查询执行计划(QEP)描述了查询的执行步骤,学习者可以通过阅读RDBMS生成的QEP来获得理解。不幸的是,在实践中,学习者往往难以理解这些包含特定于供应商的实现细节的QEP,这阻碍了她的学习过程。在本文中,我们提出了一种新颖的,端到端的,通用的系统称为灯笼,产生一个自然语言描述的qep,以促进理解的查询执行步骤。它接受SQL查询及其QEP作为输入,并生成底层RDBMS部署的执行策略的自然语言描述。具体来说,它部署了一个声明性的框架称为池,使主题专家有效地创建和维护自然语言描述的物理操作员中使用的QEP。提出了一个基于规则的框架RULE-LANTERN,利用池生成QEP的自然语言描述。尽管RULE-LANTERN的准确性很高,但我们与学习者的接触表明,与现有的心理学理论相一致,阅读这种基于规则的描述会导致无聊,因为不同的QEP会重复陈述。为了解决这个问题,我们提出了一种新的基于深度学习的语言生成框架,称为NEURAL-LANTERN,它通过利用一组释义工具和词嵌入在生成的描述中注入语言可变性。我们的实验研究与真实的学习者表明灯笼在促进理解QEPs的有效性。
2021-03-03 cs.DB
When Similarity Digest Meets Vector Management System: A Survey on Similarity Hash Function
蓬勃发展的矢量管理系统调用需要可行的相似度哈希函数作为前端进行相似度分析。本文对已有的相似度哈希函数进行了系统的研究,并从中筛选出满意的相似度哈希函数。我们得出结论,相似性哈希函数MinHash和Nilsimsa可以直接编组到管道的相似性分析使用向量管理系统。在此基础上,对这些函数的性能、不足进行了简要的实证分析,并指出MinHash、SimHash的变体和特征哈希是向量管理系统进行大规模相似性分析的最佳选择。
2021-10-09 cs.CR cs.DB
A Survey on Property-Preserving Database Encryption Techniques in the Cloud
该综述针对云外包关系型数据库加密后丢失查询所需属性的问题,梳理了从Caesar加密到mOPE等各类属性保留加密技术,介绍其应用方法并明确特性。
2023-12-19 cs.CR cs.DB
HTAP Databases: A Survey
本文全面综述了HTAP数据库,按四种存储架构对最先进的系统进行分类,回顾了混合工作负载处理等关键技术,并探讨了现有基准测试及未来的研究挑战与机遇。
2024-04-24 cs.DB
The Sloan Digital Sky Survey Science Archive: Migrating a Multi-Terabyte Astronomical Archive from Object to Relational DBMS
斯隆数字巡天科学档案馆是天文学和其他数据密集型科学的一系列多TB数字档案中的第一个。为了便于SDSS存档中的数据采掘,我们采用了一个商业数据库引擎,并在其上构建了专门的工具。最初,我们选择了一个面向对象的数据库管理系统,由于其数据组织能力,平台独立性,查询性能和概念上适合的数据。然而,在项目的前几年使用对象数据库之后,它很快就开始在查询支持和数据采掘性能方面出现不足。这是由于数据库供应商无法响应我们对功能和错误修复的需求,因为他们未能跟上硬件性能的快速改进,特别是更快的RAID磁盘系统。最后,我们被迫放弃对象数据库,将我们的数据迁移到关系数据库。我们在下面描述了我们在对象数据库方面所面临的技术问题,以及我们如何以及为什么迁移到关系技术。
2004-03-12 cs.DB
XML Query Processing and Query Languges: A Survey
今天的数据库与不同领域和应用程序之间的互操作性有关。这就导致了数据库中数据可移植性的重要性。XML格式符合需求,并且越来越多地用于为不同领域和目的的应用程序提供服务。然而,有效地查询XML文档仍然是一个具有挑战性的问题。本文讨论了XML的查询处理问题,并回顾了各种作者提出的查询XML数据库的解决方案。
2010-10-06 cs.DB cs.DS
Automatic Configuration Tuning on Cloud Database: A Survey
本文综述云数据库自动配置调优方法,系统比较贝叶斯优化、神经网络、强化学习和搜索类技术,并梳理调优流水线、实验设置、基准与未来方向。
2024-04-09 cs.DB
Optimization meets Big Data: A survey
本文回顾了大数据优化的最新进展,提供了这一新兴领域的最新进展。本文的主要重点是在大数据分析环境中应用的优化技术。回顾和讨论了非线性规划、坐标下降法、交替方向乘子法、模拟优化和元算法,如进化和遗传算法、粒子群优化、差分进化、烟花、蝙蝠、萤火虫和布谷鸟搜索算法的实现。讨论了大数据优化与信息工作流风格、软件架构和软件框架等软件工程主题之间的关系。重点介绍了在大数据优化环境中使用的平台的比较分析,以提供最先进的可能架构和拓扑。
2021-02-03 cs.DB cs.NE cs.SE
Survey: On the Landscape of Graph Databases
INESC-ID;IST(里斯本理工大学);Faculty of Information Technology, CTU in Prague(布拉格捷克理工大学信息技术学院);Department of Computer Science (DVRG), Pontificia Universidad Católica de Chile(智利天主教大学计算机科学与技术系)
本文综述图数据库,分析其属性模型、查询语言和存储架构,并评估在架构、部署、使用和开发方面的最新进展,指出其面临的数据不规则性、查询计算需求高和分布式事务管理等挑战。
2026-07-02 cs.DB cs.DC
AstroServ: Distributed Database for Serving Large-Scale Full Life-Cycle Astronomical Data
在时域天文学中,短时间尺度大视场巡天(STLF)是最新的天空观测方法。与传统的只能发现天文现象的巡天相比,STLF巡天甚至可以揭示天文现象的演变过程。这种差异不仅导致了新的调查数据,也导致了新的分析风格。这就要求STLF巡天数据库支持数据流的连续分析、短期数据的实时分析和长期历史数据的复杂分析。此外,插入和查询延迟都有严格的要求,以确保科学现象可以被发现。然而,现有的数据库无法支持我们的场景。在本文中,我们提出了AstroServ,一个分布式系统的分析和管理的大规模和全生存周期天文数据。AstroServ的核心组件包括三个数据服务层和一个查询引擎。每个数据服务层服务于特定时间段的数据,查询引擎可以对不同的数据提供统一的分析接口。此外,我们还提供了包括交互式分析界面和数据采掘工具在内的许多应用程序,以帮助科学家有效地使用数据。实验结果表明,AstroServ能够满足严格的性能要求,具有良好的识别精度。
2018-11-27 cs.DB
Databases for comparative syntactic research
本文调查并描述了21个公开的形态句法数据库,提出按描述单元和设计原则两个维度分类,识别出单分类、多分类和结构分解三种设计原则,并讨论了其优缺点及未来数据库的需求。
2023-10-17 cs.DB
The World of Graph Databases from An Industry Perspective
快速增长的社交网络和其他图形数据已经在市场中对图形技术产生了很高的需求。因此,出现了大量的图形数据库、系统和解决方案。另一方面,图长期以来一直是数据库研究社区中的一个研究领域。尽管有许多关于各种图形研究主题的调查,但缺乏从行业角度对图形技术的调查。本文的目的是为研究界提供一个关于图数据库前景的行业视角,以便图研究人员能够更好地了解行业趋势和行业面临的挑战,并致力于解决这些问题的解决方案。
2022-11-23 cs.DB
Understanding Graph Databases: A Comprehensive Tutorial and Survey
本文是图数据库的综合教程与综述,介绍了图论基础、核心算法、主流系统、图操作、可视化及社区检测技术,并阐述了其相较于关系型数据库在管理互连数据上的优势。
2024-11-15 cs.DB cs.PL
Semantic Networks for Engineering Design: A Survey
本文综述了语义网络在工程设计中的应用,总结了现有依赖常识数据库的方法,并提出了构建工程专用语义网络(如B-Link、TechNet)的未来方向。
2020-12-13 cs.DB cs.DL
Big Data Meets Metaverse: A Survey
我们生活在大数据时代。Metaverse是未来的新兴技术,它结合了大数据,AI(人工智能),VR(虚拟现实),AR(增强现实),MR(混合现实)和其他技术,将减少在线和现实生活交互之间的差异。它的目标是成为一个我们可以工作、购物、玩耍和社交的平台。进入Metaverse的每个用户都以数据的方式与虚拟世界进行交互。随着Metaverse的发展和应用,数据将不断增长,从而形成一个大的数据网,这将给数字世界带来巨大的数据处理压力。因此,大数据处理技术是实现Metaverse的关键技术之一。在本调查中,我们全面回顾了Metaverse如何改变大数据。此外,我们详细讨论了Metaverse大数据的关键安全和隐私。最后,我们总结了Metaverse面临的问题和机遇,以及Metaverse在大数据下的未来。我们希望通过本次调查能够为研究者提供大数据在Metaverse中应用的研究方向和前景。
2022-10-28 cs.CY cs.DB
A Comprehensive Survey on Database Management System Fuzzing: Techniques, Taxonomy and Experimental Comparison
本文系统综述DBMS模糊测试技术,提出通用流程与分类法,并基于开源工具包OpenDBFuzz进行实验对比,评估现有方法优劣,展望未来方向。
2023-11-12 cs.DB
The Lowell Database Research Self Assessment
一组高级数据库研究人员每隔几年聚集一次,评估数据库研究的状况,并指出值得进一步关注的问题领域。本报告总结了2003年5月4日至6日在马萨诸塞州洛厄尔举行的第六次特别会议的讨论和结论。报告指出,信息管理仍然是大多数复杂软件系统的一个关键组成部分。它建议数据库研究人员增加关注:文本,数据,代码和流的集成;来自异构数据源的信息融合;对不确定数据的推理;无监督的数据采掘,以获得有趣的相关性;信息隐私;以及自适应和修复。
2003-10-06 cs.DB
Recent Trends and Research Issues in Video Association Mining
随着数字图书馆和视频数据库的不断发展,从视频数据库中自动理解和挖掘知识变得越来越重要。在视频数据采掘的研究领域中,发现大型视频数据库中项目之间的关联规则具有重要的意义。在过去几年的研究和发展的基础上,关联规则挖掘在不同的领域,如监控,会议,广播新闻,体育,档案,电影,医疗数据,以及个人和在线媒体收藏中的应用越来越多。本文的目的是提供一个从视频数据库中挖掘关联规则的通用框架。本文还介绍了视频关联挖掘中的研究问题,以及最新的发展趋势。
2011-12-09 cs.DB cs.MM
A Survey on Spatial Co-location Patterns Discovery from Spatial Datasets
空间数据采掘或空间数据库中的知识发现是指提取数据库中没有显式存储的隐含知识、空间关系和空间模式。共址模式发现是发现经常位于同一地理区域内的特征子集的过程。在本文中,我们讨论了不同的方法,如基于规则的方法,Join-less方法,部分连接方法和基于约束邻域的方法来寻找co-location模式。
2014-02-06 cs.DB
Spatial Indexing of Large Multidimensional Databases
诸如大型天文测量之类的科学工作产生了TB级的数据库。这些通常是多维数据库,必须进行可视化和挖掘,以便找到有趣的对象或提取有意义的和定性的新关系。这些任务所需的许多统计算法在对内存中的小数据集进行操作时运行得相当快,但在对不适合内存的大型数据库进行操作时会出现明显的性能下降。我们利用新的软件技术来开发和评估快速多维索引方案,这些方案本质上遵循数据的底层,高度不均匀的分布:它们是分层的均匀网格索引,分层的二进制空间分区,以及数据的采样平面Voronoi细分。我们的工作数据库是斯隆数字巡天的5维星等空间,拥有超过2.7亿个数据点,我们表明这些技术可以大大加快数据采掘操作,例如通过实例查找类似对象,对对象进行分类或将大量模拟集与观测结果进行比较。我们还在开发与多维数据库交互的工具,并以自适应的方式以多种分辨率显示数据。
2012-09-28 cs.DB
Data Mining the SDSS SkyServer Database
早期的论文(Szalay et.等人的“Designing and Mining MultiTerabyte Astronomy Archives:The Sloan Digital Sky Survey,”ACM SIGMOD 2000)通过定义良好的数据管理系统应当支持的二十个数据库查询和十二个数据可视化任务来描述Sloan Digital Sky Survey(SDSS)的数据管理需求。我们建立了一个数据库和接口,以支持查询负载和一个网站的特设访问。本文报告了数据库设计,描述了数据加载管道,并报告了查询实现和性能。这些查询通常被转换为单个SQL语句。大多数查询运行时间不到20秒,使科学家能够交互式地探索数据库。本文是对这些查询的深入介绍。读者应该首先研究了同伴概述文件Szalay等。“SDSS SkyServer,公共访问斯隆数字天空服务器数据”ACM SIGMOND 2002。
2002-02-12 cs.DB cs.DL
Non-Relational Databases on FPGAs: Survey, Design Decisions, Challenges
非关系数据库系统(NRDS),例如图、文档、键值和宽列,由于其数据模型多样性和可扩展性,在各种趋势(商业)应用领域(如智能物流、社会网络分析和医疗应用)中获得了很多关注。广泛的数据种类和数据集的庞大规模对系统设计和运行时(包括功耗)。虽然CPU性能扩展变得越来越困难,我们认为,NRDS可以受益于添加现场可编程门阵列(FPGA)作为加速器。然而,FPGA加速的NRDS尚未得到系统的研究。为了便于理解这一新兴领域,我们探讨了适合NRDS的FPGA加速与数据模型品种的重点。我们将术语NRDS类定义为一组支持相同数据模型的非关系数据库系统。本调查描述并分类了相关NRDS类的固有差异和重要权衡,以及在使用FPGA构建此类系统时常见设计决策背景下的共性。例如,我们在文献中发现,对于键值存储,FPGA应该作为智能网络接口卡(SmartNIC)放置在系统中,以受益于FPGA对网络的直接存取。但是,更复杂的数据模型和其他类的处理(例如,图形和文档)通常需要更精细的近数据或套接字加速器放置,其中FPGA分别具有对主存储器的唯一或共享访问。在不同的类别中,FPGA可用作通信层或用于加速操作员和数据访问。最后,我们以开放的研究和工程挑战来概述FPGA加速的NRDS的未来。
2020-07-15 cs.AR cs.DB