RASL: Retrieval Augmented Schema Linking for Massive Database Text-to-SQL
Amazon(亚马逊)
针对大语言模型数据库自然语言接口难以扩展到企业级海量数据目录的问题,提出RASL检索增强架构,拆解模式元数据为语义单元单独索引,兼顾表识别与列信息利用,在海量数据库上表现优于基线,无需领域微调即可适配企业场景。
2025-07-30 cs.AI cs.CL cs.LG
BudgetSchemaBench: A Budget-Swept Diagnostic for Schema Context in Text-to-SQL
Megagon Labs
本文提出BudgetSchemaBench,一个基于执行结果的诊断基准,用于评估文本到SQL中不同模式上下文预算和序列化方式对执行准确率的影响,发现预算比序列化方式更关键。
2026-10-02 cs.AI cs.CL cs.DB
Incomplete In-context Learning
Sun Yat-sen University(中山大学);Lanzhou University(兰州大学)
针对检索数据库仅含部分类别标签的 IICL 问题,本文提出两阶段 IJIP 框架,将多分类转化为多个二分类并集成预测,在多种模型、数据集和标签缺失条件下显著提升准确率。
2025-05-12 cs.AI cs.CV
Database Normalization via Dual-LLM Self-Refinement
University of California, Berkeley(加州大学伯克利分校)
提出Miffie框架,利用双模型自精炼架构和大语言模型实现数据库自动规范化,无需人工干预且保持高准确率。
2026-06-05 cs.AI cs.CL cs.DB
SpotIt+: Verification-based Text-to-SQL Evaluation with Database Constraints
Amherst College(阿默斯特学院);Simon Fraser University(西蒙弗雷泽大学);VMware Research by Broadcom(Broadcom VMware 研究)
SpotIt+通过有界等价验证评估文本到SQL系统,结合规则和LLM方法挖掘约束,提升数据库差异识别能力。
2026-05-11 cs.AI cs.DB cs.LO
SQLong: Enhanced NL2SQL for Longer Contexts with LLMs
Oracle Corporation(Oracle公司)
针对大语言模型在长上下文大型数据库模式下NL2SQL性能下降的问题,提出SQLong数据增强框架,通过合成表命令与数据行扩展模式生成增强数据集,实验证明其可显著提升模型在复杂库模式场景下的NL2SQL表现。
2025-05-20 cs.AI cs.CL cs.LG
Task-Aware LoRA Adapter Composition via Similarity Retrieval in Vector Databases
本文提出基于向量数据库相似性检索的LoRA适配器组合框架,通过动态合并适配器实现多任务学习,线性合并方法在PIQA和RTE任务上取得显著性能提升。
2026-02-01 cs.AI cs.CL cs.LG
DataKernelBench: Can LLMs Optimize Database Queries on GPUs?
IBM Research(IBM研究院);TU Wien(维也纳技术大学)
本文提出DataKernelBench基准,评估LLM在GPU上优化数据库查询内核的能力,实验显示最强模型配置在TPC-H数据集上实现2.11倍加速,工作负载上下文对性能影响大于硬件上下文。
2026-10-16 cs.AI cs.CL cs.DB
GRAM: Generative Retrieval Augmented Matching of Data Schemas in the Context of Data Security
Amazon Web Services(亚马逊网络服务)
本研究在数据安全背景下,利用大语言模型在零样本和少样本场景下进行数据库模式匹配,通过仅分析极少量客户数据以保护隐私,实现了在严格安全约束下的准确属性匹配。
2024-06-04 cs.AI cs.CL cs.DB
Role of Databases in GenAI Applications
本文探讨数据库在 GenAI 应用中的关键作用,提出按对话、情境和语义三类上下文选择不同数据库架构,以优化性能、准确性与可扩展性。
2025-04-11 cs.AI cs.DB
A Comparative Analysis of XML Documents, XML Enabled Databases and Native XML Databases
随着XML数据的日益普及以及对能够以有效的方式存储、检索和操纵基于XML的数据的数据库管理系统的极大需求,数据库研究团体和软件行业已经尝试响应这种需求。支持XML的数据库和原生XML数据库是解决这一挑战的两种方法。这两种方法是一个遗留的数据库系统,扩展到存储,检索和操作基于XML的数据。本文的主要目的是探讨和比较这两种方法,并得出一些标准,有一个合适的指导方针,以选择最好的方法,在每一种情况下。一般来说,原生XML数据库系统比支持XML的数据库系统具有更强的管理基于XML数据的能力
2017-07-26 cs.DB
In-Context Adaptation to Concept Drift for Learned Database Operations
Beijing Institute of Technology(北京理工大学);National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
针对数据库学习模型面临概念漂移导致性能下降的问题,提出在线自适应框架FLAIR,通过上下文自适应新范式利用即时结果构建动态上下文,实现快速适应,实验表明适应速度提升5.2倍,误差降低22.5%。
2025-05-22 cs.AI cs.DB
Database Context Compression for Text-to-SQL on Real-World Large Databases
National Engineering Research Center of Software Engineering, Peking University(软件工程国家工程研究中心,北京大学);School of Computer Science, Peking University(北京大学计算机学院);Peking University Information Technology Institute, Tianjin Binhai(天津滨海大学信息技术研究所,北京大学)
针对真实大型数据库中文本到SQL性能瓶颈,提出基于SGCF原则的数据库上下文压缩方法DBCC,通过离线结构语义压缩和在线证据净化,将输入上下文减少两个数量级,并提升模式链接召回率和执行准确率。
2026-06-26 cs.AI cs.DB
Context-based Ontology Modelling for Database: Enabling ChatGPT for Semantic Database Management
这篇研究论文探讨了ChatGPT在数据库管理中的使用。ChatGPT是一个由AI驱动的聊天机器人,由于缺乏表示数据库语义的标准化词汇和语法,因此在执行与数据库管理相关的任务方面存在局限性。为了解决这个问题,本文提出了一个解决方案,涉及到开发一套语法,可以表示数据库的语义在自然语言。该语法用于将数据库模式转换为自然语言格式,提供了ChatGPT在数据库管理中的新应用。提出的解决方案是通过一个案例研究,其中ChatGPT是用来执行两个任务,语义集成和表连接。结果表明,使用语义数据库表示产生更精确的结果,避免了常见的错误相比,没有语义表示的情况下。所提出的方法有可能加快数据库管理过程,降低对数据库领域知识的理解水平,并在不访问实际数据的情况下实现自动数据库操作,从而在使用AI时阐明隐私保护问题。本文为基于人工智能的数据库管理领域的研究提供了一个有前途的新方向。
2023-03-11 cs.DB
Generating Query Context for Relational Databases
Tursio
针对关系数据库自然语言查询中查询上下文构建耗时且存在冷启动的问题,提出自动生成查询上下文的方法,通过查询流生成数据模型并用加权采样实例化,已在50多个真实数据库上部署。
2026-09-23 cs.DB
Pushing the Boundaries of Crowd-enabled Databases with Query-driven Schema Expansion
通过将人类工作者纳入查询执行过程,支持人群的数据库促进了智能的社交功能,例如在查询时完成缺失的数据或执行认知运算符。但是,尽管具有所有的灵活性,支持人群的数据库仍然保持严格的模式。在本文中,我们通过灵活的查询驱动模式扩展来扩展支持人群的数据库,允许在查询时向数据库添加新属性。然而,用于填充缺失值的众包小任务的数量可能通常非常大,并且由此产生的数据质量值得怀疑。我们利用社交网络中的用户生成数据,而不是简单的众包来单独获取所有值:通过利用用户评级,我们建立了感知空间,即,大量用户的意见、印象和感知的高度压缩表示。使用专家众包获得的少量训练样本,我们可以以高质量和低成本自动从感知空间中提取所有缺失的数据。大量的实验表明,我们的方法可以提高性能和质量的人群启用数据库,同时还提供了灵活性,以查询驱动的方式扩展模式。
2012-03-01 cs.DB
RedisGraph GraphBLAS Enabled Graph Database
RedisGraph是Redis Labs开发的一个Redis模块,用于向Redis数据库添加图形数据库功能。RedisGraph将连接数据表示为邻接矩阵。通过将数据表示为稀疏矩阵并使用GraphBLAS(一种高度优化的稀疏矩阵操作库),RedisGraph提供了一种快速有效的方法来存储,管理和处理图形。初始基准测试表明,RedisGraph比同类图数据库快得多。
2019-05-01 cs.DB cs.PF
Managing Variability in Relational Databases by VDBMS
可变性固有地存在于数据库中的各种上下文中,这些上下文中创建了数据库变体。例如,数据库的变体可以具有不同的模式/内容(数据库演化问题),数据库的变体可能来自不同的来源(数据集成问题),对于特定的应用程序域,可以以不同的方式部署数据库的变体(为软件系统的不同配置部署数据库)等。不幸的是,尽管存在针对在这些上下文中出现的每个问题的特定解决方案,不存在解决数据库中的可变性和解决管理数据库内的可变性的通用解决方案。在本文中,我们正式定义变分数据库(VDBs)和静态类型的变分关系代数(VRA)的查询VDBs-数据库和查询显式帐户的变化。我们还设计和实现了变分数据库管理系统(VDBMS)运行变分查询的VDB有效和高效。为了评估这一点,我们从现实世界的数据库中生成两个VDB的软件开发和数据库进化的背景下,每个一组实验查询。
2019-11-25 cs.DB cs.PL
Object Selection under Team Context
上下文感知数据库考虑了用户的当前情况和环境,近年来引起了工业界和学术界的广泛关注。然而,大多数文献都集中在个人的情况下,忽略了团队用户。本文研究了如何将团队上下文集成到数据库查询过程中,以帮助用户获得排名最高的数据库元组,从而提高团队的竞争力。我们引入了朴素的和优化的查询算法来选择合适的记录,并表明它们输出相同的结果,而后者是更高的计算效率。大量的实证研究进行评估的查询方法,并证明其有效性和效率。
2014-04-14 cs.DB
DFIN-SQL: Integrating Focused Schema with DIN-SQL for Superior Accuracy in Large-Scale Databases
Sygnia(希格尼亚);Safra Bank(萨夫拉银行);Wells Fargo(富国银行)
本文提出 DFIN-SQL,通过在提示与 RAG 间自适应切换并预处理检索聚焦模式,降低 GPT-4 的 token 开销,在 BIRD 上以 51.69 分超过 DIN-SQL。
2024-03-01 cs.AI cs.DB
Causes for Query Answers from Databases, Datalog Abduction and View-Updates: The Presence of Integrity Constraints
University of Washington(华盛顿大学);Carleton University(卡尔顿大学)
因果关系最近被引入到数据库中,用于建模,表征和可能计算查询结果(答案)的原因。查询答案因果关系,基于一致性的诊断,数据库修复(wrt。完整性约束违反)、溯因诊断和视图更新问题。在这项工作中,我们进一步调查之间的联系问答因果关系和溯因诊断和视图更新问题。在这种情况下,我们还定义和调查的概念,查询答案因果关系的完整性约束的存在。
2016-02-20 cs.AI cs.DB
An Algorithm for Context-Free Path Queries over Graph Databases
RDF(Resource Description Framework)是表示图数据库的标准语言。用于RDF数据库的查询语言通常包括支持路径查询的原语,其链接由属于给定语言的标签的路径连接的图的顶点对。诸如SPARQL之类的语言包括对由正则语言(通过正则表达式)定义的路径的支持。上下文无关路径查询是其语言可以由上下文无关文法定义的路径查询。上下文无关路径查询可以用来实现诸如“同代查询”之类的查询,这些查询不能用正则表达式来表达。本文提出了一种新的上下文无关路径查询处理算法。我们证明了我们的方法的正确性,并显示其运行时间和内存的复杂性。我们通过在Go中实现的原型来展示我们方法的可行性。我们运行我们的原型使用相同的情况下,在最近的作品中提出的研究,比较我们的结果与另一个,最近发表的算法。实验包括合成和真正的RDF数据库。我们的算法可以被看作是向前迈出的一步,实现更有表现力的查询语言。
2020-04-07 cs.DB cs.DS cs.FL
Making Databases Searchable with Deep Context
Tursio
Tursio通过整合大语言模型,构建语义知识图谱,使非专家用户能高效准确地通过自然语言查询数据库。
2026-02-16 cs.DB
The Context Model: A Graph Database Model
提出一种以有向无环图为基本结构的图数据库上下文模型,在统一函数代数框架内支持数据管理和分析,并能作为语义层和友好界面处理关系数据。
2024-06-28 cs.DB
CALL: Context-Aware Low-Latency Retrieval in Disk-Based Vector Databases
本文提出CALL机制,通过上下文感知的查询分组、分组感知预取和延迟感知簇加载来优化基于磁盘的向量数据库缓存行为,将第99百分位尾延迟降低最多33%。
2025-09-23 cs.DB
QCATS: Query Context-Aware Transformer Slicing for Efficient Predictive Query Processing
Zhejiang University(浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院)
提出QCATS框架,利用查询上下文感知的Transformer切片实现数据库内高效稀疏推理,通过查询级路由和系统优化,在保持精度的同时降低延迟达4.42倍。
2026-10-08 cs.AI cs.DB
RDBLearn: Simple In-Context Prediction Over Relational Databases
University of Hong Kong(香港大学);Shanghai X-Lab(上海X-Lab)
RDBLearn通过关系数据库中的上下文学习方法,实现了对多表关联数据的高效预测,优于传统监督基线。
2026-02-14 cs.AI cs.DB cs.LG
CD-COCO: A Versatile Complex Distorted COCO Database for Scene-Context-Aware Computer Vision
IBISC Lab, Paris-Saclay University(巴黎萨克雷大学IBISC实验室);L2TI Lab, Sorbonne Paris Nord University(索邦巴黎北大学L2TI实验室);Norwegian University of Science and Technology (NTNU)(挪威科技大学)
针对现有数据库忽略复杂失真影响CV性能的问题,构建基于MS-COCO的CD-COCO数据库,利用场景上下文生成逼真局部与全局失真,提升目标检测等任务的鲁棒性。
2023-11-12 cs.CV cs.DB
Extending Contexts with Ontologies for Multidimensional Data Quality Assessment
数据质量和数据清理是依赖于上下文的活动。从这个观察,在以前的工作中提出了一个上下文模型的数据库实例的质量评估。在该框架中,上下文采取可能的虚拟数据库或数据集成系统的形式,在质量评估下的数据库实例被映射到该虚拟数据库或数据集成系统中,以进行附加的分析和处理,从而实现质量评估。在这项工作中,我们扩展的情况下,尺寸,这样做,我们有可能对数据质量评估的多维评估。多维上下文被表示为用Datatron +-编写的本体。我们使用这种语言来表示维度约束和维度规则,并进行基于维度导航的查询回答,这成为数据评估中的一个重要辅助活动。我们通过例子展示了想法和机制。
2014-01-20 cs.DB
Contexts and Data Quality Assessment
数据的质量取决于上下文。从这种直觉和经验出发,我们提出并开发了一个概念框架,以正式的术语捕获“上下文相关的数据质量”的概念。首先,我们提出了一个通用的和抽象的概念的背景下,它的用途,一般和数据管理特别。在此基础上,我们调查“数据质量评估”和“质量查询回答”作为上下文相关的活动。用于评估手头的数据库D的上下文被建模为外部数据库模式,其可能具有物化或虚拟数据以及到外部数据源的连接。数据库D通过到上下文模式的映射被置于上下文中,这产生D的备选干净版本的集合C。D的质量是用它到C的距离来衡量的。类C}还用于定义和执行“质量查询应答”。所提出的模型允许自然扩展,如使用数据质量谓词,优化访问的上下文到外部数据源,也表示上下文通过更有表现力的本体。
2016-08-14 cs.DB
Towards Foundation Models for Relational Databases with Language Models and Graph Neural Networks
University of Stuttgart, Stuttgart, Germany(斯图加特大学);Internet Science Research Group, University of Southampton, Southampton, United Kingdom(互联网科学研究组,南安普顿大学)
本文提出结合语言模型和图神经网络的混合架构,通过关系实体图建模提升关系数据库的预测性能,实验表明其在多个任务中表现优异,接近监督基线并缩小与RDL的差距。
2026-05-15 cs.AI cs.DB
Path Summaries and Path Partitioning in Modern XML Databases
我们研究了XML路径摘要在当前XML数据库中的适用性。我们发现,摘要提供了一个很好的基础,优化数据访问方法,进一步混合非常好的路径分区存储。我们提供了实用的算法,建设和利用摘要,并通过广泛的实验证明其好处。
2006-02-10 cs.DB
Using Database Dependencies to Constrain Approval-Based Committee Voting in the Presence of Context
研究在存在上下文约束时基于Approval的委员会投票问题,通过关系数据库的integrity constraints(TGDs和DCs)约束委员会选择,证明该问题对approval voting是NP-hard的,并设计MIP归约实现及启发式优化算法验证其有效性。
2025-01-27 cs.DB
An Ehrenfeucht-Fraisse Game Approach to Collapse Results in Database Theory
我们提出了一个新的Escherifeucht-Fraisse游戏方法崩溃的结果在数据库理论,我们表明,在原则上,这种方法足以证明每个自然的通用崩溃的结果。按照这种方法,我们可以处理某些无限的数据库,而以前的方法是失败的。我们证明了Z-可嵌入数据库在任意线性序上下文结构和任意一元谓词上的自然泛型崩溃,以及N-可嵌入数据库在上下文结构(R,<,+,Mon_Q,Groups)上的自然泛型崩溃。这里,N、Z、R分别表示自然数、整数和实数的集合。Groups是(R,+)中包含Z的所有子群的集合,而Mon_Q是N中特定无限子集Q的所有子集的集合。限制公式的复杂性,可用于制定纯粹存在的一阶公式的布尔组合的查询,我们甚至获得崩溃的N-嵌入数据库在任何线性有序的上下文结构与任意谓词。最后,我们开发了N-可表示的数据库的概念,这是一个自然的推广的经典概念的可表示的数据库。我们表明,N-可嵌入数据库的自然通用崩溃结果可以提升到更大的N-可表示数据库类。特别是为了获得(N,<,+,Mon_Q)的折叠结果,我们在存在内置加法关系+的情况下显式地构造复制器的获胜策略。作为副产品,这也导致了Ginsburg和Spanier定理的Escherichfeucht-Fraisse博弈证明,说明FO(<,+)-句子的谱是半线性的。
2002-12-20 cs.DB cs.LO
Graph-based process mining
流程挖掘是一个研究领域,它支持从业务流程的执行事件日志中发现有关业务流程的信息。组织中事件日志数量的增加对当前的流程挖掘技术提出了挑战,这些技术倾向于将数据加载到计算机的内存中。这个问题限制了组织大规模地应用流程挖掘,并且由于缺乏数据管理能力而引入了风险。因此,本文介绍和形式化的一种新的方法来存储和检索事件日志到/从图数据库。它定义了一种在图数据库中计算直接跟随图(DFG)的算法,将流程挖掘的繁重计算部分转移到图数据库中。在图数据库中计算DFG使得能够利用图数据库的水平和垂直缩放能力,以有利于大规模地应用流程挖掘。此外,它消除了将数据转移到分析师计算机中的要求。因此,它使得能够在图形数据库中使用数据管理能力。我们在Neo4j中实现了这种方法,并使用真实的日志文件与当前技术进行了比较。结果表明,当数据量远大于计算内存时,我们的方法能够计算DFG。当将数据分割成小块时,它也显示出更好的性能。
2020-07-18 cs.DB
Tursio for Credit Unions: Structured Data Search with Automated Context Graphs
Tursio
Tursio 通过自动上下文图技术,实现信用社等受监管行业结构化数据的自然语言查询与高效搜索。
2026-03-11 cs.DB
GraphChi-DB: Simple Design for a Scalable Graph Database System -- on Just a PC
我们提出了一种新的数据结构,并行邻接表(PAL),有效地管理图与磁盘上的数十亿条边。PAL结构基于GraphChi的图存储模型(Kyrola et.例如,OSDI 2012),但我们对其进行了扩展,以支持在线数据库功能,如查询和快速插入。此外,我们扩展了模型的边和顶点属性。与以前的数据结构相比,PAL可以更复杂地存储图形,同时允许快速访问顶点的传入和传出边,而不复制数据。在PAL的基础上,我们设计了一个图形数据库管理系统GraphChi-DB,它也可以执行强大的分析图形计算。我们通过实验评估了我们的设计,并证明GraphChi-DB在比可用内存大得多的图形上实现了最先进的性能。GraphChi-DB使任何只有笔记本电脑或PC的人都可以处理非常大的图形。
2014-03-04 cs.DB
Optimization Approach for Detecting the Critical Data on a Database
通过有目的地将恶意事务(跟踪事务)引入到(数据库)图的随机选择的节点中,识别污染的和干净的段。然后计算对应于这些段的污染和清洁测量。这些措施被用来休息的关键数据库元素检测的问题作为一个优化问题的图。这种方法是普遍适用于一个大类的图(包括有向,加权,断开,循环),发生在几个数据库的上下文中。一个泛化的参数,提出了扩展的关键数据的问题,抽象的设置。
2008-04-27 cs.DB
Decomposition of contexts into independent subcontexts based on thresholds
University of Cádiz(加的斯大学)
本文研究了如何通过阈值将上下文分解为独立子上下文,探讨了多余联概念格框架中模算子的应用及其性质。
2026-02-25 cs.DB
Weaver: A High-Performance, Transactional Graph Database Based on Refinable Timestamps
图形数据库已成为越来越常见的基础设施组件。然而,现有的系统要么在离线快照上操作,提供弱的一致性保证,要么使用限制性能的昂贵的并发控制技术。在本文中,我们介绍了一个新的分布式图形数据库,称为韦弗,它使高效的,事务性的图形分析,以及严格可串行化的ACID事务的动态图。Weaver将严格的可串行性与水平可伸缩性和高性能结合起来的关键是一种称为可细化时间戳的新型请求排序机制。该技术将粗粒度的向量时间戳与细粒度的时间轴预言耦合,以仅在需要时支付强一致性的开销。实验表明,Weaver实现的比特币区块链浏览器比Blockchain.info快8倍,在社交网络工作负载上的吞吐量比Titan图数据库高12倍,在离线图遍历工作负载上的延迟比GraphLab低4倍。
2016-06-20 cs.DB cs.DC
Contextuality from missing and versioned data
传统的分类数据分析(例如广义线性模型)处理简单的平面数据集,类似于数据库中的单个表,没有丢失数据或冲突版本的概念。相比之下,现代数据分析必须处理具有许多不一定总是一致的局部表的分布式数据库。这些表格的计算代理在空间上是分离的,具有绑定光速约束和数据到达太快,这些分布式视图无法完全知情和全局一致。上下文性是一种数学性质,描述了量子力学中出现的一种不一致性(例如贝尔定理)。在本文中,我们将展示如何在常见的数据汇集场景中出现上下文,包括丢失数据和版本控制(如在采用快照隔离的低延迟分布式数据库中)。在配套文件中,我们开发了适应这种制度的统计模型。
2017-08-10 cs.DB cs.DC stat.CO
Sieve: A Middleware Approach to Scalable Access Control for Database Management Systems
当前在数据库管理系统(DBMS)中实施FGAC的方法在策略数量为数千的情况下不能扩展。本文在新兴智能空间的背景下确定了这样一个用例,其中立法可能要求系统(如欧洲的GDPR和加利福尼亚州的CCPA)授权用户指定谁可以访问他们的数据以及用于什么目的。我们提出了Sieve,在现有的数据库系统中实现FGAC的分层方法,它利用了各种它的功能,如UDF,索引使用提示,查询解释,扩展到大量的政策。给定一个查询,Sieve利用它的上下文来过滤需要检查的策略。Sieve还生成保护表达式,通过对策略进行分组来节省评估成本,并通过利用数据库索引来削减读取成本。我们的实验结果,在两个DBMS和两个不同的数据集上,显示Sieve可扩展到大型数据集和大型策略语料库,从而支持包括新兴智能环境在内的应用程序的实时访问。
2020-06-17 cs.DB
Unifying Causality, Diagnosis, Repairs and View-Updates in Databases
在这项工作中,我们建立并指出数据库中的查询-答案因果关系的概念和数据库修复,基于模型的诊断在其基于一致性和溯因版本,并通过视图数据库更新之间的连接。数据管理和知识表示的这些领域之间的相互关系揭示了它们中的每一个,并有助于分享它们共同的概念和结果。无论如何,这些都是不确定性管理的方法,在必须理解的大数据背景下,这变得更加相关。
2014-06-28 cs.DB
The Stanford RNA Mapping Database for sharing and visualizing RNA structure mapping experiments
我们已经建立了一个RNA映射数据库(RMDB),以使新一代的结构,热力学和动力学研究从定量单核苷酸分辨率RNA结构映射(免费提供http://rmdb.stanford.edu)。化学和酶标测是一种快速、稳健和广泛的RNA表征方法。由于其最近与高通量测序技术,加速软件管道和大规模诱变相结合,映射数据的量大大增加,并且迫切需要一个数据库来实现这些数据的共享,可视化和荟萃分析。通过其在线前端,RMDB允许用户探索热图,条形图和彩色二级结构图形中的单核苷酸分辨率化学可及性数据;利用这些数据生成二级结构假设;并以标准化和计算机友好的文件下载数据,包括RDAT和社区共识SNRNASM格式。在撰写本文时,该数据库包含38个条目,描述了2659个RNA序列,包括355,084个数据点,并且正在迅速增长。
2011-10-02 cs.DB q-bio.BM
NeurDB: On the Design and Implementation of an AI-powered Autonomous Database
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学);Renmin University of China(中国人民大学);Beijing Institute of Technology(北京理工大学)
本文提出AI驱动的自治数据库NeurDB,通过在数据库内无缝集成AI工作流,支持库内分析与快速自适应的学习型系统组件,以应对数据和工作负载动态变化。
2025-01-05 cs.AI cs.DB cs.LG
Database Reasoning Over Text
University of Cambridge(剑桥大学);Facebook AI(脸书人工智能);Sapienza University, Rome(罗马萨皮恩扎大学);University College London(伦敦大学学院)
神经模型在回答来自自然语言文本的查询方面表现出令人印象深刻的性能提升。然而,现有的作品无法支持数据库查询,如“列出/计数所有女运动员谁出生在20世纪”,这需要推理的相关事实集的操作,如加入,过滤和聚合。我们表明,虽然国家的最先进的Transformer模型表现非常好的小型数据库,他们表现出的局限性,在处理嘈杂的数据,数值运算,查询聚合的事实。我们提出了一个模块化的体系结构,以回答这些数据库风格的查询多个跨度从文本和聚合这些规模。我们使用WikiNLDB,一个新的数据集探索这样的查询的架构进行评估。我们的架构可以扩展到包含数千个事实的数据库,而当代模型则受到可以编码多少事实的限制。在小型数据库的直接比较中,我们的方法将整体答案准确率从85%提高到90%。在更大的数据库上,我们的方法保持了它的准确性,而Transformer基线不能对上下文进行编码。
2021-06-02 cs.AI cs.CL cs.DB
Random Access Concatenated Libraries and dd enable a short-latency high-content website on an inexpensive shared server
内容丰富的网站通常将其图像保存为单独的文件或更昂贵的二进制数据库对象。这两种方法都对存储资源提出了很高的要求,同时也带来了相当高的货币成本。廉价的共享服务帐户对磁盘和计算资源有严格的限制,这阻止了它们用于托管内容丰富的网站。为了最小化这些有限资源上的负载,可以将大量图像或其他记录连接到单个文件中,并使用Linux实用程序dd以与文件内的位置无关的短延迟进行交付。该解决方案及其性能的(a)一个网站,其中包含8000+家谱参考书,超过350万250-Kbyte页的图像,(b)一个基于网站的数据库的86万死亡记录,和(c)集群计算应用程序,利用800个神经成像数据库,每个150万条记录。这些不同的应用程序展示了该解决方案的功效、可扩展性和通用性。
2022-10-15 cs.DB
Frequency-hiding Dependency-preserving Encryption for Outsourced Databases
云模式使用户能够将其数据外包给计算能力强大的第三方服务提供商进行数据管理。许多数据管理任务依赖于外包数据中的数据依赖性。这就提出了一个重要的问题,即数据所有者如何保护外包数据中的敏感信息,同时保持数据依赖性。在本文中,我们考虑函数依赖FD,一种重要的数据依赖类型。我们设计了一个保留FD的加密方案,名为F2,使服务提供商能够从加密数据集中发现FD。我们考虑了频率分析攻击,并证明了F2加密方案可以在Kerckhoff原则下以可证明的保证抵御攻击。我们的实证研究证明了F2的效率和有效性。
2016-03-08 cs.CR cs.DB
Facilitating Digital Agriculture with Simple Databases
本文面向电子表格技能有限的农业从业者,提供开源 Airtable 数据库模板与工作坊,以简单表单生成整洁可导出的运营数据,推动数字农业教育与实践。
2023-12-11 cs.DB
Accelerating Regular Path Queries over Graph Database with Processing-in-Memory
针对图数据库RPQ的内存墙瓶颈,提出基于PIM的Moctopus系统,采用PIM友好动态分区算法并行处理路径匹配,支持高效批量查询与更新,性能优于传统图数据库。
2024-03-15 cs.DB
Relational Databases Ingestion into a NoSQL Data Warehouse
企业的数字化转型导致了数据库向大数据的演变。我们的工作是这种情况下的一部分,更具体地说,涉及的机制,提取存储在数据湖的数据集,并存储在一个数据仓库的数据。后者将允许第二次进行决策分析。在本文中,我们提出的抽取机制限于关系数据库。为了自动化这个过程,我们使用了模型驱动架构(MDA),它为模式转换提供了一个形式化的环境。从描述数据湖的物理模式,我们提出了转换规则,允许创建一个数据仓库存储在面向文档的NoSQL系统。已在医学应用上进行了转换过程的实验。
2022-03-14 cs.DB
Hades: Homomorphic Augmented Decryption for Efficient Symbol-comparison -- A Database's Perspective
本文提出HADES框架,基于RLWE实现无需密文扩展的FHE密文高效安全比较,支持整数和浮点运算,并在真实数据集上优于现有基线。
2024-12-28 cs.CR cs.DB
Defining and Mining Functional Dependencies in Probabilistic Databases
函数依赖--传统的、近似的和条件的依赖在关系数据库中是至关重要的,因为它们告诉我们属性之间的关系。它们在模式规范化、数据校正和源选择等方面都很有用。然而,其中大多数是在确定性数据的背景下开发的。虽然不确定数据库已经开始受到关注,但这些依赖关系还没有为它们定义,也没有快速算法来评估它们的置信度。本文定义了概率数据库函数依赖的各种形式的逻辑扩展,并探讨了它们之间的联系。我们提出了一个基于剪枝的精确算法来评估的信心的函数依赖,一个基于Monte-Carlo算法来评估的信心近似函数依赖和算法的条件概率数据库中的副本。实验上进行的合成和真实的数据评估这些算法的性能,在评估的依赖性和挖掘它们的数据的信心。我们相信,拥有这些可用于概率数据库的依赖关系和算法将推动行业中概率数据存储的采用。
2010-12-13 cs.DB
Indices in XML Databases
随着XML成为商业信息表示和交换的标准,XML文档的存储、索引和查询已迅速成为数据库研究的主要问题。在这种情况下,查询处理和优化是原始的,原生XML数据库还不成熟。诸如索引之类的数据结构有助于大大提高性能,因此得到了广泛的研究,特别是因为XML数据具有相对于关系数据的许多特性。在本文中,我们调查国家的最先进的XML索引,并讨论了主要问题,权衡和未来的趋势,XML索引。我们还提出了一个索引,我们专门设计的XML数据仓库的特定体系结构。
2017-01-27 cs.DB