Evaluating the Practical Effectiveness of LLM-Driven Index Tuning on Microsoft SQL Server
Microsoft Research(微软研究院)
本文通过工业基准和真实企业工作负载评估LLM驱动的索引优化效果,对比微软数据库优化顾问(DTA),发现LLM在部分情况下能提供更优执行时间配置,但生产环境中应用仍面临性能波动、集成影响和验证成本等挑战。
2026-07-29 cs.DB
DPSQL+: A Differentially Private SQL Library with a Minimum Frequency Rule
LY Corporation(LY公司)
DPSQL+通过结合差分隐私和最小频率规则,实现隐私保护的SQL库,支持多种数据库引擎,实验表明其在各类分析工作负载中具有较高的实用性与准确性。
2026-04-16 cs.CR cs.DB cs.LG
Multi-layer Architecture For Storing Visual Data Based on WCF and Microsoft SQL Server Database
在本文中,我们提出了一种新的体系结构存储视觉数据。有效地存储、浏览和搜索图像集是计算机科学最重要的挑战之一。存储这些数据的架构设计需要一组工具和框架,如SQL数据库管理系统和面向服务的框架。所提出的解决方案是基于一个多层架构,它允许更换任何组件,而无需重新编译其他组件。该方法由模型、基础引擎、具体引擎、CBIR服务和表示五个部分组成。它们基于两种著名的设计模式:依赖注入和反向控制。为了实验的目的,我们实现了SURF局部兴趣点检测器作为特征提取器和$K$ -均值聚类作为索引器。所提出的架构是为了基于内容的检索系统模拟的目的,以及为现实世界的CBIR任务。
2015-04-26 cs.DB cs.IR
Indexes in Microsoft SQL Server
索引是快速检索记录的最佳选择。这只不过是减少了磁盘IO的数量。我们可以使用索引结构(如B树或哈希索引)来更快地检索数据,而不是扫描整个表以获得结果,从而减少IO或页面获取的数量。考虑索引最方便的方法是像字典一样思考。它有单词和与这些单词对应的定义。字典将有一个关于“word”的索引,因为当我们打开字典时,我们想快速获取相应的单词,然后找到它的定义。词典通常只包含一个索引--按单词排序的索引。当我们修改任何记录并更改聚集索引中索引列的相应值时,数据库可能需要将整行移动到一个单独的新位置,以保持行的排序顺序。这个操作实质上是将一个更新查询转换为一个更新查询,然后是一个更新查询,这会降低查询的性能。表中的聚集索引通常可用于主键码或外键列,因为一旦将记录注入数据库,键值通常不会修改。
2019-03-20 cs.DB
SQLite is Enough. Lexical, Semantic, and Hybrid Search with scrydb
TH Köln – University of Applied Sciences(科隆应用技术大学)
本研究推出 Python 库 scrydb,基于 SQLite 的 FTS5 和 sqlite-vec 扩展实现词汇、语义及混合搜索,经 IR 基准数据集验证,可为信息检索或智能体搜索下游任务提供轻量高效的解决方案。
2026-08-26 cs.CL cs.DB cs.IR
Data Retrieval over DNS in SQL Injection Attacks
本文介绍了一种先进的SQL注入技术,利用DNS解析过程检索恶意SQL查询结果。由此产生的DNS请求被攻击者自己在受控的远程名称服务器上拦截,提取有价值的数据。开源SQL注入工具sqlmap已被调整为自动执行此任务。通过修改,攻击者能够使用这种技术进行快速和低调的数据检索,特别是在其他标准失败的情况下。
2013-03-12 cs.CR cs.DB cs.NI
Reverse Proxy Framework using Sanitization Technique for Intrusion Prevention in Database
随着互联网在我们日常生活中的重要性越来越大,Web应用程序中的数据安全变得非常重要。随着在线实时的事务服务的日益增多,与数据库安全相关的问题也日益增多。攻击者使用非法和未经授权的方法劫持机密信息,如用户名,密码和其他重要细节。因此,实时的事务需要针对基于web的攻击的安全性。SQL注入和跨站脚本攻击是最常见的应用层攻击。SQL注入攻击者通过Web应用程序输入字段、URL或隐藏参数传递SQL语句,并访问数据库或更新数据库。攻击者利用用户提供的数据,将用户输入作为SQL代码处理。利用此漏洞,攻击者可以直接在数据库上执行SQL命令。SQL注入攻击是最严重的威胁,它将用户输入集成到SQL查询中。反向代理是一种用于清理可能转化为数据库攻击的用户输入的技术。在该技术中,数据重定向程序在用户输入被发送到应用服务器之前将其重定向到代理服务器。在代理服务器处,使用净化应用程序来触发数据清理算法。在这个框架中,我们包括检测和净化被发送到数据库的污染信息,并创新一个新的原型。
2013-11-26 cs.CR cs.DB
Efficient classification of billions of points into complex geographic regions using hierarchical triangular mesh
我们提出了一个案例研究的空间索引和区域分类的数十亿的地理坐标从地理标记的社交网络数据使用层次三角网格(HTM)实现Microsoft SQL Server。由于HTM库缺乏某些功能,我们将其与SQL Server的GIS功能结合使用,以显着提高空间过滤和连接查询的预过滤效率。例如,我们实现了一种新算法来计算复杂地理区域的HTM镶嵌,并预先计算HTM三角形和地理区域的交点,以实现更快的误报过滤。通过对索引结构的完全控制,基于HTM的简单包含搜索的预过滤性能比SQL Server空间索引高出十倍,基于HTM的空间连接的运行速度大约快一百倍。
2014-10-02 cs.DB
Qrlew: Rewriting SQL into Differentially Private SQL
Sarus
Qrlew 是一个开源库,通过将标准 SQL 解析为跟踪数据类型、取值范围和行所有权的中间表示 Relations,自动重写为差分隐私等价 SQL,使数据所有者无需技术集成即可获得强隐私保证的查询结果。
2024-01-11 cs.DB cs.LG
PixelsDB: Serverless and NL-Aided Data Analytics with Flexible Service Levels and Prices
Renmin University of China(中国人民大学);EPFL(洛桑联邦理工学院)
本文提出开源数据分析系统PixelsDB,通过微调语言模型驱动的自然语言界面生成SQL,结合无服务器查询引擎与灵活SLA定价机制,帮助非专家用户高效探索数据并提升系统可用性。
2024-12-23 cs.AI cs.DB cs.DC
FHE-SQL: Fully Homomorphic Encrypted SQL Database
National Taiwan University(台湾大学)
FHE-SQL提出一种全同态加密数据库系统,在加密状态下执行通用SQL查询,消除泄漏渠道,无需可信硬件,并通过间接架构降低密文开销,实现端到端隐私保护。
2025-10-17 cs.CR cs.DB
LINEAGEX: A Column Lineage Extraction System for SQL
针对现有列级数据血缘系统存在查询执行开销或准确率不足的问题,本文提出轻量级Python库LINEAGEX,通过智能遍历SQL查询解析树和处理歧义实现高覆盖率与准确率的列血缘提取及可视化,助力数据治理。
2025-05-29 cs.DB
Big Data, Big Decisions Choosing the Right Database
本文对比SQL与NoSQL数据库在结构化查询、模式灵活性、数据一致性及水平扩展方面的差异,以帮助组织为大数据场景选择合适方案。
2024-05-09 cs.DB
Scalability of Data Binding in ASP.NET Web Applications
ASP.NET Web应用程序通常使用服务器控件来提供动态网页,并使用数据绑定服务器控件来显示和维护数据库数据。大多数开发人员在开发Web应用程序时使用ASP.NET服务器控件的默认属性,这允许快速开发可行的应用程序。但是,创建高性能、多用户和可伸缩的Web应用程序需要使用自定义代码增强服务器控件。在这项实证研究中,我们评估了各种技术方法对数据驱动的ASP.NET Web应用程序中分页和排序功能的影响:Web服务器上的Web服务器控件中的自动数据分页和排序;数据库服务器上的分页和排序;索引和非索引数据库列;集群与非集群索引。当使用基于SQL存储过程和聚集索引的自定义分页时,我们观察到显著的性能改进。
2012-11-05 cs.DB cs.SE
Declarative Ajax Web Applications through SQL++ on a Unified Application State
即使是一个概念上简单的Web应用程序的实现也需要大量的时间。FORWARD解决了降低开发人员生产力的三个问题:(a)在应用程序架构的不同层使用的多种语言之间的阻抗不匹配。(b)跨应用程序的多个数据源(SQL数据库、浏览器页面的用户输入、应用程序服务器中的会话数据等)的分布式数据访问。(c)页面的异步增量修改,由Ajax操作执行。FORWARD属于一个新颖的Web应用程序框架家族,通过提供单一的统一语言来解决阻抗不匹配问题。FORWARD的语言是SQL++,一种最小扩展的SQL。FORWARD的架构基于两个新的基石:(a)统一应用状态(UAS),它是多个数据源上的虚拟数据库。通过分布式SQL++查询访问UAS,从而解决了分布式数据访问问题。(b)声明性页面规范,将页面显示的数据视为呈现的SQL++页面查询。生成的页面由FORWARD自动增量修改。用户在页面上的输入成为UAS的一部分。我们发现,SQL++捕捉网页的半结构化的性质,并归入两个重要的数据源的UAS的数据模型:SQL数据库和JavaScript组件。我们表明,简单的标记是足够的创建Ajax显示和建模用户输入的页面上作为UAS数据源。最后,我们讨论了页面规范的语法和语义,这些语法和语义是避免用户输入和自动化Ajax页面修改之间的竞争条件和冲突所必需的。FORWARD已被用于开发八个商业和学术应用程序。一个alpha版本的基于W…
2014-06-16 cs.DB cs.SE
Graywulf: A platform for federated scientific databases and services
许多科学领域都依赖于关系数据库管理系统来分析、发布和共享数据。由于RDBMS最初是为业务用例设计的,并且其开发方向主要由业务用例驱动,因此它们通常缺乏对科学应用非常重要的功能。水平可伸缩性可能是最重要的缺失特性,这使得传统的关系数据库系统适应不断增长的数据大小变得具有挑战性。由于对数组数据类型和元数据管理的支持有限,关系数据库管理系统在科学领域的成功应用通常需要开发自定义扩展。虽然其中一些扩展是特定于科学领域的,但其中大多数可以很容易地在其他学科中推广和重用。在Graywulf项目中,我们打算瞄准几个目标。我们正在构建一个通用平台,提供可重复使用的组件,用于有效存储,转换,统计分析和呈现存储在Microsoft SQL Server中的科学数据。Graywulf还解决了当前RDBMS技术所带来的分布式计算问题。当前版本支持简单查询的负载均衡和在一组镜像数据库上并行执行分区查询。通过基于Web的查询接口和软件客户端的数据表面提供对数据的统一用户访问。SQL是以稍微修改过的SQL语法制定的,它提供了分布式数据的透明视图。该软件库由几个组件组成,这些组件可以重用以开发复杂的科学数据仓库:系统注册表、管理整个数据库服务器集群的管理工具、复杂的工作流执行框架和SQL解析器库。
2013-08-06 cs.DB
The CTU Prague Relational Learning Repository
该仓库提供148个多关系SQL数据库及元数据,以支持机器学习研究,由捷克理工大学托管。
2025-03-26 cs.DB cs.LG
Microsoft TerraServer
Microsoft TerraServer将地球的航空和卫星图像存储在SQL Server数据库中,通过Internet向公众提供服务。它是世界上最大的地图集,结合了来自美国大地测量局、Sovinformatnik和Encarta Virtual Globe的5TB图像数据。因特网浏览器为数据提供直观的空间和地名录界面。TerraServer也是一个电子商务应用程序。用户可以购买使用由美国地质勘探局和航空图像管理的微软网站服务器使用图像的权利。本文介绍了TerraServer的设计与实现。
1998-09-05 cs.DB cs.DL
COMPARE: Accelerating Groupwise Comparison in Relational Databases for Data Analytics
数据分析通常涉及在多个维度上比较数据子集,以发现不寻常的趋势和模式。虽然数据子集之间的比较可以使用SQL表示,但它们往往编写起来很复杂,并且在大型和高维数据集上性能较差。本文提出了一种新的关系数据库逻辑运算符COMPARE,它简洁地描述了数据子集之间的枚举和比较,大大简化了一类比较查询的表达。我们扩展了数据库引擎的优化技术,利用语义比较显着提高性能的查询。我们已经实现了这些扩展内Microsoft SQL Server,一个商业DBMS引擎。我们对合成数据集和真实数据集的广泛评估表明,COMPARE比现有方法(包括由当今数据库系统生成的物理计划,用户定义函数(UDF)以及比较数据库外子集的中间件解决方案)具有显着的加速效果。
2021-07-27 cs.DB
JoinBoost: Grow Trees Over Normalized Data Using Only SQL
Columbia University(哥伦比亚大学);Microsoft(微软);DSI, Columbia University(哥伦比亚大学数据科学研究所)
提出JoinBoost库,将树训练算法重写为纯SQL,通过支持因子化梯度提升和优化残差更新,在无需修改DBMS的前提下实现高效可扩展的库内机器学习。
2023-07-01 cs.DB cs.LG
Graphulo Implementation of Server-Side Sparse Matrix Multiply in the Accumulo Database
Apache Accumulo数据库擅长分布式存储和索引,非常适合存储图形数据。许多大数据分析计算图形数据,并将其结果保存回数据库。这些图形计算通常最好在数据库服务器内部执行。GraphBLAS标准通过少量的稀疏矩阵运算为广泛的图形应用提供了紧凑而高效的基础。在本文中,我们通过利用Accumulo的本地高性能迭代器来实现GraphBLAS稀疏矩阵乘法服务器端。我们比较了内外积实现的数学和性能,并展示了外积实现如何在Accumulo的峰值写入速率附近实现最佳性能。我们将我们的工作作为核心组件提供给Graphulo库,该库将为Accumulo中的图形分析提供矩阵数学原语。
2015-08-30 cs.DB cs.DC cs.MS
Flock: A Low-Cost Streaming Query Engine on FaaS Platforms
Flock 是一种基于 FaaS 平台的云原生流式查询引擎,利用函数调用负载进行数据交换,无需外部存储和集中协调器,支持 SQL 和 DataFrame API,相比 Apache Flink 成本降低 10-20 倍且性能相当。
2024-04-21 cs.DB cs.DC
Extending Polaris to Support Transactions
本文扩展云原生分布式框架 Polaris,在只读分析处理基础上利用不可变数据文件和 SQL Server 事务机制,为 Microsoft Fabric 的 T-SQL 提供快照隔离下的通用事务支持。
2024-01-20 cs.DB
LEAP: LLM-powered End-to-end Automatic Library for Processing Social Science Queries on Unstructured Data
本文提出端到端库 LEAP,利用 LLM 与 ML 函数过滤模糊社会科学查询、标注非结构化数据并生成执行代码,在 QUIET-ML 上取得高通过率且成本较低。
2025-01-07 cs.DB
RAG-Driven Data Quality Governance for Enterprise ERP Systems
本文提出一种基于RAG的数据质量治理方法,通过自动化清洗与LLM生成SQL查询,提升企业ERP系统中多语言数据处理效率与准确性。
2025-11-18 cs.AI cs.DB
Committed Private Information Retrieval
本文提出承诺型PIR方案,通过将线性映射承诺与任意线性PIR方案结合,实现即使全部服务器合谋也能验证检索结果正确性,并通过实现证明其实际可行性。
2023-09-25 cs.CR cs.DB cs.IR
Privacy-Preserving Secret Shared Computations using MapReduce
数据外包允许数据所有者将其数据保存在\emph{untrusted}云中,而这些云无法确保数据和/或计算的隐私。MapReduce是一个用于分布式容错数据处理的有用框架,它是为\emph{trusted}私有云开发的。本文提出了基于Shamir的秘密共享方案的数据外包算法,以及在使用MapReduce作为底层编程模型的同时执行隐私保护SQL查询的算法,例如计数,选择(包括范围选择),投影和连接。我们提出的算法防止对手知道数据库或查询,同时也防止输出大小和访问模式的攻击。有趣的是,我们的算法不涉及数据库所有者,它只创建和分发秘密共享一次,在回答任何查询,因此,数据库所有者也不能学习查询。逻辑和实验,我们评估以下参数的算法的效率:(\textit{i})的通信轮数(用户和服务器之间),(\textit{ii})的比特流的总量(用户和服务器之间),和(\textit{iii})在用户和服务器的计算负载。\B
2019-08-06 cs.CR cs.DB cs.DC
A Multi-agent Text2SQL Framework using Small Language Models and Execution Feedback
Griffith University (Australia)(格里菲斯大学);VinUniversity (Vietnam)(文大学);Humboldt-Universitat zu Berlin (Germany)(柏林洪堡大学);The University of Queensland, Australia (2025)(昆士兰大学)
MATS是一种针对小型语言模型的文本到SQL框架,通过多智能体机制和强化学习训练方案,在有限参数下实现与大规模LLM相当的性能。
2025-12-21 cs.AI cs.CL cs.DB