PACE: Poisoning Attacks on Learned Cardinality Estimation
本文研究了学习型基数估计模型的安全风险，提出黑盒投毒攻击方法PACE，通过注入恶意查询至历史工作负载，使模型准确率下降178倍，端到端性能下降10倍。
2024-09-24 cs.CR cs.DB
Are We Ready For Learned Cardinality Estimation?
Simon Fraser University（西蒙菲莎大学）；Tencent Inc.（腾讯公司）
基数估计是查询优化中的一个基本问题，但长期未得到解决。最近，来自不同研究小组的多篇论文一致报告说，学习模型有可能取代现有的基数估计。在本文中，我们提出了一个前瞻性的问题：我们准备好在生产中部署这些学习到的基数模型了吗？我们的研究包括三个主要部分。首先，我们关注静态环境（即，无数据更新），并在统一的工作负载设置下，在四个真实世界的数据集上比较五种新的学习方法和八种传统方法。结果表明，学习模型确实比传统方法更准确，但它们通常具有较高的训练和推理成本。其次，我们探索这些学习的模型是否为动态环境做好了准备（即，频繁的数据更新）。我们发现，他们不能赶上快速的数据更新，并返回大的错误，由于不同的原因。对于不太频繁的更新，它们可以表现得更好，但它们之间没有明显的赢家。第三，我们更深入地研究学习模型，并探索它们何时可能出错。我们的研究结果表明，学习方法的性能可以很大程度上影响的相关性，偏度，或域大小的变化。更重要的是，他们的行为更难解释，而且往往不可预测。基于这些发现，我们确定了两个有前途的研究方向（控制学习模型的成本，使学习模型值得信赖），并提出了一些研究机会。我们希望我们的研究可以指导研究人员和实践者共同努力，最终将学习到的基数估计器推向真正的数据库系统。
2021-08-10 cs.DB cs.LG
Adding Domain Knowledge to Query-Driven Learned Databases
本文针对查询驱动学习型基数估计器依赖大量标注查询且分布外错误严重的问题，提出基于约束的半监督学习方法，将传统优化器的领域知识融入学习型查询优化，从而提升基数估计准确性、减少标注依赖并增强端到端性能鲁棒性。
2023-12-02 cs.DB
SSCard: Substring Cardinality Estimation using Suffix Tree-Guided Learned FM-Index
提出SSCard，一种基于剪枝后缀树和学习型FM-Index的子串基数估计器，通过双向估计算法与误差界限样条插值平衡空间与精度，在五个真实数据集上显著优于现有方法。
2025-05-30 cs.DB
AutoCE: An Accurate and Efficient Model Advisor for Learned Cardinality Estimation
研究为不同数据集选择最佳学习型基数估计模型的问题，提出基于深度度量学习与内部学习的模型顾问AutoCE，集成至PostgreSQL并在准确率和功效上显著优于基线。
2024-09-24 cs.DB
Learned Cardinalities: Estimating Correlated Joins with Deep Learning
我们描述了一种新的深度学习方法来估计基数。MSCN是一个多集合卷积网络，专门用于表示关系查询计划，它采用集合语义来捕获查询特征和真实基数。MSCN建立在基于采样的估计的基础上，解决了它在没有采样元组限定谓词时的弱点，以及捕获连接交叉相关性。我们使用真实数据集对MSCN进行的评估表明，深度学习显著提高了基数估计的质量，这是查询优化的核心问题。
2018-12-18 cs.DB
One stone, two birds: A lightweight multidimensional learned index with cardinality support
本文提出CardIndex结构，以KB级参数同时实现快速多维学习索引和轻量级基数估计，并结合混合估计算法在低选择性查询中实现微秒级精确估计。
2023-05-28 cs.DB cs.DS
CoLSE: A Lightweight and Robust Hybrid Learned Model for Single-Table Cardinality Estimation using Joint CDF
School of Computing（计算学院）；Information Systems University of Melbourne（信息系统墨尔本大学）
CoLSE通过结合皮尔逊理论和轻量级神经网络，实现单表基数估计的高精度与低资源消耗的平衡。
2025-12-14 cs.DB cs.LG
Fully Inductive Cardinality Estimation
Technical University of Munich（慕尼黑工业大学）
该研究提出首个无需重新训练即可泛化到新图的全归纳基数估计器FICE，通过耦合GNN组件实现，在10个KG上较基线显著降低中位数q误差并优化尾部行为。
2026-07-31 cs.DB cs.LG
Degree Sequence Bound For Join Cardinality Estimation
最近的工作表明，查询处理时间的基数估计差的灾难性影响。特别是，低估查询基数可能会导致过于乐观的查询计划，其完成时间比使用真实基数生成的查询计划长几个数量级。基数边界通过使用关于数据库的统计信息（如表大小和度，即值频率）计算查询输出大小的严格上限来避免这个陷阱。在本文中，我们通过证明一个新的界限称为度序列界限，考虑到充分的度序列和最大元组的多重性来扩展这条工作线。这一界限改善了以往的工作，将程度的限制，集中在最大程度，而不是程度序列。此外，我们描述了如何实际计算这个界限使用学习近似的真实度序列。
2022-03-30 cs.DB
A Lightweight Learned Cardinality Estimation Model
Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）
本文提出一种名为CoDe的轻量级数据驱动基数估计方法，通过覆盖设计划分表并利用张量分解建模数据分布，在准确率和推理效率上均达到最先进水平。
2025-08-13 cs.AI cs.DB cs.LG
How I Learned to Stop Worrying and Love Re-optimization
基于成本的查询优化器仍然是分析工作负载的数据库管理系统中最重要的组件之一。尽管现代优化器在通常情况下选择接近最佳性能的计划，但少数查询的速度比它们可能的速度慢一个数量级。在本文中，我们调查为什么仍然是这种情况下，尽管几十年的改进成本模型，计划枚举和基数估计。我们证明了为什么我们认为重新优化机制可能是提高端到端查询性能的最具成本效益的方法。我们发现，即使是一个简单的重新优化方案可以改善许多性能不佳的查询的延迟。我们证明，重新优化将Join Order Benchmark中前20个运行时间最长的查询的端到端延迟提高了27%，实现了完美基数估计的大部分好处。
2019-03-19 cs.DB
Flow-Loss: Learning Cardinality Estimates That Matter
以前的学习基数估计方法集中在改善平均估计误差，但并非所有估计都同样重要。由于学习的模型不可避免地会出错，因此目标应该是改进对优化器产生最大影响的估计。我们引入了一个新的损失函数，流量损失，明确优化更好的查询计划，近似优化器的成本模型和动态规划搜索算法与分析功能。Flow-Loss的核心是将查询优化简化为特定计划图上的流路由问题，其中路径对应于不同的查询计划。为了评估我们的方法，我们引入了基数估计基准，其中包含来自21个模板的超过16 K查询的子计划的真实基数，最多有15个连接。我们表明，在不同的架构和数据库中，使用Flow-Loss训练的模型提高了计划的成本（使用PostgreSQL成本模型）和查询运行时，尽管估计准确性比使用Q-Error训练的模型差。当测试集查询与训练查询紧密匹配时，两个模型都比PostgreSQL显著提高了性能，并且接近最佳性能（使用真基数）。然而，当对稍微不同的查询（例如，相似但不相同的查询模板），而流损失训练模型更好地概括了这种情况。例如，与Q-Error模型相比，Flow-Loss模型在不可见模板上的运行时间提高了1.5倍，尽管利用了相同的模型架构和训练数据。
2021-01-13 cs.DB
Uncertainty-aware Cardinality Estimation by Neural Network Gaussian Process
深度学习（DL）在许多实际应用中取得了巨大成功。尽管它的成功，有一些主要的问题时，部署先进的DL模型在数据库系统中，如超参数调整，过拟合的风险，缺乏预测的不确定性。在本文中，我们研究了基数估计SQL查询的重点是不确定性，我们认为这是重要的数据库系统在处理大量的用户查询各种应用程序。在确保不确定性的情况下，查询优化器可以在学习到的估计器具有较大方差时探索其他选项，而不是信任所学习的估计器，并且还可以更新估计器以改善其在具有高不确定性的区域中的预测。我们探索的方法是不同的方向部署复杂的DL模型在数据库系统中建立基数估计。我们使用贝叶斯深度学习（BDL）作为贝叶斯推理和深度学习之间的桥梁。BDL的预测分布为预测提供了原则性的不确定性校准。此外，当BDL模型的网络宽度趋于无穷大时，该模型表现为高斯过程（GP）。这类特殊的BDL被称为神经网络高斯过程（NNGP），它继承了贝叶斯方法的优点，同时保持了神经网络的普适逼近性，并且可以利用更大的模型空间来建模无分布数据作为非参数模型。我们表明，我们的不确定性感知NNGP估计达到高精度，可以建立非常快，是强大的查询工作量的变化，在我们广泛的性能研究与现有的方法相比。
2021-07-19 cs.DB
Downsizing Diffusion Models for Cardinality Estimation
Chinese Academy of Sciences（中国科学院）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Fudan University（复旦大学）；Tsinghua University（清华大学）
本文提出ADC框架，通过混合架构实现轻量高效的扩散模型，用于高精度基数估计，在处理多向依赖数据时表现更优。
2025-12-17 cs.DB
Forgetting by Pruning: Data Deletion in Join Cardinality Estimation
CEP是一种专为多表学习基数估计系统设计的遗忘框架，通过分布敏感性剪枝和领域剪枝有效减少数据删除带来的高估问题，提升效率并降低计算开销。
2025-11-25 cs.AI cs.DB cs.LG
DistJoin: A Decoupled Join Cardinality Estimator based on Adaptive Neural Predicate Modulation
Harbin Institute of Technology（哈尔滨工业大学）
DistJoin提出解耦多自回归分布预测与自适应神经谓词调制，解决基数估计三难困境，首个同时支持等值与非等值连接，兼具高准确性和快速更新。
2025-09-09 cs.AI cs.DB
Updateable Data-Driven Cardinality Estimator with Bounded Q-error
本文提出ICE，一种基于多维索引的数据驱动基数估计器，通过借鉴索引的快速训练与精确分布特性，实现单表场景下即时元组级更新，并在精度、更新速度和训练时间上显著优于现有实时查询驱动模型。
2024-08-30 cs.DB
Bespoke-Card: Why Tune When You Can Generate? Synthesizing Workload-Specific Cardinality Estimators
Technical University of Darmstadt（达姆施塔特工业大学）；DFKI（德国人工智能研究中心）
提出Bespoke-Card系统，通过智能体驱动合成工作负载特定的基数估计器，利用结构化q-error反馈和课程学习等策略，在JOB上降低33%总运行时间和41%中位数q-error。
2026-07-14 cs.DB
Duet: efficient and scalable hybriD neUral rElation undersTanding
Harbin Institute of Technology（哈尔滨工业大学）
本文提出混合神经基数估计方法 Duet，通过将谓词信息引入自回归模型，消除渐进采样带来的训练成本高、不稳定和长尾分布等问题，实现无采样的直接基数估计，将推理复杂度从 O(n) 降至 O(1)，并在高基数高维表上取得更高精度和更低推理成本。
2023-12-01 cs.AI cs.DB cs.LG
Optimize Cardinality Estimation Model Pretraining by Simplifying the Training Datasets
针对学习型基数估计器预训练中均匀采样数据集非最优的问题，利用Group DRO算法发现特定数据集贡献更大，据此提出缩减至原有一小部分的简化训练数据集，在零样本设置下仍取得与现有模型相当的性能。
2025-05-28 cs.DB cs.LG
QEmbed: A Deep Learning Based Cardinality Estimator for Efficient Query Processing
Indian Institute of Technology Jammu（詹穆印度理工学院）
针对现有基数估计方法在混合高/低基数属性数据集上难以平衡内存与精度的问题，提出基于MADE自回归框架的QEmbed深度学习模型，采用混合编码捕获属性相关性，有效降低极端尾部误差。
2026-09-14 cs.DB
BaCon: Efficient Batch Processing of Counting Queries [Full Version]
Duke University（杜克大学）；University of Waterloo（滑铁卢大学）
针对数据库系统中计数查询生成大规模训练数据成本高的问题，提出BaCon算法，它结合因式分解数据库思想与工作负载感知域量化策略，在PostgreSQL上实现客户端应用程序，加速2倍至178倍，提升基数估计模型训练和维护的实用性。
2026-07-08 cs.DB
Towards Establishing Guaranteed Error for Learned Database Operations
UC Berkeley（加州大学伯克利分校）；University of Southern California（南加州大学）
本文首次从理论上研究了学习型数据库操作（索引、基数估计、范围求和）的误差保证，给出了所需模型大小的下界，为模型规模与数据规模的关系提供了指导，促进了学习模型的实际应用。
2024-11-09 cs.DB cs.LG
FactorJoin: A New Cardinality Estimation Framework for Join Queries
Massachusetts Institute of Technology（麻省理工学院）
基数估计是查询优化中最基本也是最具挑战性的问题之一。无论是经典的还是基于学习的方法在估计连接查询的基数时都不会产生令人满意的性能。它们要么依赖于简化的假设，导致无效的基数估计，要么构建大型模型来理解数据分布，导致规划时间长，缺乏跨查询的通用性。在本文中，我们提出了一个新的框架FactorJoin估计连接查询。FactorJoin结合了经典的join-histogram方法背后的思想，以有效地处理joins与基于学习的方法，以准确地捕获属性相关性。具体来说，FactorJoin扫描数据库中的每个表，并在离线准备阶段构建单表条件分布。当连接查询到来时，FactorJoin将其转换为学习分布上的因子图模型，以有效地估计其基数。与现有的基于学习的方法不同，FactorJoin不需要预先对连接进行反规范化，也不需要执行查询工作负载来训练模型。由于FactorJoin只依赖于单表统计数据，因此它的空间开销很小，并且非常容易训练和维护。在我们的评估中，FactorJoin可以比以前最先进的基于学习的方法产生更有效的估计，估计延迟减少40倍，模型大小减少100倍，训练速度加快100倍，精度相当或更高。此外，FactorJoin可以在一秒钟内估计10，000个子计划查询，以优化查询计划，这与商业DBMS中传统的基数估计器非常接近。
2022-12-11 cs.DB cs.LG
CardOOD: Robust Query-driven Cardinality Estimation under Out-of-Distribution
The Chinese University of Hong Kong（香港中文大学）；Beijing Institute of Technology（北京理工大学）
针对查询驱动基数估计的分布外性能下降问题，提出通用鲁棒学习框架CardOOD，拓展三类学习技术并设计利用基数偏序约束的自监督算法，实验验证有效且已集成至PostgreSQL。
2024-12-08 cs.AI cs.DB
Hollywood: Towards a Large Movie Dataset for Database Benchmarking
University of Technology Nuremberg（纽伦堡工业大学）
研究针对IMDb真实世界数据集无比例因子问题，提出结合大语言模型语义字典和确定性时间图关系数据生成的好莱坞数据集生成方法，实验表明其引发的基数估计误差与原数据集相当或更大，还能测试估计器泛化能力。
2026-07-23 cs.DB
Is it Bigger than a Breadbox: Efficient Cardinality Estimation for Real World Workloads
University of Pennsylvania（宾夕法尼亚大学）；Google（谷歌）；TU Darmstadt（图宾根大学）；ETH（苏黎世联邦理工学院）
针对传统基数估计误差高、学习型估计器运维复杂的问题，提出基于子查询模式哈希的在线局部回归估计方法，开销极低且准确率达SoTA水平，集成PostgreSQL后可显著提升查询效率。
2025-10-03 cs.DB cs.LG
Data-Agnostic Cardinality Learning from Imperfect Workloads
University of Pennsylvania（宾夕法尼亚大学）
GRASP提出一种数据无关的基数估计系统，通过组合式设计、每表模型和计数草图，在不完美工作负载下超越现有查询驱动模型，性能媲美基于数据的传统方法。
2025-06-19 cs.DB cs.LG
TiCard: Deployable EXPLAIN-only Residual Learning for Cardinality Estimation
PingCAP, Data & AI-Innovation Lab（PingCAP数据与人工智能创新实验室）
TiCard通过仅使用解释信息学习残差修正，提升数据库基数估计的准确性和可部署性。
2025-12-17 cs.AI cs.DB
DeepDB: Learn from Data, not from Queries!
学习DBMS组件的典型方法是通过运行一组有代表性的查询来捕获行为，并使用观察结果来训练机器学习模型。然而，这种工作量驱动的方法有两个主要的缺点。首先，收集训练数据可能非常昂贵，因为所有查询都需要在潜在的大型数据库上执行。其次，当工作量和数据发生变化时，必须重新收集训练数据。为了克服这些限制，我们采取了不同的路线：我们建议学习一个纯数据驱动的模型，可以用于不同的任务，如查询回答或基数估计。这种数据驱动的模型还支持临时查询和数据更新，而不需要在工作负载或数据发生变化时进行全面的重新训练。事实上，人们现在可能会认为这是以较低的准确性为代价的，因为工作负载驱动的模型可以利用更多的信息。然而，事实并非如此。我们的实证评估结果表明，我们的数据驱动的方法不仅提供了更好的准确性比国家的最先进的学习组件，但也更好地推广到看不见的查询。
2019-09-02 cs.DB
When Does q-error Predict Plan Regret? Three Regimes of Cardinality-Estimation Error
VaidhyaMegha Private Limited, India（印度VaidhyaMegha私有有限公司）
研究基数估计中q-误差与查询计划质量的关系，发现计划遗憾由三种机制决定：小误差时条件数κ预测更优，大误差时ACS-infinity预测遗憾，而q-误差在查询级别几乎无信息。
2026-06-16 cs.DB cs.LG
From Single to Multiple Attributes: Experimental Insights on Sampling-Based Distinct Combination Estimation in GROUP-BY Queries
Northeastern University（东北大学）
针对多属性GROUP-BY查询中不同组合估计的挑战，通过实验评估现有采样方法，分析误差来源及其对查询计划的影响，并提出优化建议。
2026-07-02 cs.DB
