Probabilistic Frequent Pattern Growth for Itemset Mining in Uncertain Databases (Technical Report)
不确定事务数据库中的频繁项集挖掘在语义和计算上不同于传统的应用于标准（确定）事务数据库的技术。不确定事务数据库由存在不确定项的集合组成。交易项目的不确定性使得传统的技术不适用。在本文中，我们解决的问题，发现概率频繁项集的基础上可能世界语义。在此上下文中，如果X在至少minSup事务中出现的概率高于给定阈值，则项集X被称为频繁项集。我们做了以下贡献：我们提出了第一个概率FP-Growth算法（ProFP-Growth）和相关的概率FP-Tree（ProFP-Tree），我们使用它来挖掘不确定事务数据库中的所有概率频繁项集，而无需候选生成。此外，我们提出了一个有效的技术来计算的支持概率分布的项目集在线性时间使用生成函数的概念。一个广泛的实验部分评估我们提出的技术，并表明我们的ProFP-Growth方法是显着快于目前最先进的算法。
2010-08-13 cs.DB
Making massive probabilistic databases practical
不完整和不精确数据的存在已经将数据库范式从确定性信息转移到概率信息。概率数据库包含可能存在或可能不存在某种概率的元组。因此，可以从概率数据库中观察到的可能的确定性数据库实例的数量随着概率元组的数量呈指数增长。在本文中，我们考虑的问题，回答聚集和非聚集查询的海量概率数据库。我们采用元组独立模型，其中每个元组被分配一个概率值。我们开发了一种方法，利用概率生成函数（PGF）来有效地回答这样的查询。我们的方法为每个元组维护一个多项式。它逐步构建一个主多项式，精确地表达可能的结果值的分布。我们还开发了一种近似方法，发现结果值的分布可以忽略不计的误差。我们的实验表明，我们的方法比最近回答此类查询的系统（包括MayBMS和SPROUT）快了几个数量级。在我们的实验中，我们能够在TPC- H查询上扩展到几TB的数据，而现有的方法只能在相同的查询上运行几GB的数据。
2013-07-02 cs.DB
Independence in Infinite Probabilistic Databases
概率数据库（ProbabilityDatabase，PDBs）是一种对数据不确定性进行建模的方法。目前的标准是将PDB看作是关系数据库实例上的有限概率空间。由于典型数据库中的许多属性都具有无限域，例如整数、字符串或实数，因此将PDB视为数据库实例上的无限概率空间通常更自然。在本文中，我们奠定了无限概率数据库的数学基础。我们的重点是独立性假设。元组独立的PDB在PDB的理论和实践中起着核心作用。在这里，我们研究无限元组独立的PDB以及相关的模型，如无限块独立的不相交的PDB。虽然PDBs的标准模型侧重于基于集合的语义，我们也研究了元组独立的PDBs与袋语义和独立的PDBs在不可数的事实空间。我们还提出了一种具有开放世界假设的PDB新方法，解决了Ceylan等人提出的问题。（Proc. KR 2016）并推广了他们的工作，这仍然植根于有限元组独立的PDB。此外，对于可数的PDB，我们提出了一个近似的查询回答算法。
2022-05-31 cs.DB
Consistency Checking and Querying in Probabilistic Databases under Integrity Constraints
我们解决的问题，将一个特定的表达形式的完整性约束（即拒绝约束）到概率数据库。为了这个目标，我们远离的共同方式，给语义的概率数据库，这依赖于考虑一个独特的解释的数据，并解决两个基本问题：一致性检查和查询评估。前者在于验证是否存在符合元组的边缘概率和完整性约束的解释。后者是在“谨慎”范式下回答询问的问题，考虑到根据限制对数据的所有解释。在这种情况下，我们调查上述问题的复杂性，并确定几个易于处理的情况下，实际相关性。
2013-03-13 cs.DB
A Formal Framework For Probabilistic Unclean Databases
大多数关注数据错误和不一致的理论框架都遵循基于逻辑的推理。然而，实际的数据清理工具需要结合统计推理，才能在现实世界的数据清理任务中发挥作用。这些经验的成功的动机，我们提出了一个正式的框架不干净的数据库，其中两种类型的统计知识被纳入：第一个代表的信念是如何产生的预期（干净）的数据，第二个代表的信念是如何在实际观察到的数据库实例中引入噪声。为了捕获这种噪声信道模型，我们引入了概率不干净数据库（PUD）的概念，这是一个三元组，由我们称之为意图的概率数据库，我们称之为实现的概率数据变换器和捕获噪声如何引入的概率数据变换器，以及我们称之为观察的脏观察数据库实例组成。我们在PUD框架中定义了三个计算问题：清理（推断给定PUD的最可能的干净实例），概率查询应答（计算不干净观察实例上的应答元组的概率）和学习（估计给定训练数据集合的PUD的最可能意图和实现模型）。我们说明了PUD框架的具体表示的意图和实现，表明他们概括了传统的维修概念，如基数和值的维修，绘制连接到一致的查询回答，并证明易处理的结果。我们进一步证明了参数可以在实际实例中学习，事实上，证明了在某些条件下，我们可以直接从一个脏数据库实例中学习PUD，而不需要任何干净的例子。
2019-01-25 cs.DB
Infinite Probabilistic Databases
本文提出用有限点过程构建无限概率数据库的模型，解决不可数空间下查询语义的定义问题，并证明了关系代数、聚合及 Datalog 查询的可测性。
2022-02-24 cs.DB
Aggregation in Probabilistic Databases via Knowledge Compilation
在基于半环和半模代数结构的概率数据表示系统上，提出了一种基于聚集的正关系代数查询的查询评价技术。我们的评估技术的核心是一个程序，编译半模和半环表达式到所谓的分解树，其中的概率分布的计算可以在时间线性的产品中的概率分布的大小表示其节点。我们利用查询易处理性和多项式时间分解树之间的联系，给出了具有聚集的易处理查询的语法特征。该技术的原型被纳入概率数据库引擎SPROUT。我们报告自定义数据集和TPC-H数据的性能实验。
2012-01-31 cs.DB
Scalable Entity Resolution Using Probabilistic Signatures on Parallel Databases
准确和高效的实体解析是一个公开的挑战，对于从不同来源收集具有不同质量和标准水平的大型数据集的情报组织来说尤其重要。从实体解析的第一性原理出发，提出了一种新的实体解析算法，该算法基于数据中实体签名的概率识别，引入了数据驱动的分块和记录链接技术。所提出的算法的可扩展性和准确性进行评估，使用基准数据集，并显示达到国家的最先进的结果。所提出的算法可以简单地实现在现代并行数据库，这使得它可以部署在大型工业应用相对容易。
2018-03-19 cs.DB
On A Theory of Probabilistic Deductive Databases
我们提出了一个框架，建模的不确定性，信念和怀疑，可以给予独立的，一流的地位。我们采用概率论作为操纵不确定性的数学形式。智能体可以用置信水平的形式来表达她对一条信息的知识的不确定性，置信水平由一对概率区间组成，一个区间代表她的信念和怀疑。置信水平的空间自然导致了三格的概念，在精神上类似于Fitting的双格。直觉上，在这样一个三点阵中的点可以根据真值、信息或精确度来排序。我们开发了一个框架，概率演绎数据库相关联的置信水平与经典演绎数据库的事实和规则。虽然trilattice结构提供了多种选择，定义概率演绎数据库的语义，我们的语义选择是基于真值排序，我们发现这是最接近的演绎数据库的经典框架。除了提出一个基于赋值的声明语义和一个基于不动点理论的等价语义外，我们还提出了一个证明过程，并证明了它的合理性和完整性。我们发现，虽然经典的Datasheet查询程序有一个多项式时间的数据复杂性，某些查询程序的概率演绎数据库框架，甚至不终止在一些输入数据库。我们确定了一个大的自然类的查询程序的实际利益，在我们的框架，并表明，在这类程序具有多项式时间的数据复杂性，即，它们不仅在每个输入数据库上终止，而且保证在输入数据库大小的多个多项式步骤中终止。
2003-12-18 cs.DB
Lineage-Aware Temporal Windows: Supporting Set Operations in Temporal-Probabilistic Databases
在时间-概率（TP）数据库中，时间维和概率维的结合给集合运算的计算增加了显著的开销。虽然集合查询保证产生线性大小的输出关系，现有的解决方案表现出二次运行时的复杂性。他们遭受冗余的区间比较和额外的连接，形成谱系表达式。本文对TP数据库中集合运算的语义进行了形式化的定义，并研究了它们的性质。为了提高计算效率，我们引入了谱系感知的时间窗口，这是一种直接将区间与谱系表达式绑定的机制。我们提出了一种线性窗口推进器（LAWA），用于在线性时间内产生两个TP关系的窗口，并基于LAWA实现了所有的TP集合运算。通过利用谱系感知时间窗口的灵活性，我们执行直接过滤不相关的间隔和输出谱系表达式的终结，从而保证不需要额外的计算成本或缓冲区空间。在合成和真实世界数据集上的一系列实验表明：（a）我们的方法具有可预测的性能，仅取决于输入大小，而不是每个事实的时间间隔数量或它们的重叠，并且（b）它在时间和概率数据库中的性能优于最先进的方法。
2019-10-01 cs.DB
HypeR: Hypothetical Reasoning With What-If and How-To Queries Using a Probabilistic Causal Approach
假设分析（为数据库更新提供支持）和方法分析（如何修改数据库以实现目标）为希望检查假设场景而不对数据库进行实际更改的用户提供了见解，从而帮助他们在自己的领域规划战略。通常，此类分析是通过测试现有数据库中的更新对由感兴趣的查询创建的特定视图的影响来完成的。然而，在现实场景中，由于隐含的语义依赖性，对数据库特定部分的更新可能会影响完全不同部分中的元组和属性。为了允许假设推理，同时适应这种依赖关系，我们开发HypeR，一个框架，支持什么，如果和如何查询占概率因果模型捕获的属性之间的概率依赖关系。我们扩展的SQL语法，包括必要的运营商表示这些假设的查询，定义它们的语义，设计有效的算法和优化计算结果使用的概念因果关系和概率数据库，并评估我们的方法的有效性实验。
2022-03-28 cs.DB
The Dichotomy of Conjunctive Queries on Probabilistic Structures
我们表明，对于每一个合取查询，评估它的概率数据库的复杂性是\PTIME或#¶-完成，我们给出了一个算法，用于决定是否一个给定的合取查询是\PTIME或#¶-完成。二分法是概率数据库查询评价的一个基本结果，它给出了合取查询复杂性的一个完整分类。
2007-01-13 cs.DB
Probabilistic Database Summarization for Interactive Data Exploration
我们提出了一种概率方法来生成一个小的，可查询的摘要的数据集进行交互式数据探索。从传统的摘要技术出发，我们使用最大熵的原则来生成一个概率表示的数据，可以用来给近似的查询答案。我们开发的理论框架和制定我们的概率表示，并展示如何使用它来回答查询。然后，我们提出了解决技术，并给出了三个关键的优化，以提高预处理时间和查询精度。最后，我们使用美国境内的5 GB航班数据集和来自天文粒子模拟的210 GB数据集对我们的工作进行了实验评估。虽然我们目前的工作只支持线性查询，但我们表明，我们的技术可以比采样更快地成功回答查询，同时平均引入比采样更多的错误，并且可以更好地区分罕见和不存在的值。
2017-05-23 cs.DB
Symbolic Querying of Vector Spaces: Probabilistic Databases Meets Relational Embeddings
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了统一的技术，从概率数据库和关系嵌入模型的目标执行复杂的查询不完整和不确定的数据。我们形式化的概率数据库模型，所有的查询。这使我们能够利用来自概率数据库的丰富的理论和算法文献来解决问题。虽然这种形式化可以与任何关系嵌入模型一起使用，但缺乏定义良好的联合概率分布会导致简单的查询问题变得难以证明。考虑到这一点，我们引入\TO，一个关系嵌入模型，旨在成为一个易于处理的概率数据库，利用典型的嵌入假设的概率框架。使用一个原则，高效的推理算法，可以从它的定义，我们经验证明，\TOs是一个有效的和一般的模型，这些查询任务。
2020-06-27 cs.AI cs.DB
The Consistency of Probabilistic Databases with Independent Cells
具有属性级不确定性的概率数据库由关系组成，其中某些属性的单元格可能包含概率分布而不是确定性内容。这样的数据库出现，隐式或显式，在噪声操作的上下文中，如缺失数据填补，其中我们自动填充缺失值，列预测，其中我们预测未知属性，以及数据库清理（和修复），其中我们由于检测到的错误或违反完整性约束而替换原始值。我们研究的计算复杂性的问题，考虑在存在完整性约束的细胞值的选择。更确切地说，我们专注于函数依赖性，并研究三个问题：（1）决定是否可以满足任何选择的值的约束，（2）找到一个最可能的选择，（3）计算满足约束的概率。这些问题的数据复杂性由函数依赖集和不确定属性集的组合决定。我们给出了完整的分类到几类约束，包括一个单一的依赖关系，匹配的约束，和一元函数依赖关系的易处理和棘手的复杂性。
2022-12-23 cs.DB
On Constrained Open-World Probabilistic Databases
Department of Computer Science（计算机科学系）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
越来越多的可用数据导致了对表示大规模概率知识库的高度需求。一种方法是使用概率数据库，这是一种具有强假设的模型，可以有效地回答许多有趣的查询。最近的工作开放世界概率数据库加强了这些概率数据库的语义，丢弃的假设，任何信息不存在的数据必须是假的。虽然直观，但这些语义不够精确，无法为查询提供合理的答案。我们建议通过使用约束来限制这个开放的世界来克服这些问题。我们为一类查询提供了一个算法，并为另一类查询建立了一个基本的硬度结果。最后，我们提出了一个有效的和紧密的近似的一大类查询。
2019-04-02 cs.AI cs.DB
Conditioning Probabilistic Databases
Cornell University（康奈尔大学）；Oxford University（牛津大学）
过去对概率数据库的研究主要是在静态数据库上回答查询的问题。然而，概率数据库的应用场景通常涉及使用新证据形式的附加信息来调节数据库。因此，条件问题是将先验概率数据库转换为后验概率数据库，该后验概率数据库被物化以用于后续查询处理或进一步细化。事实证明，条件问题与计算精确元组置信度值的问题密切相关。精确置信度计算是一个NP难问题。这使得研究人员考虑近似技术的置信度计算。然而，无论是条件还是精确的置信度计算都不能使用这种技术来解决。在本文中，我们提出了有效的技术，这两个问题。我们研究了几种问题分解方法和算法，它们是基于约束满足中最成功的搜索技术，如Davis-Putnam算法。我们补充这一点，提出了一个彻底的实验评估的算法。我们的实验表明，我们的精确算法可以很好地扩展到现实的数据库大小，并在某些情况下，可以与以前最有效的近似算法。
2008-06-16 cs.AI cs.DB
Probabilistic Top-k Dominating Queries in Distributed Uncertain Databases (Technical Report)
在诸如业务规划和传感器数据监视的许多现实世界应用中，一个重要但具有挑战性的任务是对对象（例如，产品、文档或空间对象），并有效地返回具有最高分数的那些对象。在实际应用中，由于数据源的不可靠性，许多现实世界的对象往往包含噪声，因此是不精确和不确定的。在本文中，我们研究的问题，概率top-k支配（PTD）查询这样的大规模不确定数据在分布式环境中，检索k个不确定对象从分布式不确定数据库（在多个分布式服务器），具有最大的排名分数与高的置信度。为了有效地解决分布式PTD问题，我们提出了一个MapReduce框架，用于处理分布式不确定数据库上的分布式PTD查询。在这个MapReduce框架中，我们设计了有效的修剪策略来过滤分布式环境中的误报，提出了基于成本模型的服务器索引分发机制，并开发了高效的分布式PTD查询处理算法。大量的实验已经证明了我们提出的分布式PTD方法的效率和有效性的真实和合成数据集，通过各种实验设置。
2021-05-12 cs.DB
Probabilistic Databases with an Infinite Open-World Assumption
概率数据库（PDB）通过为几个可能的实例指定概率，将不确定性引入关系数据库。传统上，它们是数据库实例上的有限概率空间。这种有限的PDB本质上是一个封闭世界的假设：不发生的事实被认为是不可能的，而不仅仅是不可能。正如Ceylan等人令人信服地论证的那样。（KR '16），这导致了令人难以置信的结果，并与直觉相冲突。一个开放世界的假设，其中没有明确列出的事实可能有一个小的正概率可以产生更合理的结果。Ceylan等人的相应开放世界模型，然而，假设PDB中的所有实体都来自固定的有限域。在这项工作中，我们更进一步，提出了一个模型的“真正的”开放世界的PDB与无限的宇宙。当我们考虑来自典型域（如整数、实数或字符串）的实体时，这是很自然的。虽然概率空间可能变得无限大，但PDB的所有实例仍然是有限的。我们提供了一个健全的数学框架无限PDBs推广现有的有限PDBs的理论。我们的主要研究结果与可数，元组独立的PDBs，我们提出了一个通用的建设表明，这样的PDBs存在于无限的，并提供了一个表征他们的存在。这种构造可以用来给有限PDB一个开放世界的语义。该构造也可以扩展到所谓的块独立不相交概率数据库。数学问题不是本文的重点，但我们展示了如何查询评估算法可以从有限的PDBs进行近似评估（与任意小的添加剂近似误差）在可数无限元组独立的PDBs。
2019-04-11 cs.DB
Securing Databases from Probabilistic Inference
当用户将查询结果与概率数据依赖和先验知识结合时，数据库可能泄漏机密信息。目前的研究提供的机制，要么处理有限的一类依赖关系或缺乏易处理的执行算法。我们提出了一个基于概率逻辑程序设计语言ProbLog的数据库推理控制的基础。我们利用这个基础来开发Angerona，这是一种可证明安全的执行机制，可以防止存在概率依赖关系时的信息泄漏。然后，我们提供了一个易于处理的推理算法的ProbLog的实际相关片段。我们经验评估Angerona的表现表明，它的规模相关的安全关键问题。
2017-06-08 cs.CR cs.DB
Probabilistic Query Evaluation with Bag Semantics
本文研究袋语义概率数据库上的查询求值复杂性，区分答案多重度期望与至多出现 k 次的概率，并证明期望易算、无自连接合取查询的概率求值存在多项式时间与 #P 困难二分。
2023-07-17 cs.DB
Efficient Subgraph Similarity Search on Large Probabilistic Graph Databases
由于子图相似性搜索在生物信息学、社会网络分析、资源描述框架（RDF）数据管理等领域有着广泛的应用，人们对确定图上的子图相似性搜索进行了大量的研究。所有这些工作都假定基础数据是确定的。然而，在现实中，由于各种因素，如数据提取中的错误，数据集成中的不一致性和隐私保护目的，图往往是嘈杂和不确定的。因此，本文研究了大型概率图数据库上的子图相似性搜索。与以往的工作不同，我们假设不确定图中的边是相互独立的，我们研究了边的出现是相关的不确定图。我们正式证明了概率图上的子图相似性搜索是P-完全的，因此，我们采用了过滤和验证框架来加快搜索速度。在过滤阶段，我们开发了紧的子图相似性概率的上下界的基础上的概率矩阵索引，PMI。PMI由与子图同构概率的上下界紧密相关的判别子图特征组成。基于PMI，我们可以整理出大量的概率图，并最大限度地提高剪枝能力。在验证阶段，我们开发了一个有效的抽样算法来验证剩余的候选人。我们提出的解决方案的效率已通过大量的实验验证。
2012-05-30 cs.DB
BayesWipe: A Scalable Probabilistic Framework for Cleaning BigData
最近在结构化数据的数据清理方面的努力完全集中在数据重复删除、记录匹配和数据标准化等问题上;解决这些问题的方法都没有集中在修复元组中不正确的属性值上。纠正元组中的值通常通过违反静态约束（如CFD）的元组的最小成本修复来执行（必须由领域专家提供，或从数据库的干净样本中学习）。在本文中，我们提供了一种方法来纠正个人属性值的结构化数据库中使用贝叶斯生成模型和统计误差模型直接从噪声数据库中学习。因此，我们避免了领域专家或干净的主数据的必要性。我们还展示了如何有效地执行一致的查询回答使用此模型在一个肮脏的数据库，在情况下写权限的数据库不可用。我们评估我们的方法在合成和真实数据。
2015-06-30 cs.DB
Challenges for Efficient Query Evaluation on Structured Probabilistic Data
概率数据的查询应答是一项重要的任务，但通常是棘手的。然而，最近已经提出了一种用于该问题的新方法，该方法基于输入数据库的结构分解，例如，树分解本文提出了一个设想的概率数据的数据库管理系统建立在这种结构化的方法。我们回顾了我们现有的和正在进行的关于这一主题的工作，并强调了许多仍有待解决的理论和实践挑战。
2016-07-19 cs.DB
Probabilistic Reasoning at Scale: Trigger Graphs to the Rescue
本文提出利用触发图（TGs）构建大规模概率推理技术，通过避免显式物化 lineage 并分组相似推导来高效存储概率模型，原型系统 LTGs 在速度和可扩展性上均优于现有引擎。
2023-04-11 cs.DB
Stochastic Package Queries in Probabilistic Databases
我们提供了在不确定性下的决策支持的数据库中的方法。许多重要的决策问题对应于选择一个包（关系数据库中的元组包），该包共同满足一组约束，同时最小化某些总体成本函数;在大多数现实世界的问题中，数据是不确定的。我们提供了指定方法-通过SQL扩展-和处理随机包查询（SPQ），以解决不确定数据的优化问题，就在数据所在的位置。随机规划中的先前工作使用蒙特卡罗方法，其中原始随机优化问题由包含许多场景的大型确定性优化问题来近似，即，不确定数据值的示例实现。然而，对于大型数据库表，需要大量的场景，导致性能低下，并且经常导致求解器软件失败。因此，我们提供了一种新的SummarySearch算法，而不是试图解决一个大的确定性问题，无缝地近似它通过一系列较小的问题定义在精心制作的情况下，加速收敛到一个可行的和接近最优的解决方案的摘要。在我们的原型系统上的实验结果表明，SummarySearch在寻找可行的高质量软件包方面可以比现有方法快几个数量级。
2021-03-11 cs.DB
Faster Query Answering in Probabilistic Databases using Read-Once Functions
如果布尔表达式的每个变量只出现一次，则该表达式为只读形式。当变量表示概率空间中的独立事件时，由只读形式的整个表达式表示的事件的概率可以在多项式时间内计算（而任意表达式的一般问题是#P-完全的）。检查只读属性的已知方法似乎需要将这些表达式置于析取范式中。在本文中，我们讲述了一个更好的故事布尔事件表达式的一个大的子类：那些没有自连接和元组独立的概率数据库上的合取查询生成的。我们首先表明，给定一个元组独立的表示和起源图的SPJ查询计划没有自连接，我们可以，而不使用DNF的结果事件表达式，有效地计算其同现图。由此，如果存在一次读取形式，则已经可以使用现有技术高效地计算该形式。我们的第二个和关键的贡献是一个完整的，高效的，简单的实现算法，直接计算只读一次的形式（只要它们存在），使用一个新的概念，即共表图，它可以显着小于同现图。
2010-12-04 cs.DB
Probabilistic Counting in Uncertain Spatial Databases using Generating Functions
由于许多原因，位置数据本质上是不确定的，包括1）不精确的位置测量，2）经常被内插的过时观测，以及3）故意混淆以保护位置隐私。处理不确定性数据的挑战在于，对于具有N个不确定对象的数据库，可能世界的数量呈指数级增长，其数量为O（2^N），因为已经表明，不确定空间数据中的一般查询处理是NP-难的。许多使用空间数据的应用程序需要计算区域内空间对象的数量。一个例子是k-最近邻（kNN）查询：询问对象A是否是另一个对象Q的kNN相当于询问是否有不超过k-1个对象位于以Q为中心的圆内，该圆的半径等于Q和A之间的距离。针对区域内不确定对象的计数问题，提出了一种基于生成函数的有效解决方案，并成功应用于范围计数查询、kNN查询、距离排序查询和反向kNN查询等领域。这个空间宝石描述了概率计数的生成函数技术，并提供了示例和实现细节。
2021-12-12 cs.DB
Histograms and Wavelets on Probabilistic Data
人们越来越认识到，不确定信息是现代数据库管理中的一等公民。因此，我们需要技术来正确和有效地处理数据库系统中的不确定数据。特别是，数据简化技术，可以产生简洁，准确的概要大概率关系是至关重要的。类似于它们的确定性关系对应物，这种紧凑的概率数据概要可以形成人类理解和交互式数据探索、概率查询规划和优化以及概率数据库系统中的快速近似查询处理的基础。在本文中，我们介绍了建立基于直方图和小波的概要概率数据的定义和算法。其核心问题是选择一组直方图桶边界或小波系数，以优化概率元组集合的近似表示在给定的误差度量下的精度。对于各种不同的误差度量，我们设计了有效的算法，构建最佳或接近最佳的B-项直方图和小波概要。这需要仔细分析的概率分布的结构，和已知的动态编程为基础的技术的确定性域的新的扩展。我们的实验表明，这种方法明显优于简单的想法，例如为从数据分布中提取的样本构建摘要，同时花费相同或更少的时间。
2008-06-05 cs.DB
Approximate Lifted Inference with Probabilistic Databases
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
本文提出了一种新的近似评估的概率数据库的#P-hard查询。在我们的方法中，每一个查询都是在数据库引擎中进行评估的，通过评估固定数量的查询计划，每个计划提供一个真实概率的上限，然后取其最小值。我们提供了一个算法，考虑到重要的模式信息，枚举所有可能的计划中只有最小的必要计划。重要的是，该算法是PTIME self-join-free合取查询的所有已知结果的严格推广：当且仅当我们的算法返回一个单一计划时，查询是安全的。我们还应用了三个关系查询优化技术，以评估所有最小的安全计划非常快。我们给我们的方法进行了详细的实验评估，并在这个过程中，提供了一种新的思路的概率方法的非概率方法的查询答案排名的价值。
2014-12-02 cs.AI cs.DB
Infinite Probabilistic Databases
概率数据库（PDB）用于以定量的方式对数据中的不确定性进行建模。在标准的形式化框架中，PDB是关系数据库实例上的有限概率空间。已经令人信服地论证了这与开放世界语义不兼容（Ceylan等人，KR 2016）以及通过连续概率分布建模的应用场景（Dalvi等人，CACM 2009）。我们最近引入了一个PDB模型作为解决这些问题的无限概率空间（Grohe和Lindner，PODS 2019）。虽然这项工作主要涉及可数无限概率空间，但我们这里的重点是不可数空间。这样的扩展是必要的，以模拟出现在许多应用程序中的典型连续概率分布。然而，可数概率空间以外的扩展提出了与事件和查询的可测量性有关的非平凡的基础问题，并最终与查询是否具有定义良好的语义的问题。事实证明，所谓的有限点过程是概率论中处理概率数据库的适当模型。该模型允许我们以系统的方式构造数据库实例的合适的（不可数的）概率空间。我们的主要技术成果是关系代数查询以及聚合查询和数据库查询的可测性声明。
2020-01-08 cs.DB cs.LO
A Unified Approach to Ranking in Probabilistic Databases
自然生成概率性的、不确定的数据的应用领域的数量的急剧增长导致了对有效地支持对此类数据的复杂查询和决策的需求。在本文中，我们提出了一个统一的方法来排名和top-k查询处理概率数据库，将其视为一个多标准优化问题，并通过推导出一组功能，捕获的关键属性的概率数据集，决定排名的结果。我们认为，一个单一的，特定的排名功能可能不足以概率数据库，我们提出了两个参数化的排名功能，称为PRF-W和PRF-E，概括或可以近似许多以前提出的排名功能。我们提出了新的生成函数为基础的算法，有效地排名大数据集，根据这些排名功能，即使数据集表现出复杂的相关性建模使用概率和/异或树或马尔可夫网络。我们进一步建议，排名功能的参数从用户的喜好，我们开发了一种方法来学习这些参数。最后，我们提出了一个全面的实验研究，说明了我们的参数化的排名功能，特别是PRF-E，在近似其他排名功能和我们提出的算法的可扩展性，精确或近似排名的有效性。
2010-12-15 cs.DB cs.DS
Generalized Lineage-Aware Temporal Windows: Supporting Outer and Anti Joins in Temporal-Probabilistic Databases
具有否定的时间概率（TP）连接的结果包括在每个时间点，对于给定的连接条件$θ$，正关系${\bf p}$的元组不匹配负关系${\bf n}$中的元组的概率。因此，在存在时间点的情况下，TP外连接和反连接也类似于关系外连接和反连接的特征，在该时间点，来自${\bf p}$的输入元组分别具有为$true$的非零概率，并且来自${\bf n}$的输入元组分别具有为$false$的非零概率。对于TP连接与否定的计算，我们引入广义谱系感知的时间窗口，一种机制，将输出间隔绑定到每个输入关系的所有匹配的有效元组的谱系。我们将两个TP关系的窗口分组为三个不相交的集合，基于属性、谱系表达式和区间的产生方式。我们计算所有的窗口在一个增量的方式，我们表明，流水线计算允许我们的方法直接集成到PostgreSQL。因此，我们减轻了现有方法的区间计算中普遍存在的冗余，这是通过对真实世界数据集的广泛实验评估来证明的。
2019-02-12 cs.DB
Solving a Special Case of the Intensional vs Extensional Conjecture in Probabilistic Databases
本文研究了元组独立数据库上的合取并（UCQ）的精确概率推理问题。对于这一问题，目前有两种办法并存。在可拓方法中，查询评估是通过利用查询的结构来执行的，并且在很大程度上依赖于包含-排除原则的使用。在内涵的方法，首先建立一个表示的血统的查询在一个易于处理的形式主义的知识汇编。然后，所选择的形式主义应该确保可以使用简单的不相交性和独立性假设有效地计算概率，而不需要执行包含-排除。长期以来，外延方法被认为比内涵方法更强大，原因是对于某些查询，使用包含-排除似乎不可避免。在本文中，我们介绍了一种新的技术来构建世系表示为确定性可分解的电路在多项式时间。我们证明，这种技术适用于一类UCQ已被证明分离的两种方法的复杂性。在本质上，我们表明，依赖于包含-排除公式可以避免使用否定。这个结果带来了希望，证明内涵方法可以处理所有易处理的UCQ。
2020-03-16 cs.DB
Compiling Relational Database Schemata into Probabilistic Graphical Models
University of Massachusetts（马萨诸塞大学）；Microsoft Research（微软研究院）
在这项工作中，我们提出了一种方法，使用关系数据库模式自动构建贝叶斯图形模型的数据库，而不是需要一个领域的专家来指定的数据的概率依赖关系。此生成的模型包含列的自定义分布、对数据进行聚类的潜在变量以及反映和表示外键链接的因子。实验证明了该模型的准确性和推理的可扩展性的合成和真实世界的数据。
2012-12-05 cs.AI cs.DB cs.LG
Scalable Probabilistic Databases with Factor Graphs and MCMC
University of Massachusetts（马萨诸塞大学）
概率数据库在不确定数据的管理和理解中起着至关重要的作用。然而，将概率纳入不完整数据库的语义中带来了许多挑战，迫使系统牺牲建模能力，可扩展性，或限制它们关闭的关系代数公式的类别。我们提出了一种替代方法，其中底层的关系数据库总是代表一个单一的世界，和一个外部因素图编码的分布在可能的世界，马尔可夫链蒙特卡罗（MCMC）推理，然后使用恢复这种不确定性所需的保真度水平。我们的方法可以有效地评估任意查询的概率数据库与任意依赖关系表示的图形模型的结构，在推理过程中发生变化。MCMC采样通过假设{ \em修改}到可能的世界而不是从头开始生成整个世界来提供效率。然后，在世界发生变化的部分上运行查询，避免了在每个采样世界上运行完整查询的繁重成本。这项工作的一个重要创新是MCMC采样和物化视图维护技术之间的连接：我们发现经验，使用视图维护技术是几个数量级的速度比天真地查询每个采样的世界。我们还展示了我们的系统的能力，回答关系查询与聚合，并通过使用并行化展示了额外的可扩展性。
2010-05-11 cs.AI cs.DB
Probabilistic Nearest Neighbor Queries on Uncertain Moving Object Trajectories
轨迹数据库中的最近邻查询由于在时空数据分析中的应用而受到广泛关注。最近的工作已经考虑了现实的情况下，轨迹是不确定的，但是，只有简单的不确定性模型已经提出，这不允许准确的概率搜索。在本文中，我们填补了这一空白，解决数据库中的概率最近邻查询与不确定的轨迹建模的随机过程，特别是马尔可夫链模型。我们研究了三个最近邻查询语义，作为输入的查询状态或轨迹$q$和时间间隔。对于某些查询，我们表明，没有多项式时间的解决方案可以找到。对于可以解决的问题，在PTIME，我们提出了精确的查询评估算法，而对于一般情况下，我们提出了一个复杂的采样方法，它使用贝叶斯推理，以保证采样轨迹符合数据库中存储的观测数据。这种采样方法可以用于基于Monte-Carlo的近似解。我们包括一个广泛的实验研究，以支持我们的理论结果。
2014-01-20 cs.DB
Generative Datalog with Stable Negation
在计算机科学中，用随机行为（如概率选择或随机采样）扩展程序设计语言有着悠久的传统。最近在这个方向上的发展是Barany等人在2017年提出的声明性概率程序设计语言，它在标准关系数据库上运行。特别是，Barany等人提出了生成式数据库，这是数据库的概率扩展，允许从离散概率分布中进行采样。直觉上，生成数据库程序P在输入数据库D上的输出是D和P的最小模型上的概率空间，即所谓的可能结果。这是Datasheet的（确定性）语义的自然概括，其中程序在数据库上的输出是其唯一的最小模型。一个自然的问题是如何生成的数据库可以与否定的有用功能，这反过来又导致了一个严格更具表达性的声明性概率程序设计语言丰富。特别是，具有挑战性的问题是如何生成的否定数据的概率语义可以鲁棒地定义。我们的目标是通过根据稳定模型语义解释否定来回答这个问题。
2022-06-24 cs.DB
A probabilistic database approach to autoencoder-based data cleaning
University of Twente（特文特大学）；University of Cambridge（剑桥大学）
数据质量问题是数据科学中的一大威胁。在本文中，我们提出了一个数据清理自动编码器能够接近自动的数据质量改善。它学习数据中的结构和依赖关系，并将其作为证据来识别和纠正可疑值。我们应用概率数据库的方法来表示弱和强的证据属性值修复。提供了一个理论框架，实验表明，它可以去除大量的噪声（即，数据质量问题）。我们的方法不需要干净的数据。然而，我们确实表明，手动清理一小部分数据可以显着提高性能。
2021-08-03 cs.AI cs.DB cs.LG
Tuple-Independent Representations of Infinite Probabilistic Databases
概率数据库（PDB）是数据库实例上的概率空间。它们为处理数据库中的不确定性提供了一个框架，这些不确定性是由于数据集成、噪声数据、来自不可靠来源的数据或随机过程而发生的。大多数现有的理论文献研究有限，元组独立的PDB（TI-PDB）的元组的出现是独立的事件。直到最近，Grohe和Lindner（PODS '19）才在有限域假设之外引入了PDB的独立性假设。在有限的，一个主要的论点，讨论TI-PDB的理论属性是，他们可以用来表示任何有限的PDB通过视图。一旦元组的数量是可数无限的，情况就不再是这样了。在本文中，我们系统地研究了无限PDBs的TI-PDBs和相关的块独立不相交PDBs的可表示性。核心问题是，哪些无限PDB可表示为元组独立PDB上的一阶视图。我们给出了PDB可表示性的一个必要条件，并根据PDB的概率分布给出了可表示性的一个充分判据。通过各种例子，我们探讨了我们的标准的局限性。我们表明，一阶属性的条件不产生额外的权力方面的表现力。最后，我们讨论了（非）可表示性的纯逻辑和算术原因之间的关系。
2022-04-19 cs.DB cs.LO
Expected Shapley-Like Scores of Boolean Functions: Complexity and Applications to Probabilistic Databases
National University of Singapore（新加坡国立大学）；Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）；PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；IUF（法国大学研究院）；IPAL（IPAL研究所）
本文建立期望 Shapley 值与布尔函数期望计算的多项式时间互归约，并为确定性可分解电路设计多项式算法，且在 ProvSQL 中验证其概率数据库应用可行性。
2024-04-16 cs.AI cs.CC cs.DB
Scalable Probabilistic Similarity Ranking in Uncertain Databases (Technical Report)
提出了一种基于不确定向量数据的概率top-k相似度排序方法。每个不确定的对象表示的一组向量的实例，假设是互斥的。我们的目标是根据它们到参考对象的距离对不确定数据进行排序。我们提出了一个框架，增量计算每个对象实例和排名位置，对象落在该排名位置的概率。由此产生的排名概率分布可以作为几个国家的最先进的概率排名模型的输入。现有方法通过应用二次复杂度的动态规划方法来计算该概率分布。在本文中，我们从理论上和实验表明，我们的框架降低了线性时间复杂度，同时具有相同的内存要求，促进增量访问的不确定向量实例，以增加他们的距离到参考对象。此外，我们展示了如何输出我们的方法可以用于应用概率top-k排名的对象，根据不同的国家的最先进的定义。我们对合成数据和真实数据进行了实验评估，证明了我们方法的有效性。
2009-07-16 cs.DB cs.IR
Probabilistic Search for Structured Data via Probabilistic Programming and Nonparametric Bayes
Massachusetts Institute of Technology（麻省理工学院）
数据库分布广泛，但提取相关数据可能很困难。在没有大量领域知识的情况下，多变量搜索查询通常返回稀疏或无信息的结果。提出了一种基于概率规划和非参数贝叶斯的结构化数据搜索方法。用户使用概率语言指定查询，该语言将标准SQL数据库搜索操作符与称为预测相关性的信息理论排名功能相结合。预测相关性可以通过基于来自CrossCat的后验样本的快速稀疏矩阵算法来计算，CrossCat是用于高维、异质类型数据表的非参数贝叶斯模型。其结果是一个灵活的搜索技术，适用于广泛的一类信息检索问题，我们集成到贝叶斯数据库，概率数据分析的概率编程平台。本文展示了美国大学数据库，全球公共卫生宏观经济指标和经典汽车的应用程序。我们发现，人类评估者通常更喜欢概率搜索的结果，而不是标准基线的结果。
2017-04-04 cs.AI cs.DB cs.LG
The Revolution In Database System Architecture
数据库系统架构正在经历革命性的变化。通过将程序设计语言与数据库系统相结合，算法和数据正在得到统一。这给出了一个可扩展的对象关系系统，其中非过程关系运算符操作对象集。与此相结合，每个DBMS现在都是一个Web服务。这对我们如何构建应用程序有着巨大的影响。DBMS现在是对象容器。对象是要添加的第一个对象。这些队列是事务处理和工作流应用程序的基础。未来的工作流系统很可能建立在这个核心之上。数据立方体和在线分析处理现在已经融入到大多数DBMS中。除此之外，DBMS还有一个数据采掘和机器学习算法的框架。决策树、贝叶斯网、聚类和时间序列分析都内置在内置的中;可以添加新的算法。文本、时间和空间数据访问方法以及它们的概率推理已经被添加到数据库系统中。允许近似和概率的答案是必不可少的许多应用程序。许多人认为XML和XQuery将成为主要的数据结构和访问模式。数据库系统必须适应这种观点，这些变化要求采用更加动态的查询优化策略。智能正在向网络的外围移动。每个磁盘和每个传感器都将是一台合格的数据库机器。关系代数是一种方便的方法来编程这些系统。数据库系统现在被期望能够自我管理、自我修复和始终保持运行。
2004-08-14 cs.DB
Databases with Missing Values that are Governed by Missingness Mechanisms
Carleton University（卡尔顿大学）；IMFD, Chile（智利IMFD）；LIMOS, CNRS, Clermont Auvergne University（克莱蒙奥弗涅大学CNRS LIMOS）
本文提出用贝叶斯网络建模缺失机制，为含缺失值的关系数据库赋予语义，构建块独立概率数据库，并识别两个最优可能世界类别以支持查询，同时给出计算可行性与复杂性分析。
2026-09-23 cs.DB
Explicit probabilistic models for databases and networks
University of Bristol（布里斯托大学）
最近在数据采掘和相关领域的工作突出了对数据采掘结果进行统计评估的重要性。这一努力的关键是为数据选择一个非平凡的空模型，可以将发现的模式与之进行对比。迄今为止提出的最有影响力的空模型是根据空分布的不变量定义的。这种空模型可以被计算密集型随机化方法用于估计数据采掘结果的统计显著性。在这里，我们介绍了一种方法来构建非平凡的概率模型的基础上最大熵（MaxEnt）原则。我们展示了MaxEnt模型如何允许先验信息的自然合并。此外，它们满足先前引入的随机化方法的许多期望的性质。最后，它们还有一个好处，即它们可以被显式地表示。我们认为，我们的方法可以用于各种数据类型。然而，为了具体起见，我们选择特别针对数据库和网络来展示它。
2009-06-29 cs.AI cs.DB cs.IT
Query-Driven Sampling for Collective Entity Resolution
概率数据库在不确定数据的处理和管理中发挥着突出的作用。最近，许多数据库研究工作已经将概率模型集成到数据库中以支持诸如信息抽取和标记的任务。许多这些努力是基于批量面向推理，抑制了实时工作流。一个重要的任务是实体解析（ER）。ER是确定数据库中对应于同一真实世界实体的记录（提及）的过程。传统的成对ER方法可能会导致不一致和低精度，由于本地化的决定。领先的ER系统通过使用概率图模型和马尔可夫链蒙特卡罗（MCMC）推理来集体解析所有记录来解决这个问题。然而，对于大型数据集，这是一个非常昂贵的过程。一个关键的观察结果是，这种详尽的ER过程导致了巨大的前期成本，这在实践中是浪费的，因为大多数用户只对一小部分实体感兴趣。在本文中，我们提倡按需付费的实体解析开发了一些查询驱动的集体ER技术。我们介绍了两类涉及ER操作符的SQL查询-选择驱动的ER和连接驱动的ER。我们实现新的MCMC大都会黑斯廷斯算法的变化，以产生有偏见的样本和基于选择性的调度算法，以支持两类ER查询。最后，我们表明，查询驱动的ER算法可以收敛，并在几分钟内返回结果，从包含7100万次提及的新闻通讯数据集的提取填充的数据库。
2015-08-13 cs.DB
Lower Bounds for Exact Model Counting and Applications in Probabilistic Databases
University of Washington（华盛顿大学）
当前精确计算布尔公式满足赋值个数或满足概率的最佳方法可以直接或间接地看作是建立输入布尔公式的“决策-DNNF”（决策可分解否定范式）表示。Decision-DNNF是“d-DNNF”的一个特例，其中“d”代表“deterministic”。我们表明，任何决策DNNF可以转换成一个等价的“FBDD”（自由二进制决策图）-也被称为“只读一次分支程序”（ROBP或1-BP）-只有一个准多项式增加一般的表示大小，只有一个多项式增加的大小在特殊情况下的单调k-DNF公式。利用已知的指数下限FBDD，然后我们获得类似的指数下限的决策DNNF提供最近的算法的下限。我们还将决策DNF的能力与d-DNF和称为AND-FBDD的决策DNF的泛化分开。最后，我们将展示这些意味着指数下界与概率数据库的自然问题。
2013-09-26 cs.AI cs.CC cs.DB
Managing large-scale scientific hypotheses as uncertain and probabilistic data with support for predictive analytics
模拟产生的高分辨率原始数据的绝对规模激发了非传统的数据勘探方法，称为原始模拟数据的“沉浸式”和“原位”查询处理。支持科学进步的另一个步骤是实现数据驱动的假设管理和模拟结果的预测分析。我们提出了一种综合的方法和工具，用于编码和管理竞争的假设，作为概率数据库中的不确定数据，可以在观测的存在下进行调节。
2015-05-17 cs.DB
Dissociation and Propagation for Approximate Lifted Inference with Standard Relational Database Management Systems
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
大数据集上的概率推理是一个具有挑战性的数据管理问题，因为精确推理通常是P-困难的，并且目前最常用基于采样的方法近似解决。本文提出了一种替代方法的近似评估的合取查询与标准的关系数据库：在我们的方法中，每个查询完全在数据库引擎评估一个固定数量的查询计划，每个提供一个上限的真实概率，然后采取他们的最小值。我们提供了一个算法，考虑到重要的模式信息，枚举所有可能的计划中只有最小的必要计划。重要的是，该算法是所有已知的PTIME自连接自由合取查询的严格推广：当且仅当我们的算法返回一个单一的计划时，查询在PTIME中。此外，我们的方法是一个家庭的有效的排名方法从图超图的推广。我们还采用了三种关系型查询优化技术来快速评估所有必要的计划。我们给我们的方法进行了详细的实验评估，并在这个过程中，提供了一种新的思路的概率方法的非概率方法的查询答案排名的价值。我们还注意到，本文中开发的技术立即适用于解除推理统计关系模型，因为解除推理对应于PTIME计划的概率数据库。
2016-06-14 cs.AI cs.DB
An epistemic approach to model uncertainty in data-graphs
ICC CONICET；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
本文将概率性不洁数据库概念扩展到图数据库，用污染分布建模干净图的不确定性，并研究节点与边删除、添加情形下数据清洗和概率查询回答的复杂性。
2023-01-07 cs.AI cs.DB
Tractable Circuits in Database Theory
本文综述了数据库理论如何运用知识编译中的易处理电路类来解决查询评估任务，重点探讨了布尔溯源在聚合任务中的应用，以及查询答案的电路表示在枚举任务中的应用。
2024-08-25 cs.DB
SkyQuery: An Implementation of a Parallel Probabilistic Join Engine for Cross-Identification of Multiple Astronomical Databases
多波长天文学研究需要根据球坐标和其他性质，对多个星表中的相同天体的探测进行交叉识别。由于大数据量和球面几何，对称的N路关联的天文探测是一个计算密集型的问题，即使复杂的索引方案被用来排除明显错误的候选人。遗留的天文目录已经包含了超过一亿个物体的探测，而正在进行的和未来的调查将产生数十亿个物体的目录，每个物体在不同的时间有多个探测。位置测量的变化的统计误差、移动和延伸的对象以及其他物理特性使得有必要使用能够包括各种先验的数学上正确的、适当的贝叶斯概率算法来执行交叉识别。有一次，这些大目录的成对交叉识别对于许多天文场景是不够的。因此，一个新的系统是必要的，可以交叉识别多个目录的需求，有效和可靠的。在本文中，我们提出了我们的解决方案的基础上集群的商品服务器和普通的关系数据库。交叉识别问题是在基于SQL的语言中制定的，但扩展了特殊的子句。这些特殊的查询在空间上按坐标范围划分，并编译成普通SQL查询的复杂工作流。然后，使用托管相同数据集的相同镜像的服务器集群在并行框架中执行工作流。
2012-06-21 astro-ph.IM cs.DB cs.DC
Approximating Queries on Probabilistic Graphs
LTCI, Télécom Paris, Institut polytechnique de Paris（电信巴黎学院、巴黎理工学院）；Nanyang Technological University（南洋理工大学）；University of Toronto（多伦多大学）
本文研究了概率图查询的近似算法，探讨了联合FPRAS的可行性及复杂性分析。
2025-12-12 cs.DB cs.DS
