A Complete Characterization of Projectivity for Statistical Relational Models
Aalborg University（奥尔堡大学）；Simon Fraser University（西蒙弗雷泽大学）
关系数据的生成概率模型由不同大小的域上的关系结构的概率分布族组成。在大多数现有的统计关系学习（SRL）框架中，这些模型在大小为$k<n$的诱导子结构上的大小- $n$结构的分布的边缘等于大小- $k$结构的给定分布的意义上不是投射的。投射性是非常有益的，因为它可以直接从子采样的关系结构中进行提升推理和统计一致性学习。在早期的工作中，一些简单的片段SRL语言已被确定为代表投射模型。然而，没有完整的表征，并表示框架的投影模型已经给出。在本文中，我们填补了这一空白：利用无限可交换数组的表示定理，我们引入了一类有向图形潜变量模型，精确对应于一类投影关系模型。作为一个副产品，我们还获得了一个表征时，一个给定的分布在尺寸-$k$结构是统计频率分布的尺寸- $k$子结构在大得多的尺寸- $n$结构。这些结果揭示了新的光到旧的开放问题，如何应用Halpern等人。的“随机世界方法”的概率推理一般关系签名。
2020-06-22 cs.AI cs.LG stat.ML
Model-based Exception Mining for Object-Relational Data
Simon Fraser University（西蒙弗雷泽大学）
这篇文章是基于以前的出版物[29]。我们的工作扩展异常挖掘和离群值检测的情况下，对象关系数据。对象关系数据表示一个复杂的异构网络[12]，它包括不同类型的对象，这些对象之间的链接，也是不同类型的，以及这些链接的属性。这种特殊的结构禁止直接的矢量数据表示。我们遵循成熟的异常模型挖掘框架，该框架利用机器学习模型进行异常挖掘：对象是异常的，因为为对象数据学习的模型不同于为一般人群学习的模型。异常对象可以被视为离群值。我们应用最先进的概率建模技术的对象关系数据，构建一个图形化的模型（贝叶斯网络），其中companion表示数据中的概率关联。一个新的度量，来自学习对象-关系模型，量化的程度，一个潜在的离群值的个体关联模式偏离整个人口。该度量基于两个参数向量的似然比：一个表示总体关联，另一个表示个体关联。我们的方法在合成数据集和真实世界的足球比赛和电影数据集上进行了验证。与基线方法相比，我们的新转换似然比在所有数据集上都达到了最佳的检测精度。
2018-07-01 cs.AI cs.LG stat.ML
Verifying Relational Explanations: A Probabilistic Approach
University of Memphis（孟菲斯大学）；Adobe Research（Adobe研究院）
本文提出一种概率方法，通过生成反事实示例并学习因子图模型来量化GNNExplainer解释中的不确定性，从而解决关系数据解释难以验证的问题。
2024-01-05 cs.AI
Relational Bayesian Networks
Computer Science Department, Stanford University（斯坦福大学计算机科学系）
提出了一种表示多个随机事件概率关系的新方法。在先前包含概率规则的知识库用于此目的的情况下，在此关系上的概率分布直接由贝叶斯网络表示。通过使用一种强大的方式来指定这些网络中的条件概率分布，所得到的形式主义比以前的形式主义更具表达力。特别地，它提供了对事件的等式的约束，并且它允许定义复杂的嵌套组合函数。
2013-02-06 cs.AI
The Complexity of Bayesian Networks Specified by Propositional and Relational Languages
我们研究的复杂性推理的逻辑语言指定的贝叶斯网络。我们认为，范围从命题逻辑片段的功能免费的一阶逻辑与平等的表示，在这样做，我们涵盖了各种板模型和概率关系模型。我们研究了当网络、查询和域为输入时的推理复杂度（推理复杂度和组合复杂度），当网络固定且查询和域为输入时的推理复杂度（查询/数据复杂度），以及当网络和查询固定且域为输入时的推理复杂度（域复杂度）。我们绘制连接概率数据库和liftability结果，并获得复杂性类，范围从多项式到指数级。
2017-01-06 cs.AI
A Probabilistic Model Behind Self-Supervised Learning
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出用于自监督学习的生成式潜变量模型，为判别式SSL提供统一理论框架，并据此开发的SimVAE在需要风格信息的任务中表现更优，推动实现任务无关的表示。
2024-10-15 cs.AI cs.LG stat.ML
Hierarchical Infinite Relational Model
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了层次无限关系模型（HALF），一个新的概率生成模型的噪声，稀疏，异构关系数据。给定一组定义在域集合上的关系，该模型首先使用顶级中餐馆过程推断多个不重叠的关系集群。在每个关系集群内，然后使用Dirichlet过程混合来划分域实体并对关系值的概率分布进行建模。该模型概括了标准的无限关系模型，可用于各种数据分析任务，包括依赖检测，聚类和密度估计。我们提出了新的算法完全贝叶斯后验推理通过吉布斯抽样。我们说明了该方法的有效性的密度估计基准的20个对象属性数据集高达18万个细胞，并使用它来发现现实世界的数据集从政治和基因组学的关系结构。
2021-08-16 cs.AI cs.LG stat.ME
Learning Autoencoders with Relational Regularization
Duke University（杜克大学）；Infinia ML Inc.（Infinia ML公司）
提出了一种新的算法框架，用于学习数据分布的自编码器。我们最小化模型和目标分布之间的差异，在可学习的潜在先验上使用\emph{relational regularization}。这种正则化惩罚了潜在先验与其相应的后验之间的融合Gromov-Wasserstein（FGW）距离，允许人们灵活地学习与生成模型相关的结构化先验分布。此外，它有助于多个自动编码器的联合训练，即使它们具有异构的架构和无与伦比的潜在空间。我们实现了两个可扩展的算法的框架，使其适用于概率和确定性的自动编码器。我们的关系正则化自动编码器（RAE）优于现有的方法，$e.g.$，变分自编码器，Wasserstein自动编码器，及其变种，生成图像。此外，我们针对自动编码器的关系协同训练策略在合成和现实世界的多视图学习任务中都取得了令人鼓舞的结果。代码在https://github.com/HongtengXu/上。
2020-06-26 cs.LG stat.ML
Improving Relational Regularized Autoencoders with Spherical Sliced Fused Gromov Wasserstein
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
关系正则化自动编码器（RAE）是一个框架，通过最小化重建损失以及潜在空间上的关系正则化来学习数据的分布。最近的一种尝试，以减少内部差异的先验和聚合的后验分布是将切片融合Gromov-Wasserstein（SFG）之间的这些分布。这种方法有一个弱点，因为它对待每个切片方向类似，同时有几个方向是没有用的判别任务。为了改善差异，从而关系正则化，我们提出了一个新的关系差异，命名为球形切片融合Gromov Wasserstein（SSFG），它可以找到一个重要的预测区域，其特征在于冯米塞斯-费舍尔分布。然后，我们引入了两个变种的SSFG，以提高其性能。第一个变体名为混合球形切片融合Gromov Wasserstein（MSSFG），用冯米塞斯-费舍尔分布的混合来取代vMF分布，以捕获多个彼此远离的重要方向区域。第二种变体，命名为功率球形切片融合Gromov Wasserstein（PSSFG），用功率球形分布代替vMF分布，以改善高维设置中的采样时间。然后，我们将新的差异应用于RAE框架，以实现其新的变体。最后，我们进行了广泛的实验，以表明新提出的自编码器具有良好的性能，在学习潜在的流形结构，图像生成和重建。
2020-10-05 cs.LG stat.ML
A Discriminative Gaussian Mixture Model with Sparsity
Kyushu University（九州大学）
在概率分类中，基于softmax函数的判别模型具有潜在的局限性，因为它假设特征空间中的每个类都是单峰的。混合模型可以解决这个问题，尽管它会导致参数数量的增加。我们提出了一个稀疏分类器的基础上的歧视GMM，称为稀疏歧视高斯混合（SDGM）。在SDGM中，通过稀疏贝叶斯学习训练基于GMM的判别模型。使用这种稀疏学习框架，我们可以同时去除冗余的高斯分量，并减少学习过程中剩余分量中使用的参数数量;这种学习方法降低了模型的复杂度，从而提高了泛化能力。此外，SDGM可以嵌入到神经网络（NN）（例如卷积NN）中，并且可以以端到端的方式进行训练。实验结果表明，该方法优于现有的基于softmax的判别模型。
2021-05-07 cs.LG stat.ML
Discriminative models for robust image classification
The Graduate School（研究生院）
各种现实世界的任务涉及到图像到预定类别的分类。设计对采集噪声和图像失真表现出鲁棒性的图像分类算法，特别是当可用的训练数据不足以学习准确的模型时，是一个重大的挑战。本论文探讨了发展的歧视性模型的强大的图像分类，利用潜在的信号结构，通过概率图形模型和稀疏信号表示。概率图模型被广泛用于许多应用中，以降低复杂性的设置来近似高维数据。学习图形结构来近似概率分布是一个活跃的研究领域。最近的工作集中在学习图的区别性的方式，以最大限度地减少分类错误的目标。在论文的第一部分中，我们开发了一个判别学习框架，利用互补但相关的信息提供的多个表示（或投影）的一个给定的信号/图像。具体来说，我们提出了一个判别树为基础的计划，通过明确学习的条件相关性，这样的多个投影在迭代的方式进行特征融合。实验表明，所得到的图形模型分类器的鲁棒性训练不足。
2016-03-08 cs.CV stat.ML
Lifted Causal Inference in Relational Domains
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；singularIT GmbH（singularIT有限公司）；University of Münster（明斯特大学）；University of Lübeck（吕贝克大学）
本文提出参数化因果因子图与提升因果推断算法，在关系域中利用对称性高效计算因果效应，显著加速推断并保持精确性。
2024-03-15 cs.AI cs.DS
TMR-GGNN: Credit Card Fraud Detection based on Time-Aware Multi-Relational Guided Graph Neural Network
Unysis Truist Banks Infinity Tech Group Technical Product（Unysis 信任银行 Infinity 技术集团技术产品）；Fairfax, USA（美国费尔法克斯）；Atlanta, USA（美国亚特兰大）；Sunnyvale, USA（美国 Sunnyvale）；Persistent Systems IEEE Vice Chair AeroSpace Chapter（Persistent 系统 IEEE 副主席航空航天分会）；Discover Financial Services（Discover 金融服务）；Edison, USA（美国埃迪森）
提出TMR-GGNN框架，通过时间窗口内异构实体交互建模、动态多关系图构建、时间感知注意力机制和对比学习解码器，结合InfoNCE与Focal Loss复合损失函数，解决数据不平衡和欺诈模式演化问题。
2026-06-18 cs.AI cs.LG
Relational VAE: A Continuous Latent Variable Model for Graph Structured Data
ETH Zurich（苏黎世联邦理工学院）
图网络（GN）使先验知识和关系推理与灵活的函数近似相融合。在这项工作中，提出了一个通用的GN为基础的模型，充分利用GN的关系建模能力，并将其扩展到概率建模与变分贝叶斯（VB）。为此，我们结合VB的图形数据的互补的预先存在的方法，并提出了一种方法，依赖于图形结构的潜在和条件变量。它表明，神经过程也可以通过所提出的模型的镜头。我们展示了模拟和真实风电场监测数据的结构化概率密度建模问题上的应用，以及模拟高斯过程数据的元学习。我们发布源代码以及模拟数据集。
2021-06-30 cs.CE cs.LG stat.ML
KBLRN : End-to-End Learning of Knowledge Base Representations with Latent, Relational, and Numerical Features
NEC Labs Europe（欧洲NEC实验室）
我们提出了KBLRN，一个从潜在的，关系的，和数值特征的知识库表示的端到端学习的框架。KBLRN将特征类型与神经表示学习和专家模型的概率乘积相结合。据我们所知，KBLRN是第一种通过整合潜在的，关系的和数值特征来学习知识库表示的方法。我们表明，KBLRN的实例优于现有的方法在一系列的知识库完成任务。我们贡献了一个新的数据集，丰富了常用的知识库完成基准与数值特征。这些数据集在许可的BSD-3许可证下可用。我们还研究了数值特征对KBLRN的KB完成性能的影响。
2018-06-11 cs.AI
Probabilities of the Third Type: Statistical Relational Learning and Reasoning with Relative Frequencies
Ludwig-Maximilians-Universität München（慕尼黑大学）
本文提出函数式提升贝叶斯网络，将相对频率的连续依赖纳入统计关系AI，并给出渐近概率分布表示，支持跨规模参数估计，且收敛在参数上一致。
2024-08-20 cs.AI cs.LG cs.LO
Deep Graph Random Process for Relational-Thinking-Based Speech Recognition
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
关系思维是人类智能的核心，它的特点是最初依赖于无数与新的感觉信号和先验知识之间的关系有关的无意识感知，然后通过这些感知的耦合和转换成为可识别的概念或对象。这样的心理过程难以在诸如会话自动语音识别（ASR）的现实世界问题中建模，因为感知（如果它们被建模为指示话语之间的关系的图）被认为是无数的并且不能直接观察到。在本文中，我们提出了一种称为深度图随机过程（DGP）的贝叶斯非参数深度学习方法，该方法可以生成表示感知的无限数量的概率图。我们进一步提供了一个封闭形式的解决方案，耦合和转换这些感知图的声学建模。我们的方法是能够成功地推断话语之间的关系，而不使用任何关系数据在训练过程中。在CHiME-2和CHiME-5等ASR任务上的实验结果表明了该方法的有效性和优越性。
2020-07-08 cs.LG cs.SD eess.AS
Learning Discriminative Relational Features for Sequence Labeling
IIT Bombay（印度理工学院孟买分校）
发现序列标记模型中输入特征之间的关系结构已被证明可以提高其在几个问题设置中的准确性。然而，关系特征的搜索空间在基本输入特征的数量上是指数的。因此，学习关系特征的方法倾向于遵循贪婪的搜索策略。在本文中，我们研究的可能性，最佳学习和应用判别关系特征序列标记。对于从特定序列位置的输入中获得的学习特征，我们提出了一种基于分层核的方法（称为结构化输出空间的分层核学习- StructHKL）。这种方法最佳和有效地探索了层次结构的特征空间的问题，如序列标记的结构化输出空间。由于StructHKL方法在学习来自相对位置输入的复杂关系特征方面存在局限性，因此我们提出了两种学习关系特征的解决方案，即（i）枚举复杂关系特征的简单组件特征并使用StructHKL发现它们的组合物，以及（ii）利用关系内核，在序列标记问题中隐式计算实例之间的相似性。我们对公开的数据集进行了广泛的实证评估，并记录了我们对某些方法有效的设置的观察结果。
2017-05-07 cs.LG
Relational Dynamic Bayesian Networks
University of Washington（华盛顿大学）
涉及随着时间的推移创建对象和关系的随机过程很普遍，但研究相对较少。例如，工厂装配过程中的准确故障诊断需要推断错误装配操作的概率，但高效且准确地做到这一点是困难的。这些过程被建模为动态贝叶斯网络，具有非常大的域和极高的维度的离散变量。在本文中，我们介绍了关系动态贝叶斯网络（RDBN），这是一个扩展的动态贝叶斯网络（DBNs）的一阶逻辑。RDBN是动态概率关系模型（DPRM）的推广，我们在以前的工作中提出了动态不确定域的模型。首先，我们扩展了Rao-Blackwellised粒子滤波在我们的早期工作中描述的RDBN。接下来，我们解除了与Rao Blackwellization在RDBN中的假设，并提出了两种新形式的粒子滤波。第一种方法使用谓词上的抽象层次来平滑粒子滤波器的估计。第二个采用核密度估计与核函数专门设计的关系域。实验结果表明，这两种方法在装配计划执行监控任务上的性能明显优于标准粒子滤波。
2011-09-09 cs.AI
Enhancing Social Relation Inference with Concise Interaction Graph and Discriminative Scene Representation
Intellifusion（云天励飞）；Peking University（北京大学）
近年来，基于图像的社会关系推理问题引起了人们极大的研究兴趣。现有的工作主要是通过创建复杂的人际互动图，或学习的前景和/或背景信息的人和对象，但忽略了整体场景上下文的社会关系进行分类。整体场景是指一个场所在图像中的功能性，如餐厅、操场、办公室等。本文通过模仿人类对图像的理解，提出了一种基于\textbf{S}社会关系\textbf{E}（PRISE）的\textbf{PR}主动\textbf{I}推理方法，该方法能够简洁地学习人的交互特征和整体场景的判别特征。从技术上讲，我们开发了一个简单快速的关系型图卷积网络，可以在一张图像中捕捉所有人的交互特征。为了学习整体场景特征，我们精心设计了一个基于图像场景分类的对比学习任务。为了进一步提高社会关系推理的性能，我们收集并分发了一个新的大规模数据集，该数据集由大约24万张未标记的图像组成。广泛的实验结果表明，我们的新的学习框架显着击败了最先进的方法，例如，PRISE在PIPA数据集中的域分类方面实现了6.8 $\%$的改进。
2021-07-30 cs.AI cs.CV
Towards Privacy-Preserving Relational Data Synthesis via Probabilistic Relational Models
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Hamburg（汉堡大学）；singularIT GmbH（singularIT有限公司）
针对真实关系数据受隐私与成本限制的问题，本文提出从关系数据库学习概率关系模型并采样合成关系数据的完整流水线。
2024-10-02 cs.AI cs.DB cs.LG
Discriminative Gaifman Models
NEC Labs Europe（NEC欧洲实验室）
我们提出了判别Gaifman模型，一个新的家庭的关系机器学习模型。Gaifman模型从知识库（KB）的局部连接和有界大小区域的表示中自底向上的学习特征表示。考虑到知识库的局部和有界大小的邻域，使得逻辑推理和学习易于处理，减轻了过拟合问题，并促进了权重共享。Gaifman模型对知识库的邻域进行采样，以便使学习的关系模型对丢失的对象和关系更加鲁棒，这是开放世界知识库中的常见情况。我们提出了Gaifman模型的核心思想，并将其应用于大规模的关系学习问题。我们还讨论了Gaifman模型与一些现有的关系机器学习方法的关系。
2016-10-28 cs.LG
Semantic-Enhanced Relational Metric Learning for Recommender Systems
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Computer Science and Engineering, The University of New South Wales（新南威尔士大学计算机科学与工程学院）
针对推荐系统中隐式关系缺乏语义的问题，提出SERML框架，从评论提取语义信号并构建回归模型增强关系度量训练，在四个公开数据集上表现优于或可比现有方法。
2024-06-07 cs.AI cs.IR
Discriminative Relational Topic Models
Tsinghua University（清华大学）
许多科学和工程领域涉及分析网络数据。对于文档网络，关系主题模型（RTMs）提供了一个概率生成过程来描述链接结构和文档内容，并且它们在预测网络结构和发现潜在主题表示方面表现出了希望。然而，现有的RTMs在有限的模型表达能力和处理不平衡的网络数据的能力的局限性。为了扩大RTMs的适用范围并提高其推理精度，本文提出了三个扩展：1）不同于通常的只允许相同主题交互的对角权重矩阵的链接似然，我们将其推广为使用一个完整的权重矩阵，它可以捕获所有成对主题交互，并且适用于非对称网络; 2）而不是做标准的贝叶斯推理，我们执行正则化贝叶斯推理，（RegBayes）通过引入正则化参数，解决了一般真实网络中链路结构不平衡的问题，提高了学习后的潜规则的判别能力，陈述; 3）在不做严格平均场假设的情况下，通过探索数据增强，给出了广义关系主题模型的收缩Gibbs抽样算法，而不是用严格平均场假设进行变分近似.在一般的RegBayes框架下，我们仔细研究了两个流行的判别损失函数，即逻辑对数损失和最大边际铰链损失。在几个真实网络数据集上的实验结果表明，这些扩展对提高预测性能具有重要意义，并且通过一种简单的快速近似方法可以显著提高时间效率。
2013-10-09 cs.IR cs.LG stat.ML
Multi-layered Discriminative Restricted Boltzmann Machine with Untrained Probabilistic Layer
Yamagata University（山形大学）
极限学习机（ELM）是具有未训练参数的三层前馈神经网络，所述未训练参数在训练之前随机确定。受ELM思想的启发，提出了一种称为概率ELM（probabilistic-ELM，PELM）层的概率未训练层，并将其与判别限制玻尔兹曼机（discriminative restricted Boltzmann machine，DRBM）相结合，DRBM是一种用于解决分类问题的概率三层神经网络。所提出的模型是通过在PELM层上堆叠DRBM而获得的。所得到的模型（即，多层DRBM（MDRBM））形成概率四层神经网络。在MDRBM中，PELM层中的参数可以使用Gaussian-Bernoulli限制Boltzmann机来确定。由于PELM层，MDRBM获得了对输入噪声的强免疫力，这是MDRBM最重要的优点之一。使用一些基准数据集，MNIST，时尚MNIST，城市土地覆盖，和CIFAR-10的数值实验表明，MDRBM优于其他现有的模型，特别是在噪声鲁棒性（或，换句话说，泛化属性）。
2022-10-27 cs.AI cs.LG stat.ML
Comparing Aggregators for Relational Probabilistic Models
University of British Columbia（不列颠哥伦比亚大学）
关系概率模型具有聚合的挑战，其中一个变量依赖于其他变量的总体。考虑从电影评级预测性别的问题;这是具有挑战性的，因为每个用户的电影数量和每个电影的用户数量可能差异很大。令人惊讶的是，聚合并没有得到很好的理解。在本文中，我们表明，现有的关系模型（隐式或显式）要么使用简单的数值聚合器，失去了大量的信息，或对应于朴素贝叶斯，逻辑斯谛回归，或噪音或遭受过度自信。我们提出了新的简单的聚合器和简单的修改现有的模型，经验上优于现有的。我们对不同（现有的或新的）模型及其缺点的直觉，加上我们的实证研究结果，有望为未来的表征奠定基础。
2017-07-25 cs.LG stat.ML
Lifted Model Checking for Relational MDPs
KU Leuven（鲁汶大学）；Université libre de Bruxelles（布鲁塞尔自由大学）；Örebro University（厄勒布鲁大学）
概率模型检验是为了验证具有随机性和不确定性行为的系统而发展起来的。给定一个概率系统，概率模型检查器获取一个属性，并检查该属性在该系统中是否成立。因此，概率模型检验提供了严格的保证。然而，到目前为止，概率模型检验主要集中在命题模型上，其中状态由符号表示。另一方面，在规划和强化学习中通常需要进行关系抽象。各种框架处理关系域，例如，CNOPS规划和关系马尔可夫决策过程。在关系环境中使用命题模型检验需要将模型接地，这导致了众所周知的状态爆炸问题和棘手性。我们提出了pCTL-REBEL，一个提升的模型检验方法来验证pCTL属性的关系MDP。它将基于关系模型的强化学习技术REBEL扩展到关系pCTL模型检验. PCTL-REBEL被提升，这意味着该模型不是基于基础，而是利用对称性在关系级别上将一组对象作为一个整体进行推理。理论上，我们表明，pCTL模型检验是可判定的关系MDP有可能是无限的域，提供的状态有界的大小。在实践中，我们贡献的算法和实现解除关系模型检验，我们表明，解除的方法提高了可扩展性的模型检验方法。
2022-01-10 cs.AI cs.LG cs.LO
Discriminative k-shot learning using probabilistic models
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文介绍了一种概率框架的k-shot图像分类。我们的目标是从一个初始的大规模分类任务推广到一个单独的任务，包括新的类和少量的例子。新方法不仅利用了神经网络从初始任务（表征转移）中学习到的基于特征的表征，而且还利用了关于类的信息（概念转移）。概念信息被封装在神经网络的最终层权重的概率模型中，该概率模型充当概率k次学习的先验。我们表明，即使是一个简单的概率模型也能在标准的k-shot学习数据集上大幅度地达到最先进的水平。此外，它能够准确地对不确定性进行建模，从而得到校准良好的分类器，并且与最近的许多k-shot学习方法不同，它易于扩展和灵活。
2017-12-09 cs.LG stat.ML
Probabilistic Models of Relational Implication
University of Sydney（悉尼大学）
关系数据最基本的形式是已知事实的静态集合。然而，通过学习推断和推导额外的信息和结构，我们可以大大增加底层数据的有用性。在知识库中进行推理的一种常见形式是蕴涵发现。在这里，通过学习一个关系何时隐含另一个关系，我们可以扩展我们的知识表示。有几个现有的模型的关系含义，但我们认为，他们的动机，但没有原则。为此，我们定义了一个正式的概率模型的关系蕴涵。通过使用基于我们数据集的经验分布的估计，我们证明了我们的模型优于现有的方法。虽然以前的工作在评估数据集上获得了0.7812 AUC的最佳分数，但我们的ProbE模型将其提高到0.7915。此外，我们证明，我们的模型可以大大提高通过使用链接预测模型和密集的潜在表示的基本参数和关系。这个变体，表示为ProbL，将我们评估数据集的最新技术水平提高到0.8143。除了开发一个新的框架，并提供新的分数的关系含义，我们提供了两个语用资源，以协助未来的研究。首先，我们激励和发展一个改进的人群框架，用于构建关系蕴涵的标记数据集。使用它，我们重新注释并公开了一个由17，848个标记关系含义实例组成的数据集。我们证明了结果数据集的精确度（由专家对人群标签的共识评估）从53%提高到95%。
2019-07-28 cs.CL cs.LG stat.ML
Discriminative Probabilistic Prototype Learning
NICTA（澳大利亚国家信息通信技术实验室）；Australian National University（澳大利亚国立大学）
在本文中，我们提出了一个简单而强大的方法来学习表示在监督学习的情况下，每个原始输入数据点是由一组向量和其相关的输出可以给出软标签指示，例如，类概率。我们将输入数据点表示为相应特征向量集上的概率混合，其中每个概率表示每个向量属于未知原型模式的可能性。我们提出了一个概率模型，参数化这些原型模式的隐变量，因此它可以训练与传统的方法的基础上似然最大化。更重要的是，模型参数和原型模式都可以从数据中以有区别的方式学习。我们表明，我们的模型可以被看作是学习矢量量化（LVQ）的概率推广。我们将我们的方法应用于形状分类、高光谱成像分类和人们的工作类别分类问题，显示了与标准的基于原型的分类方法和其他竞争性基准方法相比，我们的方法的优越性能。
2012-06-18 cs.LG stat.ML
A Probabilistic Model for Discriminative and Neuro-Symbolic Semi-Supervised Learning
University of Edinburgh（爱丁堡大学）；Samsung AI Centre Cambridge（三星剑桥人工智能中心）
通过结合利用数据分布的不同方面的方法，半监督学习（SSL）已经取得了很大进展，例如，一致性正则化依赖于$p(x)$的属性，而熵最小化与标签分布$p(y|x)$有关。专注于后者，我们提出了一个概率模型的歧视SSL，它反映了其经典的生成对应。在假设$y|x$是确定性的情况下，潜在变量的先验变得离散。我们发现，几个著名的SSL方法可以被解释为近似这一先验，并可以改进。我们扩展的歧视性模型神经符号SSL，标签功能满足逻辑规则，通过显示这些规则直接与上述先验，从而证明了一个家庭的方法，统计学习和逻辑推理，并将它们与常规SSL统一。
2021-05-31 cs.LG cs.LO stat.ML
Ensemble Relational Learning based on Selective Propositionalization
University of Bari ``Aldo Moro''（巴里大学“阿尔多·莫罗”）
处理结构化数据需要使用表达性表示形式，然而，这将问题置于处理机器学习过程的计算复杂性。此外，现实世界的领域需要能够管理其典型不确定性的工具。许多统计关系学习方法试图通过将相关关系特征的构建与概率工具相结合来处理这些问题。当组合是静态的（静态命题化）时，构造的特征被认为是布尔特征，并离线用作统计学习器的输入;而当组合是动态的（动态命题化）时，特征构造和概率工具被组合成一个过程。在本文中，我们提出了一种选择性命题化方法，搜索的最佳的一组关系的功能，以使用的概率学习，以最小化损失函数。新的命题化方法已与随机子空间集成方法相结合。在真实数据集上的实验表明了该方法的有效性。
2013-11-15 cs.AI cs.LG
Language-Assisted Image Clustering Guided by Discriminative Relational Signals and Adaptive Semantic Centers
School of Computer Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院）；School of Computing Information Sciences, Saint Francis University, Hong Kong, China（圣弗朗西斯大学计算信息科学学院）；Department of Computer Science, City University of Hong Kong, Hong Kong, China（香港城市大学计算机科学系）
本文提出一种新的语言辅助图像聚类框架，通过跨模态关系生成更判别的自监督信号，并利用提示学习学习类别连续语义中心，提升聚类性能。
2026-03-25 cs.LG
A Tale of Three Probabilistic Families: Discriminative, Descriptive and Generative Models
University of California, Los Angeles（加州大学洛杉矶分校）
Grenander的模式理论是一个数学框架，其中模式由代数结构的随机变量的概率模型表示。在本文中，我们回顾了三个家庭的概率模型，即判别模型，描述模型和生成模型。判别模型是以分类器的形式存在的。它指定给定输入信号的类标签的条件概率。描述性模型基于在信号上定义的能量函数来指定信号的概率分布。生成模型假设信号是由一些潜变量通过变换生成的。我们将在一个共同的框架内回顾这些模型，并探讨它们之间的联系。我们还将回顾利用深度神经网络的高逼近能力的最新发展。
2018-12-04 cs.CV cs.LG stat.ML
A Relational-learning Perspective to Multi-label Chest X-ray Classification
NEC Labs（NEC实验室）
胸部X射线图像的多标签分类经常使用判别方法来执行，即学习将图像直接映射到其二进制标签。这样的方法使得合并辅助信息（诸如标注不确定性或标签之间的依赖性）变得具有挑战性。为此，我们提出了一种新的知识图谱重新制定的多标签分类，这不仅很容易增加预测性能的编码器，但也作为一个通用框架，引入新的领域知识。具体来说，我们构建了一个多模态的知识图谱的胸部X射线图像和它的标签和构成多标签分类作为一个链接预测问题。然后，可以通过添加附加节点和它们之间的关系来简单地实现对辅助信息的描述。当在公开可用的射线照片数据集（CheXpert）上进行测试时，我们使用朴素知识图谱的关系重构通过实现83.5%的ROC曲线下的面积而优于最新技术水平，这比纯粹的判别方法提高了“sim 1”。
2021-03-10 cs.AI cs.CV cs.LG
Effective Learning of Probabilistic Models for Clinical Predictions from Longitudinal Data
Indiana University（印第安纳大学）
随着信息技术的迅速发展，与健康有关的数据为医学和健康发现提供了前所未有的潜力，但同时在规模和复杂性方面对机器学习技术提出了重大挑战。这些挑战包括：数据源的异构性导致的存储格式和值类型多样的结构化数据;医疗诊断和治疗各个方面广泛存在的不确定性;特征空间的高维性;相邻观测值之间间隔不规则的纵向病历数据;具有相似遗传因素、位置或社会人口背景的对象之间存在丰富的关系。本论文旨在发展先进的统计关系学习方法，以有效地利用这些与健康相关的数据，促进医学研究中的发现。它提出了成本敏感的统计关系学习挖掘结构化不平衡数据，第一个连续时间概率逻辑模型预测序列事件的纵向结构化数据，以及混合概率关系模型学习异构结构化数据的工作。它还展示了这些模型以及其他最先进的机器学习模型在应用于医学研究问题和其他现实世界的大规模系统时的出色表现，揭示了统计关系学习在探索结构化健康相关数据以促进医学研究方面的巨大潜力。
2018-11-02 cs.LG stat.ML
A Probabilistic Framework for Discriminative Dictionary Learning
在本文中，我们解决了判别式字典学习（discriminative dictionary learning，缩写为RDL）的问题，其中稀疏线性表示和分类在概率框架中相结合。因此，单个判别字典和线性二进制分类器被联合学习。通过在MAP设置中编码稀疏表示和判别分类模型，我们提出了一个通用的优化框架，该框架允许在忠实表示和准确分类之间进行数据驱动的权衡。与以前的工作相反，我们的学习方法能够包含各种各样的分类成本函数（包括流行的提升方法中使用的那些），同时避免了对相关优化技术的需求。我们表明，可以解决的更新序列，利用著名的和研究的稀疏编码和字典学习算法从文献中的。为了验证我们的EQUIPMENT框架，我们将其应用于数字分类和人脸识别，并在标准基准上进行测试。
2011-09-12 cs.CV cs.LG
On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning
Texas A&M University（德克萨斯农工大学）；University of Hong Kong（香港大学）；University of Sydney（悉尼大学）
本文研究自监督表示学习的判别式概率建模，利用多重重要性采样技术解决配分函数积分问题，并提出一种基于凸优化的非参数方法生成新对比目标，在CC3M和CC12M数据集上表现优越。
2025-03-05 cs.LG stat.ML
Discriminative Learning for Probabilistic Context-Free Grammars based on Generalized H-Criterion
Universidad del Cauca（考卡大学）；PRHLT Research Center（PRHLT研究中心）；Universitat Politécnica de Valéncia（瓦伦西亚理工大学）
我们提出了一个正式的框架，为概率上下文无关文法（PCFG）的基础上的标准-H的推广的歧视性学习算法的发展。首先，我们提出了H-准则作为目标函数和生长变换作为优化方法，这使我们能够开发的最终表达式的参数估计的PCFG。其次，我们推广的H-标准，考虑到一组参考解释和竞争的解释，我们提出了一个新的家庭的目标函数，使我们能够开发的表达式的估计变换PCFG。
2021-03-15 cs.CL cs.LG
Probabilistic Latent Tensor Factorization Model for Link Pattern Prediction in Multi-relational Networks
LIP6 - UPMC（LIP6实验室 - 皮埃尔和玛丽·居里大学）
本文针对多个关系类型连接的对象集合中的链接模式预测问题，其中每种类型都可能扮演不同的角色。虽然常见的链接分析模型仅限于单一类型的链接预测，我们试图在这里捕捉不同的关系类型之间的相关性，并揭示各种关系类型对性能质量的影响。为此，我们将对象对之间的整体关系定义为\textit{link pattern}，它由网络中的交互模式和连接结构组成，然后使用张量形式化来联合建模和预测链接模式，我们称之为\textit{Link Pattern Prediction}（LPP）问题。为了解决这个问题，我们提出了一个概率潜在张量分解（PLTF）模型，通过引入另一个潜在的因素，多个关系类型，并提供层次贝叶斯处理所提出的概率模型，以避免过拟合解决LPP问题。为了学习所提出的模型，我们开发了一个有效的马尔可夫链蒙特卡罗抽样方法。在几个真实世界的数据集上进行了大量的实验，并证明了对现有的几种最先进的方法的显着改进。
2012-04-11 cs.LG cs.SI stat.ML
Discriminative Learning via Semidefinite Probabilistic Models
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
判别线性模型是机器学习中的一种常用工具。这些通常可以分为两种类型：第一种是线性分类器，例如支持向量机，它们被很好地研究并提供最先进的结果。这些模型的一个缺点是，它们的输出（称为“边际”）没有校准，并且不能自然地转换为标签上的分布。因此，很难将这些模型作为更大系统的组成部分，不像基于概率的方法。第二种方法使用非线性（例如对数线性模型）构建类条件分布，但有时在分类误差方面更差。我们提出了一个监督学习方法，结合了最好的两种方法。具体来说，我们的方法提供了标签上的分布，这是模型参数的线性函数。因此，概率之间的差异是线性函数，这是大多数概率模型（例如对数线性）所不具有的属性。我们的模型假设类对应于线性子空间（而不是半空间）。使用一个宽松的投影算子，我们构建了一个衡量一个给定的向量“属于”一个子空间的程度，从而在标签上的分布。有趣的是，这种观点与量子探测理论中的类似概念密切相关。由此产生的模型可以被训练以最大化边际或优化平均似然度量。相应的优化问题是半定规划，可以有效地解决。我们说明了我们的算法在现实世界的数据集上的性能，并表明它优于二阶核方法。
2012-06-27 cs.LG stat.ML
Relational Neural Machines
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
深度学习已被证明在有大量训练数据可用的几个任务中取得了令人印象深刻的结果。然而，深度学习只关注预测的准确性，忽略了导致决策的推理过程，这是生命关键应用中的一个主要问题。概率逻辑推理允许利用统计知识和特定领域的专业知识在不确定性下进行推理，但其可扩展性和与处理传感数据的层的脆弱集成极大地限制了其应用。出于这些原因，将深度架构和概率逻辑推理相结合是开发在复杂环境中运行的智能代理的基本目标。本文介绍了关系神经机，一种新的框架，允许联合训练的参数的学习者和一阶逻辑为基础的推理。关系神经机能够在纯子符号学习的情况下从监督数据恢复经典学习，并且在纯符号推理的情况下恢复马尔可夫逻辑网络，同时允许联合训练并在混合学习任务中执行推理。设计适当的算法解决方案，使学习和推理在大规模问题中易于处理。实验结果表明，在不同的关系任务有希望的结果。
2020-02-06 cs.AI cs.LG
DiffSTOCK: Probabilistic relational Stock Market Predictions using Diffusion Models
Purdue University（普渡大学）；University of Southern California（南加州大学）；NexusQuant AI
提出DiffSTOCK方法，利用去噪扩散概率模型处理金融数据不确定性，结合历史指标和股票间关系，实现SOTA的股市预测与投资组合管理。
2024-03-21 cs.CE cs.LG q-fin.CP
Recurrent Dirichlet Belief Networks for Interpretable Dynamic Relational Data Modelling
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；Fudan University（复旦大学）
Dirichlet Belief Network~（DirBN）是最近提出的一种学习对象可解释的深层潜在表征的方法。在这项工作中，我们利用其可解释的建模架构，并提出了一个深度的动态概率框架-递归狄利克雷信念网络~（递归DBN）-研究可解释的隐藏结构的动态关系数据。所提出的递归DBN具有以下优点：（1）它为时间步内和跨时间步的对象推断可解释和有组织的分层潜在结构;（2）它能够实现递归长期时间依赖建模，其性能优于大多数动态概率框架中的一阶马尔可夫描述。此外，我们开发了一种新的推理策略，首先向上和向后传播潜计数，然后向下和向前样本变量，使有效的吉布斯采样的递归DBN。我们将递归DBN应用于动态关系数据问题。在真实数据上的大量实验结果验证了递归DBN在可解释的潜在结构发现和改进的链接预测性能方面优于现有模型。
2020-04-29 cs.LG stat.ML
Improving decision-making via risk-based active learning: Probabilistic discriminative classifiers
University of Sheffield（谢菲尔德大学）；The Alan Turing Institute（艾伦·图灵研究所）
获得对结构的操作和维护做出明智决策的能力为结构健康监测（SHM）系统的实施提供了动力。然而，与被监测系统的健康状态相对应的测量数据的描述性标签通常是不可用的。这个问题限制了全监督机器学习范例用于开发统计分类器以用于SHM系统中的决策支持的适用性。解决这个问题的一种方法是基于风险的主动学习。在这种方法中，数据标签查询是根据初始数据点的完美信息的期望值来引导的。对于SHM中基于风险的主动学习，相对于维护决策过程评估信息的价值，并且数据标签查询对应于结构的检查以确定其健康状态。在SHM的上下文中，基于风险的主动学习仅被考虑用于生成分类器。目前的文件演示了使用一种替代类型的分类器-判别模型的几个优点。使用Z24桥数据集作为案例研究，它表明，判别分类器的好处，在SHM决策支持的背景下，包括提高鲁棒性抽样偏差，并减少结构检查的支出。
2022-06-23 cs.LG stat.AP stat.ML
Leveraging Node Attributes for Incomplete Relational Data
Monash University（莫纳什大学）
在实际应用中，关系数据通常是高度不完整的，这启发我们利用边信息来提高社区检测和链接预测的性能。本文提出了一种贝叶斯概率方法，它结合了各种节点属性编码的二进制形式的关系模型与泊松似然。我们的方法灵活地适用于有向和无向关系网络。可以通过有效的吉布斯抽样来进行推理，该采样利用了网络和节点属性的稀疏性。大量的实验表明，我们的模型达到了最先进的链接预测结果，特别是高度不完整的关系数据。
2017-06-14 cs.LG cs.SI stat.ML
A Logic-based Approach to Generatively Defined Discriminative Modeling
Tokyo Institute of Technology（东京工业大学）；Meijo University（名城大学）
条件随机场（CRF）通常是指定的图形模型，但在本文中，我们提出使用概率逻辑程序，并指定他们产生。我们的意图是，首先提供一个统一的方法，CRF复杂的建模，通过使用图灵完备语言和第二，提供一个方便的方式来实现生成判别对机器学习比较生成和判别模型，并选择最好的模型。我们实现了我们的方法作为D-PRISM语言修改PRISM，一个基于逻辑的概率建模语言生成建模，同时利用其动态规划机制，有效的概率计算。我们用逻辑回归、线性链CRF和CRF-CFG测试了D-PRISM，并在经验上证实了它们与生成对应物（即，朴素贝叶斯，HMM和PCFG。我们还介绍了新的CRF模型，CRF-BNC和CRF-LCG。它们分别是贝叶斯网络分类器和概率左角文法的CRF版本，并且易于在D-PRISM中实现。我们的经验表明，他们的表现优于他们的生成同行的预期。
2014-10-15 cs.LG
Interpretable Discriminative Dimensionality Reduction and Feature Selection on the Manifold
Center of Cognitive Interactive Technology (CITEC)（认知交互技术中心（CITEC））；Bielefeld University（比勒费尔德大学）
流形上的抽象性约简（DR）包括将数据从隐式关系空间投影到向量空间的有效方法。无论在这方面的成就，这些算法遭受缺乏解释的投影尺寸。因此，通常很难解释嵌入维度背后的物理意义。在这项研究中，我们提出了可解释的内核DR算法（I-KDR）作为一种新的算法，它将数据从特征空间映射到一个低维空间，在这个空间中，类更加紧凑，重叠更少。此外，该算法根据数据样本的局部贡献创建维度，这使得更容易通过类标签来解释它们。此外，我们有效地融合DR与特征选择任务，以选择原始空间中与判别目标最相关的特征。基于经验证据，I-KDR提供了更好的嵌入维度的解释，以及更高的判别性能相比，国家的最先进的和流行的DR算法在嵌入空间。
2019-09-19 cs.LG stat.ML
On Tractable Computation of Expected Predictions
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
计算判别模型的预期预测是机器学习中的一项基本任务，出现在许多有趣的应用中，例如公平性，处理缺失值和数据分析。不幸的是，相对于由任意生成模型定义的概率分布来计算判别模型的期望值通常已被证明是困难的。事实上，即使对于简单的模型，如逻辑回归和朴素贝叶斯分布，这项任务也是棘手的。在本文中，我们确定了一对生成和判别模型，使易于处理的计算的期望，以及任何顺序的时刻，后者相对于前者的情况下回归。具体来说，我们认为表达概率电路与某些结构约束，支持易处理的概率推理。此外，我们利用易于处理的高阶矩计算，推导出一个算法来近似的期望，在准确的计算是棘手的分类方案。我们计算预期预测的框架允许以原则和准确的方式在预测时间内处理丢失的数据，并能够推理判别模型的行为。我们的经验表明，我们的算法在各种数据集上始终优于标准插补技术。最后，我们说明了我们的框架可以用于探索性数据分析。
2019-10-31 cs.AI cs.LG stat.ML
Backprop KF: Learning Discriminative Deterministic State Estimators
University of California, Berkeley（加州大学伯克利分校）
基于概率滤波器和平滑器的生成式状态估计器是机器人和自动驾驶汽车最流行的状态估计器之一。然而，生成模型在处理丰富的感官观察（如相机图像）方面的能力有限，因为它们必须对传感器读数的整个分布进行建模。判别模型不受此限制，但作为用于状态估计的潜在变量模型，其训练通常更复杂。我们提出了一种替代方法，其中的参数的潜在状态分布直接优化作为一个确定性的计算图，从而在一个简单而有效的梯度下降算法训练判别状态估计。我们表明，这个过程可以用来训练状态估计，使用复杂的输入，如原始相机图像，必须使用表达非线性函数逼近器，如卷积神经网络处理。我们的模型可以被看作是一种递归神经网络，与概率滤波的连接使我们能够设计一种特别适合于状态估计的网络架构。我们评估我们的方法在合成跟踪任务与原始图像输入和视觉里程计任务中的KITTI数据集。结果表明，与标准生成方法和常规递归神经网络相比，都有显着的改进。
2017-10-01 cs.AI cs.LG
Answering Visual-Relational Queries in Web-Extracted Knowledge Graphs
NEC Labs Europe（欧洲NEC实验室）；University of Alcalá（阿尔卡拉大学）
视觉关系知识图谱（KG）是其实体与图像相关联的多关系图。我们探索新的机器学习方法来回答网络提取的知识图谱中的视觉关系查询。为此，我们创建了ImageGraph，这是一个KG，包含1，330个关系类型，14，870个实体和829，931个从Web上抓取的图像。使用视觉关系KG（如ImageGraph），可以引入新的概率查询类型，其中图像被视为一等公民。不可见图像之间的关系预测以及多关系图像检索都可以用特定的视觉关系查询族来表示。我们引入卷积网络和知识图谱嵌入方法的新组合来回答此类查询。我们还探讨了一个零样本学习的情况下，一个全新的实体的图像与现有KG的实体的多个关系。所得到的将看不见的实体图像到知识图谱中的多关系基础用作语义实体表示。我们进行实验，以证明所提出的方法可以回答这些视觉关系查询有效和准确。
2019-05-03 cs.AI cs.LG
Learning Distributional Programs for Relational Autocompletion
KU Leuven（荷语鲁汶大学）；Czech Technical University in Prague（布拉格捷克理工大学）
关系自动补全是指在多关系数据中自动填充某些缺失值的问题。我们解决这个问题的概率逻辑编程框架内的分布子句（DC），它支持离散和连续的概率分布。在这个框架内，我们引入了DiceML {一种从关系数据（可能有丢失的数据）中学习DC程序的结构和参数的方法。为了实现这一点，DiceML将统计建模和分布子句与规则学习集成在一起。DiceML的显着特点是：1）处理关系数据中的自动完成，2）学习用统计模型扩展的分布子句，3）处理离散和连续分布，4）可以利用背景知识，5）使用基于期望最大化的算法来处理丢失的数据。实证结果表明，该方法的承诺，即使有缺失的数据。
2021-07-05 cs.AI cs.LG cs.LO
Adversarial confidence and smoothness regularizations for scalable unsupervised discriminative learning
Nanyang Technological University（南洋理工大学）
在本文中，我们认为一个通用的概率判别学习器从功能的观点，并认为，要使它学习好，有必要限制其假设空间的一组非平凡的分段常数函数。为了实现这一目标，我们提出了一个可扩展的无监督正则化框架。在理论方面，我们证明了这个框架有助于建立一个事实上自信和平滑的判别模型，并将其与对抗性禁忌游戏、谱聚类和虚拟对抗性训练联系起来。在实验中，我们将深度神经网络作为我们的学习者，并证明，当在无监督环境中在我们的框架下训练时，它们不仅可以实现最先进的聚类结果，而且可以很好地推广合成和真实数据。
2018-06-04 cs.LG stat.ML
Scalable Deep Generative Relational Models with High-Order Node Dependence
University of New South Wales（新南威尔士大学）；Fudan University（复旦大学）；University of Technology, Sydney（悉尼科技大学）
我们提出了一个概率框架，用于建模和探索关系数据的潜在结构。给定网络中节点的特征信息，可扩展深度生成关系模型（SDREM）构建了一个深度网络架构，该架构可以近似节点的特征信息和节点的潜在表示之间的潜在非线性映射。我们的贡献是双重的：（1）我们结合高阶邻域结构信息来生成每个节点处的潜在表示，这些表示在网络上平滑变化。(2)由于潜在表示的狄利克雷随机变量结构，我们引入了一种新的数据增强技巧，允许有效的吉布斯抽样。SDREM可用于大型稀疏网络，因为其计算成本随正链路的数量而变化。我们通过在一系列真实数据集上改进链接预测性能来展示其竞争性能。
2019-11-04 cs.LG stat.ML
