Probabilistic Sufficient Explanations
University of California, Los Angeles(加州大学洛杉矶分校)
理解学习分类器的行为是一项重要的任务,已经提出了各种黑盒解释,逻辑推理方法和模型特定的方法。在本文中,我们引入概率充分解释,制定解释分类的实例选择“最简单的”子集的功能,只有观察这些功能是“足够的”来解释分类。也就是说,这足以为我们提供强概率保证,即当在数据分布下观察到所有特征时,模型将表现出相似的行为。此外,我们利用易处理的概率推理工具,如概率电路和预期的预测,设计一个可扩展的算法,找到所需的解释,同时保持保证完好无损。我们的实验表明,我们的算法在寻找足够的解释的有效性,并显示其优势相比,推理和逻辑解释。
2021-05-21 cs.AI cs.LG
Measuring Non-Probabilistic Uncertainty: A cognitive, logical and computational assessment of known and unknown unknowns
Frankfurt School of Finance & Management(法兰克福金融与管理学院);University of Bologna(博洛尼亚大学)
概率论不能充分描述不确定性有两个原因。第一种是由于独特或近乎独特的事件,这些事件要么从未实现,要么发生得太少,以至于无法可靠地测量频率。第二个是当一个人害怕某件事可能发生时,他甚至无法弄清楚,例如,如果有人问:“气候变化、金融危机、流行病、战争,接下来会发生什么?“在这两种情况下,简单的一对一的认知地图之间的可用的替代品和可能的后果最终融化。然而,这种破坏以具体、可识别和不同的方式反映在企业高管、员工和其他利益相关者不断变化的叙述中。特别是,可以分析顾问报告或致股东的信函等文本,以查明这两种不确定性对通常指导决策的因果关系的影响。我们提出了认知地图的结构措施作为衡量非概率不确定性的一种手段,最终表明,自动文本分析可以大大增加这些技术提供的可能性。预期的应用可能涉及从统计机构到企业以及一般公众的各种行为者。
2023-03-16 cs.AI cs.LG
Probabilistic Binary-Mask Cocktail-Party Source Separation in a Convolutional Deep Neural Network
University of Surrey(萨里大学)
竞争语音的分离是信号处理中的一个关键挑战,也是人类听觉大脑经常执行的一项壮举。声源分离的频谱图方法的一个长期存在的基准被称为理想二进制掩模。在这里,我们训练一个卷积深度神经网络,在两个扬声器的鸡尾酒会问题上,对二进制掩码进行概率预测。我们的结果接近理想的二进制掩码性能,说明相对简单的深度神经网络能够进行鲁棒的二进制掩码预测。我们还说明了预测统计和分离质量之间的权衡。
2015-03-24 cs.LG cs.NE cs.SD
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学)
安全强化学习(Safe RL)旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽,它使用逻辑安全规范来防止RL代理采取不安全的操作。然而,传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此,我们引入概率逻辑策略梯度(PLPG)。PLPG是一种基于模型的安全RL技术,它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此,PLPG可以无缝地应用于任何策略梯度算法,同时仍然提供相同的收敛保证。在我们的实验中,我们表明,PLPG学习更安全,更有益的政策相比,其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Logical Activation Functions: Logit-space equivalents of Probabilistic Boolean Operators
Dalhousie University(达尔豪斯大学);Vector Institute for Artificial Intelligence(向量人工智能研究所)
激活函数的选择及其动机是神经网络社区中的一个长期存在的问题。人工神经网络内的神经元表示通常被理解为logit,表示刺激内特征存在的对数几率分数。我们推导出的逻辑空间运营商相当于概率布尔逻辑门与,或,和XNOR的独立概率。这些理论对于形式化真实神经元中更复杂的树突操作是重要的,并且这些操作可以用作神经网络内的激活函数,引入概率布尔逻辑作为神经网络的核心操作。由于这些函数涉及采用多个指数和多项式,因此它们在计算上是昂贵的,并且不太适合直接在神经网络内使用。因此,我们构建了高效的近似$\text{AND}_\text{AIL}$(独立Logits的AND运算近似),$\text{OR}_\text{AIL}$和$\text{XNOR}_\text{AIL}$,它们只利用比较和加法运算,具有良好的梯度,并且可以部署为神经网络中的激活函数。像MaxOut一样,$\text{AND}_\text{AIL}$和$\text{OR}_\text{AIL}$是ReLU到二维的推广。虽然我们的主要目标是在逻辑空间概率布尔框架内形式化树突计算,但我们单独和联合部署了这些新的激活函数,以证明它们对各种任务的有效性,包括图像分类,迁移学习,抽象推理和组合零样本学习。
2022-11-29 cs.AI cs.CV cs.LG
State Algebra for Probabilistic Logic
Stratyfy Inc.(Stratyfy公司);Department of Mathematics, College of Staten Island(史泰登岛学院数学系);Physics Program, CUNY Graduate Center(CUNY研究生中心物理项目)
本文提出概率状态代数,扩展了确定性命题逻辑,通过线性代数构建马尔可夫随机场。通过将逻辑状态映射为实数坐标作为能量势,定义能量模型,利用Hadamard积生成全局概率分布,实现逻辑缩减的原生矩阵运算。
2026-03-13 cs.AI cs.LG cs.LO
Problems using deep generative models for probabilistic audio source separation
Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室);University of Amsterdam(阿姆斯特丹大学)
深度生成建模的最新进展使得从复杂数据中学习先验分布成为可能,随后可用于贝叶斯推理。然而,我们发现,通过音频信号的深度生成模型学习的分布并没有表现出使用概率方法进行音频声源分离等任务所必需的正确属性。我们观察到,学习的先验分布要么是歧视性的和极端的峰值或平滑和非歧视性的。我们在两个音频数据集上量化了两种类型的深度生成模型的这种行为。
2020-11-03 cs.LG cs.SD eess.AS
Hierarchical Probabilistic Model for Blind Source Separation via Legendre Transformation
The University of Sydney(悉尼大学);National Institute of Informatics(国立信息学研究所)
提出了一种新的盲源分离方法--信息几何盲源分离方法。我们的公式是基于对数线性模型配备了一个分层结构的样本空间,它具有理论保证,以唯一地恢复一组源信号,通过最小化的库尔贝克-莱布勒散度从一组混合信号。源信号、接收信号和混合矩阵在我们的分层样本空间中被实现为不同的层。我们的实验结果表明,图像和时间序列数据,我们的方法是优于成熟的技术,能够分离信号与复杂的相互作用。
2021-06-11 cs.LG stat.ML
Logical Entity Representation in Knowledge-Graphs for Differentiable Rule Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
提出逻辑实体表示(LERP)编码实体相邻子图上下文,结合概率逻辑规则学习提升规则表达力,在知识图谱补全任务中优于现有方法且增强可解释性。
2023-05-22 cs.AI cs.LG cs.LO
Leveraging Unlabeled Data for Entity-Relation Extraction through Probabilistic Constraint Satisfaction
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
研究了在符号领域知识存在的情况下,实体-关系抽取问题.这种知识采取本体论的形式,定义关系及其允许的论点。以前的方法开始整合这些知识在他们的学习方法要么通过自我训练,或通过近似,失去了精确的意义的逻辑表达式。相比之下,我们的方法采用语义损失,通过在所有可能的状态上保持概率分布来捕获逻辑句子的精确含义,并将模型引导到最小化任何约束违反的解决方案。随着低数据制度的重点,我们表明,语义损失远远超过基线。
2021-03-20 cs.CL cs.LG
Deep Transform: Cocktail Party Source Separation via Probabilistic Re-Synthesis
Surrey University(萨里大学)
在鸡尾酒会听音乐的场景中,人脑能够分离相互竞争的语音信号。然而,大脑执行鸡尾酒会听力的信号处理还没有得到很好的理解。在这里,我们训练了两个单独的卷积自编码器深度神经网络(DNN)来分离两个并发语音流的单声道和双耳混合。然后,我们使用这些DNN作为卷积深度变换(CDT)设备来执行概率重新合成。CDT直接在时域中操作。我们的模拟表明,非常简单的神经网络能够利用单声道和双耳信息在鸡尾酒会听的情况。
2015-03-20 cs.LG cs.NE cs.SD
Probabilistic Entity Representation Model for Reasoning over Knowledge Graphs
Virginia Tech(弗吉尼亚理工大学);Amazon(亚马逊)
基于知识图谱的逻辑推理是一种能够在大型不完整数据库上提供高效查询机制的基本技术。目前的方法采用空间几何形状,如框来学习查询表示,包括答案实体和模型的投影和交集的逻辑运算。然而,它们的几何形状是限制性的,并导致非光滑的严格边界,这进一步导致模糊的答案实体。此外,以前的作品提出了转换技巧来处理非封闭的结果,因此,不能链接在一个流的工会。在本文中,我们提出了一个概率实体表示模型(PERM)编码的实体作为一个多元高斯密度与均值和协方差参数,以捕捉其语义位置和平滑决策边界,分别。此外,我们还定义了可以使用端到端目标函数聚合的投影,交集和并集的闭合逻辑运算。在逻辑查询推理问题上,我们证明了所提出的PERM显着优于各种公共基准KG数据集上的标准评估指标的最先进的方法。我们还评估了PERM在COVID-19药物再利用案例研究中的能力,并表明我们提出的工作能够推荐F1比当前方法好得多的药物。最后,我们展示了我们的PERM的查询回答过程中,通过低维可视化的高斯表示的工作。
2021-10-30 cs.CL cs.IR cs.LG
Probabilistic Permutation Invariant Training for Speech Separation
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
单麦克风、与说话者无关的语音分离通常通过两个步骤来执行:(i)分离特定语音源,以及(ii)确定最佳输出标签分配以找到分离误差。第二步是训练用于语音分离的神经网络的主要障碍。最近提出的排列不变训练(PIT)解决了这个问题,通过确定输出标签分配,最大限度地减少分离误差。在这项研究中,我们证明了这种技术的一个主要缺点是输出标签分配的过度自信选择,特别是在训练的初始步骤中,当网络生成不可靠的输出时。为了解决这个问题,我们提出了概率PIT(Prob-PIT),它认为输出标签置换作为一个离散的潜在的随机变量具有均匀的先验分布。Prob-PIT定义了一个基于先验分布和所有排列的分离误差的对数似然函数;它通过最大化对数似然函数来训练语音分离网络。Prob-PIT可以通过用软最小值函数代替PIT的最小值函数来容易地实现。我们评估了TIMIT和CHiME数据集上的语音分离方法。实验结果表明,该方法在信号失真比和信号干扰比方面明显优于PIT。
2019-08-04 cs.LG cs.SD eess.AS
A Probabilistic Model for Discriminative and Neuro-Symbolic Semi-Supervised Learning
University of Edinburgh(爱丁堡大学);Samsung AI Centre Cambridge(三星剑桥人工智能中心)
通过结合利用数据分布的不同方面的方法,半监督学习(SSL)已经取得了很大进展,例如,一致性正则化依赖于$p(x)$的属性,而熵最小化与标签分布$p(y|x)$有关。专注于后者,我们提出了一个概率模型的歧视SSL,它反映了其经典的生成对应。在假设$y|x$是确定性的情况下,潜在变量的先验变得离散。我们发现,几个著名的SSL方法可以被解释为近似这一先验,并可以改进。我们扩展的歧视性模型神经符号SSL,标签功能满足逻辑规则,通过显示这些规则直接与上述先验,从而证明了一个家庭的方法,统计学习和逻辑推理,并将它们与常规SSL统一。
2021-05-31 cs.LG cs.LO stat.ML
A Probabilistic Model of the Bitcoin Blockchain
IBM Research(IBM研究院)
比特币交易图是一个公共数据结构,被组织为地址之间的交易,每个地址与一个逻辑实体相关联。在这项工作中,我们介绍了比特币区块链的完整概率模型。我们首先制定了一套条件依赖诱导的比特币协议在块级,并得出相应的完全观察到的图形模型的比特币块。然后,我们扩展该模型,包括隐藏的实体属性,如相关的逻辑代理的功能类别,并推导出该模型所隐含的隐私属性的渐近界。在网络层面上,我们表现出复杂的交易行为的证据,并提出了相关的判别模型的代理类别。基于块的图形模型和网络级判别模型的性能都在公共比特币区块链的子集上进行评估。
2018-11-07 cs.AI cs.CR cs.LG
Knowing When to Quit: Probabilistic Early Exits for Speech Separation
Technical University of Denmark(丹麦技术大学);WS Audiology(WS听力科技公司)
本文提出了一种具有概率早退能力的语音分离与增强神经网络架构,通过建模信号和误差方差以实现动态计算优化,提升资源利用效率。
2026-03-04 cs.LG cs.SD eess.AS
ANDRE: An Attention-based Neuro-symbolic Differentiable Rule Extractor for Inductive Logic Programming
Dept. of Mechanical and Aerospace Engineering, George Washington University, USA(机械与航空航天工程系,乔治华盛顿大学);Dept. of Mechanical Engineering Sciences, University of Surrey, UK(机械工程科学系,萨里大学)
提出ANDRE框架,通过注意力驱动的可微逻辑算子优化连续规则空间,实现从概率数据中学习一阶逻辑规则,在噪声环境下保持鲁棒性和可解释性。
2026-05-31 cs.AI cs.LG cs.LO
Estimating Accuracy from Unlabeled Data: A Probabilistic Logic Approach
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
我们提出了一种有效的方法来估计分类器的准确性,只使用未标记的数据。我们考虑一个设置多个分类问题,目标类可能是通过逻辑约束绑在一起。例如,一组类可能是互斥的,这意味着一个数据实例最多只能属于其中一个类。所提出的方法是基于直觉:(i)当分类器同意时,它们更有可能是正确的,以及(ii)当分类器做出违反约束的预测时,至少有一个分类器必须出错。在四个真实世界的数据集上进行的实验,仅使用未标记的数据,产生的准确度估计值与真实准确度相差不到百分之几。我们的模型在估计精度和组合多个分类器输出方面也优于现有的最先进的解决方案。结果强调了逻辑约束在估计精度中的效用,从而验证了我们的直觉。
2017-05-19 cs.AI cs.LG stat.ML
Deep Transform: Cocktail Party Source Separation via Complex Convolution in a Deep Neural Network
University of Surrey(萨里大学)
卷积深度神经网络(DNN)在许多工程问题中是最先进的,但尚未解决如何处理复杂频谱图的问题。在这里,我们使用循环统计来提供复杂卷积DNN中频谱图相位的方便概率估计。在一个典型的鸡尾酒会声源分离场景中,我们训练了一个卷积DNN来重新合成两个源语音信号的复频谱图,给出了一个单声道混合的复频谱图-一个判别深度变换(DT)。然后,我们使用这个复杂的卷积DT来获得源频谱图的幅度和相位分量的概率估计。我们的分离结果与基于等效二进制掩码的非复杂分离方法相当。
2015-04-12 cs.LG cs.NE cs.SD
Mitigating Sample-Level Imbalance via Probabilistic Separation for Adaptive Multimodal Fusion
South China University of Technology(南方科技大学)
本文提出基于GMM的自适应损失,用于量化和缓解多模态学习中的样本级不平衡问题,通过双阶段框架提升音频-视觉学习性能。
2026-08-25 cs.AI cs.LG cs.SD