Supervised classification via minimax probabilistic transformations
BCAM-Basque Center of Applied Mathematics(BCAM巴斯克应用数学中心);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
用于监督分类的常规技术约束所考虑的分类规则,并且使用用于分类0-1损失的替代损失。分类规则的Festival族是那些享有适合于代理损失最小化的参数表示和适合于过拟合控制的低复杂度特性的分类规则。本文提出了基于鲁棒风险最小化(RRM)的分类技术,我们称之为线性概率分类器(LPC)。所提出的技术考虑无约束的分类规则,优化分类0-1损失,并在学习过程中提供性能界限。LPC通过使用线性优化来实现有效的学习,并通过使用RRM在多面体不确定性分布集上避免过度拟合。我们还提供了有限样本的泛化界的LPC,并显示其竞争力的性能与国家的最先进的技术,使用基准数据集。
2019-05-31 cs.LG stat.ML
An Introduction to Probabilistic Spiking Neural Networks: Probabilistic Models, Learning Rules, and Applications
脉冲神经网络(SNN)是分布式可训练系统,其计算元件或神经元的特征在于内部模拟动力学以及数字和稀疏突触通信。突触尖峰输入的稀疏性和神经处理的对应的事件驱动性质可以通过节能硬件实现来利用,与传统的人工神经网络(ANN)相比,这可以提供显著的能量减少。训练算法的设计滞后于硬件实现。大多数现有的SNN训练算法都是针对生物相容性设计的,或者是通过速率编码从预训练的ANN转换而来的。本文通过关注概率信号处理方法来介绍SNN,该方法通过利用SNN独特的时间编码功能来直接导出学习规则。我们采用离散时间概率模型的网络尖峰神经元和监督和无监督学习规则的第一原则,通过变分推理。还提供了实例和开放的研究问题。
2019-11-27 cs.LG cs.NE eess.SP
Superior Scoring Rules for Probabilistic Evaluation of Single-Label Multi-Class Classification Tasks
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学));University of Exeter(埃克塞特大学)
提出PBS和PLL两种新型评分规则,通过引入对错误分类的惩罚改进概率分类评估,在满足严格评分属性的同时优先奖励正确预测,有效提升模型选择与早停效果并实现更高的F1分数。
2024-07-25 cs.LG stat.ML
Probabilistic Truly Unordered Rule Sets
LIACS, Leiden University(莱顿大学LIACS)
针对规则集存在顺序、难以处理概率冲突及多分类研究不足的问题,本文提出 TURS,利用概率输出相似性允许规则重叠,并基于 MDL 原则启发式学习真正无序的概率规则集。
2026-10-07 cs.LG
Sampling of Bayesian posteriors with a non-Gaussian probabilistic learning on manifolds from a small dataset
Université Paris-Est Marne-la-Vallée(巴黎东马恩拉瓦莱大学);University of Southern California(南加州大学)
本文解决了小数据对贝叶斯推断任务的挑战。在以下假设下,提出了一种基于流形学习和流形抽样的新方法来解决这个计算统计问题:1)先验模型和似然函数都不是高斯函数,也都不能用高斯度量来近似; 2)函数输入的数量(系统参数)和功能输出(兴趣量)可以很大; 3)先验模型的可用实现数量少,导致通常与昂贵的数值模拟相关联的小数据挑战;实验实现的数量也很小; 4)决策所需的后验实现的数量远大于可用的初始数据集。方法和它的数学方面进行了详细说明。三个应用程序进行验证:前两个涉及的数学结构,旨在发展直觉的方法,并探讨其性能。第三个例子的目的是使用一个更复杂的应用程序来证明该方法的操作价值,该应用程序涉及使用超声波对受损生物组织(皮质骨中的骨质疏松症)的非高斯矩阵值随机弹性场进行统计逆识别。
2019-10-28 cs.LG stat.ML
To Each Metric Its Decoding: Post-Hoc Optimal Decision Rules of Probabilistic Hierarchical Classifiers
Soda, Inria Saclay, France(Soda,法国萨克利研究所);Fundamental Technologies, USA(Fundamental Technologies,美国)
本文提出针对目标度量对概率层次分类器输出进行事后最优解码的框架,推导了节点预测及节点子集预测场景下的最优决策规则,并通过实验证明其在欠确定场景中优于启发式方法。
2025-06-02 cs.LG stat.ML
FI-CBL: A Probabilistic Method for Concept-Based Learning with Expert Rules
Higher School of Artificial Intelligence Technologies(高等人工智能技术学院);Peter the Great St.Petersburg Polytechnic University(彼得大帝圣彼得堡理工大学)
FI-CBL通过图像分块、自编码嵌入和聚类,结合频率学派推断与专家逻辑规则,在少样本场景下实现透明且优于概念瓶颈模型的概念学习。
2024-06-28 cs.LG stat.ML
Signature Kernel Scoring Rule: A Spatio-Temporal Diagnostic for Probabilistic Weather Forecasting
Department of Statistics, University of Warwick(沃里克大学统计系)
本文提出签名核评分规则,用于概率天气预测,通过迭代积分将天气变量视为连续路径,以编码时空依赖性,并在WeatherBench 2上验证其高判别力和路径依赖交互捕捉能力。
2026-04-30 cs.LG stat.AP stat.ML
Regions of Reliability in the Evaluation of Multivariate Probabilistic Forecasts
ServiceNow Research(ServiceNow研究院)
本文通过有限样本功效分析界定适当评分规则的“可靠区域”,并利用合成基准与电力生产任务揭示多元概率预测常用评估方法的关键缺陷。
2023-06-06 cs.LG stat.ML
Probabilistic hypergraph grammars for efficient molecular optimization
Mosaic Smart Data Ltd(马赛克智能数据有限公司)
我们提出了一种方法,使分子优化更有效。我们从ChEMBL数据库中推断出一个超图替换语法,计算用于扩展其他规则中特定非终结符的特定规则的频率,并将其用作策略模型的条件先验。从由此产生的概率语法模拟随机分子,我们表明,有条件的先验比使用相等的规则概率或无条件先验的分子分布更接近训练集。然后,我们将分子优化视为强化学习问题,使用策略梯度算法的新修改- batch-advantage:使用单个奖励减去批平均奖励来加权对数概率损失。强化学习代理的任务是使用这种语法构建分子,目标是最大限度地提高文献中的基准得分。为此,代理具有选择图中要扩展的下一个节点和选择要应用的下一个语法规则的策略。这些策略是使用Transformer架构实现的,每个步骤都将部分展开的图作为输入。我们表明,使用经验先验作为政策的起点,消除了对预训练的需要,并使我们能够更快地达到最优。我们在文献中的常见基准测试中实现了具有竞争力的性能,例如惩罚logP和QED,在预算GPU实例上只有数百个训练步骤。
2019-06-05 cs.LG stat.ML
RCProb: Probabilistic rule extraction from classification tree ensembles
Department of Industrial Engineering(工业工程系)
本文提出RCProb,一种基于概率的方法,用于从树集成中提取规则,以减少计算成本并生成更紧凑的规则集,同时保持预测性能。
2026-09-04 cs.LG
Probabilistic Approach to Neural Networks Computation Based on Quantum Probability Model Probabilistic Principal Subspace Analysis Example
Institute of Electrical Engineering “Nikola Tesla”(“尼古拉·特斯拉”电气工程研究所);EE Institute “Nikola Tesla”(“尼古拉·特斯拉”电气工程研究所)
在本文中,我们介绍了概率模型的元素,是适合于生物合理的人工神经网络框架中的学习算法建模。模型基于量子物理学中的两个主要概念-密度矩阵和玻恩规则。作为一个例子,我们将表明,提出的概率解释是适合于建模的在线学习算法PSA,这是最好的实现基于非常简单的计算单元的并行硬件。所提出的概念(模型)可以用于提高算法收敛速度、学习因子选择或输入信号尺度鲁棒性的上下文中。我们将看到玻恩规则和赫布学习规则是如何联系的
2010-01-25 cs.LG cs.NE
An Introduction to Spiking Neural Networks: Probabilistic Models, Learning Rules, and Applications
尖峰神经网络(SNN)是分布式可训练系统,其计算元件或神经元的特征在于内部模拟动态以及数字和稀疏突触通信。突触尖峰输入的稀疏性和神经处理的对应的事件驱动性质可以通过与常规人工神经网络(ANN)相比已经展示出显著能量降低的硬件实现来利用。大多数现有的SNN训练算法都是针对生物相容性设计的,或者是通过速率编码从预训练的ANN转换而来的。本文的目的是提供一个介绍SNN的概率信号处理方法,使学习规则的直接推导,利用SNN独特的时间编码能力。为此,本文采用网络尖峰神经元的离散时间概率模型,并利用变分推理从第一性原理推导出有监督和无监督学习规则。还提供了实例和开放的研究问题。
2019-10-20 cs.IT cs.LG cs.NE
Interpretable multiclass classification by MDL-based rule lists
Leiden University(莱顿大学)
最近,可解释分类器受到了数据采掘界越来越多的关注,因为它们本质上比更复杂的分类器更容易理解和解释。可解释的分类模型的示例包括决策树、规则集和规则列表。学习这样的模型通常涉及优化超参数,这通常需要大量的数据,并可能导致相对较大的模型。在本文中,我们考虑的问题,学习紧凑而准确的概率规则列表的多类分类。具体来说,我们提出了一种新的形式化的基础上概率规则列表和最小描述长度(MDL)的原则。这导致了几乎无参数的模型选择,自然允许权衡模型复杂性与拟合优度,从而有效地避免了过度拟合和超参数调整的需要。最后,我们介绍了Classy算法,该算法根据所提出的标准,greetly发现规则列表。我们的经验表明,Classy选择的小概率规则列表在预测性能和可解释性的结合方面优于最先进的分类器。我们表明,Classy是不敏感的唯一参数,即,候选集,以及训练集上的压缩与分类性能相关,验证了我们基于MDL的选择标准。
2019-10-31 cs.AI cs.LG stat.ML
Probabilistic and reinforced mining of association rules
本文提出四种基于概率与强化学习的关联规则挖掘方法,利用高斯过程、贝叶斯推断、多臂老虎机和深度Q网络,增强不确定性建模与自适应搜索,优于传统频率算法,适用于小数据集和稀有模式发现。
2025-06-22 cs.LG
Learning Probabilistic Filters with Strictly Proper Scoring Rules
提出基于严格适当评分规则和Transformer的集成滤波器PSEF,通过合成轨迹训练分析映射逼近滤波分布,在非线性非高斯问题上优于经典方法。
2026-10-07 cs.LG math.DS stat.ML
Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules in Vector-symbolic Architectures
IBM Research – Zurich(IBM苏黎世研究院);ETH Zurich(苏黎世联邦理工学院)
本研究提出Learn-VRF方法,利用向量符号架构的分布式计算,仅需一次训练遍历即可学习瑞文渐进矩阵的规则公式,参数紧凑且可解释,在分布内与分布外任务上均优于纯连接主义基线。
2024-01-29 cs.AI cs.LG
Distributional Regression with Tabular Foundation Models: Evaluating Probabilistic Predictions via Proper Scoring Rules
University of Stuttgart(斯图加特大学);Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对表格基础模型(如TabPFN、TabICL)生成完整预测分布但基准仅用点估计指标的问题,提出使用适当评分规则进行训练、微调和排名,证明不同评分规则在有限数据上导致不同归纳偏差和模型性能。
2026-06-23 cs.AI cs.LG
Proper Scoring Rule-based Diffusion for Probabilistic Weather Forecasting
KAIST(韩国科学技术院);Kookmin University(国民大学);New York University(纽约大学)
提出基于恰当评分规则的扩散框架,通过辅助条件去噪任务改进概率天气预报,在长时效预报中显著提升精度与校准性。
2026-10-01 cs.LG
VOWEL: A Local Online Learning Rule for Recurrent Networks of Probabilistic Spiking Winner-Take-All Circuits
King’s College London(伦敦国王学院)
尖峰神经元网络和赢家通吃尖峰电路(WTA-SNN)可以检测编码在时空多值事件中的信息。这些通过感兴趣的事件的时间来描述,例如,点击,以及分配给每个事件的分类数值,例如,喜欢或不喜欢。其他用例包括从神经形态相机收集的数据中识别对象,这些相机在亮度变化足够大的时候为每个像素产生有符号位。现有的训练WTA-SNN的方案仅限于速率编码解决方案,因此只能检测空间模式。为任意WTA-SNN开发更通用的训练算法继承了训练(二进制)脉冲神经网络(SNN)的挑战。这些金额,最值得注意的是,阈值函数的不可微性,尖峰神经模型的经常性行为,以及在神经形态硬件中实现反向传播的困难。在本文中,我们开发了一个变分的WTA-SNN的在线本地训练规则,称为VOWEL,它只利用了可见电路的本地突触前和突触后信息,以及隐藏电路的额外公共奖励信号。该方法是基于概率广义线性神经模型,控制变量,变分正则化。在具有多值事件的真实世界神经形态数据集上的实验结果表明,WTA-SNN优于使用最先进方法训练的传统二进制SNN,特别是在计算资源有限的情况下。
2020-04-20 cs.LG cs.NE eess.SP
Bayes or Heisenberg: Who(se) Rules?
LMU Munich(慕尼黑莱茵河大学)
本文证明量子测量过程可重构为概率方程,并可用张量大脑模型的神经网络动力学近似,该模型为大脑感知记忆提供生物启发式符号整合机制。
2025-10-23 cs.AI cs.LG q-bio.NC
CHR(PRISM)-based Probabilistic Logic Learning
K.U.Leuven(鲁汶大学);Tokyo Institute of Technology(东京工业大学)
PRISM是Prolog的扩展,具有概率谓词和对期望最大化学习的内置支持。约束处理规则(Constraint Handling Rules,简写为程序设计语言)是一种基于多头多集重写规则的高级程序设计语言。在本文中,我们介绍了一种新的概率逻辑形式主义,称为CHRiSM,基于组合的PRISM和PRISM。它可以通过“机会规则”用于复杂统计模型的高级快速原型设计。然后,底层PRISM系统可用于多个概率推理任务,包括概率计算和参数学习。我们从语法和操作语义两个方面定义了CHRiSM语言,并举例说明。我们定义了模糊程序的概念,并定义了一个明确的程序的分布语义。接下来,我们描述了CHRiSM的实现,基于PRISM(棱镜)。我们讨论了CHRiSM和其他概率逻辑程序设计语言,特别是PCHR之间的关系。最后,我们确定潜在的应用领域。
2010-07-22 cs.AI cs.LG cs.LO
Information Lattice Learning as Probabilistic Graphical Model Structure Learning
Kocree, Inc.(Kocree公司);AI Innovation Institute, Stony Brook University(石溪大学人工智能创新研究所)
将信息格学习(ILL)解释为概率图模型结构学习,通过投影到分区格上学习可解释规则,并建立与最大熵和因子图的联系。
2026-06-19 cs.AI cs.LG eess.SP
ANDRE: An Attention-based Neuro-symbolic Differentiable Rule Extractor for Inductive Logic Programming
Dept. of Mechanical and Aerospace Engineering, George Washington University, USA(机械与航空航天工程系,乔治华盛顿大学);Dept. of Mechanical Engineering Sciences, University of Surrey, UK(机械工程科学系,萨里大学)
提出ANDRE框架,通过注意力驱动的可微逻辑算子优化连续规则空间,实现从概率数据中学习一阶逻辑规则,在噪声环境下保持鲁棒性和可解释性。
2026-05-31 cs.AI cs.LG cs.LO
Improving probabilistic forecasts of extreme wind speeds by training statistical post-processing models with weighted scoring rules
Department of Mathematics and Statistics(数学与统计学系);University of Exeter(埃克塞特大学);Met Office(英国气象局)
本研究提出使用阈值加权连续分级概率分数(twCRPS)训练集合模型输出统计(EMOS)模型,以改进极端风速的概率预测,并通过加权训练和线性混合缓解分布主体与尾部性能之间的权衡。
2025-03-28 cs.LG stat.AP