Minimax Classification with 0-1 Loss and Performance Guarantees
BCAM-Basque Center of Applied Mathematics（巴斯克应用数学中心）；IKERBASQUE-Basque Foundation for Science（巴斯克科学基金会）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
监督分类技术使用训练样本来寻找具有较小预期0-1损失的分类规则。传统的方法实现有效的学习和样本外的推广，通过最小化代理损失超过特定的家庭的规则。本文提出了极小极大风险分类器（MRC），不依赖于选择的替代损失和家庭的规则。MRC通过最小化最坏情况下的预期0-1损失w.r.t.由线性约束定义的不确定性集，包括真实的底层分布。此外，MRC的学习阶段提供了性能保证，作为预期0-1损失的上下限。我们还提出了MRC的有限样本泛化界的训练规模和最小的极小极大风险，并显示其竞争力的分类性能w.r.t.使用基准数据集的最新技术。
2020-10-15 cs.LG stat.ML
Minimax bounds for structured prediction
结构化预测可以被认为是许多标准监督学习任务的推广，并且通常被认为是多个标签的同时预测。一种标准的方法是最大化标签空间上的得分函数，该得分函数分解为一元和成对势的总和，每个势分别取决于一个或两个特定的标签。对于这种方法，多年来已经提出了几种学习和推理算法，从精确到近似方法，同时平衡计算复杂性。然而，与二进制和多类分类相比，实现学习所需的样本数量的结果仍然有限，即使是对于特定的预测因子家族，如因子图。在这项工作中，我们提供了极大极小界的一类因素图推理模型的结构化预测。也就是说，我们描述了任何可能的算法实现因子图预测器学习所需的样本复杂度。
2019-06-02 cs.LG stat.ML
Optimal Binary Classifier Aggregation for General Losses
University of California, San Diego（加州大学圣地亚哥分校）
我们解决了在半监督二进制分类设置中聚集具有已知损失界限的预测器集合的问题，以最小化未标记数据上发生的预测损失。我们找到了一个非常一般的一类损失函数，包括所有凸和许多非凸损失的最小最大最优预测，扩展了最近的分析问题的误分类错误。其结果是一个家庭的半监督集成聚合算法是有效的线性学习凸优化，但极小极大最优没有任何松弛。他们的决策规则采用决策理论中熟悉的形式-将sigmoid函数应用于集成裕度的概念-而没有基于裕度的学习中通常所做的假设。
2016-11-07 cs.LG stat.ML
An Impossibility Result for High Dimensional Supervised Learning
我们研究了高维渐近性能极限的二进制监督分类问题，类条件密度是高斯未知的手段和协方差和信号维数的规模比标记的训练样本的数量更快。我们表明，贝叶斯错误，即最小可达到的错误概率与完整的分布知识和同样可能的类，可以任意接近于零，但每个监督学习算法的极限极大极小错误概率并不比随机抛硬币。与分类困难（贝叶斯错误）消失的相关研究相反，我们在取高维极限时保持不变。与基于VC维的极大极小下界（考虑具有固定贝叶斯误差的所有分布的最坏情况错误概率）相比，我们的最坏情况是具有恒定贝叶斯误差的高斯分布族。我们还表明，一个非平凡的渐近极小极大错误概率只能达到零测度的参数子集（在一个适当的措施空间）。这些结果揭示了先验知识的根本重要性，并表明除非我们对参数空间施加强的结构约束（如稀疏性），否则监督学习在高维小样本环境中可能无效。
2013-04-25 stat.ML
MRCpy: A Library for Minimax Risk Classifiers
Basque Center for Applied Mathematics（巴斯克应用数学中心）；IKERBASQUE-Foundation for Science（伊克尔巴斯克科学基金会）
本文提出Python库MRCpy，实现了基于鲁棒风险最小化方法的minimax risk classifiers，提供性能保证、高维高效学习及分布偏移适应能力，并实现与scikit-learn等库的无缝集成。
2024-05-29 cs.LG stat.ML
Minimax Generalized Cross-Entropy
Basque Center for Applied Mathematics（巴斯克应用数学中心）；Ikerbasque, Basque Foundation for Science（伊克尔巴斯基，巴斯克科学基金会）；Johns Hopkins University（约翰霍普金斯大学）
本文提出最小最大广义交叉熵(MGCE)，通过凸优化改进分类边界的优化问题，提升模型在复杂数据集和标签噪声下的准确性和鲁棒性。
2026-04-27 cs.LG stat.ML
A Probabilistic Model for Discriminative and Neuro-Symbolic Semi-Supervised Learning
University of Edinburgh（爱丁堡大学）；Samsung AI Centre Cambridge（三星剑桥人工智能中心）
通过结合利用数据分布的不同方面的方法，半监督学习（SSL）已经取得了很大进展，例如，一致性正则化依赖于$p(x)$的属性，而熵最小化与标签分布$p(y|x)$有关。专注于后者，我们提出了一个概率模型的歧视SSL，它反映了其经典的生成对应。在假设$y|x$是确定性的情况下，潜在变量的先验变得离散。我们发现，几个著名的SSL方法可以被解释为近似这一先验，并可以改进。我们扩展的歧视性模型神经符号SSL，标签功能满足逻辑规则，通过显示这些规则直接与上述先验，从而证明了一个家庭的方法，统计学习和逻辑推理，并将它们与常规SSL统一。
2021-05-31 cs.LG cs.LO stat.ML
Probabilistic supervised learning
University College London（伦敦大学学院）；University of Warwick（华威大学）；University of Oxford（牛津大学）
预测建模和监督学习是现代数据科学的核心。随着越来越多的监督黑箱策略的预测-例如，核方法、随机森林、深度学习又称神经网络--作为决策过程的基础，理解与这些预测相关的统计不确定性至关重要。作为处理这个问题的一般手段，我们提出了一个黑盒预测策略的总体框架，不仅预测目标，而且预测自己的预测的不确定性。此外，该框架允许公平评估和比较不同的预测策略。为此，我们正式考虑能够从特征变量预测全分布的策略，即所谓的概率监督学习策略。我们的工作借鉴了以前的工作，包括贝叶斯统计，信息论和现代监督机器学习，并在一个新的合成导致（a）新的理论见解，如概率偏差方差分解和预测的熵公式，以及（b）新的算法和元算法，如复合预测策略，概率提升和装袋，和概率预测独立性测试我们的黑盒公式还导致（c）概率监督学习和建模工作流API设计的新模块化接口视图，我们已经在新发布的skpro机器学习工具箱中实现，扩展了sklearn的熟悉建模接口和元建模功能。skpro包提供了用于构造、组合和调整概率监督学习策略的接口，以及用于验证和比较任何此类策略的编排功能-无论是频率论、贝叶斯还是其他。
2019-05-07 cs.LG math.ST stat.ME
ProSub: Probabilistic Open-Set Semi-Supervised Learning with Subspace-Based Out-of-Distribution Detection
Saab AB（萨博公司）；Chalmers University of Technology（查尔姆斯理工大学）
ProSub通过基于子空间的角度和概率分布估计，实现开放集半监督学习中的ID/OOD分类与高精度预测。
2026-01-23 cs.CV cs.LG stat.ML
Unlabeled Data Help in Graph-Based Semi-Supervised Learning: A Bayesian Nonparametrics Perspective
在本文中，我们分析了基于图的方法，半监督学习下的流形假设。我们采用贝叶斯的角度来看，并证明，对于一个合适的选择之前构建了足够多的未标记的数据，后验合同周围的真理在一个速率，是最小最大最优的对数因子。我们的理论涵盖了回归和分类。
2021-06-13 math.ST stat.ML stat.TH
Best of many worlds: Robust model selection for online supervised learning
UC Berkeley（加州大学伯克利分校）
我们介绍了在线，全信息预测的算法，具有竞争力的上下文树专家未知的复杂性，在概率和对抗性设置。我们表明，通过将结构风险最小化的概率框架到现有的自适应算法，我们可以鲁棒地学习不仅存在的随机结构时，它的存在（导致常数，而不是$\mathcal{O}(\sqrt{T})$遗憾），但也正确的模型顺序。因此，我们获得的遗憾界的竞争力与遗憾的最佳算法，拥有强大的边信息的复杂性的最佳上下文树专家和生成数据的过程是否是随机的或对抗性的。这些是第一个建设性的保证，同时适应模型和随机性的存在。
2018-05-22 cs.LG stat.ML
Lexicographically Fair Learning: Algorithms and Generalization
University of Pennsylvania（宾夕法尼亚大学）
我们将监督学习问题中的极大极小公平性的概念扩展到它的自然结论：字典式极大极小公平性（或简称lexifairness）。非正式地，给定一组感兴趣的人口统计组，极小极大公平要求具有最高误差的组的误差最小化。Lexifairness更进一步，要求在所有极小极大公平解中，第二高误差组的误差应最小化，在所有这些解中，第三高误差组的误差应最小化，等等。尽管它很自然，但正确定义lexifairness比极小极大公平要微妙得多，因为它对近似误差的固有敏感性。我们给出了一个近似lexifairness的概念，避免了这个问题，然后推导出甲骨文高效的算法，找到近似lexifair的解决方案，在一个非常一般的设置。当缺乏公平约束的基本经验风险最小化问题是凸的（例如，线性回归和逻辑回归），我们的算法即使在最坏的情况下也是有效的。最后，我们展示了推广的界限--训练样本上的近似lexifairness意味着真实分布上的近似lexifairness具有高概率。我们证明推广界的能力取决于我们选择的定义，避免了天真定义的不稳定性。
2021-02-16 cs.DS cs.LG stat.ML
How Does GAN-based Semi-supervised Learning Work?
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
生成对抗网络（GANs）已被广泛使用，并在半监督学习中取得了有竞争力的成绩。本文从理论上分析了基于GAN的半监督学习（GAN-SSL）的工作原理。我们首先证明，给定一个固定的生成器，优化GAN-SSL的优化等价于优化监督学习。因此，GAN-SSL中的最佳匹配预计在标记数据上是完美的。然后，如果完美的随机数可以进一步使优化目标达到其理论最大值，则最优生成器将匹配真实的数据分布。由于在实践中不可能达到理论上的最大值，因此不能期望获得用于生成数据的完美生成器，这显然与GANs的目标不同。此外，如果标记的数据可以遍历数据流形的所有连接子域，这在半监督分类中是合理的，我们还期望GAN-SSL中的最优分类在未标记的数据上也是完美的。总之，GAN-SSL中的极大极小优化理论上将通过意外地学习不完美的生成器，即，GAN-SSL通过利用未标记的信息，可以有效地提高神经网络的泛化能力。
2020-07-11 cs.LG stat.ML
Supervised learning with probabilistic morphisms and kernel mean embeddings
Institute of Mathematics of the Czech Academy of Sciences（捷克科学院数学研究所）
本文提出一种统一两种监督学习方法的生成式模型，利用外概率收敛刻画算法一致性，将 Cucker-Smale 结果扩展至条件概率估计，并提出正则化变体证明过参数化模型的泛化性。
2025-04-28 cs.LG math.CT math.FA
Semi-Supervised learning with Density-Ratio Estimation
半监督学习是机器学习领域的一个重要研究课题，本文主要研究半监督学习的统计性质。在标准的监督学习中，只观察标记的数据。分类和回归问题被形式化为监督学习。在半监督学习中，除了标记数据之外，还获得未标记数据。因此，在半监督学习中，利用未标记的数据对于提高预测精度非常重要。这类问题被视为具有缺失数据的半参数估计问题。在判别概率模型下，一般认为未标记数据对提高估计精度没有作用。最近，有人透露，加权估计使用未标记的数据实现更好的预测精度相比，学习方法，仅使用标记的数据，特别是当判别概率模型是错误的。也就是说，当错误指定半参数模型时，在缺失数据的半参数模型下的改进是可能的。在本文中，我们应用密度比估计器来获得半监督学习中的权函数。我们的方法的好处是，所提出的估计不需要指定的概率模型的未标记数据的概率。基于统计渐近理论，我们证明了我们的方法的估计精度优于仅使用标记数据的监督学习。一些数值实验表明，我们的方法的实用性。
2012-04-18 stat.ML
Can semi-supervised learning use all the data effectively? A lower bound perspective
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文通过推导2-高斯混合模型下的紧下界，证明半监督学习无法在极小极大误差率上同时超越监督学习和无监督学习，并指出证明其性能提升需仔细跟踪常数因子。
2023-11-30 cs.LG stat.ML
Semi-Supervised Deep Sobolev Regression: Estimation and Variable Selection by ReQU Neural Network
Wuhan University（武汉大学）；School of Mathematics and Statistics, Wuhan University（武汉大学数学与统计学院）；National Center for Applied Mathematics in Hubei（湖北国家应用数学中心）；Hubei Key Laboratory of Computational Science, Wuhan University（武汉大学湖北省计算科学重点实验室）
提出半监督深度Sobolev回归器SDORE，利用深度ReQU神经网络与无标签数据实现回归函数及梯度的非参数估计，证明了其极小极大最优收敛率，并支持非参数变量选择。
2025-01-30 cs.LG stat.ML
Density Ratio Estimation-based Bayesian Optimization with Semi-Supervised Learning
University of Wisconsin--Madison（威斯康星大学麦迪逊分校）
针对密度比估计贝叶斯优化中监督分类器对全局解候选过度自信的问题，提出利用未标记点的半监督学习方法，并在采样与固定池场景中验证其有效性。
2025-07-27 cs.LG stat.ML
A Novel Framework for Online Supervised Learning with Feature Selection
Florida State University（佛罗里达州立大学）；Peking University（北京大学）
本文提出一种基于运行平均的在线学习新框架，为Lasso等离线正则化方法引入在线版本，证明了等价性并提供真实支持恢复与收敛保证，实验表明其具备更高精度与更快收敛速度。
2024-05-19 cs.LG stat.ML
Minimax-optimal semi-supervised regression on unknown manifolds
Weizmann Institute of Science（魏茨曼科学研究所）
我们考虑半监督回归时，预测变量是从一个未知的流形。解决这个问题的一个简单的两步方法是：（i）使用标记和未标记的实例来估计任何一对点之间的流形测地线距离;以及（ii）基于这些距离估计应用k最近邻回归量。我们证明了足够多的未标记的点，这种简单的方法测地线kNN回归达到最佳的有限样本极大极小界的均方误差，如果已知的流形。此外，我们展示了如何可以有效地实现这种方法，只需要O（k N log N）的操作来估计所有N个标记和未标记点的回归函数。我们在两个具有流形结构的数据集上说明了这种方法：使用WiFi指纹的室内定位和面部姿态估计。在这两种情况下，测地线kNN比流行的拉普拉斯特征向量回归更准确，更快。
2017-03-06 cs.LG stat.ML
A Probabilistic Framework for Deep Learning
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
我们基于深度渲染混合模型（DRMM）开发了一个深度学习的概率框架，DRMM是一种新的生成概率模型，可以显式捕获由于潜在任务滋扰变量而导致的数据变化。我们证明了DRMM中的最大和推理产生了一种算法，该算法精确地再现了深度卷积神经网络（DCN）中的操作，提供了第一原理推导。我们的框架为DCN的成功和缺点提供了新的见解，并为其改进提供了原则性路线。通过期望最大化（EM）算法进行DRMM训练是DCN反向传播的强大替代方案，初始训练结果很有希望。基于DRMM和其他变体的分类在监督数字分类中优于DCN，训练速度快2- 3倍，同时达到相似的准确度。此外，DRMM适用于半监督和无监督学习任务，在MNIST基准测试的几个类别中实现了最先进的结果，并与CIFAR 10基准测试的最先进水平相当。
2016-12-06 cs.LG cs.NE stat.ML
Local nearest neighbour classification with applications to semi-supervised learning
University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）
我们推导出一个新的渐近展开的局部- $k$ -最近邻分类器，其中$k$的选择可能取决于测试点的全球超额风险。这种扩展阐明的条件下，占主导地位的贡献，超额风险来自决策边界的最佳贝叶斯分类器，但我们也表明，如果这些条件不满足，那么占主导地位的贡献可能会产生的尾部的边缘分布的功能。此外，我们证明，如果特征的$d$维边缘分布对某些$ρ> 4$具有有限的$ρ$阶矩，（以及其他规则性条件），$k$的局部选择可以产生$O(n^{-4/(d+4)})$的超额风险的收敛速率，其中$n$是样本大小，而对于标准$k$ -最近邻分类器，我们的理论需要$d \geq 5$和$ρ> 4d/(d-4)$有限矩来达到这个速率。这些结果激励一个新的$k$ -最近邻分类器的半监督学习问题，其中未标记的数据被用来获得边缘特征密度的估计，和更少的邻居用于分类时，这个密度估计是小的。我们的最坏情况下的利率补充了极大极小下限，这表明，本地，半监督$k$ -最近邻分类器达到极大极小最优率超过我们的类的超额风险，在$n$的子多项式因子。这些理论上的改进，标准的$k$ -最近邻分类器也说明了通过模拟研究。
2019-05-18 cs.CV cs.LG math.ST
A Minimax Approach to Supervised Learning
Stanford University（斯坦福大学）
给定一个从$X$预测$Y$的任务，一个损失函数$L$，和一组$(X,Y)$上的概率分布$Γ$，最小化$Γ$上最坏情况预期损失的最优决策规则是什么？在本文中，我们解决这个问题，通过引入一个推广的原则，最大熵。应用这一原则的分布集的边缘$X$约束的经验边际的数据，我们开发了一个通用的极小极大方法的监督学习问题。而对于一些损失函数，如平方误差和对数损失，极大极小方法重新推导出众所周知的回归模型，对于0-1损失，它导致一个新的线性分类器，我们称之为最大熵机。最大熵机器最大限度地减少了最坏情况下的0-1损失的结构化分布集，并通过我们的数值实验可以优于其他知名的线性分类器，如SVM。我们还证明了一个界的最坏情况下的最小极大方法的推广错误。
2017-07-04 cs.IT cs.LG math.IT
Optimal and Safe Estimation for High-Dimensional Semi-Supervised Learning
我们考虑高维半监督学习中的估计问题。我们的目标是研究何时以及如何利用未标记数据来改善线性模型回归参数的估计，鉴于这类线性模型在数据分析中可能被错误指定的事实。我们首先建立了半监督环境下参数估计的极大极小下界，并证明了仅使用标记数据的监督估计不能达到这个下界。我们提出了一个最佳的半监督估计，可以达到这个下限，从而提高了监督估计，条件是可以一致地估计的平均函数与适当的速率。我们进一步提出了一个安全的半监督估计。我们认为它是安全的，因为这个估计量总是至少和监督估计量一样好。我们还将我们的想法扩展到由条件均值函数的不同误指定引起的多个半监督估计的聚集。大量的数值模拟和实际数据分析进行了说明我们的理论结果。
2023-03-18 math.ST stat.ME stat.ML
MaxMatch: Semi-Supervised Learning with Worst-Case Consistency
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，通过半监督学习（SSL）结合未标记数据来克服监督效率低下的问题取得了很大进展。大多数最先进的模型都基于对输入噪声的未标记数据进行一致的模型预测的想法，这称为一致性正则化。然而，对于其成功背后的原因缺乏理论上的见解。为了弥补理论和实际结果之间的差距，我们提出了一个最坏情况下的一致性正则化技术的SSL在本文中。具体来说，我们首先提出了一个概括的范围SSL的经验损失观察标记和未标记的训练数据分别。出于这个界限，我们推导出一个SSL目标，最大限度地减少原始未标记的样本和它的多个增强变量之间的最大不一致。然后，我们提供了一个简单而有效的算法来解决建议的极大极小问题，并从理论上证明它收敛到一个稳定点。在五个流行的基准数据集上的实验验证了该方法的有效性。
2022-09-26 cs.CV cs.LG stat.ML
An Introduction to Probabilistic Spiking Neural Networks: Probabilistic Models, Learning Rules, and Applications
脉冲神经网络（SNN）是分布式可训练系统，其计算元件或神经元的特征在于内部模拟动力学以及数字和稀疏突触通信。突触尖峰输入的稀疏性和神经处理的对应的事件驱动性质可以通过节能硬件实现来利用，与传统的人工神经网络（ANN）相比，这可以提供显著的能量减少。训练算法的设计滞后于硬件实现。大多数现有的SNN训练算法都是针对生物相容性设计的，或者是通过速率编码从预训练的ANN转换而来的。本文通过关注概率信号处理方法来介绍SNN，该方法通过利用SNN独特的时间编码功能来直接导出学习规则。我们采用离散时间概率模型的网络尖峰神经元和监督和无监督学习规则的第一原则，通过变分推理。还提供了实例和开放的研究问题。
2019-11-27 cs.LG cs.NE eess.SP
Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model: A new take on Robust Interpolation
本文研究了高维非渐近条件下两组分各向异性高斯混合模型下的监督聚类问题。首先，我们推导出一个下和匹配的上界的极小极大风险的聚类在这个框架中。我们还表明，在高维制度，线性判别分析（LDA）分类原来是次优的极大极小意义上。接下来，我们精确地描述了$\ell_2$ -正则化监督最小二乘分类器的风险。我们推断的事实是，插值的解决方案可能优于正则化分类器，在温和的假设下的噪声的协方差结构。我们的分析还表明，插值可以是强大的腐败的协方差的噪声时，信号是对齐的协方差的“干净”的一部分，为正确定义的对齐的概念。据我们所知，这种特殊的现象还没有被调查，在迅速增长的文献有关插值。我们的结论是，插值不仅是良性的，但也可以是最佳的，在某些情况下，强大的。
2021-11-13 math.ST stat.ML stat.TH
Transmitter Discovery through Radio-Visual Probabilistic Active Sensing
University of Padova（帕多瓦大学）
多模态概率主动感知（MMPAS）利用传感器融合和概率模型来控制机器人感知平台的感知过程。MMPAS成功地应用于环境探索，协作移动机器人和目标跟踪，这得益于自主感知的高性能保证。在这方面，我们提出了一个双无线电可视PAS计划来解决发射机发现问题。具体来说，我们首先利用无线电和视觉测量之间的相关性，以自我监督的方式学习目标检测模型。然后，将该模型与天线辐射各向异性结合到控制平台的贝叶斯优化框架中。我们表明，该算法达到了92%的准确度，克服了其他两个概率主动传感基线。
2021-03-27 cs.LG cs.RO cs.SY
Self-supervised self-supervision by combining deep learning and probabilistic logic
MIT（麻省理工学院）；Microsoft Research（微软研究院）
大规模标记训练样本是机器学习中的一个长期挑战。自我监督方法通过利用先验知识自动生成带噪声标记的示例来弥补直接监督的不足。深度概率逻辑（DPL）是用于自监督学习的统一框架，其将未知标签表示为潜在变量，并使用概率逻辑来结合多样的自监督，以使用变分EM来训练端到端的深度神经网络。虽然DPL成功地结合了预先指定的自我监督，但手动制作自我监督以获得高准确性可能仍然是繁琐和具有挑战性的。在本文中，我们提出了自我监督的自我监督（S4），它增加了DPL自动学习新的自我监督的能力。从初始“种子”开始，S4迭代地使用深度神经网络来提出新的自我监督。它们要么直接添加（一种结构化的自我训练形式），要么由人类专家验证（如基于特征的主动学习）。实验表明，S4能够自动提出准确的自我监督，并且通常可以用人类努力的一小部分来接近监督方法的准确性。
2020-12-23 cs.LG stat.ML
Minimax Classification under Concept Drift with Multidimensional Adaptation and Performance Guarantees
BCAM-Basque Center for Applied Mathematics（巴斯克应用数学中心）；University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）
在实际的监督分类场景中，实例-标签对的统计特性经常随时间而变化。传统的学习技术通过仔细选择的学习率、遗忘因子或窗口大小来适应这种考虑标量变化率的概念漂移。然而，常见场景中的时间变化是多维的，即，不同的统计特征通常以不同的方式变化。本文提出了自适应极小极大风险分类器（AMRC），占多维时间变化的多变量和高阶跟踪随时间变化的底层分布。此外，与传统技术不同，AMRC可以提供可计算的严格性能保证。在多个基准数据集上的实验表明，与现有技术相比，AMRC的分类性能有所提高，并且所提出的性能保证具有可靠性。
2022-05-31 cs.LG stat.ML
Efficient Large-Scale Learning of Minimax Risk Classifiers
本文提出了一种结合约束和列生成的算法，用于高效学习多类分类任务中的最小最大风险分类器，实验显示在大规模数据上具有显著加速效果。
2025-11-18 cs.LG stat.ML
Probabilistic Self-supervised Learning via Scoring Rules Minimization
LMU Munich（慕尼黑大学）；MCML（慕尼黑机器学习中心）
提出ProSMIN，一种通过评分规则最小化的概率自监督学习方法，利用双网络蒸馏和适当评分规则损失，增强表示质量并缓解坍缩，在多个下游任务上超越基线。
2023-09-05 cs.LG stat.ML
On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning
Texas A&M University（德克萨斯农工大学）；University of Hong Kong（香港大学）；University of Sydney（悉尼大学）
本文研究自监督表示学习的判别式概率建模，利用多重重要性采样技术解决配分函数积分问题，并提出一种基于凸优化的非参数方法生成新对比目标，在CC3M和CC12M数据集上表现优越。
2025-03-05 cs.LG stat.ML
Probabilistic Decoupling of Labels in Classification
Technical University of Denmark（丹麦技术大学）
我们研究了用于训练的标签与用于预测的底层类的概率解耦。解耦使得推理方案足够通用，可以实现许多分类问题，包括监督，半监督，正未标记，噪声标记，并提出了多个正未标记学习问题的一般解决方案。我们在Fashion MNIST和20个新闻组数据集上测试了该方法的性能基准，其中我们模拟了噪声，部分标签等。
2019-05-29 cs.LG stat.ML
Minimax risk classifiers with 0-1 loss
Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心（BCAM））；IKERBASQUE-Basque Foundation for Science（IKERBASQUE-巴斯克科学基金会）；Federal University of Bahia（巴伊亚联邦大学）；National Research Institute for Mathematics and Computer Science (CWI)（国家数学与计算机科学研究院（CWI））
针对0-1损失难以直接优化的问题，本文提出minimax风险分类器（MRC），通过分布不确定性集合最小化最坏情况0-1损失，并给出高效优化、紧性能保证与强普适一致性。
2023-08-17 cs.LG stat.ML
Minimaxity and Admissibility of Bayesian Neural Networks
Department of Statistics and Data Science, Cornell University（康奈尔大学统计与数据科学系）
本文研究了基于ReLU激活函数的深度全连接前馈BNN在正态位置模型下的决策规则，证明其非极小大，并提出超前先验以获得同时可接受和极小大的决策规则，进一步扩展到KL损失下的预测密度估计。
2026-10-27 cs.LG math.ST stat.ML
A probabilistic generative model for semi-supervised training of coarse-grained surrogates and enforcing physical constraints through virtual observables
Technical University of Munich（慕尼黑工业大学）
以数据为中心构建细粒度物理模型的廉价替代物一直处于计算物理学的最前沿，因为它在许多查询任务（如不确定性量化）中具有重要的实用性。最近的努力已经利用了来自机器学习（例如，深度神经网络）领域的使能技术与模拟数据的组合。虽然这种策略即使在高维问题中也显示出了希望，但它们通常需要大量的训练数据，即使代理的构建根据定义是一个小数据问题。而不是采用基于数据的损失函数，它已被提议利用的控制方程（在最简单的情况下，在配置点），以灌输领域知识的训练，否则黑盒样插值。本论文提供了一个灵活的概率框架，该框架考虑了训练目标和代理模型本身中的物理结构和信息。我们提倡一种概率（贝叶斯）模型，其中可以从物理学（例如残差，守恒定律）中获得的等式可以作为虚拟观测量引入，并且可以通过可能性提供额外的信息。我们进一步提倡生成模型，即尝试学习输入和输出的联合密度的模型，该模型能够以半监督的方式利用未标记的数据（即仅输入），以促进发现低维嵌入，但这些嵌入仍然可以预测细粒度模型的输出。
2020-06-02 cs.LG stat.ML
Probabilistic Diagnostic Tests for Degradation Problems in Supervised Learning
Purdue University（普渡大学）
几项研究指出了监督机器学习性能下降的不同原因。类不平衡、重叠、小析取、噪声标签和稀疏性等问题限制了分类算法的准确性。尽管许多方法以方法论或算法的形式试图最小化性能下降，但它们都是范围有限的孤立努力。大多数这些方法集中在许多问题中的一个补救，实验结果来自少数数据集和分类算法，预测能力的测量不足，缺乏统计验证来测试所提出的方法的真正好处。本文由两个主要部分组成：第一部分，提出了一种新的概率诊断模型的基础上，确定每个问题的迹象和症状。因此，这些问题的早期和正确的诊断是为了实现，以选择不仅是最方便的补救治疗，但也公正的性能指标。其次，研究了几种有监督算法在训练集存在这类问题时的行为和性能。因此，可以跨分类器估计治疗成功的预测。
2020-04-15 cs.AI cs.LG stat.ML
Distributional regression and its evaluation with the CRPS: Bounds and convergence of the minimax risk
在过去的几十年中，评分规则的性质的理论进展，扩大了评分规则在概率预测中的使用。在气象预报中，统计后处理技术对于改进确定性物理模式的预报至关重要。许多最先进的统计后处理技术都是基于用连续排序概率得分（CRPS）评估的分布回归。然而，使用CRPS进行此类评价的理论性质仅考虑了无条件框架（即无协变量）和无限样本量。我们推广了这些结果，并研究了分布回归方法的CRPS的收敛速率。我们找到了最佳的极小极大收敛速率为一类给定的分布，并表明，k-近邻方法和核方法达到这个最佳的极小极大率。
2022-12-12 math.ST stat.ML stat.TH
General Supervision via Probabilistic Transformations
BCAM-Basque Center of Applied Mathematics（巴斯克应用数学中心）
不同类型的训练数据导致了许多监督分类方案。目前的学习技术是针对一个特定的方案，不能处理一般的训练数据集合。本文提出了一个统一的框架，监督分类与一般集成的训练数据，并提出了广义鲁棒风险最小化（GRRM）的学习方法。本文展示了如何在所提出的框架下，通过概率变换表示测试和训练示例之间的关系，可以解决当前和新的监督计划。结果表明，GRRM可以处理不同类型的训练数据在一个统一的方式，并使新的监督计划，聚合一般的合奏训练数据。
2019-01-24 cs.LG stat.ML
Supervised Negative Binomial Classifier for Probabilistic Record Linkage
MCG Mysore（迈索尔MCG）
出于跨各种数据库的链接记录的需要，我们提出了一种新的基于图形模型的分类器，它使用的混合泊松分布与潜变量。这个想法是通过使用贝叶斯建模技术推断其潜在的潜在错误率来深入了解匹配的每对假设记录。使用伽马先验来学习潜变量以及监督标签的新方法是独特的，并且允许主动学习。天真的假设是故意的独立性的领域提出了一个广义的理论，这类问题，而不是破坏层次的依赖关系，可能存在于不同的情况下。该分类器能够处理稀疏数据和流数据。记录链接的应用能够满足稀疏性、数据流和数据集的变化性质的几个挑战。
2019-08-11 cs.DB cs.LG stat.ML
A Probabilistic Semi-Supervised Approach with Triplet Markov Chains
Telecom SudParis（南巴黎电信学院）；Institut Polytechnique（理工学院）
针对序列数据生成模型在缺乏全部标签时的参数估计问题，提出一种基于变分贝叶斯推断的通用半监督训练框架，用于训练参数化三元马尔可夫链模型，并能推导出适用于多种序列贝叶斯分类生成模型的半监督算法。
2023-09-07 cs.LG math.PR stat.ME
Transfer learning extensions for the probabilistic classification vector machine
University for Applied Science Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）
迁移学习的重点是在新的环境中重用监督学习模型。突出的应用可以在机器人、图像处理或网络挖掘中找到。在这些领域中，学习场景自然会发生变化，但通常彼此相关，从而促进了现有监督模型的重用。当前的迁移学习模型既不稀疏也不可解释。如果方法必须在技术有限的环境中使用，并且由于隐私法规，可解释性变得越来越重要，那么稀疏性是非常可取的。在这项工作中，我们提出了两个迁移学习扩展集成到稀疏和可解释的概率分类向量机。他们在该领域的标准基准进行比较，并显示其相关性的稀疏性或性能改进。
2020-07-11 cs.LG stat.ML
Probabilistic Decoupling of Labels in Classification
DTU Compute, Technical University of Denmark（丹麦技术大学DTU计算学院）
在本文中，我们开发了一种原则性的，概率性的，统一的方法来处理非标准分类任务，例如半监督，正未标记，多正未标记和噪声标签学习。我们训练一个分类器在给定的标签来预测标签分布。然后，我们推断潜在的类分布变分优化模型的标签类过渡。
2020-06-16 cs.LG stat.ML
A Probabilistic Model Behind Self-Supervised Learning
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出用于自监督学习的生成式潜变量模型，为判别式SSL提供统一理论框架，并据此开发的SimVAE在需要风格信息的任务中表现更优，推动实现任务无关的表示。
2024-10-15 cs.AI cs.LG stat.ML
A Probabilistic Theory of Supervised Similarity Learning for Pointwise ROC Curve Optimization
Télécom ParisTech（巴黎高等电信学院）；IDEMIA（亿达美）；INRIA（法国国家信息与自动化研究所）
许多机器学习技术的性能取决于在输入空间上选择适当的相似性或距离度量。相似性学习（或度量学习）旨在从训练数据中构建这样的度量，以便具有相同（或相似）的观察结果。不同）标签是一样接近（分别）。尽可能地（）。本文从成对二分排序的角度研究了相似性学习，其目标是根据相似性得分，按照数据库元素与某个查询数据点共享相同标签的概率的降序来对数据库元素进行排序。在这种情况下，一个自然的性能标准是逐点ROC优化：在固定的假阳性率下最大化真阳性率。我们通过严格的概率框架研究这种新的相似性学习的观点。这个问题的经验版本产生了一个约束优化公式，涉及U-统计，我们得到普遍的学习率以及更快的速度下的数据分布的噪声假设。我们还通过分析基于采样的近似的效果来解决大规模的设置。我们的理论结果支持说明性的数值实验。
2018-07-18 cs.AI cs.LG stat.ML
Self-supervised optimization of random material microstructures in the small-data regime
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）
虽然过程-结构-属性链的前向和后向建模受到了材料界的广泛关注，但考虑不确定性的努力较少。这些来自众多的来源和他们的量化和集成在反演过程中是必不可少的，在满足材料的设计目标。本文的第一个贡献是一个灵活的，完全概率制定这样的优化问题，占的不确定性的过程中的结构和结构性能的联系，并能够识别最佳的，高维的，过程参数。我们采用了一个概率，数据驱动的替代品的结构性能的链接，加快计算，使非差分目标的处理。我们将其与一种新的主动学习策略相结合，即自我监督的数据收集，它显著提高了准确性，同时需要少量的训练数据。我们证明了它在优化两相随机介质的机械和热性能方面的有效性，但设想其适用性包括各种各样的微结构敏感的设计问题。
2021-08-05 cs.LG stat.ML
From probabilistic graphical models to generalized tensor networks for supervised learning
Max-Planck-Institut für Quantenoptik（马克斯·普朗克量子光学研究所）；Munich Center for Quantum Science and Technology (MCQST)（慕尼黑量子科学与技术中心（MCQST））
张量网络在物理学和计算机科学的各种应用中得到了广泛的应用，最近导致了机器学习中的理论见解和实用算法。在这项工作中，我们探索张量网络和概率图形模型之间的联系，并表明它激发了广义张量网络的定义，其中张量的信息可以在网络的其他部分复制和重用。我们讨论了量子物理中使用的广义张量网络架构（如弦键态）与机器学习中常用的架构之间的关系。我们提供了一个算法，训练这些网络在监督学习的背景下，并表明他们克服了常规张量网络在更高的维度的局限性，同时保持计算效率。还介绍了一种将神经网络和张量网络结合起来作为通用深度学习架构的一部分的方法。我们基准测试我们的算法的几个广义张量网络架构的分类图像和声音的任务，并表明它们优于以前介绍的张量网络算法。我们考虑的模型也可以在量子计算机上自然实现，并可能指导近期量子机器学习架构的开发。
2019-12-03 cond-mat.str-el cs.LG quant-ph
Improving Sequential Determinantal Point Processes for Supervised Video Summarization
University of Central Florida（中佛罗里达大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Iowa（爱荷华大学）；Tencent AI Lab（腾讯人工智能实验室）
现在制作视频比以往任何时候都容易。虽然无处不在的视频数据是信息发现和提取的重要来源，但计算挑战是无与伦比的。自动总结视频已经成为浏览、搜索和索引视觉内容的实质性需求。本文是在静脉的监督视频摘要使用顺序决定点过程（SeqDPP），模型的多样性的概率分布。我们从两个方面改进了这个模型。在学习方面，我们提出了一个大的利润率算法来解决SeqDPP中的曝光偏差问题。在建模方面，我们设计了一个新的概率分布，当它被集成到SeqDPP中时，所得到的模型接受用户关于摘要预期长度的输入。此外，我们还通过1）更多以自我为中心的视频，2）密集的用户注释和3）精细的评估方案来显着扩展流行的视频摘要数据集。我们在这个数据集上进行了广泛的实验（总共大约60小时的视频），并将我们的方法与几个竞争基线进行了比较。
2018-10-24 cs.LG stat.ML
Weakly Supervised Knowledge Transfer with Probabilistic Logical Reasoning for Object Detection
KU Leuven（鲁汶大学）
训练目标检测模型通常需要实例级注释，例如每个图像中存在的所有对象的位置和标签。不幸的是，这种监督并不总是可用的，更常见的是，只提供图像级信息，也称为弱监督。最近的工作已经解决了这个限制，利用知识丰富的注释领域。然而，这些办法所支持的监督不力，范围非常有限，使它们无法利用所有现有信息。在这项工作中，我们提出了ProbKT，一个框架的基础上概率逻辑推理，允许训练目标检测模型与任意类型的弱监督。我们在不同的数据集上经验性地表明，使用所有可用的信息是有益的，因为与现有的基线相比，我们的ProbKT导致目标域的显着改进和更好的泛化。我们还展示了我们的方法来处理复杂的逻辑语句作为监督信号的能力。
2023-03-09 cs.CV stat.ML
High-dimensional Semi-supervised Classification via the Fermat Distance
School of Mathematical Sciences and School of Economics and Management, Tongji University（同济大学数学科学学院和经济管理学院）；Department of Sciences, North China University of Technology（华北理工大学理学院）
本文提出基于费马距离的加权k近邻和多维标度分类器，通过高维数据的流形和聚类假设，实现半监督分类，理论证明其最优性，并在实验中表现优异。
2026-04-26 cs.LG stat.ML
A Statistical Approach to Increase Classification Accuracy in Supervised Learning Algorithms
HUBzero Research Group, Information Technology at Purdue（普渡大学信息技术HUBzero研究组）；Bogazici University（博阿齐奇大学）
概率混合模型已被广泛用于不同的机器学习和模式识别任务，如聚类，降维和分类。在本文中，我们专注于尝试解决最常见的挑战，监督学习算法使用混合概率分布函数。通过这种建模策略，我们识别子标签并生成合成数据，以达到更好的分类精度。这意味着我们要集中精力综合增加训练数据来提高分类精度。
2017-09-05 cs.LG stat.ML
