Boosting, Voting Classifiers and Randomized Sample Compression Schemes
Aarhus University（奥胡斯大学）；Georg-August Universität Göttingen（哥廷根大学）
针对投票分类器理论性能次优问题，提出一种随机化boosting算法，通过扩展样本压缩方法构建通用框架，使泛化误差仅含单一对数依赖，打破已有下界障碍。
2024-12-20 cs.LG stat.ML
Randomized Classifiers vs Human Decision-Makers: Trustworthy AI May Have to Act Randomly and Society Seems to Accept This
University of Canterbury（坎特伯雷大学）；Corvinus University of Budapest（布达佩斯考维努斯大学）；Soul Machines（Soul Machines公司）；Universitat Pompeu Fabra（庞培法布拉大学）
随着\emph{artificial intelligence}（AI）系统越来越多地参与影响我们生活的决策，确保自动化决策的公平性和道德性已成为当务之急。直觉上，我们认为，类似于人类的决定，人工代理人的判断必须基于一些道德原则。然而，决策者（无论是人类还是人工）只有在决策时能够获得决策所依据的所有相关因素的全部信息，才能做出真正道德（基于任何道德理论）和公平（根据任何公平概念）的决策。这引发了两个问题：（1）在我们依赖于使用通过监督学习获得的分类器的AI系统的设置中，存在一些归纳/泛化，并且即使在学习期间也可能不存在一些相关属性。(2)将此类决策建模为博弈表明，任何纯粹的策略（无论多么符合道德）都不可避免地容易受到利用。此外，在许多博弈中，纳什均衡只能通过使用混合策略来获得，即，为了实现数学上的最佳结果，决策必须是随机的。在本文中，我们认为，在监督学习设置，存在随机分类器，执行至少以及确定性分类器，因此可能是在许多情况下的最佳选择。我们通过实证研究支持我们的理论结果，表明社会对随机人工决策者的积极态度，并讨论了与使用随机分类器相关的一些政策和实施问题，这些问题与当前的人工智能政策和标准化计划有关。
2021-11-15 cs.AI cs.CY cs.LG
Projected Randomized Smoothing for Certified Adversarial Robustness
University of California, Berkeley（加州大学伯克利分校）
本文提出先将输入投影到数据流形低维近似再进行随机平滑的复合分类框架，在高维空间刻画认证区域并证明体积下界，实验显示其认证体积较现有方法提升多个数量级。
2023-09-25 cs.LG
Randomized Reference Classifier with Gaussian Distribution and Soft Confusion Matrix Applied to the Improving Weak Classifiers
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
在本文中，建立RRC模型使用的概率分布而不是贝塔分布的问题得到解决。更准确地说，在本文中，我们建议使用截断正态分布来构建存款准备金率模型。本文还提出了求截尾正态分布的期望值和方差的启发式方法。所提出的方法进行了测试，使用SCM为基础的模型，用于测试的后果，应用截断正态分布的RRC模型。使用四个不同的基本分类器和七个质量措施进行实验评估。结果表明，所提出的方法是可比的RRC模型使用贝塔分布。更重要的是，对于一些基分类器，截断法线为基础的SCM算法被证明是更好地发现来自少数类的对象。
2019-05-23 cs.LG stat.ML
Boosting Randomized Smoothing with Variance Reduced Classifiers
ETH Zurich（苏黎世联邦理工学院）
随机平滑（RS）是一种很有前途的方法，用于通过在噪声下评估基础模型来获得鲁棒性证书。在这项工作中，我们：（i）从理论上激发为什么合奏是一个特别合适的选择作为RS的基础模型，和（ii）经验上确认这一选择，获得国家的最先进的结果，在多种设置。我们工作的关键见解是，在RS中引入的扰动上的集合方差的减少导致对给定输入的分类显著更一致。这又导致接近决策边界的样本的可认证半径显著增加。此外，我们引入了关键的优化，使高达55倍的减少样本复杂性的RS预定半径，从而大大降低了计算开销。在实验中，我们发现，只有3到10个分类器的集合在CIFAR10和ImageNet上的平均认证半径（ACR）方面始终提高了5%到21%，分别达到了0.86和1.11的最新ACR。我们在https://github.com/eth-sri/smoothing-ensembles上发布复制我们的结果所需的所有代码和模型。
2022-03-30 cs.AI cs.CV cs.LG
On the Robustness of Randomized Ensembles to Adversarial Perturbations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文从理论上分析了随机集成分类器（RECs）的极限与有用条件，并提出新的boosting算法BARRE，实验证明其能有效防御强ℓ∞范数对抗攻击。
2023-05-28 cs.AI cs.LG
Single-Layer MeMo as a Randomized Hamming-Kernel Classifier
University of Rome “Tor Vergata”（罗马第二大学）
本文证明单层MeMo的理想检索等价于基于位置汉明核的多类分类器，其得分是双重随机草图，并给出误差界与间隔保证，在WikiText-2上展示其准确率、内存与吞吐量的权衡优势。
2026-09-29 cs.LG
Promoting Robustness of Randomized Smoothing: Two Cost-Effective Approaches
AWS AI Labs（亚马逊人工智能实验室）；UC San Diego（加利福尼亚大学圣迭戈分校）；Washington State University（华盛顿州立大学）；IBM Research（IBM研究院）
提出AdvMacer训练法和EsbRS后处理法两种经济方法，提升随机平滑分类器的可证明鲁棒性，同时保持干净性能，前者训练快3倍，后者基于模型集成优化认证。
2023-10-11 cs.LG
RS-Del: Edit Distance Robustness Certificates for Sequence Classifiers via Randomized Deletion
University of Melbourne（墨尔本大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出随机删除平滑机制 RS-Del，基于最长公共子序列证明离散序列分类器对编辑距离受限攻击的鲁棒性，并在 MalConv 恶意软件检测上实现半径128字节时91%的认证准确率。
2024-01-24 cs.CR cs.LG stat.ML
Robustness Verification for Classifier Ensembles
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）；University of Antwerp（安特卫普大学）；TNO（荷兰应用科学研究组织）；Leiden University（莱顿大学）
我们给出了一个形式化验证过程，以决定分类器集成是否对任意随机攻击具有鲁棒性。这种攻击由一组确定性攻击和在这组上的分布组成。鲁棒性检查问题包括评估，给定一组分类器和一个标记的数据集，是否存在一个随机攻击，导致一定的预期损失对所有分类器。我们显示的NP-硬度的问题，并提供了一个上限的攻击，足以形成一个最佳的随机攻击的数量。这些结果提供了一种有效的方法来推理分类器集成的鲁棒性。我们提供SMT和MILP编码来计算最优的随机攻击或证明没有攻击引起一定的预期损失。在后一种情况下，分类器集成可证明是鲁棒的。我们的原型实现验证了为图像分类任务训练的多个神经网络集成。使用MILP编码的实验结果是有前途的可扩展性和我们的验证过程的一般适用性。
2020-07-09 cs.LG stat.ML
Certified Robustness to Label-Flipping Attacks via Randomized Smoothing
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
已知机器学习算法易受数据投毒攻击的影响，其中对手操纵训练数据以降低所得分类器的性能。在这项工作中，我们提出了一个统一的观点，随机平滑任意函数，我们利用这种新的特性，提出了一种新的策略，用于建立分类器，逐点可证明的鲁棒性一般数据投毒攻击。作为一个具体的实例，我们利用我们的框架来构建线性分类器，这些分类器对标签翻转的强变体具有鲁棒性，其中每个测试示例都是独立的。换句话说，对于每个测试点，我们的分类器都包括一个认证，即如果一些训练标签被反向改变，它的预测将是相同的。随机平滑以前已被用来保证-高概率-测试时的鲁棒性对抗操纵的输入到分类器，我们推导出一个变种，提供了一个确定性的，分析的界限，回避了传统上从抽样子程序的概率证书。此外，我们得到这些认证的界限，最小的额外的运行时复杂性超过标准分类，没有假设的训练或测试分布。我们将我们的结果推广到多类的情况下，提供了第一个多类分类算法，是证明标签翻转攻击的鲁棒性。
2020-08-11 cs.AI cs.CR cs.LG
On the Calibration of Probabilistic Classifier Sets
Ghent University（根特大学）；LMU Munich（慕尼黑大学）
本文将校准概念从单个概率分类器扩展到概率分类器集合，提出新的非参数校准检验方法，并通过实验揭示深度神经网络集成普遍校准不佳的问题。
2023-04-19 cs.LG stat.ML
Towards Automation of Knowledge Understanding: An Approach for Probabilistic Generative Classifiers
BMW Group（宝马集团）；University of Kassel（卡塞尔大学）；Aalto University（阿尔托大学）
在经过数据选择、预处理、转换和特征提取之后，知识提取并不是数据采掘过程的最后一步。因此，有必要了解这些知识，以便有效地应用它。到目前为止，还缺乏支持这一重要步骤的适当技术。这部分是由于对知识的评估往往是高度主观的，例如，关于新颖性或实用性等方面。这些方面取决于数据挖掘器的特定知识和要求。然而，有一些方面是客观的，可以采取适当的措施。在这篇文章中，我们专注于分类问题，并使用概率生成分类器的基础上，混合密度模型，是非常常见的数据采掘应用。我们定义了客观的措施来评估这些分类器中包含的规则的信息量，独特性，重要性，歧视性，代表性，不确定性和可验证性。这些度量不仅支持数据挖掘器基于这样的分类器评估数据采掘过程的结果。正如我们将在示例性案例研究中看到的，它们也可用于改进数据采掘过程本身或支持提取的知识的后续应用。
2016-05-20 cs.AI cs.LG
Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness
Cornell University（康奈尔大学）；Alibaba Group Inc.（阿里巴巴集团）
最近，通过各向同性高斯扰动平滑基于深度神经网络的分类器被证明是一种有效且可扩展的方式，可以提供最先进的概率鲁棒性保证，以对抗$\ell_2$范数有界的对抗性扰动。然而，如何训练一个良好的基础分类器，是准确的和强大的平滑时，还没有得到充分的研究。在这项工作中，我们得到了一个新的正则化的风险，其中正则化可以自适应地鼓励平滑对应的准确性和鲁棒性时，训练的基础分类。它是计算效率高，可以与其他经验防御方法并行实施。我们讨论了如何在标准（非对抗性）和对抗性训练计划下实现它。同时，我们还设计了一个新的认证算法，它可以利用正则化效应提供更严格的鲁棒性下限，保持高概率。我们广泛的实验证明了CIFAR-10和ImageNet数据集上提出的训练和认证方法的有效性。
2020-02-17 cs.LG stat.ML
The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing
Foxstream（福克斯崔姆公司）；Miles Team, LAMSADE, Université Paris-Dauphine, PSL University（迈尔斯团队、兰萨德实验室、巴黎多芬大学、PSL大学）；ECE, New York University（纽约大学电气与计算机工程系）；ESPCI PSL（巴黎高等物理化工学院 PSL大学）
本文提出一种增强随机平滑的方法，通过利用Lipschitz常数与方差-间隔权衡，结合Bernstein不等式和增强Lipschitz界，显著提升认证精度，并支持零样本使用预训练模型。
2024-03-18 cs.LG stat.ML
Towards Evading the Limits of Randomized Smoothing: A Theoretical Analysis
EPFL（洛桑联邦理工学院）；Université Paris-Dauphine（巴黎多芬大学）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）
随机平滑是对抗性示例的可证明防御的主要标准。然而，这种方法最近已被证明遭受重要的信息理论的限制。在本文中，我们认为，这些限制是不是内在的，而仅仅是目前的认证方法的副产品。我们首先表明，这些证书使用太少的分类信息，特别是盲目的局部曲率的决策边界。这导致严重的次优鲁棒性保证的问题的维度增加。然后，我们表明，理论上可以通过收集更多关于分类器的信息来绕过这个问题。更确切地说，我们表明，它是可能的近似任意精度的最佳证书，通过探测的决策边界与几个噪声分布。由于这一过程是在认证时而不是在测试时执行的，因此在提高证书质量的同时不会损失自然准确性。这一结果促进了分类器特定认证的进一步研究，并表明随机平滑仍然值得研究。虽然分类器特定的认证可能会导致更多的计算成本，我们也提供了一些理论上的见解，如何减轻它。
2022-06-03 cs.LG
RS-Reg: Probabilistic and Robust Certified Regression Through Randomized Smoothing
University of Melbourne（墨尔本大学）
该研究提出RS-Reg方法，将随机平滑扩展至回归任务，通过概率灵活定义鲁棒性，推导了无约束及有界输出回归模型的输入扰动可认证上界，仿真验证了理论结果并揭示了平均平滑函数的优劣势。
2024-05-14 cs.LG
Certified Robustness for Top-k Predictions against Adversarial Perturbations via Randomized Smoothing
Duke University（杜克大学）
众所周知，分类器容易受到对抗性扰动的影响。为了抵御对抗性扰动，已经推导出各种经过认证的鲁棒性结果。然而，现有的认证鲁棒性仅限于前1预测。在许多现实世界的应用中，顶级$k$预测更相关。在这项工作中，我们的目标是获得认证的鲁棒性顶部$k$预测。特别是，我们认证的鲁棒性是基于随机平滑，它通过向输入示例添加噪声将任何分类器转换为新的分类器。我们采用随机平滑，因为它是可扩展的大规模神经网络和适用于任何分类器。当使用高斯噪声的随机平滑时，我们推导出在顶$k$预测的$\ell_2$范数中的紧鲁棒性。我们发现，推广认证的鲁棒性从顶部1到顶部$k$预测面临着重大的技术挑战。我们还在CIFAR 10和ImageNet上对我们的方法进行了经验评估。例如，当对抗扰动的$\ell_2$范数小于0.5（=127/255）时，我们的方法可以获得具有62.8\%的认证前5名准确度的ImageNet分类器。我们的代码可在以下网址公开获取：\url{https://github.com/jjy1994/Certify_Topk}。
2019-12-20 cs.CR cs.LG stat.ML
Certified Adversarial Robustness via Randomized Smoothing
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
我们展示了如何将任何在高斯噪声下分类良好的分类器变成一个新的分类器，该分类器在$\ell_2$规范下对对抗性扰动具有可证明的鲁棒性。这种“随机平滑”技术最近在文献中提出，但现有的保证是松散的。我们证明了严格的鲁棒性保证$\ell_2$规范平滑高斯噪声。我们使用随机平滑来获得ImageNet分类器，例如，在$\ell_2$范数小于0.5（=127/255）的对抗性扰动下，认证的前1精度为49%。在ImageNet上，除了平滑之外，没有任何认证的防御是可行的。在较小规模的数据集上，竞争性的认证$\ell_2$鲁棒性方法是可行的，平滑提供了更高的认证精度。我们强有力的实证结果表明，随机平滑是一个很有前途的方向，为未来的研究对抗性强的分类。代码和型号可在http://github.com/locuslab/smoothing上获得。
2019-06-15 cs.LG stat.ML
Certifying Confidence via Randomized Smoothing
University of Maryland（马里兰大学）
随机平滑已被证明提供了良好的认证的鲁棒性保证高维分类问题。它使用在平滑分布下预测输入点周围的前两个最可能的类的概率来生成分类器预测的认证半径。然而，大多数平滑方法没有给我们任何关于底层分类器（例如，深度神经网络）进行预测。在这项工作中，我们提出了一种方法来生成认证半径的平滑分类器的预测置信度。我们考虑两个概念量化的信心：一类的平均预测得分和利润率的平均预测得分的一类超过另一个。我们修改的内曼-皮尔逊引理（随机平滑的关键定理），设计一个程序来计算认证半径的置信度保证保持在一定的阈值以上。我们在CIFAR-10和ImageNet数据集上的实验结果表明，使用关于置信度分数分布的信息可以使我们获得比忽略它更好的认证半径。因此，我们证明了输入点处关于基础分类器的额外信息可以帮助提高平滑分类器的认证保证。实验代码可在www.example.com上获得。
2020-10-22 cs.LG stat.ML
On the Role of Randomization in Adversarially Robust Classification
CNRS（法国国家科学研究中心）；Université Paris Dauphine - PSL（巴黎多芬大学-PSL）；Payflows
本文厘清随机化在对抗鲁棒分类中的作用，证明随机化集成在特定条件下可优于确定性假设集，同时证明任何概率二分类器都存在更优的确定性分类器，并给出相应确定性假设集的显式描述。
2023-11-28 cs.LG
A probabilistic methodology for multilabel classification
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；Universidad de Granada（格拉纳达大学）
多标签分类是机器学习的一个相对较新的子领域。与经典的方法不同，在多标签分类中，实例仅被标记为一个类别，选择任意数量的类别来标记实例。由于问题的复杂性（解决方案是指数数量的备选方案之一），经常使用一种非常常见的解决方案（二进制方法），为每个类别学习一个二进制分类器，然后将它们组合起来。这种解决方案中的假设是不现实的，在这项工作中，我们给出了一些例子，其中所有标签的决策都不是独立的，因此，监督方法应该学习类别之间的现有关系，以更好地进行分类。因此，我们在这里展示了一种通用的方法，可以提高由一组独立的概率二进制分类器获得的结果，通过使用一个组合程序与分类器训练的标签的同现。我们在三个不同的标记文档标准语料库（Reuters-21578、Ohsumed-23和RCV 1）中进行了详尽的实验，当使用我们的方法时，在三个概率基础分类器中，所有这些都出现了显着的改进。
2013-02-28 cs.AI cs.LG
Probabilistic Neural Network Training for Semi-Supervised Classifiers
Amirkabir University of Technology（阿米尔卡比尔理工大学）
在本文中，我们提出了另一个版本的帮助训练方法，采用概率神经网络（PNN），提高了性能的主要判别分类器的半监督策略。我们介绍了PNN训练算法，并使用它来训练支持向量机（SVM）与少量的标记数据和大量的未标记数据。我们尝试为未标记的数据找到最好的标签，然后使用SVM来提高分类率。我们测试我们的方法在两个著名的基准测试，并显示我们的方法与以往的方法相比，效率。
2015-09-03 cs.LG
Statistical Analysis of Privacy and Anonymity Guarantees in Randomized Security Protocol Implementations
UC Berkeley（加州大学伯克利分校）
安全协议通常使用随机化来实现概率非确定性。这种非确定性反过来又用于混淆可观察值对秘密数据的依赖性。由于安全协议的正确性非常重要，安全协议的形式化分析在文献中得到了广泛的研究。随机安全协议也被分析使用形式化技术，如进程演算和概率模型检验。在本文中，我们考虑的问题，验证实现的随机化协议。与以前的方法，把协议作为一个白盒，我们的方法试图验证一个实现提供了一个黑盒。我们的目标是通过统计技术推断安全协议提供的保密性保证。我们学习的概率依赖的可观察的输出秘密输入使用贝叶斯网络。然后，这被用来近似秘密的泄漏。为了评估我们的统计方法的准确性，我们比较了我们的技术与概率模型检验技术的两个例子：人群协议和餐饮密码学家的协议。
2009-06-27 cs.CR cs.LG
Accelerated Smoothing: A Scalable Approach to Randomized Smoothing
Indian Institute of Technology, Roorkee（印度鲁基工学院）
提出基于代理神经网络的随机平滑方法，替代蒙特卡洛采样以提升计算效率和可扩展性，并显著加速鲁棒半径认证过程。
2025-03-31 cs.LG
Quantifying probabilistic robustness of tree-based classifiers against natural distortions
Know-Center GmbH（Know-Center有限公司）
值得信赖的人工智能的概念最近得到了广泛的关注。与可信AI相关的一个方面是ML模型的鲁棒性。在这项研究中，我们将展示如何概率量化的鲁棒性对自然发生的失真的输入数据基于树的分类器的假设下，自然失真可以描述的多元概率分布，可以转换为多元正态分布。其思想是提取训练的基于树的分类器的决策规则，将特征空间分离成不重叠的区域，并确定具有失真的数据样本返回其预测标签的概率。该方法是基于最近推出的现实世界的鲁棒性，它适用于所有的黑盒分类器的措施，但只是一个近似值，只有在输入维数不是太高，而我们提出的方法给出了一个精确的测量。
2022-11-29 cs.LG
Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing
Rice University（莱斯大学）；UC Berkeley（加州大学伯克利分校）；Research Institutes of Sweden（瑞典研究院）
部署在边缘设备上的机器学习算法必须满足一定的资源约束和效率要求。随机向量函数链接（RVFL）网络由于其简单的设计和训练效率而受到此类应用的青睐。我们提出了一种改进的RVFL网络，避免了在训练过程中计算昂贵的矩阵运算，从而扩大了网络的潜在应用范围。我们的修改取代了最小二乘分类器与广义学习矢量量化（GLVQ）分类器，它只采用简单的矢量和距离计算。GLVQ分类器也可以被认为是对超维计算领域中常用的某些分类算法的改进。所提出的方法在来自UCI机器学习存储库的数据集上实现了最先进的准确性-高于先前提出的RVFL网络。我们进一步证明，我们的方法仍然实现了高精度，同时在训练迭代中受到严重限制（平均仅使用最小二乘分类器计算成本的21%）。
2021-06-17 cs.LG
A Theory of Probabilistic Boosting, Decision Trees and Matryoshki
我们提出了一个提升概率分类器的理论。我们把自己的用户只提供一个停止参数和一个概率弱学习器/分类器的情况下，并比较三种类型的提升算法：概率Adaboost，决策树，树的树。我们称之为俄罗斯套娃“嵌套树”、“嵌入树”和“递归树”也是该算法的恰当名称，这是我们的贡献之一。我们的另一个贡献是算法的理论分析，其中我们给出了训练误差界。这一分析表明，俄罗斯套娃利用概率弱分类器比简单的决策树更有效。
2006-07-25 cs.LG
Defending against Whitebox Adversarial Attacks via Randomized Discretization
Microsoft Corporation（微软公司）；Stanford University（斯坦福大学）
对抗性扰动显著降低了最先进的图像分类器的准确性。在本文中，我们提出并分析了一种简单且计算效率高的防御策略：注入随机高斯噪声，离散化每个像素，然后将结果馈送到任何预训练的分类器中。从理论上讲，我们表明，我们的随机离散化策略减少了原始输入和对抗输入之间的KL分歧，导致任何分类器对任何（潜在的白盒）$\ell_\infty$有界对抗攻击的分类准确性的下限。从经验上讲，我们评估了我们对强迭代PGD攻击生成的对抗性示例的防御。在ImageNet上，我们的防御比对抗训练的网络和NIPS 2017对抗攻击和防御竞赛的获胜防御更强大。
2019-03-25 cs.CR cs.LG stat.ML
Hyperdimensional Computing for Efficient Distributed Classification with Randomized Neural Networks
University of Rome “La Sapienza”（罗马“萨皮恩扎”大学）；UC Berkeley（加州大学伯克利分校）；Research Institutes of Sweden（瑞典研究院）
在监督学习领域，考虑到最近流行的高计算成本的算法，注意力转向更简单，更轻，计算量更小的训练和推理方法。特别是，随机算法目前有一个复苏，鉴于其广义的基本方法。通过使用随机神经网络，我们研究了分布式分类，该分类可用于数据无法存储在中央位置也无法共享的情况。我们提出了一个更有效的解决方案，分布式分类时，利用有损压缩的方法与其他代理共享本地分类。这种方法起源于超维计算的框架，并且在此被改编。在一组数据集上的实验结果表明，该方法通常比局部分类器具有更高的准确率，并接近基准-集中式分类器。这项工作可以被认为是对分布随机神经网络的杂色地平线分析的第一步。
2021-06-02 cs.DC cs.LG
Randomized Prediction Games for Adversarial Machine Learning
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Cagliari（卡利亚里大学）
在垃圾邮件和恶意软件检测中，攻击者利用随机化来混淆恶意数据，并增加他们在测试时逃避检测的机会;例如，恶意软件代码通常使用随机字符串或字节序列来混淆以隐藏已知的利用。有趣的是，随机化也被提出来提高学习算法对逃避攻击的安全性，因为它会向攻击者隐藏有关分类器的信息。最近的工作提出了博弈理论公式来学习安全分类器，通过模拟不同的规避攻击和修改相应的分类功能。然而，分类函数和模拟数据操作都是以确定性方式建模的，而没有考虑任何形式的随机化。在这项工作中，我们克服了这一限制，提出了一个随机预测游戏，即，一个非合作的博弈理论制定的分类器和攻击者作出随机的策略选择，根据一些概率分布定义在各自的战略集。我们表明，我们的方法可以提高攻击检测和错误警报之间的权衡相对于最先进的安全分类器，甚至对攻击是不同的那些假设在设计过程中，应用程序的例子，包括手写数字识别，垃圾邮件和恶意软件检测。
2016-09-03 cs.GT cs.LG
The Role of Randomness and Noise in Strategic Classification
Princeton University（普林斯顿大学）
我们研究的问题，设计最佳分类器的战略分类设置，其中的分类是一个游戏的一部分，玩家可以修改他们的功能，以达到一个有利的分类结果（同时产生一些成本）。以前，这个问题已经被认为是从学习理论的角度和从算法公平性的角度。我们的主要贡献包括1。表明如果目标是最大化分类过程的效率（定义为结果的准确性减去合格参与者操纵其特征以获得更好结果的沉没成本），那么使用随机分类器（即，分类器接受给定特征向量的概率严格在0和1之间）是必要的。2.表明在许多自然情况下，强加的最优解（就效率而言）具有参与者永远不会改变其特征向量的结构（随机分类器的结构是这样的，被分类为1的概率的增益并不证明改变特征的代价是合理的）。3.从分类器的角度来看，观察到随机分类不是稳定的最佳响应，并且分类器不会在不造成系统不稳定的情况下从随机分类器中受益。4.表明在某些情况下，噪声较大的信号会导致更好的均衡结果-当涉及一个以上具有不同特征调整成本的子群体时，可以提高准确性和公平性。从政策的角度来看，这很有趣，因为很难强迫机构坚持特定的随机分类策略（特别是在有多个分类器的市场环境中），但可以改变信息环境，使特征信号固有地更具噪音。
2020-05-17 cs.LG stat.ML
An Explainable Probabilistic Classifier for Categorical Data Inspired to Quantum Physics
Institute of Financial Analysis（金融分析研究所）；Université de Neuchâtel（纳沙泰尔大学）；Università degli Studi di Milano（米兰大学）
本文提出了稀疏张量分类器（STC），一个监督分类算法的分类数据的启发，在量子物理学的状态叠加的概念。通过将观测视为特征的叠加，我们在机器学习中引入了波粒二象性的概念，并提出了一个统一经典和量子概率的广义框架。我们表明，STC具有广泛的理想属性，大多数其他机器学习方法中没有，但它是在同一时间非常容易理解和使用。STC对结构化数据和文本分类的实证评估表明，与标准分类器和深度学习相比，我们的方法实现了最先进的性能，额外的好处是需要最少的数据预处理和超参数调整。此外，STC为单个实例和全局每个目标标签提供了其预测的本地解释。
2021-05-26 cs.AI cs.LG quant-ph
Selective Probabilistic Classifier Based on Hypothesis Testing
Tampere University（坦佩雷大学）；Visy Oy（维西公司）
在本文中，我们提出了一个简单而有效的方法来处理违反封闭世界假设的分类器。以前的工作往往适用于阈值的分类分数或损失函数拒绝违反假设的输入。然而，这些方法不能实现安全应用中所需的低假阳性率（FPR）。该方法是一种基于概率网络假设检验的拒绝选项。使用概率网络，可以估计结果的分布，而不是单个输出。该方法通过对每个类别的均值和标准差进行Z检验，估计网络确定性的统计显著性，并剔除不确定输出。所提出的方法进行了实验与不同配置的COCO和CIFAR数据集。所提出的方法的性能进行比较与Softmax响应，这是一个已知的最高性能的方法。结果表明，与替代方案相比，所提出的方法可以实现更广泛的操作范围并覆盖更低的FPR。
2021-05-11 cs.AI cs.CV cs.LG
A Probabilistic Method to Predict Classifier Accuracy on Larger Datasets given Small Pilot Data
Tufts University（塔夫茨大学）；Kaiser Permanente Southern California（南加州凯泽永久医疗集团）；Tufts Medical Center（塔夫茨医疗中心）
本文提出一种高斯过程模型，基于小规模试点数据对分类器准确率随数据集规模增长的变化进行概率外推，并在六个数据集上验证了其误差、似然和覆盖率表现。
2023-11-29 cs.LG
UniCR: Universally Approximated Certified Robustness via Randomized Smoothing
University of Connecticut（康涅狄格大学）；Illinois Institute of Technology（伊利诺伊理工学院）
我们研究了机器学习分类器对对抗性扰动的认证鲁棒性。特别是，我们提出了第一个普遍近似认证的鲁棒性（UniCR）框架，它可以近似的鲁棒性认证的任何输入对任何分类器对任何$\ell_p$扰动与噪声产生的任何连续概率分布。与最先进的认证防御相比，UniCR提供了许多显著的好处：（1）第一个通用的鲁棒性认证框架，适用于上述4个“任何”;（2）自动鲁棒性认证，避免了逐个案例的分析，（3）认证鲁棒性的紧密性验证，以及（4）随机平滑所使用的噪声分布的最优性验证。我们进行了大量的实验来验证UniCR的上述优点以及UniCR相对于最先进的认证防御$\ell_p$扰动的优势。
2022-07-10 cs.LG
On Computing Probabilistic Abductive Explanations
University of Toulouse（图卢兹大学）；Monash University（莫纳什大学）；VMware Research（威睿研究部）；UPS（图卢兹第三大学）；IRIT（图卢兹信息学研究所）；CNRS（法国国家科学研究中心）
最广泛研究的可解释人工智能（XAI）方法是不健全的。这是众所周知的模型不可知解释方法的情况，也是基于显着图的方法的情况。一个解决方案是考虑内在的可解释性，它不会表现出不合理的缺点。不幸的是，内在的可解释性可能会显示出笨拙的解释冗余。形式可解释性代表了这些非严格方法的替代方案，其中一个例子是PI解释。不幸的是，PI解释也表现出重要的缺点，其中最明显的可以说是它们的大小。最近，人们已经观察到，PI解释的（绝对）严谨性可以通过计算所谓的相关集来换取较小的解释大小。给定一个正的δ，一个特征集S是δ相关的，如果当S中的特征固定时，得到目标类的概率超过δ。然而，即使是非常简单的分类器，计算相关的功能集的复杂性是禁止的，与决策问题是NPPP-完全的基于电路的分类器。与早期的负面结果相比，本文探讨了实用的方法来计算相关集的一些广泛使用的分类器，包括决策树（DT），朴素贝叶斯分类器（NBCs），和几个家庭的分类器从命题语言。此外，该文件表明，在实践中，这些家庭的分类，相关的集合很容易计算。此外，实验证实，简洁的相关功能集，可以得到考虑的分类器的家庭。
2022-12-12 cs.AI cs.LG
Enhancing Quantum Adversarial Robustness by Randomized Encodings
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
量子物理学和机器学习之间的相互作用产生了量子机器学习的新兴前沿，先进的量子学习模型在解决某些具有挑战性的问题时可能优于经典模型。然而，量子学习系统容易受到对抗性攻击：在合法输入样本上添加精心制作的微小扰动可能会导致错误分类。为了解决这个问题，我们提出了一个通用的方案来保护量子学习系统免受对抗性攻击，通过酉或量子纠错编码器随机编码合法的数据样本。特别是，我们严格证明了全球和本地随机酉编码器导致指数消失的梯度（即贫瘠的高原）的任何变分量子线路，旨在增加对抗扰动，独立于输入数据和内部结构的对抗电路和量子分类器。此外，我们证明了量子分类器在局部酉对抗攻击下的脆弱性的严格界限。我们表明，随机黑盒量子纠错编码器可以保护量子分类器免受本地对抗性噪声和他们的鲁棒性增加，因为我们级联纠错码。为了量化鲁棒性增强，我们采用量子差分隐私作为量子分类器预测稳定性的度量。我们的研究结果为量子分类器建立了对抗性扰动的通用防御策略，为提高近期和未来量子学习技术的可靠性和安全性提供了有价值的指导。
2022-12-05 cond-mat.dis-nn cs.AI cs.LG
Shapley Value on Probabilistic Classifiers
Zhejiang University（浙江大学）
针对传统Shapley值无法有效区分概率分类器的有益与有害训练数据点的问题，本文提出利用预测类别概率的P-Shapley值及置信校准激活函数，经四个真实数据集实验验证其在数据重要性评估上的有效性。
2023-06-12 cs.DB cs.LG
Generative method for aerodynamic optimization based on classifier-free guided denoising diffusion probabilistic model
School of Management, Hefei University of Technology（合肥工业大学管理学院）
本文提出基于无分类器引导去噪扩散概率模型（CDDPM）的翼型逆向设计框架，通过捕捉性能指标相关性并生成压力系数分布，相比Wasserstein生成对抗网络方法精度提升33.6%，并结合全局优化与主动学习策略提供合理的性能指标组合。
2025-03-10 cs.AI cs.LG
Ensembles of Randomized Time Series Shapelets Provide Improved Accuracy while Reducing Computational Costs
Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学）
Shaperies是一种判别性的时间序列连续性，它允许生成可解释的分类模型，与最近邻方法相比，它提供了更快且通常更好的分类。然而，shapelet发现过程需要评估训练集中所有时间序列的所有可能的连续性，这使得它非常计算密集。因此，大型时间序列数据集的shapelet发现很快变得棘手。为减少培训时间，提出了若干改进建议。这些技术使用近似或离散化，并且与精确方法相比通常导致降低的分类精度。我们建议使用集合的shapelet为基础的分类器使用随机抽样的shapelet候选人。使用随机抽样减少了被评估的候选者的数量，从而减少了所需的计算成本，同时所得模型的分类准确度也与精确算法的分类准确度没有显著差异。由于解决方案的多样性，随机分类器的组合纠正了单个模型的不准确性。基于所进行的实验，它表明，所提出的方法，使用一个合奏的廉价分类器提供了更好的分类精度相比，精确的方法在一个显着降低计算成本。
2017-02-22 cs.LG
On the Probabilistic Learnability of Compact Neural Network Preimage Bounds
针对神经网络原像边界计算因#P难导致可扩展性差的问题，本文提出概率视角下的RF-ProVe方法，通过随机树集成与主动重采样生成候选输入区域，提供统计保证，实现可扩展的紧凑原像近似计算。
2025-11-10 cs.AI cs.LG
Probabilistic classifiers with low rank indefinite kernels
University of Birmingham（伯明翰大学）；Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）
不确定的相似性度量可以在生物信息学中通过比对分数来发现，但在其他领域也很常见，如图像检索中的形状度量。由于缺乏底层向量空间，数据仅以成对相似度给出。可用于此类数据的少数算法无法扩展到更大的数据集。针对概率批分类器，不定核Fisher判别（iKFD）和概率分类向量机（PCVM）都是这类数据的有效算法，但具有立方复杂度。在这里，我们提出了一个扩展的iKFD和PCVM，这样的线性运行时间和内存复杂性实现低秩不定内核。采用Nyström近似的不定内核，我们还提出了一个新的几乎无参数的方法来识别地标，仅限于一个监督学习的问题。在几个较大的相似性数据从不同领域的评估表明，所提出的方法提供了类似的泛化能力，同时更容易参数化和大规模数据的速度大大加快。
2016-04-08 cs.LG
Estimating Accuracy from Unlabeled Data: A Probabilistic Logic Approach
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们提出了一种有效的方法来估计分类器的准确性，只使用未标记的数据。我们考虑一个设置多个分类问题，目标类可能是通过逻辑约束绑在一起。例如，一组类可能是互斥的，这意味着一个数据实例最多只能属于其中一个类。所提出的方法是基于直觉：（i）当分类器同意时，它们更有可能是正确的，以及（ii）当分类器做出违反约束的预测时，至少有一个分类器必须出错。在四个真实世界的数据集上进行的实验，仅使用未标记的数据，产生的准确度估计值与真实准确度相差不到百分之几。我们的模型在估计精度和组合多个分类器输出方面也优于现有的最先进的解决方案。结果强调了逻辑约束在估计精度中的效用，从而验证了我们的直觉。
2017-05-19 cs.AI cs.LG stat.ML
Extensions and limitations of randomized smoothing for robustness guarantees
University College London（伦敦大学学院）
随机平滑是一种在对抗性噪声下证明分类器对输入的决策是不变的方法，与其他认证方法相比具有吸引力的优势。它在黑盒中运行，因此认证不受分类器架构大小的限制。在这里，我们扩展了Li等人的工作。\cite{li2018second}，研究平滑措施之间的分歧的选择如何影响最终的鲁棒性保证，以及平滑措施本身的选择如何导致不同威胁模型的保证。为此，我们开发了一种方法来证明对任何$\ell_p$（$p\in\mathbb{N}_{>0}$）最小化对抗扰动的鲁棒性。然后，我们证明了一个负面的结果，即随机平滑遭受灾难的维数;作为$p$增加，有效半径周围的输入可以证明消失。
2020-06-07 cs.LG stat.ML
Probabilistic Zero-shot Classification with Semantic Rankings
The Ohio State University（俄亥俄州立大学）
在本文中，我们提出了一个非度量排名为基础的表示语义相似性，允许自然聚合的语义信息从多个异构源。我们将基于排名的表示应用于零样本学习问题，并提出了确定性和概率性的zero-shot分类器，可以从预先训练的分类器中构建，而无需重新训练。我们在两个大型的真实世界图像数据集上展示了它们的优势。特别是，我们表明，聚合不同来源的语义信息，包括众包，导致更准确的分类。
2015-02-27 cs.AI cs.CV cs.LG
Estimating Posterior Ratio for Classification: Transfer Learning from Probabilistic Perspective
Institute of Statistical Mathematics（统计数学研究所）
迁移学习假设相似任务的分类器共享某些参数结构。不幸的是，现代分类器使用复杂的特征表示与巨大的参数空间，导致昂贵的转移。在从一个分类器到另一个分类器的变化应该是“简单”的印象下，本文提出了一种只学习“差异”的有效迁移学习标准。我们训练一个\emph{posterior ratio}，结果是最小化目标学习风险的上限。后验比模型完全不需要与源分类器共享相同的参数空间，因此它可以很容易地建模和有效地训练。因此，通过简单地将现有的概率分类器与学习的后验比相乘来获得所得到的分类器。
2015-10-19 cs.LG stat.ML
ProBoost: a Boosting Method for Probabilistic Classifiers
Interactive Technologies Institute（交互技术研究所）；University of Madeira（马德拉大学）；Instituto de Telecomunicações（电信研究所）
本研究提出面向概率分类器的新型boosting算法ProBoost，通过样本认知不确定性调整训练权重/采样策略并构建加权集成，在MNIST数据集上仅用4个弱学习器即可实现准确率等指标超12%的相对提升。
2022-09-04 cs.AI cs.LG stat.ML
Classifier uncertainty: evidence, potential impact, and probabilistic treatment
Universität Duisburg-Essen（杜伊斯堡-埃森大学）
分类器通常在相对较小的数据集上进行测试，这会导致不确定的性能指标。然而，这些指标通常是按面值计算的。我们提出了一种方法来量化分类性能指标的不确定性，基于混淆矩阵的概率模型。我们的方法从科学文献和分类竞争的分类器的应用表明，不确定性可以令人惊讶的大，限制性能评估。事实上，一些已公布的分类器可能会产生误导。我们的方法的应用是简单的，只需要混淆矩阵。它与底层分类器无关。我们的方法也可以用于估计样本量，达到所需的精度的性能指标。
2020-06-19 cs.LG stat.ML
A Probabilistic Optimum-Path Forest Classifier for Binary Classification Problems
Federal University of São Carlos（圣卡洛斯联邦大学）；University of Western São Paulo（西圣保罗大学）；São Paulo State University（圣保罗州立大学）
概率驱动的分类技术扩展了传统方法的作用，仅输出标签（通常是整数）。这样的技术在处理其中人们不仅对识别/标识感兴趣，而且对例如监视消费者和/或机器的行为感兴趣的问题时更有成效。因此，通过概率估计，人们可以做出决定，以便在许多情况下更好地工作。在本文中，我们提出了一个基于概率的最优路径森林（OPF）分类器来处理二进制分类问题，我们表明它可以在一些数据集上比朴素的OPF更准确。除了更准确或不准确之外，概率OPF还成为科学界的另一个有用工具。
2016-09-04 cs.CV cs.LG stat.ML
Decentralized Federated Learning of Probabilistic Generative Classifiers
Basque Center for Applied Mathematics（巴斯克应用数学中心）；Public University of Navarre（纳瓦拉公共大学）
针对无中央服务器的去中心化联邦学习场景，提出通过邻居间共享与聚合本地统计信息来协作训练参数化概率生成式分类器，并验证其在多种网络和极端非 i.i.d. 条件下稳定收敛。
2025-07-23 cs.LG
Probabilistic Safety Regions Via Finite Families of Scalable Classifiers
Cnr-Istituto di Elettronica e di Ingegneria dell’Informazione e delle Telecomunicazioni（意大利国家研究委员会电子、信息与电信工程研究所）；University of Genoa（热那亚大学）；Universidad de Sevilla（塞维利亚大学）
研究监督分类中误分类错误的概率控制问题，提出概率安全区域概念并利用可扩展分类器将机器学习调优与错误控制关联，通过合成数据和智能出行应用验证方法有效性。
2023-09-08 cs.LG stat.ML
Recalibrating binary probabilistic classifiers
Centre for Business Mathematics and Informatics（商业数学与信息学中心）
本文提出两种新的重新校准方法，用于在分布偏移视角下改进二元概率分类器的性能。
2026-01-21 cs.LG q-fin.RM
Randomized Approximation of the Gram Matrix: Exact Computation and Probabilistic Bounds
North Carolina State University（北卡罗来纳州立大学）
研究通过随机化方法近似Gram矩阵，提出基于稳定秩的概率误差界，适用于小维度矩阵和高成功概率场景。
2014-05-15 cs.LG cs.NA math.NA
