arXiv 1111.61602011-11-26stat.ML

分类精度的最优指数界

Optimal exponential bounds on the accuracy of classification

N. I. Pentacaput

摘要：

我们考虑一个标准的二进制分类问题。任何基于训练数据的二元分类器的性能都是以超额风险为特征的。研究了基于超额风险的极大极小精度置信函数的Bahadur型指数界。我们研究这个数量如何依赖于其特征在于由指数的熵的类的回归函数或相应的分布从类的贝叶斯分类器的类的分布的类的复杂性。我们还研究了它对分类问题的边缘参数的依赖性。

英文摘要：

We consider a standard binary classification problem. The performance of any binary classifier based on the training data is characterized by the excess risk. We study Bahadur's type exponential bounds on the minimax accuracy confidence function based on the excess risk. We study how this quantity depends on the complexity of the class of distributions characterized by exponents of entropies of the class of regression functions or of the class of Bayes classifiers corresponding to the distributions from the class. We also study its dependence on margin parameters of the classification problem.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

EEF：具有类别特定特征的指数嵌入族

EEF: Exponentially Embedded Families with Class-Specific Features for Classification

University of Rhode Island（罗德岛大学）；Fraunhofer FKIE（弗劳恩霍夫通信、信息处理和人机工程学研究所）

在这封信中，我们提出了一种新的指数嵌入的家庭（EEF）的分类方法，其中的概率密度函数（PDF）的原始数据估计的PDF的功能。与PDF的建设，我们表明，类特定的功能，可以使用在建议的分类方法，而不是一个共同的特征子集的所有类别中使用的传统方法。我们将建议的EEF分类器用于文本分类作为案例研究，并基于信息增益（IG）得分推导出具有类特定特征选择的最佳贝叶斯分类规则。在真实数据集上的实验结果表明了该方法的有效性和广泛的应用前景。

2016-05-27cs.LGstat.ML

基于SGD和随机特征学习的分类错误指数收敛速度

Exponential Convergence Rates of Classification Errors on Learning with SGD and Random Features

The University of Tokyo（东京大学）；RIKEN（理化学研究所）

虽然核方法在许多学习问题中得到了广泛的应用，但它们对大数据集的可扩展性很差。为了解决这个问题，草图和随机梯度方法是最常用的技术，以获得有效的大规模学习算法。在这项研究中，我们考虑使用随机特征和随机梯度下降来解决二元分类问题。在最近的研究中，在强低噪声条件下的期望分类误差的指数收敛速度已被证明。我们将这些分析扩展到随机特征设置，分析由随机特征的近似引起的误差，所产生的假设之间的距离，包括人口风险最小化和经验风险最小化时，使用一般Lipschitz损失函数，以表明即使随机特征近似实现的预期分类误差的指数收敛。此外，我们证明了收敛速度不依赖于特征的数量，并且由于强低噪声条件，在分类问题中使用随机特征具有显着的计算优势。

2022-06-02cs.LGstat.ML

基于玻尔兹曼间隔的kNN分类近指数收敛速率

Near-Exponential Convergence Rates for kNN Classification based on Boltzmann Margin

School of Computer Science, University of Oklahoma（计算机科学系，俄克拉荷马大学）

提出玻尔兹曼间隔条件，介于Tsybakov与Massart间隔之间，首次证明kNN分类器可实现近指数收敛速率。

2026-10-16cs.LGstat.ML

期望分类误差指数收敛的随机梯度下降算法

Stochastic Gradient Descent with Exponential Convergence Rates of Expected Classification Errors

The University of Tokyo（东京大学）；RIKEN（理化学研究所）

我们考虑再生核希尔伯特空间中的二进制分类问题的随机梯度下降及其平均变量。在使用损失函数的一致性性质的传统分析中，已知即使在条件标签概率上假设低噪声条件时，期望分类误差也比期望风险收敛得更慢。因此，所得速率是次线性的。因此，重要的是考虑是否可以实现预期分类误差的更快收敛。在最近的研究中，在强低噪声条件下显示了随机梯度下降的指数收敛率，但理论分析仅限于平方损失函数，这对于二元分类任务来说有些不足。在本文中，我们显示了一个指数收敛的期望分类误差在最后阶段的随机梯度下降的一类广泛的可微凸损失函数在类似的假设。至于平均随机梯度下降，我们表明，从训练的早期阶段相同的收敛速度。在实验中，我们验证了我们的分析上的$L_2$正则化逻辑斯谛回归。

2022-07-25cs.LGmath.OCstat.ML

具有优化随机特征的数据分类中的指数误差收敛：量子机器学习加速

Exponential Error Convergence in Data Classification with Optimized Random Features: Acceleration by Quantum Machine Learning

IQOQI Vienna, Austrian Academy of Sciences（奥地利科学院维也纳量子光学与量子信息研究所）；Atominstitut, Technische Universität Wien（维也纳技术大学原子研究所）；RIKEN AIP（理化学研究所人工智能研究中心）

分类是机器学习中的一项常见任务。随机特征（RF）是基于核方法的可扩展学习算法的核心技术，最近提出的优化随机特征，根据模型和数据分布进行采样，可以显着减少并可证明最小化所需的特征数量。然而，现有的研究分类使用优化的RF遭受计算困难，在采样每个优化的RF，而且，它未能实现指数快速的误差收敛速度，其他国家的最先进的核方法可以实现在低噪声条件下。为了克服这些慢化，我们在这里构建了一个分类算法，通过量子机器学习（QML）加速优化的RF，并研究其运行时，以阐明整体优势。我们证明，我们的算法可以实现指数误差收敛下的低噪声条件下，即使与优化的RF，在同一时间，我们的算法可以利用的优势，显着减少的数量的功能，而不会由于QML的计算难度。这些结果发现了一个有前途的应用QML加速领先的基于核的分类算法，而不破坏其广泛的适用性和指数误差收敛速度。

2022-06-13cs.LGquant-phstat.ML

指数族中具有对数损失的水平无关最优预测

Horizon-Independent Optimal Prediction with Log-Loss in Exponential Families

University of California at Berkeley（加州大学伯克利分校）；Queensland University of Technology（昆士兰科技大学）；CWI（荷兰数学与计算机科学研究院）；Copenhagen Business College（哥本哈根商学院）；Poznań University of Technology（波兹南理工大学）

我们研究了对数损失下正则参数模型的在线学习。Hedayati和Bartlett（2012 b）表明，Jeffreys先验贝叶斯预测策略和顺序归一化最大似然（SNML）是一致的，当且仅当后者是可交换的，当且仅当最优策略可以在不知道时间范围的情况下计算。他们提出了一个问题，什么样的家庭有可交换的SNML策略。本文充分回答了一维指数族的这一公开问题。交换只能发生在三类自然指数族分布，即高斯，伽玛和特威迪指数族的顺序3/2。关键词：SNML可交换性，指数族，在线学习，对数损失，贝叶斯策略，Jeffreys先验，Fisher信息1

2013-05-19cs.LGstat.ML

更多相关论文收起更多论文

指数家族多臂强盗Thompson抽样算法的瞬时后悔性

Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits

National University of Singapore（新加坡国立大学）；California Institute of Technology（加州理工学院）

研究了指数家族强盗的Thompson抽样算法的后悔性，其中奖励分布来自一维指数家族，包括Bernoulli，Gaussian，Gamma，Exponential等常见的奖励分布，提出了一种Thompson抽样算法ExpTS，它使用了一种新的抽样分布，以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS，这同时产生有限时间后悔界以及渐近后悔界。特别地，对于具有指数族奖励的$K$ -武装强盗，在地平线上的ExpTS $T$是子UCB（问题依赖的有限时间后悔的强准则），极大极小最优直到因子$\sqrt{\log K}$，并且对于指数族奖励是渐近最优的。此外，我们提出了ExpTS $^+$，通过增加一个贪婪的开发步骤，除了在ExpTS中使用的抽样分布，以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法，并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的，概念上简单，可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。

2022-06-07cs.LGstat.ML

二元分类与回归的损失函数分析

An Analysis of Loss Functions for Binary Classification and Regression

University of Vermont（佛蒙特大学）

本文探讨了基于边缘的损失函数和二进制分类和回归应用程序的一致性之间的联系。它示出了一个大类的基于利润的损失函数的二进制分类/回归结果估计分数相当于对数似然分数加权的一个偶函数。给出了一致性损失函数的一个简单特征，它允许直接比较不同的损失，包括指数损失，逻辑损失等。该特征用于构造Logistic模型的一个新的Huber型损失函数。一个简单的关系之间的利润率和标准化的逻辑斯谛回归残差的推导，证明所有的利润率为基础的损失可以被视为平方标准化的逻辑斯谛回归残差的损失函数。这种关系为指数损失和逻辑损失提供了新的、直接的解释，并有助于理解为什么指数损失对离群值敏感。特别是，它表明，经验指数损失最小化是相当于最小化平方标准化逻辑斯谛回归残差的总和。该关系也为AdaBoost算法提供了新的见解。

2023-01-27cs.LGstat.ML

通过指数机制实现具有有效推断的分类树

Classification Trees with Valid Inference via the Exponential Mechanism

University of Michigan（密歇根大学）

本文提出一种基于指数机制的分类树方法，通过概率方法替代传统贪心分割，实现有效推断，提升模型解释性与推断能力。

2026-04-13stat.MEstat.ML

Bregman-Tweedie分类模型

The Bregman-Tweedie Classification Model

This work proposes the Bregman-Tweedie classification model and analyzes the domain structure of the extended exponential function, an extension of the classic generalized exponential function with additional scaling parameter, and related high-level mathematical structures, such as the Bregman-Tweedie loss function and the Bregman-Tweedie divergence. The base function of this divergence is the convex function of Legendre type induced from the extended exponential function. The Bregman-Tweedie loss function of the proposed classification model is the regular Legendre transformation of the Breg…

2019-07-16cs.LGstat.ML

随机梯度法检验误差的指数收敛性

Exponential convergence of testing error for stochastic gradient methods

INRIA（法国国家信息与自动化研究所）；Département d’Informatique de l’ENS（巴黎高等师范学院计算机系）；Ecole Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）

本文考虑了具有正定核和平方损失的二元分类问题，研究了随机梯度方法的收敛速度。我们表明，虽然过量的测试损失（平方损失）慢慢收敛到零的观察（从而迭代）的数量趋于无穷大，测试误差（分类误差）收敛指数快速，如果假设低噪声条件。

2018-11-20cs.LGstat.ML

带余量的多类学习：无偏差-方差权衡的指数速率

Multiclass learning with margin: exponential rates with no bias-variance trade-off

University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；MIT（麻省理工学院）

我们研究了在适当的边际条件下多类分类的误差界的行为。对于各种各样的方法，我们证明了分类误差在硬利润率条件下呈指数快速下降，没有任何偏差方差权衡。在不同的边际假设条件下，可以得到不同的收敛速度。一个独立的和有益的分析，我们能够概括已知的结果，从二进制的多类设置。

2022-02-03cs.LGstat.ML

指数族判别分析：将LDA风格的生成分类推广到非高斯模型

Exponential Family Discriminant Analysis: Generalizing LDA-Style Generative Classification to Non-Gaussian Models

Yale University（耶鲁大学）

本文提出指数族判别分析（EFDA），扩展了传统线性判别分析（LDA）到指数族模型，通过闭式最大似然估计和线性决策规则，在保持LDA特例的同时捕捉非线性边界。EFDA在正确设定下渐近校准且统计高效，通过模拟验证其在多种分布下的分类性能。

2026-03-24cs.LGstat.ML

二分类回归函数的具有指数收缩的重采样置信区域

Resampled Confidence Regions with Exponential Shrinkage for the Regression Function of Binary Classification

Institute for Computer Science and Control (SZTAKI), Hungarian Research Network (HUN-REN)（计算机科学与控制研究所（SZTAKI）、匈牙利研究网络（HUN-REN））；Dept. of Probability Theory and Statistics, Institute of Mathematics, Eötvös Loránd University (ELTE)（概率论与统计系，数学研究所，埃格德·洛朗德大学（ELTE））

本文基于重采样检验为二分类回归函数构建了无分布置信区域，证明了新方法的强一致一致性并给出了指数PAC界，同时探讨了k-最近邻方法并在logistic模型上进行了验证。

2025-06-02cs.LGstat.ML

次指数混合模型中的通用下界与最优速率：实现极小极大聚类误差

Universal Lower Bounds and Optimal Rates: Achieving Minimax Clustering Error in Sub-Exponential Mixture Models

École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Bilkent University（比尔肯特大学）

本文针对次指数混合模型，提出基于Chernoff散度的通用聚类误差下界，证明迭代算法可达最优速率，并验证Bregman硬聚类在指数族混合模型中的速率最优性。

2024-07-17cs.LGmath.STstat.ML

基于采样分布距离的调制分类最优判别函数

Optimal Discriminant Functions Based On Sampled Distribution Distance for Modulation Classification

University of California, Los Angeles（加利福尼亚大学洛杉矶分校）

在这封信中，我们推导出调制分类的最佳判别函数的基础上采样的分布距离。所提出的方法分类各种候选星座使用低复杂度的方法的基础上，在特定的测试点沿累积分布函数的分布距离。该方法基于贝叶斯决策准则，在给定一组测试点的情况下，渐近地提供可能的最小分类误差。测试点位置也进行了优化，以提高分类性能。该方法提供了显着的增益超过现有的方法，也使用的信号特征的分布。

2013-02-19cs.LGcs.PFstat.ML

多组分光谱分析的最优分类方法

Multi-label Classification with Optimal Thresholding for Multi-composition Spectroscopic Analysis

University of Victoria（维多利亚大学）

在本文中，我们实现了多标签神经网络与最佳阈值识别气体种类之间的多种气体混合物在一个混乱的环境。使用红外吸收光谱和合成光谱数据集上测试，我们的方法优于传统的二进制相关-偏最小二乘判别分析时，信噪比和训练样本量是足够的。

2019-06-24cs.LGeess.SPstat.ML

SVM 指数收敛速率的一个案例

A Case of Exponential Convergence Rates for SVM

Meta AI；University of Rome Tor Vergata（罗马第二大学）

本文提出了一种简单机制以获得快速收敛速率，并证明 SVM 在不假设硬 Tsybakov 间隔条件的情况下也能实现指数收敛速率。

2023-05-22cs.AIcs.LGstat.ML

对抗性多类分类的多边际最优传输形式

The Multimarginal Optimal Transport Formulation of Adversarial Multiclass Classification

University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）

本文研究对抗性多类分类问题，通过将其等价转化为广义重心问题与多边际最优传输问题，揭示了对抗学习的几何结构，并证明求解这些对偶问题可恢复最优鲁棒分类规则与对抗策略。

2023-05-26cs.LGmath.APmath.OC

线性可实现最优行动-价值函数的MDP规划的指数下界

Exponential Lower Bounds for Planning in MDPs With Linearly-Realizable Optimal Action-Value Functions

DeepMind；University College London（伦敦大学学院）；University of Illinois（伊利诺伊大学）；University of Alberta（阿尔伯塔大学）

我们认为，在固定的地平线和折扣马尔可夫决策过程（MDP）与线性函数逼近和生成模型的假设下，最佳的行动价值函数在于一个功能地图，可供规划器的跨度的局部规划问题。以前的工作留下了开放的问题，是否存在健全的规划，只需要多（H，d）查询，而不管MDP，其中H是地平线和d是维数的功能。我们回答这个问题是否定的：我们表明，任何健全的规划必须查询至少$\min(\exp(Ω(d)), Ω(2^H))$样本中的固定水平设置和$\exp(Ω(d))$样本中的折扣设置。我们还表明，对于任何$δ>0$，最小二乘值迭代算法与$O(H^5d^{H+1}/δ^2)$查询可以计算一个$δ$最优的政策，在固定的地平线设置。我们讨论的影响和剩余的开放问题。

2021-02-15cs.AIcs.LGstat.ML

噪声标签下的鲁棒最优分类树

Robust Optimal Classification Trees under Noisy Labels

Universidad de Granada（格拉纳达大学）；Universidad de Sevilla（塞维利亚大学）

在本文中，我们提出了一种新的方法来构建最优分类树，考虑到噪声标签可能会出现在训练样本。我们的方法依赖于两个主要元素：（1）分类树的分裂规则被设计为最大化应用SVM范式的类之间的分离裕度;以及（2）在试图检测标签噪声的树的构建期间，允许改变训练样本的一些标签。这两个功能都被考虑和集成在一起，设计产生的最优分类树。我们提出了一个混合的非线性规划制定的问题，适合使用任何可用的现成的求解器来解决。在UCI机器学习数据库中的标准数据集上对该模型进行了分析和测试，结果表明了该方法的有效性。

2020-12-15cs.LGmath.OCstat.ML

分类错误的速率最优Meta学习

Rate-optimal Meta Learning of Classification Error

最佳分类器错误率的Meta学习允许实验者凭经验估计任何估计器区分两个群体的内在能力，从而规避估计最佳贝叶斯分类器的困难问题。为此，我们提出了一个加权最近邻（WNN）图估计贝叶斯分类错误的紧界，亨策彭罗斯（HP）的分歧。与最近提出的HP估计量类似[berisha 2016]，提出的估计量是非参数的，不需要密度估计。然而，与先前的方法不同，所提出的估计器是速率最优的，即，其均方估计误差（MSEE）以$O(1/M+1/N)$的最快可能速率衰减到零，其中$M,N$是相应总体的样本量。我们说明了几个模拟和真实数据集的建议WNN Meta估计。

2017-10-31cs.ITmath.ITstat.ML

基于最优标签置换分类的分类数据二元因果发现

Bivariate Causal Discovery for Categorical Data via Classification with Optimal Label Permutation

Texas A&M University（德州农工大学）

定量数据的因果发现已经被广泛研究，但对分类数据的研究较少。我们提出了一种新的因果模型的分类数据的基础上，一个新的分类模型，称为分类与最佳标签排列（COLP）。通过设计，COLP是一个简约的分类器，它产生了一个可证明可识别的因果模型。通过比较因果模型和反因果模型的似然函数的简单学习算法足以学习因果方向。通过与合成和真实数据的实验，我们证明了所提出的基于COLP的因果模型的良好性能相比，国家的最先进的方法。我们还提供了一个随附的R包COLP，其中包含拟议的因果发现算法和分类因果对的基准数据集。

2022-12-11cs.LGstat.MEstat.ML

超越准确性的最佳二元分类

Optimal Binary Classification Beyond Accuracy

Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon（亚马逊）

绝大多数关于二元分类的统计理论都以准确性为特征。然而，在许多情况下，准确度很难反映分类错误的实际后果，最著名的是不平衡的二进制分类，其中数据主要是来自两个类别之一的样本。本文的第一部分推导出一种新的概括贝叶斯最优分类器的准确性，从混淆矩阵计算的任何性能指标。具体来说，这个结果（a）表明，随机分类器有时优于最好的可能的确定性分类器和（b）删除经验上无法验证的绝对连续性假设，这是很难理解，但弥漫在现有的结果。然后，我们展示了如何使用这种广义贝叶斯分类器，以获得遗憾界的一致损失下的回归函数的估计误差。最后，我们使用这些结果来开发一些特定于不平衡二进制分类的第一有限样本统计保证。具体来说，我们证明了最佳的分类性能取决于类不平衡的属性，如一个新的概念，称为均匀类不平衡，以前没有正式的。在$k$ -最近邻分类的情况下，我们进一步说明了这些贡献

2022-09-26cs.LGmath.STstat.ML