Trained Transformer Classifiers Generalize and Exhibit Benign Overfitting In-Context
UC Davis（加州大学戴维斯分校）；Weizmann Institute of Science（魏茨曼科学研究院）
该研究针对随机线性分类任务下训练的线性Transformer，通过分析梯度下降隐式正则化明确其泛化的条件，并证实其存在上下文内良性过拟合现象，即记忆带噪样本仍能对干净样本近最优泛化。
2024-12-13 cs.LG stat.ML
Falsification and future performance
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们从信息论的角度重新定义了统计学习理论中的两种能力度量：经验VC熵和经验拉德马赫复杂度。我们表明，这些能力的措施计数的数量的假设，一个学习算法伪造的数据集，当它发现分类器在其剧目最小化的经验风险。因此，预测器在未知数据上的未来表现部分取决于学习者伪造了多少假设。作为一个推论，我们表明，经验VC熵量化的消息长度的真实假设在一个特定的概率分布，所谓的实际剧目的最佳代码。
2011-11-23 cs.IT cs.LG math.IT
Long-Tail Theory under Gaussian Mixtures
Nazarbayev University（纳扎尔巴耶夫大学）；University of Minnesota Duluth（明尼苏达大学德卢斯分校）；NAVER LABS Europe（NAVER欧洲实验室）；Purdue University Fort Wayne（普渡大学韦恩堡分校）
该研究提出符合Feldman长尾理论的高斯混合数据生成模型，证明线性分类器泛化误差存在下限而带记忆的非线性分类器可突破，且尾长缩短可缩小二者性能差距，为长尾分布下的最优泛化提供理论支撑。
2023-07-24 cs.LG stat.ML
Partial VOROS: A Cost-aware Performance Metric for Binary Classifiers with Precision and Capacity Constraints
Department of Mathematics, Tufts University（塔夫茨大学数学系）；Department of Computer Science, Tufts University（塔夫茨大学计算机科学系）
本文提出部分VOROS，一种考虑成本的二分类器性能度量方法，用于在精度和容量限制下评估分类器性能，通过在ROC空间中定义可行区域并计算部分体积来改进传统ROC分析。
2026-04-02 cs.LG stat.ME
Toward Optimal Feature Selection in Naive Bayes for Text Categorization
University of Rhode Island（罗德岛大学）
自动特征选择对于文本分类具有重要意义，它可以减少特征量，加快分类器的学习过程。在本文中，我们提出了一种新的和有效的特征选择框架的基础上的信息理论，其目的是排名的功能与他们的区分能力的分类。本文首先回顾了两种信息测度：用于二元假设检验的库尔贝克-莱布勒散度和Jeffreys散度，并分析了它们在贝叶斯分类器I类和第二类错误下的渐近性质。然后，我们引入了一个新的分歧措施，称为杰弗里斯多假设（JMH）分歧，多类分类的多分布分歧的措施。基于JMH分歧，我们开发了两种有效的特征选择方法，称为最大区分度（$MD$）和$MD-χ^2$方法，用于文本分类。大量的实验结果表明，所提出的方法的有效性。
2016-02-09 cs.CL cs.IR cs.LG
Are Key-Foreign Key Joins Safe to Avoid when Learning High-Capacity Classifiers?
University of California, San Diego（加州大学圣地亚哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
关系数据上的机器学习（ML）是数据库行业和学术界的一个蓬勃发展的领域。虽然有几个项目旨在构建可扩展和快速的ML系统，但很少有工作解决了为ML任务采购数据和功能的痛苦。现实世界的关系数据库通常有许多表（通常是几十个），数据科学家通常很难获得和连接所有可能的表，这些表为ML提供了功能。在这种情况下，Kumar等人最近表明，表之间的键-外键依赖关系（KFKD）通常可以让我们避免这种连接，而不会显著影响预测准确性-他们称之为安全避免连接的想法。虽然最初存在争议，但这一想法已被多家公司用于减轻ML的数据来源负担。但他们的工作仅适用于线性分类器。在这项工作中，我们验证他们的结果是否适用于三种流行的复杂分类器：决策树，SVM和ANN。我们使用真实世界的数据集和模拟进行了广泛的实验研究，以分析避免KFK连接对这些模型的影响。我们的研究结果表明，与线性分类器相比，这些高容量分类器在避免KFK连接方面具有令人惊讶和反直觉的鲁棒性，反驳了先前工作分析的直觉。我们直观地解释了这种行为，并确定了数据管理和ML理论研究交叉点的开放问题。我们所有的代码和数据集都可以从http://cseweb.ucsd.edu/~arunkk/hamlet下载。
2017-06-04 cs.DB cs.LG
Imbalanced Classification under Capacity Constraints
Departamento de Matemática y Ciencias Universidad de San Andrés（数学与科学系，圣安德烈斯大学）；CONICET Argentina（阿根廷国家科研委员会）；PEDECIBA Matemática Uruguay（乌拉圭PEDECIBA数学）
针对少数类检测中容量约束问题，提出形式化分类框架，通过重加权先验概率等价于贝叶斯分类器，并引入容量调整性能指标，实验表明优于传统方法和SMOTE。
2026-06-16 cs.LG math.ST stat.ML
Leveling Down in Computer Vision: Pareto Inefficiencies in Fair Deep Classifiers
Amazon Web Services（亚马逊云科技）；MPI-IS（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）；Rice University（莱斯大学）
算法公平性通常是在权衡方面被激励的，在权衡中，整体性能被降低，以便改善对处于不利地位的群体的性能，否则算法将不太准确。与此相反，我们发现，将现有的公平性方法应用于计算机视觉，通过降低所有组中分类器的性能来提高公平性（其中表现最好的组的性能下降幅度更大）。将分类的偏差方差分解扩展到公平性，我们从理论上解释了为什么大多数为低容量模型设计的公平分类器不应该用于涉及高容量模型的设置中，这是计算机视觉常见的情况。我们证实了这一分析与广泛的实验支持，表明在计算机视觉中使用的许多公平性算法也降低了最弱势群体的性能。基于这些见解，我们提出了一种自适应增强策略，独特的，所有的方法测试，提高性能的弱势群体。
2022-03-31 cs.CV cs.LG
Learning a hyperplane classifier by minimizing an exact bound on the VC dimension
Indian Institute of Technology, Delhi（印度理工学院德里分校）
VC维度量学习机的能力，低VC维导致良好的泛化。虽然支持向量机产生最先进的学习性能，但众所周知，支持向量机的VC维可以是无界的;尽管在实践中效果良好，但不能保证良好的泛化能力。在本文中，我们展示了如何学习一个超平面分类器，通过最小化一个确切的，或\boldmath{$Θ$}约束的VC维。所提出的方法，称为最小复杂性机（MCM），涉及解决一个简单的线性规划问题。实验结果表明，在一些基准数据集上，该方法学习分类器的出错率远低于传统的SVM，而往往使用较少的支持向量。在许多基准数据集上，支持向量的数量不到SVM使用的数量的十分之一，这表明MCM确实学习了更简单的表示。
2014-08-13 cs.LG
On Linear Separation Capacity of Self-Supervised Representation Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文从理论上研究自监督学习中数据增强使多流形数据线性可分离的条件，证明其能提升线性分离能力的信息论最优速率，并表明下游线性分类器性能主要取决于表示的线性可分离性而非有标签数据规模。
2024-05-05 cs.LG math.ST stat.ML
OCCAM: Towards Cost-Efficient and Accuracy-Aware Classification Inference
University of British Columbia（不列颠哥伦比亚大学）
提出OCCAM方法，在成本预算下通过整数线性规划优化分类器分配，实现聚合精度最大化，在真实数据集上成本降低40%且精度几乎无损。
2025-02-25 cs.AI cs.CV cs.LG
A Neurodynamical System for finding a Minimal VC Dimension Classifier
Indian Institute of Technology Delhi（德里印度理工学院）；Federal University of Rio de Janeiro（里约热内卢联邦大学）
最近提出的最小复杂性机器（MCM）通过最小化Vapnik-Chervonenkis（VC）维度上的精确边界来找到超平面分类器。VC维度量学习机的能力，较小的VC维导致改进的泛化。在许多基准数据集上，MCM比SVM更好地推广，并且使用的支持向量比SVM使用的支持向量少得多。在本文中，我们描述了一个基于线性动力系统的神经网络，收敛到MCM解决方案。所提出的MCM动力系统有利于在芯片上实现模拟电路或使用常微分方程（ODE）求解器进行仿真。在UCI数据库的基准数据集上进行的数值实验表明，该方法具有可扩展性和准确性，因为我们使用MCM动力系统获得了更高的精度和更少的支持向量（减少高达74.3%）。
2015-03-11 cs.LG stat.ML
Zero-One Laws of Graph Neural Networks
University of Oxford（牛津大学）
本研究从理论角度揭示图神经网络在节点规模趋于无穷时的零一律行为，证明其输出概率趋于0或1，并通过实验验证了该渐近极限在较小图上已显现。
2023-10-24 cs.LG
Signal-Routed Temperature Scaling: Low-Capacity Risk-Conditioned Calibration for Small Validation Budgets
Adelaide University（阿德莱德大学）
针对小验证预算下事后校准器容量选择问题，提出10参数信号路由温度缩放（SRTS-BCE），在CIFAR-100等基准上以低容量匹配高容量方法性能，并揭示容量偏好随数据量变化。
2026-10-01 cs.AI cs.LG
Parallel Implementations Assessment of a Spatial-Spectral Classifier for Hyperspectral Clinical Applications
Centre of Software Technologies and Multimedia Systems (CITSEM), Universidad Politécnica de Madrid (UPM)（马德里理工大学软件技术与多媒体系统中心）；University of Pavia（帕维亚大学）；Institute for Applied Microelectronics (IUMA), University of Las Palmas de Gran Canaria (ULPGC)（拉斯帕尔马斯大加那利大学应用微电子研究所）
针对高光谱医学成像实时处理需求，本文对比了五款不同HPC平台（含高性能GPU、低功耗GPU及众核架构）在空谱分类任务上的性能，结合神经外科、皮肤科两类临床场景的不同约束评估各平台优劣。
2024-03-28 cs.LG cs.PF
HaloGuard 1.0: An Open Weights Constitutional Classifier for Multilingual AI Safety
Astroware AI；Karunya Institute of Technology and Sciences（卡鲁尼亚理工学院和科学学院）
提出HaloGuard 1.0，一种基于宪法分类器范式的输入安全模型，在英语和多语言提示安全基准上以约十分之一于当前领先模型的参数规模达到最先进性能，通过自然语言宪法驱动合成数据生成、一对一反事实对、两层无害设计及多语言平衡实现。
2026-07-03 cs.CL cs.CR cs.LG
Prior-matched evaluation of operational Earth-observation classifiers: a three-number reporting method demonstrated on Sentinel-1 internal-wave detection
Atlantic International Research Centre (AIR Centre)（大西洋国际研究中心）
研究地球观测分类器评估问题，指出固定召回率下报告精度有偏差。提出基于平衡测试、业务化先验和实际部署后三个数值的先验匹配报告方法，通过精度优先、泄漏控制开发周期改进分类器，提升精度并能转移判别能力。
2026-09-22 cs.CV cs.LG eess.IV
Cost-Sensitive Learning to Defer to Multiple Experts with Workload Constraints
Feedzai；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究院）
针对学习委托中忽视成本敏感、数据要求高和负载约束的问题，提出DeCCaF框架，结合监督学习和约束规划，在欺诈检测中平均降低8.4%误分类成本。
2024-08-19 cs.AI cs.LG
