Towards Understanding the Data Dependency of Mixup-style Training
Duke University（杜克大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在Mixup训练范式中，使用数据点及其相关标签的凸组合来训练模型。尽管在训练过程中看到的真实数据点很少，但与标准训练相比，使用Mixup训练的模型似乎仍能最大限度地降低原始经验风险，并在各种任务上表现出更好的泛化能力和鲁棒性。在本文中，我们研究了Mixup训练的这些好处如何依赖于分类背景下的数据属性。为了最小化原始经验风险，我们计算了Mixup最优分类的闭合形式，这允许我们构建一个简单的数据集，在该数据集上，最小化Mixup损失可以证明导致学习一个分类器，该分类器不会最小化数据的经验损失。另一方面，我们也给出了Mixup训练的充分条件，使原始经验风险最小化。为了推广，我们描述了混合分类器的边缘，并使用它来理解为什么与标准训练相比，混合分类器的决策边界可以更好地适应训练数据的完整结构。相比之下，我们还表明，对于一大类线性模型和线性可分数据集，Mixup训练会导致学习与标准训练相同的分类器。
2022-02-19 cs.AI cs.LG
Learning from Incomplete Features by Simultaneous Training of Neural Networks and Sparse Coding
RIKEN（理化学研究所）；Instituto Argentino de Radioastronomía, CONICET-CCT La Plata / CIC-PBA / UNLP（阿根廷射电天文研究所，CONICET-拉普拉塔科技中心 / 布宜诺斯艾利斯省科学调查委员会 / 拉普拉塔国立大学）；Southeast University（东南大学）；University of Vic - Central University of Catalonia（维克大学-加泰罗尼亚中央大学）
在本文中，训练一个分类器上的数据集与不完整的功能的问题。我们假设每个数据实例都有不同的特征子集（随机或结构化）。这种情况通常发生在应用程序中，即不是为每个数据样本收集所有特征时。开发了一种新的监督学习方法来训练通用分类器，例如逻辑回归或深度神经网络，仅使用每个样本的特征子集，同时假设未知字典上的数据向量的稀疏表示。充分的条件被识别，使得如果有可能在不完整的观察上训练分类器，使得它们的重建被超平面很好地分离，则相同的分类器也正确地分离原始（未观察到的）数据样本。在合成数据集和知名数据集上的大量仿真结果验证了我们的理论研究结果，并与传统的数据插补方法和一种最先进的算法相比，证明了所提出的方法的有效性。
2021-04-17 cs.LG stat.ML
How Nonconformity Functions and Difficulty of Datasets Impact the Efficiency of Conformal Classifiers
University of Luxembourg（卢森堡大学）
保形预测的属性，以保证所需的准确率，使这个框架在各种实际应用中的吸引力。然而，这种特性是以精度降低为代价的。在保形分类的情况下，系统可以输出多个类别标签而不是一个。从文献中还可以看出，非一致性函数的选择对共形分类器的效率有重要影响。最近，它表明，不同的模型不可知的非一致性功能的结果在保形分类器具有不同的特点。对于基于神经网络的共形分类器，逆概率（或铰链损失）允许最小化预测标签的平均数量，并且余量导致更大比例的单例预测。在这项工作中，我们的目标是进一步扩展这项研究。我们使用8种不同的分类算法进行了实验评估，并讨论了先前观察到的关系是否成立。此外，我们提出了一个成功的方法来结合这两个非一致性函数的属性。使用11个真实数据集和5个合成数据集进行实验评估。
2021-08-12 cs.AI cs.LG
Kernel-Free Universum Quadratic Surface Twin Support Vector Machines for Imbalanced Data
Jan Evangelista Purkyně University（詹·埃瓦尔德·普日科夫大学）；Charles University（查尔斯大学）；American University（美国阿美利克大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Northeastern University（东北大学）
针对不平衡二分类问题，提出利用Universum点支持少数类的无核二次曲面孪生支持向量机，通过二次曲面提升决策边界灵活性，在人工与基准数据集上验证了更优的准确率与泛化性能。
2025-10-08 cs.AI cs.LG math.OC
A Modified Construction for a Support Vector Classifier to Accommodate Class Imbalances
给定一个具有二进制分类的训练集，支持向量机识别使两类训练数据之间的间隔最大化的超平面。这个一般公式是有用的，因为它可以被应用而不考虑类之间的方差差异。然而，忽略这些差异并不是最佳的，因为一般的SVM会给具有较低方差的类一个无法避免的距离。这增加了其他类别的错误分类的机会，并导致预测性能的整体损失。提出了一种替代构造，其中分离超平面的边缘对于每个类是不同的，每个边缘与其类沿垂直于超平面的方向的标准差成比例。在类方差相等的情况下，该构造与SVM一致。然后，本文将研究修改后的约束方程的对偶表示的影响。
2017-02-10 cs.LG stat.ML
The perils of being unhinged: On the accuracy of classifiers minimizing a noise-robust convex loss
Google（谷歌）；Columbia University（哥伦比亚大学）
Van Rooyen等人引入了凸损失函数对随机分类噪声具有鲁棒性的概念，并建立了“无铰链”损失函数在这个意义上是鲁棒的。在本说明中，我们研究了通过最小化精神错乱损失获得的二元分类器的准确性，并观察到即使对于简单的线性可分数据分布，最小化精神错乱损失也可能只会产生准确性并不比随机猜测更好的二元分类器。
2022-03-04 cs.LG stat.ML
Adaptive Covariate Acquisition for Minimizing Total Cost of Classification
Central Research Laboratories, NEC（NEC中央研究实验室）
在某些应用中，获取协变量的成本不可忽略。例如，在医疗领域中，为了对患者是否患有糖尿病进行分类，测量葡萄糖耐量可能是昂贵的。假设每个协变量的成本和误分类的成本可以由用户指定，我们的目标是最小化（预期）总分类成本，即误分类成本加上所获取的协变量的成本。我们正式这个优化目标使用（条件）贝叶斯风险和描述的最佳解决方案，使用递归过程。由于该过程在计算上是不可行的，因此我们引入了两个假设：（1）最佳分类器可以由广义可加模型表示，（2）最佳协变量集被限制为一个序列的集合的大小增加。我们表明，在这两个假设下，存在一个计算有效的解决方案。此外，在几个医疗数据集上，我们表明，与以前的各种方法相比，该方法在大多数情况下实现了最低的总成本。最后，我们削弱了对用户的要求，指定所有的错误分类成本，允许用户指定最低限度的可接受的召回（目标召回）。我们的实验证实，该方法实现了目标召回率，同时最大限度地减少了错误发现率和协变量获取成本优于以往的方法。
2020-02-21 cs.LG stat.AP stat.ML
Granular-Balls based Fuzzy Twin Support Vector Machine for Classification
School of Mathematics and Statistics, Changsha University of Science and Technology（长沙理工大学数学与统计学院）；School of Information Science and Technology, Nantong University（南通大学信息科学与技术学院）；Department of Computer Science and Technology, Tongji University（同济大学计算机科学与技术系）
本文提出粒球孪生支持向量机和粒球模糊孪生支持向量机，通过粒球计算与毕达哥拉斯模糊集提升分类器在噪声环境下的可扩展性、效率和鲁棒性，并在20个基准数据集上验证了优越性能。
2024-08-01 cs.LG
Recovery of sparse linear classifiers from mixture of responses
Syracuse University（雪城大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在学习混合线性分类器的问题中，目标是从二进制响应序列中学习超平面的集合。每个响应都是用向量查询的结果，并指示从查询向量所属的集合中随机选择的超平面的一侧。该模型提供了一个丰富的表示异构数据的分类标签，只有在一些特殊的设置进行了研究。我们看一个迄今未研究的问题，查询复杂性的上限恢复所有的超平面，特别是当超平面是稀疏的情况下。该设置是被称为1位压缩感知的极端量化问题的自然概括。假设我们有一组$\ell$未知的$k$稀疏向量。我们可以用另一个向量$\boldsymbol{a}$查询这个集合，以获得$\boldsymbol{a}$与从$\ell$ -集合中随机选择的向量的内积的符号。多少次查询足以识别所有$\ell$未知向量？这个问题比基本的1比特压缩感测问题（即，$\ell=1$情况）和类似的回归问题（其中提供值而不是符号）。我们提供了严格的查询复杂性的结果（高效的算法）这个问题。
2020-12-24 cs.IT cs.LG math.IT
Probability-driven scoring functions in combining linear classifiers
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
虽然线性分类器是机器学习中最古老的方法之一，但它们在机器学习社区中仍然非常流行。这是由于它们的低计算复杂性和对过拟合的鲁棒性。因此，线性分类器经常被用作多集成分类系统的基分类器。本研究旨在建立一种新的融合方法，致力于集成的线性分类器。融合方案使用测量空间和几何空间。也就是说，我们提出了一个概率驱动的评分函数，其形状取决于基分类器生成的决策超平面的方向。所提出的融合方法进行了比较与参考方法使用多个基准数据集从KEEL库。使用多个质量标准进行比较。对所得结果进行了统计分析。实验研究表明，在一定条件下，可以得到一定的改善。
2021-09-16 cs.LG
Multithreshold Entropy Linear Classifier
线性分类器用超平面分离数据。在本文中，我们专注于多阈值线性分类器的新方法的建设，它分离的数据与多个平行超平面。提出的模型是基于信息论的概念-即Renyi的二次熵和Cauchy-Schwarz散度。我们从一些一般属性开始，包括数据规模不变性。然后，我们证明了我们的方法是一个多阈值的大间隔分类器，这表明了类似的SVM，而在同一时间工程与更广泛的类的假设。同样有趣的是，所提出的方法旨在最大化平衡的质量度量（例如马修相关系数），而不是非常常见的准确性最大化。该特征直接来自优化问题陈述，并通过UCI数据集上的实验得到进一步证实。看来，我们的多阈值熵线性分类器（MELC）获得类似或更高的分数比SVM的合成和真实数据。我们展示了所提出的方法如何有利于配体活性预测任务中的化学信息学，尽管有更好的分类结果，MELC提供了一些额外的见解到数据结构（类代表性不足的化学化合物）。
2014-08-04 cs.LG stat.ML
Geometric Mixture Classifier (GMC): A Discriminative Per-Class Mixture of Hyperplanes
The Nilgiris, Tamil Nadu, India - 643005（印度泰米尔纳德邦尼尔吉里斯）；SunitechAI
本文提出几何混合分类器（GMC），用逐类超平面混合建模多模态类别，结合软或组合与softmax后验，并配合几何初始化、平面预算和正则化等训练策略，在保持可解释性和低推理成本的同时取得优于线性模型且接近核方法与深度模型的性能。
2025-09-20 cs.AI cs.CL cs.LG
Feature Selection through Minimization of the VC dimension
Indian Institute of Technology, Delhi（德里印度理工学院）
特征选择涉及识别输入特征的最相关子集，以期通过减少过拟合来改进预测模型的泛化。直接搜索最相关的属性组合是NP难的。变量选择在许多应用中至关重要，例如微阵列数据分析，其中选择少量的区分特征对于开发有用的疾病机制模型以及优先考虑药物发现的靶点至关重要。最近提出的最小复杂性机器（MCM）提供了一种学习超平面分类器的方法，通过最小化其VC维上的精确（\boldmath{$Θ$}）边界。众所周知，较低的VC维有助于良好的泛化。对于输入空间中的线性超平面分类器，VC维度的上限由特征的数量决定;因此，具有小VC维度的线性分类器在其采用的特征集合中是吝啬的。在本文中，我们使用线性MCM来学习一个分类器，其中大量的权重为零;具有非零权重的特征是被选择的。选择的特征用于学习核SVM分类器。在许多基准数据集上，线性MCM选择的特征产生的测试集精度与使用ReliefF和FCBF等方法时相当或更好。线性MCM通常选择的属性数量是其他方法的十分之一;在一些非常高维的数据集上，MCM选择的特征大约是$0.6\%$;相比之下，ReliefF和FCBF选择的特征是其他方法的70到140倍，从而表明最小化VC维度可以为特征选择和学习稀疏表示提供一种新的非常有效的途径。
2014-10-27 cs.LG
A Unified Optimization Framework for Multiclass Classification with Structured Hyperplane Arrangements
Institute of Mathematics (IMAG), Universidad de Granada（格拉纳达大学数学研究所）；Dept. Industrial & Systems Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校工业与系统工程系）
本文提出一个基于超平面排列的统一优化框架，用于多类分类，支持核扩展、分类树等结构，并开发动态聚类启发式算法，在合成及UCI基准上表现优异。
2025-10-06 cs.LG math.OC
Revisiting (Un)Fairness in Recourse by Minimizing Worst-Case Social Burden
针对算法补救过程的公平性问题，本研究通过理论表征关联补救与分类公平性，提出基于社会负担的公平框架及MISOB算法，实证显示其可降低所有群体社会负担且不影响分类器准确性。
2025-11-18 cs.CY cs.LG
Query-limited Black-box Attacks to Classifiers
University of Virginia（弗吉尼亚大学）；EURECOM（欧洲通信学院）
我们研究了对机器学习分类器的黑盒攻击，其中对模型的每个查询都会给对手带来一些检测成本或风险。我们专注于明确的最小化查询的数量作为一个主要目标。具体来说，我们考虑的问题，攻击机器学习分类器的预算的功能修改成本，同时尽量减少查询的数量，其中每个查询只返回一个类和置信度得分。我们描述了一种方法，使用贝叶斯优化，以尽量减少查询的数量，并发现查询的数量可以减少到大约十分之一的数量需要通过随机策略的情况下，功能修改成本预算低。
2017-12-23 cs.CR cs.LG stat.ML
Adversarial Consistency and the Uniqueness of the Adversarial Bayes Classifier
Mathematics, Courant Institute, New York, USA（数学，Courant研究所，纽约，美国）
本文研究对抗学习中的凸替代损失一致性，发现其等价于对抗贝叶斯分类器的唯一性，为鲁棒分类器设计提供理论指导。
2024-10-21 cs.LG math.ST stat.ML
Counterfactual Explanations for Oblique Decision Trees: Exact, Efficient Algorithms
University of California, Merced（加州大学默塞德分校）
我们考虑反事实的解释，最低限度地调整源输入实例中的功能，使其被归类为一个给定的分类器下的目标类的问题。这已经成为最近感兴趣的话题，作为查询训练模型并建议可能的行动来推翻其决定的一种方式。从数学上讲，这个问题在形式上等价于寻找对抗性例子，这也是最近引起广泛关注的问题。大多数关于反事实解释或对抗性例子的工作都集中在可区分的分类器上，比如神经网络。我们专注于分类树，轴对齐和倾斜（有超平面分裂）。虽然这里的反事实优化问题是非凸和不可微的，我们表明，精确的解决方案可以非常有效地计算，即使是高维特征向量和连续和分类特征，并证明它在不同的数据集和设置。这些结果与金融、医学或法律应用特别相关，在这些领域，可解释性和反事实解释尤为重要。
2021-03-01 cs.LG
Robust Large-Margin Learning in Hyperbolic Space
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）
最近，人们对双曲空间中的表示学习产生了浓厚的兴趣，这是因为双曲空间能够表示比标准欧几里得空间维数少得多的层次数据。然而，双曲空间在下游机器学习任务中的可行性和好处却受到较少的关注。在本文中，我们提出，据我们所知，第一个理论保证学习分类在双曲而不是欧几里得空间。具体来说，我们考虑的问题，学习一个大的利润分类器的数据具有层次结构。我们提供了一种算法来有效地学习一个大的边缘超平面，依赖于仔细注入对抗性的例子。最后，我们证明了对于嵌入双曲空间的分层数据，当直接在双曲空间中学习分类器时，低嵌入维数确保了更好的保证。
2022-11-01 cs.LG stat.ML
Population-Guided Large Margin Classifier for High-Dimension Low -Sample-Size Problems
Dalian Maritime University（大连海事大学）；University of North Carolina（北卡罗来纳大学）；Stanford University（斯坦福大学）；Korea University（高丽大学）
在不同领域的各种应用中，例如基因表达分析或计算机视觉，遭受具有高维低样本大小（HDLSS）的数据集，这对标准统计和现代机器学习方法提出了重大挑战。在本文中，我们提出了一种新的线性二元分类器，表示人口引导的大间隔分类器（PGLMC），这是适用于任何类型的数据，包括HDLSS。PGLMC的投影方向w由超平面的局部结构信息和训练样本的统计信息综合考虑而给出。与那些广泛使用的方法相比，我们提出的模型具有几个优点。首先，它对截距项b不敏感。第二，它在不平衡的数据下运行良好。第三，基于二次规划的实现相对简单。第四，它对各种实际应用的模型规范是鲁棒的。证明了PGLMC的理论性质。我们对两个模拟和六个真实世界的基准数据集进行了一系列评估，包括DNA分类，数字识别，医学图像分析和人脸识别。在大多数情况下，PGLMC优于最先进的分类方法，或至少获得相当的结果。
2021-01-25 cs.LG stat.ML
Minimizing Human Intervention in Online Classification
KTH Royal Institute of Technology（皇家理工学院）；Univ. Paris-Saclay, CNRS, CentraleSupélec（巴黎-萨克雷大学、国家科学研究中心、中央超导实验室）
本文研究了在主动学习框架下，如何通过保守包络分类器（CHC）和通用包络分类器（GHC）在不同条件下最小化人类干预，同时保证误差保障。
2026-05-01 cs.LG stat.ML
Latent Hinge-Minimax Risk Minimization for Inference from a Small Number of Training Samples
University of Haifa（海法大学）
深度学习（DL）方法在大型平衡数据集上训练时表现出非常好的性能。然而，许多实际问题涉及不平衡的数据集，或/和具有少量训练样本的类。DL方法以及更传统的分类器的性能在这样的设置中显著下降。大多数现有的不平衡问题的解决方案集中在定制的数据进行培训。一个更有原则的解决方案是使用混合Hinge-Minimax风险[19]，专门用于解决具有不平衡训练集的二元问题。在这里，我们提出了一个潜在的铰链极大极小（LHM）的风险和训练算法，推广这种模式的合奏超平面，可以形成任意复杂的，分段线性边界。为了提取好的特征，我们通过迁移学习将LHM模型与CNN相结合。为了解决多类问题，我们将预先训练的特定类别的LHM分类器映射到多类神经网络，并快速调整权重。LHM分类器允许在其训练中使用未标记的数据，并且映射允许多类推理，从而导致分类器在少量训练样本上训练时比替代品表现更好。
2017-02-04 cs.CV cs.LG
Evaluation of Machine and Deep Learning Techniques for Cyclone Trajectory Regression and Status Classification by Time Series Data
Walton High School（沃尔顿高中）；Department of Computer Science（计算机科学系）；Kennesaw State University（凯斯韦尔州立大学）
本文提出两阶段机器学习流水线，基于国家飓风中心时间序列数据先回归预测气旋特征，再用RF等模型分类状态，RF经SMOTE和调优后达到93%准确率。
2025-09-29 cs.LG
Minimizing subject-dependent calibration for BCI with Riemannian transfer learning
Université de Versailles Saint-Quentin（凡尔赛圣康坦大学）；University Paris-Saclay（巴黎萨克雷大学）；Foxstream（Foxstream公司）；Cogitamus；CNRS（法国国家科学研究中心）
在脑机接口（BCI）中，校准仍然是用户体验的一个重要问题。常见的实验设计通常涉及漫长的训练期，甚至在开始使用BCI之前，都会引起认知疲劳。减少或抑制这种受试者依赖的校准是可能的，依赖于先进的机器学习技术，如迁移学习。基于黎曼脑机接口，我们提出了一个简单有效的方案来训练分类器的数据记录从不同的主题，以减少校准，同时保持良好的性能。本文的主要新颖之处是提出了一种独特的方法，可以应用于非常不同的范式。为了证明这种方法的鲁棒性，我们进行了荟萃分析的多个数据集的三个BCI范式：事件相关电位（P300），运动想象和SSVEP。实验结果表明，该方法可以应用于任何类型的脑机接口范例，并且在大多数情况下可以显著提高分类器的可靠性。我们指出了进一步改进迁移学习方法的一些关键特征。
2021-11-23 cs.HC cs.LG eess.SP
Multi-distance Support Matrix Machines
Shanghai Jiao Tong University（上海交通大学）
真实世界的数据，如数字图像，MRI扫描和脑电图信号，自然表示为具有结构信息的矩阵。大多数现有的分类器旨在通过将回归矩阵正则化为低秩或稀疏来捕获这些结构。其他一些方法引入因子分解技术来探索核空间中矩阵数据的非线性关系。在本文中，我们提出了一个多距离支持矩阵机（MDSMM），它提供了一个原则性的方法来解决矩阵分类问题。引入多距离，通过输入数据的行和列中的内在信息来捕获矩阵数据内的相关性。在这些值上建立复超平面以分离不同的类。进一步研究了独立同分布的泛化界。过程和非i.i.d.基于SVM和SMM分类器的过程。对于矩阵范数受限的典型假设类，MDSMM实现了比传统分类器更快的学习速度。我们还为没有先验知识的样本提供了一种更通用的方法。我们证明了所提出的方法的优点进行详尽的实验模拟研究和一些真实的字数据集。
2018-12-28 cs.LG stat.ML
Does Distributionally Robust Supervised Learning Give Robust Classifiers?
University of Tokyo（东京大学）；RIKEN（理化学研究所）
分布式鲁棒监督学习（DRSL）是构建可靠的机器学习系统所必需的。当机器学习部署在现实世界中时，其性能可能会显著降低，因为测试数据可能遵循与训练数据不同的分布。具有f-发散的DRSL通过最小化逆向重新加权的训练损失来明确考虑最坏情况下的分布偏移。在本文中，我们分析了这个DRSL，重点是分类方案。由于DRSL是针对分布偏移场景明确制定的，因此我们自然希望它能够提供一个强大的分类器，可以积极处理偏移分布。然而，令人惊讶的是，我们证明了DRSL最终给出了一个完全符合给定训练分布的分类器，这太悲观了。这种悲观情绪来自两个来源：分类中使用的特定损失以及DRSL试图保持稳健的分布种类太广的事实。出于我们的分析，我们提出了简单的DRSL，克服这种悲观主义，并实证证明其有效性。
2018-07-22 cs.LG stat.ML
Learning Stochastic Majority Votes by Minimizing a PAC-Bayes Generalization Bound
Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣埃蒂安让·莫内大学）；CNRS（法国国家科学研究中心）；Institut d Optique Graduate School（光学研究所研究生院）；Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；Inria London Programme（法国国家信息与自动化研究所伦敦项目）；University College London（伦敦大学学院）
我们研究了有限分类器集合上多数投票的随机对应，并研究了它的推广性质。虽然我们的方法适用于任意分布，但我们使用Dirichlet分布实例化它：这允许预期风险的封闭形式和可微表达式，然后将泛化边界转化为易于处理的训练目标。由此产生的随机多数表决学习算法实现国家的最先进的准确性和效益（非空的）严格的泛化界限，在一系列的数值实验相比，竞争的算法，也最大限度地减少PAC贝叶斯目标-无论是与不知情（数据独立）和知情（数据依赖）先验。
2021-10-19 cs.LG stat.ME stat.ML
Late Breaking Results: Energy-Efficient Printed Machine Learning Classifiers with Sequential SVMs
University of Patras（帕特雷大学）
本研究设计了符合印刷电池功率约束的序列化印刷定制SVM电路，在保持更高准确率的同时实现了6.5倍能量节省，显著延长了电池寿命。
2025-01-28 cs.LG cs.SY eess.IV
Domain Generalization via Invariant Feature Representation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
本文研究领域泛化：如何从任意数量的相关领域获得知识，并将其应用到以前看不见的领域？我们提出了域不变分量分析（DICA），一种基于内核的优化算法，通过最小化域之间的相异性来学习不变变换，同时保留输入和输出变量之间的函数关系。学习理论分析表明，减少相异度提高了分类器在新领域的预期泛化能力，激励所提出的算法。在合成数据集和真实数据集上的实验结果表明，DICA成功地学习了不变特征，提高了分类器的性能。
2013-01-10 cs.LG stat.ML
Breaking Fair Binary Classification with Optimal Flipping Attacks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在公平性约束下最小化风险是学习公平分类器的流行方法之一。最近的工作表明，如果训练集被损坏，这种方法会产生不公平的分类器。在这项工作中，我们研究了一个成功的翻转攻击所需的数据损坏的最小量。首先，我们找到了这个量的上/下界，并证明了当目标模型是唯一的无约束风险最小化时，这些界是紧的。其次，我们提出了一个计算效率高的数据投毒攻击算法，可以妥协的公平学习算法的性能。
2022-05-09 cs.CR cs.CY cs.LG
Kernel Support Vector Machine Classifiers with the $\ell_0$-Norm Hinge Loss
Guangdong University of Technology（广东工业大学）
本文提出带有 $\ell_0$-范数合页损失的核 SVM（$\ell_0$-KSVM）以克服标签噪声和重采样不稳定性，推导了其最优性条件，开发了 ADMM 算法并证明其收敛性，实验表明该方法在保持相当准确度的同时减少了支持向量数量。
2023-06-24 cs.LG math.OC
BOLT: Universal Classifier Training via a Bayes-Error Upper Bound
University of Michigan（密歇根大学）；University of Toronto（多伦多大学）；Stanford University（斯坦福大学）
本研究基于$f$-散度提出贝叶斯错误率新上界，据此构建BOLT损失以训练模型达到贝叶斯最优准确率，实验证明其在多数据集上性能比肩或优于交叉熵损失，有望提升泛化能力。
2026-10-16 cs.CV cs.IT cs.LG
Selecting Near-Optimal Learners via Incremental Data Allocation
Allen Institute for AI（艾伦人工智能研究所）；IBM Watson Research Center（IBM沃森研究中心）
我们研究了一种新的机器学习（ML）的问题设置顺序分配小子集的训练数据之间的一个大的分类器。我们的目标是选择一个分类器，当对所有数据进行训练时，该分类器将提供接近最佳的准确性，同时最大限度地减少错误分配样本的成本。这是由大型现代数据集和ML工具包以及学习算法和超参数的许多组合所推动的。受“不确定性下的乐观”原则的启发，我们提出了一种创新策略，使用上限的数据分配（DAUB），它在各种真实世界的数据集上稳健地实现了这些目标。我们进一步发展了大量的理论支持DAUB在理想化的设置，在$n$样本上训练的分类器的预期精度可以确切地知道。在这些条件下，我们建立了一个严格的次线性约束的遗憾的方法（在误分配的数据），以及严格的约束所选择的分类器的次优。我们使用真实世界数据集进行的准确性估计只会轻微违反理论场景，这表明DAUB的实际行为可能接近理想化行为。
2015-12-31 cs.LG stat.ML
Adversarial Surrogate Risk Bounds for Binary Classification
针对二分类中对抗训练的一致性结果未给出收敛速率的问题，本文提出了量化对抗分类风险收敛速率的替代风险界。
2025-10-07 cs.LG math.ST stat.ML
Minimizing false negative rate in melanoma detection and providing insight into the causes of classification
Eötvös University（厄特沃什大学）；Wigner Research Centre for Physics（维格纳物理研究中心）；Semmelweis University（塞麦尔维斯大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们的目标是在黑色素瘤检测中架起人类和机器智能的桥梁。我们开发了一个分类系统，利用视觉预处理，深度学习和集成的组合，为专家提供解释，并最大限度地减少假阴性率，同时保持黑色素瘤检测的高准确性。首先使用U-网CNN自动分割源图像。分割的结果，然后用于提取图像的子区域和特定的参数相关的人的评价，即中心，边界和不对称措施。然后，这些数据由包括结构搜索算法的定制神经网络处理。部分结果然后由委员会机器进行汇总。我们对当今公开的最大皮肤病变数据集ISIC-2019进行的评估显示，所有评估指标均优于仅使用原始图像的基线。我们还表明，由特征分类器计算的指示性分数可以提供有用的洞察力的各种功能的决定可以基于。
2021-03-09 cs.CV cs.LG eess.IV
On the proliferation of support vectors in high dimensions
Columbia University（哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）
支持向量机（SVM）是一种成熟的分类方法，其名称是指特定的训练样本，称为支持向量，其确定最大间隔分离超平面。当支持向量的数量与训练样本的数量相比很小时，SVM分类器具有良好的泛化性能。然而，最近的研究表明，在足够高维的线性分类问题中，SVM可以很好地推广，尽管所有训练样本都是支持向量的支持向量激增。在本文中，我们为支持向量增殖现象确定了新的确定性等价物，并使用它们来（1）大大拓宽了在高维环境中发生这种现象的条件，以及（2）证明了一个几乎匹配的逆结果。
2022-06-14 cs.LG math.ST stat.ML
Analysis of Diagnostics (Part I): Prevalence, Uncertainty Quantification, and Machine Learning
National Institute of Standards and Technology（美国国家标准与技术研究院）；University of Massachusetts Chan Medical School（马萨诸塞大学陈医学院）
本文研究诊断测试中分类理论与患病率的联系，通过引理证明患病率加权误差分类器与贝叶斯最优分类器等效，提出同伦算法估计水平集，并验证其不确定性量化效果。
2024-08-28 cs.LG math.PR stat.ML
