Identifying Spurious Correlations using Counterfactual Alignment
Stanford University（斯坦福大学）
该研究提出反事实对齐方法，用于检测量化黑盒分类器的虚假相关性，经多场景验证有效，还可用于评估鲁棒优化方法的效果。
2025-01-15 cs.AI cs.CV cs.LG
Biased Binary Attribute Classifiers Ignore the Majority Classes
University of Zurich（苏黎世大学）
本文将基于梯度的CAM方法扩展至二元分类器，发现不平衡数据训练的有偏分类器主要依赖偏置激活来预测多数类，而采用类别权重训练的平衡分类器则能对各类别均产生合理的预期激活。
2024-03-21 cs.AI cs.CV cs.LG
Soft Genetic Programming Binary Classifiers
分类器的设计和使用是机器学习的重要研究领域之一。随着自动机器学习方法的发展，各种方法被用来构建鲁棒的分类器模型。遗传编程（GP）方法由于实现困难和定制复杂性，不常用于构造分类器。GP分类器有几个限制和缺点。然而，“软”遗传编程（SGP）的概念已经被开发出来，它允许逻辑运算符树更灵活，并在数据集中找到依赖关系，这在大多数情况下给出了有希望的结果。本文讨论了一种使用SGP技术构造二进制分类器的方法。给出了试验结果。源代码-https://github.com/survexman/sgp_classifier。
2021-01-21 cs.LG
Ensemble of Binary Classifiers Combined Using Recurrent Correlation Associative Memories
University of Campinas（坎皮纳斯大学）
集成方法应该巧妙地将一组基本分类器组合起来，以产生改进的分类器。多数投票是用于在集成方法中组合分类器的方法的示例。在本文中，我们建议使用联想记忆模型来组合分类器。准确地说，我们介绍集成方法的基础上，经常相关联想记忆（RCAMs）的二进制分类问题。我们表明，基于RCAM的集成分类器可以被视为多数投票分类器，其权重取决于基本分类器和所得集成方法之间的相似性。更确切地说，基于RCAM的集成使用循环咨询和投票方案来组合分类器。此外，计算实验证实了基于RCAM的集成方法在二元分类问题中的潜在应用。
2020-09-18 cs.LG stat.ML
How to Control the Error Rates of Binary Classifiers
University of Belgrade（贝尔格莱德大学）；Studentski trg 1, 11000 Belgrade
传统的二进制分类框架构造的分类器可能具有良好的准确性，但其假阳性和假阴性错误率不受用户的控制。在许多情况下，其中一个错误是更严重的，只有相应的比率低于预定义的阈值的分类器是可接受的。在这项研究中，我们结合二进制分类与统计假设检验，以控制目标错误率已经训练的分类器。特别是，我们将展示如何将二进制分类器转换为统计测试，计算分类p值，并使用它们来限制目标错误率。
2020-10-21 cs.LG stat.ML
MCLR: Improving Conditional Modeling via Inter-Class Likelihood-Ratio Maximization and Unifying Classifier-Free Guidance with Alignment Objectives
University of Michigan（密歇根大学）；Michigan State University（密歇根州立大学）
本文提出MCLR，通过训练时最大化类间似然比来改进扩散模型的条件建模，实现无引导条件生成的提升，并理论证明CFG是MCLR目标的最优解。
2026-10-22 cs.AI cs.CV cs.LG
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下，对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标，这使得他们遭受的忽视其他。然而，将这两个方面一起优化并不是微不足道的。为了缓解上述问题，我们提出了一种新的方法，以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点，又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明，与现有的无监督领域自适应方法相比，该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
Fundamental Limits of Deep Learning-Based Binary Classifiers Trained with Hinge Loss
École de Technologie Supérieure (ETS)（高等技术学院（École de Technologie Supérieure））；University of Oulu（奥卢大学）
针对深度学习（DL）实证成功的理论基础不明问题，本文推导并验证了基于铰链损失训练的深度ReLU前馈神经网络及结合ReLU与Tanh激活的深度FNN二分类器的渐近测试性能极限。
2025-04-15 cs.AI cs.LG
Confusion Matrices and Accuracy Statistics for Binary Classifiers Using Unlabeled Data: The Diagnostic Test Approach
University of Minnesota（明尼苏达大学）
医学研究人员已经解决了在没有金标准测试进行比较的情况下估计二元医学诊断测试的灵敏度和特异性的问题。这个问题与在未标记数据上估计分类器的混淆矩阵相同。本文描述了如何修改诊断测试解决方案，以估计无标记数据上监督或无监督二元分类器的混淆矩阵和准确性统计。
2022-12-27 cs.LG stat.AP stat.ML
Trinary Tools for Continuously Valued Binary Classifiers
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
二元（是/否）任务的分类方法通常会产生一个连续值的分数。机器学习从业者必须执行模型选择、校准、离散化、性能评估、调优和公平性评估。这些任务涉及检查分类器结果，通常使用汇总统计和手动检查细节。在本文中，我们提供了一个交互式的可视化方法来支持这样的连续值分类器检查任务。我们的方法解决了这些任务的三个阶段：校准，工作点选择和检查。我们增强了标准视图并引入了特定于任务的视图，以便它们可以集成到多视图协调（MVC）系统中。我们建立在现有的基于比较的方法，将其扩展到连续分类器，将连续值视为三元（积极，不确定，消极），即使分类器最终不会使用3路分类。我们提供的用例演示了我们的方法如何使机器学习从业者完成关键任务。
2022-04-18 cs.AI cs.HC cs.LG
Shortcut Learning in Binary Classifier Black Boxes: Applications to Voice Anti-Spoofing and Biometrics
TCG CREST；Carnegie Mellon University（卡内基梅隆大学）；School of Computing, University of Eastern Finland（东部芬兰大学计算机学院）；University of Eastern Finland（东部芬兰大学）；University of Oulu（奥卢大学）
本文提出了一种分析二分类黑箱分类器的框架，通过实验验证了在语音反伪装和生物识别任务中减少数据偏见的有效性。
2026-01-25 cs.AI cs.LG
Constructing Multiclass Classifiers using Binary Classifiers Under Log-Loss
School of Computer Science and Engineering, Hebrew University of Jerusalem（希伯来大学计算机科学与工程学院）
本文研究了从二进制元素构造多类分类器的方法，并通过后悔度来量化分类器的性能，后悔度是相对于贝叶斯最优对数损失定义的。我们讨论两种已知的方法。第一个是一对所有（OVA），我们证明了多类遗憾的上界的组成分类器的二进制遗憾的总和。第二种是基于二叉树的层次分类。对于这种方法，我们证明了多类遗憾是一个加权和的成分二进制遗憾的权重是由树结构。我们还介绍了一个存储层次分类方法，这可能会产生较小的日志损失和遗憾。这些分类方法的优点是通过模拟合成和现实生活中的数据集。
2021-08-12 cs.IT cs.LG math.IT
Convex Optimization for Binary Classifier Aggregation in Multiclass Problems
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
多类问题通常被分解为多个二进制问题，这些问题由单独的二进制分类器解决，其结果被集成到最终答案中。各种方法，包括所有对（AP），一对所有（OVA），和纠错输出码（ECOC），已被研究，多类问题分解成二进制问题。然而，很少有研究已经取得了最佳的聚合二进制问题，以确定一个最终的答案，多类问题。在本文中，我们提出了一个凸优化方法的二进制分类器的最佳聚集估计类成员概率在多类问题。我们将类成员资格概率建模为softmax函数，该函数将单个二进制分类器引起的差异的圆锥组合作为输入。在此模型下，我们将正则化极大似然估计转化为凸优化问题，并采用原对偶内点法求解。我们的方法的大利润分类器的连接，显示大利润制定可以被认为是我们的凸制定的一个限制情况。在合成数据集和真实数据集上的数值实验表明，我们的方法在分类精度和类成员概率估计的质量方面优于现有的聚合方法以及直接方法。
2014-01-16 cs.LG
Quantifying the Uncertainty of Precision Estimates for Rule based Text Classifiers
Oak Ridge National Laboratory（橡树岭国家实验室）
基于规则的分类器使用关键子串的存在和不存在来进行分类决策，具有用于量化其精度的不确定性的自然机制。对于二元分类器，关键的见解是将由文档引起的子串集合的分区视为伯努利随机变量。每个随机变量的平均值是分类器的精度的估计，当呈现诱导该分区的文档时。可以使用标准统计测试将这些平均值与期望或预期的分类器精度进行比较。一组二进制分类器可以通过应用Dempster-Shafer证据理论组合成单个多标签分类器。这种方法的实用性证明了一个基准问题。
2020-05-19 cs.AI cs.CL cs.LG
Classifier Clustering and Feature Alignment for Federated Learning under Distributed Concept Drift
Beijing Institute of Technology（北京理工大学）
针对数据异构与分布式概念漂移问题，本文提出 FedCCFA 框架，通过类别级分类器聚类、特征锚点生成及基于标签熵的自适应特征对齐提升联邦学习性能。
2024-10-24 cs.LG
Attacking the First-Principle: A Black-Box, Query-Free Targeted Mimicry Attack on Binary Function Classifiers
LORIA（洛林信息与自动化研究院）；University of Arizona（亚利桑那大学）
本文提出Kelpie框架，首次在黑盒无查询环境下成功执行针对二元函数分类器的模仿攻击，展示了其在不同模型架构下的有效性，并通过实际案例验证了攻击的可行性，引发对现有机器学习二元函数分类器可靠性和安全性的质疑。
2026-06-12 cs.LG
Latenrgy: Model Agnostic Latency and Energy Consumption Prediction for Binary Classifiers
University of Maryland Global Campus（马里兰大学全球校区）
本文提出一个模型无关的理论框架，综合分类器特征、数据集属性与负责任AI护栏，通过两个预测方程预测二元分类器推理时的延迟和能耗，为高效且负责任的机器学习系统设计提供理论基础。
2024-12-26 cs.AI cs.LG
Personalized Federated Learning with Feature Alignment and Classifier Collaboration
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对联邦学习数据异质性，提出特征对齐与分类器协作的个性化方法，利用全局知识优化表示并量化组合权重，提升模型泛化能力。
2023-06-20 cs.DC cs.LG
On the Minimal Supervision for Training Any Binary Classifier from Only Unlabeled Data
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Google（谷歌）
经验风险最小化（ERM）是监督分类的常用方法，它具有适当的损失函数和正则化。在本文中，我们研究训练任意（从线性到深度）的二元分类器从只有未标记的（U）数据的ERM。我们证明，这是不可能的，以无偏的方式估计任意的二元分类器的风险，给定一组U数据，但它成为可能给定两组U数据与不同的类先验。这两个事实回答了一个基本的问题-对于只从U数据训练任何二元分类器来说，最小的监督是什么。根据这些发现，我们提出了一个基于ERM的学习方法，从两组U数据，然后证明它是一致的。实验表明，该方法可以训练深度模型，并优于从两组U数据中学习的最新方法。
2019-03-12 cs.LG stat.ML
Analytical study of the optimal combination of binary classifiers based on classifiers-induced partitioning of the training set
CNRS, Univ. Grenoble Alpes, Grenoble-INP, GIPSA-lab（法国国家科学研究中心、格勒诺布尔阿尔卑斯大学、格勒诺布尔国立综合理工学院、信号与自动化格勒诺布尔实验室）；Université Sorbonne Paris Nord, LAGA, UMR 7539. IRL CNRS-CRM 3457. Université de Montréal（巴黎索邦大学北校区、巴黎第十三大学、法国国家科学研究中心 - 巴黎第十三大学联合研究单位7539、法国国家科学研究中心 - 蒙特利尔大学联合研究单位3457、蒙特利尔大学）
研究基于真值表结构化数据集的二分类器最优线性组合，通过分类校准函数分析凸化经验风险，建立存在唯一性条件，给出三个分类器情况配置，推导最优权重公式，引入φ前沿评估稳定性和数据质量。
2026-07-17 cs.LG
Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning
Peking University（北京大学）；University of Oxford（牛津大学）；JD Explore Academy（京东探索研究院）；Wuhan University（武汉大学）；Peng Cheng Laboratory（鹏城实验室）
Few-Shot类增量学习（FSCIL）一直是一个具有挑战性的问题，因为在新的会话中，对于每个新的类，只有少数训练样本是可访问的。微调主干或调整在先前会话中训练的分类器原型将不可避免地导致旧类的特征和分类器之间的不对准，这解释了众所周知的灾难性遗忘问题。在本文中，我们处理FSCIL中的这种错位困境的灵感来自最近发现的现象命名为神经崩溃，这表明，同一类的最后一层功能将崩溃成一个顶点，所有类的顶点与分类器原型对齐，形成一个简单的等角紧框架（ETF）。它对应于一个最佳的几何结构分类由于最大化的Fisher判别比。我们提出了一个神经崩溃的启发框架FSCIL。一组分类器原型被预先分配为整个标签空间的单纯形ETF，包括基本会话和所有增量会话。在训练过程中，分类器原型是不可学习的，我们采用了一种新的损失函数，将特征驱动到相应的原型中。理论分析表明，我们的方法保持神经崩溃的最优性，并没有打破特征分类器对齐的增量方式。在miniImageNet、CUB-200和CIFAR-100数据集上的实验表明，我们提出的框架优于最先进的性能。代码地址：https://github.com/NeuralCollapseApplications/FSCIL
2023-02-06 cs.CV cs.LG
Very Simple Classifier: a Concept Binary Classifier toInvestigate Features Based on Subsampling and Localility
University of Trento（特伦托大学）
我们提出了非常简单的分类器（VSC）的一种新的方法，旨在将子采样和局部性的概念，在定义的功能被用作一个感知器的输入。基本原理是局部性理论上保证了泛化误差的界。VSC中的每个特征都是基于随机选择的样本对构建的最大间隔分类器。VSC中的局部性是通过将特征的值乘以可以用Chebichev不等式表征的置信度来实现的。然后，该层的输出被馈送到神经元的输出层。然后，输出层的权重由正则化伪逆确定。在二元分类任务中，对9个竞争对手进行了广泛的比较。在22个固定参数的基准数据集上的测试结果表明，VSC与多层感知器（MLP）相比具有竞争力，并且优于其他竞争对手。参数空间的探索表明，VSC可以优于MLP。
2016-09-14 cs.LG stat.ML
Space Alignment Matters: The Missing Piece for Inducing Neural Collapse in Long-Tailed Learning
本文提出三种显式对齐策略，解决长尾学习中特征与分类器权重空间不对齐问题，提升模型泛化性能。
2025-11-25 cs.AI cs.LG
A logical alarm for misaligned binary classifiers
D Rationality（3D理性机构）；U.S. Naval Research Laboratory（美国海军研究实验室）
本文针对二元分类智能体的决策分歧问题，基于通用公理构建仅需无标注数据的逻辑警报器，可检测集成模型的成员故障，为安全可保障AI研究提供新方法。
2024-09-17 cs.AI cs.LG
Unbiased Estimations based on Binary Classifiers: A Maximum Likelihood Approach
Statistics Netherlands（荷兰统计局）；Radboud University（拉德堡德大学）；Eindhoven Univ. of Technology（埃因霍温理工大学）
在一定比例的正项上训练的二元分类器在应用于具有不同比例的正项的数据集时会引入偏差。处理这个问题的大多数解决方案都假设关于后一种分布的一些信息是已知的。然而，情况并非总是如此，当这一比例是目标变量时当然如此。本文提出了一种数据集中阳性真比例的极大似然估计，并在合成数据和真实世界数据上进行了检验。
2021-02-17 cs.LG stat.ML
Beyond Rebalancing: Benchmarking Binary Classifiers Under Class Imbalance Without Rebalancing Techniques
Department of Information Systems and Security, College of Information Technology and Center for Artificial Intelligence and Digital Innovation, United Arab Emirates University（信息系统与安全系，信息技术学院和人工智能与数字创新中心，阿联酋大学）；College of Engineering and Technology, American University of the Middle East（工程与技术学院，中东大学）
本研究系统评估了多种二分类器在无显式重平衡技术下对类别不平衡的鲁棒性，发现TabPFN和基于提升的集成模型在极端不平衡下仍保持较高性能。
2026-06-16 cs.AI cs.IT cs.LG
Search Strategies for Binary Feature Selection for a Naive Bayes Classifier
Université Paris 1 Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦大学）；Snecma Groupe Safran（赛峰集团斯奈克玛公司）
本文比较了几种特征选择方法的朴素贝叶斯分类器（NBC）时，所研究的数据描述了大量的冗余二进制指标。由分类错误概率的NBC估计指导的包装器方法优于过滤器方法，同时保持合理的计算成本。
2015-06-12 cs.LG stat.ML
A New Class of Explanations for Classifiers with Non-Binary Features
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究针对非二元特征分类器，提出基于新型量化算子的改进版完整理由，进而得到更丰富的充分与必要理由类新解释，提升了分类器决策的解释信息量。
2023-07-22 cs.AI cs.LG cs.LO
Binary Classifier Inspired by Quantum Theory
University of Padova（帕多瓦大学）；Department of Information Engineering（信息工程系）；Via Gradenigo 6/b 35131 - Padova, Italy（意大利帕多瓦市Gradenigo街6/b号，邮编35131）
机器学习（ML）帮助我们从原始数据中识别模式。ML被用于许多领域，即生物医学，农业，食品技术等，尽管最近的技术进步，预测仍有很大的改进空间。目前的ML模型基于概率和统计的经典理论，现在可以用量子理论（QT）取代，以提高ML的有效性。在本文中，我们提出了由量子理论启发的二进制分类器（BCIQT）模型，它在每个类别的召回率方面都优于最先进的分类。
2019-03-04 cs.LG stat.ML
On the pragmatism of using binary classifiers over data intensive neural network classifiers for detection of COVID-19 from voice
Carnegie Mellon University（卡内基梅隆大学）；Merlin Inc（梅林公司）
最近，多个研究小组在全球范围内努力从语音中检测COVID-19。不同的研究人员使用来自语音信号的不同类型的信息来实现这一点。各种类型的发声声音以及咳嗽和呼吸的声音都已在基于语音的COVID-19自动检测应用程序中获得不同程度的成功。在本文中，我们表明，从语音中检测COVID-19不需要定制的非标准特征或复杂的神经网络分类器，而只需标准特征和简单的二进制分类器就可以成功完成。事实上，我们表明，后者不仅更准确，更可解释，而且计算效率更高，因为它们可以在小型设备上本地运行。我们在超过1000名受试者的人工数据集上证明了这一点，这些受试者在临床环境中收集和校准。
2022-10-25 cs.LG cs.MM cs.SD
Binary Classifier Calibration using an Ensemble of Near Isotonic Regression Models
在数据采掘的许多实际任务中，从数据中学习精确的概率模型是至关重要的。在本文中，我们提出了一种新的非参数校准方法称为\textit{ensemble of near isotonic regression}（ENIR）。该方法可以被认为是BBQ，最近提出的校准方法，以及常用的基于保序回归的校准方法的扩展。ENIR旨在解决保序回归的关键限制，即预测的单调性假设。与BBQ类似，该方法对二元分类器的输出进行后处理以获得校准的概率。因此，它可以与许多现有的分类模型相结合。我们证明了ENIR的性能合成和真实的数据集上常用的二进制分类模型。实验结果表明，该方法优于几种常用的二元分类器标定方法。特别是在真实数据上，ENIR通常在统计学上显著优于其他方法，并且永远不会更差。它能够提高分类器的校准能力，同时保持其区分能力。该方法对于大规模数据集也是计算上易处理的，因为它是$O(N \log N)$时间，其中$N$是样本的数量。
2015-11-16 cs.LG stat.ML
Using theoretical ROC curves for analysing machine learning binary classifiers
Durham University（杜伦大学）
大多数二进制分类器的工作原理是处理输入以产生标量响应并将其与阈值进行比较。分类器性能的各种度量明确地或隐含地假设属于任一类别的响应的概率分布$P_s$和$P_n$、每种类型的误分类的成本的概率分布，并且从预期成本计算性能分数。在机器学习中，分类器响应是通过实验获得的，性能分数是直接从它们中计算出来的，对$P_s$和$P_n$没有任何假设。在这里，我们认为，省略的步骤估计理论分布的$P_s$和$P_n$可能是有用的。在一个生物识别安全的例子中，我们将beta分布拟合到两个分类器的响应中，一个基于逻辑回归，一个基于ANN，并使用它们来建立一个分类，将其分类为在ROC曲线末端具有不同极端行为的少量类别。
2019-09-21 cs.CV cs.LG stat.ML
Federated Calibration and Evaluation of Binary Classifiers
Meta AI
我们解决了两个主要的障碍，实际使用的监督分类分布式私人数据。无论分类器是由合作客户端的联合训练还是集中训练，（1）输出分数必须校准，（2）性能指标必须评估-所有这些都没有在一个地方组装标签。特别是，我们展示了如何在三种隐私模型下在联邦设置中执行校准和计算精度，召回率，准确率和ROC-AUC（i）安全聚合，（ii）分布式差分隐私，（iii）本地差分隐私。我们的定理和实验澄清了隐私，准确性和数据效率之间的权衡。它们还有助于确定给定应用程序是否有足够的数据来支持联合校准和评估。
2022-10-22 cs.CR cs.LG
Chi-Square Test Neural Network: A New Binary Classifier based on Backpropagation Neural Network
School of Information Science and Engineering（信息科学与工程学院）；Lanzhou University（兰州大学）
我们介绍了卡方检验神经网络：一个单隐层反向传播神经网络使用卡方检验定理重新定义的成本函数和误差函数。使用标准反向传播算法修改权重和阈值。该方法的优点是在训练集和测试集上进行一致的数据分布。它可以用于二进制分类。在真实数据集上的实验结果表明，与相关方法相比，该算法能显著提高分类精度。
2018-09-04 cs.LG stat.ML
Hybrid unary-binary design for multiplier-less printed Machine Learning classifiers
National and Technical University of Athens（国家与技术大学雅典）
本文针对印刷电子实现机器学习分类器受限于特征尺寸的问题，提出混合一元-二进制架构和架构感知训练，实现无乘法器MLP执行，在六个数据集上平均减少46%面积和39%功耗，且精度损失极小。
2025-09-18 cs.LG
Bridging the Gap: Unifying the Training and Evaluation of Neural Network Binary Classifiers
虽然神经网络二进制分类器通常根据诸如准确度和$F_1$分数之类的指标进行评估，但它们通常使用交叉熵目标进行训练。如何解决培训与评价之间的这一差距？虽然已经采用了特定的技术来优化某些基于混淆矩阵的度量，但是在某些情况下，将这些技术推广到其他度量是具有挑战性的或不可能的。对抗性学习方法也被提出来通过基于混淆矩阵的指标来优化网络，但它们往往比常见的训练方法慢得多。在这项工作中，我们提出了一个统一的方法来训练神经网络二进制分类器，结合了一个可微近似的Heaviside函数的概率视图的典型混淆矩阵值使用软集。我们的理论分析表明，使用我们的方法来优化一个给定的评价指标，如$F_1$分数，软集的好处，我们广泛的实验表明，我们的方法在几个领域的有效性。
2022-06-02 cs.LG stat.ML
Unsupervised Representation Learning for Binary Networks by Joint Classifier Learning
Upstage AI Research（Upstage人工智能研究院）；NAVER AI Lab.（NAVER人工智能实验室）；Yonsei University（延世大学）
自监督学习是一种很有前途的无监督学习框架，它在大型浮点网络中取得了成功。但是这样的网络并不容易部署到边缘设备。为了加速部署模型的好处，无监督的表示学习，这样的资源有限的设备的各种下游任务，我们提出了一个自监督学习方法，使用移动目标网络的二进制网络。特别是，我们建议联合训练一个随机初始化的分类器，附加到一个预训练的浮点特征提取器，与二进制网络。此外，我们提出了一个特征相似性损失，一个动态的损失平衡和修改的多阶段训练，以进一步提高准确性，并呼吁我们的方法烧伤。我们使用七个数据集对五个下游任务进行的经验验证表明，BURN优于二进制网络的自监督基线，有时优于监督预训练。代码可在https://github.com/naver-ai/burn上获得。
2022-03-29 cs.CV cs.LG
Binary Classifier Calibration: Non-parametric approach
University of Piuttsburgh（匹兹堡大学）；University of Pittsburgh（匹兹堡大学）
准确校准学习的概率预测模型对于许多实际预测和决策任务至关重要。有两个主要类别的方法用于构建校准的分类器。一种方法是开发用于学习概率模型的方法，这些方法是从头开始的。另一种方法是使用一些后处理方法来转换分类器的输出以进行良好校准，例如直方图分箱，普拉特缩放和保序回归。后处理方法的一个优点是它可以应用于使用任何机器学习方法构建的任何现有概率分类模型。在本文中，我们首先介绍了两个措施，以及如何评估一个分类器校准。我们证明了三个定理表明，使用一个简单的直方图分箱后处理方法，它是可能的，使分类器进行良好的校准，同时保留其歧视能力。此外，通过将直方图分箱方法铸造为基于密度的非参数二元分类器，我们可以使用两个简单的非参数密度估计方法对其进行扩展。我们证明了所提出的校准方法在合成和真实数据集上的性能。实验结果表明，所提出的方法优于或相当于现有的校准方法。
2014-01-14 cs.LG stat.ML
From Uncertainty to Precision: Enhancing Binary Classifier Performance through Calibration
Université du Québec à Montréal（蒙特利尔大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；AMSE（马赛经济与管理科学研究院）；Université de Montréal（蒙特利尔大学）
本文提出Local Calibration Score改进指标，通过局部回归方法提升二分类器校准，并在信用违约预测中验证其有效性。
2024-02-12 cs.LG
Gradient-based Data Subversion Attack Against Binary Classifiers
TCS Research（塔塔咨询服务公司研究院）
基于机器学习的数据驱动技术已经在各种应用领域中显示出令人印象深刻的性能。大多数企业使用来自多个来源的数据来提供高质量的应用程序。外部数据源的可靠性引起了对所采用的机器学习技术的安全性的关注。攻击者可以篡改训练或测试数据集，以破坏这些技术生成的模型的预测。数据投毒是这样一种攻击，其中攻击者试图通过操纵训练数据来降低分类器的性能。在这项工作中，我们专注于标签污染攻击，其中攻击者毒害数据的标签，以损害系统的功能。我们开发了基于代理的数据颠覆策略，以实现模型退化的假设下，攻击者有有限的受害者模型的知识。我们利用梯度的可微凸损失函数（残差）相对于预测的标签作为一个热启动，并制定不同的策略来找到一组数据实例污染。此外，我们分析了攻击的可转移性和二进制分类器的敏感性。我们的实验表明，所提出的方法优于基线，是计算效率。
2021-05-31 cs.AI cs.CR cs.LG
Don't Label Twice: Quantity Beats Quality when Comparing Binary Classifiers on a Budget
Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，蒂宾根）；Tübingen AI Center（蒂宾根人工智能中心）；ETH Zürich（苏黎世联邦理工学院）
研究如何在预算内有效利用噪声标签比较两个二分类器的准确性，证明在选择更优分类器时，应优先收集更多样本的单一标签而非多个标签的多数投票。
2026-04-08 cs.LG
Don't Fear the Bit Flips: Optimized Coding Strategies for Binary Classification
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
经过训练后，分类器必须经常对被噪声破坏的数据进行操作。在本文中，我们考虑这样的噪声对二进制分类器的功能的影响。受分类器鲁棒性工具的启发，我们引入了相同的分类概率（SCP）来测量分类器输出的失真。我们介绍了一个低复杂度的估计的SCP的基础上量化和多项式乘法。我们还研究了基于复制纠错码的信道编码技术。在传统的信道编码方法，纠错是为了保存数据，是不可知的应用程序相比，我们的计划的具体目标是最大限度地提高SCP（相当于最小化的分类器输出的失真）相同的冗余开销。
2017-03-08 cs.LG stat.ML
Robustifying Binary Classification to Adversarial Perturbation
California Institute of Technology（加州理工学院）
尽管机器学习模型在各种应用中取得了巨大的成功，但这些模型中的大多数都缺乏对输入数据中（即使是很小的）扰动的弹性。因此，增强机器学习模型的新方法似乎非常重要。为此，在本文中，我们考虑的问题，二进制分类与对抗扰动。研究最小-最大优化的解决方案（考虑存在对抗性扰动的最坏情况下的损失），我们引入了一个最大边缘分类器的泛化，该分类器考虑了对手在操纵数据时的能力。我们将该分类器称为“鲁棒最大边缘”（RM）分类器。在损失函数的一些温和的假设下，我们从理论上证明了梯度下降迭代（具有足够小的步长）在其方向上收敛到RM分类器。因此，可以研究RM分类器以计算具有对抗性扰动的二进制分类的各种性能度量（例如，泛化误差）。
2020-10-29 cs.LG math.OC
Dynamic Feature Scaling for Online Learning of Binary Classifiers
University of Liverpool（利物浦大学）
缩放特征值是许多机器学习任务中的重要步骤。不同的特征可以具有不同的值范围，并且为了学习准确的分类器，通常需要某种形式的特征缩放。然而，特征缩放作为学习之前的预处理任务进行。这在在线设置中是有问题的，因为两个原因。首先，当我们只观察到少量训练实例时，在学习的初始阶段可能无法准确确定特征的值范围。其次，数据的分布可能会随着时间的推移而变化，这使得我们在预处理步骤中执行的任何特征缩放都变得过时。我们提出了一种简单但有效的方法，在训练时动态缩放功能，从而快速适应数据流中的任何变化。我们比较建议的动态特征缩放方法对更复杂的方法估计缩放参数使用几个基准数据集的二进制分类。我们提出的特征缩放方法在所有基准数据集上的性能始终优于更复杂的方法，并提高了最先进的在线二元分类器算法的分类精度。
2014-07-28 cs.LG stat.ML
On Learning and Enforcing Latent Assessment Models using Binary Feedback from Human Auditors Regarding Black-Box Classifiers
Missouri University of Science and Technology（密苏里科技大学）
算法公平性文献提出了许多数学概念和度量，并且还指出在同时满足它们中的一些或全部的同时在它们之间进行权衡。此外，公平概念的上下文性质使得难以在不同的算法系统中自动进行偏差评估。因此，在本文中，我们提出了一种新的模型，称为潜在的评估模型（LAM）来描述由人类审计师提供的二进制反馈，假设审计师比较分类器的输出，他或她自己的内在判断，为每个输入。我们证明，个人和团体的公平性概念是保证，只要审计师的内在判断本质上满足手头的公平性概念，并相对相似的分类器的评价。我们还证明了LAM和传统的公平概念之间的关系，在三个著名的数据集，即COMPAS，德国信贷和成人人口普查收入数据集。此外，我们还推导出获得PAC学习保证所需的最小反馈样本数，以估计黑盒分类器的LAM。这些保证也通过训练标准的机器学习算法来验证，这些算法基于400名人类审计员关于COMPAS的真实二进制反馈。
2022-02-16 cs.HC cs.LG
Your Classifier can Secretly Suffice Multi-Source Domain Adaptation
Indian Institute of Science（印度科学学院）
多源领域自适应（MSDA）是指在领域转移的情况下，将任务知识从多个已标记的源领域转移到一个未标记的目标领域。现有的方法旨在使用辅助分布对准目标来最小化该域偏移。在这项工作中，我们提出了一个不同的视角，以MSDA，其中观察到深层模型，以隐式对齐标签监督下的域。因此，我们的目标是利用隐式对齐，而无需额外的训练目标来执行自适应。为此，我们使用伪标记的目标样本，并在伪标签上强制执行分类器协议，这一过程称为自监督隐式对齐（SIMpAl）。我们发现，即使在源域之间的类别转移下，SIMpAl也很容易工作。此外，我们提出分类器协议作为线索，以确定训练收敛，从而在一个简单的训练算法。我们根据五个基准对我们的方法进行了全面的评估，并对我们方法的每个组成部分进行了详细的分析。
2021-03-20 cs.CV cs.LG
Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种无监督的领域自适应方法，该方法训练共享嵌入来对齐输入（域）和输出（类）的联合分布，使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐，而且标签也对齐。我们提出了一个新的目标函数，鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
Optimal Binary Classifier Aggregation for General Losses
University of California, San Diego（加州大学圣地亚哥分校）
我们解决了在半监督二进制分类设置中聚集具有已知损失界限的预测器集合的问题，以最小化未标记数据上发生的预测损失。我们找到了一个非常一般的一类损失函数，包括所有凸和许多非凸损失的最小最大最优预测，扩展了最近的分析问题的误分类错误。其结果是一个家庭的半监督集成聚合算法是有效的线性学习凸优化，但极小极大最优没有任何松弛。他们的决策规则采用决策理论中熟悉的形式-将sigmoid函数应用于集成裕度的概念-而没有基于裕度的学习中通常所做的假设。
2016-11-07 cs.LG stat.ML
Zero-failure testing of binary classifiers
Durham University（杜伦大学）；Serve Legal Ltd（Serve Legal有限公司）
本文提出基于零失败测试的二元分类器评估方法，通过非对称处理两类错误并构建难度递增的嵌套测试序列，以负样本成功率衡量性能，并在法定年龄估计场景中验证其有效性。
2024-07-04 cs.LG
Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization
Shanghai Jiaotong University（上海交通大学）；York University（约克大学）；Cisco Systems（思科系统）
算法展开通过将基于模型的算法的每次迭代实现为神经层来创建可解释且简约的神经网络架构。然而，由于需要全矩阵特征分解，因此每次迭代使用半正定（PSD）锥投影算子展开邻近分裂算法是昂贵的。在本文中，利用最近的线性代数定理称为Gershgorin盘完美对齐（GDPA），我们展开的二进制图分类器的半定规划松弛（SDR）的无投影算法，其中PSD锥约束被替换为一组“最紧密的可能”的线性约束每次迭代。因此，每次迭代只需要计算一个线性规划（LP）和一个极端的特征向量。在展开的网络内部，我们通过随机梯度下降（SGD）优化参数，SGD以两种方式确定图边缘权重：i）计算特征距离的度量矩阵，以及ii）通过局部线性嵌入（LLE）计算的稀疏权重矩阵。实验结果表明，我们的展开网络优于纯基于模型的图分类器，并实现了与纯数据驱动网络相当的性能，但使用的参数要少得多。
2021-09-10 cs.LG
On the relation between accuracy and fairness in binary classification
Aalto University（阿尔托大学）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所HIIT）
我们的研究重新审视了二元分类中的准确性-公平性权衡问题。我们认为，非歧视性分类器的比较需要考虑不同的阳性预测率，否则关于性能的结论可能会产生误导，因为在同一数据集上，天真基线的准确性和歧视性随不同的阳性预测率而变化。我们提供了方法论的建议，健全的比较非歧视性分类，并提出了一个简短的理论和实证分析准确性和非歧视之间的权衡。
2015-05-21 cs.AI cs.LG
Binary and Multiclass Classifiers based on Multitaper Spectral Features for Epilepsy Detection
Federal University of Technology（联邦理工大学）；University of São Paulo（圣保罗大学）
癫痫是最常见的神经系统疾病之一，可以通过脑电图（EEG）进行诊断，其中可以观察到以下癫痫事件：发作前、发作、发作后和发作间期。在本文中，我们提出了一种新的方法，癫痫检测到两个分化的背景下：二进制和多类分类。对于特征提取，从功率谱、频谱图和双频谱图中提取总共105个测量值。对于分类器构建，使用了八种不同的机器学习算法。我们的方法被应用在一个广泛使用的EEG数据库。因此，随机森林和反向传播的多层感知器算法的基础上达到最高的精度为二进制（98.75%）和多类（96.25%）分类问题，分别。随后，统计测试没有找到一个模型，将实现比其他分类器更好的性能。在基于混淆矩阵的评估中，也不可能识别出与用于EEG分类的其他模型相比突出的分类器。即便如此，我们的结果是有希望的，并与文献中的发现竞争。
2020-04-02 cs.LG eess.SP stat.ML
Fundamental limits of distributed multiclass classification from simple binary decisions
University of Bristol（布里斯托大学）；Indian Institute of Science（印度科学学院）
研究从\(O(\log K)\)个简单二元分类器组合构建\(K\)类分类器的问题，当二元分类器为超平面时，在高斯设置下得出性能界限，并通过模拟实验验证理论结果。
2026-07-22 cs.IT cs.LG math.IT
Challenges in Binary Classification
Beijing Jiaotong University（北京交通大学）
该研究将最优二分类器求解转化为基于两类欧氏距离极大极小的变分问题，证明SVM是其线性特例，同时指出该框架在非线性分类上的局限，明确最优二分类器设计仍是开放问题并梳理相关挑战。
2024-06-19 cs.LG
