Bayes metaclassifier and Soft-confusion-matrix classifier in the task of multi-label classification
Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学）
本文的目的是比较软混淆矩阵方法和贝叶斯元分类器下的多标签分类框架。虽然这些方法在多标签分类框架下得到了成功的应用，但到目前为止还没有直接进行比较。这种比较是至关重要的，因为这两种方法是非常相似的，因为它们都是基于随机参考分类器的概念。由于这两种算法都是针对单标签问题设计的，因此将它们与多标签分类的问题转换方法相结合。本研究包括29个基准数据集和四个不同的基础分类器。算法进行了比较，在11个质量标准和结果进行了统计分析。
2019-01-25 cs.LG stat.ML
Nonparallel Hyperplane Classifiers for Multi-category Classification
South Asian University（南亚大学）
支持向量机（SVM）被广泛用于解决分类和回归问题。最近，各种非平行超平面分类算法（NHCAs）已被提出，这是可比的分类精度相比，支持向量机，但计算效率更高。所有这些NHCA最初都是针对二元分类问题提出的。由于现实世界中的分类问题大多涉及多个类别，因此这些算法被扩展到多类别场景。在本文中，我们提出了四个NHCAs，即双支持向量机（TWSVM），广义特征值邻近支持向量机（GEPSVM），正则化GEPSVM（RegGEPSVM）和改进的GEPSVM（IGEPSVM）的多类别分类的比较研究。采用OneAgainst-All（OAA）、基于二叉树（BT）和三元决策结构（TDS）的方法实现了NHCA分类器的多类别分类算法，并在基准UCI数据集上进行了实验。实验结果表明，TDS-TWSVM的分类精度优于其他方法，BT-RegGEPSVM的分类器建立时间最短
2020-04-16 cs.LG stat.ML
Extreme Value Theory for Open Set Classification -- GPD and GEV Classifiers
University of Geneva（日内瓦大学）
分类任务通常假设所有可能的类都存在于训练阶段。如果算法被使用了很长时间并且可能遇到来自未知类的样本，则这是限制性的。最近推出的极值机，极值理论的动机分类器，解决了这个问题，并在特定情况下取得了竞争力的表现。我们表明，该算法可能会失败时，已知和未知类的几何形状不同。为了克服这个问题，我们提出了两个新的算法依赖于近似极值理论。我们展示了我们的分类器在模拟和LETTER和MNIST数据集上的有效性。
2019-07-16 cs.LG stat.ML
ActiveLab: Active Learning with Re-Labeling by Multiple Annotators
Cleanlab（Cleanlab公司）
本文提出ActiveLab方法，通过决定下一步标注内容并支持多标注者重新标注，在有限预算下提升分类器准确性。
2023-01-27 cs.LG stat.ML
Classification of Imbalanced Data with a Geometric Digraph Family
North Carolina State University（北卡罗来纳州立大学）
我们使用一个称为类覆盖捕获有向图（CCCD）的几何有向图族来解决统计分类中的类不平衡问题。CCCD为类覆盖问题提供了图论解决方案，并已用于分类。我们评估CCCD分类器的分类性能，通过广泛的蒙特卡罗模拟，比较它们与文献中常用的其他分类器。特别是，我们表明，CCCD分类器执行相对较好时，一类是更频繁的比其他两类设置，类不平衡问题的一个例子。我们还指出了类不平衡和类重叠问题之间的关系，以及它们对CCCD分类器和其他分类方法以及一些通过构造对类不平衡具有鲁棒性的最新算法的性能的影响。在模拟数据集和真实数据集上的实验表明，CCCD分类器对类不平衡问题具有较好的鲁棒性。CCCD从多数类中大幅欠采样，同时保留欠采样过程中丢弃点的信息。然而，许多最先进的方法通过集成分类器来保持这些信息，但是CCCD只产生具有相同属性的单个分类器，这使得它既吸引人又快速。
2019-04-09 cs.LG stat.ML
How to Control the Error Rates of Binary Classifiers
University of Belgrade（贝尔格莱德大学）；Studentski trg 1, 11000 Belgrade
传统的二进制分类框架构造的分类器可能具有良好的准确性，但其假阳性和假阴性错误率不受用户的控制。在许多情况下，其中一个错误是更严重的，只有相应的比率低于预定义的阈值的分类器是可接受的。在这项研究中，我们结合二进制分类与统计假设检验，以控制目标错误率已经训练的分类器。特别是，我们将展示如何将二进制分类器转换为统计测试，计算分类p值，并使用它们来限制目标错误率。
2020-10-21 cs.LG stat.ML
Strategic Classification with Randomised Classifiers
针对策略分类问题，本文理论分析了随机化分类器的性能，证明其准确率不低于确定性分类器，且有限数据下超额风险界、收敛速率与确定性场景及i.i.d.场景相当，可缓解实践问题且无明显弊端。
2025-05-16 cs.LG stat.ML
An Uncertainty Framework for Classification
我们定义了一个广义似然函数的不确定性措施的基础上，并表明，最大限度地提高这样的似然函数不同的措施，诱导不同类型的分类。在概率框架中，我们获得了优化交叉熵函数的分类器。在可能性框架中，我们得到的分类器，最大限度地提高类间的利润。此外，我们表明，支持向量机是这些最大间距分类器的子类。
2013-01-16 cs.LG stat.ML
Fast MVAE: Joint separation and classification of mixed sources based on multichannel variational autoencoder with auxiliary classifier
University of Tsukuba（筑波大学）；NTT Communication Science Laboratories, NTT Corporation（日本电报电话公司NTT通信科学实验室）
本文提出了一种新的多通道变分自编码器（MVAE）算法，最近提出的多通道声源分离方法。虽然MVAE在其令人印象深刻的声源分离性能、保证收敛的优化算法以及它允许我们与声源分离同时估计源类别标签方面是值得注意的，但是仍然存在两个主要缺点，即，高的计算复杂性和不令人满意的源分类精度。为了克服这些缺点，所提出的方法采用辅助分类器VAE（条件VAE的信息论扩展）来学习源谱图的生成模型。此外，与训练的辅助分类器，我们引入了一种新的算法的优化，不仅能够减少计算时间，但也提高了源分类性能。我们称所提出的方法为“快速MVAE（fMVAE）"。实验结果表明，fMVAE的声源分离性能与MVAE相当，源分类正确率约为80%，计算时间减少约93%.
2019-02-13 cs.LG stat.ML
Neural Networks as Functional Classifiers
Simon Fraser University（西蒙弗雷泽大学）；Stanford University（斯坦福大学）
近年来，预测方法学领域出现了相当大的创新。机器学习方法在各种分类竞争中的相对主导地位证明了这一点。虽然这些算法在多变量问题上表现出色，但它们在函数数据分析领域仍然处于休眠状态。我们将著名的深度学习方法扩展到功能数据领域，以解决分类问题。我们强调了我们的方法在一些分类应用中的有效性，如光谱数据的分类。此外，我们证明了我们的分类器的性能，通过模拟研究，我们比较我们的方法的功能线性模型和其他传统的分类方法。
2020-10-09 cs.LG stat.ML
Computational Limitations in Robust Classification and Win-Win Results
我们继续研究学习鲁棒分类器中的统计/计算权衡，遵循Bubeck，Lee，Price和Razenshteyn最近的工作，他们展示了分类任务的例子，其中（a）在小扰动状态下存在有效的鲁棒分类器;（b）可以有效地学习非鲁棒分类器;但是（c）在计算上很难学习鲁棒的分类器，假设很难分解大的数字。是否存在一个强大的分类器，他们的任务在大扰动制度的问题似乎与重要的开放问题，在计算数论。在这项工作中，我们在三个方向上扩展了他们的工作。首先，我们展示了计算高效的鲁棒分类是不可能的分类任务，即使存在计算无界的鲁棒分类器。为此，我们依赖于平均情况硬函数的存在性。其次，我们展示了在大扰动状态下难以鲁棒学习的分类任务。也就是说，我们表明，即使存在一个有效的分类器，是强大的大扰动，它是很难计算学习任何非平凡的强大的分类器。我们的第一个构造依赖于单向函数的存在，第二个构造依赖于学习奇偶性与噪声问题的难度。在后一种设置中，不仅存在非鲁棒分类器，而且存在一种有效的算法，该算法在获得多项式多个训练样本的情况下生成新鲜的新标记样本（被Kearns et.（1994））。第三，我们表明，任何这样的反例意味着存在的密码原语，如单向函数。这将我们引向一个双赢的场景：要么我们可以学习一个高效的鲁棒分类器，要么我们可以构建新的加密原语实例。
2019-06-05 cs.LG stat.ML
Building a Competitive Associative Classifier
Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
随着深度学习的巨大成功，其他机器学习范式不得不退居二线。然而，其他模型，特别是基于规则的模型，更具可读性和可解释性，甚至在标记数据不丰富时具有竞争力。然而，现有的大多数基于规则的分类器都存在产生大量分类规则的问题，影响了模型的可读性。这妨碍了分类的准确性，因为噪声规则可能不会为分类添加任何有用的信息，并且还导致更长的分类时间。在这项研究中，我们提出了SigD2，它使用了一种新的，两阶段的修剪策略，修剪了大部分的噪音，冗余和无趣的规则，使分类模型更准确和可读。为了使SigDirect与最流行但不可解释的基于机器学习的分类器（如神经网络和支持向量机）相比更具竞争力，我们建议对SigDirect分类器的集成进行装袋和提升。所提出的算法的结果是相当有前途的，我们能够获得一个最小的统计上显着的分类规则，而不会危及分类精度。我们使用了15个UCI数据集，并将我们的方法与8个现有系统进行了比较。SigD2和提升的SigDirect（ACboost）集成模型不仅在分类精度方面，而且在规则数量方面都优于各种最先进的分类器。
2020-07-04 cs.LG stat.ML
A benchmark of data stream classification for human activity recognition on connected objects
Department of Computer Science and Software Engineering（计算机科学与软件工程系）；Concordia University（康考迪亚大学）
本文从连接设备的角度评估数据流分类器，重点关注HAR的用例。我们测量的分类性能和资源消耗（运行时，内存和电源）的五个常见的流分类算法，实现在一个一致的库，并应用到两个真正的人类活动数据集和三个合成数据集。关于分类性能，结果显示HT，MF和NB分类器在6个数据集中的4个数据集上（包括真实数据集）优于FNN和微簇最近邻（MCNN）分类器。此外，HT和在某种程度上MCNN是唯一可以从概念漂移中恢复的分类器。总体而言，这三个主要分类器在真实数据集上的表现仍然远低于离线分类器。关于资源消耗，HT和MF是最内存密集型的，并且具有最长的运行时间，然而，在分类器之间没有发现功耗上的差异。我们的结论是，HAR在连接对象上的流学习受到两个因素的挑战，这可能会导致有趣的未来工作：高内存消耗和低F1分数。
2020-08-27 cs.LG stat.ML
On Robust Trimming of Bayesian Network Classifiers
Computer Science Department（计算机科学系）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文考虑了贝叶斯网络分类器中的代价特征去除问题。我们希望分类器对这些变化具有鲁棒性，并保持其分类行为。为此，我们提出了贝叶斯分类器之间的接近度度量，称为预期分类协议（ECA）。我们相应的修剪算法找到一个最佳的功能子集和一个新的分类阈值，最大限度地提高预期的协议，预算约束。它利用新的理论见解在特征集空间中执行分支定界搜索，同时计算ECA上的边界。我们的实验研究了修剪的运行时成本及其对最终分类器的鲁棒性和准确性的影响。
2018-05-29 cs.LG stat.ML
OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore（印度理工学院印多尔分校）
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中，基于核岭回归（KRR）的一类分类器（KOC）已被扩展为使用特权信息的学习（LUPI）。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征，但仅用于训练（不用于测试）。KOC+通过使用所谓的校正功能，与正常特征信息相比，以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能，这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明，KOC+算法优于KOC算法和基于支持向量机（SVM）的单类分类器。
2019-04-13 cs.LG stat.ML
Massively Scaling Heteroscedastic Classifiers
Google AI（谷歌人工智能）
异方差分类器，它学习一个多元高斯分布的预测logits，已被证明是执行良好的图像分类问题与数百至数千类。然而，与标准分类器相比，它们引入了额外的参数，这些参数随类的数量线性扩展。这使得它们不适用于更大规模的问题。此外，异方差分类器引入了一个临界温度超参数，必须调整。我们提出了HET-XL，异方差分类器的参数计数相比，一个标准的分类尺度独立的类的数量。在我们的大规模设置中，我们证明了我们可以通过直接在训练数据上学习来消除调整温度超参数的需要。在具有多达4 B图像和30 k类的大型图像分类数据集上，我们的方法需要14倍的额外参数，不需要调整保持集上的温度，并且始终比基线异方差分类器表现得更好。HET-XL在多模态对比学习设置中改进了ImageNet 0-shot分类，该设置可以被视为35亿个类分类问题。
2023-01-30 cs.LG stat.ML
Bayesian Conditional Gaussian Network Classifiers with Applications to Mass Spectra Classification
IIIA-CSIC（西班牙国家研究委员会人工智能研究所）；Martin-Luther-Universität（马丁·路德大学）
基于概率图模型的分类器是非常有效的。在连续域中，最大似然通常用于评估这些分类器的预测。当数据稀缺时，这很容易导致过度拟合。在任何概率设置中，贝叶斯平均（BA）提供理论上的最佳预测，并且已知对过拟合具有鲁棒性。在这项工作中，我们引入贝叶斯条件高斯网络分类器，它有效地执行精确的贝叶斯平均参数。我们评估建议的分类器对最大似然替代品提出迄今为止在标准UCI数据集，得出的结论是，执行BA提高了质量的评估概率（条件对数似然），同时保持出错率。过度拟合更可能发生在数据项数量少而变量数量大的域中。这两个条件在生物信息学领域得到满足，其中从质谱早期诊断癌症是一项相关的任务。我们提供了一个应用程序，我们的分类框架的问题，比较它与标准的最大似然替代，在评估概率的质量的提高得到证实。
2013-08-28 cs.LG stat.ML
Tighter bounds lead to improved classifiers
Criteo Research（Criteo研究院）
监督分类的标准方法涉及将对数损失最小化作为分类误差的上限。虽然这在优化的早期是一个严格的界限，但它过分强调了远离决策边界的错误分类示例的影响。在优化过程中更新上界导致提高分类率，同时将学习转化为一系列最小化问题。此外，在分类器是更大系统的一部分的情况下，这种修改使得可以将分类器的性能与整个系统的性能联系起来，从而允许无缝地引入外部约束。
2016-12-28 cs.LG stat.ML
The Role of Randomness and Noise in Strategic Classification
Princeton University（普林斯顿大学）
我们研究的问题，设计最佳分类器的战略分类设置，其中的分类是一个游戏的一部分，玩家可以修改他们的功能，以达到一个有利的分类结果（同时产生一些成本）。以前，这个问题已经被认为是从学习理论的角度和从算法公平性的角度。我们的主要贡献包括1。表明如果目标是最大化分类过程的效率（定义为结果的准确性减去合格参与者操纵其特征以获得更好结果的沉没成本），那么使用随机分类器（即，分类器接受给定特征向量的概率严格在0和1之间）是必要的。2.表明在许多自然情况下，强加的最优解（就效率而言）具有参与者永远不会改变其特征向量的结构（随机分类器的结构是这样的，被分类为1的概率的增益并不证明改变特征的代价是合理的）。3.从分类器的角度来看，观察到随机分类不是稳定的最佳响应，并且分类器不会在不造成系统不稳定的情况下从随机分类器中受益。4.表明在某些情况下，噪声较大的信号会导致更好的均衡结果-当涉及一个以上具有不同特征调整成本的子群体时，可以提高准确性和公平性。从政策的角度来看，这很有趣，因为很难强迫机构坚持特定的随机分类策略（特别是在有多个分类器的市场环境中），但可以改变信息环境，使特征信号固有地更具噪音。
2020-05-17 cs.LG stat.ML
Improving decision-making via risk-based active learning: Probabilistic discriminative classifiers
University of Sheffield（谢菲尔德大学）；The Alan Turing Institute（艾伦·图灵研究所）
获得对结构的操作和维护做出明智决策的能力为结构健康监测（SHM）系统的实施提供了动力。然而，与被监测系统的健康状态相对应的测量数据的描述性标签通常是不可用的。这个问题限制了全监督机器学习范例用于开发统计分类器以用于SHM系统中的决策支持的适用性。解决这个问题的一种方法是基于风险的主动学习。在这种方法中，数据标签查询是根据初始数据点的完美信息的期望值来引导的。对于SHM中基于风险的主动学习，相对于维护决策过程评估信息的价值，并且数据标签查询对应于结构的检查以确定其健康状态。在SHM的上下文中，基于风险的主动学习仅被考虑用于生成分类器。目前的文件演示了使用一种替代类型的分类器-判别模型的几个优点。使用Z24桥数据集作为案例研究，它表明，判别分类器的好处，在SHM决策支持的背景下，包括提高鲁棒性抽样偏差，并减少结构检查的支出。
2022-06-23 cs.LG stat.AP stat.ML
Don't Fear the Bit Flips: Optimized Coding Strategies for Binary Classification
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
经过训练后，分类器必须经常对被噪声破坏的数据进行操作。在本文中，我们考虑这样的噪声对二进制分类器的功能的影响。受分类器鲁棒性工具的启发，我们引入了相同的分类概率（SCP）来测量分类器输出的失真。我们介绍了一个低复杂度的估计的SCP的基础上量化和多项式乘法。我们还研究了基于复制纠错码的信道编码技术。在传统的信道编码方法，纠错是为了保存数据，是不可知的应用程序相比，我们的计划的具体目标是最大限度地提高SCP（相当于最小化的分类器输出的失真）相同的冗余开销。
2017-03-08 cs.LG stat.ML
Linear centralization classifier
Optimisation and Logistics Group, The University of Adelaide（阿德莱德大学优化与物流团队）
一种分类算法，称为线性中心化分类器（LCC），介绍。该算法寻求找到一种转换，该转换将实例从特征空间映射到一个空间，在该空间中，它们集中在自己类的中心，同时最大化类中心之间的距离。我们制定的分类器作为一个二次规划与二次约束。然后，我们将该公式简化为可以使用线性规划求解器有效求解的线性规划（例如，单纯-对偶）。我们扩展了LCC的制定，使非线性分类应用的核函数的使用。我们比较我们的方法与两个标准的分类方法（支持向量机和线性判别分析）和四个国家的最先进的分类方法时，他们被应用到八个标准的分类数据集。我们的实验结果表明，LCC是能够更准确地分类实例（根据接收器操作特性下的区域）相比，其他测试方法在所选的数据集。我们还报告了LCC与一个特定的内核解决合成非线性分类问题的结果。
2017-12-22 cs.LG stat.ML
Neural Neighborhood Encoding for Classification
Wichita State University（威奇托州立大学）；IBM Research（IBM研究院）
受果蝇嗅觉回路的启发，Fly Bloom过滤器[Dasgupta等人，2018年]能够有效地总结数据与一个单一的通行证，并已用于新颖性检测。我们提出了一个新的分类器（二进制和多类分类），有效地编码不同的本地社区为每个类与每类Fly Bloom Filter。对测试数据的推断需要有效的{ \tt FlyHash} [Dasgupta等人，2017]操作之后是高维的，但是{ \em sparse}，与每个类的布隆过滤器的点积。学习是平凡的并行化。在理论方面，我们建立的条件下，我们提出的分类器的任何测试示例的预测同意与最近邻分类器的预测具有很高的概率。我们广泛地评估我们提出的计划与不同数据维度的$50$数据集，以证明我们提出的神经科学启发分类器的预测性能是有竞争力的最近邻分类器和其他单通道分类器。
2020-08-19 cs.LG stat.ML
Adversarial Classifier for Imbalanced Problems
Sharif University of Technology（谢里夫理工大学）
在过去的几年中，对抗性方法被广泛用于数据生成。然而，这种方法尚未被广泛用于分类器训练。在本文中，我们提出了一个用于分类器训练的对抗框架，该框架也可以处理不平衡数据。事实上，网络是通过对抗性方法训练的，以给大多数类的样本赋予权重，这样所获得的分类问题对神经网络来说变得更具挑战性，从而提高了其分类能力。除了一般的不平衡分类问题之外，所提出的方法还可以用于诸如图表示学习的问题，其中期望区分相似节点和不相似节点。在不平衡数据分类和图链接预测等任务上的实验结果表明了该方法的优越性。
2018-11-21 cs.LG stat.ML
An Active Learning Framework for Constructing High-fidelity Mobility Maps
University of Michigan（密歇根大学）；U.S. Army CCDC Ground Vehicle Systems Center（美国陆军作战能力发展司令部地面车辆系统中心）
在给定地形上提供最大可实现速度的移动地图对于越野环境中自主地面车辆的路径规划至关重要。虽然基于物理的模拟在创建下一代高保真移动地图方面发挥着核心作用，但它们既繁琐又昂贵。例如，一个典型的模拟可能需要几个星期才能在超级计算机上运行，每个地图需要数千个这样的模拟。美国陆军CCDC地面车辆系统中心最近的工作表明，经过训练的机器学习分类器可以大大提高这一过程的效率。然而，决定哪些模拟运行，以有效地训练分类器仍然是一个悬而未决的问题。根据PAC学习理论，可以被分类器分离的数据期望需要$\mathcal{O}(1/ε)$随机选择的点（模拟）来训练误差小于$ε$的分类器。在本文中，建立在现有的算法，我们引入了一个主动学习范式，大大减少了训练一个机器学习分类器所需的模拟的数量，而不牺牲准确性。实验结果表明，我们的采样算法可以训练一个神经网络，具有更高的准确性，使用不到一半的模拟数量相比，随机采样。
2020-03-07 cs.LG stat.ML
Estimating Posterior Ratio for Classification: Transfer Learning from Probabilistic Perspective
Institute of Statistical Mathematics（统计数学研究所）
迁移学习假设相似任务的分类器共享某些参数结构。不幸的是，现代分类器使用复杂的特征表示与巨大的参数空间，导致昂贵的转移。在从一个分类器到另一个分类器的变化应该是“简单”的印象下，本文提出了一种只学习“差异”的有效迁移学习标准。我们训练一个\emph{posterior ratio}，结果是最小化目标学习风险的上限。后验比模型完全不需要与源分类器共享相同的参数空间，因此它可以很容易地建模和有效地训练。因此，通过简单地将现有的概率分类器与学习的后验比相乘来获得所得到的分类器。
2015-10-19 cs.LG stat.ML
Specialists Outperform Generalists in Ensemble Classification
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
考虑准确度已知的$k$个体分类器的集合。在接收到测试点时，每个分类器输出预测的标签和对该特定测试点的预测的置信度。在本文中，我们解决的问题，我们是否可以确定的合奏的准确性。令人惊讶的是，即使当分类器组合在统计上最佳的方式在这种设置中，所得到的集成分类器的准确性不能计算从个人分类器的准确性，因为将是在标准设置的置信加权多数表决的情况下。我们证明紧的集合精度的上限和下限。我们显式地构造达到上界和下界的个体分类器：专家和通才。我们的理论结果有非常实际的后果：（1）如果我们使用集成方法，并可以选择从头开始构建我们的个人（独立）分类器，那么我们应该瞄准专家分类器，而不是通才。(2)我们的边界可以用来确定至少需要多少分类器来实现所需的集成精度。最后，我们通过考虑真实标签和个体分类器输出之间的互信息来改进我们的边界。
2021-07-09 cs.LG stat.ML
The Power of Comparisons for Actively Learning Linear Classifiers
UCSD（加州大学圣地亚哥分校）
在大数据的世界里，大而昂贵的标签数据集主宰着许多领域。主动学习是标准PAC学习模型的一种半监督替代方案，被引入来探索自适应标记是否可以用指数级更少的标记样本来学习概念。虽然以前的结果表明，主动学习执行不优于其监督替代重要的概念类，如线性分隔符，我们表明，通过添加弱分布假设，并允许比较查询，主动学习需要指数更少的样本。此外，我们还证明了这些结果也适用于称为可靠且可能有用（RPU）学习的更强的学习模型。在这个模型中，我们的学习者不允许犯错误，但可能会回答“我不知道”。“虽然之前的负面结果表明，该模型对于标签查询具有难以处理的大样本复杂性，但我们表明，比较查询使RPU学习在被动和主动机制中的成本更高。
2020-05-30 cs.CG cs.LG stat.ML
Scalable Dictionary Classifiers for Time Series Classification
University of East Anglia（东英吉利大学）
基于字典的分类器是一系列用于时间序列分类（TSC）的算法，其专注于捕获时间序列中模式出现的频率。在最近的一次评估中，基于集成的符号傅立叶近似符号包（BOSS）被认为是性能最好的TSC算法，也是性能最好的基于字典的分类器。最近添加到该类别的词提取时间序列分类（WEASEL）声称这一性能有所改进。然而，这两种算法都有不可忽视的可扩展性问题，在较大的数据集上花费了大量的构建时间和空间。我们评估BOSS为其集成选择分类器的方式的变化，用随机选择取代其参数搜索。这一更改允许轻松实现合同，为分类器和检查点设置构建时间限制，在分类器构建期间保存进度。为了区分这两种BOSS集成方法，我们将我们的随机版本称为RBOSS。此外，我们测试的应用程序的共同集成技术，以帮助保持准确性的BOSS参数搜索的损失。我们实现了一个显着减少构建时间没有显着变化的准确性平均相比，BOSS通过创建一个大小$n$加权合奏选择最好的表演者从$k$随机选择的参数集。我们的实验是在最近扩展的UCR时间序列档案的数据集上进行的。我们证明了可用性的改进，RBOSS的案例研究，使用大型鲸鱼声学数据集BOSS证明是不可行的。
2019-07-26 cs.LG stat.ML
Active Deep Learning Attacks under Strict Rate Limitations for Online API Calls
Intelligent Automation, Inc.（智能自动化公司）
机器学习已应用于广泛的应用程序，其中一些可作为免费（试用）或付费订阅的应用程序编程接口（API）在线提供。在本文中，我们以在线分类器API的后台攻击形式研究对抗性机器学习。我们从基于深度学习的探索（推理）攻击开始，其目的是构建一个分类器，该分类器可以提供与目标分类器相似的分类结果（标签）。为了最小化推断分类器和目标分类器返回的标签之间的差异，我们证明了基于深度学习的探索性攻击需要大量标记的训练数据样本。这些标签可以通过调用在线API来收集，但通常对允许的API调用数量有严格的速率限制。为了减轻有限训练数据的影响，我们开发了一种主动学习方法，首先基于少量API调用构建分类器，并使用该分类器选择样本以进一步收集其标签。然后，使用更多的训练数据样本构建新的分类器。这个更新过程可以重复多次。我们表明，这种主动学习方法可以建立一个对抗分类器与目标分类器的统计差异很小，只使用有限数量的训练数据样本。我们进一步考虑规避和使役（中毒）攻击的基础上推断的分类器，是由探索性攻击。规避攻击确定目标分类器可能错误分类的样本，而因果攻击提供错误的训练数据样本以降低重新训练的分类器的可靠性。这些攻击的成功表明，对抗性机器学习在训练数据有限的现实情况下成为一种可行的威胁。
2018-11-05 cs.CR cs.LG stat.ML
Exploring Adversarial Examples for Efficient Active Learning in Machine Learning Classifiers
University of Florida（佛罗里达大学）；National Cheng Kung University（国立成功大学）；University of Central Florida（中佛罗里达大学）
机器学习研究人员早就注意到这样一种现象，即当训练样本围绕底层决策边界密集采样时，模型训练过程将更加有效和高效。虽然这种观察已经广泛应用于一系列机器学习安全技术中，但它缺乏对观察正确性的理论分析。为了解决这一挑战，我们首先使用对抗攻击方法向原始训练样本添加特定的扰动，使得生成的示例可以近似位于ML分类器的决策边界上。然后，我们调查主动学习和这些特定的训练样本之间的联系。通过对k-NN分类器、核方法以及深度神经网络等具有代表性的分类器的分析，为观测建立了理论基础。因此，我们的理论证明提供了支持更有效的主动学习方法的帮助下，对抗的例子，相反，以前的作品中，对抗的例子往往被用作破坏性的解决方案。实验结果表明，所建立的理论基础将指导更好的基于对抗性实例的主动学习策略。
2021-09-23 cs.LG
Visualizing Classification Structure of Large-Scale Classifiers
Bosch Research North America（博世北美研究院）；Facebook
提出了一种基于预测得分的大规模分类中类相似度计算方法。这种措施在文献中还没有正式提出。我们展示了如何可视化的类相似性矩阵可以揭示层次结构和关系，管理类。通过各种分类器的例子，我们展示了这样的结构如何有助于分析分类行为和推断潜在的角落情况。其中一个示例的源代码可以在https://github.com/bilalsal/blocks上以笔记本的形式获得
2020-07-19 cs.CV cs.LG stat.ML
Active Reinforcement Learning -- A Roadmap Towards Curious Classifier Systems for Self-Adaptation
University of Kiel（基尔大学）
智能系统有能力随着时间的推移，通过观察，经验或明确的反馈来改善其行为。传统的方法将学习问题分开，并孤立地使用来自不同机器学习领域的技术，例如强化学习、主动学习、异常检测或迁移学习。在这种情况下，基本的强化学习方法有几个缺点，阻碍了它们在现实世界系统中的应用：试错，纯粹的反应行为或孤立的问题处理。本文的想法是提出一个概念，通过建立一个研究议程，我们所谓的"主动强化学习"在智能系统中，以减轻这些缺点。
2022-01-11 cs.LG
Active Learning of Classifiers with Label and Seed Queries
Univ. of Milan（米兰大学）；Google（谷歌）；Istituto Italiano di Tecnologia（意大利技术研究院）；TU Wien（维也纳工业大学）
研究了带间隔的二值和多值分类器的精确主动学习问题。给定一个$n$ -点集$X \subset \mathbb{R}^m$，我们想学习$X$上的任何未知分类器，其类具有有限的强凸包余量，这是一个扩展SVM余量的新概念。在标准的主动学习设置中，仅允许标签查询，学习具有强凸包余量$γ$的分类器在最坏情况下需要$Ω\big(1+\frac{1}γ\big)^{(m-1)/2}$查询。另一方面，使用更强大的种子查询（等价查询的变体），可以通过Littlestone的Halving算法在$O(m \log n)$查询中学习目标分类器;然而，Halving在计算上是低效的。在这项工作中，我们表明，通过仔细地结合这两种类型的查询，一个二进制分类器可以学习的时间$\operatorname{poly}(n+m)$只使用$O(m^2 \log n)$标签查询和$O\big(m \log \frac{m}γ\big)$种子查询，结果扩展到$k$类分类器的价格$k!k^2$乘法开销。当输入点具有有界位复杂度时，或者当只有一个类对其余类具有强凸壳边缘时，类似的结果也成立。我们补充的上限表明，在最坏的情况下，任何算法都需要$Ω\big(k m \log \frac{1}γ\big)$种子和标签查询学习的$k$类分类器与强凸包利润$γ$。
2022-09-08 cs.LG
Nearest Neighbor Classifier with Margin Penalty for Active Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；China Telecom Corporation Limited Research Institute（中国电信股份有限公司研究院）
随着深度学习成为自然语言处理领域的主流，对合适的主动学习方法的需求变得前所未有的迫切。提出了一种基于最近邻分类器的主动学习方法，并取得了较好的效果.然而，现有的最近邻分类器不适合分类互斥类，因为类间的差异不能保证最近邻分类器。结果，边缘区域中的信息样本不能被发现，并且AL性能受损。为此，我们提出了一种新的最近邻分类器与间隔惩罚主动学习（NCMAL）。首先，在类间加入强制性的间隔惩罚，从而保证了类间的差异性和类内的紧凑性。其次，提出了一种新的样本选择策略，以发现边缘区域内的信息样本。为了证明这些方法的有效性，我们使用其他最先进的方法对数据集进行了广泛的实验。实验结果表明，我们的方法取得了更好的结果与更少的注释样本比所有的基线方法。
2022-10-05 cs.IR cs.LG
Mexican Hat Wavelet Kernel ELM for Multiclass Classification
Zhengzhou University（郑州大学）
核极端学习机（KELM）是一种新型的前馈神经网络，广泛应用于分类问题。在一定程度上解决了ELM中存在的无效节点和计算复杂性大的问题。然而，传统的KELM分类器在面对多类分类问题时，测试准确率往往较低。为了解决上述问题，本文提出了一种新的分类器--墨西哥帽小波KELM分类器。该分类器成功地提高了多类分类问题的训练精度，减少了训练时间。此外，墨西哥帽小波作为ELM的核函数的有效性进行了严格的证明。在不同数据集上的实验结果表明，所提出的分类器的性能显着优于比较分类器。
2019-02-20 cs.AI cs.LG stat.ML
MCDAL: Maximum Classifier Discrepancy for Active Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of California, Berkeley（加州大学伯克利分校）
最近最先进的主动学习方法主要利用生成对抗网络（GAN）进行样本获取;然而，GAN通常已知具有不稳定性和对超参数的敏感性。与这些方法相比，我们在本文中提出了一种新的主动学习框架，我们称之为最大分类器离散主动学习（MCDAL），它需要多个分类器之间的预测差异。特别是，我们利用两个辅助分类层，通过最大化它们之间的差异来学习更紧密的决策边界。直觉上，辅助分类层预测中的差异表明预测中的不确定性。在这方面，我们提出了一种新的方法来利用分类器的差异为主动学习的采集功能。我们还提供了我们的想法与现有的GAN为基础的主动学习方法和领域自适应框架的解释。此外，我们经验性地证明了我们的方法的效用，其中我们的方法的性能超过了主动学习设置中的几个图像分类和语义分割数据集上的最先进的方法。
2022-02-14 cs.AI cs.CV cs.LG
A Two-Stage Active Learning Algorithm for $k$-Nearest Neighbors
University of California - San Diego（加州大学圣地亚哥分校）
针对 $k$-近邻分类缺乏保留局部投票机制的主动学习方法的问题，提出两阶段主动学习算法，并证明其在光滑性与 Tsybakov 噪声条件下具有一致性和更快的 Bayes 最优收敛速率。
2023-08-19 cs.LG
A Deep Neural Network for Audio Classification with a Classifier Attention Mechanism
University of Ottawa（渥太华大学）
音频分类被认为是模式识别中的一个具有挑战性的问题。最近，已经提出了许多使用深度神经网络的算法。在本文中，我们介绍了一种新的基于注意力的神经网络架构，称为基于分类器注意力的卷积神经网络（CAB-CNN）。该算法使用了一个新设计的架构，包括一个简单的分类器和一个注意力机制作为一个分类器选择器的列表。这种设计大大减少了分类器所需的参数数量，从而降低了它们的复杂性。以这种方式，变得更容易训练分类器并实现高且稳定的性能。实验结果证实了我们的主张。与最先进的算法相比，我们的算法在所有选定的测试成绩上都有超过10%的改进。
2020-06-14 cs.LG cs.SD eess.AS
An Online Universal Classifier for Binary, Multi-class and Multi-label Classification
Nanyang Technological University（南洋理工大学）；Dalian Maritime University（大连海事大学）
分类涉及将输入样本与相应的目标标签相关联的映射函数的学习。分类问题有两大类：单标签分类和多标签分类。传统的二元和多类分类是单标签分类的子类别。几个分类器被开发用于二进制，多类和多标签分类问题，但在文献中没有分类器能够执行所有三种类型的分类。在本文中，提出了一种新的在线通用分类器能够执行所有三种类型的分类。作为一种高速在线分类器，该技术可以应用于流数据应用。所开发的分类器的性能进行评估，使用数据集从二进制，多类和多标签的问题。所获得的结果进行比较，与国家的最先进的技术，从每个分类类型。
2016-09-03 cs.AI cs.LG cs.NE
Large dimensional analysis of general margin based classification methods
University of Georgia（佐治亚大学）；Zhongnan University of Economics and Law（中南财经政法大学）
基于边缘的分类器在机器学习和统计分类问题中都很受欢迎。由于大量的分类器是可用的，一个自然的问题是哪种类型的分类器应该被使用给定的一个特定的分类任务。我们回答这个问题，调查的两个组件的混合模型下的数据维度$p$和样本$n$都很大的情况下，一个家庭的大利润分类器的渐近性能。这个家族涵盖了广泛的分类器，包括支持向量机，距离加权判别，惩罚逻辑斯谛回归，以及作为特殊情况的大边缘统一机。渐近结果描述了一组非线性方程组，我们观察到他们的密切配合与有限数据样本上的蒙特卡罗模拟。我们的分析研究揭示了新的光如何选择最好的分类器之间的各种分类方法，以及如何选择最佳的调整参数为一个给定的方法。
2021-10-18 cs.LG stat.CO stat.ML
The Relationship Between Agnostic Selective Classification Active Learning and the Disagreement Coefficient
Technion – Israel Institute of Technology（以色列理工学院）
选择性分类器（f，g）包括分类函数f和二元选择函数g，二元选择函数g确定分类器是放弃预测还是使用f来预测。分类器被称为逐点竞争，如果它对每个点的分类与事后的最佳分类器（来自同一类）相同，无论何时它都不弃权。这种分类器的质量通过其拒绝质量来量化，拒绝质量被定义为它拒绝的点的概率质量。如果拒绝质量从上面由O（1/m）界定，则实现“快速”拒绝率，其中m是用于训练分类器的标记示例的数量（并且O隐藏对数因子）。逐点竞争选择（PCS）分类器与基于不一致的主动学习密切相关，并且已知在可实现的情况下，已知PCS算法（称为一致选择策略）的快速拒绝率等价于公知CAL主动算法的指数加速。我们专注于不可知论的设置，其中有一个已知的算法称为LESS，学习PCS分类器，并在强假设下实现快速拒绝率（取决于Hanneke的分歧系数）。我们提出了一种改进的PCS学习算法称为ILESS，我们显示了一个快速的速度（取决于Hanneke的不一致系数），没有任何假设。我们的拒绝界平滑地插入可实现的和不可知的设置。本文的主要结果是以下三个实体之间的等价性：（一）任何PCS学习算法（如ILESS）的快速拒绝率的存在;（二）Hanneke的分歧系数的多对数界;（三）一个新的基于分歧的主动学习者称为ActiveiLESS的指数加速。
2017-03-30 cs.LG
Inverse classification with logistic and softmax classifiers: efficient optimization
Dept. of Computer Science & Engineering, University of California, Merced（计算机科学与工程系，加州大学默塞德分校）
研究针对逆分类问题，提出利用平方欧几里得距离高效优化逻辑回归和softmax分类器，实现快速精确的分类逆向查询。
2026-03-19 cs.LG math.OC stat.ML
Classification Using Proximity Catch Digraphs (Technical Report)
Koç University（科奇大学）；University of Pittsburgh（匹兹堡大学）
我们采用随机几何有向图来构造半参数分类器。这些数据随机有向图来自参数化的随机有向图族，称为邻近捕获有向图（PCD）。一个相关的几何有向图族-类覆盖捕捉有向图（CCCD），已被用来解决类覆盖问题，通过其近似的最小支配集。CCDs在不平衡数据集的分类中表现出相对较好的性能，尽管CCDs在$\mathbb{R}^d$中具有方便的构造，但找到最小支配集是NP难的，并且除了$d=1$之外，其概率行为在数学上是不可处理的。另一方面，称为\emph{proportional-edge} PCD（PE-PCD）的特定PCD族在$\mathbb{R}^d$中具有数学上易于处理的最小支配集;然而，它们在更高维度中的构造可能需要计算。更具体地说，我们表明，基于PE-PCD的分类器是基于原型的分类器，这样，在多项式时间内发现的观测数量的原型（相当于最小支配集）的确切的最小数量。我们构造了两种类型的分类器的基础上PE-PCD。一类是混合分类器族，它依赖于训练数据集的点的位置，另一类是完全基于类覆盖的分类器族。我们评估我们的PE-PCD分类器的分类性能进行了广泛的Monte Carlo模拟，并与其他常用的分类器进行比较。我们还表明，类似于CCCD分类器，我们的分类器是相对更好的分类类不平衡的存在。
2017-05-22 cs.LG stat.ME stat.ML
The Nataf-Beta Random Field Classifier: An Extension of the Beta Conjugate Prior to Classification Problems
University of California, Berkeley（加州大学伯克利分校）
本文介绍了Nataf Beta随机场分类器，判别方法，扩展了适用性的Beta共轭分类问题之前。该方法的主要特点是将一类属性值的概率建模为一个随机场，其边缘是Beta分布的，并且边缘的参数本身由随机场描述。虽然所提出的方法的分类精度在统计上并没有超过文献中报道的最佳精度，但它在测试的六个基准数据集中名列前茅。Nataf-Beta随机场分类器适合作为实连续和实整数属性值问题的通用分类方法。
2015-04-17 cs.LG
Adversarial Robustness May Be at Odds With Simplicity
Harvard University（哈佛大学）
机器学习中的当前技术到目前为止还不能学习对对抗性扰动鲁棒的分类器。然而，即使在存在随机扰动的情况下，它们也能够以非常高的精度学习非鲁棒分类器。为了解释这一差距，我们强调的假设，$\textit{robust classification may require more complex classifiers (i.e. more capacity) than standard classification.}$在这篇文章中，我们表明，这一假设确实是可能的，通过给出几个理论的分类任务和“简单”的分类器集的例子，其中：（1）存在一个简单的分类器具有高标准的准确性，并在随机$\ell_\infty$噪声下的高精度。(2)任何简单的分类器都不是鲁棒的：在$\ell_\infty$扰动的情况下，它必须具有高对抗损失。(3)鲁棒分类是可能的，但仅使用更复杂的分类器（在一些示例中，指数地更复杂）。此外，$\textit{there is a quantitative trade-off between robustness and standard accuracy among simple classifiers.}$这表明了对这种现象的另一种解释，这种现象出现在实践中：权衡可能不是因为分类任务固有地需要这样的权衡（如[Tsipras-Santurkar-Engstrom-Turner-Ma…
2019-01-02 cs.CC cs.LG stat.ML
A punishment voting algorithm based on super categories construction for acoustic scene classification
在声学场景分类研究中，通常将音频片段分割成多个样本。然后利用多数投票来集成样本的结果。本文提出了一种基于超类别构造方法的惩罚投票算法，用于声场景分类。具体来说，我们提出了一个类似于DenseNet的模型作为基本分类器。基础分类器由从原始音频段生成的CQT频谱图训练。利用基分类器的结果，我们提出了一种基于谱聚类的超类别构造方法。进一步训练与所构造的超级类别相对应的超级分类器。最后，利用超级分类器通过惩罚投票来增强基分类器的多数投票。实验表明，惩罚投票在DCASE2017 Development数据集和LITIS Rouen数据集上都明显提高了性能。
2021-03-30 cs.LG cs.SD stat.ML
Dictionary learning for fast classification based on soft-thresholding
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；The University of Edinburgh（爱丁堡大学）
基于稀疏表示的分类器最近被证明在许多视觉识别和分类任务中提供了优异的结果。然而，在测试时计算稀疏表示的高成本是限制这些方法在大规模问题中或在计算能力受限的情况下的适用性的主要障碍。我们认为在本文中一个简单而有效的替代稀疏编码的特征提取。我们研究的分类方案，适用于软阈值非线性映射的字典，其次是线性分类器。提出了一种新的监督字典学习算法适合这种低复杂度的分类架构。字典学习问题，联合学习字典和线性分类器，被转换为一个凸（DC）的差异规划和有效地解决了迭代DC求解器。我们在几个数据集上进行实验，并表明我们的学习算法，利用分类问题的结构优于一般的学习过程。我们的简单分类器的基础上软阈值也与最近的稀疏编码分类器，当字典学习适当的竞争。与其他分类器相比，所采用的分类方案在测试阶段还需要更少的计算时间。该方案显示了充分训练的软阈值映射分类的潜力，并为视觉问题的非常有效的分类方法的发展铺平了道路。
2014-10-02 cs.CV cs.LG stat.ML
Training Effective Node Classifiers for Cascade Classification
Australian Centre for Visual Technologies（澳大利亚视觉技术中心）；School of Computer Science, The University of Adelaide（阿德莱德大学计算机科学学院）
级联分类器广泛应用于实时目标检测中。与设计用于低总体分类出错率的常规分类器不同，要求级联的每个节点中的分类器实现极高的检测率和适度的假阳性率。虽然有几个报告的方法，解决这个要求的背景下，目标检测，有没有原则性的特征选择方法，明确考虑到这个不对称的节点学习目标。我们在这里提供这样一个算法。我们证明了有偏极大极小概率机的一个特例与Wu等人（2005）的线性非对称分类器（LAC）具有相同的公式。然后，我们设计了一个新的升压算法，直接优化LAC的成本函数。所得到的完全校正的升压算法是通过凸优化中的列生成技术实现的。目标检测的实验结果验证了提出的Boosting算法作为级联目标检测中节点分类器的有效性，并显示出优于现有技术的性能。
2013-01-10 cs.CV cs.LG stat.ML
Bayes and Naive Bayes Classifier
Rajiv Gandhi University of Knowledge Technologies（拉吉夫·甘地知识技术大学）
贝叶斯分类代表了一种监督学习方法以及一种用于分类的统计方法。假设一个潜在的概率模型，它允许我们通过确定结果的概率以原则性的方式捕获模型的不确定性。该分类以托马斯·贝叶斯（1702-1761）命名，他提出了贝叶斯定理。贝叶斯分类提供了实用的学习算法，先验知识和观测数据可以结合起来。贝叶斯分类为理解和评估许多学习算法提供了一个有用的视角。它计算假设的显式概率，并且对输入数据中的噪声具有鲁棒性。在统计分类中，贝叶斯分类器使错误分类的概率最小化。这是贝叶斯分类器的一个简单案例的视觉直觉，也称为：1）白痴贝叶斯2）朴素贝叶斯3）简单贝叶斯
2014-04-03 cs.LG
Enhanced Classification Accuracy for Cardiotocogram Data with Ensemble Feature Selection and Classifier Ensemble
Prince of Songkla University（宋卡王子大学）；Khon Kaen University（孔敬大学）
本文提出了基于集成学习的特征选择和分类器集成模型来提高分类精度。从集成特征选择到支持向量机集成，假设好的特征集包含与类高度相关的特征，这可以在分类精度的性能上实现。所提出的方法包括两个阶段：（i）通过应用基于集成的特征选择方法来选择可能是支持向量的特征集;以及（ii）使用所选择的特征来构建SVM集成。通过在分娩图像数据集上的实验对所提出的方法进行了评估。使用了四种特征选择技术：（i）基于相关性，（ii）基于一致性，（iii）ReliefF和（iv）信息增益。实验结果表明，将信息增益特征选择和基于相关性的特征选择与SVM集成相结合，比单一SVM分类器和集成特征选择与SVM分类器的分类精度都要高。
2020-10-27 cs.LG
The Effect of Structural Diversity of an Ensemble of Classifiers on Classification Accuracy
本文旨在展示9个分类器的集成的结构多样性的措施，然后映射这种结构多样性和准确性之间的关系。结构多样性是由具有不同的架构或结构的分类器。遗传算法（GA）被用来推导多样性和分类精度之间的关系，通过进化的分类器，然后挑选出9个分类器的60个分类器的集成。结果发现，随着合奏变得多样化，准确性提高。然而，在一定的多样性措施的准确性开始下降。采用Kobal-Wolpert方差方法来度量集成的多样性。使用投票方法来聚合来自每个分类器的结果。当以0.2024作为最大多样性测量值时，在多样性测量值为0.16时观察到最低误差，均方误差为0.274。改变的参数是：隐藏节点的数量，学习率和激活函数。
2008-04-30 cs.LG
A Probabilistic Optimum-Path Forest Classifier for Binary Classification Problems
Federal University of São Carlos（圣卡洛斯联邦大学）；University of Western São Paulo（西圣保罗大学）；São Paulo State University（圣保罗州立大学）
概率驱动的分类技术扩展了传统方法的作用，仅输出标签（通常是整数）。这样的技术在处理其中人们不仅对识别/标识感兴趣，而且对例如监视消费者和/或机器的行为感兴趣的问题时更有成效。因此，通过概率估计，人们可以做出决定，以便在许多情况下更好地工作。在本文中，我们提出了一个基于概率的最优路径森林（OPF）分类器来处理二进制分类问题，我们表明它可以在一些数据集上比朴素的OPF更准确。除了更准确或不准确之外，概率OPF还成为科学界的另一个有用工具。
2016-09-04 cs.CV cs.LG stat.ML
Patch Based Classification of Remote Sensing Data: A Comparison of 2D-CNN, SVM and NN Classifiers
NIT Kurukshetra（库鲁克谢特拉国家技术学院）
基于像素的算法包括反向传播神经网络（NN）和支持向量机（SVM）已被广泛用于遥感图像分类。在过去的几年里，基于深度学习的图像分类器，如卷积神经网络（2D-CNN）正在成为这些分类器的流行替代品。在本文中，我们比较了基于补丁的SVM和NN与由2D-CNN和全连接层组成的深度学习算法的性能。类似于CNN利用图像补丁来获得进一步分类的特征，我们建议使用补丁作为输入，代替SVM和NN分类器的单个像素。两个数据集，一个多光谱和其他高光谱数据被用来比较不同的分类器的性能。两个数据集的结果表明，与最先进的2D-CNN分类器相比，基于补丁的SVM和NN分类器的有效性。
2020-06-21 cs.CV cs.LG
