Shadows Don't Lie and Lines Can't Bend! Generative Models don't know Projective Geometry...for now
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Toyota Technological Institute at Chicago（丰田工业大学芝加哥分校）
本文发现生成图像在几何特征上与真实图像不同，提出仅依赖透视场、直线和物体与阴影关系的三个几何分类器，无需像素即可比SOTA信号检测器更可靠地识别生成图像，证明当前生成器无法可靠重现真实图像的几何属性。
2024-05-30 cs.AI cs.CV cs.GR
Out-of-distribution Detection in Classifiers via Generation
University of Waterloo（滑铁卢大学）
通过设计，区分训练的神经网络分类器仅对分布内样本产生可靠的预测。对于他们的实际部署，检测分发外（OOD）样本至关重要。假设OOD在分布的闭合边界之外，典型的神经分类器在推理期间不包含用于OOD检测的该边界的知识。最近已经有一些方法通过使用接近分布边界的OOD样本显式地训练分类器来向分类器灌输这种知识。然而，这些生成的样本未能有效地覆盖整个分布边界，从而导致次优OOD检测器。在本文中，我们分析了这种方法的可行性，通过调查的复杂性，产生这样的“有效”的OOD样本。我们还提出了一种新的算法来生成这样的样本使用流形学习网络（例如，变分自编码器），然后训练用于OOD检测的n+1分类器，其中$n+1^{th}$类表示OOD样本。我们比较我们的方法对最近几个基于分类器的OOD检测器MNIST和时尚MNIST数据集。总的来说，所提出的方法始终比其他方法表现得更好。
2019-10-09 cs.LG stat.ML
Building robust classifiers through generation of confident out of distribution examples
Intuit Inc.（财捷公司）
众所周知，深度学习模型对分布外输入的预测过于自信。已经有几件工作来解决这个问题，包括一些方法来构建贝叶斯神经网络，以及密切相关的工作检测出的分布样本。最近，已经有关于通过添加正则化项来构建对分布外样本鲁棒的分类器的工作，所述正则化项最大化分类器输出在分布外数据上的熵。为了近似分布外的样本（其不是先验已知的），使用GAN来生成训练分布的边缘处的样本。在本文中，我们介绍了一种替代的基于GAN的方法来构建一个强大的分类器，其中的想法是使用GAN显式地生成分类器有信心的分布样本（低熵），并使分类器最大化这些样本的熵。我们展示了我们的方法相对于最先进的手写字符以及各种自然图像数据集的有效性。
2018-12-01 cs.LG stat.ML
Don't Waste a Single Annotation: Improving Single-Label Classifiers Through Soft Labels
The University of Sheffield（谢菲尔德大学）
针对单标签分类任务传统标注训练方法浪费标注分歧等信息的问题，提出利用标注者置信度、次选标签及分歧生成软标签的方法，可提升分类器在硬标签测试集上的性能与校准效果。
2023-11-09 cs.AI cs.CL cs.LG
Does Your Dermatology Classifier Know What It Doesn't Know? Detecting the Long-Tail of Unseen Conditions
Google Health（谷歌健康）；Google Research（谷歌研究院）；DeepMind（深度思维）
我们开发并严格评估了一个基于深度学习的系统，该系统可以准确地对皮肤状况进行分类，同时检测没有足够数据可用于训练自信分类器的罕见状况。我们框架这个任务作为一个外的分布（OOD）检测问题。我们的新方法，分层离群值检测（HOD）为每个训练离群值类分配多个分类类，并联合执行内点与离群值的粗分类，以及各个类的细粒度分类。我们证明了HOD损失的有效性与现代表示学习方法（BiT，Simplified，MICLe），并探索不同的集成策略，以进一步改善结果。我们在不同风险水平和不同皮肤类型的条件下进行了广泛的亚组分析，以研究OOD检测性能在每个亚组中的变化，并证明我们的框架与基线相比的收益。最后，我们引入了一个成本指标来近似下游临床影响。我们使用这个成本指标来比较所提出的方法与基线系统，从而使一个更强的情况下，在现实世界的部署方案的整体系统的有效性。
2021-04-08 cs.CV cs.LG
Towards neural networks that provably know when they don't know
University of Tübingen（图宾根大学）
最近的研究表明，ReLU网络会产生远离训练数据的任意过度自信的预测。因此，ReLU网络不知道他们什么时候不知道。然而，这在安全关键应用中是非常重要的性质。在分布外检测（OOD）的上下文中，已经有许多建议来缓解这个问题，但是没有一个能够做出任何数学保证。在本文中，我们提出了一种新的方法来OOD克服这两个问题。我们的方法可以与ReLU网络一起使用，并提供远离训练数据的可证明的低置信度预测，以及外分布点附近的低置信度预测的第一个证书。在实验中，我们表明，最先进的方法在这种最坏的情况下失败，而我们的模型可以保证其性能，同时保留最先进的OOD性能。
2020-02-21 cs.CV cs.LG stat.ML
Automatic Open-World Reliability Assessment
University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
开放世界中的图像分类必须处理分布外（OOD）图像。理想情况下，系统应该拒绝OOD映像，否则它们将映射到已知类的顶部并降低可靠性。使用可以拒绝OOD输入的开集分类器可以有所帮助。然而，开集分类器的最佳精度取决于OOD数据的频率。因此，对于标准或开集分类器，重要的是能够确定世界何时发生变化，并且增加OOD输入将导致系统可靠性降低。然而，在操作过程中，由于没有标签，我们无法直接评估准确性。因此，这些分类器的可靠性评估必须由人类操作员完成，因为网络不是100%准确，所以会出现一些故障。为了自动化这个过程，在这里，我们正式的开放世界识别可靠性问题，并提出了多个自动可靠性评估政策，以解决这个新的问题，只使用报告的分数/概率数据的分布。分布式算法可以应用于SoftMax的经典分类器以及开放世界极值机（EVM），以提供自动可靠性评估。我们表明，所有的新算法显着优于使用SoftMax的平均检测。
2020-12-14 cs.CV cs.LG eess.IV
Don't Label Twice: Quantity Beats Quality when Comparing Binary Classifiers on a Budget
Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，蒂宾根）；Tübingen AI Center（蒂宾根人工智能中心）；ETH Zürich（苏黎世联邦理工学院）
研究如何在预算内有效利用噪声标签比较两个二分类器的准确性，证明在选择更优分类器时，应优先收集更多样本的单一标签而非多个标签的多数投票。
2026-04-08 cs.LG
Perceptually Constrained Adversarial Attacks
Imperial College London（帝国理工学院）；DeepMind（深度思维）
基于以前的观察，通常应用的$L_p$规范（$p=1,2,\infty$）不捕捉感知质量的对抗性的例子在图像分类，我们建议取代这些规范与结构相似性指数（SSIM）的措施，这是最初开发的测量图像的感知相似性。通过对MNIST和CIFAR-10的对抗训练分类器进行广泛的实验，我们证明了我们的SSIM约束的对抗攻击可以打破最先进的对抗训练分类器，并实现与弹性网络攻击相似或更大的成功率，同时始终提供更好感知质量的对抗图像。利用SSIM自动识别和禁止低质量的对抗图像，我们以比以前文献中更有意义的方式评估了几种防御方案的性能。
2021-02-14 cs.CR cs.LG stat.ML
CharBot: A Simple and Effective Method for Evading DGA Classifiers
Ghent University（根特大学）；VIB Inflammation Research Center（VIB炎症研究中心）；University of Washington（华盛顿大学）；Infoblox
恶意软件通常利用域生成算法（DGAs）来创建可用于命令和控制（C&C）目的的域名列表。最近已经开发了基于机器学习的方法来实时地自动检测生成的域名。在这项工作中，我们提出了一种名为CharBot的新型DGA，它能够产生大量未注册的域名，这些域名无法被最先进的分类器检测到，用于实时检测DGA，包括最近发布的方法FANCI（一种基于人类工程特征的随机森林）和LSTM.MI（一种深度学习方法）。CharBot非常简单，有效，不需要目标DGA分类器的知识。我们表明，重新训练分类器的CharBot样本是不是一个可行的防御策略。我们相信这些发现表明，如果DGA分类器只依赖于域名字符串来做出决定，那么它们天生就容易受到对抗攻击的攻击。因此，设计鲁棒的DGA分类器可能需要使用除了单独的域名之外的附加信息。据我们所知，CharBot是迄今为止提出的针对DGA分类器的最简单，最有效的黑盒对抗攻击。
2019-05-30 cs.CR cs.LG stat.ML
Don't Fear the Bit Flips: Optimized Coding Strategies for Binary Classification
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
经过训练后，分类器必须经常对被噪声破坏的数据进行操作。在本文中，我们考虑这样的噪声对二进制分类器的功能的影响。受分类器鲁棒性工具的启发，我们引入了相同的分类概率（SCP）来测量分类器输出的失真。我们介绍了一个低复杂度的估计的SCP的基础上量化和多项式乘法。我们还研究了基于复制纠错码的信道编码技术。在传统的信道编码方法，纠错是为了保存数据，是不可知的应用程序相比，我们的计划的具体目标是最大限度地提高SCP（相当于最小化的分类器输出的失真）相同的冗余开销。
2017-03-08 cs.LG stat.ML
Determining the best classifier for predicting the value of a boolean field on a blood donor database using genetic algorithms
Delhi Technological University（德里理工大学）
动机：由于数字化，我们经常可以访问大型数据库，这些数据库由各种信息领域组成，从数字到文本，甚至是布尔值。这些数据库特别适合机器学习、分类和大数据分析任务。我们能够使用现有数据来训练分类器，并使用它们来预测某个字段的值，前提是我们拥有有关其他字段的信息。更具体地说，在这项研究中，我们研究了医院编制的电子健康记录（EHR）。这些EHR是访问个体患者数据的方便手段，但整体处理仍然是一项任务。然而，EHR是由连贯的，良好的制表结构借给自己很好的应用程序，机器语言，通过使用分类器。在这项研究中，我们着眼于输血服务中心的数据集（数据来自台湾新竹市输血服务中心）。我们在Python中使用了scikit-learn机器学习。在支持向量机（SVM）中引入支持向量分类器（SVC），在线性模型中引入感知器（Perceptron）。我们还使用了K. neighbors分类器和决策树分类器。此外，我们使用的TPOT库找到一个优化的管道，使用遗传算法。使用上述分类器，我们使用k折交叉验证对每个分类器进行评分。联系方式：ritabratamaiti@hiretrex.com GitHub存储库：https://github.com/ritabratamaiti/Blooddonorprediction
2018-08-04 cs.LG stat.ML
Don't Walk the Line: Boundary Guidance for Filtered Generation
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Stanford University, Department of Computer Science, Stanford, California, USA（斯坦福大学计算机科学系）
本文提出边界引导方法，通过强化学习微调生成模型，使其远离分类器边缘，从而提升生成输出的安全性和实用性。
2026-08-05 cs.CL cs.LG
Inventing a coin-flip classifier: Accounting for multiplicity in machine learning benchmark performance
Sami University of Applied Sciences, Department of Computer Science UiT — The Arctic University of Norway（萨米应用科学大学计算机科学系UiT — 北极大学）
该研究指出当前机器学习SOTA性能是样本最大值估计，提出应通过最佳分类器的预期性能估计SOTA，正式区分两种估计方式并给出相关分布，结合公开挑战赛案例分析了误用的实际影响。
2026-09-16 cs.LG stat.ME
A probability calibrator for machine-learning classifiers
Western Norway University of Applied Sciences（西挪威应用科学大学）；Haukeland University Hospital（豪克兰大学医院）
本研究提出一种机器学习分类器的概率校准器，通过计算分类器输出条件下的概率，结合效用最大化实现最优决策，在高度不平衡药物发现数据集上验证了其性能提升效果。
2026-10-20 cs.LG physics.data-an stat.ML
Domain Knowledge integrated for Blast Furnace Classifier Design
本文提出一种集成领域知识的分类模型设计框架，通过知识融入学习方案更准确地识别误分类后果严重的“重要样本”，并保持剩余样本的分类精度，其有效性在两个真实高炉数据集上得到验证。
2023-03-31 cs.AI cs.LG
Towards Automation of Knowledge Understanding: An Approach for Probabilistic Generative Classifiers
BMW Group（宝马集团）；University of Kassel（卡塞尔大学）；Aalto University（阿尔托大学）
在经过数据选择、预处理、转换和特征提取之后，知识提取并不是数据采掘过程的最后一步。因此，有必要了解这些知识，以便有效地应用它。到目前为止，还缺乏支持这一重要步骤的适当技术。这部分是由于对知识的评估往往是高度主观的，例如，关于新颖性或实用性等方面。这些方面取决于数据挖掘器的特定知识和要求。然而，有一些方面是客观的，可以采取适当的措施。在这篇文章中，我们专注于分类问题，并使用概率生成分类器的基础上，混合密度模型，是非常常见的数据采掘应用。我们定义了客观的措施来评估这些分类器中包含的规则的信息量，独特性，重要性，歧视性，代表性，不确定性和可验证性。这些度量不仅支持数据挖掘器基于这样的分类器评估数据采掘过程的结果。正如我们将在示例性案例研究中看到的，它们也可用于改进数据采掘过程本身或支持提取的知识的后续应用。
2016-05-20 cs.AI cs.LG
Can FCA-based Recommender System Suggest a Proper Classifier?
National Research University Higher School of Economics（国立研究型高等经济学院）
本文简要介绍了多分类器系统，并描述了一种新的算法，它通过推荐一个合适的算法来提高分类精度的对象分类。这个建议是假设一个分类器如果正确地分类了它的邻居，就有可能正确地预测对象的标签。为每个对象分配分类器的过程基于形式概念分析。我们解释了一个玩具的例子，并描述了我们的第一个实验与现实世界的数据集的算法的想法。
2015-04-21 cs.IR cs.LG stat.ML
A Boosting Algorithm for Positive-Unlabeled Learning
The University of Queensland（昆士兰大学）；The University of Adelaide（阿德莱德大学）；RIKEN（理化学研究所）
正-未标记（PU）学习处理只有正（P）和未标记（U）数据时的二进制分类问题。许多最近的PU方法是基于神经网络，但很少有人做了PU学习的提升算法，尽管提升算法的许多完全监督分类问题的强大性能。在本文中，我们提出了一种新的增强算法，AdaPU，PU学习。与AdaBoost类似，AdaPU旨在优化经验指数损失，但损失基于PU数据，而不是正负（PN）数据。与AdaBoost一样，我们通过一次学习一个弱分类器及其权重来学习弱分类器的加权组合。然而，AdaPU需要一个非常不同的算法来学习弱分类器并确定它们的权重。这是因为AdaPU使用具有一些负数据权重$-$的加权正负（PN）数据集来学习弱分类器及其权重，该数据集是从原始PU数据导出的，并且数据权重由当前加权分类器组合确定，但是一些数据权重是负的。我们的实验表明，AdaPU在几个基准PU数据集上的表现优于神经网络，包括一个具有挑战性的大规模网络安全数据集。
2022-12-07 cs.AI cs.LG
Condition Monitoring of Transformer Bushings Using Computational Intelligence
University of Johannesburg（约翰内斯堡大学）
油中溶解气体分析法（DGA）用于监测大型电力Transformers套管的状态。有不同的技术用于确定条件从收集的数据，但在这项工作中的人工智能技术进行了研究。这项工作调查DGA中的气体是相互关联的，哪些是重要的决策。当确定相关和关键气体时，丢弃其他气体，从而减少DGA中的属性数量。因此，做了进一步的调查，看看这些新的数据集如何影响用于分类的DGA的全属性的分类器的性能。在这些实验中使用的分类器是反向传播神经网络（BPNN）和支持向量机（SVM），而主成分分析（PCA），粗糙集（RS），增量粒度排名（GR++）和决策树（DT）被用来减少数据集的属性。训练BPNN和SVM分类器时使用的参数保持固定，以在研究减少气体数量的影响时创建受控的测试环境。本文进一步介绍了一种新的分类器，可以处理高维数据集和噪声数据集，粗糙神经网络（RNN）。
2022-04-20 cs.AI cs.LG
A Convex Relaxation for Weakly Supervised Classifiers
本文介绍了一种通用的多类弱监督分类方法。推断标签和学习模型的参数通常通过块坐标下降算法（例如期望最大化（EM））联合完成，这可能导致局部最小值。为了避免这个问题，我们提出了一个成本函数的基础上凸松弛的软最大损失。然后，我们提出了一个专门设计的算法，以有效地解决相应的半定规划（SDP）。从经验上讲，我们的方法相比之下，在不同的数据集上的多实例学习和半监督学习以及聚类任务的标准。
2012-06-27 cs.LG stat.ML
Computing Class Hierarchies from Classifiers
Hong Kong University of Science and Technology（香港科技大学）
一个类或分类层次结构通常是手动构建的，也是我们对世界的知识的一部分。在本文中，我们提出了一种新的算法，自动获取类层次结构的分类器，这往往是一个大的神经网络这些天。我们从分类器中需要的信息是它的混淆矩阵，对于每对基类，该矩阵包含分类器将一个类误认为另一个类而产生的错误数量。我们的算法为一些在CIFAR-10数据集上训练的知名深度神经网络模型、用于预测非英语母语者的母语的神经网络模型、用于检测书面文本语言的神经网络模型以及用于识别音乐流派的分类器产生了令人惊讶的良好层次结构。在文献中，这样的类层次结构已被用来提供可解释性的神经网络。我们还讨论了其他一些潜在的用途收购层次结构。
2021-12-02 cs.AI cs.LG
Lift Up and Act! Classifier Performance in Resource-Constrained Applications
Institute of Service Science（服务科学研究所）；National Tsing Hua University（国立清华大学）
分类任务在许多领域和应用中是常见的，其中决策者的行动受到资源约束的限制。在直接营销中，只接触一小部分客户;稀缺的人力资源限制了最有前途的求职者的面试次数;有限的捐赠器官优先考虑那些最合适的人。在这种情况下，性能度量（如分类矩阵、ROC分析）甚至排名度量（如AUC）都会度量与感兴趣的操作不同的结果。与此同时，机器学习者很少使用增益和提升来衡量相关结果。在本文中，我们定义资源受限的分类器性能作为一个任务，区别于分类和排名。我们解释了增益和升降机如何导致不同的算法选择，并讨论了类分布的影响。
2019-06-20 cs.LG stat.ML
Birds of a Feather Trust Together: Knowing When to Trust a Classifier via Adaptive Neighborhood Aggregation
National University of Singapore（新加坡国立大学）
我们如何知道分类器所做的预测何时是可信的？这是一个基本问题，也具有巨大的实用性，特别是在医疗和自动驾驶等安全关键领域。使用分类器的softmax输出作为可信度的代理的事实上的方法遭受过度自信的问题，而最近的作品产生的问题，如额外的再培训成本和准确性与可信度权衡。在这项工作中，我们认为，一个分类器的预测样本的可信度是高度相关的两个因素：样本的邻域信息和分类器的输出。为了结合这两个世界的最好的，我们设计了一个模型不可知的事后方法NeighborAgg通过自适应邻域聚合来利用这两个基本信息。从理论上讲，我们表明，NeighborAgg是一个广义版本的一跳图卷积网络，继承了强大的建模能力，捕捉不同的相似性样本之间的每一类。我们还将我们的方法扩展到与错误标记检测密切相关的任务，并提供理论覆盖率保证以约束假阴性。从经验上讲，图像和表格基准测试的广泛实验验证了我们的理论，并表明NeighborAgg优于其他方法，实现了最先进的可信性能。
2022-11-29 cs.AI cs.CV cs.LG
Query-Efficient Black-Box Attack Against Sequence-Based Malware Classifiers
Ben-Gurion University of The Negev（本-古里安大学）
在本文中，我们提出了一个通用的，查询高效的黑盒攻击对基于API调用的机器学习恶意软件分类器。我们通过修改恶意软件的API调用序列和非顺序特征（可打印字符串）来生成对抗性示例，这些对抗性示例将被目标恶意软件分类器错误分类，而不会影响恶意软件的功能。与以前的研究相比，我们的攻击最大限度地减少了所需的恶意软件分类器查询的数量。此外，在我们的攻击中，攻击者必须只知道恶意软件分类器预测的类;攻击者对恶意软件分类器的置信度得分的了解是可选的。我们评估了针对各种恶意软件分类器架构进行攻击时的攻击效果，包括递归神经网络（RNN）变体、深度神经网络、支持向量机和梯度提升决策树。当分类器的置信度得分已知时，我们的攻击成功率约为98%，而当分类器的预测类已知时，攻击成功率为64%。我们实现了四个最先进的查询效率的攻击，并表明我们的攻击需要更少的查询和更少的知识，攻击模型的架构比其他现有的查询效率的攻击，使其实用的攻击基于云的恶意软件分类器以最小的成本。
2020-10-03 cs.CR cs.LG
Embedding and Extraction of Knowledge in Tree Ensemble Classifiers
University of Liverpool（利物浦大学）
有用知识的嵌入和提取是机器学习应用中的最近趋势，例如，以补充现有的小数据集。同时，随着机器学习模型在安全关键应用中的广泛应用，恶意知识的嵌入和提取分别相当于臭名昭著的后门攻击和后门防御。本文研究了树集成分类器中知识的嵌入和提取问题，重点研究了用布尔公式表示的知识，例如，鲁棒性和后门攻击。对于嵌入，它需要是防腐的（保留分类器的原始性能），可验证的（知识可以证明）和隐形的（嵌入不容易被检测到）。为了实现这一点，我们提出了两种新颖有效的嵌入算法，其中一种是黑盒设置，另一种是白盒设置。除了嵌入，我们开发了一种算法来提取嵌入的知识，减少问题的SMT（可满足性模理论）求解器是可解决的。虽然这种新的算法可以成功地提取知识，减少导致NP计算。因此，如果应用嵌入作为后门攻击和提取作为防御，我们的研究结果表明，当使用树集成分类器时，攻击和防御之间存在复杂性差距（P与NP）。我们将我们的算法应用于一组不同的数据集，以广泛地验证我们的结论。
2021-10-26 cs.CR cs.LG
A novel method for extracting interpretable knowledge from a spiking neural classifier with time-varying synaptic weights
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, Agency for Science, Technology and Research（科技研究局资讯通信研究院）；Indian Institute of Science（印度科学学院）
本文提出了一种新的方法，在MC-SEFRON分类器的信息解释。为了开发一种方法来提取存储在训练好的分类器中的知识，首先，将先前开发的二进制类SEFRON分类器扩展到处理多类问题。MC-SEFRON使用总体编码方案将实值输入数据编码为尖峰模式。MC-SEFRON使用与SEFRON相同的监督学习规则进行训练。在训练之后，所提出的方法通过将时域中的加权突触后电位映射到特征域作为特征强度函数（FSF）来提取存储在分类器中的给定类的知识。对应于每个输出类的一组FSF表示从分类器提取的知识。这种知识编码方法的推导，以保持在时域和特征域的分类之间的一致性。FSF的正确性定量测量直接使用FSF分类任务。对于给定的输入，每个FSF在输入值处被采样以获得对应的特征强度值（FSV）。然后，在分类期间使用针对每个类获得的聚合FSV来确定输出类标签。FSV还用于在分类任务期间解释预测。利用10个UCI数据集和MNIST数据集，证明了FSF的知识提取方法、解释和可靠性。研究结果表明，对于UCI数据集和MNIST数据集，直接使用FSF的分类精度与MC-SEFRON的分类精度的平均差异仅为0.9%和0.1%左右。这清楚地表明，由FSF表示的知识具有可接受的可靠性，并且使用分类器的知识的分类的可解释性已被证明是合理的。
2019-02-28 cs.LG cs.NE stat.ML
Crop mapping in the small sample/no sample case: an approach using a two-level cascade classifier and integrating domain knowledge
利用遥感技术绘制作物地图对于粮食安全和土地管理十分重要。近年来，基于机器学习的方法已经成为作物制图的流行方法。然而，机器学习的关键，即获取大量准确的样本，通常是耗时费力的。针对这一问题，提出了一种小样本/无样本情况下的裁剪映射方法，该方法融合领域知识，采用一种级联分类框架，将强特征样本学习的弱分类器和弱特征样本训练的强分类器相结合。首先，基于作物的领域知识，采用决策树等低容量分类器，将具有显著特征且观测序列完整的像素点作为“强特征”样本。为了提高样本的代表性，采用样本增广策略，根据目标区域的平均有效观测值比例，人为去除“强特征”样本的观测值。最后，基于原始样本和增强样本，训练一个大容量的分类器，如随机森林作物映射。该方法在2021年中国先正达集团举办的MAP作物识别竞赛中取得了82%的整体准确率（三等奖，排名第四）。该方法融合了领域知识，克服了样本获取困难的问题，为农作物制图提供了一种方便、快速、准确的解决方案。
2022-12-26 cs.CV cs.LG
Learning When to Say "I Don't Know"
Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
我们提出了一种新的神经网络选项分类技术，用于识别和删除给定神经分类器和数据集的决策空间中的不确定区域。这种现有的公式采用了学习拒绝（删除）/选择（保持）功能，并需要一个已知的成本拒绝的例子或强约束的准确性或所选的例子的覆盖范围。我们考虑一种替代方案，通过分析互补拒绝区域并采用验证集来学习每类softmax阈值。我们的目标是最大限度地提高所选示例的准确性，并对被拒绝的示例进行自然随机性允许（拒绝比正确预测更不正确的预测）。我们提供的结果显示了所提出的方法优于使用最先进的预训练模型对二维点，图像和文本分类数据集进行简单阈值校准/未校准的softmax分数的好处。源代码可在https://github.com/osu-cvl/learning-idk上获得。
2023-02-15 cs.CV cs.LG
Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs
University of Oxford（牛津大学）
分类器和生成器早就分开了。我们打破了这种分离，并展示了传统的神经网络分类器可以生成大量类别的高质量图像，与最先进的生成模型（例如，DDPM和GANs）。我们通过计算分类损失函数相对于输入的偏导数来优化输入以产生图像来实现这一点。由于众所周知，直接优化的输入是类似于有针对性的对抗攻击无法生成人类有意义的图像，我们提出了一个基于掩码的随机重建模块，使梯度语义感知合成似是而非的图像。我们进一步提出了一个渐进的分辨率技术，以保证保真度，产生逼真的图像。此外，我们引入了距离度量损失和非平凡分布损失，以确保分类神经网络可以合成多样化和高保真的图像。使用传统的神经网络分类器，我们可以在ImageNet上生成256 $\times$ 256分辨率的高质量图像。有趣的是，我们的方法也适用于文本到图像生成的图像-文本基础模型作为广义分类器。证明分类器已经学习了数据分布并准备好生成图像具有深远的意义，因为分类器比DDPM和GANs等生成模型更容易训练。我们甚至不需要训练分类模型，因为有大量的公共模型可供下载。此外，这对于分类器的可解释性和鲁棒性具有巨大的潜力。项目页面位于\url{https://classifier-as-generator.github.io/}。
2022-12-08 cs.AI cs.CV cs.LG
Web spam classification using supervised artificial neural network algorithms
Integral University（英特拉尔大学）
由于垃圾邮件发送者所采用的技术的快速增长，需要更有效、通用和高度自适应的分类器。基于神经网络的技术具有很强的自适应能力和泛化能力。据我们所知，在这一领域中使用神经网络的工作很少。我们提出本文来填补这一空白。本文通过创建分类器来评估人工神经网络的三种监督学习算法的性能，以解决最新Web垃圾邮件模式分类的复杂问题。这些算法是共轭梯度算法，弹性反向传播学习和Levenberg-Marquardt算法。
2015-02-12 cs.LG cs.NE
Boosting, Voting Classifiers and Randomized Sample Compression Schemes
Aarhus University（奥胡斯大学）；Georg-August Universität Göttingen（哥廷根大学）
针对投票分类器理论性能次优问题，提出一种随机化boosting算法，通过扩展样本压缩方法构建通用框架，使泛化误差仅含单一对数依赖，打破已有下界障碍。
2024-12-20 cs.LG stat.ML
