Novel Deep Neural Network Classifier Characterization Metrics with Applications to Dataless Evaluation
University of Miami（迈阿密大学）
针对大规模开源分类器选择困难的问题，提出无需示例数据集的DNN分类器训练质量评估方法，通过权重向量和合成数据特征向量表征分类器与特征提取器，实验验证其可行性。
2024-07-17 cs.AI cs.LG cs.NE
Efficient Computation of Shap Explanation Scores for Neural Network Classifiers via Knowledge Compilation
Millennium Institute for Foundational Research on Data（千年基础数据研究所）；SKEMA Business School（SKEMA商学院）；Universidad Adolfo Ibáñez（阿道夫·伊瓦涅斯大学）
针对神经网络这类黑盒分类器的Shap解释得分计算难解问题，提出基于逻辑知识编译将二值神经网络转换为可高效计算Shap的布尔电路的方法，实验显示性能提升显著。
2023-07-23 cs.AI cs.DB cs.LG
A Sneak Attack on Segmentation of Medical Images Using Deep Neural Network Classifiers
The George Washington University（乔治华盛顿大学）
我们没有使用当前的深度学习分割模型（如UNet和变体），而是使用经过训练的卷积神经网络（CNN）分类器来解决分割问题，这些分类器可以自动从图像中提取重要特征进行分类。这些提取的特征可以可视化，并使用梯度加权类激活映射（Grad-CAM）形成热图。该研究测试了热图是否可以用于分割分类目标。我们还提出了一种用于热图的评估方法;即，使用热图过滤的图像重新训练CNN分类器并检查其性能。我们使用平均骰子系数来评估分割结果。我们的实验结果表明，热图可以定位和分割部分肿瘤区域。但是仅使用来自CNN分类器的热图可能不是用于分割的最佳方法。我们已经验证了CNN分类器的预测主要取决于肿瘤面积，并且Grad-CAM热图中的暗区域也有助于分类。
2022-01-28 cs.AI cs.CV cs.LG
On Resource-Efficient Bayesian Network Classifiers and Deep Neural Networks
Graz University of Technology（格拉茨技术大学）；Ruprecht Karls University（鲁普莱希特-卡尔斯大学）
我们提出了两种方法来降低贝叶斯网络（BN）分类器的复杂性。首先，我们引入了量化感知训练，使用直通梯度估计器将BN的参数扩展到几个比特。其次，我们扩展了最近提出的可微树增强朴素贝叶斯（TAN）结构学习方法，也考虑模型的大小。这两种方法都受到了深度学习社区的最新发展的启发，它们提供了在模型大小和预测准确性之间进行权衡的有效手段，这在广泛的实验中得到了证明。此外，我们将量化BN分类器与量化深度神经网络（DNN）进行了对比，用于文献中几乎没有研究的小规模场景。我们展示了帕累托最优模型的模型大小，操作次数和测试误差，并发现这两个模型类都是可行的选择。
2021-09-22 cs.AI cs.LG stat.ML
Application of the Multi-label Residual Convolutional Neural Network text classifier using Content-Based Routing process
在这篇文章中，我们将提出一个自然语言处理的文本分类过程中使用基于内容的路由器。本文的最终目标是从广告的纯文本中预测合法广告所描述的事件。这个问题纯粹是一个监督问题，将涉及使用NLP技术和传统的建模方法，通过使用多标签残差卷积神经网络的文本分类。我们将解释到位的方法来解决分类广告的问题，遇到的困难和实验结果。
2022-09-30 cs.AI cs.CL cs.LG
Training toward significance with the decorrelated event classifier transformer neural network
University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对粒子物理质量共振搜索的分析区域分箱需求，提出采用特殊技术训练的事件分类器Transformer，可提升显著性并降低输出与重建质量的相关性，性能优于提升决策树和前馈网络。
2024-07-11 cs.AI cs.LG hep-ex
Natural Perturbed Training for General Robustness of Neural Network Classifiers
University of Amsterdam（阿姆斯特丹大学）；UvA-Bosch Delta Lab（UvA-博世三角洲实验室）
我们专注于神经网络的分类的鲁棒性。为了允许公平的方法之间的比较，以实现鲁棒性，我们首先介绍了一个标准的基础上测定分类器的退化。然后，我们提出自然扰动训练来增强网络的鲁棒性。在实践中会遇到自然扰动：同一对象的两个图像的差异可以通过弹性变形（当它们具有略微不同的视角时），通过遮挡（当它们以不同的方式隐藏在对象后面时）或通过饱和度，高斯噪声等来近似。我们对六个不同大小和粒度的数据集进行了广泛的实验。自然扰动学习在干净、对抗以及自然扰动图像上表现出比对抗训练更好、更快的性能。它甚至提高了对训练期间未看到的扰动的总体鲁棒性。对于Cifar-10和STL-10，自然扰动训练甚至提高了干净数据的准确性，达到了最先进的性能。消融研究验证了自然扰动训练的有效性。
2021-03-21 cs.AI cs.CV cs.LG
Signature Verification using Geometrical Features and Artificial Neural Network Classifier
Indian Institute of Information Technology Allahabad（印度阿拉哈巴德信息技术学院）
签名验证一直是计算机视觉领域的主要研究领域之一。许多金融和法律组织使用签名验证作为访问控制和身份验证。签名图像的纹理并不丰富，但却包含了许多重要的几何信息。通过这项工作，我们提出了一个签名验证方法，是简单而有效的。本文提出的技术利用签名图像的几何特征，例如中心、孤立点、连通分量等，利用人工神经网络（ANN）分类器的功能，根据签名图像的几何特征对签名图像进行分类。公开可用的数据集MCYT，BHSig260（包含两个区域语言孟加拉语和印地语的图像）已在本文中被用来测试所提出的方法的有效性。我们在MCYT 100数据集上获得了较低的等出错率（EER），在BHSig260数据集上获得了较高的准确度。
2021-08-04 cs.AI cs.CV
Dynamic Connected Neural Decision Classifier and Regressor with Dynamic Softing Pruning
AInnovation Technology Ltd.（安创新科技有限公司）
为了处理复杂度不同的数据集，本文提出了一种自适应学习模型，该模型结合了动态连接神经决策网络（DNDN）和一种新的剪枝方法--动态软剪枝（DSP）。DNDN是随机森林和深度神经网络的结合，兼具树状结构的强大分类能力和网络结构的表示学习能力的优点。本文在深度神经决策森林（DNDF）的基础上，采用端到端的训练方法，用多个随机初始化的softmax层来表示分类分布，从而进一步允许多个随机森林的集成附着到神经网络的不同深度的层上。我们还提出了一种软修剪方法DSP，自适应地减少网络的冗余连接，以避免过拟合简单的数据集。与未修剪的模型相比，该模型没有表现出性能损失，并且对不同的数据和特征分布具有更高的鲁棒性。在不同数据集上的大量实验表明，该模型在解决分类任务方面优于其他流行的算法。
2021-02-22 cs.AI cs.LG stat.ML
DeepFlorist: Rethinking Deep Neural Networks and Ensemble Learning as A Meta-Classifier For Object Classification
University of Melbourne（墨尔本大学）
本文提出DeepFlorist花卉分类范式，以集成学习作为元分类器，结合DCNN与CNN提取特征，在基准数据集上取得优于现有方法的准确率与鲁棒性，推动了植物分类与生态研究应用。
2023-07-04 cs.AI cs.CV cs.DC
Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs
University of Oxford（牛津大学）
分类器和生成器早就分开了。我们打破了这种分离，并展示了传统的神经网络分类器可以生成大量类别的高质量图像，与最先进的生成模型（例如，DDPM和GANs）。我们通过计算分类损失函数相对于输入的偏导数来优化输入以产生图像来实现这一点。由于众所周知，直接优化的输入是类似于有针对性的对抗攻击无法生成人类有意义的图像，我们提出了一个基于掩码的随机重建模块，使梯度语义感知合成似是而非的图像。我们进一步提出了一个渐进的分辨率技术，以保证保真度，产生逼真的图像。此外，我们引入了距离度量损失和非平凡分布损失，以确保分类神经网络可以合成多样化和高保真的图像。使用传统的神经网络分类器，我们可以在ImageNet上生成256 $\times$ 256分辨率的高质量图像。有趣的是，我们的方法也适用于文本到图像生成的图像-文本基础模型作为广义分类器。证明分类器已经学习了数据分布并准备好生成图像具有深远的意义，因为分类器比DDPM和GANs等生成模型更容易训练。我们甚至不需要训练分类模型，因为有大量的公共模型可供下载。此外，这对于分类器的可解释性和鲁棒性具有巨大的潜力。项目页面位于\url{https://classifier-as-generator.github.io/}。
2022-12-08 cs.AI cs.CV cs.LG
Quantum Neural Network Classifiers: A Tutorial
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
机器学习在过去十年中取得了巨大的成功，应用范围从人脸识别到自然语言处理。与此同时，量子计算领域取得了快速进展，包括开发强大的量子算法和先进的量子器件。机器学习和量子物理学之间的相互作用具有将实际应用带到现代社会的有趣潜力。在这里，我们专注于参数化量子线路形式的量子神经网络。我们将主要讨论用于监督学习任务的量子神经网络的不同结构和编码策略，并利用Julia语言编写的量子模拟包Yao.jl对其性能进行基准测试。这些代码是高效的，旨在为科学工作的初学者提供方便，例如开发强大的变分量子学习模型和辅助相应的实验演示。
2022-07-12 cond-mat.dis-nn cs.AI cs.LG
Robust-by-Design Classification via Unitary-Gradient Neural Networks
Scuola Superiore Sant’Anna（圣安娜高等研究院）
由于存在对抗攻击，在安全关键系统中使用神经网络需要安全和鲁棒的模型。知道任何输入x的最小对抗扰动，或者等价地，知道x与分类边界的距离，允许评估分类鲁棒性，提供可验证的预测。不幸的是，用于计算这种距离的现有技术在计算上是昂贵的，因此不适合在线应用。这项工作提出了一种新的分类器家族，即符号距离分类器（SDC），从理论角度来看，直接输出x与分类边界的精确距离，而不是概率得分（例如，SoftMax）。SDC代表了一系列鲁棒设计分类器。为了实际解决SDC的理论要求，提出了一种新的网络结构，称为酉梯度神经网络。实验结果表明，所提出的架构近似于一个有符号的距离分类器，因此允许一个在线的可证明的分类x的成本一个单一的推理。
2022-09-09 cs.AI cs.LG math.DG
