Designing labeled graph classifiers by exploiting the Rényi entropy of the dissimilarity representation
University of Exeter(埃克塞特大学)
将模式表示为标记图在计算智能的广泛领域中变得越来越普遍。因此,广泛的模式识别工具,如分类器和知识发现程序,现在是可用的,并测试各种数据集的标记图。然而,设计有效的学习过程中操作的标记图的空间仍然是一个具有挑战性的问题,特别是从计算复杂性的观点。在本文中,我们提出了一个重大改进的通用分类图,这是设想之间的相互作用相异性表示,聚类,信息理论技术,进化优化算法。改进的重点是一个特定的关键子程序设计压缩的输入数据。我们证明了不同的定理,这是根本的设置控制这样的压缩操作的参数。我们证明了所得到的分类器的有效性,通过基准测试开发的变种在著名的数据集的标记图,考虑作为不同的性能指标的分类精度,计算时间,和简约的合成分类模型的结构复杂性。结果表明,国家的最先进的标准,在测试集的准确性和相当大的速度为关注的计算时间。
2017-04-20 cs.CV cs.IT math.IT
What classifiers know what they don't?
Facebook AI Research(脸书人工智能研究院)
面对未知时的不确定性是智能决策的关键。然而,机器学习算法缺乏关于其预测不确定性的可靠估计。这会导致在训练过程中遇到看不见的类时做出错误和过于自信的决定。尽管为分类器配备为现实世界准备的不确定性估计很重要,但之前的工作主要集中在小数据集上,并且训练和测试数据之间几乎没有类别差异。为了缩小这一差距,我们引入了UIMNET:一个现实的、ImageNet规模的测试平台,用于评估深度图像分类器的预测不确定性估计。我们的基准测试提供了八种最先进的算法,六种不确定性度量,四种域内度量,三种域外度量的实现,以及一个全自动的管道来训练,校准,集成,选择和评估模型。我们的测试台是开源的,我们所有的结果都可以从我们存储库中的固定提交中重现。添加新的数据集、算法、度量或指标只需要几行代码,因此希望UIMNET成为不确定性估计中现实、严格和可重复研究的垫脚石。我们的研究结果表明,合奏的ERM分类器,以及单一的MIMO分类器是两个最好的替代品,目前可用于测量的不确定性域和域外类。
2021-07-13 cs.AI cs.LG
What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers
Technion(以色列理工学院);Amazon(亚马逊)
当部署用于风险敏感型任务时,深度神经网络必须包含不确定性估计机制。在这里,我们研究了深度架构与其各自的训练机制之间的关系,以及相应的选择性预测和不确定性估计性能。我们考虑了一些最流行的估计性能指标,包括AUROC,ECE,AURC以及覆盖率的选择性精度约束。我们提出了一个新的和全面的研究选择性预测和不确定性估计性能的523个现有的预训练的深度ImageNet分类器,可在流行的存储库。我们确定了许多以前未知的因素,影响不确定性估计,并检查不同的度量之间的关系。我们发现,基于蒸馏的训练方案始终比其他训练方案(如香草训练,更大数据集上的预训练和对抗训练)产生更好的不确定性估计。此外,我们发现一个子集的ViT模型,优于任何其他模型的不确定性估计性能。例如,我们发现ImageNet上的ViT模型在47%的覆盖率下获得了前所未有的99%的top-1选择准确率(在80%的覆盖率下获得了95%的top-1准确率),而竞争对手EfficientNet-V2-XL在任何覆盖率水平下都无法获得这些准确率约束。我们的配套论文也发表在ICLR 2023(A framework for benchmarking class-分布外检测and its application to ImageNet)上,研究了这些分类器在class-out-of-distribution设置中的性能。
2023-02-23 cs.CV cs.LG
Does Your Dermatology Classifier Know What It Doesn't Know? Detecting the Long-Tail of Unseen Conditions
Google Health(谷歌健康);Google Research(谷歌研究院);DeepMind(深度思维)
我们开发并严格评估了一个基于深度学习的系统,该系统可以准确地对皮肤状况进行分类,同时检测没有足够数据可用于训练自信分类器的罕见状况。我们框架这个任务作为一个外的分布(OOD)检测问题。我们的新方法,分层离群值检测(HOD)为每个训练离群值类分配多个分类类,并联合执行内点与离群值的粗分类,以及各个类的细粒度分类。我们证明了HOD损失的有效性与现代表示学习方法(BiT,Simplified,MICLe),并探索不同的集成策略,以进一步改善结果。我们在不同风险水平和不同皮肤类型的条件下进行了广泛的亚组分析,以研究OOD检测性能在每个亚组中的变化,并证明我们的框架与基线相比的收益。最后,我们引入了一个成本指标来近似下游临床影响。我们使用这个成本指标来比较所提出的方法与基线系统,从而使一个更强的情况下,在现实世界的部署方案的整体系统的有效性。
2021-04-08 cs.CV cs.LG
What is Your Metric Telling You? Evaluating Classifier Calibration under Context-Specific Definitions of Reliability
University of Maryland, College Park(马里兰大学帕克分校);Software Engineering Institute(软件工程研究所);Carnegie Mellon University(卡内基梅隆大学)
分类器校准最近受到了机器学习团体的关注,这是由于其在促进决策制定方面的实际效用,以及观察到现代神经网络分类器校准不良。这种关注的大部分已经朝向学习分类器的目标,使得它们的输出具有最大幅度(“预测类”)被校准。然而,这种对分类器输出的狭义解释并不能充分捕捉分类器可以帮助决策的各种实际用例。在这项工作中,我们认为,更有表现力的指标,必须制定准确地测量校准误差的具体情况下,将部署一个分类器。为此,我们得出了一些不同的指标,使用概括的预期校准误差(ECE),测量校准误差下的不同定义的可靠性。然后,我们提供了一个广泛的经验评估常用的神经网络架构和校准技术相对于这些指标。我们发现:1)仅关注预测类的ECE定义在选择实际有用的可靠性定义的情况下不能准确地测量校准误差,以及2)许多常见的校准技术不能在从这些不同的可靠性定义导出的ECE度量上均匀地改进校准性能。
2022-05-23 cs.LG
What do Deep Networks Like to See?
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);TU Kaiserslautern(凯撒斯劳滕工业大学)
我们提出了一种新的方法来测量和理解卷积神经网络,通过量化他们让输入信号的数量。为了做到这一点,自动编码器(AE)对来自具有固定参数的预训练分类器的梯度进行了微调。我们比较了在一组图像分类器(AlexNet,VGG 16,ResNet-50和Inception~v3)上进行微调的AE的重建样本,并发现了实质性差异。AE根据反向传播梯度中编码的信息,学习保留输入空间的哪些方面,忽略哪些方面。当一个分类器的信号被第二个分类器使用时,测量精度的变化,出现了全阶关系。该顺序直接取决于每个分类器的输入信号,但与分类精度或网络大小无关。通过测量原始图像和来自不同微调AE的自动编码重建之间的归一化互信息,提供了这种现象的进一步证据。这些发现在神经网络理解领域开辟了新天地,为推理、调试和解释其结果开辟了新途径。我们在文献中提出了四个具体的例子,现在可以用模型使用的输入信号来解释观测结果。
2018-03-22 cs.CV cs.LG
Visual Branch is What You Need for CLIP-based Class-Incremental Learning
Nanjing University(南京大学);Hong Kong Polytechnic University(香港理工大学)
针对CLIP类增量学习中文本分支因模态差距而性能不佳的问题,提出纯视觉方法VIS,利用视觉特征构建增量分类器,实现高效更新并达到最优性能。
2026-10-01 cs.CV cs.LG
Memorisation, convergence and generalisation in generative models
INRIA Paris & DI ENS, PSL University, Paris, France(巴黎国家信息与自动化研究所(INRIA)及巴黎高等师范学院(ENS)与巴黎大学(PSL University));International School of Advanced Studies (SISSA), Trieste, Italy(意大利国际高级研究学院(SISSA))
本文研究了生成模型中记忆、收敛和泛化的区别,通过线性生成模型的分析,发现当样本数与输入维度成线性关系时,模型会从记忆过渡到泛化,并揭示了泛化包含两个不同目标:匹配数据分布的主体和恢复数据的主潜在因素。
2026-05-20 cond-mat.dis-nn cond-mat.stat-mech cs.LG
What to Expect of Classifiers? Reasoning about Logistic Regression with Missing Features
University of California, Los Angeles(加州大学洛杉矶分校)
虽然判别分类器通常会产生很强的预测性能,但在预测时丢失特征值仍然是一个挑战。分类器可能不会表现出预期的某些方式下,取代缺失的值,因为他们固有的假设数据分布,他们是trainedon.In本文中,我们提出了一种新的框架,分类的例子与丢失的功能,通过计算预期的预测相对于一个功能分布。此外,我们使用几何编程来学习朴素贝叶斯分布,该分布嵌入给定的逻辑回归分类器,并可以有效地进行预期预测。实证评估表明,我们的模型在观察到所有特征的情况下实现了与逻辑回归相同的性能,并且在预测时间内特征丢失时优于标准插补技术。此外,我们证明了我们的方法可以用来生成逻辑回归分类的“充分解释”,通过删除不影响分类的功能。
2019-06-01 cs.AI cs.LG stat.ML
What is Fair? Exploring Pareto-Efficiency for Fairness Constrained Classifiers
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Google AI(谷歌人工智能)
学习模型放大现有社会偏见的潜力已得到广泛认可。公平感知分类器约束,它适用于在敏感属性(如种族和性别)上定义的子组之间的性能的平等度量,试图纠正不公平,但可能会产生不均匀的性能下降偏斜的数据集。在某些领域,不平衡的性能下降可能会产生另一种形式的无意偏见。本着构建公平意识算法作为社会当务之急的精神,我们探索了一种替代方案:帕累托有效公平(PEF)。从理论上讲,我们证明了PEF确定的帕累托曲线上的分组性能最接近的公平超平面,最大限度地提高多个子群的准确性的操作点。从经验上讲,我们证明,PEF优于实现帕累托水平的准确性相比,严格的公平性约束,在几个UCI数据集的所有子组。
2019-10-30 cs.LG stat.ML
A probability calibrator for machine-learning classifiers
Western Norway University of Applied Sciences(西挪威应用科学大学);Haukeland University Hospital(豪克兰大学医院)
本研究提出一种机器学习分类器的概率校准器,通过计算分类器输出条件下的概率,结合效用最大化实现最优决策,在高度不平衡药物发现数据集上验证了其性能提升效果。
2026-10-20 cs.LG physics.data-an stat.ML
What You See is What You Classify: Black Box Attributions
Swiss Data Science Center(瑞士数据科学中心);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
提出训练第二个深度网络Explainer为预训练黑盒分类器生成掩码形式的归因,单次前向传播即可高效生成更清晰精确的特定类别掩码,在视觉和定量上优于现有方法。
2022-10-07 cs.AI cs.CV cs.LG
Vicarious Offense and Noise Audit of Offensive Speech Classifiers: Unifying Human and Machine Disagreement on What is Offensive
Rochester Institute of Technology(罗切斯特理工学院);Aston University(阿斯顿大学);George Mason University(乔治梅森大学)
本文通过噪声审计和新数据集,揭示了人类和机器对攻击性言论的分歧,并发现政治倾向和敏感问题影响攻击性判断。
2026-02-03 cs.CL cs.CY cs.LG
What Cosine Similarity of Label Representations Can and Cannot Tell us
IT University of Copenhagen(丹麦哥本哈根技术大学);School of Mathematics, University of Edinburgh(爱丁堡大学数学学院)
本文证明对于softmax分类器,标签表示(称为unembedding)之间的余弦相似度不提供模型概率的任何信息,而对于sigmoid分类器,所有成对余弦相似度定义了可能的标签组合集。
2026-06-01 cs.LG
What You Read is What You Classify: Highlighting Attributions to Text and Text-Like Inputs
Johns Hopkins Applied Physics Laboratory(约翰霍普金斯应用物理实验室);Google DeepMind(谷歌DeepMind)
本文提出一种针对基于token分类器的可解释AI方法,通过mask机制生成可读解释,适用于文本等离散输入。
2026-03-19 cs.LG q-bio.GN
What Is The Performance Ceiling of My Classifier? Utilizing Category-Wise Influence Functions for Pareto Frontier Analysis
Bellini College of AI, Cybersecurity, and Computing, University of South Florida(人工智能、网络安全与计算学院,佛罗里达州立大学);Michtom School of Computer Science, Brandeis University(计算机科学学院,布兰迪斯大学)
本文提出类别级影响函数,开发准则判断模型是否可改进,并设计线性规划样本重加权框架,以估计和实现分类器的帕累托性能改进,确定其性能上限。
2026-07-31 cs.LG
What is Adversarial Training for Diffusion Models?
Sapienza University of Rome(罗马大学);University of Bologna(博洛尼亚大学)
本文揭示了扩散模型对抗训练需保持等变性而非不变性,提出一种通过添加随机或对抗噪声无缝集成到扩散训练的方法,显著提升了模型对噪声、数据损坏及对抗攻击的鲁棒性。
2025-05-27 cs.CV cs.LG
Semantic Adversarial Attacks: Parametric Transformations That Fool Deep Classifiers
Iowa State University(爱荷华州立大学)
深度神经网络已经被证明对被不可感知的扰动破坏的对抗性输入图像表现出有趣的脆弱性。然而,大多数对抗攻击都假设对图像像素空间进行全局的细粒度控制。在本文中,我们考虑一个不同的设置:如果对手只能改变输入图像的特定属性会发生什么?这些将生成可能明显不同的输入,但仍然看起来很自然,足以欺骗分类器。我们提出了一种新的方法来生成这样的“语义”对抗的例子,通过优化一个特定的对抗损失的范围空间的参数条件生成模型。我们展示了我们对在人脸图像上训练的二进制分类器的攻击的实现,并表明存在这种看起来自然的语义对抗示例。我们评估我们的攻击的有效性合成和真实的数据,并与现有的攻击方法进行了详细的比较。我们补充我们的经验结果与理论界证明存在这样的参数对抗的例子。
2019-08-15 cs.CV cs.LG
Seeing and hearing what has not been said; A multimodal client behavior classifier in Motivational Interviewing with interpretable fusion
CNRS(法国国家科学研究中心);Sorbonne University(索邦大学);Bordeaux University(波尔多大学)
针对动机访谈中来访者话语的MISC分类问题,提出融合文本、韵律、面部与身体特征的多模态可解释分类器,并基于AnnoMI标注识别关键模态。
2023-09-27 cs.AI cs.CL cs.LG
What Does It Take to Build a Performant Selective Classifier?
Princeton University(普林斯顿大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文形式化选择性分类器的性能差距,分解为五种误差来源,证明后处理校准作用有限,提出需特征感知校准和分布鲁棒训练以逼近理想预言机。
2025-10-24 cs.AI cs.LG stat.ML
Unsupervised Supervised Learning II: Training Margin Based Classifiers without Labels
School of Computational Science and Engineering(计算科学与工程学院);College of Computing(计算学院);Georgia Institute of Technology(佐治亚理工学院);Yahoo! Labs(雅虎实验室)
许多流行的线性分类器,如逻辑回归、boosting或SVM,都是通过优化基于边缘的风险函数来训练的。传统上,这些风险函数是基于标记数据集计算的。我们开发了一种新的技术来估计这种风险,只使用未标记的数据和边缘标签分布。我们证明了所提出的风险估计器在高维数据集上是一致的,并在合成数据和真实数据上进行了证明。特别是,我们展示了如何在迁移学习中使用估计来评估分类器,以及如何在没有标记数据的情况下训练分类器。
2010-07-21 cs.LG
Explaining Classifiers by Constructing Familiar Concepts
University of Liechtenstein(列支敦士登大学);University of Lausanne(洛桑大学)
在深度学习中解释大量的神经元是困难的。我们提出的“CLAsifier-DECoder”架构(ClaDec)有助于理解任意神经元层或其子集的输出。它使用一个解码器,将给定神经元的不可理解的表示转换为与人类熟悉的领域更相似的表示。在图像识别问题中,可以通过将ClaDec的重构图像与用作参考的常规自动编码器(AE)的重构图像进行对比来识别层保持什么信息(或概念)。Cladec的扩展允许交易的可理解性和保真度。我们使用卷积神经网络评估我们的图像分类方法。我们表明,重建的可视化使用编码从一个分类器捕获更多的相关分类信息比传统的AE。尽管AE包含关于原始输入的更多信息,但这仍然成立。我们的用户研究强调,即使是非专家也可以识别图像中包含的与分类器相关(或不相关)的各种概念。我们还比较了基于显着性的方法,专注于像素的相关性,而不是概念。我们表明,CLADec往往突出更相关的输入领域的分类,虽然结果取决于分类器架构。代码位于\url{https://github.com/JohnTailor/ClaDec}
2022-03-07 cs.CV cs.LG
Image Synthesis with a Single (Robust) Classifier
MIT(麻省理工学院)
我们表明,基本的分类框架可以单独用于解决图像合成中一些最具挑战性的任务。与其他最先进的方法相比,我们开发的工具包相当小:它使用单个现成的分类器来完成所有这些任务。我们的方法的关键是,我们训练这个分类器是对抗强大的。事实证明,对抗鲁棒性正是我们直接操纵输入的显著特征所需要的。总的来说,我们的研究结果证明了鲁棒性在更广泛的机器学习背景下的实用性。我们实验的代码和模型可以在https://git.io/robust-apps上找到。
2019-08-08 cs.CV cs.LG cs.NE
Open Set Recognition Through Deep Neural Network Uncertainty: Does Out-of-Distribution Detection Require Generative Classifiers?
Goethe University(歌德大学)
我们提出了一个基于预测不确定性的分析分布外检测的不同方法来估计各种模型的认知不确定性,并将其与基于极值理论的开集识别。虽然前者似乎不足以克服这一挑战,我们证明,不确定性与后者的方法齐头并进。这似乎特别反映在生成模型方法中,我们表明基于后验的开集识别优于判别模型和基于预测不确定性的离群值拒绝,提出了一个问题,即分类器是否需要生成,以便知道他们没有看到什么。
2019-08-26 cs.CV cs.LG stat.ML
Benford's law: what does it say on adversarial images?
本研究探究自然图像与对抗样本图像的统计差异,发现经合适变换后,对抗样本图像的像素首位数字分布会偏离本福特定律,且攻击越强偏差越大,为无需修改原分类器的对抗检测提供了新思路。
2023-03-06 cs.AI cs.CV cs.LG
Classifier-Free Diffusion Guidance
Google Research(谷歌研究院)
分类器指导是最近引入的在条件扩散后训练中权衡模式覆盖和样本保真度的方法,其精神与其他类型的生成模型中的低温温度采样或截断相同。分类器引导将扩散模型的分数估计与图像分类器的梯度相结合,从而需要训练与扩散模型分离的图像分类器。它还提出了一个问题,即是否可以在没有分类器的情况下进行指导。我们表明,指导确实可以由一个纯粹的生成模型没有这样的分类器:在我们所谓的无分类器引导,我们共同训练一个有条件和无条件的扩散模型,我们结合所得到的有条件和无条件的得分估计,以达到样本质量和多样性之间的权衡使用分类器的指导。
2022-07-26 cs.AI cs.LG
Pre or Post-Softmax Scores in Gradient-based Attribution Methods, What is Best?
Northwestern University(西北大学);DePaul University(德保罗大学)
该研究聚焦分类神经网络的梯度归因方法,对比了使用softmax前与softmax后得分梯度的实际差异及各自优缺点,为相关方法的选择提供参考。
2023-07-19 cs.AI cs.LG
You Only Need End-to-End Training for Long-Tailed Recognition
长尾数据集的泛化差距主要是由于大多数类别只占用少数训练样本。解耦训练通过分别训练骨干和分类器来实现更好的性能。是什么导致端到端模型训练的性能较差(例如,logits基于边际的方法)?在这项工作中,我们确定了影响分类器学习的一个关键因素:在输入分类器之前具有低熵的通道相关特征。从信息论的角度,我们分析了为什么交叉熵损失往往会产生高度相关的特征上的不平衡数据。此外,我们还从理论上分析和证明了它对分类器权重梯度、Hessian的条件数和基于logits边缘的方法的影响。因此,我们首先提出使用通道白化去相关(“分散”)分类器的输入解耦的权重更新和重塑倾斜的决策边界,这取得了令人满意的结果结合基于logits边缘的方法。然而,当小班人数较多时,批次不平衡和参与培训的人数过多会导致大班的过度拟合。我们还提出了两个新的模块,基于块的相对平衡批量采样器(B3 RS)和批量嵌入式训练(BET),以解决上述问题,这使得端到端的训练实现甚至比解耦训练更好的性能。在CIFAR-LT和ImageNet-LT两个长尾分类基准上的实验结果表明了该方法的有效性。
2023-03-10 cs.CV cs.LG
Normal Guidance is what Attention Needs
Department of Computer Science(计算机科学系)
提出Normal Guidance正则化技术,使基于注意力的多实例学习方法在3D医学图像切片级定位上超越现有方法,同时保持全扫描分类性能。
2026-05-26 cs.LG
What Does It Cost to Simulate a Quantum Sentence Classifier? An Energy and Compute Perspective on Near-Term QNLP
Heritage Institute of Technology(遗产理工学院)
本研究测量了近-term QNLP中VQC在SST-2分类上的模拟器计算成本,发现其训练时间比经典基线慢886至21,127倍,且性能优势不显著,能量消耗近似恒定,表明模拟成本是QNLP实际负担的重要部分。
2026-10-06 cs.CL cs.LG quant-ph
On the Minimal Supervision for Training Any Binary Classifier from Only Unlabeled Data
The University of Tokyo(东京大学);RIKEN(理化学研究所);Google(谷歌)
经验风险最小化(ERM)是监督分类的常用方法,它具有适当的损失函数和正则化。在本文中,我们研究训练任意(从线性到深度)的二元分类器从只有未标记的(U)数据的ERM。我们证明,这是不可能的,以无偏的方式估计任意的二元分类器的风险,给定一组U数据,但它成为可能给定两组U数据与不同的类先验。这两个事实回答了一个基本的问题-对于只从U数据训练任何二元分类器来说,最小的监督是什么。根据这些发现,我们提出了一个基于ERM的学习方法,从两组U数据,然后证明它是一致的。实验表明,该方法可以训练深度模型,并优于从两组U数据中学习的最新方法。
2019-03-12 cs.LG stat.ML
"What makes a question inquisitive?" A Study on Type-Controlled Inquisitive Question Generation
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Educational Testing Service(教育考试服务中心)
我们提出了一个类型控制的框架,好奇的问题生成。我们用问题类型注释一个查询问题数据集,训练问题类型分类器,并为类型控制的问题生成微调模型。实验结果表明,我们可以生成各种问题,坚持特定类型,同时从源文本中提取。我们还研究了从生成的集合中选择单个问题的策略,考虑到信息与~好奇问题分类器和从专家注释的小集合训练的成对排序器。使用成对排序器的问题选择在自动和手动评估中产生强有力的结果。我们的人工评估评估了生成的问题的多个方面,发现排名者选择了具有最佳语法(4.59),语义(4.37)和好奇心(3.92)的问题,评分范围为1-5,甚至可以与人类书面问题的表现相媲美。
2022-05-19 cs.AI cs.CL cs.LG
Scene Uncertainty and the Wellington Posterior of Deterministic Image Classifiers
UCLA(加州大学洛杉矶分校)
我们提出了一种方法来估计的不确定性的图像分类器的结果在一个给定的输入数据。通常用于图像分类的深度神经网络是从输入图像到输出类的确定性映射。因此,他们在给定数据上的结果不涉及不确定性,因此我们必须在定义、测量和解释不确定性时指定我们所指的可变性,并将“信心”归因于结果。为此,我们引入了惠灵顿后验,这是响应于可能由产生给定图像的相同场景生成的数据而获得的结果的分布。由于有无限多的场景可以产生任何给定的图像,惠灵顿后节涉及从描绘的场景以外的其他场景的感应转移。我们探讨了使用数据增强,辍学,ensembling,单视图重建,模型线性化计算惠灵顿后。附加方法包括使用条件生成模型,诸如生成对抗网络、神经辐射场和条件先验网络。我们测试这些方法对经验的后验通过执行相同的底层场景的多个图像上的推理。这些发展只是朝着以与安全关键应用和人类解释兼容的方式评估深度网络分类器的可靠性迈出的一小步。
2023-03-24 cs.CV cs.LG stat.ML
Improved Network Robustness with Adversary Critic
School of Electrical and Electronic Engineering(电气与电子工程学院);Nanyang Technological University(南洋理工大学)
理想情况下,让神经网络感到困惑的东西应该让人类感到困惑。然而,最近的实验表明,微小的、不可感知的扰动可以改变网络预测。为了解决这个差距的看法,我们提出了一种新的方法来学习强大的分类器。我们的主要思想是:用于鲁棒分类器的对抗性样本应该与对抗性目标的常规数据不可区分。我们在生成对抗网络(GAN)的框架下提出了一个学习鲁棒分类器的问题,其中对分类器的对抗攻击充当生成器,批评者网络学习区分常规图像和对抗图像。分类器的成本增加的目标,其对抗性的例子应该混淆对手的批评。为了提高对抗映射的稳定性,我们引入对抗循环一致性约束,保证对抗样本的对抗映射接近原始映射。在实验中,我们证明了我们的防御的有效性。我们的方法在用对抗训练训练的鲁棒性网络方面超越了。此外,我们在MTurk上与人类注释者的实验中验证了对抗性示例确实在视觉上令人困惑。该项目的代码可在https://github.com/aam-at/adversary_critic上查阅。
2018-10-30 cs.CV cs.LG stat.ML
HyConEx: Hypernetwork classifier with counterfactual explanations for tabular data
Faculty of Mathematics and Computer Science, Jagiellonian University(数学与计算机科学学院,杰兹维日大学);Wrocław University of Science and Technology(沃拉什大学技术学院);IDEAS Research Institute(IDEAS研究所)
HyConEx是一种基于深度超网络的表格数据分类器,能够生成反事实解释以解释模型决策并提升可解释性。
2026-03-10 cs.AI cs.LG
Adversarial Label Learning
Virginia Tech(弗吉尼亚理工大学)
我们考虑训练分类器的任务没有标签。我们提出了一种弱监督的方法-对抗标签学习-训练分类器,使其在对抗为训练数据选择标签的对手时表现良好。弱监管限制了对手可以选择的标签。因此,该方法使用投影原始-对偶次梯度下降来最小化分类器的出错率的上限。最小化这个界限可以防止弱监督中的偏见和依赖性。在三个真实数据集上的实验表明,该方法可以在没有标签的情况下进行训练,并且在弱监督学习中的性能优于其他方法。
2019-01-29 cs.AI cs.LG stat.ML
Text-to-Image Diffusion Models are Zero-Shot Classifiers
Google DeepMind(谷歌DeepMind)
提出利用扩散模型去噪能力作为标签似然代理的零样本分类方法,在多个数据集上与CLIP相当,并在形状/纹理偏差和属性绑定上超越CLIP,表明生成式预训练是视觉-语言任务的有力替代方案。
2023-09-05 cs.AI cs.CV cs.LG
Machine Unlearning: Linear Filtration for Logit-based Classifiers
St. Pölten University of Applied Sciences(圣帕尔滕应用科技大学);Management Center Innsbruck(因斯布鲁克管理中心)
最近颁布的立法赋予个人决定以何种方式使用其个人数据的某些权利,特别是“被遗忘权”。这给机器学习带来了挑战:当一个人撤回使用模型训练过程中数据的许可时,该如何继续?从这个问题中出现了机器遗忘领域,它可以被广泛地描述为如何“从模型中删除训练数据”的研究。我们的工作补充了这一研究方向,为分类模型(例如深度神经网络)的类范围删除请求的特定设置。作为第一步,我们提出线性过滤作为一种直观的,计算效率高的消毒方法。我们的实验证明了在对抗性环境中比天真删除方案的好处。
2020-07-08 cs.LG stat.ML
Never mind the metrics -- what about the uncertainty? Visualising confusion matrix metric distributions
本文探讨了分类器性能指标在不同不确定性模型下的分布,揭示了不确定性可能掩盖分类器实际表现差异,通过三维组合晶格和交互可视化展示ROC曲线空间中的性能指标轮廓。
2022-06-05 cs.LG stat.ML
DISSECT: Disentangled Simultaneous Explanations via Concept Traversals
Google Research(谷歌研究院);MIT(麻省理工学院)
正如许多学者所认为的那样,解释深度学习模型推理是科学理解、提高安全性、发现隐藏的偏见、评估公平性等方面的一个有前途的场所。反事实解释的主要好处之一是允许用户通过数据中不存在和不可能存在的东西来探索“假设”场景,这是许多其他形式的解释(如热图和影响函数)本质上无法做到的。然而,大多数以前的工作生成的可解释性不能有效地理清重要的概念,产生不切实际的例子,或未能保留相关的信息。我们提出了一种新的方法,DISSECT,共同训练一个发电机,一个机器人,和一个概念解开,以克服这些挑战,几乎没有监督。DISSECT生成概念遍历(CT),定义为一系列生成的示例,这些示例具有影响分类器决策的概念的增加程度。通过从分类器的信号中训练生成模型,DISSECT提供了一种自动发现分类器固有的不同概念的“概念”的方法,而不是依赖于用户预定义的概念。我们表明,DISSECT产生的CT(1)解开几个概念,(2)对分类器的决策有影响,并且由于联合训练而与其推理相耦合(3),是现实的,(4)保留相关信息,(5)在类似的输入中是稳定的。我们在几个具有挑战性的合成和现实的数据集上验证了DISSECT,以前的方法无法满足可解释性的理想标准,并表明它的表现一贯良好,优于现有的方法。最后,我们提出的实验显示应用DISSECT检测潜在的偏见的分类器和识别虚假的影响预测的文物。
2022-03-15 cs.AI cs.LG
An Empirical Study of MAUC in Multi-class Problems with Uncertain Cost Matrices
University of Science and Technology of China(中国科学技术大学)
成本敏感学习依赖于已知和固定成本矩阵的可用性。然而,在某些情况下,成本矩阵在训练期间是不确定的,并且在指定成本矩阵之后重新训练分类器将不是一个选项。对于二元分类,这个问题可以通过最大化ROC曲线下面积(AUC)度量的方法成功解决。由于AUC可以独立于训练期间的成本来衡量基本分类器的性能,并且在使用阈值移动方法的测试中,较大的AUC更可能导致较小的总成本。MAUC作为AUC在多类问题上的扩展,得到了广泛的关注和应用。虽然MAUC也独立于成本来衡量基本分类器的性能,但尚不清楚分类器的较大MAUC是否更有可能导致较小的总成本。事实上,在多类问题中,应该使用什么样的后处理方法来将基本分类器转换为离散分类器,以使总成本尽可能小,这一点也不清楚。在本文中,我们实证研究MAUC和分类器的总成本之间的关系,通过应用两类后处理方法。我们的研究结果表明,更大的MAUC也是有益的。有趣的是,将输出矩阵转换为后验概率的简单校准方法比现有的复杂后重新优化方法表现更好。
2012-09-09 cs.LG
Towards Understanding the Generalization Bias of Two Layer Convolutional Linear Classifiers with Gradient Descent
Carnegie Mellon University(卡内基梅隆大学)
理解深度学习泛化的一个主要挑战是解释为什么(随机)梯度下降可以利用网络架构找到在使用高容量模型时具有良好泛化性能的解决方案。我们发现简单但现实的例子表明,即使在学习线性分类器时也存在这种现象-在两个具有相同容量的线性网络之间,当数据分布具有某种潜在的空间结构时,具有卷积层的网络可以比另一个网络更好地泛化。我们认为,这种差异是由卷积架构、数据分布和梯度下降的组合造成的,所有这些都是有意义的分析所必需的。我们提供了一个一般的分析的泛化性能作为数据分布和卷积滤波器大小的函数,给定的梯度下降的优化算法,然后解释使用具体的例子的结果。实验结果表明,我们的分析是能够解释发生在我们介绍的例子。
2019-02-10 cs.LG stat.ML
End-to-End Physics Event Classification with CMS Open Data: Applying Image-Based Deep Learning to Detector Data for the Direct Classification of Collision Events at the LHC
University of Florida(佛罗里达大学);Carnegie Mellon University(卡内基梅隆大学)
本文介绍了新的端到端的基于图像的分类器,直接利用低级别的模拟探测器数据,以区分在欧洲核子研究中心的大型强子对撞机PP碰撞事件的信号和背景过程的建设。为了更好地理解端到端分类器能够从数据中学习什么,并解决一些相关的挑战,我们使用高保真模拟CMS开放数据将标准模型希格斯玻色子衰变为两个光子与其主要背景源区分开来。我们展示了端到端分类器从记录为电磁簇射的光子的角分布、其内在形状以及其组成命中的能量中学习的能力,即使底层粒子没有完全解决,在这种情况下也比纯粹基于运动学的分类器具有明显的优势。
2020-10-23 cs.CV cs.LG hep-ex
Tuning the Right Foundation Models is What you Need for Partial Label Learning
School of Computer Science and Engineering, Southeast University, Nanjing 210096, China(南京大学计算机科学与工程学院);Key Lab. of Computer Network and Information Integration (Southeast University), MoE, China(计算机网络与信息集成重点实验室(东南大学))
本文系统评估了11个基础模型在偏标签学习中的表现,并提出PartialCLIP高效微调框架,揭示了现有PLL方法的局限并给出改进方向。
2025-06-05 cs.LG
How many classifiers do we need?
University of California, Berkeley(加利福尼亚大学伯克利分校);University of Melbourne(墨尔本大学);Harmonic Discovery(谐波发现公司);ICSI(国际计算机科学研究所);LBNL(劳伦斯伯克利国家实验室)
针对数据与模型规模扩容收益递减下的集成分类性能提升问题,本文提出极化度概念与神经极化定律,推导多数投票误差紧上界与分歧度渐近行为,可用于预测多分类器集成性能,且经图像分类实验验证。
2024-11-01 cs.LG stat.ML
Reconstructing Training Data from Trained Neural Networks
Weizmann Institute of Science(魏茨曼科学研究所);TTI-Chicago(丰田工业大学芝加哥分校);Hebrew University(希伯来大学)
理解神经网络在多大程度上记忆训练数据是一个具有实际意义和理论意义的有趣问题。在本文中,我们表明,在某些情况下,一个显着的分数的训练数据,实际上可以重建从一个训练有素的神经网络分类器的参数。我们提出了一种新的重建方案,源于最近的理论结果的隐式偏差训练神经网络与基于梯度的方法。据我们所知,我们的研究结果是第一次表明,重建一个训练有素的神经网络分类器的实际训练样本的大部分通常是可能的。这对隐私有负面影响,因为它可以被用作泄露敏感训练数据的攻击。我们证明了我们的方法的二进制MLP分类器上的几个标准的计算机视觉数据集。
2022-12-05 cs.CR cs.CV cs.LG
Perturbation-Induced Linearization: Constructing Unlearnable Data with Solely Linear Classifiers
Huazhong University of Science and Technology(华中科技大学)
本文提出PIL方法,利用线性分类器生成扰动,以高效构建不可学习数据,减少计算成本并提升数据保护效果。
2026-01-29 cs.AI cs.LG