Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity
Department of Computer Science and Engineering, The Ohio State University(计算机科学与工程系,俄亥俄州立大学)
本文通过简单余弦相似度分析Transformer逐层表示相似性,提出对齐训练方法增强浅层有效性,实现单分类器多出口模型,性能与标准多出口架构相当。
2025-05-22 cs.AI cs.CL cs.CV
A Novel Equation based Classifier for Detecting Human in Images
Assam Don Bosco University(阿萨姆唐博斯科大学)
基于形状的分类是计算机视觉领域中最具挑战性的任务之一。在物体识别中起着至关重要的作用。图像中的基本形状可以以不同的比例、位置和方向出现。特别是在检测人体时,由于人体的大小、形状、姿势和服装变化很大,因此任务变得更具挑战性。因此,在我们的工作中,我们检测人,基于头肩形状,因为它是人体最不变的部分。在这里,首先,一个新的和一个新的方程命名为欧米茄方程,描述了人类的头肩形状的开发和基于此方程,分类器的设计,特别是用于检测场景中的人的存在。分类器通过分析从Omega方程获得的参数值的一些判别特征来检测人。所提出的方法已经在各种形状数据集上进行了测试,同时考虑到人类头肩形状的复杂性。在所有的实验中,所提出的方法表现出令人满意的结果。
2013-07-22 cs.CV
Two-stage Image Classification Supervised by a Single Teacher Single Student Model
University of Macau(澳门大学)
两阶段策略在图像分类中得到了广泛的应用。然而,这些方法在第二预测阶段几乎没有考虑第一阶段的分类标准。在本文中,我们提出了一种新的两阶段表示方法(TSR),并将其转化为一个单教师单学生(STSS)问题在我们的两阶段图像分类框架。我们寻求测试样本的最近邻居来选择候选目标类。同时,第一阶段分类器被制定为教师,它持有分类分数。在第二阶段,候选类的样本被用来学习基于L2最小化的学生分类器。学生将由教师分类器监督,只有当学生获得更高的分数时,教师分类器才会批准学生。实际上,所提出的框架通过以一种新的方式分级两个较弱的分类器来生成更强的分类器。在几个人脸和物体数据库上进行的实验表明,我们提出的框架是有效的,优于多种流行的分类方法。
2019-09-26 cs.CV cs.LG eess.IV
Picasso: A Modular Framework for Visualizing the Learning Process of Neural Network Image Classifiers
Merantix GmbH(Merantix 有限公司)
Picasso是一个用Python编写的免费开源(Eclipse公共许可证)Web应用程序,用于渲染标准可视化,用于分析卷积神经网络。Picasso附带了遮挡图和显着图,这两种可视化有助于揭示损失和准确性等评估指标可能隐藏的问题:例如,学习代理分类任务。Picasso使用Tensorflow深度学习框架和Keras(当模型可以加载到Tensorflow后端时)。深度学习研究人员和工程师可以在各种神经网络架构中以最小的配置使用毕加索。添加新的可视化很简单:用户可以从应用程序代码中单独指定其可视化代码和HTML模板。
2017-09-11 cs.CV cs.SE
Analyzing features learned for Offline Signature Verification using Deep CNNs
Federal University of Parana(巴拉那联邦大学)
离线手写签名验证研究探索了大量的手工特征提取,从笔迹,纹理描述符到兴趣点。尽管在过去的几十年中取得了进步,但当我们针对特定个体的熟练伪造签名伪造者测试系统时,这种系统的性能仍然远远不是最佳的。在以前的研究中,我们提出了一个问题的公式,使用深度卷积神经网络(CNN)以独立于写入器的格式从数据(签名图像)中学习特征,以提高任务的性能。在这项研究中,我们进一步推动了这种方法的性能,探索了一系列的架构,并在GPDS数据集上获得了最先进的性能的大幅改善,GPDS数据集是该任务中最大的公开数据集。在GPDS-160数据集中,我们获得了2.74%的相等出错率,而文献中发表的最佳结果为6.97%(使用多个分类器的组合)。我们还提出了一个视觉分析的模型学习的特征空间,并分析了分类器的错误。我们的分析表明,该模型在分离具有不同全局外观的签名方面非常有效,同时特别容易受到与真实签名非常相似的伪造的影响,即使它们的线路质量很差,这就是缓慢跟踪伪造的情况。
2016-08-26 cs.CV stat.ML
DiG-IN: Diffusion Guidance for Investigating Networks -- Uncovering Classifier Differences Neuron Visualisations and Visual Counterfactual Explanations
Tübingen AI Center – University of Tübingen(蒂宾根大学蒂宾根人工智能中心)
该研究提出DiG-IN扩散引导框架,通过生成优化分类器目标的图像,开展视觉反事实解释、分类器差异分析与神经元可视化,验证已有结论并发现新失效模式,且VCEs性能更优、通用性更强。
2024-07-12 cs.AI cs.CV cs.LG
DeepFake Detection by Analyzing Convolutional Traces
University of Catania(卡塔尼亚大学)
Deepfake现象现在已经变得非常流行,这要归功于使用深度学习工具创建令人难以置信的逼真图像的可能性,主要基于ad-hoc生成对抗网络(GAN)。在这项工作中,我们专注于分析人脸的Deepfakes,目的是创建一种新的检测方法,能够检测隐藏在图像中的取证痕迹:一种在图像生成过程中留下的指纹。所提出的技术,通过期望最大化(EM)算法,提取一组局部特征,专门用于对底层卷积生成过程进行建模。Ad-hoc验证已通过实验测试,在五种不同的架构(GDWCT,STARGAN,ATTGAN,STYLEGAN,STYLEGAN 2)上使用朴素分类器对CELEBA数据集进行验证,作为非假货的基础事实。结果表明,该技术在区分不同的体系结构和相应的生成过程的有效性。
2020-04-22 cs.CV
Analyzing First-Person Stories Based on Socializing, Eating and Sedentary Patterns
Universitat de Barcelona(巴塞罗那大学)
第一人称故事可以通过可穿戴相机在整个活动日期间获取的以自我为中心的图片进行分析。这份手稿展示了一个以自我为中心的数据集,其中包含来自四个人在不同环境(如工作或学习)中的45,000多张照片。所有的图像都被手动标记,以确定人们生活方式的三种兴趣模式:社交,饮食和久坐。此外,提出了两种不同的方法来分类自我中心的图像到定义为表征这三种模式的12个目标类别之一。这些方法基于机器学习和深度学习技术,包括传统分类器和最先进的卷积神经网络。将这些方法应用于以自我为中心的数据集时获得的实验结果证明了它们对手头问题的充分性。
2017-07-25 cs.CV
High Accuracy Classification of White Blood Cells using TSLDA Classifier and Covariance Features
利用工程工具的应用在医学科学的不同领域中创建自动化过程是近几十年来高度增长的领域。在这种背景下,许多医学图像处理和分析研究人员使用人工智能中有价值的方法,这些方法可以减少必要的人力,同时提高结果的准确性。在各种医学图像中,血液显微图像在心力衰竭诊断中起重要作用,例如,血癌血癌诊断中的主要成分是白细胞(WBC),由于其在显微图像中的一般特性,有时会在识别和分类任务中造成困难,例如不均匀的颜色/照明,不同的形状,大小和纹理。此外,在骨髓图像中重叠的白细胞和邻近的红细胞被识别为在分类任务中的错误的原因。在本文中,我们完成了分割的医学图像的各个部分,通过朴素贝叶斯聚类方法和在下一阶段TSLDA分类器,这是由协方差描述符获得的特征提供的结果,准确率为98.02%。这一结果在白细胞识别中似乎是令人愉快的。
2019-07-16 cs.CV
Multi-stage Neural Networks with Single-sided Classifiers for False Positive Reduction and its Evaluation using Lung X-ray CT Images
IBM Tokyo Laboratory(IBM东京实验室);IBM Research – Tokyo(IBM东京研究)
肺结节分类是一个类别不平衡的问题,因为结节被发现的频率比非结节低得多。在类别不平衡问题中,传统的分类器往往被多数类别压倒而忽略少数类别。因此,我们提出了级联卷积神经网络,以应付类不平衡的问题。在所提出的方法中,作为单侧分类器执行的多级卷积神经网络过滤掉明显的非结节。随后,用平衡数据集训练的卷积神经网络计算结节概率。在FROC曲线分析中,当每次扫描出现4个和8个假阳性时,该方法的灵敏度分别为92.4%和94.5%。
2017-03-21 cs.CV
Classifying the classifier: dissecting the weight space of neural networks
Linköping University(林雪平大学);Ulm University(乌尔姆大学)
本文对神经网络的权值进行了实证研究,将每个模型看作是一个高维空间--神经权值空间中的一个点。为了探索这个空间的复杂结构,我们从不同的训练变量(数据集,优化过程,架构等)中进行采样。的神经网络分类器,并训练大量的模型来表示的权重空间。然后,我们使用一种机器学习方法来分析和提取这个空间中的信息。最重要的是,我们训练了一些新的深度元分类器,其目标是通过识别它们在权重空间中的足迹来对训练设置的不同属性进行分类。因此,元分类器探测由超参数引起的模式,这样我们就可以量化这些模式在优化过程中被编码的数量、位置和时间。这为可解释的人工智能提供了一个新的和补充的观点,我们展示了元分类器如何通过只考虑随机选择的连续权重的一个小子集来揭示有关训练设置和优化的大量信息。为了促进对权重空间的进一步研究,我们发布了神经权重空间(NWS)数据集-来自16 K个单独训练的深度神经网络的320 K权重快照的集合。
2020-02-13 cs.CV cs.LG
Spatial Consistency Loss for Training Multi-Label Classifiers from Single-Label Annotations
KU Leuven(鲁汶大学);Apple(苹果公司)
由于自然图像通常包含多个目标,多标签图像分类比单标签分类更适用于“野外”。然而,用每个感兴趣的对象详尽地注释图像是昂贵且耗时的。我们的目标是训练多标签分类器从单标签注释。我们发现,增加一致性损失,确保网络的预测是一致的连续的训练时期,是一个简单而有效的方法,训练多标签分类在弱监督设置。我们在空间上进一步扩展了这种方法,通过确保连续训练时期产生的空间特征图的一致性,维护每个训练图像的每类运行平均热图。我们表明,这种空间一致性损失进一步提高了分类器的多标签mAP。此外,我们表明,这种方法克服了“作物”的数据增强恢复正确的监督信号的缺点,即使当大多数的单一地面实况对象裁剪出的输入图像的数据增强。我们证明了收益的一致性和空间一致性损失的二进制交叉熵基线,并超过竞争的方法,MS-COCO和Pascal VOC。我们还使用ReaL多标签验证集在ImageNet-1 K上演示了改进的多标签分类mAP。
2022-03-11 cs.CV
Are Images Indistinguishable to Humans Also Indistinguishable to Classifiers?
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);The University of Adelaide(阿德莱德大学);Baidu VIS(百度VIS)
该研究通过分布分类任务发现,分类器能轻松区分真实与生成图像,还可区分性能相当的不同扩散模型,但难区分同系列不同规模模型,该方法可为扩散模型诊断、生成数据使用及图像真实感提升提供参考。
2025-03-23 cs.CV cs.LG
Image Synthesis with a Single (Robust) Classifier
MIT(麻省理工学院)
我们表明,基本的分类框架可以单独用于解决图像合成中一些最具挑战性的任务。与其他最先进的方法相比,我们开发的工具包相当小:它使用单个现成的分类器来完成所有这些任务。我们的方法的关键是,我们训练这个分类器是对抗强大的。事实证明,对抗鲁棒性正是我们直接操纵输入的显著特征所需要的。总的来说,我们的研究结果证明了鲁棒性在更广泛的机器学习背景下的实用性。我们实验的代码和模型可以在https://git.io/robust-apps上找到。
2019-08-08 cs.CV cs.LG cs.NE
Evaluating Out-of-Distribution Performance on Document Image Classifiers
DryvIQ(DryvIQ公司);University of Michigan(密歇根大学);Vanderbilt University(范德堡大学)
文档分类器处理从不同于训练分布的分布中提取的输入的能力对于鲁棒部署和泛化性至关重要。RVL-CDIP语料库是文档分类的事实标准基准,但据我们所知,所有使用该语料库的研究都不包括对分发外文档的评估。在本文中,我们策划并发布了一个新的分发基准,用于评估文档分类器的分发性能。我们新的分发外基准由两种类型的文档组成:那些不属于16个域内RVL-CDIP类别(RVL-CDIP-O)中的任何一个的文档,以及那些属于16个域内类别之一但来自与原始RVL-CDIP数据集不同的分布的文档(RVL-CDIP-N)。虽然先前对域内RVL-CDIP文档进行文档分类的工作报告了高准确度分数,但我们发现这些模型在我们新的域外RVL-CDIP-N基准测试中表现出大约15-30%的准确度下降,并且进一步努力区分域内RVL-CDIP-N和域外RVL-CDIP-O输入。我们的新基准为研究人员提供了一个有价值的新资源,用于分析文档分类器的分布性能。我们新的分发外数据可以在https://github.com/gxlarson/rvl-cdip-ood上找到。
2023-01-18 cs.CL cs.CV
Combined Classifiers for Invariant Face Recognition
Suez Canal University(苏伊士运河大学)
没有一个分类器可以单独解决复杂的人脸识别问题。研究人员发现,结合一些基本分类器通常可以提高它们的识别率。基础分类器的弱点反映在所得到的组合系统上。在这项工作中,提出了一个系统相结合的不稳定,低性能分类。该系统应用于392人的人脸图像。该系统具有显著的稳定性和较高的识别率,使用减少的参数数量。该系统说明了设计一个组合系统的可能性,该系统受益于其基础分类器的优势,同时避免了它们的许多弱点。
2016-07-23 cs.CV
Single Image Backdoor Inversion via Robust Smoothed Classifiers
Bosch Center for AI(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
本文提出 SmoothInv,仅用单张干净图像并在鲁棒平滑分类器上进行投影梯度下降,即可高保真恢复隐藏后门,且在 ImageNet 上接近 100% 攻击成功率并抵御自适应攻击。
2023-12-17 cs.CV
Analyzing Visual Aircraft Representations with Sparse Autoencoders
Jain University(耆那大学)
本文通过稀疏自编码器分解ConvNeXt模型在FGVC-Aircraft数据集上的中间表示,发现可解释的飞机结构特征,并通过消融实验验证其类别相关性。
2026-06-16 cs.CV cs.LG
Explaining in Diffusion: Explaining a Classifier Through Hierarchical Semantics with Text-to-Image Diffusion Models
Virginia Tech(弗吉尼亚理工大学)
提出 DiffEx 方法,利用文本到图像 diffusion 模型和视觉-语言模型生成层次化语义列表,支持单概念及多概念复杂场景分类器的决策解释,覆盖语义范围更广且更细粒度。
2024-12-24 cs.CV
Shape-Based Single Object Classification Using Ensemble Method Classifiers
Faculty of Informatics and Computing, Universiti Sultan Zainal Abidin(苏丹·扎伊纳尔·阿比丁大学信息与计算学院)
针对图像标注检索中的分类难题,提出分层分类框架,结合预处理后处理方法,在Amazon和Google数据集上测试四种分类器,Bagging分类器准确率表现最优,可有效弥合语义鸿沟实现多类别图像分类。
2025-01-16 cs.AI cs.CL cs.CV
Detecting sexually explicit content in the context of the child sexual abuse materials (CSAM): end-to-end classifiers and region-based networks
Research and Academic Computer Network (NASK)(研究与学术计算机网络(NASK))
针对CSAM检测需求,研究提出端到端分类器、结合人体检测的分类器及隐私部位检测器三种方法,在受限数据下端到端分类器准确率达90.17%,检测类方法可提升可解释性。
2024-06-20 cs.CV cs.ET
Image Counterfactual Sensitivity Analysis for Detecting Unintended Bias
Google(谷歌公司)
本文提出图像反事实敏感性分析框架,通过生成对抗网络操纵面部特征,度量微笑分类器预测变化,以检测和细粒度分析无意偏见,促进公平性。
2020-10-03 cs.CV cs.LG stat.ML
Benchmarking Robustness of Deep Learning Classifiers Using Two-Factor Perturbation
Southeast Missouri State University(东南密苏里州立大学);University of Arkansas at Little Rock(阿肯色大学小石城分校)
深度学习(DL)分类器的准确性通常是不稳定的,因为当在对抗图像、不完美图像或扰动图像上重新测试时,它们可能会发生显著变化。本文增加了基准的DL分类器对有缺陷的图像的鲁棒性的工作的基本机构。为了衡量强大的DL分类器,以前的研究报告单因素腐败。我们创建了全面的69个基准图像集,包括一个干净的集,单因素扰动集和双因素扰动条件集。现有技术的双因子扰动包括(a)在两个序列中应用的两个数字扰动(椒盐噪声和高斯噪声),以及(b)在两个序列中应用的一个数字扰动(椒盐噪声)和一个几何扰动(旋转)。以前的研究评估DL分类器通常使用前1/前5的准确性。我们创新了一种新的二维统计矩阵来评估DL分类器的鲁棒性。此外,我们引入了一个新的可视化工具,包括最小精度,最大精度,平均精度和变异系数(CV),基准的DL分类器的鲁棒性。与单因素腐败相比,我们首先报告,使用双因素扰动图像提高了DL分类器的鲁棒性和准确性。所有源代码和相关图像集都在网站http://cslinux.semo.edu/david/data上共享,以支持未来的学术研究和行业项目。
2022-03-02 cs.AI cs.CV cs.GR
Analyzing Adversarial Robustness of Deep Neural Networks in Pixel Space: a Semantic Perspective
Sichuan University(四川大学)
深度神经网络容易受到对抗性示例的攻击,这些示例是通过以难以察觉的扰动修改输入来恶意制作的,以误导网络产生不正确的输出,这揭示了深度神经网络缺乏鲁棒性并带来安全问题。以往的研究都是在图像层次上研究图像分类器的对抗鲁棒性,并且对图像中所有的像素信息都不加区分地使用,缺乏对图像像素空间中不同语义区域的探索。在这项工作中,我们填补了这一空白,并通过提出一种算法来探索对抗图像的像素空间,在分割图像的不同区域中逐像素地寻找可能的扰动。在CIFAR-10和ImageNet上的大量实验结果表明,在图像的不同区域存在多个脆弱点的情况下,仅在图像的部分像素中搜索修改像素就可以成功地发起单像素对抗攻击,而不需要搜索整个图像的所有像素。我们还证明了图像上不同区域的对抗鲁棒性随所包含的语义信息量而变化。
2021-06-18 cs.CV physics.soc-ph
Optimized Machine Learning for CHD Detection using 3D CNN-based Segmentation, Transfer Learning and Adagrad Optimization
Dr. N. G. P Institute of Technology(Dr. N. G. P理工学院)
本研究提出一种结合3D CNN分割、ReliefF特征选择、迁移学习特征融合与Adagrad优化的冠心病检测框架,在患者图像数据集上实现了优于SVM等传统分类器的检测准确率。
2023-04-30 cs.AI cs.CV