Interpretable CNNs for Object Classification
Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种在深度卷积神经网络（CNN）中学习可解释卷积滤波器进行对象分类的通用方法，其中每个可解释滤波器对特定对象部分的特征进行编码。我们的方法不需要额外的注释对象的部分或纹理的监督。相反，我们使用与传统CNN相同的训练数据。我们的方法在学习过程中自动为高conv层中的每个可解释过滤器分配特定类别的对象部分。在CNN的conv层中的这种显式知识表示帮助人们澄清在CNN中编码的逻辑，即，回答CNN从输入图像中提取什么模式并用于预测。我们已经使用具有各种结构的不同基准CNN测试了我们的方法，以证明我们方法的广泛适用性。实验表明，我们的可解释的过滤器是更有意义的语义比传统的过滤器。
2020-03-12 cs.CV cs.LG stat.ML
Multilayer Dense Connections for Hierarchical Concept Classification
Comcast Applied AI Research（康卡斯特应用人工智能研究院）；Washington D.C.（华盛顿特区）
在目标分类、检测、场景分割等计算机视觉任务中，分类是一个关键的功能。具有单个最终层密集连接的多项式逻辑回归已成为基于CNN的分类的普遍技术。虽然这些分类器在输入和一组输出类别类之间映射，但它们通常不会产生对类别的全面描述。特别是，当基于CNN的图像分类器正确识别黑猩猩的图像时，其输出并不能澄清黑猩猩是灵长类、哺乳动物、脊索动物家族的成员和生物。我们提出了一个多层稠密连接的并发预测类别和概念超类的层次顺序相同的CNN。我们的实验表明，我们提出的网络可以同时预测粗超类和细类别比现有的几种算法在多个数据集。
2021-02-22 cs.CV cs.LG eess.IV
Few-shot Learning by Exploiting Visual Concepts within CNNs
Beihang University（北京航空航天大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
卷积神经网络（CNN）是计算机视觉发展的驱动力之一。尽管CNN在许多任务上表现出色，但在实现理想机器智能的道路上仍然面临着重大障碍。一个是CNN很复杂，很难解释。另一个原因是，标准CNN需要大量的注释数据，这有时很难获得，并且需要学习从几个例子中识别对象。在这项工作中，我们通过为少样本学习开发新颖、灵活和可解释的模型来解决CNN的这些局限性。我们的模型基于根据视觉概念（VC）对对象进行编码的想法，这些视觉概念是由CNN中的特征向量表示的可解释的视觉线索。我们首先将VC的学习适应于Few-Shot设置，然后揭示使用VC的特征编码的两个关键特性，我们称之为类别敏感性和空间模式。受这些属性的启发，我们提出了两个直观的模型的问题，少样本学习。实验表明，我们的模型实现了有竞争力的性能，同时比其他最先进的少样本学习方法更灵活和可解释。我们的结论是，使用VC有助于暴露CNN用于少样本学习的自然能力。
2018-02-13 cs.CV cs.LG stat.ML
Feature, Alignment, and Supervision in Category Learning: A Comparative Approach with Children and Neural Networks
Department of Psychology, University of Southern California（南加州大学心理学系）；Department of Statistics and Data Science, University of California, Los Angeles（加州大学洛杉矶分校统计与数据科学系）
本文通过比较儿童与神经网络在少量半监督类别学习任务中的表现，揭示了监督、特征结构和对齐在学习过程中的相互作用。
2026-02-03 cs.CV cs.LG
FAN: Fatigue-Aware Network for Click-Through Rate Prediction in E-commerce Recommendation
Alibaba Group（阿里巴巴集团）
本文提出 FAN 模型，通过 Fourier Transformation 处理未点击时间序列获取疲劳频谱，并结合类别调制、gating network 和辅助任务学习疲劳表示，显著提升了电商推荐中的 CTR 预测效果。
2023-04-10 cs.HC cs.IR cs.LG
Search Intelligence: Deep Learning For Dominant Category Prediction
Ebay Inc.（亿贝公司）
深度神经网络，特别是全连接的卷积神经网络，在各种领域都取得了显著的成果。他们经过训练，在应用于语音识别、图像分类、自然语言处理和生物信息学等问题时，能够达到最先进的性能。这些深度学习模型中的大多数在应用于分类时使用softmax激活函数进行预测，并旨在最小化交叉熵损失。在本文中，我们提出了一种用于主导类别预测的监督模型，以提高所有eBay分类平台的搜索召回率。在过去90天内，每个查询的主要类别标签首先通过对所有类别之间的协作点击总数求和来计算。对于给定查询具有最高协作点击数的类别将被认为是其主导类别。其次，通过将查询文档中的每个唯一单词映射到唯一的整数值，将每个查询转换为数字向量;根据预定义词汇大小内的最大文档长度，将所有查询填充为相等长度。然后应用完全连接的深度卷积神经网络（CNN）进行分类。与其他最先进的机器学习技术相比，所提出的模型实现了非常高的分类准确度。
2017-02-06 cs.IR cs.LG stat.ML
Model Doctor: A Simple Gradient Aggregation Strategy for Diagnosing and Treating CNN Classifiers
Zhejiang University（浙江大学）
近年来，卷积神经网络（CNN）在分类任务中取得了优异的性能。众所周知，CNN被认为是一个“黑匣子”，这是很难理解的预测机制和调试错误的预测。针对上述不足，开展了模型调试和解释工作。然而，这些方法侧重于解释和诊断模型预测的可能原因，研究人员在此基础上手动处理模型的后续优化。在本文中，我们提出了第一个完全自动化的模型诊断和治疗工具，称为模型医生。基于两个发现：1）每个类别只与稀疏和特定的卷积核相关; 2）敌对样本是孤立的，而正常样本在特征空间中是连续的，设计了一个简单的聚合梯度约束，用于有效地诊断和优化CNN分类器。聚合梯度策略是主流CNN分类器的通用模块。大量的实验表明，模型医生适用于所有现有的CNN分类器，并将$16$主流CNN分类器的准确率提高了1%-5%。
2021-12-09 cs.CV cs.LG
CNN-RNN: A Unified Framework for Multi-label Image Classification
Baidu Research（百度研究院）；Facebook Speech（Facebook语音部门）；Horizon Robotics（地平线机器人）
虽然深度卷积神经网络（CNN）在单标签图像分类方面取得了巨大成功，但重要的是要注意，现实世界的图像通常包含多个标签，这些标签可能对应于图像中的不同对象，场景，动作和属性。传统的多标签图像分类方法为每个类别学习独立的分类器，并对分类结果进行排序或阈值处理。这些技术虽然工作得很好，但未能显式地利用图像中的标签依赖性。在本文中，我们利用递归神经网络（RNN）来解决这个问题。结合CNN，提出的CNN-RNN框架学习联合图像标签嵌入来表征语义标签依赖性以及图像标签相关性，并且可以从头开始进行端到端的训练，以将这两种信息集成到统一的框架中。在公共基准数据集上的实验结果表明，该结构比现有的多标签分类模型具有更好的性能
2016-04-15 cs.CV cs.LG cs.NE
Quantitative Performance Assessment of CNN Units via Topological Entropy Calculation
Tsinghua University（清华大学）
识别各个网络单元的状态对于理解卷积神经网络（CNN）的机制至关重要。然而，可靠地给出单元状态的一般指示仍然具有挑战性，特别是对于不同网络模型中的单元。为此，我们提出了一种新的方法，用于定量澄清单个单元的状态，在CNN使用代数拓扑工具。单元状态通过定义的基于拓扑的熵（称为特征熵）的计算来指示，特征熵测量隐藏在类别单元中的全局空间模式的混乱程度。通过这种方式，特征熵可以为不同网络中的单元提供准确的状态指示，具有不同的情况，如权重重新缩放操作。此外，我们还发现，特征熵随着层的加深而降低，并且在训练过程中几乎与损失同时发生。我们表明，通过调查的特征熵的单元只有训练数据，它可以给不同的泛化能力的网络之间的区别，从功能表示的有效性的观点。
2022-03-17 cs.CV cs.LG
Assessing learned features of Deep Learning applied to EEG
SCCN, INC, UCSD（加州大学圣迭戈分校斯沃茨计算神经科学中心）；CerCo CNRS, Paul Sabatier University（法国国家科学研究中心大脑与认知研究中心，保罗·萨巴捷大学）
卷积神经网络（Convolutional Neural Network，CNN）在目标检测、图像识别、图像检索等计算机视觉领域取得了令人瞩目的成就。这些成就得益于CNN在深层神经元结构和迭代训练过程中学习判别特征的出色能力。这激发了EEG研究界采用CNN来执行EEG分类任务。然而，CNN学习的特征并不能立即解释，导致人们对CNN的内部工作机制缺乏了解。为了提高CNN的可解释性，应用CNN可视化方法将内部特征转换为视觉上可感知的模式，用于CNN层的定性分析。在计算机视觉文献中已经提出了许多CNN可视化方法来解释CNN网络的结构、操作和语义概念，但在EEG数据分析中的应用受到限制。在这项工作中，我们使用3种不同的方法从原始EEG数据训练的CNN中提取EEG相关特征：每个分类类别的最佳样本，激活最大化和反向卷积。我们将这些方法应用于一个高性能的深度学习模型，该模型具有EEG性别分类任务的最新性能，并表明该模型具有θ频带的差异。我们表明，可视化的CNN模型可以揭示有趣的EEG结果。使用这些工具，使用深度学习的EEG研究人员可以更好地识别学习的EEG特征，可能识别新的类别相关生物标志物。
2021-11-08 cs.LG eess.SP
CNN-LTE: a Class of 1-X Pooling Convolutional Neural Networks on Label Tree Embeddings for Audio Scene Recognition
我们在本报告中描述了我们提交给DCASE 2016挑战赛的音频场景识别系统。首先，给定场景的标签集，自动构造标签树。然后，在特征提取步骤中使用该类别分类法，在该步骤中，音频场景实例由标签树嵌入图像表示。不同的卷积神经网络，这些网络是为手头的任务量身定制的，最终在图像特征的基础上学习，用于场景识别。我们的系统达到了81.2%和83.3%的整体识别准确率，并优于DCASE 2016基线，开发和测试数据的绝对改进分别为8.7%和6.1%。
2016-08-15 cs.CV cs.LG cs.MM
Deep Deconvolutional Networks for Scene Parsing
Stanford University（斯坦福大学）
场景分析是计算机视觉中一个重要而又具有挑战性的问题。它需要标记图像中的每个像素及其所属的类别。传统上，它已经接近了从图像中的颜色信息的手工设计的功能。最近，卷积神经网络（CNN）自动学习特征的层次结构，在这项任务上取得了创纪录的性能。这些方法通常包括后处理技术，例如超像素，以产生最终的标记。在本文中，我们提出了一种新的网络架构，将深度去卷积神经网络与CNN相结合。我们的实验表明，与CNN相比，去卷积神经网络能够学习边缘基元之外的高阶图像结构。新的网络架构用于多补丁训练，作为这项工作的一部分。多块训练- ing使得从场景中有效地学习空间先验成为可能。该方法在四个场景解析数据集，即Stanford Background，SIFT Flow，CamVid和KITTI上产生了最先进的性能。此外，我们的系统还具有额外的优势，即拥有一个可以完全自动化的端到端培训系统，无需任何后期处理。
2014-11-15 cs.CV cs.LG stat.ML
Understanding CNN Fragility When Learning With Imbalanced Data
University of Notre Dame（圣母大学）；U.S. Naval Research Laboratory（美国海军研究实验室）；National Research Council of Canada（加拿大国家研究委员会）
卷积神经网络（CNN）在不平衡的图像数据上取得了令人印象深刻的结果，但它们仍然难以推广到少数类别，并且它们的决策难以解释。这些问题是相关的，因为CNN推广到少数类的方法需要改进，它被包装在一个黑盒子里。为了揭开CNN对不平衡数据的决策的神秘面纱，我们关注它们的潜在特征。虽然CNN将从训练集学习的模式知识嵌入到模型参数中，但这些知识的影响包含在特征和分类嵌入（FE和CE）中。这些嵌入可以从经过训练的模型及其全局类属性（例如，频率、幅度和身份）可以被分析。我们发现，关于神经网络推广到少数民族类的能力的重要信息驻留在类top-K CE和FE。我们表明，一个CNN学习有限数量的类top-K CE每个类别，他们的数量和幅度根据是否相同的类是平衡或不平衡。这就提出了一个问题，即CNN是否已经学习了内在的类特征，或者仅仅是采样类分布中碰巧存在的频繁出现的特征。我们还假设潜在的类的多样性是重要的类的例子，这对重新采样和成本敏感的方法有重要的影响。这些方法通常专注于重新平衡模型权重，类别数量和边缘;而不是通过增强来使类别潜在特征多样化。我们还证明，如果前K个潜在特征的大小与训练集不匹配，则CNN很难推广到测试数据。我们使用三个流行的图像数据集和两个成本敏感的算法，通常用于我们的实验不平衡学习。
2022-10-17 cs.CV cs.LG
Multiview Aggregation for Learning Category-Specific Shape Reconstruction
Stanford University（斯坦福大学）；Google Inc.（谷歌公司）；Facebook AI Research（脸书人工智能研究院）
我们研究的问题，学习特定类别的3D形状重建从一个可变数量的RGB视图以前未观察到的对象实例。大多数多视图形状重建方法都是在稀疏形状表示上操作，或者假设固定数量的视图。我们提出了一种方法，可以估计密集的3D形状，并在多个和不同数量的输入视图的聚合形状。给定一个对象实例的单个输入视图，我们提出了一种表示，该表示对可见对象表面的密集形状以及被可见表面遮挡的视线后面的表面进行编码。当多个输入视图可用时，形状表示被设计为使用廉价的联合操作聚合成单个3D形状。我们训练一个2D CNN来学习从可变数量的视图（1个或更多）预测这种表示。我们进一步聚合多视图信息，通过使用置换等变层，促进顺序不可知的视图信息交换的特征级别。实验表明，我们的方法是能够产生密集的三维重建的对象，提高质量，因为更多的意见被添加。
2019-12-08 cs.CV cs.LG eess.IV
VTLayout: Fusion of Visual and Text Features for Document Layout Analysis
University of Chinese Academy of Sciences（中国科学院大学）；The Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
文档通常包含复杂的物理结构，这使得文档布局分析（DLA）任务具有挑战性。作为内容提取的预处理步骤，DLA具有大规模捕获历史或科学文档中丰富信息的潜力。尽管许多基于深度学习的计算机视觉方法在从文档中检测\emph{Figure}方面已经取得了优异的性能，但它们在识别DLA中的\emph{List}、\emph{Table}、\emph{Text}和\emph{Title}类别块方面仍然不令人满意。本文提出了一种融合文档的深视觉、浅视觉和文本特征的VTLayout模型来定位和识别不同的类别块。该模型主要包括两个阶段，三个特征提取器建立在内置的第二阶段。在第一阶段，Cascade Mask R-CNN模型直接应用于定位文档的所有类别块。在第二阶段中，深视觉，浅视觉和文本特征提取融合，以确定类别块的文档。因此，我们加强了分类能力的不同类别块的基础上现有的本地化技术。实验结果表明，VTLayout的识别能力优于基于PubLayNet数据集的最先进的DLA方法，F1得分高达0.9599。
2021-08-12 cs.CL cs.IR cs.LG
TSGB: Target-Selective Gradient Backprop for Probing CNN Visual Saliency
Xiamen University（厦门大学）；Australian National University（澳大利亚国立大学）；Peng Cheng Laboratory（鹏城实验室）；Zhejiang University（浙江大学）
对深度神经网络的解释在过去几年中引起了深度学习社区的广泛关注。在这项工作中，我们研究的视觉显着性，又名。直观的解释，来解释卷积神经网络。与基于迭代的显著性方法相比，基于单次向后通过的显著性方法具有更快的速度，并且它们被广泛用于下游视觉任务。因此，我们专注于基于单次反向传递的方法。然而，现有的方法在这一类的斗争，uccably完全产生细粒度的显着性地图集中在特定的目标类。也就是说，使用单个向后传递产生同时满足目标选择性和细粒度的忠实显著性图是该领域中的一个具有挑战性的问题。为了缓解这个问题，我们重新审视了网络内部的梯度流，发现纠缠的语义和原始权重可能会干扰目标相关显着性的传播。受这些观察结果的启发，我们提出了一种新的视觉显着性方法，称为目标选择性梯度反向传播（TSGB），它利用整流操作来有效地强调目标类，并进一步有效地将显着性传播到图像空间，从而生成目标选择性和细粒度显着性图。所提出的TSGB由两个组件组成，即TSGB-Conv和TSGB-FC，它们分别校正卷积层和全连接层的梯度。在ImageNet和Pascal VOC数据集上进行的大量定性和定量实验表明，该方法比其他竞争方法获得了更准确和可靠的结果。代码可在https://github.com/123fxdx/CNNvisualizationTSGB上获得。
2022-03-06 cs.CV cs.LG
Mini Lesions Detection on Diabetic Retinopathy Images via Large Scale CNN Features
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
糖尿病视网膜病变（DR）是一种影响眼睛的糖尿病并发症。DR是工作年龄人群失明的主要原因，据估计，全球每年有300万至400万糖尿病患者因DR而失明。早期诊断已被认为是缓解此类问题的有效方法。本研究的最终目的是开发新的机器学习技术来分析眼底相机生成的DR图像，以实现DR诊断的自动化。在本文中，我们专注于识别DR眼底图像上的小病变。我们的分析结果，包括病变类别及其在图像中的确切位置，可用于帮助确定DR严重程度（由DR分期表示）。与传统的自然图像目标检测不同，眼底图像的病变检测具有独特的挑战性。具体地，与眼底图像的原始分辨率相比，病变实例的尺寸通常非常小，使得它们难以被检测到。我们仔细分析了病变与图像的比例，并提出了一个大尺寸的特征金字塔网络（LFPN），以保留更多的图像细节的微小病变实例检测。我们的方法包括一个有效的区域建议策略，以增加灵敏度。实验结果表明，我们提出的方法优于原来的特征金字塔网络（FPN）方法和更快的RCNN。
2019-11-19 cs.CV cs.LG cs.MM
Trend-Aware Fashion Recommendation with Visual Segmentation and Semantic Similarity
University of Luxembourg（卢森堡大学）
本文提出融合视觉分割、语义相似度、流行度匹配与用户行为模拟的趋势感知时尚推荐框架，并在 DeepFashion 上验证其类别相关性与流行度预测效果。
2025-06-09 cs.CV cs.LG
Super Resolution Using Segmentation-Prior Self-Attention Generative Adversarial Network
Zhejiang University（浙江大学）；Central Media Technology Institute, Huawei Technologies Co., Ltd（华为技术有限公司中央媒体技术研究院）
卷积神经网络（CNN）由于其优越的性能而被广泛应用于解决超分辨率（SR）任务。但由于CNN缺乏先验知识和小的感受野，超分辨率问题仍然具有挑战性。我们提出了分段-Piror自注意生成对抗网络（SPSAGAN），将分段先验和特征注意力结合到一个统一的框架中。这种组合是由精心设计的加权加法来平衡特征和分割注意力的影响，因此网络可以强调同一分割类别中的纹理，同时专注于长距离特征关系。我们还提出了一个轻量级的跳过连接架构称为残差中残差稀疏块（RRSB），以进一步提高超分辨率性能和节省计算。大量的实验表明，SPSAGAN可以生成更真实和视觉上令人愉快的纹理相比，最先进的SFTGAN和ESRGAN在许多SR数据集。
2020-03-07 cs.CV cs.LG eess.IV
Predicting Deep Zero-Shot Convolutional Neural Networks using Textual Descriptions
University of Toronto（多伦多大学）
视觉类别的零样本学习的主要挑战之一是收集伴随图像的语义属性。最近的研究表明，从文本描述（如维基百科文章）中学习可以避免显式定义这些属性的问题。我们提出了一个新的模型，可以分类看不见的类别，从他们的文本描述。具体来说，我们使用文本特征来预测深度卷积神经网络（CNN）中卷积层和全连接层的输出权重。我们利用CNN的架构并学习不同层的特征，而不仅仅是学习两种模态的嵌入空间，这与现有方法一样常见。所提出的模型还允许我们为每个视觉类别自动生成一个伪属性列表，该列表由来自维基百科文章的单词组成。我们训练我们的模型端到端使用加州理工大学-加州大学圣地亚哥分校的鸟和花的数据集，并评估ROC和精度召回曲线。我们的实证结果表明，该模型显着优于以前的方法。
2015-09-25 cs.CV cs.LG cs.NE
