Learning Discriminative Representations for Multi-Label Image Recognition
UNSW Canberra(新南威尔士大学堪培拉分校);University of Canberra(堪培拉大学);IIAT
多标签识别是计算机视觉中的一个基本问题,也是一个具有挑战性的课题。最近,深度学习模型在从输入图像中学习区分特征方面取得了很大进展。然而,传统的方法是无法建模的多标签图像中的特征之间的类间差异,因为它们被设计为图像级的特征歧视。在本文中,我们提出了一个统一的深度网络来学习多标签任务的区分特征。给定一幅多标签图像,该方法首先对不同类别的特征进行分类。然后,它通过增加类间距离,同时减少输出空间中的类内差异来区分这些类。通过用提出的损失正则化整个网络,应用著名的ResNet-101的性能得到了显着提高。在COCO-2014、VOC 2007和VOC 2012数据集上进行了大量的实验,实验结果表明,该方法在大规模COCO数据集上的性能优于现有方法3:5%。此外,对判别式特征学习方法的分析表明,它可以作为一个通用模块插入到各种类型的多标签方法中。
2021-07-23 cs.CV
SEW: Self-calibration Enhanced Whole Slide Pathology Image Analysis
Zhejiang University(浙江大学);The First Affiliated Hospital of Zhejiang University(浙江大学附属第一医院)
本文提出SEW自校准增强框架,通过全局分支、焦点预测器、细节分支及特征一致性约束,高效融合全切片病理图像的全局与局部信息,提升分级、预后及标志物发现的准确性与可解释性。
2025-02-14 cs.CV
Extracting Class Activation Maps from Non-Discriminative Features as well
Singapore Management University(新加坡管理大学)
从分类模型中提取类别激活图(CAM)通常导致对前景对象的不良覆盖,即,仅区分区域(例如,“绵羊”的“头”)被识别并且其余的(例如,“羊”的“腿”)错误地作为背景。背后的关键是分类器的权重(用于计算CAM)仅捕获对象的区分特征。我们通过引入一种新的CAM计算方法来解决这个问题,该方法也可以显式地捕获非歧视性特征,从而扩展CAM以覆盖整个对象。具体来说,我们省略了分类模型的最后一个池化层,并对对象类的所有局部特征进行聚类,其中“局部”意味着“在空间像素位置”。我们将得到的K个聚类中心称为局部原型-表示局部语义,如“绵羊”的“头”、“腿”和“身体”。给定类的新图像,我们将其未合并的特征与每个原型进行比较,导出K个相似性矩阵,然后将它们聚合成热图(即,我们的CAM)。因此,我们的CAM捕捉类的所有本地功能没有歧视。我们在弱监督语义分割(WSSS)的挑战性任务中对其进行了评估,并将其插入到多个最先进的WSSS方法中,如MCTformer和AMN,只需将其原始CAM替换为我们的CAM。我们在标准WSSS基准测试(PASCAL VOC和MS COCO)上进行的大量实验表明了我们方法的优越性:一致的改进和较小的计算开销。
2023-03-18 cs.CV
TractoFormer: A Novel Fiber-level Whole Brain Tractography Analysis Framework Using Spectral Embedding and Vision Transformers
Harvard Medical School(哈佛医学院);The University of Sydney(悉尼大学)
弥散磁共振纤维束成像是一种先进的成像技术,定量映射大脑的结构连接。全脑纤维束成像(WBT)数据包含数十万条单独的纤维流线(估计的大脑连接),这些数据通常被打包以创建用于数据分析应用(如疾病分类)的紧凑表示。在本文中,我们提出了一种新的无包裹的WBT分析框架,TractoFormer,利用tractography信息在单个纤维流线的水平,并提供了一个自然的机制,使用Transformers的注意力机制的结果解释。TractoFormer包括两个主要贡献。首先,我们提出了一种新的和简单的二维图像表示WBT,TractoEmbedding,编码三维纤维的空间关系和任何感兴趣的功能,可以计算从个别纤维(如FA或MD)。其次,我们设计了一个基于Vision Transformers(ViTs)的网络,包括:1)数据增强以克服小数据集上的模型过拟合,2)识别用于解释结果的区分性纤维,以及3)集成学习以利用来自不同大脑区域的纤维信息。在合成数据实验中,TractoFormer成功地识别出具有模拟组差异的辨别性纤维。在一项比较几种方法的疾病分类实验中,TractoFormer在对精神分裂症进行分类时与对照组相比达到了最高的准确率。在左半球额叶和顶叶表层白质区域发现了辨别性纤维,这些区域以前曾被证明在精神分裂症患者中受到影响。
2022-07-11 cs.CV cs.LG eess.IV
Oracle Character Recognition using Unsupervised Discriminative Consistency Network
Beijing University of Posts and Telecommunications(北京邮电大学)
针对扫描甲骨文难标注、磨损及类间相似问题,提出融合伪标签、增强一致性和无监督迁移损失的域适应方法,在 Oracle-241 上达到最优性能。
2023-12-11 cs.CV
Exploiting Label-Independent Regularization from Spatial Dependencies for Whole Slide Image Analysis
Dartmouth College(达特茅斯学院);Massachusetts General Hospital(哈佛麻省总医院);Northwestern University(西北大学)
本文提出了一种利用空间依赖性进行标签无关正则化的全切片图像分析框架,通过联合优化空间重建和分类目标,提升了全切片图像分析的性能。
2026-02-23 cs.CV
Discriminative Autoencoder for Feature Extraction: Application to Character Recognition
Indraprastha Institute of Information Technology(因德拉普拉斯信息技术学院)
传统上,自动编码器是无监督的表示学习工具。在这项工作中,我们提出了一种新的判别式自动编码器。监督判别学习的使用确保了学习的表示对于图像数据集中通常遇到的变化是鲁棒的。以基本的判别式自编码器为单元,建立了一个堆栈结构,旨在从训练数据中提取相关的表示。我们的特征提取算法的效率,即使是简单的分类方案,如KNN(K-最近邻),确保了高的分类精度。我们通过在字符/图像识别的标准数据集上进行实验,并随后与现有的监督式深度架构(如类稀疏堆叠自动编码器和判别式深度信念网络)进行比较,证明了我们的模型在表示学习方面的优越性。
2019-12-11 cs.CV cs.LG
Efficient subtyping of ovarian cancer histopathology whole slide images using active sampling in multiple instance learning
University of Leeds(利兹大学);Leeds Teaching Hospitals NHS Trust(利兹教学医院NHS信托基金会)
组织病理学切片的弱监督分类是一项计算密集型任务,典型的整个切片图像(WSI)包含数十亿像素要处理。我们提出了判别区域主动采样多实例学习(DRAS-MIL),一个计算效率高的幻灯片分类方法,使用注意力分数集中在高度判别区域的采样。我们将其应用于卵巢癌组织学亚型的诊断,这是患者护理途径的重要组成部分,因为不同的亚型具有不同的遗传和分子特征,治疗方案和患者结局。我们使用从利兹教学医院NHS信托的147名上皮性卵巢癌患者中获得的714个WSI的数据集来区分最常见的亚型,高级别浆液性癌,与其他四种亚型(低级别浆液性癌,类浆液性癌,透明细胞癌和粘液性癌)相结合。我们证明了DRAS-MIL可以实现与穷举载玻片分析相似的分类性能,与标准基于注意力的MIL分类的0.8781相比,具有3倍交叉验证的AUC为0.8679。我们的方法使用的内存最多是标准方法的18%,而在GPU上进行评估时占用33%的时间,仅在CPU上仅占用14%的时间。减少预测时间和内存需求可能有利于临床部署和人工智能的民主化,减少计算硬件限制最终用户采用的程度。
2023-02-22 cs.CV eess.IV
Learning Granularity-Aware Convolutional Neural Network for Fine-Grained Visual Classification
Nanjing University(南京大学)
由于不同目标之间的相似性很高,定位区分部分在细粒度视觉分类中起着关键作用。最近的工作基于卷积神经网络利用从最后一个卷积层的特征映射来挖掘有区别的区域。然而,最后一个卷积层由于大的感受野而倾向于关注整个对象,这导致发现差异的能力降低。为了解决这个问题,我们提出了一种新的粒度感知卷积神经网络(GA-CNN),逐步探索判别特征。具体来说,GA-CNN利用不同层感受野的差异来学习多粒度特征,并基于在前一阶段发现的较小粒度信息利用较大粒度信息。为了进一步提高性能,我们引入了一个对象关注模块,可以有效地定位给定的原始图像的对象。GA-CNN不需要边界框/部分注释,可以端到端训练。大量的实验结果表明,我们的方法在三个基准数据集上实现了最先进的性能。
2021-03-04 cs.CV
Semantic-Guided Multi-Attention Localization for Zero-Shot Learning
Rutgers University(罗格斯大学);Hikvision Research Institute(海康威视研究院);University of Delaware(特拉华大学)
零样本学习通过引入类的语义表示,将传统的对象分类扩展到不可见的类识别。现有的方法主要集中在学习适当的映射函数的视觉语义嵌入,而忽略了学习的区别性视觉特征的效果。本文研究了判别式区域定位的意义。我们提出了一个语义引导的多注意定位模型,该模型自动发现对象的最有区别的部分,用于零样本学习,而无需任何人工注释。我们的模型共同学习合作的全局和局部特征,从整个对象以及检测到的部分,分类对象的语义描述的基础上。此外,通过嵌入softmax损失和类中心三元组损失的联合监督,鼓励模型学习具有高类间分散性和类内紧凑性的特征。通过对三个广泛使用的零样本学习基准测试的综合实验,我们展示了多注意力定位的有效性,并且我们所提出的方法大大提高了最先进的结果。
2019-12-02 cs.CV
Similar Handwritten Chinese Character Discrimination by Weakly Supervised Learning
Harbin Institute of Technology(哈尔滨工业大学);The Chinese University of Hong Kong(香港中文大学)
传统的手写体汉字识别方法在相似字分类方面存在不足。本文提出了一种基于弱监督学习的相似手写体汉字识别方法。我们的方法学习一个判别支持向量机的每一个相似的对,同时定位相似字符的判别区域,并进行分类。首次将相似手写体汉字识别问题转化为支持向量机的优化问题。我们还提出了一种新的特征描述符,梯度上下文,并应用词袋模型来表示不同尺度的区域。在我们的方法中,我们不需要选择大小固定的子窗口来区分相似的字符。无约束的性质使我们的方法很好地适应高方差的大小和位置的歧视性区域在相似的手写体汉字。在CASIA汉字数据集上对该方法进行了测试,结果表明,该方法的性能优于现有的方法。
2015-09-19 cs.CV
Enhancing Fine-Grained Spatial Grounding in 3D CT Report Generation via Discriminative Guidance
Boston University(波士顿大学);Siemens Healthineers(西门子医疗)
本文提出DCP-PD框架,通过提炼自由文本报告中的细粒度线索,指导报告生成并减少对快捷方式的依赖,提升了CT-RATE和Rad-ChestCT的性能。
2026-04-12 cs.CV
DeCo-MIL: Debiased Counterfactual Reasoning for Long-Tailed Whole Slide Image Analysis
DeCo-MIL通过频率去偏反事实推理,缓解全幻灯片图像分析的嵌套双长尾问题,在三个长尾WSI基准上实现了尾部类别识别与整体分类的最先进性能。
2026-08-18 cs.AI cs.CV
SemaMIL: Semantic-Aware Multiple Instance Learning with Retrieval-Guided State Space Modeling for Whole Slide Images
USTC(中国科学技术大学);NUDT(南京理工大学);FDU(复旦大学);Anhui Province Key Laboratory of Biomedical Imaging and Intelligent Processing(安徽省生物医学成像与智能处理重点实验室);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(人工智能研究院,合肥综合性国家科学中心)
针对WSI的MIL建模中上下文缺失、计算成本高及顺序破坏语义等问题,本文提出SemaMIL,通过语义重排和检索引导状态空间模块,在四个亚型数据集上以更低FLOPs和参数达到SOTA准确率。
2025-09-27 cs.CV
Discriminative Representation Combinations for Accurate Face Spoofing Detection
Shanghai Jiao Tong University(上海交通大学)
介绍了三种用于人脸呈现攻击检测的鉴别表示方法。首先,我们设计了一个描述符称为空间金字塔编码微纹理(SPMT)特征来描述局部外观信息。其次,我们利用SSD,这是一个深度学习框架的检测,挖掘上下文线索和进行端到端的人脸呈现攻击检测。最后,我们设计了一个模板人脸匹配双目深度(TFBD)特征来描述真实和虚假人脸的立体结构。为了更准确地检测呈现攻击,我们还设计了两种呈现组合。首先,我们提出了一个决策层级联策略,结合SPMT和SSD。其次,我们使用一个简单的分数融合策略,结合人脸结构线索(TFBD)和局部微观纹理特征(SPMT)。为了证明我们设计的有效性,我们在三个公共数据集上评估了SPMT和SSD的表示组合,其性能优于所有其他最先进的方法。此外,我们评估了我们的数据集上的SPMT和TFBD的表示组合,也取得了优异的性能。
2018-08-28 cs.CV
Learning discriminative trajectorylet detector sets for accurate skeleton-based action recognition
University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
低成本的RGB-D传感器的引入促进了基于小波变换的人体动作识别的研究。然而,设计一种适合于在有噪声的骨架序列的基础上表征动作的表示仍然是一个挑战。我们在这里提供两个关于这一挑战的见解。首先,我们发现,骨架序列的判别信息通常驻留在一个很短的时间间隔,我们提出了一个简单而有效的局部描述符称为mantorylet捕捉在此区间内的静态和运动学信息。其次,我们进一步提出了编码每个mantorylet与歧视mantorylet检测器集,这是从大量的候选检测器训练通过示例支持向量机。动作级表示是通过池化多尺度编码获得的。从Kinect传感器获得的标准数据集上进行评估,证明了我们的方法在各种实验设置下获得优于现有方法的结果。
2015-04-20 cs.CV
MExD: An Expert-Infused Diffusion Model for Whole-Slide Image Classification
UESTC(电子科技大学);AIQ(人工智能公司);SICAU(四川农业大学);SWJTU(西南交通大学);IHPC, A*STAR(新加坡科技研究局高性能计算研究院)
本文提出 MExD,将 MoE 聚合器与扩散生成过程结合用于 WSI 分类,以抑制噪声、缓解不平衡,并在三个基准的二分类与多分类任务上达到 SOTA。
2025-03-16 cs.CV
Improving High Resolution Histology Image Classification with Deep Spatial Fusion Network
The Hong Kong University of Science and Technology(香港科技大学)
组织学影像学检查是确定不同组织肿瘤分级和分期的重要诊断手段,尤其是在乳腺癌诊断中。由于活检组织的形态变化复杂,专家们对活检组织的最终诊断往往意见不一。虽然卷积神经网络(CNN)在图像分类中提取区分特征方面具有优势,但是目前直接在高分辨率组织学图像上训练CNN在计算上是不可行的。此外,不一致的区别特征往往分布在整个组织学图像,这给基于块的CNN分类方法带来了挑战。在本文中,我们提出了一种新的架构,自动分类的高分辨率组织学图像。首先,采用自适应残差网络来探索无衰减的分层特征。其次,我们开发了一个强大的深度融合网络,利用补丁之间的空间关系,并学习纠正由不一致的判别特征分布产生的预测偏差。使用400个具有平衡标签的高分辨率乳腺组织学图像的10倍交叉验证来评估所提出的方法,并报告4类分类的95%准确度和2类分类(癌和非癌)的98.5%准确度和99.6% AUC,这大大优于以前的方法并接近病理学家的表现。
2018-07-27 cs.CV
Video Representation Learning Using Discriminative Pooling
Data61/CSIRO(联邦科学与工业研究组织数据61部);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The Australian National University(澳大利亚国立大学);MERL(三菱电机研究实验室)
用于视频中动作识别的流行深度模型为短片段生成独立的预测,然后将这些预测集中起来,为完整的视频片段分配动作标签。由于并非所有帧都可以表征潜在的动作-实际上,许多帧在多个动作中是共同的-对所有帧施加同等重要性的池化方案可能是不利的。为了解决这个问题,我们提出了区分池,基于这样的概念,即在所有短片段上生成的深度特征中,至少有一个特征是动作的特征。为此,我们学习一个(非线性)超平面,将这个未知但有区别的特征与其他特征分开。在大间隔设置中应用多实例学习,我们使用这个分离超平面的参数作为完整视频片段的描述符。由于这些参数与最大边缘框架中的支持向量直接相关,因此它们可以作为特征池的鲁棒表示。我们制定了一个联合目标和一个有效的求解器,学习这些超平面每个视频和相应的动作分类器的超平面。我们的池化方案在深度框架内是端到端可训练的。我们报告了三个基准数据集的实验结果,这些数据集涵盖了各种挑战,并展示了这些任务的最新性能。
2018-03-29 cs.CV
EOCSA: Predicting Prognosis of Epithelial Ovarian Cancer with Whole Slide Histopathological Images
Tianjin University(天津大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Shandong University(山东大学)
卵巢癌是威胁世界各地妇女的最严重的癌症之一。上皮性卵巢癌(Epithelial ovarian cancer,EOC)是卵巢癌中最常见的一种,在妇科恶性肿瘤中死亡率高,预后差。生存分析结果能够为医生提供治疗建议。近年来,随着医学成像技术的发展,基于病理图像的生存预测方法被提出。在这项研究中,我们设计了一个名为EOCSA的深层框架,它基于病理全切片图像(WSIs)分析EOC患者的预后。具体来说,我们首先从WSI中随机提取补丁,并将它们分组到多个集群中。接下来,我们开发了一个名为DeepConvAttentionSurv(DCAS)的生存预测模型,该模型能够提取斑块级别的特征,去除歧视性较低的聚类,并精确预测EOC生存。特别地,通道注意、空间注意和神经元注意机制被用来提高特征提取的性能。然后从我们的权重计算方法中生成患者水平的特征,并最终使用LASSO-Cox模型估计生存时间。所提出的EOCSA在预测EOC的预后方面是高效和有效的,并且DCAS确保可以提取更多信息和区分性特征。据我们所知,我们的工作是第一个基于WSI和深度神经网络技术分析EOC生存的工作。实验结果表明,我们提出的框架已经达到了最先进的性能0.980 C指数。可在https://github.com/RanSuLab/EOCprognosis上查阅该方法的实施情况。
2022-10-11 cs.CV cs.LG eess.IV
Multi-View Active Fine-Grained Recognition
Beijing University of Posts and Telecommunications(北京邮电大学)
随着细粒度视觉分类(FGVC)的发展,相关的研究工作已经揭示了一个关键的方向--发现有区别的局部区域,揭示细微的差异。然而,与识别静态图像内的视觉内容不同,对于识别真实物理世界中的对象,区分信息不仅存在于可见的局部区域内,而且隐藏在其他不可见的视角中。换句话说,除了关注与整体有区别的部分之外,为了高效准确地识别,还需要通过几眼来推断关键视角,例如,人们可能一眼就能认出一辆“奔驰AMG GT”,再看看它的排气管就能知道它是哪一年的车型。本文回到现实,提出了主动细粒度识别(AFGR)问题,并分三步完成了这项研究:(i)收集了一个分层的、多视角的、细粒度的车辆数据集作为测试床;(ii)设计了一个简单的实验来验证不同视角对FGVC的贡献不同,不同类别具有不同的区分视角,(iii)采用基于策略梯度的框架来实现具有主动视图选择的高效识别。综合实验表明,该方法提供了一个更好的性能效率的权衡比以前的FGVC方法和先进的神经网络。
2022-06-02 cs.CV
Drawing and Recognizing Chinese Characters with Recurrent Neural Network
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Montreal(蒙特利尔大学)
最近基于深度学习的方法在手写识别方面取得了巨大成功。汉字是世界上使用最广泛的书写系统之一。以往的研究主要集中在手写体汉字的识别上。然而,识别只是理解语言的一个方面,另一个具有挑战性和有趣的任务是教机器自动书写(象形)汉字。在本文中,我们提出了一个框架,通过使用循环神经网络(RNN)作为一个判别模型识别汉字和生成模型绘制(生成)汉字。为了识别汉字,以前的方法通常采用卷积神经网络(CNN)模型,需要将在线手写轨迹转换为图像表示。相反,我们基于RNN的方法是一个端到端系统,它直接处理序列结构,不需要任何特定领域的知识。使用RNN系统(结合LSTM和GRU),可以在ICDAR-2013竞赛数据库上实现最先进的性能。此外,在RNN框架下,提出了一个带有字符嵌入的条件生成模型,用于自动绘制可识别的汉字。生成的字符(矢量格式)是人类可读的,也可以通过判别RNN模型以高精度识别。实验结果验证了使用RNN作为生成和区分模型的有效性,用于绘制和识别汉字的任务。
2016-06-21 cs.CV
Task-oriented Embedding Counts: Heuristic Clustering-driven Feature Fine-tuning for Whole Slide Image Classification
Shenzhen Shengqiang Technology Co., Ltd.(深圳盛强科技有限公司);Greater Bay Area National Center of Technology Innovation(粤港澳大湾区国家技术创新中心)
本文提出启发式聚类驱动特征微调方法HC-FT,通过两轮聚类筛选纯净正样本和困难负样本以解决WSI分类中MIL任务导向特征更新的过拟合与噪声标签问题,在CAMELYON16和BRACS数据集上分别实现97.13%和85.85%的AUC。
2024-06-02 cs.CV
Discriminative Noise Robust Sparse Orthogonal Label Regression-based Domain Adaptation
Shanghai Jiao Tong University(上海交通大学);Ecole Centrale de Lyon(里昂中央理工学院)
领域自适应(DA)旨在使从源域训练的学习模型能够在目标域上很好地泛化,尽管两个域之间的数据分布不匹配。到目前为止,最先进的DA方法集中在潜在的共享特征空间的搜索,其中源和目标域数据可以在统计上和/或几何上对齐。本文提出了一种新的无监督DA方法,即基于区分噪声鲁棒稀疏正交标记回归的领域自适应(DOLL-DA)。建议DOLL-DA来自一种新的集成模型,该模型搜索共享的特征子空间,其中源和目标域数据通过优化一些排斥力项,在统计上有区别地对齐,同时使用标签嵌入技巧正交回归其数据标签。此外,在最小化一个新的噪声鲁棒稀疏正交标签回归(NRS_OLR)项,所提出的模型显式地考虑数据离群值,以避免负传递,并在回归数据标签时引入稀疏性。由于字符限制。请阅读我们论文中的详细摘要。
2021-01-09 cs.CV
PointGame: Geometrically and Adaptively Masked Auto-Encoder on Point Clouds
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Bournemouth University(伯恩茅斯大学);Alan Turing Institute(艾伦·图灵研究所)
自监督学习在点云理解中受到广泛关注。然而,由于其不规则性和稀疏性,探索区分性和可转移性特征仍然具有挑战性。我们提出了一个几何和自适应掩蔽自动编码器的自监督学习点云,称为\textit{PointGame}。PointGame包含两个核心组件:GATE和EAT。GATE代表几何和自适应标记嵌入模块;它不仅吸收了有效捕获表面形状的几何描述符的传统智慧,而且还利用自适应显着性来关注点云的显着部分。EAT代表具有线性计算复杂性的基于外部注意力的Transformer编码器,其提高了整个流水线的效率。与尖端的无监督学习模型不同,PointGame利用几何描述符来感知表面形状,并自适应地从训练数据中挖掘出有区别的特征。在全球和本地微调策略下,PointGame在各种下游任务上都表现出明显的优势。代码和预训练模型将公开提供。
2023-03-23 cs.CV
Masked Feature Encoding for Large-Scale Whole Slide Image Representation
Concordia University(康考迪亚大学);McGill University(麦吉尔大学);Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所)
提出MFE-MIL,一种特征空间掩码框架,联合训练MLP适配器与掩码重建分支,抑制切片内差异,在多个病理数据集上提升分类与生存预测性能。
2026-10-08 cs.CV
Contrastive Integrated Gradients: A Feature Attribution-Based Method for Explaining Whole Slide Image Classification
ECE Department, University of Houston(德克萨斯大学休斯顿分校电子与计算机工程系);Information Technology, HCMC University of Technology and Education(胡志明市技术与教育大学信息技术系);VN-UK Institute for Research and Executive Education, The University of Da Nang(越南-英国研究与管理教育研究所,丹那大学);Ho Chi Minh City University of Science, Vietnam National University(胡志明市科学大学,越南国家大学);Computational Biology Department, Carnegie Mellon University(卡内基梅隆大学计算生物学系)
针对全切片图像分类现有归因方法易忽略类别判别信号的问题,提出对比积分梯度归因方法CIG及配套评估指标,在多癌症数据集上验证其可生成更精准的归因结果,助力可信病理诊断。
2025-11-14 cs.AI cs.CV
HMIL: Hierarchical Multi-Instance Learning for Fine-Grained Whole Slide Image Classification
The Hong Kong University of Science and Technology(香港科技大学);Harvard University(哈佛大学);The Chinese University of Hong Kong(香港中文大学);Peking University Shenzhen Hospital(北京大学深圳医院)
针对全切片图像细粒度分类中忽略层次标签相关性的问题,提出层次多示例学习框架HMIL,通过类别注意力机制、监督对比学习和动态加权模块实现层级对齐,在多个数据集上达到最先进性能。
2025-04-04 cs.CV
When Fashion Meets Big Data: Discriminative Mining of Best Selling Clothing Features
National Taiwan University(台湾大学);University of Rochester(罗切斯特大学)
随着电子商务网站的普及和网上购物的便利,消费者正在接受大量的各种选择的产品。不可否认,购物是我们社会中最基本的活动之一,研究消费者的购物行为不仅对社会学和心理学有重要意义,而且对产业也有重要意义。无可争议,最受欢迎的电子商务类别之一是服装业务。出现了对流行的和有吸引力的服装特征的分析的需要,这可以进一步促进许多新兴的应用,例如服装推荐和广告。在这项工作中,我们设计了一个新的系统,包括三个主要组成部分:1)从在线购物网站中挖掘并组织大规模服装数据集,2)对服装单品数据和用户交易历史中的畅销产品图像进行剪枝并提取,以及3)利用基于机器学习的方法来发现精细的纹理服装属性作为流行服装风格元素的代表性和区分性特征。通过对大规模在线服装购物数据集的实验,我们证明了我们提出的系统的有效性,并获得了有用的洞察服装消费趋势和有利可图的服装功能。
2017-02-22 cs.CV
Deep Template Matching for Offline Handwritten Chinese Character Recognition
就像它在许多计算机视觉任务中取得的显著成就一样,卷积神经网络(CNN)在手写汉字识别(HCCR)中提供了一个端到端的解决方案,并取得了巨大的成功。然而,在数据很少的情况下,学习用于图像识别的判别特征的过程是困难的。本文提出了一种新的学习连体神经网络的方法,该网络采用一种特殊的结构来预测手写体汉字与模板图像之间的相似度。连体神经网络的优化可以看作是一个简单的二分分类问题。当训练过程完成时,强大的判别特征帮助我们将预测能力推广到新数据,而且推广到从未出现在训练集中的全新类别。在ICDAR-2013离线HCCR数据集上进行的实验表明,该方法对从未出现在训练集中的新类具有非常有前途的泛化能力。
2018-11-15 cs.CV
Discriminative Spatial-Semantic VOS Solution: 1st Place Solution for 6th LSVOS
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);University of California at Merced(加州大学默塞德分校)
针对VOS在复杂场景和长时运动中的挑战,提出利用判别性目标特征作为查询的时空VOS模型,结合空间语义模块识别目标部位并突出显著特征,在第6届LSVOS挑战赛中以80.90%的J&F分数获第一名。
2024-08-29 cs.CV
Weakly Supervised Face and Whole Body Recognition in Turbulent Environments
University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
针对大气湍流导致远程识别图像失真、现有重建方案缺乏判别性且依赖配对数据的问题,提出弱监督框架结合倾斜图估计器重排序,在少标注下实现识别准确率提升。
2023-08-22 cs.CV
Discriminative Video Representation Learning Using Support Vector Classifiers
The Australian National University(澳大利亚国立大学)
用于视频中动作识别的最流行的深度模型会为短片段生成独立的预测,然后将这些预测集中起来,为完整的视频片段分配动作标签。由于并非所有帧都可以表征潜在的动作-许多帧在多个动作中是共同的-对所有帧施加同等重要性的池化方案可能是不利的。为了解决这个问题,我们提出了区分池,基于这样的概念,即在所有短片段上生成的深度特征中,至少有一个特征是动作的特征。为了识别这些有用的特征,我们求助于一个由已知不相关的特征组成的负包,例如,它们要么是从与我们感兴趣的动作无关的数据集中采样的,要么是通过随机噪声作为输入产生的CNN特征。与视频的功能作为一个积极的袋子和不相关的功能作为负面的袋子,我们投一个目标,学习(非线性)超平面,分离未知的有用功能,从其余的多实例学习公式内的支持向量机设置。我们使用这个分离超平面的参数作为完整视频片段的描述符。由于这些参数与最大边缘框架中的支持向量直接相关,因此它们可以被视为来自袋子的特征的加权平均池化,而非支持向量的权重为零。我们的池化方案在深度学习框架内是端到端可训练的。我们报告了八个计算机视觉基准数据集的实验结果,这些数据集涵盖了各种视频相关的任务,并展示了这些任务的最新性能。
2019-09-05 cs.CV
Object Pursuit: Building a Space of Objects via Discriminative Weight Generation
Tsinghua University(清华大学);Stanford University(斯坦福大学)
我们提出了一个框架,不断学习以对象为中心的表示视觉学习和理解。现有的以对象为中心的表示要么依赖于监督,个性化的场景中的对象,或执行无监督的解纠缠,很难处理复杂的场景在现实世界中。为了减轻注释负担并放松对数据统计复杂性的约束,我们的方法利用交互来有效地对对象的各种变化和相应的训练信号进行采样,同时学习以对象为中心的表示。在整个学习过程中,对象以随机顺序一个接一个地以未知身份进行流式传输,并且与潜在代码相关联,该潜在代码可以通过卷积超网络为每个对象合成有区别的权重。此外,学习对象的重新识别和遗忘预防,使学习过程的有效性和鲁棒性。我们进行了广泛的研究所提出的框架的主要特点,并分析了学习表征的特点。此外,我们证明了所提出的框架在学习表示,可以提高下游任务的标签效率的能力。我们的代码和训练模型在https://github.com/pptrick/Object-Pursuit上公开提供。
2022-04-03 cs.CV
Improving Interpretability for Computer-aided Diagnosis tools on Whole Slide Imaging with Multiple Instance Learning and Gradient-based Explanations
Keen Eye(基恩眼公司);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室)
深度学习方法广泛用于医疗应用,以帮助医生进行日常工作。虽然性能达到专家水平,但可解释性(强调训练模型如何学习和学习了什么以及为什么做出特定决策)是深度学习方法需要解决的下一个重要挑战,以便完全集成在医学领域。在本文中,我们解决的问题,在整个幻灯片图像(WSI)分类的背景下的可解释性。我们形式化的WSI分类架构的设计,并提出了一个分段的可解释性的方法,依赖于基于梯度的方法,功能可视化和多实例学习上下文。我们的目的是解释如何根据图块级别评分做出决策,如何决定这些图块评分以及使用哪些功能并与任务相关。在Camelyon-16 WSI数据集上训练了两个WSI分类架构,突出了学习到的判别特征,并与病理学家验证了我们的方法之后,我们提出了一种基于提取的特征计算可解释性幻灯片级热图的新方法,该方法将AUC的瓦片级分类性能提高了29%以上。
2020-09-29 cs.CV cs.LG
Dynamic Policy-Driven Adaptive Multi-Instance Learning for Whole Slide Image Classification
Harbin Institute of Technology(哈尔滨工业大学)
提出动态策略驱动的自适应多实例学习方法,通过动态采样和强化学习改进实例选择与特征聚合,在WSI分类中超越现有方法。
2024-03-09 cs.CV
Diving Deep onto Discriminative Ensemble of Histological Hashing & Class-Specific Manifold Learning for Multi-class Breast Carcinoma Taxonomy
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Techno India University(印度科技大学)
组织学图像(HI)加密分辨率依赖的异质纹理和不同的颜色分布变化,表现在微观结构的表面组织卷积。此外,癌细胞固有的高相干性对乳腺癌(BC)多分类提出了重大挑战。因此,多类分层很少探索,先前的工作主要集中在良性和恶性组织表征上,这阻碍了对诸如腺病、粘液癌和纤维腺瘤等下级类别的进一步定量分析,以获得诊断能力。在这项工作中,提出了一个来自HI的全自动,近实时和计算成本低廉的鲁棒多分类深度框架。该方案采用深度神经网络(DNN)辅助的整体类特定流形学习(CSML)的判别集成,用于底层HI子空间嵌入和基于HI哈希的局部浅签名。该模型实现了95.8%的准确率相关的多分类和2.8%的整体性能提高和38.2%的增强小叶癌(LC)子类识别率相比,现有的国家的最先进的众所周知的BreakHis数据集实现。此外,在200倍的识别率为99.3%,在所有放大倍数下对二进制分级的灵敏度为100%,验证了其适用于手持智能设备的临床部署。
2019-03-24 cs.CV
Discriminative feature encoding for intrinsic image decomposition
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室)
本征图像分解是计算机视觉的一个重要而长期的研究课题。给定输入图像,恢复物理场景属性是不适定的。几个物理动机的先验知识已被用来限制固有图像分解的优化问题的解空间。这项工作利用了深度学习的优势,并表明它可以高效地解决这个具有挑战性的计算机视觉问题。重点在于特征编码阶段,从输入图像中提取不同本征层的区别性特征。为了实现这一目标,我们探讨了不同的内在成分在高维特征嵌入空间中的独特特性。我们定义了特征分布发散度来有效地分离不同内在成分的特征向量。通过特征分布的一致性,特征分布也被约束以拟合真实的特征分布。此外,提供了一种数据细化方法,以消除Sintel数据集的数据不一致性,使其更适合于内在图像分解。我们的方法也扩展到内在的视频分解的基础上相邻帧之间的像素级对应关系。实验结果表明,我们提出的网络结构可以优于现有的最先进的。
2022-09-25 cs.CV
Multimodal Feature Prototype Learning for Interpretable and Discriminative Cancer Survival Prediction
Hangzhou Dianzi University(杭州电子科技大学);School of Information and Communication Technology, Griffith University(信息与通信技术学院,格里菲斯大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);Laboratory of Advanced Theranostic Materials and Technology, Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences(先进诊疗材料与技术实验室,宁波材料技术与工程研究所,中国科学院);School of Biomedical Engineering, Tsinghua University(生物医学工程学院,清华大学)
本研究提出多模态框架FeatProto,通过三项创新改进原型学习,在四个公开癌症数据集上,实现了更准确可解释的癌症生存预测,为医疗原型学习提供新视角。
2026-09-01 cs.CV
Boosting Scene Character Recognition by Learning Canonical Forms of Glyphs
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
场景字符识别作为文档分析中的基本问题之一,近年来引起了人们的广泛关注。但是,这个问题仍然被认为是非常具有挑战性的,由于许多不可控的因素,包括图像变换,模糊,嘈杂的背景,不均匀的照明,在本文中,我们提出了一种新的方法来提高场景字符识别学习规范形式的字形,基于这一事实,即出现在场景图像中的字符都来自其相应的规范形式。我们的主要观察结果是,与传统的基于分类的特征学习框架相比,通过解决专门设计的生成任务可以学习到更多的区分特征。具体来说,我们设计了一个基于GAN的模型,使学习到的给定场景角色的深度特征能够以多种标准字体风格重建相应的字形。通过这种方式,我们获得了场景字符的深度特征,这些特征在识别中更具歧视性,并且对上述因素不太敏感。我们在几个公开的数据库上进行的实验证明了我们的方法与现有技术相比的优越性。
2019-07-25 cs.CV
MMNavAgent: Multi-Magnification WSI Navigation Agent for Clinically Consistent Whole-Slide Analysis
Institute of Pathology, Technical University of Munich, Germany(慕尼黑技术大学病理研究所);Munich Data Science Institute (MDSI), Munich, Germany(慕尼黑数据科学研究所);Munich Center for Machine Learning (MCML), Munich, Germany(慕尼黑机器学习中心);Computer Aided Medical Procedures (CAMP), TU Munich, Munich, Germany(计算机辅助医疗程序(CAMP),慕尼黑技术大学);Dalian University of Technology(大连理工大学);Cancer Hospital of Dalian University of Technology, Shenyang(大连理工大学肿瘤医院);Department of Human Pathology, Juntendo University Graduate School of Medicine(立命大学医学研究生院人类病理部门);University of Science and Technology of China(中国科学技术大学);Institute of Medical Robotics, Shanghai Jiao Tong University(上海交通大学医学机器人研究所);Northwest University of China(中国西北大学)
MMNavAgent通过多倍率交互建模和自适应倍率选择,提升全滑片图像诊断性能,实验显示AUC和BACC均有所提升。
2026-03-02 cs.CV
Orientation-Discriminative Feature Representation for Decentralized Pedestrian Tracking
Cornell University(康奈尔大学)
本文重点研究了利用传感器网络进行分散式行人跟踪的问题。传统的行人跟踪工作通常使用集中式框架,由于通信带宽有限,这对于机器人应用来说变得不太实用。我们提出了一种通信效率高,方向判别特征表示来表征行人外观信息,可以在传感器之间共享。在此基础上,我们的工作开发了一个跨传感器的跟踪关联方法来实现分散跟踪。在公开的数据集上进行了广泛的评估,结果表明,我们提出的方法可以提高多传感器跟踪的性能。
2022-02-26 cs.CV cs.MA cs.RO
Frame attention networks for facial expression recognition in videos
Shenzhen Institutes of Advanced Technology, Chinese Academy of Science(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学)
基于视频的面部表情识别旨在将给定视频分类为几种基本情感。如何整合各个帧的面部特征是这项任务的关键。在本文中,我们提出了帧注意力网络(FAN),自动突出一些歧视性的帧在一个端到端的框架。该网络将具有可变数量人脸图像的视频作为输入,并产生固定维度的表示。整个网络由两个模块组成。特征嵌入模块是一个深度卷积神经网络(CNN),它将人脸图像嵌入特征向量。帧关注度模块学习多个关注度权重,这些关注度权重用于自适应地聚合特征向量以形成单个有区别的视频表示。我们在CK+和AFEW 8.0数据集上进行了广泛的实验。与其他基于CNN的方法相比,我们提出的FAN显示出优越的性能,并在CK+上实现了最先进的性能。
2019-09-12 cs.CV cs.HC cs.MM
A transformer-based deep learning approach for classifying brain metastases into primary organ sites using clinical whole brain MRI
Rensselaer Polytechnic Institute(伦斯勒理工学院);Wake Forest School of Medicine(维克森林大学医学院)
脑转移性疾病的治疗决定依赖于对原发器官部位的了解,目前是通过活检和组织学来做出的。在这里,我们开发了一种新的深度学习方法,用于使用全脑MRI数据进行准确的非侵入性数字组织学。我们的IRB批准的单中心回顾性研究包括21年来接受MRI治疗计划和伽玛刀放射外科治疗的患者(n= 1,399)。对对比增强T1加权和T2加权液体衰减反转恢复脑MRI检查(n= 1,582)进行预处理,并将其输入到拟议的深度学习工作流程中,以进行肿瘤分割、模态转移和原发部位分类,分为五类之一。10倍交叉验证生成的总体AUC为0.878(95%CI:0.873,0.883),肺分类AUC为0.889(95%CI:0.883,0.895),乳腺分类AUC为0.873(95%CI:0.860,0.886),黑素瘤分类AUC为0.852(95%CI:0.842,0.862),肾分类AUC为0.830(95%CI:0.809,0.851),其他分类AUC为0.822(95%CI:0.805,0.839)。这些数据表明,全脑成像特征是有区别的,可以准确诊断原发性恶性肿瘤的器官部位。我们的端到端的深度放射组学方法具有很大的潜力,从全脑MRI图像分类转移性肿瘤类型。进一步的改进可以提供一个宝贵的临床工具,以加快原发性癌症部位的识别,以进行精确治疗和改善预后。
2022-04-20 cs.CV eess.IV physics.med-ph
Identifying regions of interest in whole slide images of renal cell carcinoma
本文提出一种基于DRLBP纹理描述子和颜色变换的自动化系统,用于识别肾细胞癌全切片图像中的感兴趣区域,并结合SVM和迁移学习实现高效分类,最佳精确率达99.17%。
2025-04-09 cs.AI cs.CV eess.IV
Hold me tight! Influence of discriminative features on deep network boundaries
EPFL(洛桑联邦理工学院);ETH Zürich(苏黎世联邦理工学院)
对神经网络可解释性的重要见解在于其决策边界的特征。在这项工作中,我们借用了对抗鲁棒性领域的工具,并提出了一个新的视角,将数据集特征与样本到决策边界的距离联系起来。这使我们能够仔细调整训练样本的位置,并测量在大规模视觉数据集上训练的CNN边界上引起的变化。我们使用这个框架来揭示CNN的一些有趣的特性。具体来说,我们严格确认神经网络对非歧视性特征具有高度的不变性,并表明DNN的决策边界只能存在,只要分类器是用一些将它们保持在一起的特征训练的。最后,我们表明,决策边界的建设是非常敏感的小扰动的训练样本,在某些方向的变化可能会导致突然的不变性的正交。这正是对抗训练用来实现鲁棒性的机制。
2020-10-15 cs.CV cs.LG stat.ML
Characterization of Posidonia Oceanica Seagrass Aerenchyma through Whole Slide Imaging: A Pilot Study
Laboratory of Image Synthesis and Analysis (LISA)(图像合成与分析实验室(LISA));Université Libre de Bruxelles (ULB)(布鲁塞尔自由大学(ULB));DIAPath, Center for Microscopy and Molecular Imaging (CMMI)(DIAPath显微镜与分子成像中心(CMMI));Environmental HydroAcoustics Lab (EHL)(环境水声学实验室(EHL))
表征海草的组织形态和解剖结构对于预测其声学行为至关重要。在这项试点研究中,我们使用组织学技术和整体幻灯片成像(WSI)描述的组成和拓扑结构的通气组织的整个叶片在自动的方式相结合的优势,X射线显微断层扫描和光学显微镜。石蜡块的制备方式是,切片机切片包含沿刀片全长分布的任意数量的横截面。石蜡块中的样品组织与整个载玻片图像分析相结合,可实现高通量数据提取和沿整个叶片长度的详尽表征。该工作的核心是图像处理算法,可以识别纤维束,表皮,叶肉和维管系统的细胞和空气陷窝(或空隙)。一组特定的功能开发,以充分描述标准描述符失败的细胞和空隙的凸度。这些特征仔细检查对象边界的局部曲率,以允许通过机器学习准确区分空隙和单元。该算法允许重建与组织密度、可压缩性和刚度相关的细胞和细胞膜特征。然后从高分辨率切片中提取不同细胞类型和气体空间的尺寸分布、总生物量和总空隙体积分数,以提供沿着叶子从其基部到顶端的组织的完整表征。
2019-03-11 cs.CV cs.LG q-bio.TO
Do Input Gradients Highlight Discriminative Features?
Microsoft Research India(微软印度研究院);Google Research India(谷歌印度研究院)
事后基于梯度的可解释性方法[Simonyan等人,2013年,Smilkov等人,2017]提供模型预测的特定实例解释通常基于假设(A):输入梯度的大小-相对于输入的logits梯度-嘈杂地突出了区分性任务相关特征。在这项工作中,我们使用三管齐下的方法来测试假设(A)的有效性。首先,我们开发了一个评估框架,DiffROAR,在四个图像分类基准上测试假设(A)。我们的结果表明,(i)标准模型的输入梯度(即,在原始数据上训练的)可能严重违反(A),而(ii)逆向鲁棒模型的输入梯度满足(A)。其次,我们介绍了BlockMNIST,一个基于MNIST的半真实数据集,通过设计编码的先验知识的判别功能。我们对BlockMNIST的分析利用这些信息来验证和表征标准模型和鲁棒模型的输入梯度属性之间的差异。最后,我们从理论上证明了我们的实证研究结果适用于简化版本的BlockMNIST数据集。具体来说,我们证明了在这个数据集上训练的标准一个隐藏层MLP的输入梯度不会突出特定于实例的信号坐标,因此严重违反了假设(A)。我们的发现激发了以可证伪的方式形式化和测试可解释性中常见假设的需求[Leavitt和Morcos,2020]。我们认为,DiffROAR评估框架和基于BlockMNIST的数据集可以作为健全性检查,以审计特定于实例的可解释性方法;代码和数据可在https://github.com/hars…
2021-10-26 cs.AI cs.CV cs.LG
FOCUS: Knowledge-enhanced Adaptive Visual Compression for Few-shot Whole Slide Image Classification
HKUST(香港科技大学);BICI;CUHK(香港中文大学);Peking University(北京大学)
针对少样本全玻片图像分类中图块冗余干扰诊断特征学习的问题,提出FOCUS框架,结合病理学基础模型与语言先验,通过三阶段渐进压缩聚焦关键区域,在多类癌症病理数据集上实现了更优的少样本诊断性能。
2025-03-20 cs.AI cs.CV q-bio.QM