DeepMiner: Discovering Interpretable Representations for Mammogram Classification and Explanation
Princeton University(普林斯顿大学);The Chinese University of Hong Kong(香港中文大学);Microsoft(微软);UCLA(加州大学洛杉矶分校);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);Microsoft Research New England(微软新英格兰研究院);VSCO
我们提出了DeepMiner,这是一个发现深度神经网络中可解释的表示并为医学预测建立解释的框架。通过探测训练用于对乳房X线照片中的癌症进行分类的卷积神经网络(CNN),我们发现CNN的最终卷积层中的许多单个单元对BI-RADS词典指定的患病组织概念做出强烈响应。在对可解释单元进行专家注释后,我们提出的方法能够生成与筛查乳腺X射线摄影数字数据库上的地面真实放射学报告一致的CNN乳腺X射线摄影分类的解释。我们表明,DeepMiner不仅能够更好地理解CNN分类决策的细微差别,而且还可能发现与医学诊断相关的新视觉知识。
2021-08-18 cs.CV
Implicit Mixture of Interpretable Experts for Global and Local Interpretability
Australian National University(澳大利亚国立大学)
我们研究了使用可解释专家混合物(MoIE)在MNIST 10上构建可解释图像分类器的可行性。MoIE使用黑盒路由器将每个输入分配给许多固有的可解释专家中的一个,从而深入了解为什么做出特定的分类决策。我们发现,经过天真训练的MoIE将学会“作弊”,黑盒路由器将自行解决分类问题,每个专家只需学习一个特定类别的常量函数。我们建议通过引入可解释路由器和训练黑盒路由器的决策来匹配可解释路由器来解决这个问题。此外,我们提出了一种新的隐式参数化方案,使我们能够建立任意数量的专家的混合物,使我们能够研究分类性能,本地和全球的可解释性如何随着专家数量的增加而变化。我们的新模型被称为隐式混合可解释专家(IMoIE),可以在MNIST 10上匹配最先进的分类精度,同时提供局部可解释性,并且可以提供全局可解释性,尽管以降低分类精度为代价。
2022-12-01 cs.CV cs.LG
Lossless Image Compression Algorithm for Wireless Capsule Endoscopy by Content-Based Classification of Image Blocks
Isfahan University of Technology(伊斯法罕理工大学);University of Queensland(昆士兰大学);University of Michigan(密歇根大学)
胶囊式内窥镜系统的最新进展引入了新的方法和能力。胶囊式内窥镜系统通过观察整个消化道,显著改善了胃肠道疾病的诊断。该系统具有需要解决的挑战,诸如需要增强所传输的图像的质量、传输的低帧速率以及电池寿命。胶囊内窥镜系统的重要组成部分之一是图像压缩单元。更好的图像压缩提高了帧速率,从而改善了诊断过程。本文提出了一种高压缩比的高精度压缩算法。在该算法中,我们使用帧之间的相似性,以压缩数据更有效。
2018-02-21 cs.CV
Concepts in Motion: Temporal Concept Bottleneck Model for Interpretable Video Classification
Technical University of Clausthal(Clausthal 技术大学);Ramblr.ai Research(Ramblr.ai 研究)
本文提出MoTIF模型,通过时间接地的概念激活序列进行视频分类,利用时序自注意力机制建模概念的出现时间和贡献,提升可解释性。
2026-05-12 cs.CV
A Benchmark Study of Neural Network Compression Methods for Hyperspectral Image Classification
Department of Computer and Information Science, Temple University, Philadelphia, USA(计算机与信息科学系,特拉华大学,费城,美国)
本研究评估了三种神经网络压缩方法在高光谱图像分类中的性能,发现压缩技术能有效降低模型规模和计算成本,同时保持分类性能。
2026-03-05 cs.CV cs.LG
The Effects of Spectral Dimensionality Reduction on Hyperspectral Pixel Classification: A Case Study
University of Ontario Institute of Technology(安大略理工大学);University of Toronto(多伦多大学)
本文提出了一个系统的研究高光谱像元降维对像元分类任务的影响。我们使用五种降维方法- PCA,KPCA,ICA,AE和DAE -压缩301维高光谱像素。压缩像素随后用于执行像素分类。像素分类精度与压缩方法、压缩率和重建误差一起提供了一个新的镜头来研究压缩方法对像素分类任务的适用性。我们使用三个高分辨率的高光谱图像数据集,代表三种常见的景观类型(即城市,过渡郊区和森林)收集的遥感和空间生态系统建模实验室的多伦多大学。我们发现,PCA,KPCA和ICA后更大的信号重建能力,然而,当压缩率超过90%,这些方法显示较低的分类得分。AE和DAE方法在95%的压缩率下具有较好的分类精度,但当压缩率接近97%时,其性能下降。我们的研究结果表明,在设计高光谱像素分类流水线时,压缩方法和压缩率都是重要的考虑因素。
2022-01-27 cs.CV cs.LG eess.IV
Matrix Product State for Higher-Order Tensor Compression and Classification
University of Technology Sydney(悉尼科技大学)
本文介绍了矩阵乘积状态(MPS)分解作为一种新的和系统的方法来压缩由高阶张量表示的多维数据。它解决了张量压缩中的两个主要瓶颈:计算和压缩质量。无论张量的顺序,MPS压缩张量的中等尺寸的矩阵,可用于分类。MPS主要基于连续序列的奇异值分解(SVD),实现起来非常简单,并且可以达到全局最优矩阵,绕过局部交替优化,这不仅计算昂贵,而且无法产生全局解。测试结果表明,与其他张量压缩方法相比,MPS可以实现更好的分类性能和有利的计算成本。
2016-09-15 cs.CV cs.DS stat.ML
Intuitionistic Fuzzy Cognitive Maps for Interpretable Image Classification
University of Thessaly(塞萨利大学)
本文提出可解释直觉模糊认知图(I2FCMs)框架用于图像分类,通过估计犹豫度评估输出质量,结合特征提取与自动学习算法减少人工干预,并使用语言术语提供可解释预测,且能应用于CNN等深度学习模型。
2025-04-04 cs.AI cs.CV
Localizing Interpretable Multi-scale informative Patches Derived from Media Classification Task
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
深度卷积神经网络(CNN)总是依赖于更宽的感受野(RF)和更复杂的非线性来实现最先进的性能,同时也越来越难以解释相关补丁如何贡献最终预测。在本文中,我们构建了一个可解释的锚网配备了我们精心设计的RF和线性空间聚合,以提供逐块的输入媒体的可解释性,同时本地化的多尺度信息补丁只监督媒体级别的标签,没有任何额外的限界框注释。局部信息图像和文本块的可视化显示了AnchorNet优越的多尺度定位能力。我们进一步使用本地化补丁在广泛应用的网络中进行下游分类任务。实验结果表明,将原始输入替换为局部化后的分类块,在性能损失很小的情况下,能够获得明显的推理加速效果,证明局部化后的分类块确实能够保留原始输入的大部分语义和证据。
2020-04-17 cs.CV
FrequentNet: A Novel Interpretable Deep Learning Model for Image Classification
Zhejiang University(浙江大学);Microsoft(微软);Instacart;Cornell University(康奈尔大学)
本文提出了一种新的基线深度学习模型,更有利于图像分类。与卷积神经网络(CNN)实践不同,在卷积神经网络(CNN)实践中,通过反向传播来训练滤波器以表示图像的不同模式,我们受到“PCANet:A Simple深度学习Baseline for图像分类?从频域中的基向量(如傅立叶系数或小波)中选择滤波器向量,而无需反向传播。研究人员已经证明,频域中的那些基础通常可以提供物理见解,这通过分析所选择的频率来增加模型的可解释性。此外,与CNN的“黑箱”训练过程相比,训练过程也将更加省时、数学上清晰和可解释。
2021-08-12 cs.CV stat.ML
Interpretable CNNs for Object Classification
Shanghai Jiao Tong University(上海交通大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种在深度卷积神经网络(CNN)中学习可解释卷积滤波器进行对象分类的通用方法,其中每个可解释滤波器对特定对象部分的特征进行编码。我们的方法不需要额外的注释对象的部分或纹理的监督。相反,我们使用与传统CNN相同的训练数据。我们的方法在学习过程中自动为高conv层中的每个可解释过滤器分配特定类别的对象部分。在CNN的conv层中的这种显式知识表示帮助人们澄清在CNN中编码的逻辑,即,回答CNN从输入图像中提取什么模式并用于预测。我们已经使用具有各种结构的不同基准CNN测试了我们的方法,以证明我们方法的广泛适用性。实验表明,我们的可解释的过滤器是更有意义的语义比传统的过滤器。
2020-03-12 cs.CV cs.LG stat.ML
Bottom-up Hierarchical Classification Using Confusion-based Logit Compression
Ohio State University(俄亥俄州立大学);AFRL/RYAP(美国空军研究实验室/赖特-帕特森空军基地研究部)
在这项工作中,我们提出了一种方法来有效地计算标签后验的基本平面分类器中存在的几个验证的例子内自自底向上的【形】的分层推理框架。独立的验证集(不用于训练基本分类器)对于后验估计是优选的,以避免过拟合基本分类器,然而,小的验证集限制了可以有效使用的特征的数量。我们提出了一个简单的,但强大的,logit向量压缩方法的基础上广义logits和标签混淆的任务标签后验估计的上下文中的分层分类。在多个大小的验证集上提供了与其他压缩技术的广泛比较实验,并与相关的分层分类方法进行了比较。所提出的方法缓解了没有足够的验证实例进行可靠的后验估计的问题,同时保持强大的分层分类性能。
2021-10-05 cs.CV cs.LG
Mitigating Bias in Concept Bottleneck Models for Fair and Interpretable Image Classification
Massachusetts Institute of Technology(麻省理工学院)
本文提出三种技术缓解概念瓶颈模型中的偏见,以提升图像分类的公平性和可解释性。
2026-03-06 cs.CV cs.LG
FPN-IAIA-BL: A Multi-Scale Interpretable Deep Learning Model for Classification of Mass Margins in Digital Mammography
Duke University(杜克大学);Brigham and Women’s Hospital(布莱根妇女医院);University of Maine(缅因大学)
本文提出多尺度可解释深度学习模型FPN-IAIA-BL,通过用户可配置的粗细粒度原型解决现有可解释模型特征定位不准的问题,实现与放射科医生实践一致的乳腺X线摄影肿块边缘分类。
2024-06-10 cs.CV
Interpretable Alzheimer's Disease Classification Via a Contrastive Diffusion Autoencoder
University College London(伦敦大学学院)
本研究提出基于对比扩散自编码器的方法,通过图像与潜在空间训练样本的相似性对阿尔茨海默病进行分类,在2D MRI数据上达到黑盒模型相当准确率并提供可解释性。
2023-10-25 cs.CV cs.LG
HealthiVert-GAN: A Novel Framework of Pseudo-Healthy Vertebral Image Synthesis for Interpretable Compression Fracture Grading
School of Biomedical Engineering, Shanghai Jiao Tong University(上海交通大学生物医学工程学院);National Engineering Research Center of Advanced Magnetic Resonance Technologies for Diagnosis and Therapy (NERC-AMRT)(先进磁共振诊断与治疗技术国家工程研究中心);Med-X Research Institute, Shanghai Jiao Tong University(医-X研究院);Kashi Prefecture Second People’s Hospital(喀什县第二人民医院);Renji Hospital, Shanghai, China(仁济医院);Shanghai Sixth People’s Hospital, Shanghai, China(上海第六人民医院)
本文提出HealthiVert-GAN框架,通过由粗到细的合成网络生成伪健康椎体图像,结合RHLV量化指标和SVM分类,实现可解释的OVCFs严重程度分级,并在Verse2019和内部数据集上取得最优性能。
2025-08-15 cs.CV eess.IV
Explainable Multi-Loss Distillation Framework for Efficient and Interpretable Shrimp Disease Text Classification
FPT University(FPT大学);Korea University(高丽大学)
针对虾病图像分类仅能在疾病晚期检测的局限,提出SALT框架结合LIME、SHAP实现可解释性,在文本分类任务中兼顾性能、效率与可解释性,可用于虾病早期诊断。
2026-09-01 cs.CV
OPAL: Orthonormal Prototype Alignment Learning for Interpretable Image Classification
Universitat Politècnica de València(瓦伦西亚理工大学);Mines Paris, PSL University(巴黎矿业学院,巴黎文理研究大学);Artikode Intelligence S.L.
提出单阶段端到端框架OPAL,通过正交基锚定潜在空间、空间竞争机制实现可解释图像分类,性能优于同类模型,可提供细粒度视觉解释。
2026-09-01 cs.CV
Image-guided topic modeling for interpretable privacy classification
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
提出图像引导主题建模ITM,融合视觉与视觉语言模型文本描述生成带隐私评分的内容描述符,并训练可解释隐私分类器Priv×ITM,准确率较可解释基线高5个百分点。
2024-09-27 cs.CV
Don't PANIC: Prototypical Additive Neural Network for Interpretable Classification of Alzheimer's Disease
Technical University Munich(慕尼黑工业大学);Ludwig Maximilians University(慕尼黑大学)
阿尔茨海默病(AD)病因复杂,需要综合神经解剖学、遗传学和脑脊液生物标志物等信息进行准确诊断。因此,最近的深度学习方法结合了图像和表格信息,以提高诊断性能。然而,这种神经网络的黑盒性质仍然是临床应用的障碍,其中理解异构模型的决策是不可或缺的。我们提出了PANIC,一个原型添加剂神经网络可解释的AD分类,集成了三维图像和表格数据。它是可解释的设计,因此,避免了事后的解释,试图近似网络的决定的需要。我们的研究结果表明,PANIC在AD分类中实现了最先进的性能,同时直接提供局部和全局解释。最后,我们表明,PANIC提取AD的生物意义的签名,并满足一组值得信赖的机器学习的理想desiderata。我们的实现可以在https://github.com/ai-med/PANIC上获得。
2023-03-14 cs.CV cs.LG
Deep interpretable architecture for plant diseases classification
USTHB University(USTHB大学);University of Mons(蒙斯大学);Mohamed El Bachir El Ibrahimi University(穆罕默德·巴希尔·易卜拉希米大学);Setif 1 University(塞蒂夫第一大学)
最近,许多作品的灵感来自于深度学习在计算机视觉中用于植物病害分类的成功。不幸的是,这些端到端的深度分类器缺乏透明度,这可能会限制它们在实践中的采用。在本文中,我们提出了一种新的可训练的可视化方法,植物病害分类的基础上的卷积神经网络(CNN)架构组成的两个深分类器。第一个叫老师,第二个叫学生。该体系结构利用多任务学习来联合训练教师和学生。然后,教师和学生之间的通信表示被用作代理,以可视化的最重要的图像区域进行分类。这种新的架构产生更清晰的可视化比现有的方法在植物病害的情况下。所有实验都是在包含54306幅植物图像的PlantVillage数据集上完成的。
2019-06-13 cs.CV
Interpretable Logical Anomaly Classification via Constraint Decomposition and Instruction Fine-Tuning
Beijing XingYun Digital Technology Co., Ltd.(北京星云数字技术有限公司)
LogiCls通过约束分解和指令微调实现工业逻辑异常的可解释分类,结合视觉-语言框架和数据驱动的监督方法,提升异常检测的准确性和可解释性。
2026-02-03 cs.CV
Universal Representations for Classification-enhanced Lossy Compression
Oregon State University(俄勒冈州立大学)
本文探索通用表示,开发单个编码器以在各种失真和分类(或感知)约束下实现多个解码目标,避免为每个操作点重训练编码器,在MNIST数据集验证其在感知压缩任务中性能下降小,但在RDC设置中跨权衡点应用会导致显著失真损失。
2025-04-12 cs.AI cs.CV cs.IT
Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification
University of Pennsylvania(宾夕法尼亚大学)
本文提出HCEP框架,通过在潜在空间中诱导概念嵌入的层次结构,利用层次稀疏编码恢复图像中的概念,提升分类可解释性与精度。
2026-03-30 cs.CV cs.LG
Interpretable Image Classification with Differentiable Prototypes Assignment
Ardigen SA(阿迪根公司);Jagiellonian University(雅盖隆大学)
我们介绍ProtoPool,一个可解释的图像分类模型与共享的类的原型池。训练比现有方法更简单,因为它不需要修剪阶段。它是通过引入一个完全可微的分配原型特定的类。此外,我们引入了一种新的焦点相似性函数,将模型集中在罕见的前景特征上。我们表明,ProtoPool在CUB-200-2011和斯坦福汽车数据集上获得了最先进的准确性,大大减少了原型的数量。我们提供了一个理论分析的方法和用户研究表明,我们的原型是更独特的比那些与竞争对手的方法。
2022-09-05 cs.AI cs.CV cs.LG
Towards Image Understanding from Deep Compression without Decoding
ETH Zurich(苏黎世联邦理工学院);Merantix;KU Leuven(鲁汶大学)
受最近基于深度神经网络(DNN)的图像压缩方法的工作的启发,这些方法显示了图像质量的潜在改进,节省了存储空间,并减少了带宽,我们建议直接在这些压缩方法产生的压缩表示上执行图像理解任务,如分类和分割。由于基于DNN的压缩方法中的编码器和解码器是神经网络,其特征映射作为图像的内部表示,因此我们直接将这些与图像理解的架构集成在一起。这绕过了将压缩表示解码到RGB空间中,并降低了计算成本。我们的研究表明,可以实现与在压缩RGB图像上操作的网络相当的精度,同时将计算复杂性度降低到$2\times$。此外,我们还证明了通过在压缩表示上联合训练压缩网络与分类网络,提高图像质量,分类精度和分割性能,可以获得协同效应。我们发现,从压缩表示的推理是特别有利的推理相比,从压缩RGB图像积极的压缩率。
2018-03-16 cs.CV
ProtoPShare: Prototype Sharing for Interpretable Image Classification and Similarity Discovery
Jagiellonian University(雅盖隆大学);Ardigen SA(阿迪根公司)
在本文中,我们介绍了ProtoPShare,一个自我解释的方法,它结合了原型部件的范式来解释其预测。ProtoPShare的主要新颖之处在于,由于我们的数据相关合并修剪,它能够有效地在类之间共享原型部分。此外,原型更一致,模型比最先进的方法ProtoPNet对图像扰动更鲁棒。我们在两个数据集上验证了我们的发现,CUB-200-2011和斯坦福汽车。
2020-11-29 cs.AI cs.CV cs.LG
CDC: Classification Driven Compression for Bandwidth Efficient Edge-Cloud Collaborative Deep Learning
Imperial College London(帝国理工学院)
新兴的边缘云协作深度学习(DL)范式旨在提高实际DL实现在云带宽消耗、响应延迟和数据隐私保护方面的性能。专注于基于DNN的分类器的带宽高效的边缘云协作训练,我们提出了CDC,一个分类驱动压缩框架,可以减少带宽消耗,同时保持边缘云协作DL的分类准确性。具体来说,为了减少带宽消耗,对于资源有限的边缘服务器,我们开发了一个轻量级的自动编码器,具有分类指导,用于压缩和分类驱动的特征保留,这允许边缘只上传原始数据的潜在代码,以便在云上进行准确的全局训练。此外,我们设计了一个可调量化方案自适应追求带宽消耗和分类精度之间的权衡在不同的网络条件下,只有微调是需要快速的压缩比调整。大量的实验结果表明,与使用原始数据的DNN训练相比,CDC消耗的带宽减少了14.9倍,准确率损失不超过1.06%,与使用无指导的AE压缩数据的DNN训练相比,CDC引入了至少100%的准确率损失。
2020-05-04 cs.CV cs.DC cs.LG
Interpretable Image Classification with Adaptive Prototype-based Vision Transformers
Dartmouth College(达特茅斯学院);Duke University(杜克大学);University of Maine(缅因大学)
ProtoViT结合视觉Transformer与可变形原型部分,实现可解释图像分类,性能优于现有原型方法。
2024-10-28 cs.CV
A Rate-Distortion-Classification Approach for Lossy Image Compression
Beijing Institute of Computer Technology and Application(北京计算机技术及应用研究所)
针对有损图像压缩需兼顾视觉分析语义失真的需求,提出率-失真-分类(RDC)统一优化框架,经统计分析和MNIST实验验证其具备理想特性,为人机友好压缩及VCM发展提供新思路。
2024-05-06 cs.AI cs.CV cs.IT
Supervised Texture Classification Using a Novel Compression-Based Similarity Measure
基于像素的监督纹理分类通常在特征空间中进行。我们建议在(DIS)相似性空间中通过引入新的基于压缩的(DIS)相似性度量来执行此任务。该方法利用二维的MPEG-1编码器,考虑了图像中像素的空间局部性和连通性。所提出的配方已经精心设计的MPEG编码器功能的基础上。为此,通过设计,它只使用P帧编码来找到补丁/图像之间的(不)相似性。我们表明,建议的措施工作正常的小和大的补丁大小。实验结果表明,该方法显着提高了监督基于像素的纹理分类Brodatz和室外图像的性能相比,其他压缩为基础的相异性措施,以及在特征空间中进行的方法。与竞争对手相比,它还将计算速度提高了约40%。
2013-11-26 cs.CV cs.LG
Interpretable Vision Transformers in Image Classification via SVDA
Dept. Electrical and Computer Engineering(电子与计算机工程系);Democritus University of Thrace(德摩克利特大学);Athena Research Center(雅典研究中心);University Campus at Kimmeria(基米里亚大学校园)
通过SVDA提升图像分类中视觉Transformer的可解释性与结构化注意力模型
2026-02-11 cs.CV
Dynamic Domain Classification for Fractal Image Compression
University of Kerala(喀拉拉邦大学)
分形图像压缩是一种很有吸引力的压缩方法,但其编码时间要求较高。图像被编码为一组压缩仿射变换。将图像分割成不重叠的范围块,并且识别大于范围块的最佳匹配域块。有许多尝试通过减少范围域匹配的搜索池的大小来改善编码时间。但是这些方法试图准备一个在整个编码过程中保持不变的静态域池。本文提出了为每个范围块动态准备单独的域池。这将导致编码时间的显著减少。可以基于参数值来选择特定范围块的域池。在这里,我们使用基于局部分形维数的分类。
2012-05-20 cs.CV cs.GR
Hierarchical Vision Transformer with Prototypes for Interpretable Medical Image Classification
Ulm University Medical Center(乌尔姆大学医学中心);BGZ - Bildgebungszentrum(BGZ影像中心);i2SouI - Innovative Imaging in Surgical Oncology Ulm(乌尔姆外科肿瘤创新影像中心);XAIRAD - Cooperation for Artificial Intelligence in Experimental Radiology(XAIRAD实验放射学人工智能合作中心)
针对医疗图像分类的可解释性需求,提出HierViT分层视觉Transformer,通过原型可视化人类定义特征、结合领域知识并生成注意力热力图,在两个医疗数据集上实现高精度且解释与人类推理一致。
2026-10-26 cs.CV
Classification of White Blood Cell Leukemia with Low Number of Interpretable and Explainable Features
Center for Public Health Genomics(公共卫生基因组学中心);Department of Biomedical Engineering University of Virginia(弗吉尼亚大学生物医学工程系);University of Virginia(弗吉尼亚大学)
白细胞(WBC)白血病通过基于图像的分类检测。卷积神经网络用于学习将细胞图像分类为恶性或健康所需的特征。然而,这种类型的模型需要学习大量的参数,并且难以解释和解释。可解释人工智能(XAI)试图通过提供模型如何做出决策的见解来缓解这个问题。因此,我们提出了一个XAI模型,它只使用24个可解释和可解释的功能,并通过超过它们约4.38%的其他方法是非常有竞争力的。此外,我们的方法提供了洞察哪些变量是最重要的细胞分类。这一见解提供了证据,表明当实验室以不同方式对待WBC时,各种指标的重要性会发生实质性变化。理解分类的重要特征在医学成像诊断中至关重要,并且通过扩展,理解在科学研究中构建的AI模型。
2022-01-28 cs.CV cs.LG eess.IV
Osteoporotic and Neoplastic Compression Fracture Classification on Longitudinal CT
Imaging Biomarkers and Computer-Aided Diagnosis Laboratory, Radiology and Imaging Sciences, Clinical Center, National Institutes of Health(美国国立卫生研究院临床中心放射与影像科学系影像生物标志物与计算机辅助诊断实验室);Department of Radiological Sciences, University of California-Irvine, School of Medicine(加州大学尔湾分校医学院放射科学系)
椎体压缩性骨折(VCF)的分类是治疗计划的基础。我们开发了一个骨折分类系统,通过使用纵向研究的自动测量,获得骨折进展的定量形态学和骨密度决定因素。总共获得了250个CT研究的任务,每一个先前确定的VCF与骨质疏松症或肿瘤。三十六个功能或每个识别的VCF计算和分类使用委员会的支持向量机。10倍交叉验证695确定骨折椎骨的分类精度分别为0.812,0.665和0.820的测量,纵向和组合功能集。
2016-01-27 cs.CV q-bio.TO
RoVISQ: Reduction of Video Service Quality via Adversarial Attacks on Deep Learning-based Video Compression
University of California San Diego(加州大学圣地亚哥分校);KDDI Research, Inc.(KDDI研究所)
视频压缩通过在给定带宽预算下最大化终端用户体验质量(QoE)在视频流传输和分类系统中起着至关重要的作用。在本文中,我们对基于深度学习的视频压缩和下游分类系统的对抗攻击进行了首次系统性研究。我们的攻击框架,称为RoVISQ,操纵率失真($\textit{R}$ - $\textit{D}$)关系的视频压缩模型,以实现以下一个或两个目标:(1)增加网络带宽,(2)降低最终用户的视频质量。我们进一步设计了针对下游视频分类服务的有针对性和无针对性攻击的新目标。最后,我们设计了一个输入不变的扰动,普遍扰乱视频压缩和分类系统的实时性。与之前提出的对视频分类的攻击不同,我们的对抗性扰动是第一个能够承受压缩的。我们凭经验证明了RoVISQ攻击对各种防御的弹性,即,对抗训练、视频去噪和JPEG压缩。我们在各种视频数据集上的大量实验结果表明,RoVISQ攻击使峰值信噪比下降高达5.6dB,比特率下降高达$\sim$ 2.4 $\times$,同时在下游分类器上实现超过90的$\%$攻击成功率。我们的用户研究进一步证明了RoVISQ攻击对用户QoE的影响。
2022-12-08 cs.CR cs.CV
Observer Dependent Lossy Image Compression
Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系);ZHAW School of Engineering(苏黎世应用科技大学工程学院)
深度神经网络最近在图像压缩方面取得了进展,并超过了许多传统的压缩算法。这种网络的训练涉及仔细权衡潜在表示的熵与重建质量。术语质量关键取决于图像的观察者,在绝大多数文献中,观察者被假定为人类。在本文中,我们的目标是超越这种压缩质量的概念,同时考虑人类的视觉感知和图像分类。为此,我们使用了一个家庭的损失函数,允许优化深度图像压缩取决于观察者和人类感知的视觉质量和分类精度之间的插值,使一个更统一的观点图像压缩。我们广泛的实验表明,使用感知损失函数训练压缩系统保持分类精度比传统的编解码器,如BPG,而不需要重新训练的压缩图像上的分类。例如,将ImageNet压缩到0.25 bpp只会使Inception-ResNet分类准确率降低2%。同时,当使用人性化的损失函数时,相同的压缩系统在MS-SSIM方面实现了有竞争力的性能。通过结合这两个目标函数,我们表明,在人类视觉系统和分类精度之间的压缩质量有一个显着的权衡。
2020-11-02 cs.CV cs.LG eess.IV
Interpretable Fundus Image Classification via Ring-Based Retinal Vasculature Features
University of Toronto(多伦多大学);Duke Kunshan University(昆山杜克大学);York University(约克大学);Fields Institute for Research in Mathematical Sciences(菲尔兹数学科学研究所)
本研究提出基于环形视网膜血管特征的可解释眼底图像分类框架,仅用血管描述符在HRF数据集达91.1%准确率,与RETFound相当,可支持可解释疾病分类等且无需大量任务训练数据。
2026-08-26 cs.CV stat.ML
A Deep Learning-based Compression and Classification Technique for Whole Slide Histopathology Images
Anglia Ruskin University(安格利亚鲁斯金大学);Silicon Institute of Technology(硅谷技术学院)
本文提出一种基于自编码器的监督压缩方法,用于全切片组织病理学图像,通过保留语义表示实现高效压缩,并验证了压缩图像在分类任务中的良好性能。
2023-05-11 cs.CV cs.LG eess.IV
Attribute Regularized Soft Introspective Variational Autoencoder for Interpretable Cardiac Disease Classification
Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich(亥姆霍兹慕尼黑生物医学成像机器学习研究所);Helmholtz AI, Helmholtz Munich(亥姆霍兹慕尼黑人工智能中心);School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);School of Biomedical Engineering and Imaging Sciences, King's College London(伦敦国王学院生物医学工程与影像科学学院)
本研究针对医学影像AI可解释性需求,提出结合潜空间属性正则化的对抗训练变分自编码器方法,可解决重建模糊问题,提升心脏病分类的可解释性。
2023-12-14 cs.CV eess.IV
Explainable and Interpretable Diabetic Retinopathy Classification Based on Neural-Symbolic Learning
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Singapore Eye Research Institute(新加坡眼科研究所);Duke-NUS Medical School(杜克-新加坡国立大学医学院);Institute for Molecular and Clinical Ophthalmology(分子与临床眼科研究所);National University of Singapore(新加坡国立大学)
在本文中,我们提出了一个可解释和可解释的糖尿病视网膜病变(ExplainDR)分类模型的神经符号学习的基础上。为了获得可解释性,在决策中应考虑高层次的符号表示。具体来说,我们引入了一个人类可读的符号表示,它遵循与眼睛健康状况相关的糖尿病视网膜病变特征的分类风格,以实现可解释性。然后,我们将从疾病预测中的符号表示获得的人类可读特征包括在内。在糖尿病视网膜病变分类数据集上的实验结果表明,与应用于IDRiD数据集的最先进方法相比,我们提出的ExplainDR方法具有良好的性能,同时还提供了可解释性和可解释性。
2022-04-01 cs.AI cs.CV cs.LG
A Biologically Interpretable Two-stage Deep Neural Network (BIT-DNN) For Vegetation Recognition From Hyperspectral Imagery
Manchester Metropolitan University(曼彻斯特城市大学);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);Brunel University(布鲁内尔大学)
基于光谱空间的深度学习模型最近被证明是有效的高光谱图像(HSI)分类的各种地球监测应用,如土地覆盖分类和农业监测。然而,由于“黑箱”模型表示的性质,如何解释和解释的学习过程和模型的决策,特别是植被分类,仍然是一个开放的挑战。该研究提出了一种新的可解释的深度学习模型-生物可解释的两阶段深度神经网络(BIT-DNN),通过将基于先验知识(即目标实体的生物物理和生物化学属性及其层次结构)的光谱-空间特征转换纳入所提出的框架,能够在基于HSI的分类任务上实现高精度和可解释性。该模型引入了两阶段的特征学习过程:第一阶段,增强的可解释特征块提取与目标实体的生物物理和生物化学属性相关的低级别光谱特征;在第二阶段,可解释的封装块提取并封装高级联合频谱,代表这些目标实体的生物物理和生物化学属性的分级结构的空间特征,这为模型提供了改进的分类性能和内在的可解释性,同时降低了计算复杂性。我们使用四个真实的HSI数据集对四个独立的任务(即植物物种分类,土地覆盖分类,城市场景识别和作物病害识别任务)进行了测试和评估。该模型与五种最先进的深度学习模型进行了比较。
2021-04-14 cs.CV cs.LG eess.IV
CHiQPM: Calibrated Hierarchical Interpretable Image Classification
Institute for Information Processing (tnt) L3S - Leibniz Universität Hannover(信息处理研究所 (tnt) L3S - 莱布尼茨汉诺威大学);Intel Labs(英特尔实验室)
CHiQPM提出了一种兼具全局和局部可解释性的图像分类模型,通过对比解释多数类和分层解释方法,实现高准确率和可解释性,为人类与AI协作提供支持。
2026-04-08 cs.CV cs.HC cs.LG
DINO-QPM: Adapting Visual Foundation Models for Globally Interpretable Image Classification
Institute for Information Processing, L3S - Leibniz University Hannover(信息处理研究所,L3S - 莱布尼茨汉诺威大学)
DINO-QPM通过将复杂特征转换为可解释的对比表示,提升图像分类的可解释性,同时在准确性和解释质量上优于DINOv2线性探针。
2026-04-08 cs.CV cs.HC cs.LG
SIC: Similarity-Based Interpretable Image Classification with Neural Networks
Lab for Artificial Intelligence in Medical Imaging, Technical University of Munich, Germany(医学影像中人工智能实验室,慕尼黑技术大学,德国);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心(MCML),德国)
SIC通过基于案例的推理和B-Cos变换构建内在可解释神经网络,在多个图像分类任务上取得有竞争力准确率的同时提供满足公理的局部与全局解释。
2025-07-18 cs.CV cs.LG
Source Feature Compression for Object Classification in Vision-Based Underwater Robotics
Rutgers University(罗格斯大学);Cleveland State University(克利夫兰州立大学)
针对水下机器人中基于卷积神经网络(CNN)的目标分类问题,提出了一种基于两级Walsh-Hadamard变换(WHT)的高效源特征压缩方法。目标图像首先通过WHT进行两阶段处理。变换域张量具有集中在RGB通道中矩阵的左上角的大值。通过观察这个属性,变换域矩阵被划分为内部区域和外部区域。因此,在这项工作中提出了两种新的分区方法:(i)固定内部和外部区域的大小;和(ii)调整内部和外部区域的大小自适应每图像。这些建议进行了评估,从美国新泽西州的拉里坦河捕获的水下对象数据集。实验结果表明,与同类方法相比,该方法有效地减少了基于学习的水下目标分类任务的训练时间,提高了分类精度。目标分类是基于视觉的水下机器人实现环境感知和自主导航的重要环节。因此,所提出的方法非常适合于高效的计算机视觉为基础的任务,在水下机器人应用。
2021-12-28 cs.CV cs.RO
Enhanced Multi-Class Classification of Gastrointestinal Endoscopic Images with Interpretable Deep Learning Model
ABV-Indian Institute of Information Technology and Management(ABV印度信息技术与管理学院);SRM University(SRM大学);Massachusetts General Hospital(麻省总医院)
本研究提出以EfficientNetB3为骨干的深度学习模型,无需数据增强即可对Kvasir数据集的8000张内镜图像进行八分类,并结合LIME显著性图增强可解释性,测试准确率达94.25%。
2025-03-02 cs.AI cs.CV
Quantized and Interpretable Learning Scheme for Deep Neural Networks in Classification Task
University of Tehran(德黑兰大学);University of Cincinnati(辛辛那提大学);University of St. Thomas(圣托马斯大学);Tehran University(德黑兰大学)
本文提出融合显著性引导训练与PACT量化感知训练的方案,在MNIST和CIFAR-10上保持CNN分类性能,同时降低资源消耗并提升显著性图可解释性。
2024-12-05 cs.CV cs.LG
Towards End-to-End Image Compression and Analysis with Transformers
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Tsinghua University(清华大学);Peking University(北京大学)
针对基于云的图像分类应用,提出了一种基于Transformers的端到端图像压缩与分析模型。我们的目标是重新设计视觉Transformer(ViT)模型,以从压缩特征执行图像分类,并利用来自Transformer的长期信息促进图像压缩,而不是将现有的基于Transformer的图像分类模型直接放置在图像编解码器之后。具体来说,我们首先替换补丁化茎(即,图像分割和嵌入)与由卷积神经网络建模的轻量级图像编码器。由图像编码器生成的压缩特征被注入卷积电感偏置,并被馈送到Transformer以绕过图像重建进行图像分类。同时,我们提出了一个特征聚合模块,将压缩后的特征与Transformer的中间特征进行融合,并将聚合后的特征输入到解卷积神经网络进行图像重建。聚合特征可以从Transformer的自注意力机制中获得长期信息,提高压缩性能。最终通过两步训练策略解决了率失真精度优化问题。实验结果表明,该模型在图像压缩和分类任务的有效性。
2021-12-17 cs.CV eess.IV
Take 5: Interpretable Image Classification with a Handful of Features
Institute for Information Processing (tnt)(信息处理研究所(tnt));L3S - Leibniz Universität Hannover(L3S - 汉诺威莱布尼茨大学)
本文提出稀疏低维决策层模型SLDD-Model,仅用每类5个可解释特征即可在四个基准数据集上保持基线97%-100%的准确率,并设计损失函数提升特征多样性与精度。
2023-08-05 cs.CV cs.LG
Feature CAM: Interpretable AI in Image Classification
Multimedia Research Centre, University of Alberta(阿尔伯塔大学多媒体研究中心)
针对深度神经网络黑箱特性导致的高精度领域信任不足问题,研究对比了图像分类中CNN可解释的激活基方法,提出扰动-激活结合的Feature CAM技术,生成的显著性图人类可解释性提升3-4倍且保留机器可解释性。
2024-03-08 cs.AI cs.CV cs.MM
IAIA-BL: A Case-based Interpretable Deep Learning Model for Classification of Mass Lesions in Digital Mammography
Duke University(杜克大学);University of Maine(缅因大学)
机器学习模型的可解释性在高风险决策中非常重要,例如是否根据乳房X光检查安排活检。乳房X光检查带来了其他计算机视觉任务中不存在的重要挑战:数据集很小,存在混淆信息,即使是放射科医生也很难单独根据乳房X光检查在观察等待和活检之间做出决定。在这项工作中,我们提出了一个框架,可解释的机器学习为基础的乳房X线摄影。除了预测病变是恶性还是良性之外,我们的工作旨在遵循放射科医生的推理过程,检测每个图像的临床相关语义特征,例如肿块边缘的特征。该框架包括一种新的可解释的神经网络算法,该算法使用基于病例的推理进行乳房X光检查。我们的算法可以将具有整个图像标签的数据和具有像素级注释的数据相结合,即使使用少量图像也可以获得更好的准确性和可解释性。我们的可解释模型能够突出图像的分类相关部分,而其他方法突出健康组织和混淆信息。我们的模型是决策辅助工具,而不是决策者,旨在更好地实现人机协作。我们没有观察到在相同数据上训练的黑盒神经网络的质量边缘分类准确性的损失。
2021-03-23 cs.AI cs.CV cs.LG
SpIn-ViT: Designing a Sparsity-Induced Vision Transformer That Is Mechanistically Interpretable
本研究提出端到端联合训练预训练ViT与改进SAE的SpIn-ViT框架,在9个图像分类基准上,其分类准确率、可解释性均优于现有事后SAE方法,还能生成更优的神经符号模型。
2026-08-18 cs.AI cs.CV