Effective Features of Remote Sensing Image Classification Using Interactive Adaptive Thresholding Method
Govt. Arts College, Melur（梅卢尔政府艺术学院）；Sri Meenakshi Govt. Arts College for Women, Madurai（马杜赖斯里米纳克希政府女子艺术学院）
遥感图像分类可以通过多种不同的方法来提取有意义的特征。一种常见的方法是执行边缘检测。第二种方法是尝试检测整个形状，因为这些形状通常具有独特的属性，例如对象前景或背景。为了获得最佳结果，可以将这两种方法结合起来。本文采用组合优化方法自适应地选取阈值特征对遥感图像进行改进。特征选择是遥感图像分类中一个重要的组合优化问题。特征选择方法必须实现三个特征：第一，通过促进数据汇集并减少存储空间和分类时间来解决性能问题;第二，执行有助于理解问题的语义分析;第三，通过避免维数灾难来提高预测准确性。这种阈值化图像的目标是将像素分类为暗或亮，并评估分类结果。交互式自适应阈值化是一种考虑遥感图像光照空间变化的阈值化方法。我们提出了一种基于遥感的自适应阈值技术，使用交互式卫星图像的输入。然而，我们的解决方案是更强大的遥感图像中的光照变化。此外，我们的方法是简单，易于实现，但它是有效的算法来分类图像像素。该技术适用于遥感图像分类的预处理，使其成为基于交互式远程应用的有价值的工具，例如分类过程的增强现实。
2014-01-30 cs.CV
A Unified Interactive Model Evaluation for Classification, Object Detection, and Instance Segmentation in Computer Vision
Tsinghua University（清华大学）；Cardiff University（卡迪夫大学）；Harvard University（哈佛大学）
本文提出开源工具Uni-Evaluator，将分类、目标检测和实例分割的预测统一为概率分布，并通过矩阵、表格和网格三种可视化支持从全局到样本的模型评估与改进。
2023-08-09 cs.CV cs.HC
T2I-Copilot: A Training-Free Multi-Agent Text-to-Image System for Enhanced Prompt Interpretation and Interactive Generation
Georgia Tech（佐治亚理工学院）
针对文本生成图像模型对提示词敏感、可控性弱等问题，研究提出免训练多智能体系统T2I-Copilot，通过三类智能体协作实现自动提示优化与迭代生成，在低成本下取得了媲美商业模型的性能。
2025-07-29 cs.AI cs.CV cs.HC
IL-MCAM: An interactive learning and multi-channel attention mechanism-based weakly supervised colorectal histopathology image classification approach
Northeastern University（东北大学）；Cancer Hospital of China Medical University（中国医科大学附属肿瘤医院）；Liaoning Cancer Hospital and Institute（辽宁省肿瘤医院）
近年来，结直肠癌已成为危害人类健康的重要疾病之一。深度学习方法对于结直肠组织病理学图像的分类越来越重要。然而，现有的方法更多地关注使用计算机的端到端自动分类，而不是人机交互。在本文中，我们提出了一个IL-MCAM框架。它是基于注意力机制和互动学习。建议的IL-MCAM框架包括两个阶段：自动学习（AL）和交互式学习（IL）。在人工智能阶段，使用包含三个不同注意力机制通道和卷积神经网络的多通道注意力机制模型来提取用于分类的多通道特征。在IL阶段，所提出的IL-MCAM框架不断添加错误分类的图像的训练集在一个交互式的方法，这提高了MCAM模型的分类能力。我们在我们的数据集上进行了比较实验，并在HE-NCT-CRC-100 K数据集上进行了扩展实验，以验证所提出的IL-MCAM框架的性能，分别达到98.98%和99.77%的分类准确率。此外，我们还进行了烧蚀实验和可重复性实验，以验证这三个通道的能力和可重复性。实验结果表明，所提出的IL-MCAM框架具有良好的性能在大肠组织病理图像分类任务。
2022-06-07 cs.CV
Few-Shot Classification of Interactive Activities of Daily Living (InteractADL)
Stanford University（斯坦福大学）；Panasonic Corporation（松下公司）
本文提出InteractADL数据集与Name Tuning方法，通过优化类别名称向量增强语义可分离性，解决家庭环境中复杂交互式ADL的长尾分布和细粒度小样本视频分类问题，并在多个基准上验证了性能提升。
2024-10-16 cs.AI cs.CV
Multi-Semantic Interactive Learning for Object Detection
Nanjing Normal University（南京师范大学）
单分支目标检测方法使用共享特征进行定位和分类，但共享特征不能同时适用于两种不同的任务。多分支目标检测方法通常使用不同的特征分别进行定位和分类，忽略了不同任务之间的相关性。因此，我们提出了多语义交互式学习（MSIL）挖掘不同分支之间的语义相关性，提取多语义增强的对象的特征。MSIL首先对回归分支和分类分支进行语义对齐，然后通过语义融合融合不同分支的特征，最后通过语义分离提取相关信息并分别返回给回归分支和分类分支。更重要的是，MSIL可以作为即插即用组件集成到现有的目标检测网络中。在MS COCO和Pascal VOC数据集上的实验表明，MSIL与现有算法的集成可以充分利用不同任务语义之间的相关信息，并取得更好的性能。
2023-03-18 cs.CV
Within-Brain Classification for Brain Tumor Segmentation
Université de Sherbrooke（舍布鲁克大学）；Twitter（推特）；Imeka
目的：在本文中，我们研究了一个框架，交互式脑肿瘤分割，在其核心，对待的问题，交互式脑肿瘤分割作为一个机器学习问题。方法：这种方法比典型的机器学习方法具有优势，因为在这个任务中，泛化是在大脑中进行的。这些方法的问题在于它们需要处理强度偏差校正和其他MRI特定噪声。在本文中，我们避免了这些问题，接近的问题之一，在大脑的泛化。具体来说，我们提出了一种半自动的方法，分割脑肿瘤的训练和推广，仅在大脑中，基于一些最小的用户交互。结论：我们研究如何添加空间特征坐标（即$i$，$j$，$k$）的强度功能，可以显着提高不同的分类方法，如SVM，kNN和随机森林的性能。只有在互动框架内才有可能做到这一点。我们还研究了更合适的内核的使用和针对每个大脑的超参数的适应。结果如下：作为这些实验的结果，我们获得了一种交互式方法，其在MICCAI-BRATS 2013数据集上报告的结果与已发表的方法相比是第二准确的，同时使用的内存和处理能力明显低于大多数最先进的方法。
2015-10-05 cs.AI cs.CV
Customized Image Narrative Generation via Interactive Visual Question Generation and Answering
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
图像描述任务一直是以静态的方式进行研究的，定性的假设被认为是普遍适用的，无论描述的范围或目标如何。然而，在实践中，不同的观众可能会注意到图像的不同方面，并在不同的语境下产生不同的描述或解释。这种视角的多样性很难用传统的图像描述技术得到。在本文中，我们提出了一个定制的图像叙事生成任务，其中用户交互式地参与生成过程中提供的问题的答案。我们进一步尝试通过重复这样的交互阶段来学习用户的兴趣，并自动反映新图像的描述中的兴趣。实验结果表明，我们的模型可以生成各种描述从单一的图像，涵盖了更广泛的主题比传统的模型，同时可定制的目标用户的互动。
2018-04-27 cs.AI cs.CL cs.CV
Interpretable and Interactive Deep Multiple Instance Learning for Dental Caries Classification in Bitewing X-rays
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究所）；Charité - Universitätsmedizin Berlin（柏林夏里特医学院）；Contraste Radiologia Odontológica（康特拉斯特牙科放射诊所）；Hasso Plattner Institute for Digital Health at Mount Sinai, Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院西奈山哈索·普拉特纳数字健康研究所）
提出一种可解释、可交互的深度多示例学习架构，用于咬翼X线片龋齿分类，可在弱标签下输出局部热力图并接受分割指导，在约3.8万张咬翼片上取得竞争力且分割指导显著提升分类与定位。
2023-09-26 cs.AI cs.CV cs.LG
An Interactive Explanatory AI System for Industrial Quality Control
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）
基于机器学习的图像分类算法，如深度神经网络方法，将越来越多地用于关键环境，如工业中的质量控制，其中决策的透明度和可理解性至关重要。因此，我们的目标是将缺陷检测任务扩展到一个交互式的人在环的方法，使我们能够整合丰富的背景知识和复杂关系的推理超越传统的纯数据驱动的方法。我们提出了一种方法，在工业质量控制设置的分类，结合（可解释的）知识驱动和数据驱动的机器学习方法，特别是归纳逻辑程序设计和卷积神经网络的优势，与人类的专业知识和控制的交互式支持系统。由此产生的系统可以帮助领域专家进行决策，为结果提供透明的解释，并整合来自用户的反馈;从而减少人类的工作量，同时尊重他们的专业知识，而不会消除他们的代理或责任。
2022-03-17 cs.CV cs.HC cs.LG
Explanatory Interactive Machine Learning for Bias Mitigation in Visual Gender Classification
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨）；Institute of Creative Media Technologies（创意媒体技术研究所）；St. Pölten University of Applied Sciences（施蒂利克大学应用科学学院）；Institute of Computational Perception（计算感知研究所）
本文提出了一种结合CAIPI和RRR的混合XIL方法，用于缓解视觉性别分类中的偏见和伪相关性，通过用户反馈提升模型公平性和透明度。
2026-02-07 cs.AI cs.CV cs.LG
Interactive Segmentation as Gaussian Process Classification
Xi’an Jiaotong University（西安交通大学）；Tencent Jarvis Lab（腾讯天衍实验室）；Peng Cheng Laboratory（鹏城实验室）；Macau University of Science and Technology（澳门科技大学）
基于点击的交互式分割（IS）的目的是在用户交互下提取目标对象。对于这项任务，当前大多数基于深度学习（DL）的方法主要遵循语义分割的一般管道。虽然实现了有前途的性能，他们没有充分和明确地利用和传播的点击信息，不可避免地导致不满意的分割结果，即使在点击点。针对这个问题，在本文中，我们建议制定的IS任务作为高斯过程（GP）为基础的逐像素的二进制分类模型，对每幅图像。为了解决这个模型，我们利用摊销变分推理近似难处理的GP后验在数据驱动的方式，然后解耦近似GP后验到双空间形式的有效采样与线性复杂度。然后，我们相应地构建了一个GP分类框架，命名为GPCIS，它与深度内核学习机制集成，以获得更大的灵活性。GPCIS的主要特点在于：1）在GP后验的明确指导下，可以将点击信息精细地传播到整个图像中，从而提高分割效果; 2）点击预测的准确性有很好的理论支持。通过在多个基准上的综合实验，与典型方法进行了定量和定性的比较，证实了GPCIS的这些优点，以及其良好的通用性和高效性。
2023-02-28 cs.CV
Embedded Deep Bilinear Interactive Information and Selective Fusion for Multi-view Learning
Northwestern Polytechnical University（西北工业大学）；Nanjing University（南京大学）；National University of Defense Technology（国防科技大学）
多视图分类作为多视图学习的一种具体应用，通过对多个视图的最优融合，对传统的分类方法进行了改进。虽然以往的研究已经证明了多视点学习的优越性，但在深入研究中，还可以通过全面嵌入更强大的跨视点交互信息和更可靠的多视点融合策略来进一步提高多视点学习的优越性。为了实现这一目标，我们提出了一个新的多视图学习框架，使多视图分类更好地针对上述两个方面。也就是说，我们无缝地嵌入各种视图内的信息，跨视图的多维双线性交互信息，和一个新的视图集成机制到一个统一的框架，通过优化决策。特别地，我们训练不同的深度神经网络来学习各种视图内表示，然后通过视图之间的双线性函数从不同的双线性相似性动态地学习多维双线性交互信息。在此基础上，通过灵活调整视图权值的参数，自适应地融合多个视图的表示，不仅避免了权重的繁琐求解，而且为多视图分类提供了一种新的方法来选择有利于决策的少数有区别的视图.在六个公开数据集上的实验证明了该方法的有效性。
2020-07-13 cs.CV cs.LG
CAIPI in Practice: Towards Explainable Interactive Medical Image Classification
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；Nuremberg Institute of Technology Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆技术学院）
如果医生不能向你解释他们的决定，你会相信他们吗？使用机器学习的医疗诊断在过去十年中变得非常重要。然而，在没有进一步增强的情况下，许多最先进的机器学习方法不适合于医学应用。最重要的原因是数据集质量不足和深度学习模型等机器学习算法的黑箱行为。因此，最终用户无法纠正模型的决定和相应的解释。后者对于医学领域机器学习的可信度至关重要。研究领域可解释的交互式机器学习寻找解决这两个缺点的方法。本文扩展了可解释和交互式CAIPI算法，并提供了一个接口，以简化人在回路的方法图像分类。该界面使最终用户能够（1）调查和（2）纠正模型的预测和解释，以及（3）影响数据集质量。在每次迭代仅使用单个反例的CAIPI优化之后，该模型在医疗MNIST上实现了$97.48\%$的准确度，在时尚MNIST上实现了$95.02\%$的准确度。这种准确性大约等于最先进的深度学习优化程序。此外，CAIPI减少了大约$80\%$的标记工作。
2022-05-31 cs.CV cs.LG eess.IV
Semantic-Based Few-Shot Learning by Interactive Psychometric Testing
Eindhoven University of Technology（埃因霍温理工大学）
Few-Shot分类任务的目标是基于支持集中的少量标记样本对查询集中的图像进行分类。大多数研究通常假设任务中的每个图像具有单一且唯一的类关联。在这些假设下，当支持类和查询类之间没有精确匹配时，这些算法可能无法识别适当的类分配。例如，给定一些狮子，自行车和苹果的图像来分类老虎。然而，在更一般的设置中，我们可以考虑更高级别的概念，大型食肉动物，将老虎与狮子进行语义分类。现有的研究很少考虑这种情况，由于标签为基础的监督与复杂的概念关系的不兼容。在这项工作中，我们推进了少样本学习对这个更具挑战性的情况下，基于语义的少样本学习，并提出了一种方法来解决的范式，通过捕捉内部的语义关系，使用交互式心理测量学学习。在CIFAR-100数据集上的实验结果表明，该方法在基于语义的少样本学习方面优于基线方法。
2022-02-27 cs.AI cs.CV
Multimodal Classification via Modal-Aware Interactive Enhancement
Nanjing University of Science and Technology（南京理工大学）
本文提出模态感知交互增强方法，结合锐度感知最小化与梯度修正策略，缓解模态不平衡和遗忘问题，提升多模态分类性能。
2024-07-05 cs.CV cs.LG
Precise Proximal Femur Fracture Classification for Interactive Training and Surgical Planning
Universitat Pompeu Fabra（庞培法布拉大学）；Technische Universität München（慕尼黑工业大学）；ETH Zürich（苏黎世联邦理工学院）；Klinikum rechts der Isar（Rechts der Isar医院（慕尼黑工业大学附属医院））；Ecole Centrale de Nantes（南特中央理工学院）
我们证明了基于深度学习的全自动计算机辅助诊断（CAD）工具的可行性，该工具根据AO分类在X射线图像上对股骨近端骨折进行定位和分类。拟议的框架旨在改善患者治疗计划，并为创伤外科住院医师的培训提供支持。收集了1347项临床放射学研究的数据库。放射科医生和创伤外科医生用边界框注释所有骨折，并根据AO标准提供分类。提出的用于将X光片分类为“A”、“B”和“未骨折”类型的CAD工具达到87%的F1评分和0.95的AUC，当将骨折与未骨折病例分类时，其提高了高达94%和0.98。骨折的先前定位导致相对于完整图像分类的改进。感兴趣区域的100%的预测中心包含在手动提供的边界框中。系统在10个病例中平均检索9个相关图像（来自同一类）。我们的CAD方案定位，检测和进一步分类股骨近端骨折，实现与专家级和最先进的性能相当的结果。我们的辅助定位模型高度准确地预测了X光片中的感兴趣区域。我们进一步研究了几种验证策略，以将其纳入日常临床常规。作为临床使用案例的ROI和图像检索的大小的灵敏度分析。
2020-04-01 cs.CV
ChEX: Interactive Localization and Region Description in Chest X-rays
Technical University of Munich（慕尼黑工业大学）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Imperial College London（伦敦帝国学院）
针对医学影像报告生成模型交互性与局部可解释性不足的问题，提出整合文本提示与边界框的多任务架构ChEX，在9项胸部X光任务上性能比肩当前最优模型，具备良好交互能力。
2024-07-15 cs.CL cs.CV cs.LG
Content-based Propagation of User Markings for Interactive Segmentation of Patterned Images
Technical University of Denmark（丹麦技术大学）
有效和容易的分割图像和体积是非常重要的实际意义。分割的问题，激励我们的方法起源于材料科学，医学和生物学中常用的显微成像。我们制定图像分割作为一个概率像素分类问题，我们应用分割作为表征图像内容的一步。我们的方法允许用户通过交互式标记像素的子集来定义感兴趣的结构。由于实时反馈，用户可以根据当前结果有策略地放置新标记。最终的像素分类可以从非常适度的用户输入获得。我们的方法的一个重要组成部分是编码图像内容的图。该图在初始化期间以无监督的方式构建，并且基于图像特征的聚类。由于我们将有限数量的用户标记数据与从图像的未标记部分获得的聚类信息相结合，因此我们的方法适合半监督学习的一般框架。我们演示了如何这可以是一个非常有效的方法，通过像素分类分割。
2020-09-28 cs.CV
Fitting Different Interactive Information: Joint Classification of Emotion and Intention
Nanjing University of Science and Technology（南京理工大学）
针对低资源多模态情感与意图识别任务，提出结合伪标注缓解低资源问题、利用不同注意力头实现两类任务互促并融合提升的方案，在ICASSP MEIJU@2025赛道一测试集获0.5532分并夺冠。
2025-01-05 cs.CL cs.CV cs.LG
Arrhythmia Classification from the Abductive Interpretation of Short Single-Lead ECG Records
Centro Singular de Investigación en Tecnoloxías da Información (CITIUS), University of Santiago de Compostela（圣地亚哥-德孔波斯特拉大学信息与技术研究中心（CITIUS））
在这项工作中，我们提出了一种新的方法，短的单导联心电图记录的节奏分类，使用一组高层次的和临床上有意义的功能所提供的外展解释的记录。这些特征包括用于构建两个分类器的形态学和节奏相关特征：一个是使用每个特征的聚合值全局评估记录;另一个是使用递归神经网络将记录作为序列进行评估，该递归神经网络为每个检测到的心跳提供单独的特征。最终使用堆叠技术将这两个分类器组合在一起，通过四个目标类别提供答案：正常窦性心律、房颤、其他异常和噪音。该方法已在2017年Physionet/CinC Challenge数据集上得到验证，最终得分为0.83，在比赛中排名第一。
2017-11-10 cs.AI cs.CV
Interactive Naming for Explaining Deep Neural Networks: A Formative Study
Oregon State University（俄勒冈州立大学）
我们考虑用人类可识别的视觉概念来解释用于图像识别的深度神经网络的决策的问题。特别是，给定一个测试集的图像，我们的目标是解释每一个分类的少量的图像区域，或激活地图，这已与语义概念的人类注释。这允许生成分类的典型原因的概要视图，这可以帮助建立对分类器的信任和/或识别分类器可能不被信任的示例类型。为此，我们开发了一个用户界面的“交互式命名”，它允许一个人类注释手动聚类显着的激活地图在一个测试集到有意义的组称为“视觉概念”。本文的主要贡献是系统地研究了五名人类注释者使用交互式命名界面产生的视觉概念。特别是，我们认为，足够的概念解释分类的测试集的图像，对应的概念激活的单个神经元，和注释者之间的协议的视觉概念。我们发现，很大一部分的激活地图有可识别的视觉概念，并有显着的协议，不同的注释者对他们的外延。我们的工作是一个探索性的研究之间的相互作用机器学习和人类识别介导的可视化的学习结果。
2018-12-20 cs.CV cs.LG stat.ML
Fooling Network Interpretation in Image Classification
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
深度神经网络已经被证明很容易被对抗攻击算法愚弄。对抗补丁等实用方法已被证明在导致错误分类方面非常有效。然而，这些补丁使用标准的网络解释算法突出显示，从而揭示了对手的身份。我们证明了创建对抗性补丁不仅可以欺骗预测，还可以改变我们对预测原因的解释。此外，我们引入我们的攻击作为一个受控的设置来衡量解释算法的准确性。我们使用广泛的实验梯度CAM的解释，转移到闭塞补丁的解释，以及。我们相信我们的算法可以帮助开发更强大的网络解释工具，真正解释网络的底层决策过程。
2019-09-24 cs.CV cs.LG
DRG-Net: Interactive Joint Learning of Multi-lesion Segmentation and Classification for Diabetic Retinopathy Grading
German Research Center for Artificial Intelligence（德国人工智能研究中心）；Dongguk University（东国大学）；University of Architecture Ho Chi Minh City（胡志明市建筑大学）；University of Science - VNUHCM（胡志明市国家大学科学大学）；Stanford University（斯坦福大学）；University of Arkansas（阿肯色大学）；University of California San Diego（加州大学圣地亚哥分校）；Oldenburg University（奥尔登堡大学）
糖尿病视网膜病变（DR）是世界上视力丧失的主要原因，早期DR检测对于预防视力丧失和支持适当的治疗是必要的。在这项工作中，我们利用交互式机器学习，并引入了一个联合学习框架，称为DRG-Net，以有效地学习疾病分级和多病变分割。我们的DRG-Net由两个模块组成：（i）DRG-AI系统，用于对DR分级进行分类，定位病变区域，并提供视觉解释;（ii）DRG-Expert-Interaction，用于接收用户专家的反馈并改进DRG-AI系统。为了处理稀疏数据，我们利用迁移学习机制，通过使用Wasserstein距离和基于对抗学习的熵最小化来提取不变的特征表示。此外，我们提出了一种新的注意力策略，在低层次和高层次的功能，自动选择最重要的病变信息，并提供可解释的属性。在人机交互方面，我们进一步开发了DRG-Net作为一种工具，使专家用户能够纠正系统的预测，然后可以用来更新整个系统。此外，由于病变特征和分类特征之间的注意力机制和损失函数约束，我们的方法可以在用户反馈中给定一定程度的噪声的情况下是鲁棒的。我们在两个最大的DR数据集上对DRG-Net进行了基准测试，即，IDRID和FGADR，并将其与各种最先进的深度学习网络进行比较。除了优于其他SOTA方法外，DRG-Net还可以使用用户反馈进行有效更新，即使是在弱监督的情况下。
2022-12-30 cs.CV
Active Learning via Classifier Impact and Greedy Selection for Interactive Image Retrieval
Tel-Aviv University（特拉维夫大学）；OriginAI
针对交互式图像检索中开放集、类别不平衡且初始标注极少的二分类问题，提出GAL批量主动学习框架，通过分类器影响采集函数与贪婪批次选择提升检索性能，并给出高斯过程情形的理论保证。
2024-12-03 cs.CV cs.IR
A Spatial-Spectral-Frequency Interactive Network for Multimodal Remote Sensing Classification
Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系）；School of Information and Electronics, Beijing Institute of Technology（北京理工大学信息与电子学院）；Beijing Key Laboratory of Fractional Signals and Systems, Beijing Institute of Technology（北京理工大学分数域信号与系统北京市重点实验室）；School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；Key Laboratory of Collaborative Intelligent Systems of Ministry of Education, Xidian University（西安电子科技大学教育部协同智能系统重点实验室）；Academy of Artificial Intelligence, Inner Mongolia Normal University（内蒙古师范大学人工智能研究院）
本文提出S$^2$Fin网络，通过空间、光谱和频率域的交互模块，提升多模态遥感图像分类性能，实验表明其在有限标注数据下表现优于现有方法。
2026-07-08 cs.CV
Interactive Learning for Semantic Segmentation in Earth Observation
ONERA/DTIS（法国国家航空航天研究院/信息与通信技术部）；Université Paris-Saclay（巴黎萨克雷大学）；Delair（德莱尔公司）；ESA/ESRIN（欧洲空间局/欧洲空间研究与技术中心）
深度神经网络输出的密集像素分类图对于场景理解至关重要。然而，由于各种可能的因素，这些地图往往部分不准确。因此，我们建议在一个名为DISCA（Deep Image Segmentation with Continual Adaptation）的框架内交互式地改进它们。它包括不断适应神经网络的目标图像使用的交互式学习过程与稀疏的用户注释作为地面实况。我们通过使用合成注释的三个数据集上的实验展示了该方法的好处，对于十次采样点击，IoU提高了4.7%。最后，我们表明，我们的方法可以特别有益的，当它面临额外的问题，如领域自适应。
2020-09-23 cs.CV
Interactive Visual Feature Search
Jane Street（简街）；Princeton University（普林斯顿大学）
本文提出 Visual Feature Search，一种适用于任意 CNN 的交互式可视化工具，可通过高亮图像区域检索特征最相似的数据集图像，并在医学成像和野生动物分类等应用中验证其解释模型行为的能力。
2023-12-15 cs.CV
Interpretation of 3D CNNs for Brain MRI Data Classification
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
深度学习在许多医学图像分析任务中显示出很高的潜力。神经网络可以处理全尺寸数据，而无需大量的预处理和特征生成，因此不会丢失信息。最近的研究表明，利用卷积神经网络（CNN）可以在MRI上发现特定脑区的形态差异。然而，现有模型的解释是基于感兴趣的区域，不能扩展到整个图像上的体素图像解释。在目前的工作中，我们考虑了年轻健康受试者的大规模开源数据集的分类任务-探索男性和女性之间的大脑差异。在本文中，我们扩展了以前的研究结果在性别差异的扩散张量成像T1脑MRI扫描。我们提供了逐体素的3D CNN解释，比较了三种解释方法的结果：有意义的扰动，Grad CAM和引导反向传播，并与开源库一起贡献。
2020-10-14 cs.CV cs.LG eess.IV
Contrastive Classification and Representation Learning with Probabilistic Interpretation
Toyota Motor Europe（丰田汽车欧洲公司）；Czech Technical University in Prague（捷克布拉格技术大学）
交叉熵损失已经作为基于分类的任务的主要目标函数。广泛用于学习神经网络分类器，它显示了有效性和概率解释。最近，在自监督对比表示学习方法取得成功之后，已经提出了监督对比方法来学习表示，并且与具有交叉熵损失的单独训练相比，监督对比方法已经显示出优越且更鲁棒的性能。然而，交叉熵损失仍然需要训练最终的分类层。在这项工作中，我们研究学习的表示和分类器使用一个目标函数，结合了对比学习的鲁棒性和交叉熵损失的概率解释的可能性。首先，我们重新审视了以前提出的基于对比度的目标函数，该目标函数近似交叉熵损失，并提出了一个简单的扩展来共同学习分类器。其次，我们提出了一个新版本的监督对比训练，它联合学习分类器和网络骨干的参数。我们的经验表明，我们提出的目标函数在各种具有挑战性的设置中具有更高的训练稳定性和鲁棒性，比标准交叉熵损失有显着改善。
2022-11-07 cs.CV cs.LG
Deep Interactive Region Segmentation and Captioning
随着最近在密集图像描述方面的创新，现在可以用一个标题来描述场景中的每个对象，而对象由边界框来确定。然而，由于存在许多重叠的边界框，对这样的输出的解释并不是微不足道的。此外，在当前的字幕框架中，用户不能涉及个人偏好以排除不感兴趣的区域。在本文中，我们提出了一种新的混合深度学习架构，用于交互式区域分割和字幕，其中用户能够指定应该处理的图像的任意区域。为此，一个专用的全卷积网络（FCN）命名为Lyncean FCN（LFCN）的训练使用我们的特殊训练数据隔离用户意图区域（UIR）作为一个有效的分割的输出。并行地，利用密集图像描述模型来为该区域提供各种各样的字幕。然后，将用最佳匹配限界框的标题来解释UIR。据我们所知，这是第一部提供如此全面输出的作品。我们的实验表明，所提出的方法的优越性超过国家的最先进的交互式分割方法在几个著名的数据集。此外，用交互式分割的结果替换边界框导致对密集图像描述输出的更好理解以及在并交（IoU）方面的目标检测的准确性增强。
2017-07-26 cs.CV
InterActive: Inter-Layer Activeness Propagation
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
越来越多的计算机视觉任务可以通过深度特征来处理，这些深度特征是预先训练的卷积神经网络的中间输出。尽管表现惊人，但从低级神经元提取的深度特征仍然令人满意，可以说是因为它们无法访问包含在高层中的空间上下文。在本文中，我们提出了InterActive，一种新的算法，计算神经元和网络连接的活动。活跃性以自上而下的方式通过神经网络传播，携带高级上下文并提高低级和中级神经元的描述能力。可视化表明，神经元的活跃性可以被解释为空间加权的神经元响应。我们在广泛的图像数据集上实现了最先进的分类性能。
2016-04-30 cs.CV
Clinically-Grounded Hierarchical Classification for Consistent Chest X-ray Interpretation
Yeji X（艺智X）
本研究针对胸部X射线解读的层级特性，提出CHASE框架，通过三级分类与多层级优化，提升了预测的一致性与性能。
2026-08-05 cs.CV
Automatic classification of geologic units in seismic images using partially interpreted examples
University of British Columbia（英属哥伦比亚大学）；Computational Geosciences Inc.（计算地球科学公司）
对于地震解释者来说，大地震叠加或偏移地震图像的地质解释可能是一项耗时的任务。基于神经网络的语义分割提供了快速和自动的解释，只要有足够数量的示例解释可用。最近出现了从图像到图像映射的网络，作为自动分割的强大工具，但标准实现需要完全解释的示例。手动为大型图像生成训练标签非常耗时。我们引入了部分损失函数和标记策略，使网络可以从部分解释的地震图像中学习。这种策略只需要少量的每个地震图像的注释像素。爱尔兰海地震图像和解释信息的测试表明，我们从少量的大地震图像获得高质量的预测解释。部分损失函数、明确考虑小尺度和大尺度地质特征的多分辨率网络以及新的标记策略的组合使得神经网络成为用于自动地震解释的更实用的工具。
2019-01-12 cs.CV cs.LG
Segmentation, Classification and Interpretation of Breast Cancer Medical Images using Human-in-the-Loop Machine Learning
University of Coruña（拉科鲁尼亚大学）；Complejo Hospitalario Universitario de A Coruña (CHUAC)（拉科鲁尼亚大学医院综合中心）
本文提出医生在回路方法，整合基因组数据与乳腺癌全切片成像，完成组织病理图像分割、基因组亚型分类和结果解释三项任务，发现该方法能提升分割与可解释性，但分类效果有限，表明人在回路策略在复杂医学领域并非总是有效。
2024-03-29 cs.CV cs.LG
Effect of Radiology Report Labeler Quality on Deep Learning Models for Chest X-Ray Interpretation
Stanford University（斯坦福大学）；Harvard University（哈佛大学）
尽管用于胸部X射线解释的深度学习模型通常在自动放射学报告标签生成器生成的标签上进行训练，但报告标签的改进对胸部X射线分类模型性能的影响尚未得到系统研究。我们首先比较了CheXpert、CheXbert和VisualCheXbert标记器从放射学报告中提取准确胸部X射线图像标签的任务，报告称VisualCheXbert标记器优于CheXpert和CheXbert标记器。接下来，在使用不同放射学报告标记器在最大的胸部X射线数据集之一上生成的标签训练图像分类模型后，我们表明，在VisualCheXpert标记器的标签上训练的图像分类模型优于在CheXpert和CheXpert标记器的标签上训练的图像分类模型。我们的工作表明，放射学报告标签的最新改进可以转化为更高性能的胸部X射线分类模型的发展。
2021-11-28 cs.CV cs.LG eess.IV
