Hard Pixel Mining for Depth Privileged Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
语义分割已经取得了很大的进展，但由于场景复杂、物体遮挡等原因，语义分割仍存在一定的挑战性，一些研究工作试图使用额外的信息，如深度图来帮助基于RGB的语义分割，因为深度图可以提供互补的几何线索。然而，由于深度传感器的不可访问性，深度信息通常无法用于测试图像。在语义分割中，深度信息只对训练图像有效，而对测试图像无效，本文仅利用训练图像的深度信息作为优先信息来挖掘硬像素。具体来说，我们提出了一种新的损失重量模块，它输出的损失重量图采用两个深度相关的测量硬像素：深度预测误差和深度感知分割误差。然后将损失权重图应用于分割损失，目标是通过更多地关注硬像素来学习更鲁棒的模型。此外，本研究亦探讨以减重图为基础的课程学习策略。同时，为了充分挖掘不同尺度上的硬像素，我们将我们的损失权重模块应用于多尺度侧输出。我们的硬像素挖掘方法在两个基准数据集上取得了最先进的结果，甚至优于在测试过程中需要深度输入的方法。
2020-03-11 cs.CV
MINI: Mining Implicit Novel Instances for Few-Shot Object Detection
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
从少量训练样本中学习是目标检测器的一种理想能力，激发了对Few-Shot目标检测（FSOD）的探索。大多数现有的方法采用预训练迁移范式。该模型首先在具有丰富数据的基类上进行预训练，然后转移到具有少量注释样本的新类。尽管取得了实质性的进展，但FSOD的表现仍然远远不能令人满意。在预训练期间，由于基础类和新类之间的共现，模型被学习以将共现的新类视为背景。在迁移过程中，由于缺乏新类样本，该模型需要学习判别特征来区分新实例与背景和基类。为了克服这些障碍，我们提出了一个新的框架，挖掘隐式新颖实例（MINI），挖掘隐式新颖实例作为辅助训练样本，广泛存在于丰富的基础数据，但没有注释。MINI包括离线挖掘机制和在线挖掘机制。离线挖掘机制利用自监督判别模型与训练的FSOD网络协作挖掘隐含的新颖实例。在线挖掘机制将挖掘出的小说实例作为辅助训练样本，采用师生框架，动态地同时更新FSOD网络和挖掘出的隐含小说实例。在PASCAL VOC和MS-COCO数据集上进行的大量实验表明，MINI在任何镜头和分割上都实现了最先进的性能。显着的性能改善证明了我们的方法的优越性。
2022-05-06 cs.CV
Towards Robust Plant Disease Diagnosis with Hard-sample Re-mining Strategy
Hosei University（法政大学）；Aillis, Inc.（艾利斯公司）；Saitama Agricultural Technology Research Center（埼玉县农业技术研究中心）；Institute for Agro-Environmental Sciences, NARO（日本国立农业食品产业技术综合研究机构农业环境科学研究所）
本文提出困难样本再挖掘（HSReM）训练策略，通过合理选择困难样本，在提升健康数据诊断性能的同时改善病害数据表现，并在黄瓜和番茄田间数据集上验证其优于HSM及EfficientNetV2-Large。
2023-10-30 cs.CV
Offline versus Online Triplet Mining based on Extreme Distances of Histopathology Patches
University of Waterloo（滑铁卢大学）
我们分析了离线和在线三联体挖掘对包含100，000个补丁的结直肠癌（CRC）组织病理学数据集的影响。我们认为极端的，即，最远和最近的补丁到给定的锚，无论是在在线和离线挖掘。虽然许多作品只专注于在线选择三胞胎（批量），但我们也研究了离线训练前极端距离和邻居补丁的影响。我们分析了极端情况下的嵌入距离离线与在线挖掘的影响，包括容易的积极，批量半硬，批量硬三重挖掘，邻域成分分析损失，其代理版本，距离加权抽样。我们还研究了基于极端距离的在线方法，并全面比较了离线和基于数据模式的在线挖掘性能，并将离线挖掘解释为具有大小批量大小的在线挖掘的易于处理的概括。此外，我们还讨论了极端距离方面的不同结直肠组织类型的关系。我们发现，离线和在线挖掘方法对于特定的架构（例如本研究中的ResNet-18）具有相当的性能。此外，我们发现，包括不同的极端距离的组合情况下，是有希望的，特别是在在线方法。
2022-08-10 cs.CV cs.LG eess.IV
Similarity-based data mining for online domain adaptation of a sonar ATR system
Seebyte Ltd（Seebyte有限公司）；University of Edinburgh（爱丁堡大学）
由于现场数据采集的昂贵性，训练数据的缺乏往往限制了自动目标识别（ATR）系统的性能。通常采用领域自适应技术来解决这一问题，但现有的方法不能满足水下系统资源和时间的限制。我们建议通过使用一种新的数据选择方法在线微调ATR算法来解决这个问题。我们提出的数据挖掘方法依赖于视觉相似性，优于传统的硬挖掘方法。我们提出了一个比较性能分析，在广泛的模拟环境中，并强调使用我们的方法快速适应以前看不见的环境的好处。
2020-09-16 cs.CV cs.LG cs.SD
Hard-Mining Loss based Convolutional Neural Network for Face Recognition
Indian Institute of Information Technology（印度信息技术学院）
人脸识别是计算机视觉领域的一个突出问题。随着深度学习的进步，在人脸识别方面已经有了重要的工作，涉及到了识别框架的各个部分，如卷积神经网络（CNN），层，损失函数等。各种损失函数，如交叉熵，Angular-Softmax和ArcFace已经被引入来学习人脸识别网络的权重。然而，与容易样本相比，这些损失函数不给予硬样本高优先级。此外，他们的学习过程是有偏见的，由于一些简单的例子相比，硬的例子。在本文中，我们通过考虑更优先的硬例子来解决这个问题。为了做到这一点，我们提出了一个硬挖掘损失，增加损失的困难的例子和减少损失的简单的例子。所提出的概念是通用的，可以与任何现有的损失函数。我们测试了不同的损失，如交叉熵，Angular-Softmax和ArcFace的硬挖掘损失。在广泛使用的Labeled Faces in the Wild（LFW）和YouTube Faces（YTF）数据集上测试了所提出的硬挖掘损失。训练在CASIA-WebFace和MS-Celeb-1 M数据集上进行。我们使用残差网络（即，ResNet 18）进行实验分析。实验结果表明，现有的损失函数的性能得到提升时，在建议的硬挖掘损失的框架。
2020-12-23 cs.CV cs.LG
Augmented Hard Example Mining for Generalizable Person Re-Identification
Hitachi, Ltd.（株式会社日立制作所）
虽然通过使用复杂的训练方法和大规模标记数据集，人员重新识别（Re-ID）的性能已经得到了很大的改善，但许多现有方法都假设在训练期间可以利用目标域的信息。在实践中，Re-ID系统通常在部署后立即开始运行，因此使用来自目标域的数据进行训练是不现实的。为了使Re-ID系统更实用，已经提出了在没有目标域的信息的情况下实现高性能的方法。然而，他们需要繁琐的调整训练和不寻常的操作测试。在本文中，我们提出了增强的硬示例挖掘，它可以很容易地集成到一个常见的Re-ID训练过程中，并且可以利用复杂的模型，而无需任何网络修改。该方法基于分类概率发现难样本，并对样本进行各种类型的增强，以使样本更难。在这些例子中，过度扩增的那些被基于分类的选择过程所消除。广泛的分析表明，我们的方法成功地选择了有效的例子，并在公开的基准数据集上实现了最先进的性能。
2019-10-11 cs.CV cs.LG
SHaSaM: Submodular Hard Sample Mining for Fair Facial Attribute Recognition
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
SHaSaM通过子模函数硬样本挖掘方法，有效提升面部属性识别的公平性，同时提高模型准确性。
2026-02-05 cs.CV cs.LG
HAMBox: Delving into Online High-quality Anchors Mining for Detecting Outer Faces
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baidu Inc.（百度公司）
当前的人脸检测器利用锚来构建多任务学习问题，该问题结合了分类和限界框回归。有效的锚点设计和锚点匹配策略使人脸检测器能够在大的姿态和尺度变化下定位人脸。然而，我们观察到，在推理阶段，超过80%的正确预测的边界框是从不匹配的锚点回归的（锚点和目标面之间的IoU低于阈值）。这表明，这些不匹配的锚表现出良好的回归能力，但现有的方法忽略了从他们学习。在本文中，我们提出了一种在线高质量锚点挖掘策略（HAMBox），它明确地帮助外部面孔使用高质量锚点进行补偿。我们提出的HAMBox方法可以作为一种基于锚点的单阶段人脸检测的通用策略。在WIDER FACE、FDDB、AFW和PASCAL Face等数据集上的实验表明了该方法的优越性。此外，我们的团队还赢得了2019年WIDER人脸和行人挑战赛人脸检测测试赛道的冠军。我们将使用PaddlePaddle发布代码。
2019-12-19 cs.CV
Improving memory banks for unsupervised learning with large mini-batch, consistency and hard negative mining
Samsung AI Cambridge（三星AI剑桥）
通过基于实例的判别的无监督学习的一个重要组成部分是用于存储数据集中每个训练样本的特征表示的存储体。在本文中，我们介绍了3个改进的香草存储体为基础的配方，带来了巨大的准确性增益：（a）大的小批量：我们拉多个扩增的每个样本在同一批，并表明，这导致更好的模型和增强的存储体更新。(b)一致性：我们强制通过相同样本的不同扩增获得的logit接近，而不试图强制如先前方法所提出的关于负样本的区分。(c)硬负面挖矿：由于实例鉴别对于在视觉上太相似的样本没有意义，我们设计了一种新的最近邻方法，用于改进存储体，该方法逐渐合并先前由于实例级分类丢失而被迫分开的极其相似的数据样本。总的来说，我们的方法大大提高了香草内存银行为基础的实例歧视和优于所有现有的方法，可见和不可见的测试类别与余弦相似性。
2021-02-08 cs.CV cs.LG
Visual-Textual Association with Hardest and Semi-Hard Negative Pairs Mining for Person Search
Beijing Institute of Technology（北京理工大学）
利用自然语言描述的查询方式在大规模图像数据库中进行人物检索是视频监控中一个较为实用的重要应用。直观地说，对于人物搜索来说，核心问题应该是视觉-文本关联，由于文本描述的高度抽象性和视觉图像的直观表达之间的矛盾，这仍然是一个极具挑战性的任务。然而，对于这个任务，虽然积极的图像-文本对总是很好地提供，大多数现有的方法不解决这个问题，有效地挖掘更合理的负对。本文提出了一种新的视觉-文本关联方法，该方法结合了视觉和文本注意力，以及跨模态最难和半难否定对挖掘。为了验证该方法的有效性和可行性，我们在典型的人物搜索引擎CUHK-PEDES上进行了大量的实验，取得了55.32%的top1成绩，成为一个新的研究领域。此外，我们还在COCO字幕数据集上对半硬对挖掘方法进行了评估，验证了该方法的有效性和互补性。
2019-12-06 cs.CV
Improved Hard Example Mining by Discovering Attribute-based Hard Person Identity
Sun Yat-Sen University（中山大学）；Anhui University（安徽大学）
在本文中，我们提出了硬人物身份挖掘（HPIM），试图细化硬的例子挖掘，以提高探索效率的人重新识别。它的动机是以下观察：一些人共享的属性越多，就越难区分他们的身份。基于这一观察，我们通过转移属性描述器开发了HPIM，这是一个从源噪声人属性数据集训练的深度多属性分类器。我们将每个图像编码到目标人re-ID数据集中的属性概率描述中。然后在属性码空间中，我们将每个人视为一个分布，在不同的实际场景中生成他的视图特定的属性码。因此，我们估计个人特定的统计矩从零阶到高阶，这是进一步用于计算人之间的中心矩差异。这种差异是选择硬身份来组织适当的小批量的基础，而不考虑度量学习中的人表示变化。它作为硬示例挖掘的补充工具，有助于在由随机抽样身份构建的小批量中探索全局而不是局部硬示例约束。在两个人身份重识别基准上的实验验证了该算法的有效性。
2019-08-05 cs.CV
Neural Computing for Online Arabic Handwriting Character Recognition using Hard Stroke Features Mining
Prince Sultan University（苏丹亲王大学）；Universiti Teknologi Malaysia（马来西亚理工大学）
由于阿拉伯草书的书写风格、书写速度、书写者心情等因素的影响，在线阿拉伯草书字符识别仍然是一个很大的挑战。由于这些不可避免的限制，在线阿拉伯字符识别的准确率仍然很低，还有改进的空间。本研究提出一种从手写笔长特征的纵横方向上提取在线阿拉伯文字识别中所需关键点的改进方法。每个提取的笔画特征将每个孤立的字符划分为一些有意义的模式，称为标记。从这些标记中提取最小特征集，使用多层感知器与反向传播学习算法和修改的基于S形函数的激活函数进行字符分类。在这项工作中，实现了两个里程碑;首先，获得固定数量的令牌，其次，最小化最重复的令牌的数量。实验中，手写体阿拉伯字符从OHASD基准数据集选择测试和评估所提出的方法。所提出的方法达到了98.6%的平均准确率在最先进的字符识别技术。
2021-01-15 cs.CL cs.CV
Pyramid Network with Online Hard Example Mining for Accurate Left Atrium Segmentation
Tencent YouTu Lab（腾讯优图实验室）；The Chinese University of Hong Kong（香港中文大学）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）；Harvard Medical School（哈佛医学院）
在MR容积中准确分割左心房有利于房颤的消融治疗。传统的自动化解决方案往往无法将专家从劳动密集型的手动标签中解脱出来。在本文中，我们提出了一种基于深度神经网络的解决方案，用于钆增强MR容积中的自动左心房分割，具有良好的性能。我们首先认为，对于这种体积分割任务，在2D时尚的网络可以呈现出很大的优势，在时间效率和分割精度比网络与3D时尚。考虑到心房的高度变化的形状和相关的肺静脉的分支结构，我们建议采用金字塔模块收集语义线索的特征图从多个尺度进行细粒度分割。此外，为了促进我们的网络在分类的困难的例子，我们提出了一个在线的硬否定的例子挖掘策略，以识别切片中的体素与低分类错误，并惩罚他们的错误预测。最后，我们设计了一个竞争性的训练方案，以进一步提高网络的泛化能力。在20个测试卷上进行了广泛的验证，我们提出的框架在分割左心房和肺静脉方面实现了92.83%的平均Dice。
2018-12-14 cs.CV
Semantic Hardness Is Not Visual Hardness: Sign-Aware Hard Negative Mining for Sign Language Retrieval
School of Computing（计算机学院）；Graduate School of Culture Technology（文化技术研究生院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；ETRI Medical Informatics Laboratory（电子通信研究院医学信息学实验室）
研究手语检索在细粒度场景的问题，提出符号感知硬负样本挖掘方法，通过在嵌入空间基于视觉易混淆性构建硬负样本，实验证明该方法能提升细粒度检索性能且保持粗粒度准确性。
2026-07-13 cs.CV
Person Re-Identification via Active Hard Sample Mining
Wuhan University of Science and Technology（武汉科技大学）；China University of Petroleum (East China)（中国石油大学（华东））；Hefei University of Technology（合肥工业大学）；Wuhan University（武汉大学）
注释大规模图像数据集是非常繁琐的，但对于训练人员重新识别模型是必要的。为了缓解这个问题，我们提出了一个主动的硬样本挖掘框架，通过训练一个有效的re-ID模型，以最少的标记工作。考虑到硬样本可以提供信息丰富的模式，我们首先制定了一个不确定性估计，积极选择硬样本迭代训练从头开始的re-ID模型。然后，内分集估计的设计，以减少冗余的硬样本，最大限度地提高其多样性。此外，我们提出了一个计算机辅助的身份推荐模块嵌入在主动硬样本挖掘框架，以帮助人类注释者快速，准确地标记所选择的样本。在几个公共数据集上进行了大量的实验，以证明我们的方法的有效性。实验结果表明，我们的方法可以减少57%，63%和49%的注释工作在Market 1501，MSMT 17和CUHK 03，分别，同时最大限度地提高re-ID模型的性能。
2020-04-14 cs.CV
Alignment, Mining and Fusion: Representation Alignment with Hard Negative Mining and Selective Knowledge Fusion for Medical Visual Question Answering
University of Michigan（密歇根大学）；Stony Brook University（石溪大学）
提出统一对齐、困难负样本挖掘与门控交叉注意力融合的医学视觉问答框架，在多个基准数据集上超越现有最优方法。
2025-10-09 cs.CV
Learning video retrieval models with relevance-aware online mining
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Udine（乌迪内大学）；Free University of Bozen-Bolzano（博尔扎诺自由大学）
由于每小时上传的视频和相关字幕的数量，基于深度学习的跨模态视频检索解决方案正吸引越来越多的关注。一种典型的方法是学习一个联合的文本-视频嵌入空间，其中视频及其相关字幕的相似性被最大化，而所有其他字幕的相似性较低，称为否定。这种方法假设只有数据集中的视频和字幕对是有效的，但是不同的字幕（正字幕）也可能描述其视觉内容，因此其中一些可能会被错误地惩罚。为了解决这个缺点，我们提出了相关性感知否定和肯定挖掘（RANP），它的基础上的语义的否定，提高了他们的选择，同时也增加了其他有效的积极的相似性。我们探讨了这些技术对两个视频-文本数据集：EPIC-Kitchen-100和MSR-VTT的影响。通过使用所提出的技术，我们在nDCG和mAP方面实现了相当大的改进，从而获得了最先进的结果，例如，EPIC-Kitchen-100上的nDCG和mAP分别为+5.3%和3.0%。我们在\url{https://github.com/aranciokov/ranp}上共享代码和预训练模型。
2022-03-16 cs.CV
Class Rectification Hard Mining for Imbalanced Deep Learning
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Ltd.（视觉语义有限公司）
识别人物图像中的面部或服装细节属性对于计算机视觉来说是一项具有挑战性的任务，特别是当训练数据规模非常大且不同属性类别之间极不平衡时。为了解决这个问题，我们制定了一个新的计划，批量增量硬样本挖掘少数属性类不平衡的大规模训练数据。我们开发了一个端到端的深度学习框架，能够通过发现少数类的稀疏采样边界来避免多数类的主导效应。这是通过引入类纠正损失（CRL）正则化算法。我们在两个大规模不平衡基准数据集（CelebA面部属性数据集和X-Domain服装属性数据集）上展示了CRL相对于现有最先进的属性识别和不平衡数据学习模型的优势和可扩展性。
2017-12-08 cs.CV
Dictionary-based Pathology Mining with Hard-instance-assisted Classifier Debiasing for Genetic Biomarker Prediction from WSIs
Shanghai Key Laboratory of Multidimensional Information Processing, East China Normal University（华东师范大学上海市多维度信息处理重点实验室）；Department of General Surgery, Tongji Hospital, Tongji University School of Medicine（同济大学医学院附属同济医院普外科）
本文提出D2Bio框架，通过字典-based层级病理挖掘和硬实例辅助分类器去偏方法，解决病理表示构建和WSI中无关区域导致的过拟合问题，实验显示在五个队列中AUROC提升超4%。
2026-03-26 cs.CV cs.LG q-bio.QM
Sequential Hard Mining: a data-centric approach for Mitosis Detection
针对组织学有丝分裂标注数据增长下的深度学习模型高效训练问题，受提升技术启发提出聚焦训练数据高效采样的Sequential Hard Mining方法，并给出MIDOG 2025挑战赛两赛道的候选方案。
2025-08-28 cs.CV eess.IV
Global Proxy-based Hard Mining for Visual Place Recognition
Université Laval（拉瓦尔大学）
学习视觉位置识别的深度表示通常使用成对或三重损失函数来执行，这些损失函数高度依赖于在每次训练迭代中采样的示例的硬度。现有技术通过使用计算和内存昂贵的离线硬挖掘来解决这个问题，该离线硬挖掘包括在每次迭代时从训练集中识别最难的样本。在本文中，我们介绍了一种新的技术，执行全球硬小批量抽样的基础上代理。为此，我们向网络添加了一个新的端到端可训练分支，它生成了有效的位置描述符（每个位置一个代理）。因此，这些代理表示用于构建一个全局索引，该索引包含数据集中所有位置之间的相似性，允许在每次训练迭代时进行高度信息化的小批量采样。我们的方法可以与所有现有的成对和三重损失函数结合使用，具有可忽略不计的额外存储器和计算成本。我们进行了广泛的消融研究，并表明我们的技术在多个大规模基准（如匹兹堡，Mapillary-SLS和SPED）上带来了新的最先进的性能。特别是，我们的方法在具有挑战性的Nordland数据集上提供了超过100%的相对改进。我们的代码可在https://github.com/amaralibey/GPM上获得
2023-02-28 cs.CV
When Fashion Meets Big Data: Discriminative Mining of Best Selling Clothing Features
National Taiwan University（台湾大学）；University of Rochester（罗切斯特大学）
随着电子商务网站的普及和网上购物的便利，消费者正在接受大量的各种选择的产品。不可否认，购物是我们社会中最基本的活动之一，研究消费者的购物行为不仅对社会学和心理学有重要意义，而且对产业也有重要意义。无可争议，最受欢迎的电子商务类别之一是服装业务。出现了对流行的和有吸引力的服装特征的分析的需要，这可以进一步促进许多新兴的应用，例如服装推荐和广告。在这项工作中，我们设计了一个新的系统，包括三个主要组成部分：1）从在线购物网站中挖掘并组织大规模服装数据集，2）对服装单品数据和用户交易历史中的畅销产品图像进行剪枝并提取，以及3）利用基于机器学习的方法来发现精细的纹理服装属性作为流行服装风格元素的代表性和区分性特征。通过对大规模在线服装购物数据集的实验，我们证明了我们提出的系统的有效性，并获得了有用的洞察服装消费趋势和有利可图的服装功能。
2017-02-22 cs.CV
Selectively Hard Negative Mining for Alleviating Gradient Vanishing in Image-Text Matching
Beijing University of Posts and Telecommunications（北京邮电大学）；China Telecom Digital Intelligence Technology Co., Ltd.（中国电信数字智能科技有限公司）
近年来，一系列的图文匹配方法取得了令人瞩目的成绩。然而，我们观察到，大多数现有的ITM模型在训练开始时都存在梯度消失的问题，这使得这些模型容易陷入局部极小值。大多数ITM模型采用三重态损失，硬负挖掘（HN）作为优化目标。我们发现，优化ITM模型只使用硬负样本很容易导致梯度消失。在本文中，我们推导出在训练过程中梯度为零的条件。当正对相似性和负对相似性之间的差接近0时，图像和文本编码器上的梯度都将接近0。为了缓解梯度消失问题，我们提出了一种选择性硬负挖掘（SelHN）策略，该策略根据梯度消失条件选择是否挖掘硬负样本。SelHN可以即插即用应用于现有的ITM模型，以提供更好的训练行为。为了进一步确保梯度的反向传播，我们使用SelHN构建了一个剩余视觉语义嵌入模型，表示为RVSE++。在两个ITM基准上进行的大量实验证明了RVSE++的实力，实现了最先进的性能。
2023-03-01 cs.CV cs.MM
Image and Video Mining through Online Learning
University of Surrey（萨里大学）
在图像和视频识别领域，传统的方法是将数据集分成固定的训练和测试分区。然而，训练集的标记是耗时的，特别是当数据集的大小和复杂性增加时。此外，这种方法不适用于家庭用户，家庭用户希望直观地对他们的媒体进行分组，而无需不知疲倦地标记内容。我们的交互式方法能够迭代地聚类图像和视频类。我们的方法是基于周围的图像签名的概念，不像一个标准的词袋模型，可以表达共现统计以及符号频率。我们有效地计算度量签名之间的距离，尽管其固有的高维度，并提供歧视性的特征选择，允许共同的和独特的元素被确定从一个小的用户标记的例子。然后，这些元素在图像签名中被强调，以增加示例之间的相似性，并将正确的类拉到一起。通过在在线学习框架中重复这个过程，尽管只标记了几个训练样本，但相似性的准确性显著增加。为了证明该方法对所使用的媒体类型和功能是不可知的，我们对三个图像数据集（15场景，Caltech 101和FG-NET），混合文本和图像数据集（ImageTag），用于主动学习的数据集（Iris）和三个动作识别数据集（UCF 11，KTH和Hollywood2）进行了评估。在UCF11视频数据集上，尽管只使用了来自1200多个视频数据集的90个标记示例，而不是标准的1122个训练视频，但准确率为86.7%。该方法既可扩展又高效，在标准台式机上对大约1200个视频的完整UCF11数据集进行一次迭代大约需要1分钟。
2016-12-07 cs.CV
Hard Negative Sample Mining for Whole Slide Image Classification
Stony Brook University（石溪大学）；Harvard Medical School（哈佛医学院）
本文针对弱监督全切片图像分类，提出在微调阶段挖掘难负样本并结合新的图像块级排序损失，以提升特征表示质量、降低训练成本，并在两个公开数据集上验证了有效性。
2024-10-03 cs.CV
Fine-Grained Hard Negative Mining: Generalizing Mitosis Detection with a Fifth of the MIDOG 2022 Dataset
University Hospital and University of Zurich（苏黎世大学医院和苏黎世大学）
使组织病理学图像分类器对大范围的真实世界变化具有鲁棒性是一项具有挑战性的任务。在这里，我们描述了2022年有丝分裂领域泛化挑战赛（MIDOG）的候选深度学习解决方案，以解决在高变异性（扫描仪，组织类型和物种变异性）下苏木精-伊红染色组织学切片图像中有丝分裂检测的泛化问题。我们的方法包括使用积极的数据增强来训练旋转不变的深度学习模型，其中训练集富含硬否定示例，并从挑战数据集的未标记部分自动选择否定示例。为了优化我们的模型的性能，我们研究了一个硬负挖掘机制搜索过程，该过程使我们使用图像块的子集来训练我们的最佳模型，该图像块的子集代表了挑战数据集的训练分区的19.6%。在挑战平台上进行自动评估后，我们的候选模型集合在最终测试集上获得了.697的F1分数，在MIDOG 2022挑战赛中获得了第三好的总分数。
2023-01-03 cs.CV eess.IV
ULDor: A Universal Lesion Detector for CT Scans with Pseudo Masks and Hard Negative Example Mining
National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）；Ping An Insurance Company of China（中国平安保险（集团）股份有限公司）
从计算机断层扫描（CT）扫描中自动检测病变是医学成像分析中的重要任务。由于病变和其他组织之间的相似外观（例如强度和纹理），因此仍然非常具有挑战性，使得开发通用病变检测器特别困难。这项工作没有开发特定类型的病变检测器，而是基于Mask R-CNN构建了一个通用病变检测器（ULDor），它能够检测全身部位的所有不同类型的病变。作为最先进的对象检测器，Mask R-CNN增加了一个分支，用于预测每个感兴趣区域（ROI）上的分割掩码，以提高检测性能。然而，几乎不可能用像素级病变掩码手动注释大规模数据集来训练Mask R-CNN进行病变检测。为了解决这个问题，这项工作为每个病变区域构建了一个伪掩模，可以将其视为真实掩模的替代品，基于此，Mask R-CNN用于病变检测。另一方面，本文提出了一种硬反例挖掘策略，以减少误报，提高检测性能。在NIH DeepLesion数据集上的实验结果表明，使用伪掩码和所提出的硬否定示例挖掘策略增强了ULDor，并且在每个图像有5个假阳性的情况下实现了86.21%的灵敏度。
2019-01-18 cs.CV
Hard Negative Mining for Metric Learning Based Zero-Shot Classification
Normandie Univ, UNICAEN, ENSICAEN, CNRS（诺曼底大学，卡昂大学，卡昂国立高等工程师学校，国家科学研究中心）；ONERA - The French Aerospace Lab（法国国家航空航天研究院）
零样本学习已被证明是领域自适应的有效策略。在这种情况下，本文建立在Bucher等人的最新工作基础上。[1]，该工作提出了一种通过引入新的基于度量学习的目标函数来解决Zero-Shot分类问题（ZSC）的方法。该目标函数允许学习属性的最佳嵌入，并结合图像和属性之间的相似性度量。本文扩展了他们的方法，提出了几种方案来控制负对的生成，从而显着提高了性能，并在三个具有挑战性的ZSC数据集上给出了上述最先进的结果。
2016-08-26 cs.AI cs.CV cs.LG
Towards Hard-Positive Query Mining for DETR-based Human-Object Interaction Detection
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；Tencent AI-Lab（腾讯人工智能实验室）
人-物交互检测是高层次图像理解的核心任务。近年来，基于检测Transformer（Detection Transformer，DETR）的HOI检测器由于其优越的性能和高效的结构而变得流行。然而，这些方法通常对所有测试图像采用固定的HOI查询，这容易受到特定图像中对象的位置变化的影响。因此，在本文中，我们提出了提高DETR的鲁棒性挖掘硬积极的查询，这是被迫作出正确的预测，使用部分视觉线索。首先，我们明确地组成硬积极的查询根据地面实况（GT）的位置标记的人-对象对每个训练图像。具体来说，我们移动每个标记的人-对象对的GT边界框，使得移动的框仅覆盖GT框的某一部分。我们将每个标记的人-对象对的移位框的坐标编码到HOI查询中。其次，我们隐式地构造另一组硬肯定查询，通过掩蔽解码器层的交叉注意力图中的最高分数。然后，掩蔽的注意力地图仅覆盖HOI预测的部分重要线索。最后，提出了一种替代策略，有效地结合了这两种类型的硬查询。在每次迭代中，DETR的可学习查询和一个选定的类型的硬肯定查询的损失计算。实验结果表明，我们提出的方法可以广泛应用于现有的基于DETR的HOI检测器。此外，我们始终在三个基准上实现最先进的性能：HICO-DET，V-COCO和HOI-A。代码可在https://github.com/MuchHair/HQM上获得。
2022-07-12 cs.CV
Multiple Instance Learning Framework with Masked Hard Instance Mining for Gigapixel Histopathology Image Analysis
Hong Kong University of Science and Technology（香港科学与技术大学）；Hefei University of Technology（合肥工业大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
针对多实例学习在千兆像素病理图像中偏向易分类实例的问题，提出基于掩码困难实例挖掘的MIL框架（MHIM-MIL），利用动量教师与随机掩码隐式挖掘困难实例，在12个基准上性能与效率均优于最新方法。
2025-09-15 cs.CV
DDS-NAS: Dynamic Data Selection within Neural Architecture Search via On-line Hard Example Mining applied to Image Classification
Department of Computer Science, Durham University, UK（计算机科学系，杜伦大学）；Department of Engineering, Durham University, UK（工程系，杜伦大学）
针对神经架构搜索的可扩展性挑战，提出DDS-NAS框架，利用自编码器和kd-tree在课程学习框架内进行动态难样本挖掘，加速NAS训练高达27倍且无性能损失。
2025-06-24 cs.CV
PVSNet: Palm Vein Authentication Siamese Network Trained using Triplet Loss and Adaptive Hard Mining by Learning Enforced Domain Specific Features
Indian Institute of Technology Mandi（印度理工学院曼迪分校）；Indian Institute of Technology Indore（印度理工学院印多尔分校）
设计一个端到端的深度学习网络来匹配具有有限训练样本的生物特征是一项极具挑战性的任务。为了解决这个问题，我们提出了一种设计端到端深度CNN框架的新方法，即，PVSNet分为两个主要步骤：首先，编码器-解码器网络用于学习生成域特定特征，然后是Siamese网络，其中卷积层以无监督方式预先训练为自动编码器。所提出的模型是通过三重损失函数，调整学习特征嵌入的方式，最大限度地减少嵌入对之间的距离，从同一主题和最大限度地提高与来自不同主题的距离，与利润。特别地，已经提出了使用基于自适应余量的硬否定挖掘的三重连体匹配网络。与训练策略相关的超参数（如自适应裕度）已被调整，以使学习在生物特征数据集上更有效。在广泛的实验中，所提出的网络在三种类型的典型静脉数据集上的性能优于大多数现有的深度学习解决方案，这清楚地证明了我们所提出的方法的有效性。
2018-12-15 cs.CV
Bootstrap Masked Visual Modeling via Hard Patches Mining
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）；Megvii Technology（旷视科技）
提出困难补丁挖掘（HPM）方法，通过预测补丁损失并掩码高损失区域，使模型充当教师生成挑战性任务，在图像和视频基准上显著提升表示学习性能。
2023-12-21 cs.CV
SeMi: When Imbalanced Semi-Supervised Learning Meets Mining Hard Examples
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）；Central South University（中南大学）；Zhejiang Gongshang University（浙江工商大学）
针对类别不平衡半监督学习忽视难例价值的问题，提出 SeMi，通过 logits 熵差异识别难例并结合带置信度衰减的类别平衡记忆库，在多个基准上取得最优性能。
2025-01-10 cs.CV
Improving Deep Metric Learning with Virtual Classes and Examples Mining
ETIS UMR 8051；Université Paris Seine（巴黎塞纳大学）；UCP；ENSEA（国立高等电子及应用学院）；CNRS（法国国家科学研究中心）；LIGM, UMR 8049；École des Ponts（巴黎路桥学院）；UPE；C3N；Pôle Judiciaire de la Gendarmerie Nationale（国家宪兵司法中心）
在深度度量学习中，训练过程依赖于采样信息元组。然而，随着训练过程的进行，如果没有适当的挖掘策略或基于生成的方法，几乎不可能对相关的硬否定示例进行采样。最近的工作，硬负生成显示了巨大的希望，以解决采矿问题。然而，这个生成过程很难调整，并且经常导致错误标记的示例。为了解决这个问题，我们引入了MIRAGE，这是一种基于生成的方法，它依赖于完全由生成的示例组成的虚拟课程，这些示例充当训练课程之间的缓冲区域。我们的经验表明，与其他生成方法相比，虚拟类显着提高了流行数据集（Cub-200-2011，Cars-196和Stanford Online Products）的结果。
2020-06-11 cs.CV
CLIP-DFGS: A Hard Sample Mining Method for CLIP in Generalizable Person Re-Identification
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
针对CLIP在泛化行人重识别中细粒度特征提取不足的问题，提出基于深度优先搜索的难样本挖掘方法DFGS，通过构建高判别难度小批量数据增强模型跨模态学习能力，显著提升了泛化行人重识别性能。
2024-10-15 cs.CV
Hard Patches Mining for Masked Image Modeling
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Megvii Technology（旷视科技）
本文提出困难图像块挖掘（HPM）框架，通过辅助损失预测器自主选择高难度掩码位置，将模型从被动解题者转变为主动出题者，从而提升掩码图像建模的表示学习效果。
2023-04-12 cs.CV
Brain Tumor Segmentation and Survival Prediction using Automatic Hard mining in 3D CNN Architecture
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Intel Technology India Pvt. Ltd（英特尔技术印度私人有限公司）
我们利用3-D全卷积神经网络（CNN）从多模态磁共振图像（MRI）中分割胶质瘤及其成分。该架构使用密集连接模式来减少权重和剩余连接的数量，并使用通过使用BraTS 2018数据集训练该模型获得的权重进行初始化。硬挖掘是在训练过程中进行的，通过增加骰子相似性系数（DSC）阈值来选择困难的情况下，随着时代的增加，分割任务的困难情况的训练。在BraTS 2020验证数据（n = 125）中，该架构实现了肿瘤核心、整个肿瘤和活性肿瘤切片分别为0.744、0.876、0.714。在测试数据集上，我们得到肿瘤核心和活性肿瘤的DSC增加约7%。在DSC方面，我们在BraTS 2020测试数据上的网络性能分别为0.775，0.815和0.85，用于增强肿瘤，肿瘤核心和整个肿瘤。使用常规机器学习从使用生成的分割掩模获得的放射组学特征确定受试者的总体存活。我们的方法已经达到了0.448和0.452的精度验证和测试数据集。
2021-01-05 cs.CV eess.IV
Unsupervised Contrastive Learning of Image Representations from Ultrasound Videos with Hard Negative Mining
Indian Institute of Technology, Delhi（德里印度理工学院）；Postgraduate Institute of Medical Education and Research（医学教育与研究研究生院）
丰富的时间信息和视点的变化使得视频数据成为使用无监督对比学习（UCL）技术学习图像表示的有吸引力的选择。最先进的（SOTA）对比学习技术将视频中的帧视为嵌入空间中的正帧，而来自其他视频的帧则被视为负帧。我们观察到，与自然场景视频中对象的多个视图不同，超声（US）视频捕获器官的不同2D切片。因此，即使是相同的US视频的时间上远离的帧之间也几乎没有相似性。在本文中，我们建议使用这种框架作为硬底片。我们提倡在UCL框架中的硬度敏感负面挖掘课程中挖掘视频内和跨视频负面，以学习丰富的图像表示。我们部署我们的框架来学习表示胆囊（GB）恶性肿瘤从美国的视频。我们还构建了第一个包含64个视频和15，800帧的大规模美国视频数据集，用于学习GB表示。我们表明，使用我们的框架训练的标准ResNet 50骨干可以将使用SOTA UCL技术预训练的模型以及ImageNet上用于GB恶性肿瘤检测任务的监督预训练模型的准确性提高2- 6%。我们进一步验证了我们的方法在公开可用的COVID-19病理肺部US图像数据集上的通用性，并显示出与SOTA相比1.5%的改进。源代码、数据集和模型可在https://gbc-iitd.github.io/usucl上获得。
2022-07-26 cs.CV eess.IV
Multiple Instance Learning Framework with Masked Hard Instance Mining for Whole Slide Image Classification
Chongqing University（重庆大学）；The Hong Kong University of Science and Technology（香港科技大学）；Walmart Global Tech（沃尔玛全球技术）
提出MHIM-MIL框架，通过孪生结构挖掘困难实例，提升全切片图像分类性能，在多个数据集上优于现有方法。
2023-12-21 cs.AI cs.CV
