MoBYv2AL: Self-supervised Active Learning for Image Classification
Imperial College London(伦敦帝国理工学院);University College London(伦敦大学学院);KAIST(韩国科学技术院)
主动学习(AL)最近在深度学习(DL)模型中流行起来。这是由于高效和信息丰富的采样,特别是当学习者需要大规模标记数据集时。通常,采样和训练在添加更多批次时分阶段进行。该策略的一个主要瓶颈是模型学习到的影响整体AL选择的狭窄表示。我们提出了MoBYv2AL,一种新的自监督主动学习框架的图像分类。我们的贡献在于将最成功的自监督学习算法之一MoBY提升到AL管道。因此,我们增加了下游任务感知的目标函数,并与对比损失联合优化。此外,我们推导出一个数据分布的选择函数,从标记的新的例子。最后,我们测试和研究我们的管道的鲁棒性和性能的图像分类任务。与最近的AL方法相比,我们成功地实现了最先进的结果。可用代码:https://github.com/razvancaramalau/MoBYv2AL
2023-01-04 cs.CV
Fast Fishing: Approximating BAIT for Efficient and Scalable Deep Active Image Classification
University of Kassel, Intelligent Embedded Systems(卡塞尔大学智能嵌入式系统)
本文提出通过近似信息论提升BAIT的计算效率和可扩展性,使其能高效应用于大规模图像分类任务。
2024-08-30 cs.CV cs.LG
Combining Discrepancy-Confusion Uncertainty and Calibration Diversity for Active Fine-Grained Image Classification
Jilin University(吉林大学)
研究针对细粒度图像分类中可靠评估样本信息难的问题,提出DECERN方法,结合差异-混淆不确定性和校准多样性来衡量样本信息,经加权聚类和校准多样性,提升主动学习性能。
2026-07-07 cs.CV
An Empirical Study on the Efficacy of Deep Active Learning for Image Classification
Harbin Institute of Technology (ShenZhen)(哈尔滨工业大学(深圳));The Chinese University of Hong Kong(香港中文大学);ByteDance(字节跳动)
深度主动学习(DAL)被认为是降低监督学习中标记成本的一种有前途的方法。然而,现有的DAL方法的评估是基于不同的设置,其结果是有争议的。为了解决这个问题,本文全面评估了19个现有的DAL方法在一个统一的设置,包括传统的全\underline{s}的\underline{a}主动\underline{l}收益(SAL)的战略和新兴的\underline{s} emi- \underline{s}的\underline{a}主动\underline{l}收益(SSAL)技术。我们有几个重要的发现。首先,大多数SAL方法不能达到比随机选择更高的精度。其次,与纯SAL方法相比,半监督训练带来了显着的性能改善。第三,在SSAL设置中执行数据选择可以实现显著且一致的性能改进,特别是对于大量未标记的数据。我们的研究结果为从业者提供了以下指导:应该(i)尽早应用SSAL,(ii)尽可能收集更多未标记的数据,以获得更好的模型性能。
2022-11-30 cs.AI cs.CV
Class-Balanced Active Learning for Image Classification
Computer Vision Center (CVC)(计算机视觉中心);Univ. Autònoma of Barcelona (UAB)(巴塞罗那自治大学)
主动学习的目的是减少标记的努力,需要训练算法,通过学习的采集功能,选择最相关的数据,标签应该被要求从一个大的未标记的数据池。主动学习通常在平衡数据集上进行研究,其中每个类都有等量的图像可用。然而,现实世界的数据集遭受严重的不平衡类,所谓的长尾分布。我们认为,这进一步复杂的主动学习过程中,不平衡的数据池可能会导致次优分类。为了解决这个问题的背景下,主动学习,我们提出了一个通用的优化框架,明确考虑类平衡。三个数据集上的结果表明,该方法是通用的(它可以与大多数现有的主动学习算法相结合),可以有效地应用于提高性能的信息和代表性的主动学习方法。此外,我们还表明,在平衡数据集上,我们的方法通常会带来性能增益。
2021-10-09 cs.CV
Active Deep Densely Connected Convolutional Network for Hyperspectral Image Classification
PLA Strategic Support Force Information Engineering University(中国人民解放军战略支援部队信息工程大学);University of Trento(特伦托大学)
在过去的几年里,基于深度学习的方法在高光谱图像分类中的流行度大幅上升。然而,深度学习的成功在很大程度上归功于大量的标记样本。仅使用少量标记样本来训练深度学习模型以达到高分类精度仍然非常具有挑战性。因此,本文提出了一种端到端方式训练的主动深度学习框架,以最小化高光谱图像分类成本。首先,考虑使用深度密集连接的卷积网络进行高光谱图像分类。不同于传统的主动学习方法,在设计的深度密集连接卷积网络中加入了一个额外的网络,用于预测输入样本的丢失。然后,额外的网络可以用于建议未标记的样本,深度密集连接的卷积网络更有可能产生错误的标签。请注意,附加网络使用深度密集连接卷积网络的中间特征作为输入。因此,所提出的方法是端到端框架。随后,一些选定的样本被手动标记并添加到训练样本中。因此,使用新的训练集来训练深度密集连接的卷积网络。最后,重复上述步骤以迭代地训练整个框架。大量的实验表明,该方法可以达到很高的分类精度,只需选择少量的样本。
2020-11-24 cs.CV
A survey of active learning algorithms for supervised remote sensing image classification
University of València(瓦伦西亚大学);University of Lausanne(洛桑大学);SARMAP SA(SARMAP公司)
定义一个有效的训练集是遥感图像分类例程成功的最微妙的阶段之一。问题的复杂性,有限的时间和财务资源,以及高的类内方差,如果用次优数据集训练算法,可能会导致算法失败。主动学习旨在通过采样迭代地提高模型性能来构建有效的训练集。一个用户定义的启发式排名未标记的像素根据其类成员的不确定性的函数,然后用户被要求提供最不确定的像素的标签。本文回顾和测试了主动学习算法的主要家族:委员会,大边缘和后验概率为基础的。对于每一个,在遥感界的最新进展进行了讨论,并详细介绍和测试了一些化学。几个具有挑战性的遥感场景,包括非常高的空间分辨率和高光谱图像分类。最后,为新用户和/或没有经验的用户提供了选择好的体系结构的指南。
2021-04-15 cs.CV
Active Transfer Learning Network: A Unified Deep Joint Spectral-Spatial Feature Learning Model For Hyperspectral Image Classification
Xidian University(西安电子科技大学);Beihang University(北京航空航天大学);UBTECH Sydney Artificial Intelligence Centre(优必选悉尼人工智能中心);The University of Sydney(悉尼大学)
深度学习最近在高光谱图像(HSI)分类领域引起了极大的关注。然而,高效的深度神经网络(DNN)的构建主要依赖于大量可用的标记样本。为了解决这个问题,本文提出了一个统一的深度网络,结合主动迁移学习,可以使用最小标记的训练数据很好地训练HSIs分类。更具体地说,深度联合频谱空间特征首先通过分层堆叠稀疏自编码器(SSAE)网络提取。然后利用主动迁移学习将预先训练的SSAE网络和有限的训练样本从源域迁移到目标域,其中SSAE网络随后使用通过相应的主动学习策略从源域和目标域两者选择的有限的标记样本进行微调。我们提出的方法的优点是三方面的:1)网络可以有效地训练只有有限的标记样本的帮助下,新的主动学习策略; 2)网络是灵活的和可扩展的,足以跨各种传输情况下,包括跨数据集和图像内的功能; 3)所学习的深度联合频谱-空间特征表示比许多联合频谱-空间特征表示更通用和鲁棒。广泛的比较评估表明,我们提出的方法在三个流行的数据集上显着优于许多最先进的方法,包括传统的和基于深度网络的方法。
2019-04-04 cs.CV
Image Classification with Deep Reinforcement Active Learning
School of Computer and Artificial Intelligence, Zhengzhou University(郑州大学计算机与人工智能学院);Engineering Research Center of Intelligent Swarm Systems, Ministry of Education, China(教育部智能群系统工程研究中心);National Supercomputing Center in Zhengzhou, China(郑州国家超级计算中心);Sorbonne University(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机实验室);Luoyang float glass group Co.,Ltd(洛阳浮法玻璃集团有限责任公司);State Key Laboratory of Advanced Technology for Float Glass, China(浮法玻璃先进技术国家重点实验室)
本文提出一种基于马尔可夫决策过程和深度确定性策略梯度的自适应主动学习方法,将深度强化学习与主动学习结合,在三个图像分类基准上优于现有主动学习策略。
2024-12-27 cs.CV
Fermat Active Laplace Learning for Semi-Supervised Hyperspectral Image Classification
Tufts University(塔夫茨大学)
该研究提出两种结合费马距离与泊松加权调和标签传播的主动学习算法,用于半监督高光谱图像分类,实验验证了算法的有效性与可扩展性。
2026-08-04 cs.CV stat.ML
Deep Active Learning over the Long Tail
Technion – Israel Institute of Technology(以色列理工学院)
本文关注深度神经网络的基于池的主动学习。受coreset数据集压缩思想的启发,我们提出了一种新的主动学习算法,该算法在表示层的神经激活空间中使用最远优先遍历从池中查询连续点。对于三个数据集:MNIST,CIFAR-10和CIFAR-100,我们在被动学习(随机采样)的样本复杂性方面表现出一致和压倒性的改善。此外,我们的算法优于传统的不确定性采样技术(使用softmax激活获得),并且我们确定了不确定性采样仅略优于随机采样的情况。
2017-11-02 cs.LG
Active Learning of Deep Neural Networks via Gradient-Free Cutting Planes
Department of Management Science and Engineering, Stanford University(管理科学与工程系,斯坦福大学);Department of Electrical Engineering, Stanford University(电气工程系,斯坦福大学)
本研究提出一种针对任意深度ReLU网络的无梯度割平面训练方法,首次将割平面算法扩展至深度神经网络,实现了具备收敛保证的深度主动学习方案,并在合成与真实数据实验中验证了其有效性。
2025-06-25 cs.LG math.OC
Improved Algorithms for Agnostic Pool-based Active Classification
Paul G. Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学);Seattle(西雅图(城市名,非机构))
我们认为主动学习的二进制分类在不可知池为基础的设置。在不可知环境中的主动学习中的绝大多数作品都受到CAL算法的启发,其中每个查询都是从当前版本空间的不一致区域中均匀采样的。这种算法的样本复杂度由称为不一致系数的量描述,该不一致系数捕获假设空间的几何形状以及潜在的概率空间。到目前为止,分歧系数已经证明了极大极小的下限,留下的大门打开了优越的实例依赖样本的复杂性。在这项工作中,我们提出了一种算法,在不同的区域均匀采样,解决了实验设计问题,以确定一个分布的例子,从请求标签。我们表明,新的方法实现的样本复杂性的界限,从来没有比最好的分歧系数为基础的界限,但在特定情况下,可以显着更小。从实际的角度来看,所提出的算法不需要调整超参数(例如,以控制采样的积极性),并且通过假设访问经验风险最小化预言(没有任何约束)而在计算上是有效的。经验上,我们证明了我们的算法优于图像分类数据集上最先进的不可知主动学习算法。
2021-05-13 cs.LG stat.ML
Reversed Active Learning based Atrous DenseNet for Pathological Image Classification
Youtu Lab, Tencent(腾讯优图实验室);Shenzhen University(深圳大学);The Sixth People’s Hospital of Shenzhen(深圳市第六人民医院)
近年来随着深度学习的发展,越来越多的研究尝试采用深度学习模型进行医学图像分析。然而,将深度学习网络用于病理图像分析遇到了若干挑战,例如病理图像的高分辨率(千兆像素)和缺乏癌症区域的注释。为了应对这些挑战,我们提出了一个完整的框架,病理图像分类,其中包括一个新的训练策略,即反向主动学习(RAL),和一个先进的网络,即atrous DenseNet(ADN)。建议的RAL可以删除训练集中的错误标记的补丁。然后可以使用改进的训练集来训练广泛使用的深度学习网络,例如VGG-16,ResNets等。还提出了一种新的深度学习网络,即atrous DenseNet(ADN),用于病理图像的分类。提出的ADN实现多尺度特征提取通过集成的atrous卷积的密集块。已在两个病理数据集(即BACH和CCG)上评价了拟议的RAL和ADN。实验结果表明,所提出的ADN + RAL框架具有优异的性能,即在BACH和CCG验证集上获得了94.10%和92.05%的平均斑块级ACA。
2018-07-06 cs.CV
Fuzziness-based Spatial-Spectral Class Discriminant Information Preserving Active Learning for Hyperspectral Image Classification
Khwaja Fareed University of Engineering and Information Technology(赫瓦贾·法里德工程与信息技术大学)
传统的高光谱图像分类的主动/自/交互式学习方法(HSIC)在增加训练样本集的同时,没有考虑样本的分散性和随机性。第二,对联合频谱-空间信息进行了非常有限的研究,最后,一个次要但仍然值得一提的是停止标准,该标准没有得到社会的充分考虑。因此,这项工作提出了一种新的基于模糊的空间谱内和之间的局部和全局类判别信息保留(FLG)方法。我们首先研究了一个基于空间先验模糊的误分类样本信息。然后,我们计算类内和类间信息的总局部和全局信息,并以细粒度的方式将其公式化。然后将这些信息输入到一个判别目标函数中,对非均匀样本进行查询,消除了训练样本之间的随机性。在HSI基准数据集上的实验结果证明了FLG方法在生成式、极限学习机和稀疏多项逻辑回归(SMLR)-LORSAL分类器上的有效性。
2020-05-28 cs.CV eess.IV
Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Singapore University of Technology and Design(新加坡科技设计大学)
深度学习方法实现了对放射学图像进行分类的最先进性能,但依赖于需要专家进行资源密集型注释的大型标记数据集。半监督学习和主动学习都可以用来减轻这种注释负担。然而,在结合半监督和主动学习方法的优点用于多标签医学图像分类方面的工作有限。在这里,我们介绍了一种新的基于一致性的半监督证据主动学习框架(CSEAL)。具体来说,我们利用基于证据理论和主观逻辑的预测不确定性来开发一种端到端的集成方法,该方法将基于一致性的半监督学习与基于不确定性的主动学习相结合。我们应用我们的方法来增强四种领先的基于一致性的半监督学习方法:伪标签,虚拟对抗训练,平均教师和NoTeacher。对多标签胸部X射线分类任务的广泛评估表明,CSEAL在两个领先的半监督主动学习基线上实现了实质性的性能改进。此外,对结果的分类分解表明,我们的方法可以用更少的标记样本大幅提高对罕见异常的准确性。
2022-09-05 cs.AI cs.CV cs.LG
Active Deep Learning for Classification of Hyperspectral Images
研究了高光谱图像的主动深度学习分类问题。深度学习在许多应用中取得了成功,但需要高质量的标记样本来构建深度学习网络。在高光谱遥感图像中获取高质量的标记样本是一项昂贵的工作。提出了一种基于加权增量字典学习的主动学习算法。该算法选择训练样本,最大限度地提高两个选择标准,即代表性和不确定性。该算法通过在每次迭代中主动选择训练样本来有效地训练深度网络。将该算法应用于高光谱图像的分类,并与其他采用主动学习的分类算法进行了比较。实验结果表明,该算法在高光谱图像分类中是有效的。
2016-11-30 cs.CV cs.LG stat.ML
Deep Active Learning: A Reality Check
Huawei Noah’s Ark(华为诺亚方舟实验室)
本文全面评估了最先进的深度主动学习方法,发现多数未超越基于熵的基线,并揭示了初始预算、预算步长及预训练等实验设置的关键影响,为未来研究提供具体建议。
2024-03-21 cs.AI cs.CV cs.LG
Active Classification: Theory and Application to Underwater Inspection
University of Southern California(南加州大学)
我们讨论的问题,其中自动驾驶汽车必须分类的对象基于多个视图。我们专注于主动分类设置,其中车辆控制选择哪些视图以最好地执行分类。这个问题被制定为贝叶斯主动学习的扩展,我们显示连接到最近的理论保证在这方面。我们正式分析的好处,新的信息变得可用的自适应行动。分析导致一个概率算法,用于确定最佳的意见,以观察基于信息理论的成本。我们从两个方面验证了我们的方法,这两个方面都与水下检查有关:合成深度图中的3D多面体识别和使用成像声纳的船体检查。这些任务包括主动分类问题的规划和识别方面。结果表明,积极规划信息的意见,可以减少高达80%的必要意见相比,被动的方法。
2011-06-29 cs.AI cs.CV cs.RO
Algorithm Selection for Deep Active Learning with Imbalanced Datasets
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Meta Inc.(Meta公司)
针对深度主动学习策略难以预先选择且数据集类别不平衡的问题,提出自适应元算法 TAILOR,通过汤普森式迭代选择和类别平衡奖励取得媲美或超过最佳候选算法的性能。
2023-11-02 cs.AI cs.CV cs.LG
Active Learning for Video Classification with Frame Level Queries
Florida State University(佛罗里达州立大学)
针对视频分类标注成本高的问题,本文提出帧级查询主动学习框架,通过不确定性与多样性选择视频并抽取代表性帧,使标注者无需观看完整视频即可标注。
2023-07-10 cs.AI cs.CV cs.LG
MCDAL: Maximum Classifier Discrepancy for Active Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of California, Berkeley(加州大学伯克利分校)
最近最先进的主动学习方法主要利用生成对抗网络(GAN)进行样本获取;然而,GAN通常已知具有不稳定性和对超参数的敏感性。与这些方法相比,我们在本文中提出了一种新的主动学习框架,我们称之为最大分类器离散主动学习(MCDAL),它需要多个分类器之间的预测差异。特别是,我们利用两个辅助分类层,通过最大化它们之间的差异来学习更紧密的决策边界。直觉上,辅助分类层预测中的差异表明预测中的不确定性。在这方面,我们提出了一种新的方法来利用分类器的差异为主动学习的采集功能。我们还提供了我们的想法与现有的GAN为基础的主动学习方法和领域自适应框架的解释。此外,我们经验性地证明了我们的方法的效用,其中我们的方法的性能超过了主动学习设置中的几个图像分类和语义分割数据集上的最先进的方法。
2022-02-14 cs.AI cs.CV cs.LG
Robust Deep Learning with Active Noise Cancellation for Spatial Computing
Facebook(脸书)
本文提出了CANC,一种协同教学主动噪声消除方法,应用于空间计算,以解决用极端噪声标签训练的深度学习。深度学习算法在土地或建筑物足迹识别的空间计算中取得了成功。然而,由于空间计算和卫星图像中标签的收集方式,地面真值标签中存在大量噪声。处理极端标签噪声的现有方法进行干净的样本选择,并且不利用剩余的样本。由于数据检索的成本,这种技术可能是浪费的。我们提出的CANC算法不仅保留了高成本的训练样本,还提供了主动标签校正,以更好地提高具有极端噪声标签的鲁棒深度学习。我们证明了CANC的有效性,为空间计算的建筑足迹识别。
2020-11-16 cs.AI cs.CV cs.LG
Highly Efficient Representation and Active Learning Framework and Its Application to Imbalanced Medical Image Classification
Samsung SDS Research America(三星SDS美国研究院)
我们提出了一个高数据效率的主动学习框架图像分类。我们的新框架结合了:(1)卷积神经网络的无监督表示学习和(2)高斯过程(GP)方法,依次实现高度数据和标签有效的分类。此外,这两个元素对普遍存在的具有挑战性的类不平衡问题不太敏感,这要归功于(1)在没有标签的情况下学习的特征和(2)GP的贝叶斯性质。GP提供的不确定性估计通过基于不确定性对样本进行排序并选择性地标记显示较高不确定性的样本来实现主动学习。我们将这种新的组合应用于COVID-19胸部X线分类和Nerthus结肠镜分类严重失衡的病例。我们只证明这一点。需要10%的标记数据才能达到训练所有可用标签的准确性。我们还将我们的模型架构和建议框架应用于更广泛的数据集类别,并取得了预期的成功。
2022-06-20 cs.CV cs.LG eess.IV
Deep Learning for Active Region Classification: A Systematic Study from Convolutional Neural Networks to Vision Transformers
Istituto Nazionale di Astrofisica(意大利国家天体物理研究所)
本文系统研究了从卷积神经网络到视觉Transformer的深度学习架构在太阳活动区威尔逊山分类任务中的表现,指出稳健训练过程是提升分类有效性的关键。
2024-10-23 astro-ph.SR cs.CV
Benchmarking Multi-Domain Active Learning on Image Classification
Stanford University(斯坦福大学)
本文构建多域主动学习基准并发布地理域大规模图像数据集 CLIP-GeoYFCC,发现传统单域策略在多域场景中常不如随机选择,且所有多域策略均存在显著权衡,呼吁未来进一步研究。
2023-12-01 cs.CV cs.LG
Self-Calibrating Active Binocular Vision via Active Efficient Coding with Deep Autoencoders
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);Hong Kong University of Science and Technology(香港科技大学)
我们提出了一个模型的主动双目视觉的自校准,包括同时学习的视觉表征,聚散度,并追求眼球运动。该模型遵循主动有效编码(AEC)的原则,这是经典的有效编码假设在主动感知中的最新扩展。与以前的AEC模型相比,本模型使用深度自动编码器来学习感官表征。我们还提出了一个新的制定的内在动机信号,指导学习的行为。我们在模拟中展示了该模型的性能。
2021-01-27 cs.AI cs.CV
Active Multi-Kernel Domain Adaptation for Hyperspectral Image Classification
Xidian University(西安电子科技大学);Beihang University(北京航空航天大学);University of Technology, Sydney(悉尼科技大学)
近年来,高光谱图像分类技术取得了长足的进步。现有的大多数研究要么严重依赖于使用监督学习的昂贵的标签信息,要么很难利用从相关领域借来的判别信息。为了解决这个问题,在本文中,我们提出了一种新的框架,解决HSI分类的基础上的领域自适应(DA)与主动学习(AL)。我们的方法的主要思想是重新训练的多核分类器,利用可用的标记样本从源域,并添加最小数量的最具信息量的样本与主动查询的目标域。所提出的方法自适应地结合多个内核,形成一个DA分类器,最大限度地减少源域和目标域之间的偏差。进一步配备了嵌套的主动更新过程,它依次扩大训练集,并逐渐收敛到一个令人满意的分类性能水平。我们研究这种主动适应框架与边际抽样(MS)策略在HSI分类任务。我们在两个流行的HSI数据集上的实验结果证明了它的有效性。
2019-04-10 cs.CV
Active Dictionary Learning in Sparse Representation Based Classification
University of Pennsylvania(宾夕法尼亚大学);Stevens Institute of Technology(史蒂文斯理工学院);University of Rhode Island(罗德岛大学)
稀疏表示是一种利用字典原子重构输入向量的方法,近年来得到了广泛的研究。合适的字典是稀疏表示成功的关键。本文提出了一种主动字典学习方法,将分类误差和重构误差作为选择字典原子的主动学习准则。学习的字典计算稀疏表示为基础的分类(SRC)。分类精度和重建误差被用来评估所提出的字典学习方法。该方法的性能与其他方法进行了比较,包括无监督字典学习和全训练数据字典。基于UCI数据集和人脸数据集的实验结果表明了该方法的有效性。
2014-09-27 cs.CV
Active Label Refinement for Robust Training of Imbalanced Medical Image Classification Tasks in the Presence of High Label Noise
Center for Imaging Science, Rochester Institute of Technology(罗切斯特理工学院成像科学中心);University of Aberdeen(阿伯丁大学);Biomedical Engineering, Rochester Institute of Technology(罗切斯特理工学院生物医学工程系)
本文提出结合LNL与主动学习的两阶段标签精炼框架,引入梯度方差采样少数类,在有限预算下提升高噪声、类别不平衡医学图像分类的鲁棒性。
2024-10-24 cs.CV cs.LG
Active Generative Adversarial Network for Image Classification
Hitachi, Ltd. R&D Group(日立制作所研发集团);Hitachi America, Ltd.(日立美国有限公司)
足够的监督信息对于任何机器学习模型提高性能都是至关重要的。然而,标记数据是昂贵的,有时很难获得。主动学习是一种通过选择具有高概率的信息样本来从人类预言机获取数据的注释以增强性能的方法。在最近的新兴研究中,生成对抗网络(GAN)已经与主动学习相结合,以生成要提交给预言机的好候选人。在本文中,我们提出了一种新的模型,能够以更便宜的方式获得数据的标签,而无需查询Oracle。在该模型中,每个样本的一个新的奖励被设计来衡量不确定性的程度,这是从一个分类器训练与现有的标记数据。该奖励用于引导条件GAN生成具有特定标签的更高概率的信息样本。通过广泛的评估,我们已经证实了该模型的有效性,表明生成的样本能够提高流行的图像分类任务的分类性能。
2019-06-17 cs.CV cs.LG stat.ML
Deep Active Learning for Computer Vision: Past and Future
Intellifusion Inc.(云天励飞技术股份有限公司);Peking University(北京大学);National University of Singapore(新加坡国立大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
主动学习作为一种重要的数据选择模式,在人工智能(AI)模型迭代时成为必不可少的组成部分。考虑到基于深度神经网络的模型在应用中的主导地位,它变得更加关键,这些模型由大量参数和数据组成。尽管主动学习在开发人工智能模型方面发挥着不可或缺的作用,但它的研究并不像其他研究方向那样密集。本文从以下几个方面对通过深度主动学习方法实现的主动学习进行了综述:1)主动学习的技术进步; 2)主动学习在计算机视觉中的应用; 3)利用或有潜力利用主动学习进行数据迭代的工业系统; 4)当前的局限性和未来的研究方向。我们希望本文能够阐明主动学习在现代AI模型制造过程中的重要性,并为主动学习带来更多的研究关注。通过解决数据自动化挑战和应对自动化机器学习系统,主动学习将通过大规模提高模型生产来促进人工智能技术的民主化。
2022-12-24 cs.CV cs.LG
Deep Bayesian Active Learning with Image Data
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
尽管主动学习是机器学习的重要支柱,但深度学习工具在其中并不普遍。深度学习在主动学习环境中使用时会带来一些困难。首先,主动学习(AL)方法通常依赖于能够从少量数据中学习和更新模型。另一方面,深度学习的最新进展因其对大量数据的依赖而臭名昭著。其次,许多AL获取功能依赖于模型不确定性,但深度学习方法很少表示这种模型不确定性。在本文中,我们以实用的方式将贝叶斯深度学习的最新进展结合到主动学习框架中。我们开发了一个主动学习框架,高维数据,一个任务,这是非常具有挑战性的,到目前为止,非常稀疏的现有文献。利用专门的模型,如贝叶斯卷积神经网络,我们展示了我们的主动学习技术与图像数据,获得显着改善现有的主动学习方法。我们在MNIST数据集以及来自病变图像的皮肤癌诊断(ISIC 2016任务)上证明了这一点。
2017-03-08 cs.CV cs.LG stat.ML
Enhancing Skin Lesion Classification Generalization with Active Domain Adaptation
Carnegie Mellon University(卡内基梅隆大学)
本文提出结合自监督学习与主动域适应的皮肤病变分类方法,通过自然图像预训练、皮肤数据再训练、源域微调及目标域ADA选择,在10个数据集和5种ADA方法上验证了跨域泛化提升效果。
2025-02-18 cs.CV
Deep Diffusion Processes for Active Learning of Hyperspectral Images
Tufts University(塔夫茨大学);University of Maryland, College Park(马里兰大学帕克分校)
提出了一种结合深度学习和图上扩散过程的高光谱图像主动学习方法。深度变分自编码器从高维HSI中提取平滑、去噪的特征,然后将其用于基于图扩散过程进行标记查询。所提出的方法结合了深度学习的鲁棒表示和扩散几何的数学易处理性,并在真实HSI上具有很强的性能。
2021-01-08 cs.CV cs.LG eess.IV
Deep Active Learning for Joint Classification & Segmentation with Weak Annotator
École de technologie supérieure(高等技术学院)
CNN可视化和解释方法,如类激活图(CAM),通常用于突出显示与类预测相关的图像区域。这些模型允许同时对图像进行分类并提取依赖于类别的显著性图,而不需要昂贵的像素级注释。然而,它们通常产生具有高假阳性率的分割,因此,粗糙的可视化,在处理具有挑战性的图像时更是如此,如在组织学中遇到的。为了缓解这个问题,我们提出了一个主动学习(AL)框架,它在训练过程中逐步集成像素级注释。给定具有全局图像级标签的训练数据,我们的深度弱监督学习模型联合执行监督图像级分类和用于分割的主动学习,通过oracle集成像素注释。与专注于样本选择的标准AL方法不同,我们还通过伪分割(即,在像素级别上的自学习),并在训练期间将它们与Oracle注释的样本相结合。我们报告了两个具有挑战性的基准-高分辨率医学图像(结肠癌的组织学GlaS数据)和自然图像(鸟类的CUB-200-2011)的广泛实验。我们的研究结果表明,通过简单地使用随机样本选择,所提出的方法可以显着优于国家的最先进的CAM和AL方法,具有相同的甲骨文监督预算。我们的代码是公开的。
2020-11-14 cs.CV cs.LG
Active Decision Boundary Annotation with Deep Generative Models
Aiir Innovations(Aiir创新公司);Delft University of Technology(代尔夫特理工大学)
本文是关于主动学习的,其目标是通过在训练期间与(人类)Oracle交互来减少数据注释负担。标准的主动学习方法要求oracle注释数据样本。相反,我们采取了一种完全不同的方法:我们要求对决策边界进行注释。我们使用深度生成模型来沿着1D线创建新颖的实例来实现这一目标。在决策边界上的一个点上,实例改变了类。实验中,我们在三个数据集上显示,我们的方法可以插入到其他主动学习方案中,人类预言机可以有效地注释决策边界上的点,我们的方法对注释噪声具有鲁棒性,并且决策边界注释比注释数据样本更好。
2017-08-02 cs.CV cs.LG
Deep Active Surface Models
EPFL(洛桑联邦理工学院)
活动表面模型在复杂的3D表面建模方面有着悠久的历史,但只有活动轮廓与深度网络结合使用,然后仅用于生成数据项以及控制它们的元参数图。在本文中,我们提倡更紧密的整合。我们引入了实现它们的层,这些层可以无缝集成到图卷积网络中,以可接受的计算成本执行复杂的平滑先验。我们将证明,由此产生的深度活动表面模型优于使用传统正则化损失项的等效架构,这些架构将平滑先验用于从2D图像重建3D表面和3D体积分割。
2021-06-07 cs.CV cs.GR cs.LG
Information Gain Sampling for Active Learning in Medical Image Classification
McGill University(麦吉尔大学);MILA Quebec AI Institute(魁北克人工智能研究所MILA)
由于与标记大型数据集相关的时间、成本和挑战,大型注释数据集在医学图像分析中并不广泛可用。未标记的数据集更容易获得,在许多情况下,专家可以为一小部分图像提供标记。这项工作提出了一个信息理论的主动学习框架,指导最佳选择的图像从未标记的池标记的基础上最大化的预期信息增益(EIG)的评价数据集。在两个不同的医学图像分类数据集上进行实验:多类糖尿病视网膜病变疾病量表分类和多类皮肤病变分类。结果表明,通过调整EIG来考虑类不平衡,我们提出的自适应预期信息增益(AEIG)优于几个流行的基线,包括基于多样性的CoreSet和基于不确定性的最大熵采样。具体来说,AEIG仅用19%的训练数据就实现了约95%的整体性能,而其他主动学习方法需要约25%的训练数据。我们表明,通过仔细的设计选择,我们的模型可以集成到现有的深度学习分类器中。
2022-08-01 cs.CV
Efficient Active Learning for Image Classification and Segmentation using a Sample Selection and Conditional Generative Adversarial Network
IBM Research Australia(IBM澳大利亚研究院);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院);University of Bern(伯尔尼大学)
由于覆盖不同疾病类型和严重程度的图像有限,因此训练用于医学图像分类或分割的鲁棒深度学习(DL)系统具有挑战性。我们提出了一个主动学习(AL)框架,选择最翔实的样本,并添加到训练数据。我们使用条件生成对抗网络(cGAN)通过在真实图像样本上调节其生成来生成具有不同疾病特征的逼真胸部X射线图像。使用贝叶斯神经网络识别要添加到训练集的信息样本。实验表明,我们提出的AL框架能够通过使用约35%的完整数据集来实现最先进的性能,从而比传统方法节省了大量的时间和精力。
2019-10-22 cs.CV
CLINICAL: Targeted Active Learning for Imbalanced Medical Image Classification
University of Texas at Dallas(德克萨斯大学达拉斯分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
在医学数据集上训练深度学习模型,使其在所有类别中都表现良好,这是一项具有挑战性的任务。通常情况下,由于医疗数据带来的自然类不平衡问题,在某些类上获得次优性能。解决这个问题的一种有效方法是使用有针对性的主动学习,在这种方法中,我们迭代地向属于稀有类的训练数据添加数据点。然而,现有的主动学习方法在针对医学数据集中的稀有类时是无效的。在这项工作中,我们提出了临床(有针对性的主动学习不平衡医学图像分类)的框架,使用子模块互信息功能作为采集功能,从罕见的类挖掘关键数据点。我们将我们的框架应用于各种现实世界类不平衡场景的各种医学成像数据集-即二进制不平衡和长尾不平衡。我们表明,临床优于国家的最先进的主动学习方法,通过获取一组不同的数据点,属于罕见的类。
2022-10-04 cs.CV
ActiveSSF: An Active-Learning-Guided Self-Supervised Framework for Long-Tailed Megakaryocyte Classification
School of Software Engineering, Xinjiang University(新疆大学软件工程学院);Department of Hematology, Xiangya Hospital, Central South University(中南大学湘雅医院血液科);National Clinical Research Center for Geriatric Diseases, Xiangya Hospital(中南大学湘雅医院老年病临床医学研究中心);Hunan Hematology Oncology Clinical Medical Research Center(湖南省血液病肿瘤临床医学研究中心);School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件工程学院)
针对染色切片巨核细胞分类中背景噪声、长尾分布、形态变异三大挑战,提出融合主动学习与自监督预训练的ActiveSSF框架,实现了当前最优分类性能,尤其提升了稀有亚型识别准确率,具备临床应用潜力。
2025-05-20 cs.CV
Large-Scale Visual Active Learning with Deep Probabilistic Ensembles
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
为训练深度神经网络标注正确的数据是一个重要的挑战。使用贝叶斯神经网络(BNN)的不确定性估计的主动学习可以提供一个有效的解决方案。尽管在理论上是原则性的,但BNN需要近似应用于大规模问题,其中性能和不确定性估计都是至关重要的。在本文中,我们介绍了深度概率集成(DPE),这是一种可扩展的技术,它使用正则化集成来近似深度BNN。我们进行了一系列大规模的视觉主动学习实验,以评估DPEs对CIFAR-10,CIFAR-100和ImageNet数据集的分类,以及对BDD 100 k数据集的语义分割。我们的模型需要更少的训练数据来实现有竞争力的性能,并且随着注释预算的增加,在强大的主动学习基线上稳步提高。
2019-02-21 cs.CV cs.LG stat.ML
E2EAI: End-to-End Deep Learning Framework for Active Investing
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
本文首次提出覆盖因子选择、组合、股票选择与投资组合构建全过程的端到端深度学习框架E2E,并在真实股市数据上验证了其在主动投资中的有效性。
2023-05-25 cs.CV cs.LG q-fin.PM
Ulcerative Colitis Mayo Endoscopic Scoring Classification with Active Learning and Generative Data Augmentation
Middle East Technical University(中东技术大学);Neuroscience and Neurotechnology Center of Excellence (NOROM)(神经科学与神经技术卓越中心(NOROM))
本文提出一种结合主动学习与生成式数据增强的方法,用于溃疡性结肠炎内镜图像分类,将QWK分数从68.1%提升至74.5%,并显著减少所需真实图像数量。
2023-11-10 cs.CV cs.LG eess.IV
Adversarial Active Learning for Deep Networks: a Margin Based Approach
University of Nice Cote dÁzur(尼斯蔚蓝海岸大学);I3S, UMR UNS-CNRS 7271(I3S实验室(法国国家科学研究中心联合实验室))
我们提出了一种新的为深度神经网络设计的主动学习策略。目标是最小化训练期间从Oracle查询的数据注释数量。以前可扩展的深度网络主动学习策略大多基于不确定的样本选择。在这项工作中,我们专注于躺在靠近决策边界的例子。基于主动学习的边缘理论的理论工作,我们知道,这样的例子可能有助于大大减少注释的数量。虽然测量到决策边界的确切距离是棘手的,但我们建议依赖于对抗性示例。我们不再将它们视为威胁,而是利用它们提供的关于输入空间分布的信息,以近似计算到决策边界的距离。我们根据经验证明,对抗性主动查询可以更快地收敛在MNIST、Shoe-Bag和Quick-Draw数据集上训练的CNN。
2018-02-27 cs.CV cs.LG stat.ML
Cost-Effective Active Labeling for Data-Efficient Cervical Cell Classification
School of Science(科学学院);China Pharmaceutical University(中国药科大学);College of Computer Science and Technology(计算机科学与技术学院)
本文提出一种基于分类器不确定性的主动标注方法,以较低人工成本构建代表性训练集,实现数据高效的宫颈细胞分类。
2025-08-15 cs.CV q-bio.TO
Graph-based Active Learning for Semi-supervised Classification of SAR Data
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Loyola Marymount University(洛约拉马利蒙特大学);University of Minnesota(明尼苏达大学);Harvey Mudd College(哈维穆德学院)
本文提出了一种新的基于图学习和神经网络方法相结合的主动学习框架下的合成孔径雷达(SAR)数据分类方法。机器学习中的基于图的方法是基于从数据构造的相似性图。当数据由场景组成的原始图像组成时,外部信息会使分类任务更加困难。近年来,神经网络方法已被证明是一个有前途的框架,从SAR图像中提取模式。然而,这些方法需要充足的训练数据以避免过拟合。同时,这样的训练数据通常不可用于感兴趣的应用,例如自动目标识别(ATR)和SAR数据。我们使用一个卷积神经网络变分自编码器(CNNVAE)的SAR数据嵌入到一个特征空间,然后从嵌入的数据构建一个相似性图,并应用基于图的半监督学习技术。CNNVAE特征嵌入和图构造不需要标记数据,这减少了过拟合,并在低标记率下提高了图学习的泛化性能。此外,该方法很容易将人在环中的主动学习的数据标记过程。我们提出了有希望的结果,并将其与其他标准的机器学习方法进行比较,用于ATR的移动和静止目标采集和识别(MSTAR)数据集,具有少量的标记数据。
2022-03-31 cs.AI cs.CV cs.LG
Parting with Illusions about Deep Active Learning
University of Freiburg(弗赖堡大学)
主动学习旨在通过仅有效标记信息量最大的样本来降低在大型数据集上训练机器学习模型所涉及的高标记成本。最近,深度主动学习在各种任务上取得了成功。然而,用于深度主动学习的常规评估方案低于标准。目前的方法忽略了密切相关领域中一些明显的并行工作。主动学习方法对w.r.t.训练过程中的变化,如数据增强。当与半监督学习相结合时,它们的性能有了很大的提高,但几乎没有比随机基线更好的表现。我们重新实现各种最新的主动学习方法的图像分类,并评估他们更现实的设置。我们进一步验证了我们的发现语义分割。根据我们的观察,我们现实地评估了该领域的现状,并提出了一个更合适的评估协议。
2019-12-11 cs.CV
Active Perception for Ambiguous Objects Classification
Istituto Italiano di Tecnologia(意大利理工学院);Università di Genova(热那亚大学)
最近的视觉姿态估计和跟踪解决方案在T-LESS和YCB等流行数据集上提供了显着的结果。然而,在现实世界中,我们可以找到不允许从单个视图进行精确分类和检测的模糊对象。在这项工作中,我们提出了一个框架,给定一个对象的单一视图,提供下一个视点的坐标来区分对象与类似的对象,如果有的话,并消除歧义。我们还描述了一个完整的管道,从一个真实的对象的扫描的视点选择和分类。我们验证了我们的方法与弗兰卡Panda机器人和常见的家用物体具有歧义。我们发布了源代码来重现我们的实验。
2021-08-02 cs.CV cs.RO
Classification Committee for Active Deep Object Detection
Beihang University(北京航空航天大学)
针对目标检测标注成本高的问题,提出带分类委员会的主动深度目标检测方法,通过MCDGL和FPIL损失优化样本选择,在Pascal VOC和COCO上性能超越现有主动学习SOTA方法。
2023-08-22 cs.CV
Weather and Light Level Classification for Autonomous Driving: Dataset, Baseline and Active Learning
Valeo DAR(法雷奥DAR);Valeo Vision Systems(法雷奥视觉系统)
自动驾驶正在迅速发展,Level 2功能正在成为标准功能。最突出的障碍之一是在精度严重下降的恶劣天气和低光照条件下获得稳健的视觉感知。关键是要有一个天气分类模型,以降低这些场景中的视觉感知信心。因此,我们已经建立了一个新的数据集,用于天气(雾,雨和雪)分类和光照水平(明亮,中等和低)分类。此外,我们提供街道类型(沥青,草地和鹅卵石)分类,导致9个标签。每个图像都有三个标签,分别对应天气、光照水平和街道类型。我们使用分辨率为$1024\times1084$的RCCC(红色/透明)格式的工业前置摄像头记录数据。我们收集了15 k个视频序列,并对60 k个图像进行了采样。我们实现了一个主动学习框架来减少数据集的冗余,并找到用于训练模型的最佳帧集。我们将6万张图片进一步提炼为1.1k张图片,这些图片将在隐私匿名化后公开共享。据我们所知,目前还没有针对自动驾驶的天气和光照水平分类的公共数据集。用于天气分类的基线ResNet 18网络在两个非汽车天气分类公共数据集上实现了最先进的结果,但在我们提出的数据集上的准确性明显较低,这表明它还没有饱和,需要进一步研究。
2021-11-29 cs.CV cs.RO
Improving Interpretability of Deep Active Learning for Flood Inundation Mapping Through Class Ambiguity Indices Using Multi-spectral Satellite Imagery
School of Geographical Sciences and Urban Planning, Arizona State University(亚利桑那州立大学地理科学与城市规划学院)
本研究提出可解释深度主动学习框架IDAL-FIM,利用类模糊指数解释多光谱卫星影像洪水淹没制图中的主动学习过程,并通过实验验证其与预测不确定性的显著相关性。
2024-04-29 cs.CV
Active Authentication using an Autoencoder regularized CNN-based One-Class Classifier
Johns Hopkins University(约翰斯·霍普金斯大学)
主动身份验证是指在用户与移动设备交互的整个过程中,对用户进行不显眼的监视和身份验证。一般来说,主动身份验证问题被建模为一类分类问题,由于无法获得来自冒名顶替者用户的数据。通常,注册用户被认为是目标类(真正的),未经授权的用户被认为是未知类(冒名顶替者)。我们提出了一种基于卷积神经网络(CNN)的方法,用于一类分类,其中零中心高斯噪声和自动编码器分别用于模拟伪负类和正则化网络以学习一类数据的有意义的特征表示。使用交叉熵和重建误差损失的组合来训练整个网络。所提出的方法的一个关键特征是,任何预先训练的CNN都可以用作一类分类的基础网络。该框架的有效性证明了使用三个基于人脸的主动认证数据集,它表明,该方法实现了优越的性能相比,传统的一类分类方法。源代码可在github.com/otkupjnoz/oc-acnn上获得。
2019-03-04 cs.CV