Active Testing for Face Detection and Localization
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提供了一种新的搜索技术,它使用一个分层模型和一个互信息增益启发式有效地修剪搜索空间时,在图像中的面部定位。我们显示指数增益计算传统的滑动窗口方法,同时保持类似的性能水平。
2010-03-27 cs.CV
Active Terahertz Imaging Dataset for Concealed Object Detection
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
太赫兹成像中隐藏目标检测是公共安全和反恐的迫切需要。在本文中,我们提供了一个公共数据集,用于评估多个目标检测算法在主动太赫兹成像分辨率5毫米5毫米。据我们所知,这是第一个公共太赫兹成像数据集准备评估目标检测算法。由于其较差的成像质量,该数据集上的目标检测比那些标准公共目标检测数据集上的目标检测困难得多。针对目标检测中存在的样本不平衡和训练样本困难的问题,本文在该数据集上对四种常用的检测器:YOLOv 3、YOLOv 4、FRCN-OHEM和RetinaNet进行了评估。实验结果表明,RetinaNet实现了最高的mAP。此外,我们证明了隐藏在人体不同部位的物体会影响检测精度。该数据集可在https://github.com/LingLIx/THz_Dataset上获得。
2021-05-08 cs.CV
An Adaptive Supervision Framework for Active Learning in Object Detection
Indian Institute of Technology(印度理工学院);The University of Tokyo(东京大学)
计算机视觉中的主动学习方法通常涉及查询数据的强标签。然而,以前的工作已经表明,弱监督可以有效地训练视觉任务的模型,同时大大降低注释成本。利用这些知识,我们提出了一个自适应的监督框架,主动学习,并证明其有效性的任务上的目标检测。我们不是直接查询限界框注释(强标签)来获取最具信息量的样本,而是首先查询弱标签并优化模型。使用切换条件,可以增加所需的监督级别。我们的框架几乎不需要对模型架构进行更改。我们广泛的实验表明,所提出的框架可以用来训练良好的泛化模型,具有更少的注释成本比最先进的主动学习方法的目标检测。
2019-10-15 cs.CV
STONE: A Submodular Optimization Framework for Active 3D Object Detection
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对3D目标检测点云标注成本高的问题,提出基于子模优化的主动检测框架STONE,解决数据不平衡与分布覆盖难题,实现高效且SOTA的性能。
2024-11-01 cs.CV
Learning Spatial-Temporal Graphs for Active Speaker Detection
Intel Labs(英特尔研究院);University of Glasgow(格拉斯哥大学);UC Riverside(加州大学河滨分校)
我们通过一个名为SPELL的新框架来解决主动说话人检测问题,该框架学习远程多模态图来编码音频和视觉数据之间的模态间关系。我们将主动说话人检测作为一个节点分类任务,它知道长期的依赖关系。我们首先从视频构建一个图,每个节点对应一个人。表示相同身份的节点在定义的时间窗口内共享它们之间的边。同一视频帧内的节点也被连接以编码人与人之间的交互。通过对Ava-ActiveSpeaker数据集的广泛实验,我们证明,学习基于图的表示由于其明确的空间和时间结构,可以显着提高整体性能。SPELL的性能优于几个相关的基线,并与最先进的模型相媲美,同时需要一个数量级的计算成本更低。
2021-12-03 cs.CV
Active learning with version spaces for object detection
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校);Amazon Core Machine Learning(亚马逊核心机器学习)
给定一幅图像,我们想学习检测属于特定对象类别的对象。常见的目标检测方法训练在大型注释数据集上进行,这些数据集根据包含感兴趣对象的边界框进行注释。以前的工作目标检测模型的问题作为一个结构化的回归问题,排名正确的边界框比背景的。在本文中,我们开发的算法,积极从人类注释者获得注释的一小部分图像,而不是所有的图像,从而减少注释的努力。为此目标,我们做出以下贡献:1.我们开发了一个基于版本空间的主动学习方法,解决了目标检测作为一个结构化的预测问题,在弱监督设置2。我们还提出了两个变种的保证金抽样策略3。我们对标准目标检测基准测试的结果进行了分析,结果表明,仅用20%的数据,我们就可以获得超过95%的全面监督定位精度。我们的方法优于随机抽样和经典的基于不确定性的主动学习算法,如熵
2016-11-29 cs.CV
Detection of Active Emergency Vehicles using Per-Frame CNNs and Output Smoothing
Aurora Innovation, Inc.(奥罗拉创新公司)
虽然推断共同的行动者状态(例如位置或速度)是自动驾驶车辆(SDV)上感知系统的一项重要且经过充分探索的任务,但它可能并不总是向SDV提供足够的信息。在主动应急车辆(EV)的情况下尤其如此,其中还需要捕获基于光的信号以提供完整的上下文。我们考虑这个问题,并提出了一个顺序的方法来检测活跃的电动汽车,使用现成的CNN模型在帧级和下游平滑,占闪烁的EV灯的时间方面。我们还通过数据增强和使用额外的硬样本进行训练来探索模型改进。
2022-12-28 cs.CV
MAAS: Multi-modal Assignation for Active Speaker Detection
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Adobe Research(奥多比研究院)
主动说话人检测需要多模态线索的可靠集成。虽然单个模态可以近似解决方案,但准确的预测只能通过明确融合音频和视觉特征并对其时间进程进行建模来实现。尽管其固有的多模态性质,目前的方法仍然专注于建模和融合的短期视听功能的个人发言者,往往在帧级。在本文中,我们提出了一种新的主动说话人检测方法,直接解决了多模态的问题,并提供了一个简单的策略,独立的视觉功能,从潜在的扬声器在场景中被分配到一个先前检测到的语音事件。我们的实验表明,一个小的图数据结构建立从一个单一的帧,允许近似的瞬时视听分配问题。此外,该初始图的时间扩展在AVA-ActiveSpeaker数据集上实现了新的最新技术水平,mAP为88.8%。
2021-10-05 cs.CV
Active-SAOOD: Active Sparsely Annotated Oriented Object Detection in Remote Sensing Images
Key Laboratory of Multimedia Trusted Perception(多媒体可信感知关键实验室);Efficient Computing, Ministry of Education of China, Xiamen University, 361005, P.R. China(高效计算,中国教育部,厦门大学,361005,中华人民共和国)
本文提出Active-SAOOD方法,通过结合方向、分类和定位不确定性,主动选择最有价值的稀疏样本,提升远程感知中稀疏标注定向物体检测的性能与稳定性。
2026-05-11 cs.CV
RONELD: Robust Neural Network Output Enhancement for Active Lane Detection
Georgia Institute of Technology(佐治亚理工学院);Aviation A.I. Lab Pte. Ltd.(航空人工智能实验室私人有限公司)
准确的车道检测对于自动驾驶车辆的导航至关重要,尤其是划分车辆当前行驶的单一道路空间的主动车道。最新的最先进车道检测算法利用卷积神经网络(CNN)在TuSimple和CULANE等流行基准上训练深度学习模型。虽然这些模型中的每一个都在从相同数据集获得的训练和测试输入上工作得特别好,但是在不同环境的不可见数据集上性能显著下降。在本文中,我们提出了一种实时鲁棒的神经网络输出增强主动车道检测(RONELD)方法,用于从深度学习概率图输出中识别、跟踪和优化主动车道。我们首先从概率图输出中自适应地提取车道点,然后检测弯曲和直线车道,然后在直线车道上使用加权最小二乘线性回归来修复由于真实图像中的边缘图碎片而导致的破损车道边缘。最后,我们假设真正的主动车道通过跟踪前帧。实验结果表明,在交叉数据集验证测试中使用RONELD的准确性提高了两倍。
2020-11-03 cs.CV
Deep Active Learning in Remote Sensing for data efficient Change Detection
EcoVision Lab - Photogrammetry and Remote Sensing, ETH Zürich(苏黎世联邦理工学院生态视觉实验室 - 摄影测量与遥感)
我们在深度神经网络模型的背景下研究主动学习,用于变化检测和地图更新。主动学习是许多遥感任务的自然选择,包括检测局部地表变化:一方面变化是罕见的,另一方面它们的外观是多样的和分散的,使得很难提前收集有代表性的训练集。在主动学习设置中,从训练样本的最小集合开始,并且逐步选择由用户注释并添加到训练集合的信息样本。因此,一个主动学习系统的核心组成部分是一个机制,以估计模型的不确定性,然后使用挑选不确定的,信息的样本。我们研究了不同的机制来捕获和量化这种不确定性,当使用深度网络时,基于显式或隐式模型集合的方差或熵。我们表明,主动学习成功地发现了高信息量的样本,并自动平衡了训练分布,并达到了与使用大型预注释训练集进行监督的模型相同的性能,其中注释样本减少了$\approx$ 99%。
2020-08-25 cs.CV
Frontier Detection and Reachability Analysis for Efficient 2D Graph-SLAM Based Active Exploration
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);Department of Computer Science, University of Macau(澳门大学计算机科学系);Department of Mechanical Engineering, MIT(麻省理工学院机械工程系)
我们提出了一种集成的方法,积极探索利用制图方法作为基础SLAM模块的子地图创建和执行有效的边界检测的几何共同对齐的子地图引起的图形优化。我们还进行了边界及其集群的可达性分析,以确保检测到的边界可以通过机器人到达。我们的方法进行了测试,在真实的室内场景中的移动机器人,以证明我们的方法的有效性和效率。
2020-09-07 cs.CV
Active learning for interactive satellite image change detection
Sorbonne University(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机科学实验室);Theresis Thales(泰雷兹Theresis公司)
本文提出了一种新的主动学习算法用于卫星图像变化检测。所提出的解决方案是交互式的,并基于问答模型,该模型向Oracle(注释者)询问关于采样卫星图像对的相关性的最具信息性的问题,并根据Oracle的响应,迭代地更新决策函数。我们研究了一种新的框架,该框架模型的样本是相关的概率,这种概率是通过最小化捕获的代表性,多样性和模糊性的目标函数。只有根据这些标准具有高概率的数据才被选择并显示给oracle以供进一步注释。在自然灾害(即龙卷风)后的卫星图像变化检测任务上的大量实验表明,所提出的方法对相关工作的相关性。
2021-10-08 cs.CV
Active Learning for Deep Object Detection via Probabilistic Modeling
Seoul National University(首尔大学);Technical University of Munich(慕尼黑工业大学);NVIDIA(英伟达)
主动学习旨在通过只选择数据集中信息量最大的样本来降低标记成本。很少有现有的工作已经解决了主动学习的目标检测。这些方法大多是基于多个模型或分类方法的直接扩展,因此仅使用分类头来估计图像的信息量。在本文中,我们提出了一种新的深度主动学习方法用于目标检测。我们的方法依赖于混合密度网络,该网络估计每个定位和分类头输出的概率分布。我们明确估计的任意性和认知的不确定性,在一个单一的前向通过一个单一的模型。我们的方法使用一个评分函数,聚合这两种类型的不确定性,以获得每个图像的信息量得分。我们证明了我们的方法在PASCAL VOC和MS-COCO数据集的有效性。我们的方法优于基于单模型的方法,并执行与基于多模型的方法在一小部分的计算成本。
2021-08-20 cs.CV
Active Teacher for Semi-Supervised Object Detection
Xiamen University(厦门大学);Huawei Technologies(华为技术有限公司)
在本文中,我们研究师生学习的角度来看,数据初始化,并提出了一种新的算法称为主动教师(源代码可在:\url{https://github.com/HunterJ-Lin/ActiveTeacher})的半监督目标检测(SSOD)。Active Teacher将教师-学生框架扩展为迭代版本,其中标签集部分初始化,并通过评估未标记示例的三个关键因素(包括难度,信息和多样性)来逐步扩展。通过这种设计,主动教师可以最大限度地利用有限的标签信息,同时提高伪标签的质量。为了验证我们的方法,我们进行了广泛的实验,MS-COCO基准和比较活跃的教师与一组最近提出的SSOD方法。实验结果不仅验证了Active Teacher优于比较方法的性能增益,而且还表明它使基线网络Faster-RCNN能够以更少的标签支出(即MS-COCO上40%的标记示例)实现100%的监督性能。更重要的是,我们相信本文的实验分析可以为实际应用中的数据标注提供有用的经验知识。
2023-03-15 cs.CV
HeAL3D: Heuristical-enhanced Active Learning for 3D Object Detection
Technical University of Munich(慕尼黑技术大学);Munich Institute of Robotics and Machine Intelligence(慕尼黑机器人与机器智能研究所)
本文提出 HeAL3D 主动学习方法,通过融合目标距离和点数量等启发式特征与定位分类信息来估计不确定性,在 KITTI 上仅用 24% 样本即达到全监督基线的 mAP。
2025-05-05 cs.CV
Localization-Aware Active Learning for Object Detection
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
主动学习--一类迭代搜索信息量最大的样本以包含在训练数据集中的算法--已被证明在为图像分类注释数据方面是有效的。然而,主动学习用于目标检测的使用仍然在很大程度上未被探索,因为确定目标位置假设的信息性更加困难。在本文中,我们解决了这个问题,并提出了两个指标来衡量的信息量的对象的假设,这使我们能够利用主动学习,以减少所需的注释数据量,以实现目标目标检测性能。我们的第一个指标衡量对象假设的“本地化紧密性”,这是基于区域建议和最终预测之间的重叠率。我们的第二个度量标准测量对象假设的“定位稳定性”,该假设基于输入图像被噪声破坏时预测对象位置的变化。我们的实验结果表明,通过增强传统的主动学习算法设计的分类与建议的指标,标记的训练数据所需的量可以减少到25%。此外,在PASCAL 2007和2012数据集上,我们的定位稳定性方法比仅使用分类的基线方法平均相对提高了96.5%和81.9%。
2018-01-16 cs.CV
Vehicle Detection of Multi-source Remote Sensing Data Using Active Fine-tuning Network
Beijing Institute of Technology(北京理工大学);German Aerospace Center (DLR)(德国航空航天中心(DLR));Mississippi State University(密西西比州立大学)
遥感图像中的车辆检测是近年来研究的热点。然而,它的检测能力是有限的,由于缺乏良好的注释样本,特别是在密集拥挤的场景。此外,由于遥感数据源的列表是可用的,有效地利用多源数据中的有用信息以更好地检测车辆是具有挑战性的。为了解决上述问题,提出了一种多源主动微调车辆检测(Ms-AFt)框架,该框架将迁移学习、分割和主动分类集成到一个统一的框架中,用于自动标记和检测。建议Ms-AFt采用微调网络,首先从未标记的数据集生成车辆训练集。为了应对车辆类别的多样性,基于多源的分割分支,然后设计来构建额外的候选对象集。高质量车辆的分离是通过设计的注意分类网络来实现的。最后,将三个分支结合起来实现车辆检测。在两个开放的ISPRS基准数据集,即Vaihingen村和波茨坦市数据集上进行了大量的实验结果,证明了所提出的Ms-AFt车辆检测的优越性和有效性。最后,在一个大型露营地的立体航空影像上,进一步验证了Ms-AFt在密集遥感场景下的泛化能力。
2020-07-16 cs.CV
A model-agnostic active learning approach for animal detection from camera traps
Machine Intelligence Lab, School of Information Technology, Deakin University(机器智能实验室,信息科技学院,德堪大学)
针对相机陷阱数据标注成本高的问题,提出一种模型无关的主动学习方法,融合目标级和图像级的不确定性与多样性进行样本选择,仅用30%训练数据即可达到与全量数据相当或更优的动物检测性能。
2025-07-09 cs.CV
Deep Active Perception for Object Detection using Navigation Proposals
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
针对现有深度学习目标检测依赖静态推理范式、主动感知改动训练流程的问题,提出可结合现成检测器与仿真环境的通用有监督主动感知流水线,通过额外网络估算低置信度下的更优视角,在合成数据集上验证了两类场景的有效性。
2023-12-15 cs.CV
Learning Long-Term Spatial-Temporal Graphs for Active Speaker Detection
Intel Labs(英特尔实验室);UC Riverside(加州大学河滨分校);University of Glasgow(格拉斯哥大学)
多说话人视频中的主动说话人检测是一项具有挑战性的任务,因为它需要在长时间窗口上学习有效的视听特征和时空相关性。在本文中,我们提出了SPELL,一种新的时空图学习框架,可以解决复杂的任务,如ASD。为此,视频帧中的每个人首先被编码在该帧的唯一节点中。跨帧的与单个人对应的节点被连接以编码它们的时间动态。帧内的节点也被连接以编码人际关系。因此,SPELL将ASD简化为节点分类任务。重要的是,SPELL能够对所有节点的长时间上下文进行推理,而无需依赖计算昂贵的完全连接的图神经网络。通过对AVA-ActiveSpeaker数据集的大量实验,我们证明了基于图的表示学习可以显着提高主动说话人检测性能,因为它具有显式的空间和时间结构。SPELL优于所有以前的国家的最先进的方法,同时需要显着降低内存和计算资源。我们的代码可在https://github.com/SRA2/SPELL上公开获取
2022-10-12 cs.CV
Inconsistency-based Active Learning for LiDAR Object Detection
Technical University of Munich(慕尼黑技术大学)
本文将主动学习扩展至LiDAR领域,提出基于不一致性的样本选择策略,通过检测框数量等指标优化数据标注,在仅用50%标注数据时达到与随机采样相同的mAP。
2025-05-01 cs.CV
OmViD: Omni-supervised active learning for video action detection
Microsoft(微软)
针对视频动作检测时空标注成本高的问题,本文提出OmViD全监督主动学习方法,通过主动策略确定样本所需标注类型,结合3D超像素生成伪标签,在降低标注成本的同时保证检测性能。
2025-08-19 cs.CV
DeLR: Active Learning for Detection with Decoupled Localization and Recognition Query
Huawei Inc.(华为公司);SJTU(上海交通大学);HUST(华中科技大学)
本文提出DeLR,一种解耦定位与识别的区域级主动查询策略,利用模型伪标注减少类别标注成本,在多个基准上验证了有效性。
2023-12-28 cs.CV
IDEAL-M3D: Instance Diversity-Enriched Active Learning for Monocular 3D Detection
IDEAL-M3D通过实例级多样性增强主动学习,提升单目3D检测性能并减少标注资源消耗。
2025-11-24 cs.CV
Semi-supervised Active Learning for Video Action Detection
IIT (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);University of Central Florida(中佛罗里达大学)
提出结合 NoiseAug 与 fft-attention 的半监督主动学习框架,提升视频动作检测的信息性样本选择与伪标签利用,并在多个基准上验证性能及泛化能力。
2024-04-03 cs.CV
MuRAL: Multi-Scale Region-based Active Learning for Object Detection
National Taiwan University(国立台湾大学);Mobile Drive Technology(移动驱动科技公司)
获得大规模标记的目标检测数据集可能是昂贵和耗时的,因为它涉及到用边界框和类别标签注释图像。因此,已经提出了一些专门的主动学习方法,通过从未标记的数据中选择粗粒度的样本或细粒度的实例进行标记来降低成本。然而,前一种方法遭受冗余标记,而后一种方法通常会导致训练不稳定和采样偏差。为了解决这些挑战,我们提出了一种新的方法称为多尺度区域为基础的主动学习(MuRAL)的目标检测。MuRAL识别各种尺度的信息区域,以降低学习对象的注释成本并提高训练性能。信息区域分数的设计考虑了实例的预测置信度和每个对象类别的分布,使我们的方法能够更多地关注难以检测的类别。此外,MuRAL采用了一种尺度感知的选择策略,确保从不同尺度中选择不同的区域进行标记和下游微调,从而提高了训练的稳定性。我们提出的方法超越了Cityscapes和MS COCO数据集上所有现有的粗粒度和细粒度基线,并在困难类别性能方面表现出显着改善。
2023-03-29 cs.CV
Scalable Active Learning for Object Detection
NVIDIA(英伟达);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
以完全监督的方式训练的深度神经网络是基于感知的自动驾驶系统中的主导技术。虽然收集大量未标记的数据已经是一项重大任务,但由于高质量注释所需的工作,只有其中的一部分可以由人类标记。因此,找到正确的数据进行标记已成为一个关键挑战。主动学习是提高监督学习方法的数据效率的强大技术,因为它旨在选择尽可能小的训练集以达到所需的性能。我们为自动驾驶领域的主动学习建立了一个可扩展的生产系统。在本文中,我们描述了由此产生的高层次设计,勾勒出一些挑战和他们的解决方案,目前我们的结果规模,并简要描述了开放的问题和未来的发展方向。
2020-04-09 cs.CV
Active Object Detection with Knowledge Aggregation and Distillation from Large Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
针对主动目标检测中视觉变化细微、易受干扰的问题,提出结合大模型交互先验的知识聚合与蒸馏框架,在四个数据集上实现最优性能。
2024-05-21 cs.CV
MUS-CDB: Mixed Uncertainty Sampling with Class Distribution Balancing for Active Annotation in Aerial Object Detection
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文提出MUS-CDB主动学习方法,结合目标级与图像级不确定性采样和类别分布平衡准则,在航空目标检测中节省近75%标注成本的同时保持与现有方法相当的mAP性能。
2023-09-19 cs.CV
FuDU: A Fuzzy Dual-dimensional Uncertainty Framework for Streaming Active Learning in Industrial Defect Detection
School of Artificial Intelligence, Hebei University of Technology(河北工业大学人工智能学院)
针对工业缺陷检测中深度学习模型实时可靠性问题,提出FuDU框架的流式主动学习方法,融合双维度不确定性实现自适应采样,适配核燃料棒缺陷检测等任务。
2026-09-03 cs.CV
Entropy-based Active Learning for Object Detection with Progressive Diversity Constraint
Beihang University(北京航空航天大学)
主动学习通过有意识地选择信息量更大的样本进行标注,是一种很有前途的替代方法,可以缓解计算机视觉任务中的高标注成本问题。用于目标检测的主动学习更具挑战性,并且现有的努力相对较少。在本文中,我们提出了一种新的混合方法来解决这个问题,其中的实例级的不确定性和多样性共同考虑在一个自底向上的方式。为了平衡计算复杂性,所提出的方法被设计为一个两阶段的过程。在第一阶段,提出了一种基于熵的非最大值抑制(ENMS)来估计每幅图像的不确定性,该方法根据特征空间中的熵来执行NMS,以去除具有冗余信息增益的预测。在第二阶段,多样的原型(DivProto)的策略进行了探索,以确保跨图像的多样性,逐步将其转换为类内和类间的基于熵的类特定的原型的差异。在MS COCO和Pascal VOC上进行了大量的实验,所提出的方法取得了最先进的结果,并显着优于其他同行,突出了其优越性。
2022-04-17 cs.CV
Uncertainty Meets Diversity: A Comprehensive Active Learning Framework for Indoor 3D Object Detection
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学)
针对室内3D目标检测标注负担重、现有主动学习未覆盖室内场景的问题,提出结合不确定性与多样性准则、含CAP库的主动学习框架,仅用10%标注预算达全监督性能85%以上。
2025-03-20 cs.CV
Evaluating Zero-cost Active Learning for Object Detection
University of Applied Sciences(应用科学大学);Hasty GmbH(Hasty有限责任公司)
目标检测需要大量的标记工作来学习鲁棒模型。主动学习可以通过智能地选择要注释的相关示例来减少这种努力。然而,正确地选择这些示例而不引入对泛化性能产生负面影响的采样偏差并不简单,并且大多数主动学习技术不能在真实世界的基准上保持其承诺。在我们的评估论文中,我们关注的是除了推理之外没有计算开销的主动学习技术,我们称之为零成本主动学习。特别是,我们表明,一个关键的成分不仅是分数的限界框水平,但也用于聚合的排名图像的分数的技术。我们概述了我们的实验设置,并讨论了使用主动学习进行目标检测时的实际考虑因素。
2022-12-08 cs.CV cs.LG
Active Canny: Edge Detection and Recovery with Open Active Contour Models
Technical University of Kaiserslautern(凯泽斯劳滕工业大学)
我们介绍了一个边缘检测和恢复框架的基础上开放的活动轮廓模型(snakelets)。这是由标准边缘检测算法(如Canny)输出的噪声或破碎边缘引起的。其思想是利用强边缘提供的局部连续性和平滑性线索,并使它们生长以恢复丢失的边缘。通过这种方式,强边缘被用于通过考虑局部边缘结构来恢复弱边缘或丢失边缘,而不是在梯度幅度高于某个阈值时盲目地将它们链接。我们初始化短snakelet的梯度幅度或二进制边缘自动,然后变形和梯度矢量流的影响下增长。输出snakelet能够恢复大部分的断裂或弱边缘,并且它们提供图像的平滑边缘表示;它们也可以用于更高级别的分析,如轮廓分割。
2016-09-12 cs.CV cs.MM
Improved Active Fire Detection using Operational U-Nets
Tampere University(坦佩雷大学);Izmir University of Economics(伊兹密尔经济大学)
本文提出Operational U-Nets,通过在紧凑U-Net中引入Self-ONN层改进活跃火灾早期检测,实验表明其检测性能更优且计算复杂度显著降低。
2023-04-19 cs.CV eess.IV
Towards Rapid Prototyping and Comparability in Active Learning for Deep Object Detection
University of Wuppertal(伍珀塔尔大学);EPFL(洛桑联邦理工学院)
主动学习作为深度学习的一种范式,在涉及复杂感知任务的应用中尤其重要,例如目标检测,其中标签难以获得且价格昂贵。主动学习方法在这些领域的发展是非常昂贵的计算和耗时的,这阻碍了研究的进展,并导致方法之间缺乏可比性。在这项工作中,我们提出并研究了一个沙箱设置,用于深度目标检测中主动学习的快速开发和透明评估。我们的实验与常用的配置的数据集和检测架构中发现的文献表明,在我们的沙箱环境中获得的结果是标准配置的结果的代表。因此,与Pascal VOC相比,获得结果和评估学习行为的总计算时间可以减少多达14倍,与BDD 100k相比,减少多达32倍。这允许在半天内测试和评估数据采集和标记策略,并有助于目标检测主动学习领域的透明度和开发速度。
2022-12-21 cs.CV cs.LG
Audio-Visual Activity Guided Cross-Modal Identity Association for Active Speaker Detection
University of Southern California(南加州大学)
视频中的主动说话人检测解决了将视频帧中可见的源面部与音频模态中的底层语音相关联的问题。导出这样的语音-面部关系的两个主要信息源是i)视觉活动及其与语音信号的交互,以及ii)说话者的身份以面部和语音的形式跨模态的共同出现。这两种方法都有其局限性:视听活动模型与其他频繁发生的声音活动(如大笑和咀嚼)混淆,而说话人的基于身份的方法仅限于具有足够消歧信息的视频,以建立语音-面部关联。由于这两种方法是独立的,我们在这项工作中研究它们的互补性。我们提出了一种新的无监督框架,以指导说话人的跨模态身份与视听活动的主动说话人检测。通过对来自两个基准数据集的娱乐媒体视频的实验,AVA主动说话人(电影)和视觉人物聚类数据集(电视节目),我们表明,这两种方法的简单后期融合提高了主动说话人检测性能。
2022-12-01 cs.CV cs.MM
Naver at ActivityNet Challenge 2019 -- Task B Active Speaker Detection (AVA)
Naver Corporation(NAVER 公司)
本报告描述了我们在CVPR 2019上提交的ActivityNet挑战。我们使用基于3D卷积神经网络(CNN)的前端和时间卷积和LSTM分类器的集成来预测可见的人是否在说话。我们的研究结果显示,在AVA-ActiveSpeaker数据集上的基线上有显着改进。
2019-06-25 cs.CV cs.SD eess.AS
AVA-ActiveSpeaker: An Audio-Visual Dataset for Active Speaker Detection
Google AI Perception(谷歌AI感知部门)
主动说话者检测是视频分析算法的重要组成部分,适用于说话者日记化、会议视频重定位、语音增强和人机交互等应用。缺乏一个大的,仔细标记的视听数据集,这项任务的约束算法评估方面的数据多样性,环境和准确性。这使得比较和改进变得困难。在本文中,我们提出了AVA主动扬声器检测数据集(AVA-ActiveSpeaker),该数据集将公开发布,以促进算法开发并进行比较。该数据集包含视频中的时间标记的面部轨迹,其中每个面部实例被标记为说话或不说话,以及语音是否可听见。该数据集包含约365万个人类标记帧或约38.5小时的面部轨迹以及相应的音频。我们还提出了一种新的视听主动说话人检测方法,并分析了其性能,展示了其实力和数据集的贡献。
2019-05-25 cs.CV cs.MM cs.SD
Active Learning for Deep Object Detection
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学);Michael Stifel Center Jena(耶拿迈克尔·施蒂费尔中心)
深度模型在过去取得的巨大成功主要归功于大量的标记训练数据。然而,除了现有的基准之外,为新任务获取标记数据既具有挑战性又成本高昂。主动学习可以通过选择未标记的样本来使标记新数据的过程更有效,这些样本在标记时有望最大程度地改善模型。在本文中,我们结合了一种新的主动学习方法的目标检测与增量学习计划,使新的未标记的数据集的不断探索。我们提出了一套基于不确定性的主动学习度量适合大多数对象检测器。此外,我们提出了一种方法来利用样本选择过程中的类不平衡。所有方法都在PASCAL VOC 2012数据集的连续探索背景下进行了系统评估。
2018-09-26 cs.CV cs.LG
Consistency-based Active Learning for Object Detection
Nanyang Technological University(南洋理工大学);University of Central Florida(中佛罗里达大学)
主动学习的目的是通过在有限的预算下选择信息量最大的样本来提高任务模型的性能。与大多数专注于将主动学习应用于图像分类的最近的作品不同,我们提出了一种有效的基于一致性的主动学习方法用于目标检测(CALD),该方法充分探索了原始数据和增强数据之间的一致性。CALD有三个吸引人的好处。(i)CALD是通过研究现有主动学习方法的弱点而系统设计的,这些方法没有考虑到目标检测的独特挑战。(ii)CALD将盒回归和分类统一在一个单一的度量标准上,这与用于分类的主动学习方法无关。CALD还关注信息量最大的局部区域而不是整个图像,这有利于目标检测。(iii)CALD不仅测量样本选择的个体信息,而且还利用互信息来促进平衡的数据分布。大量的实验表明,CALD显着优于现有的最先进的任务不可知和检测特定的主动学习方法对一般的目标检测数据集。基于Faster R-CNN检测器,CALD在PASCAL VOC 2007、PASCAL VOC 2012和MS COCO上平均超过基线方法(随机选择)2.9/2.8/0.8 mAP。代码可在\url{https://github.com/we1pingyu/CALD}上获得
2022-04-11 cs.AI cs.CV cs.LG
Active Fire Detection in Landsat-8 Imagery: a Large-Scale Dataset and a Deep-Learning Study
Federal University of Technology - Paraná(巴拉那联邦理工大学)
卫星图像中的主动火灾探测对于管理环境保护政策、支持决策和执法至关重要。这是一个成熟的领域,多年来提出了许多技术,通常基于涉及传感器特定阈值和邻域统计的像素或区域级比较。在本文中,我们使用深度学习技术解决主动火灾检测问题。近年来,深度学习技术在许多领域都取得了巨大的成功,但它们用于主动火灾探测相对较新,存在开放性问题,需要对数据集和架构进行评估。本文通过引入一个新的用于主动火灾检测的大规模数据集来解决这些问题,该数据集包含从2020年8月和9月在世界各地拍摄的Landsat-8图像中提取的超过150,000个图像块(超过200 GB的数据),其中包含多个地点的野火。数据集分为两部分,包含10波段光谱图像和相关输出,第一部分由三个众所周知的手工算法产生,用于主动火灾检测,第二部分手动注释掩模。我们还研究了如何使用不同的卷积神经网络架构来近似这些手工算法,以及如何组合在自动分割的补丁上训练的模型以实现比原始算法更好的性能-最佳组合在我们手动注释的数据集上具有87.2%的准确率和92.4%的召回率。建议的数据集,源代码和训练模型可在Github上获得(https://github.com/pereira-gha/activefire),为该领域的进一步发展创造了机会
2021-07-02 cs.CV cs.LG
Performance-guided Reinforced Active Learning for Object Detection
The University of Hong Kong(香港大学);SenseTime Research(商汤科技研究院)
MGRAL通过强化学习优化样本选择,以提升目标检测的mAP性能,实现高效主动学习。
2026-01-22 cs.CV cs.LG
Uncertainty Aware Active Learning for Reconfiguration of Pre-trained Deep Object-Detection Networks for New Target Domains
Loughborough University London(伦敦拉夫堡大学)
目标检测是计算机视觉中最重要和最基本的任务之一,在姿态估计、目标跟踪和实例分割模型中有着广泛的应用。为了有效地获得目标检测模型的训练数据,许多数据集选择以视频格式获得其未注释的数据,注释器需要在图像中的每个对象周围绘制限界框。注释视频中的每一帧是昂贵且低效的,因为许多帧包含非常相似的信息供模型学习。如何从视频中选择信息量最大的帧进行标注已经成为一个非常实用的问题,但在研究中却很少受到关注。针对这一问题,提出了一种新的目标检测模型的主动学习算法。在所提出的主动学习算法中,未标记数据的分类和定位信息量被测量和聚合。利用视频帧的时间信息,提出了两种新的定位信息性度量。此外,提出了一种权重曲线,以避免查询相邻帧。在MuPoTS数据集和FootballPD数据集上评估了具有多种配置的拟议主动学习算法。
2023-03-22 cs.CV cs.HC
Active Learning for Deep Detection Neural Networks
Computer Vision Center (CVC)(计算机视觉中心(CVC));Univ. Autònoma de Barcelona (UAB)(巴塞罗那自治大学(UAB))
为数百万张图像绘制对象边界框(即标记)的成本非常高。例如,在普通城市图像中标记行人平均需要35秒。主动学习旨在通过仅选择那些信息丰富的图像来降低标记成本,以提高检测网络的准确性。提出了一种基于卷积神经网络的目标检测器主动学习方法。我们提出了一个新的图像级评分过程来排名未标记的图像自动选择,这显然优于经典的分数。所提出的方法可以应用于视频和静止图像集。在前一种情况下,时间选择规则可以补充我们的评分过程。作为一个相关的用例,我们广泛研究了我们的方法在行人检测任务上的性能。实验结果表明,该方法的性能优于随机选择。我们的代码可在www.gitlab.com/haghdam/deep_active_learning上公开获取。
2019-11-20 cs.CV cs.LG
Aligning Data Selection with Performance: Performance-driven Reinforcement Learning for Active Learning in Object Detection
The University of Hong Kong(香港大学);SenseTime(秒速)
本文提出MGRAL方法,通过基于LSTM的强化学习智能体以mAP提升为奖励直接优化目标检测中的批量样本选择,并在PASCAL VOC和MS COCO上验证其有效性。
2025-05-06 cs.CV cs.LG
ActiveAnno3D -- An Active Learning Framework for Multi-Modal 3D Object Detection
University of California San Diego(加利福尼亚大学圣迭戈分校);Aalborg Universitet(奥尔堡大学);Technical University of Munich(慕尼黑工业大学)
本研究提出面向多模态3D目标检测的主动学习框架ActiveAnno3D,通过筛选高信息量样本标注,在仅用半量训练数据时仍接近全量性能,还集成至标注工具降低标注成本。
2024-12-08 cs.CV cs.LG
Unsupervised active speaker detection in media content using cross-modal information
University of Southern California(南加州大学)
我们提出了一个跨模态的无监督框架,主动说话人检测的媒体内容,如电视节目和电影。机器学习的进步使得从语音和面部图像中识别个人的性能令人印象深刻。我们利用说话人身份信息的语音和面孔,并制定积极的说话人检测作为一个语音人脸分配任务,使积极的说话人的脸和基本的语音识别相同的人(字符)。我们表示的语音段在其相关的扬声器的身份距离,从所有其他语音段,捕捉一个相对的身份结构的视频。然后,我们分配一个积极的发言人的脸,每个语音段从同时出现的脸,使所获得的一组积极的发言人的脸显示一个类似的相对身份结构。此外,我们提出了一个简单而有效的方法来解决语音段扬声器存在屏幕外。我们在三个基准数据集上评估了所提出的系统- Visual Person Clustering数据集,AVA活跃扬声器数据集和Columbia数据集-由来自娱乐和广播媒体的视频组成,并显示出与最先进的完全监督方法相比具有竞争力的性能。
2022-09-24 cs.CV eess.AS eess.IV
Active Speaker Detection as a Multi-Objective Optimization with Uncertainty-based Multimodal Fusion
NXP Semiconductors(恩智浦半导体);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
现在从各种研究中已经很好地建立了,在检测活动说话者时,结合视频和音频数据有显著的好处。然而,任何一种形式都可能通过诱导不可靠或欺骗性的信息来误导视听融合。本文概述了主动说话人检测作为一个多目标的学习问题,利用最好的每一个模态使用一种新的自注意,基于不确定性的多模态融合计划。结果表明,所提出的多目标学习架构在提高mAP和AUC分数方面优于传统方法。我们进一步证明,我们的融合策略超越,在主动说话人检测,其他模态融合方法在各个学科的报告。我们最后表明,该方法显着提高了AVA-ActiveSpeaker数据集的最新技术水平。
2021-09-15 cs.CL cs.CV cs.SD
Active Detection and Localization of Textureless Objects in Cluttered Environments
Sapienza University of Rome(罗马第一大学)
本文介绍了一种主动目标检测和定位框架,结合了一个强大的无纹理目标检测和三维姿态估计算法与一个新的下一个最佳视图选择策略。我们解决的检测和定位问题,提出了一个基于边缘的配准算法,细化对象的位置,通过最小化的成本直接从3D图像张量,编码的最小距离在一个联合方向/位置空间中的边缘点提取。我们面临的下一个最佳视图的问题,利用一个顺序的决策过程,对于每一步,选择下一个摄像机的位置,最大限度地提高状态和下一个观测之间的互信息。我们通过生成代表场景实现的观察结果,即由对象检测器提供的对象假设的组合样本,同时通过一组不断重新采样的粒子对状态进行建模,来解决该解决方案的内在棘手性。在不同的现实世界,具有挑战性的数据集上进行的实验证实了所提出的方法的有效性。
2016-03-22 cs.CV cs.RO
How to Design a Three-Stage Architecture for Audio-Visual Active Speaker Detection in the Wild
Technical University of Munich(慕尼黑工业大学);Microsoft Corporation(微软公司)
成功的主动说话人检测需要三个阶段的流水线:(i)对剪辑中的所有说话人进行视听编码,(ii)在每个帧内参考说话人和背景说话人之间的说话人间关系建模,以及(iii)对参考说话人进行时间建模。这个流水线的每个阶段对于所创建的架构的最终性能都起着重要的作用。基于一系列的控制实验,这项工作提出了一些实用的视听主动说话人检测的指导方针。相应地,我们提出了一种名为ASDNet的新架构,该架构在AVA-ActiveSpeaker数据集上实现了新的最先进技术,mAP为93.5%,优于第二好的4.7%。我们的代码和预训练模型是公开的。
2021-09-07 cs.CV cs.LG cs.SD
Best of Both Worlds: Multi-task Audio-Visual Automatic Speech Recognition and Active Speaker Detection
Google(谷歌)
在嘈杂的条件下,自动语音识别(ASR)可以大大受益于来自说话者面部视频的视觉信号的添加。然而,当多个候选说话者可见时,这传统上需要解决单独的问题,即主动说话者检测(ASD),其需要在每个时刻选择哪个可见面部对应于音频。最近的工作表明,我们可以同时解决这两个问题,通过采用一个注意力机制的竞争视频轨道的发言人的脸,在牺牲一些准确性的代价,积极的发言人检测。这项工作通过提出一个可以与多任务损失联合训练的单一模型来缩小主动说话人检测准确性的差距。通过在训练过程中结合这两项任务,我们将ASD分类准确率降低了约25%,同时与专门针对ASR训练的多人基线相比,提高了ASR性能。
2022-05-10 cs.CV cs.LG cs.SD
Look Who's Talking: Active Speaker Detection in the Wild
Yonsei University(延世大学)
在这项工作中,我们提出了一种新的视听数据集在野外主动扬声器检测。当一个说话者的脸是可见的,同时声音也是可听到的时,他或她就被认为是活跃的。虽然主动说话人检测是许多视听任务的关键预处理步骤,但没有现有的自然人类语音数据集来评估主动说话人检测的性能。因此,我们策划了Active Speakers in the Wild(ASW)数据集,其中包含视频和具有密集语音活动标签的共现语音片段。音频片段的视频和时间戳是从VoxConverse中解析和采用的,VoxConverse是一个现有的扬声器diarisation数据集,由野生视频组成。从视频中提取人脸轨迹,并以半自动的方式基于VoxConverse的时间戳对活动片段进行注释。两个参考系统,一个自我监督的系统和一个完全监督的,在数据集上进行评估,以提供ASW的基线性能。跨域评估是为了显示配音视频在训练数据中的负面影响而进行的。
2021-08-17 cs.CV cs.SD eess.AS