Learned Non-Maximum Suppression for 3D Object Detection
Institute of Control Theory and Systems Engineering, TU Dortmund University(控制理论与系统工程研究所,多特蒙德技术大学)
提出两种基于学习的过滤模块(D2D-Rescore和GossipNet3D)替代启发式NMS,通过检测间关系提升3D检测性能,尤其改善小物体和稀有类别的检测精度。
2026-06-02 cs.AI cs.CV cs.LG
A Jointly Learned Deep Architecture for Facial Attribute Analysis and Face Detection in the Wild
Fudan University(复旦大学)
真实世界场景中的人脸属性分析是非常具有挑战性的,主要是因为复杂的人脸变化。现有的人脸属性分析工作大多是基于裁剪和对齐的人脸图像。然而,这导致属性预测的能力严重依赖于人脸检测器的预处理。为了解决这个问题,我们提出了一种新的联合学习的深度架构,用于面部属性分析和面部检测。我们的框架可以处理野外的自然图像,我们在CelebA和LFWA数据集上的实验清楚地表明,获得了最先进的性能。
2017-07-27 cs.CV
Key.Net: Keypoint Detection by Handcrafted and Learned CNN Filters
Imperial College London(帝国理工学院);Computer Vision Center(计算机视觉中心);Arraiy, Inc.(Arraiy公司)
我们介绍了一种新的方法,关键点检测任务,结合了手工制作和学习CNN过滤器在一个浅的多尺度架构。手工制作的过滤器为学习的过滤器提供锚结构,这些过滤器对可重复的特征进行定位、评分和排名。在网络中使用尺度空间表示来提取不同级别的关键点。我们设计了一个损失函数来检测存在于一系列尺度上的鲁棒特征,并最大化可重复性得分。我们的Key.Net模型基于ImageNet综合创建的数据进行训练,并在HPatches基准上进行评估。结果表明,我们的方法优于国家的最先进的检测器的可重复性,匹配性能和复杂性。
2019-10-12 cs.CV
Ten Years of Pedestrian Detection, What Have We Learned?
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
我们通过讨论加州理工学院行人检测基准中目前存在的40多个检测器中探索的主要思想,分析了过去十年的显著进展。我们观察到,存在三个家庭的方法,目前都达到类似的检测质量。基于我们的分析,我们研究了最有前途的想法,结合多个已发表的战略的互补性。这种新的决策森林检测器在具有挑战性的加州理工学院-美国数据集上实现了当前最知名的性能。
2014-11-16 cs.CV
Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt
Southern University of Science and Technology(南方科技大学);Tencent Youtu Lab(腾讯优图实验室);Shanghai Jiao Tong University(上海交通大学)
针对工业制造中无监督异常检测的灾难性遗忘问题,提出UCAD框架,通过对比学习提示词和结合SAM的基于结构对比学习,赋予模型持续学习能力,显著优于现有异常检测方法。
2024-01-02 cs.CV cs.LG
Simultaneous multi-view instance detection with learned geometric soft-constraints
IRISA(法国国家信息与自动化研究所/雷恩信息与系统研究所(注:IRISA常见译名为雷恩信息、信号与自动化研究所,属于法国国家科研中心与布列塔尼大学等共建的研究机构,标准常用译名为「IRISA研究所」或直译「信息与自动化系统研究所」,此处采用通用常用名:IRISA研究所));Université Bretagne Sud(南布列塔尼大学);ETH Zurich(苏黎世联邦理工学院)
我们建议共同学习多视图几何和变形之间的视图相同的对象实例的强大的跨视图目标检测。使多视图对象实例检测困难的是视点、光照条件、相邻对象的高相似性和尺度的强可变性的强烈变化。通过将不同视图中的目标检测和实例重新识别变成一个联合学习任务,我们能够将图像外观和几何软约束结合到一个可学习的端到端的单个多视图检测过程中。我们验证了我们的方法在一个新的,大的数据集的街道级的城市物体的mumamas和各种基线相比,表现出优越的性能。我们的贡献有三个方面:用于多视图实例检测和重新识别的大规模、公开可用的数据集;为多视图实例检测定制的注释工具;以及新颖的、整体的多视图实例检测和重新识别方法,其联合地对跨视图的几何形状和外观进行建模。
2019-07-25 cs.CV cs.LG stat.ML
License Plate Detection and Recognition Using Deeply Learned Convolutional Neural Networks
Sighthound Inc.(Sighthound公司)
这项工作详细介绍了Sighthounds全自动车牌检测和识别系统。该系统的核心技术是使用一系列深度卷积神经网络(CNN)与准确高效的算法交织而成。CNN经过训练和微调,使其在不同条件下(例如姿势、照明、遮挡等变化)具有鲁棒性。并且可以在各种牌照模板(例如,大小、背景、字体等)上工作。对于定量分析,我们表明,我们的系统优于领先的车牌检测和识别技术,即ALPR在几个基准。我们的系统可通过Sighthound Cloud API提供给开发人员,网址为https://www.sighthound.com/products/cloud
2017-03-28 cs.CV
Transferring Learned Microcalcification Group Detection from 2D Mammography to 3D Digital Breast Tomosynthesis Using a Hierarchical Model and Scope-based Normalization Features
iCAD Inc.(iCAD公司)
提出了一种新的层次模型来解决相似目标群的检测问题。在此模型下,检测组进行分层组织的层,而每一层代表一个目标对象的范围。这些层的处理涉及顺序提取单个对象的外观特征,附近对象的一致性测量特征,最后是组内所有对象的分布特征。使用基于范围的归一化的概念,提取的特征不仅增强了单个对象的局部对比度,而且还为所有相关对象提供了一致的表征。作为一个例子,开发了一个用于2D乳腺X射线摄影的微钙化组检测系统,然后将学习的模型转移到3D数字乳腺断层合成摄影,而无需任何重新训练或微调。该检测系统表现出最先进的性能,并检测到96%的癌性病变,在独立的断层合成测试集上测量时,每体积的假阳性率为1.2。
2016-03-18 cs.CV
Real-time Multiple People Tracking with Deeply Learned Candidate Selection and Person Re-Identification
Tsinghua University(清华大学)
在线多目标跟踪是实时视频分析应用中的一个基本问题。流行的检测跟踪框架中的一个主要挑战是如何将不可靠的检测结果与现有的轨迹相关联。在本文中,我们建议处理不可靠的检测,从检测和跟踪的输出收集候选人。生成冗余候选项背后的直觉是,检测和跟踪可以在不同的场景中相互补充。高置信度的检测结果防止跟踪漂移在长期内,和轨迹的预测可以处理由遮挡引起的噪声检测。为了实时的【形】从大量的候选图像中进行最优选择,我们提出了一种基于全卷积神经网络的评分函数,它可以分担整个图像的大部分计算。此外,我们采用了一种深入学习的外观表示,该表示是在大规模的人员重新识别数据集上训练的,以提高我们的跟踪器的识别能力。大量的实验表明,我们的跟踪器实现了实时的【形】和国家的最先进的性能上广泛使用的人跟踪基准。
2018-09-12 cs.CV
Learning Data Augmentation Strategies for Object Detection
Google Research(谷歌研究院)
数据增强是训练深度学习模型的关键组成部分。虽然数据增强已被证明可以显着改善图像分类,但其潜力尚未被彻底研究用于目标检测。考虑到为目标检测注释图像的额外成本,数据增强对于该计算机视觉任务可能甚至更重要。在这项工作中,我们研究了数据增强对目标检测的影响。我们首先证明,从图像分类借用的数据增强操作可能有助于训练检测模型,但改进是有限的。因此,我们研究如何学习,专门的数据增强政策提高检测模型的泛化性能。重要的是,这些增强策略只影响训练,并在评估期间保持训练模型不变。COCO数据集上的实验表明,优化的数据增强策略将检测精度提高了+2.3 mAP以上,并允许单个推理模型达到50.7 mAP的最新精度。重要的是,在COCO上找到的最佳策略可以不加改变地转移到其他检测数据集和模型,以提高预测准确性。例如,COCO确定的最佳增强策略将PASCAL-VOC的强基线提高了+2.7 mAP。我们的研究结果还表明,学习增强策略优于最先进的架构正则化方法的目标检测,即使在考虑强基线。使用所学策略进行培训的代码可在https://github.com/tensorflow/tpu/tree/master/models/official/detection上在线获取
2019-06-26 cs.CV cs.LG
Learned Two-Plane Perspective Prior based Image Resampling for Efficient Object Detection
Carnegie Mellon University(卡内基梅隆大学)
实时有效的感知对于自主导航和城市规模感知至关重要。与架构改进正交,流感知方法已经利用自适应采样来提高实时检测性能。在这项工作中,我们提出了一个可学习的几何形状引导的先验,结合粗糙的几何形状的3D场景(地面和平面以上)重新采样图像,有效的目标检测。这显著提高了小型和远程目标检测性能,同时在延迟和内存方面也更有效。对于自主导航,使用相同的检测器和尺度,我们的方法将检测率提高了+4.1 $AP_{S}$或+39%,对于小物体,实时性能提高了+5.3 $sAP_{S}$或+63%。对于固定的交通摄像头,我们的方法检测图像尺度的小物体,其他方法不能。在相同的尺度下,我们的方法比朴素下采样提高了195%(+12.5 $AP_{S}$)的小对象检测,比SOTA提高了63%(+4.2 $AP_{S}$)。
2023-03-25 cs.CV
Learned Suppression for 3D Keypoint Detection with a Graph-Transformer Backbone
本文提出SAGE3D模型,通过分层编码器-解码器架构实现多阶段点云角点检测,结合软引导注意力和图激发网络提升精度与召回率。
2026-10-02 cs.CV
Patient-Level Elbow Abnormality Detection: Leakage-Aware Evaluation of Learned Preprocessing, Calibration, and Triage-Oriented Operating Points
Biomedical Engineering Department, Istanbul Medipol University(伊斯坦布尔梅迪波尔大学生物医学工程系);Computer Engineering Department, Istanbul Medipol University(伊斯坦布尔梅迪波尔大学计算机工程系)
本研究在MURA数据集的肘部X光片上,采用泄漏感知协议评估学习预处理对患者级别肌肉骨骼异常检测的影响,发现预处理增益有限且依赖配置,原始输入DenseNet121基线仍具竞争力。
2026-07-01 cs.CV
Salient object detection on hyperspectral images using features learned from unsupervised segmentation task
AIST(日本产业技术综合研究所)
已经提出了来自彩色图像的各种显著性检测算法,以模仿人类观察者对相同场景的眼睛注视或专注的目标检测响应。然而,高光谱成像系统的发展使我们能够从物体的反射光源中获得观测场景的冗余光谱信息。一些研究表明,使用低级别的功能,高光谱图像的显着目标检测可以实现。在这项工作中,我们提出了一个显着的目标检测模型的高光谱图像应用流形排名(MR)的自监督卷积神经网络(CNN)的功能(高级功能)从无监督的图像分割任务。CNN的自我监督继续进行,直到聚类损失或显着性图收敛到每次迭代之间的定义误差。最后,显著性估计完成的显着性图在最后一次迭代时,自监督过程终止与收敛。实验结果表明,所提出的显着性检测算法的高光谱图像是优于国家的最先进的高光谱显着性模型,包括原来的MR为基础的显着性模型。
2019-02-28 cs.CV
Learned Robust PCA: A Scalable Deep Unfolding Approach for High-Dimensional Outlier Detection
University of California, Los Angeles(加州大学洛杉矶分校);Damo Academy, Alibaba US(阿里巴巴美国达摩院)
鲁棒主元分析(RPCA)是现代机器学习中的一个重要工具,用于检测低秩矩阵重构任务中的异常值。在本文中,我们提出了一个可扩展的和可学习的非凸的高维RPCA问题,我们称之为学习鲁棒PCA(LRPCA)的方法。LRPCA是高效的,其自由参数可以通过深度展开有效地学习以进行优化。此外,我们通过一种新的前馈-递归-混合神经网络模型,将深度展开从有限迭代扩展到无限迭代。我们建立了恢复保证LRPCA温和的假设下RPCA。数值实验表明,LRPCA优于最先进的RPCA算法,如ScaledGD和AltProj,在合成数据集和现实世界的应用。
2021-10-11 cs.CV cs.IT cs.LG
Learned Fusion: 3D Object Detection using Calibration-Free Transformer Feature Fusion
RPTU - University of Kaiserslautern-Landau(莱茵兰-普法尔茨理工大学凯泽斯劳滕-兰道分校);DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心)
针对现有3D目标检测传感器融合高度依赖标定、难大规模部署的问题,提出首个免校准方法,用transformer跨传感器多抽象层级映射特征,BEV mAP较单模态提升14.1%,且对旋转平移变化鲁棒,为免校准融合研究提供新方向。
2023-12-14 cs.CV
Learned Enrichment of Top-View Grid Maps Improves Object Detection
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院 (KIT));Mobile Perception Systems Group(移动感知系统小组);Institute of Measurement and Control Systems(测量与控制系统研究所);Mobile Perception Systems Group, FZI Research Center for Information Technology, Karlsruhe, Germany(德国卡尔斯鲁厄FZI信息技术研究中心移动感知系统小组);Institute of Measurement and Control Systems, Karlsruhe Institute of Technology (KIT), Karlsruhe, Germany(德国卡尔斯鲁厄卡尔斯鲁厄理工学院 (KIT) 测量与控制系统研究所)
我们提出了一个对象检测器的顶视图网格地图,这是额外的训练,以生成一个丰富的版本,其输入。我们在联合模型中的目标是通过以从多个相邻距离传感器测量融合的地图的形式对结构知识进行正则化来提高泛化能力。该训练数据可以以自动方式生成,因此不需要手动注释。我们提出了一个证据框架来生成训练数据,研究不同的模型架构,并表明预测丰富的输入作为一个额外的任务可以提高目标检测性能。
2020-03-09 cs.CV
Face Presentation Attack Detection in Learned Color-liked Space
Northwestern Polytechnical University(西北工业大学);University of Cagliari(卡利亚里大学)
人脸呈现攻击检测(PAD)已经成为生物识别系统中的一个棘手问题,人们提出了许多解决方法,但大多数方法都是在现有的颜色空间(如RGB、HSV和YCbCr)中直接提取特征描述符并区分真假人脸。不幸的是,我们不知道哪种颜色空间是最好的,或者如何将不同的空间组合在一起。更糟糕的是,真实和虚假的脸在现有的颜色空间中重叠。因此,在本文中,一个学习可区分的颜色喜欢的空间来处理人脸PAD的问题。更具体地说,我们提出了一个端到端的深度学习网络,可以将现有的颜色空间映射到一个新的学习颜色空间。受生成对抗网络(GAN)生成器的启发,该网络由空间生成器和特征提取器组成。在训练类颜色空间时,提出了一种新的点到中心的三元组组合机制,以最大化类间距离和最小化类内距离,并在真实人脸和呈现的假人脸之间保持安全的边界。在两个标准的人脸PAD数据库上进行了广泛的实验,即,中继攻击和OULU-NPU,表明我们提出的基于颜色空间分析的对策显着优于国家的最先进的方法,并显示出良好的泛化能力。
2018-11-12 cs.CV
Learned 3D Shape Representations Using Fused Geometrically Augmented Images: Application to Facial Expression and Action Unit Detection
本文提出了一种方法来学习通用的多模态网格表面表示使用一种新的计划融合纹理和几何数据。我们的方法定义了在网格表面或其下采样版本上计算的不同几何描述符之间的逆映射,以及网格的相应2D纹理图像,允许构建融合几何增强图像(FGAI)。这种新的融合模式使我们能够通过简单地采用标准的卷积神经网络在转移学习模式中以高效的方式从3D数据中学习特征表示。与现有的方法相比,该方法是计算和内存效率,保留固有的几何信息,并学习高度区分的特征表示,有效地融合形状和纹理信息在数据级。我们的方法的有效性证明了面部动作单元检测和表情分类的任务。在博斯普鲁斯海峡和BU-4DFE数据集上进行的大量实验表明,与最先进的解决方案相比,我们的方法在性能上有显著提高
2019-04-08 cs.CV
Learned Pre-Processing for Automatic Diabetic Retinopathy Detection on Eye Fundus Images
Carnegie Mellon University(卡内基梅隆大学);INESC TEC, Porto(波尔图INESC TEC研究所);École de Tecnologie Superieure, Montreal(蒙特利尔高等技术学院);Faculty of Engineering, University of Porto(波尔图大学工程学院)
糖尿病视网膜病变是世界上工作年龄人口失明的主要原因。本文的主要目的是通过实施阴影去除和颜色校正步骤作为眼底图像的预处理阶段来提高糖尿病视网膜病变检测的准确性。为此,我们依赖于最近的研究结果表明,应用图像去雾的反转强度域相当于照明补偿。受这项工作的启发,我们提出了一个阴影去除层,使我们能够学习特定任务的预处理功能。我们表明,学习预处理函数可以提高网络在糖尿病视网膜病变检测任务上的性能。
2020-07-27 cs.CV eess.IV
Fighting Fake News: Image Splice Detection via Learned Self-Consistency
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
照片编辑和操作工具的进步使得创建虚假图像变得更加容易。然而,由于缺乏足够量的操纵训练数据,学习检测这种操纵仍然是一个具有挑战性的问题。在本文中,我们提出了一个学习算法,用于检测视觉图像的操作,训练只使用一个大的数据集的真实照片。该算法使用自动记录的照片EXIF元数据作为监督信号,用于训练模型,以确定图像是否自洽-也就是说,其内容是否可以由单个成像管道产生。我们应用这个自一致性模型的任务,检测和定位图像拼接。所提出的方法在几个图像取证基准测试中获得了最先进的性能,尽管在训练时从未看到任何操纵图像。也就是说,它只是长期寻求真正通用的视觉取证工具的一步。
2018-09-05 cs.CV
STELA: A Real-Time Scene Text Detector with Learned Anchor
UESTC(电子科技大学);Sichuan University(四川大学)
为了实现目标框的高覆盖率,传统的基于锚点的检测器的常规策略是在每个空间位置利用多个先验,特别是在场景文本检测任务中。在这项工作中,我们提出了一个简单而直观的方法,面向多个文本检测的特征图的每个位置只与一个参考框。这个想法的灵感来自两阶段R-CNN框架,该框架可以通过使用学习的建议来估计任何形状的对象的位置。我们的方法的目的是将这种机制集成到一个onestage检测器中,并使用通过回归操作获得的学习锚来取代原始锚到最终预测中。基于RetinaNet,该方法在多个公共基准测试中取得了有竞争力的性能,具有完全实时的【形】效率(800 p时为26:5 fps),超过了所有基于锚点的场景文本检测器。此外,由于对锚点设计的关注较少,我们相信我们的方法很容易应用于其他类似的检测任务。该代码将在https://github.com/xhzdeng/stela上公开发布。
2019-09-23 cs.CV
Max-Margin Object Detection
大多数目标检测方法通过将二元分类器应用于图像的子窗口,随后是非最大值抑制步骤来操作,其中去除对重叠子窗口的检测。由于即使中等大小的图像数据集中可能的子窗口的数量也非常大,因此分类器通常仅从窗口的子集学习。这避免了处理整个子窗口集的计算困难,然而,正如我们将在本文中展示的那样,它导致次优检测器性能。特别是,本文的主要贡献是介绍了一种新的方法,最大间距目标检测(MMOD),学习检测图像中的对象。此方法不执行任何子采样,而是在所有子窗口上进行优化。MMOD可用于改进在学习参数中为线性的任何目标检测方法,例如HOG或视觉词袋模型。使用这种方法,我们在三个公开的数据集上显示了显着的性能增益。引人注目的是,我们表明,一个单一的刚性HOG过滤器可以优于一个国家的最先进的可变形部分模型的人脸检测数据集和基准时,HOG过滤器是通过MMOD学习。
2015-01-31 cs.CV
Stabilizing Adversarially Learned One-Class Novelty Detection Using Pseudo Anomalies
University of Science and Technology(科学技术大学);Electronics and Telecommunications Research Institute(电子通信研究院);Information Technology University(信息技术大学)
针对对抗式单类异常检测训练不稳定、难以及时停止的问题,本文用生成器新旧状态构造伪异常重建,并训练判别器区分重建质量,同时提出通用停止准则,在六个跨领域数据集上取得优异性能。
2022-03-25 cs.CV
Anomaly Detection with Adversarially Learned Perturbations of Latent Space
University of Western Ontario(西安大略大学)
异常检测就是识别出不符合正态分布的样本数据。由于异常数据的不可用性,训练有监督的深度神经网络是一项繁琐的任务。因此,无监督方法是解决此任务的常用方法。深度自动编码器已被广泛采用作为许多无监督异常检测方法的基础。然而,深度自动编码器的一个显著缺点是,它们通过泛化来重建离群值,从而为异常检测提供了不足的表示。在这项工作中,我们设计了一个对抗框架,由两个竞争组件组成,一个对抗失真器和一个自动编码器。对抗性失真器是一个卷积编码器,它学习产生有效的扰动,而自动编码器是一个深度卷积神经网络,旨在从扰动的潜在特征空间重建图像。网络的训练目标相反,其中对抗失真器产生的扰动被应用到编码器的潜在特征空间,以最大限度地提高重建误差和自动编码器试图中和这些扰动的影响,以尽量减少它。当应用于异常检测,所提出的方法学习语义更丰富的表示,由于应用扰动的特征空间。所提出的方法优于现有的国家的最先进的方法在图像和视频数据集的异常检测。
2022-07-03 cs.AI cs.CV
Adversarially Learned One-Class Classifier for Novelty Detection
Institute for Research in Fundamental Sciences(基础科学研究所);Amirkabir University of Technology(阿米卡比尔理工大学);Stanford University(斯坦福大学)
新颖性检测是识别在某些方面与训练观察(目标类)不同的观察的过程。在现实中,新奇类在训练过程中经常缺席,采样不佳或定义不好。因此,单类分类器可以有效地模拟这样的问题。然而,由于新颖类的数据不可用,训练端到端深度网络是一项繁琐的任务。在本文中,受生成对抗网络在无监督和半监督环境中训练深度模型的成功启发,我们提出了一种用于单类分类的端到端架构。我们的架构由两个深度网络组成,每个深度网络通过相互竞争进行训练,同时合作理解目标类中的底层概念,然后对测试样本进行分类。一个网络充当新颖性检测器,而另一个网络通过增强内部样本和扭曲异常值来支持它。直觉是,增强的内点和扭曲的离群点的可分性比决定原始样本要好得多。该框架适用于图像和视频中异常和离群点检测的不同相关应用。MNIST和Caltech-256图像数据集上的结果,以及具有挑战性的UCSD Ped 2视频异常检测数据集,表明我们提出的方法有效地学习目标类,优于基线和最先进的方法。
2018-05-24 cs.CV
DeepBF: Malicious URL detection using Learned Bloom Filter and Evolutionary Deep Learning
National Institute of Technology Silchar(西尔查尔国家理工学院)
恶意URL检测是一个新兴的研究领域,由于各种系统的不断现代化,例如边缘计算。在本文中,我们提出了一种新的恶意URL检测技术,称为deepBF(深度学习和Bloom Filter)。deepBF有两种形式。首先,我们提出了一个学习的布隆过滤器使用二维布隆过滤器。我们通过实验确定了最佳的非加密字符串哈希函数。然后,我们通过在散列方法中引入偏差并比较字符串散列函数,从为deepBF选择的散列函数中推导出修改的非加密字符串散列函数。将修改后的字符串散列函数与各种非密码字符串散列函数的其他变体进行比较。它还与各种过滤器进行了比较,特别是使用各种用例计数Bloom Filter,Kirsch \textit{et al.}和Cuckoo Filter。用例揭示了过滤器的弱点和优点。其次,我们提出了一种基于deepBF的恶意URL检测机制。我们应用进化卷积神经网络来识别恶意网址。进化卷积神经网络的训练和测试与恶意URL数据集。在deepBF中测试输出的准确性。我们已经取得了许多结论,从我们的实验评估和结果,并能够达到各种结论性的决定,这是在文章中。
2022-02-26 cs.AI cs.CR cs.CV
Learning Binary Features Online from Motion Dynamics for Incremental Loop-Closure Detection and Place Recognition
Georgia Institute of Technology(佐治亚理工学院);Transylvania University(特兰西瓦尼亚大学)
本文提出了一种简单而有效的在线学习视觉特征的方法,以提高循环闭合检测和位置识别,基于词袋框架。该方法从两个连续帧的一对匹配特征中学习词袋模型中的码字,使得码字对相机运动具有时间导出的视角不变性。该学习算法是有效的:从平均图像块生成二进制描述符,并通过最小化学习特征与两个原始特征之间的类内距离,基于判别投影学习掩模。通过将学习的描述符和掩码打包来生成用于词袋模型的码字,其中定义了掩码汉明距离以测量两个码字之间的距离。然后在数学上证明学习的码字的几何性质。此外,通过匹配码字的时间一致性来施加假设约束,这提高了精度。该方法,集成在一个增量的词袋系统,多个基准数据集上进行验证,并比较国家的最先进的方法。实验表明,改进的精度/召回率优于最先进的技术,在运行时几乎没有损失。
2016-01-25 cs.CV
3D3L: Deep Learned 3D Keypoint Detection and Description for LiDARs
ETH Zurich(苏黎世联邦理工学院);Voliro Airborne Robotics(Voliro空中机器人公司)
随着功能强大、重量轻的3D LiDAR的出现,它们已成为各种自主系统上许多导航和SLAM算法的核心。点云配准方法与非结构化点云(如ICP)一起工作,通常计算成本很高,或者需要很好的初始猜测。此外,基于3D特征的配准方法从未完全达到视觉SLAM中的2D方法的鲁棒性。随着LiDAR距离图像分辨率的不断提高,这些2D方法不仅变得适用,而且应该利用随之而来的与照明无关的模式,例如深度和强度。在视觉SLAM中,与传统方法相比,深度学习的2D特征和描述符表现得非常好。在本出版物中,我们使用最先进的2D特征网络作为3D3L的基础,利用LiDAR范围图像的强度和深度来提取强大的3D特征。我们的研究结果表明,从LiDAR扫描图像中提取的这些关键点和描述符在不同的基准指标上都优于最先进的技术,并且可以实现强大的扫描到扫描对齐以及全局定位。
2021-04-12 cs.CV cs.RO
Finding Your (3D) Center: 3D Object Detection Using a Learned Loss
University College London(伦敦大学学院)
大量语义标记的数据集很容易用于2D图像,然而,对于3D场景来说要实现要困难得多。像ShapeNet这样的3D存储库中的对象都有标签,但遗憾的是只是孤立的,没有上下文。3D场景可以通过城市级别的范围扫描仪获取,但使用语义标签的要少得多。为了解决这一差异,我们引入了一个新的优化过程,该过程允许使用原始3D扫描进行3D检测训练,同时使用低至5%的对象标签,并且仍然实现相当的性能。我们的优化使用两个网络。场景网络将整个3D场景映射到一组3D对象中心。因为我们假设场景没有被中心标记,所以没有经典的损失,如倒角可以用来训练它。相反,我们使用另一个网络来模拟损失。该损失网络在一个小的标记子集上训练,并将存在干扰的非中心3D对象映射到其自身的中心。这个函数非常类似-因此可以用来代替-监督损失将提供的梯度。我们的评估文件在较低的监督水平下具有竞争力的保真度,在可比的监督水平下具有更高的质量。补充材料可在https://dgriffiths3.github.io上找到。
2020-07-22 cs.CV
OLED: One-Class Learned Encoder-Decoder Network with Adversarial Context Masking for Novelty Detection
Western University(西部大学)
新颖性检测是识别不属于目标类分布的样本的任务。在训练过程中,新颖类是缺席的,防止使用传统的分类方法。深度自动编码器已被广泛用作许多无监督新奇检测方法的基础。特别是,上下文自动编码器在新颖性检测任务中取得了成功,因为它们通过从随机掩蔽图像重建原始图像来学习更有效的表示。然而,上下文自动编码器的一个显著缺点是随机掩蔽无法始终覆盖输入图像的重要结构,导致次优表示-特别是对于新颖性检测任务。在本文中,为了优化输入掩蔽,我们设计了一个框架,由两个竞争的网络,一个掩码模块和一个重构器。Mask模块是一个卷积自动编码器,它学习生成覆盖图像最重要部分的最佳掩码。或者,重建器是卷积编码器-解码器,其目的是从掩蔽图像重建未扰动图像。网络以对抗的方式进行训练,其中掩模模块生成应用于重建器的图像的掩模。以这种方式,掩模模块寻求最大化重构器正在最小化的重构误差。当应用于新颖性检测时,所提出的方法与上下文自动编码器相比学习语义更丰富的表示,并通过更优的掩蔽在测试时增强新颖性检测。在MNIST和CIFAR-10图像数据集上的新奇检测实验证明了该方法的优越性。在UCSD视频数据集上进行的新颖性检测的进一步实验中,所提出的方法实现了最先进的结果。
2021-11-10 cs.AI cs.CV
InclusiveFaceNet: Improving Face Attribute Detection with Race and Gender Diversity
Google(谷歌)
我们展示了一种方法,以保持或提高属性检测准确性的性别和种族子组,通过学习人口统计信息之前,学习属性检测任务的面部属性检测。我们称之为InclusiveFaceNet的系统通过传输从公开的种族和性别身份数据集中学习到的种族和性别表示来检测面部属性。利用学习的人口统计表示,同时从下游面部属性检测任务中保留人口统计推断,保留了潜在用户的人口统计隐私,同时在Faces of the World和CelebA数据集中产生了迄今为止关于属性检测的一些最佳报告数字。
2018-07-17 cs.AI cs.CV
Enhancing Generic Segmentation with Learned Region Representations
Computer Science, Technion - Israel Institute of Technology(以色列理工学院计算机科学)
当前用于通用(非语义)分割的成功方法主要依赖于边缘检测,并且主要通过改进算法流水线中的边缘检测阶段来利用深度学习的优势。这与语义和实例分割形成对比,其中DNN被直接应用于生成逐像素分段表示。我们提出了一种新的方法来学习一个像素的表示,反映段的相关性。这种表示与边缘图相结合,产生一个新的分割算法。我们表明,表示本身实现国家的最先进的段相似性分数。此外,所提出的组合分割算法提供的结果,无论是最先进的或改进后,对于大多数质量措施。
2020-03-24 cs.CV
Faraway-Frustum: Dealing with Lidar Sparsity for 3D Object Detection using Fusion
随着到传感器的距离的增加,学习到的点云表示不能很好地概括。例如,在大于60米的范围内,激光雷达点云的稀疏程度达到了甚至人类也无法相互辨别物体形状的程度。然而,对于快速移动的车辆来说,这个距离不应该被认为很远:车辆可以在两秒内以70英里/小时的速度移动60米。为了实现安全可靠的自动驾驶,在这些范围内进行精确的3D目标检测是必不可少的。在此背景下,我们介绍遥远的截头体:一种新的融合策略,用于检测遥远的对象。主要策略是仅依赖于2D视觉来识别对象类,因为对象形状不会随着深度的增加而急剧变化,并且使用点云数据在3D空间中对遥远的对象进行对象定位。对于距离较近的物体,我们使用学习的点云表示,而不是按照国家的最先进的。这种策略消除了目标检测与学习的点云表示的主要缺点。KITTI数据集上的实验表明,我们的方法优于国家的最先进的一个相当大的利润率为遥远的目标检测鸟瞰图和3D。我们的代码是开源的,可在https://github.com/dongfang-steven-yang/faraway-frustum上公开获取。
2021-03-27 cs.CV
Irregular Change Detection in Sparse Bi-Temporal Point Clouds using Learned Place Recognition Descriptors and Point-to-Voxel Comparison
Luleå University of Technology(吕勒奥理工大学)
针对3D点云变化检测需求,提出结合深度学习地点识别描述子与体素-点比较的方法,经真实实验验证可检测多种变化,适用于导航、数字孪生更新等场景。
2023-07-04 cs.CV cs.RO
SpliceRadar: A Learned Method For Blind Image Forensics
Verisk AI, Verisk Analytics(Verisk分析公司Verisk人工智能部门);Vision and Security Technology (VAST) Lab(视觉与安全技术(VAST)实验室)
随着图像编辑软件的方便使用,像拼接这样的图像操作的检测和定位变得越来越重要。虽然检测会对图像做出判断,但它并不提供对操作的洞察。定位通过识别图像中已被篡改的像素来帮助解释阳性检测。我们提出了一种基于深度学习的拼接定位方法,无需测试图像的相机模型的先验知识。它包括一种新的方法,用于学习丰富的过滤器和抑制图像边缘。此外,我们训练我们的模型上的相机模型识别,这使我们能够利用大型和广泛可用的,未经处理的,相机标记的图像数据库的代理任务。在推理过程中,我们假设拼接区域和宿主区域来自不同的相机模型,我们使用高斯混合模型分割这些区域。在三个测试数据库上的实验结果表明,该方法的结果与现有技术相当或更高,并且对未知数据集具有良好的泛化能力。
2019-06-27 cs.CV
Distortion-Aware PETR for BEV Object Detection with Mixed Pinhole-Fisheye Cameras
fortiss GmbH(fortiss有限公司)
针对鱼眼相机径向畸变破坏BEV检测器均匀采样假设的问题,提出DAPETR,通过畸变感知位置编码和双向特征-几何协同调制模块,在KITTI-360基准上优于基线方法,并揭示了学习适应与显式几何重参数化之间的冲突。
2026-06-07 cs.CV cs.RO
ECT: Fine-grained Edge Detection with Learned Cause Tokens
Xiamen University(厦门大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));Tsinghua University(清华大学);Beihang University(北京航空航天大学);Peking University(北京大学);Intel Labs(英特尔实验室)
本文提出基于Transformer的两阶段网络ECT,通过可学习成因令牌和边缘聚合对齐损失,在全局感受野下依次预测通用与细粒度边缘,并在BSDS-RIND等基准上取得最优结果。
2023-08-06 cs.CV
Anomaly Detection-Based Unknown Face Presentation Attack Detection
Johns Hopkins University(约翰斯·霍普金斯大学)
基于异常检测的欺骗攻击检测是人脸呈现攻击检测(fPAD)的最新发展,其中欺骗检测器仅使用用户的未受攻击的图像来学习。这些检测器具有实际意义,因为它们被证明可以很好地推广到新的攻击类型。在本文中,我们提出了一种基于异常检测的欺骗攻击检测的深度学习解决方案,其中分类器和特征表示都是端到端一起学习的。首先,我们在没有攻击图像的情况下,在训练过程中引入一个伪否定类。伪负类使用高斯分布建模,其平均值由加权运行平均值计算。其次,我们使用成对混淆损失来进一步规范训练过程。所提出的方法受益于CNN的表示学习能力,并为fPAD任务学习更好的特征,如我们的消融研究所示。我们在四个公开的数据集上进行了广泛的实验:Replay-Attack,Rose-Youtu,OULU-NPU和Spoof in Wild,以显示所提出的方法比以前的方法的有效性。代码可从以下网址获得:\url{https://github.com/yashasvi97/IJCB2020_anomaly}
2020-07-11 cs.CV
Learned Image Compression for Machine Perception
Mila, Quebec AI Institute(Mila,魁北克人工智能研究所);Independent Robotics;Google Brain Inc.(谷歌大脑公司);Polytechnique Montréal(蒙特利尔理工学院);ElementAI;Service Now
最近的工作表明,学习图像压缩策略可以优于标准的手工制作的压缩算法,已经开发了几十年的深入研究的率失真权衡。随着计算机视觉应用的不断增长,从可压缩表示重建高质量的图像重建通常是次要目标。因此,确保计算机视觉任务(如图像分割,分类和检测)的高精度压缩可能会对各种设置产生重大影响。在这项工作中,我们开发了一个框架,产生适合人类感知和机器感知的压缩格式。我们表明,表示可以学习,同时优化压缩和性能的核心视觉任务。我们的方法允许直接从压缩表示中训练模型,这种方法在新任务和低拍摄学习设置中提高了性能。我们提出的结果,提高分割和检测性能相比,标准的高质量的JPG,但表示是四到十倍,每像素的位。此外,与朴素的压缩方法不同,在比标准JEPG小十倍的水平上,从我们的格式训练的分割和检测模型在性能上只会有轻微的下降。
2021-11-03 cs.CV eess.IV
CNN based Cuneiform Sign Detection Learned from Annotated 3D Renderings and Mapped Photographs with Illumination Augmentation
Martin-Luther-Universität Halle-Wittenberg(马丁·路德大学哈雷-维滕贝格);University of Applied Sciences Mainz(美因茨应用科学大学)
本研究针对楔形文字识别难题,提出基于RepPoints检测器结合3D渲染与照片映射及光照增强的方法,利用HeiCuBeDa和MaiCuBeDa数据集验证,证明3D渲染图像提升照片检测性能。
2023-08-22 cs.AI cs.CV cs.LG
Breast Cancer Classification using Deep Learned Features Boosted with Handcrafted Features
Salim Habib University(萨利姆·哈比卜大学)
本文提出融合CNN深度特征与HOG、LBP手工特征的乳腺钼靶图像分类框架,并在CBIS-DDSM上超越现有最先进性能。
2023-01-16 cs.CV cs.LG eess.IV
Continual Object Detection: A review of definitions, strategies, and challenges
University of São Paulo(圣保罗大学);Eldorado Research Institute(埃尔多拉多研究所)
持续学习领域研究的是学习连续任务的能力,而不会损失先前学习过的任务的性能。其重点主要是增量分类任务。我们认为,持续目标检测的研究值得更多的关注,因为它在机器人和自动驾驶汽车中有着广泛的应用。这种情况比传统分类更复杂,因为出现了当时未知的类实例,但可能会在后续任务中作为要学习的新类出现,从而导致注释丢失并与背景标签冲突。在这篇综述中,我们分析了目前提出的解决类增量目标检测问题的策略。我们的主要贡献是:(1)对传统增量目标检测方案提出解决方案的方法进行了简短而系统的回顾;(2)使用新的度量标准对现有方法进行了全面评估,以标准方式量化每种技术的稳定性和可塑性;(3)概述了连续目标检测的当前趋势,并讨论了未来可能的研究方向。
2022-05-30 cs.CV cs.LG cs.RO
Improving Information Extraction from Images with Learned Semantic Models
Ludwig Maximilian University Munich(慕尼黑路德维希·马克西米利安大学);Data Reply GmbH Munich(慕尼黑Data Reply有限公司);Siemens Corporate Technology Munich(慕尼黑西门子企业技术中心)
许多应用需要对图像的理解,而不仅仅是对其对象的简单检测和分类。特别是,大量的语义信息被携带在对象之间的关系。我们之前已经表明,视觉模型和统计语义先验模型的组合可以改善将图像映射到其相关场景描述的任务。在本文中,我们回顾了该模型,并将其与一种新的用于视觉关系检测的条件多路模型进行比较,该模型不包括显式训练的视觉先验模型。我们还讨论了所提出的方法和人类大脑的记忆模型之间的潜在关系。
2018-08-27 cs.AI cs.CV
Learned Camera Gain and Exposure Control for Improved Visual Feature Detection and Matching
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
成功的视觉导航取决于捕获包含足够有用信息的图像。在这封信中,我们探索了一种数据驱动的方法来考虑环境照明的变化,提高图像的质量,用于视觉里程计(VO)或视觉同时定位与地图构建(SLAM)。我们训练一个深度卷积神经网络模型,以预测性地调整相机增益和曝光时间参数,使得连续图像包含最大数量的可匹配特征。训练过程是完全自我监督的:我们的训练信号来自底层VO或SLAM管道,因此,模型经过优化,可以在特定管道上表现良好。我们通过广泛的真实世界实验证明,我们的网络可以预测和补偿剧烈的照明变化(例如,进出公路隧道的过渡),保持比竞争相机参数控制算法高得多的内围特征匹配数量。
2022-07-11 cs.CV cs.RO
Point RCNN: An Angle-Free Framework for Rotated Object Detection
Alibaba Group(阿里巴巴集团)
航空图像中旋转目标检测仍然具有挑战性,由于任意方向,大规模和纵横比的变化,和极端密度的对象。现有的旋转目标检测方法主要依赖于基于角度的检测器。然而,角度回归很容易受到长期存在的边界问题的影响。为了解决这个问题,我们提出了一个纯粹的角度自由的框架旋转目标检测,称为点RCNN,它主要由PointRPN和PointReg。特别是,PointRPN通过以由Rep Points激励的由粗到细的方式转换学习的代表点来生成准确的旋转RoIs(RRoIs)。基于学习的RRoI,PointReg执行角点细化以实现更准确的检测。此外,航空影像往往是严重的类别不平衡,现有的方法几乎忽略了这个问题。在本文中,我们还通过实验验证了对稀有类别的图像进行重新采样将稳定训练并进一步提高检测性能。实验证明,我们的Point RCNN在常用的航空数据集上实现了新的最先进的检测性能,包括DOTA-v1.0,DOTA-v1.5和HRSC 2016。
2022-06-08 cs.CV
Efficient Scale-Permuted Backbone with Learned Resource Distribution
Google Research, Brain Team(谷歌研究院大脑团队)
最近,SpineNet在ResNet模型上的目标检测和图像分类方面取得了可喜的成果。然而,目前还不清楚当将规模置换骨干与高级高效操作和复合扩展相结合时,这种改进是否会增加。此外,SpineNet是在操作上使用统一的资源分布构建的。虽然这种策略似乎是普遍的规模减少的模型,它可能不是一个最佳的设计规模置换模型。在这项工作中,我们提出了一个简单的技术,结合高效的操作和复合缩放与以前学到的规模排列架构。我们证明了尺度置换模型的效率可以通过学习整个网络上的资源分布来进一步提高。由此产生的有效的尺度置换模型优于国家的最先进的EfficientNet为基础的模型的目标检测和图像分类和语义分割实现竞争力的性能。代码和模型很快就会开源。
2020-10-22 cs.AI cs.CV
Learning Dynamic Query Combinations for Transformer-based Object Detection and Segmentation
University of Florida(佛罗里达大学);ByteDance Inc.(字节跳动公司)
本文提出基于图像高级语义学习动态系数的凸组合生成调制查询,以更好地捕捉目标位置和类别的先验,使广泛的基于DETR的模型在检测和分割等多个任务上取得一致且优越的性能。
2023-07-27 cs.CV
Cross-Supervised Object Detection
UMass Amherst(马萨诸塞大学阿默斯特分校);Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在从图像级注释(没有对象边界框)中学习新的对象类别后,人类非常擅长精确定位这些对象。然而,构建良好的对象定位器(即,检测器)当前需要昂贵的实例级注释。虽然已经做了一些工作,从弱标记的样本(只有类标签)学习检测器,这些检测器在本地化方面做得很差。在这项工作中,我们展示了如何利用从完全标记的基本类别中学习到的知识,从新类别的弱标记图像中构建更好的对象检测器。我们称这种新的学习范式为交叉监督目标检测。我们提出了一个统一的框架,它结合了从实例级注释训练的检测头和从图像级注释学习的识别头,以及一个空间相关模块,该模块弥合了检测和识别之间的差距。这些贡献使我们能够在复杂的多对象场景(如COCO数据集)中更好地检测具有图像级注释的新对象。
2020-06-29 cs.CV
Class-Incremental Few-Shot Object Detection
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);University of California, Los Angeles(加州大学洛杉矶分校)
传统的检测网络通常需要大量的标记训练样本,而人类只需几个例子就可以逐步学习新概念。本文主要研究一个更具挑战性但更现实的类增量Few-Shot目标检测问题(iFSD)。它的目标是从少量的注释样本中增量地转移新对象的模型,而不会灾难性地忘记以前学习的对象。为了解决这个问题,我们提出了一种新的方法LEAST,它可以更少的遗忘,更少的训练资源,更强的迁移能力。具体来说,我们首先提出的转移策略,以减少不必要的权重调整,提高转移能力的iFSD。在此基础上,我们整合了知识蒸馏技术,使用较少的资源消耗的方法来减轻遗忘,并提出了一种新的基于聚类的样本选择过程,以保留更多的判别功能以前学习。作为一种通用而有效的方法,LEAST可以大大提高iFSD在各种基准测试中的性能。
2021-12-28 cs.CV
Old is Gold: Redefining the Adversarially Learned One-Class Classifier Training Paradigm
University of Science and Technology(科学技术大学);Electronics and Telecommunications Research Institute(电子通信研究院)
一种流行的异常检测方法是使用对抗网络的生成器来制定输入重建损失的异常分数。由于异常情况很少发生,因此优化此类网络可能是一项繁琐的任务。另一种可能的方法是使用发生器和异常检测器两者进行异常检测。然而,由于对抗训练的参与,该模型通常不稳定,性能随着每个训练步骤而剧烈波动。在这项研究中,我们提出了一个框架,该框架可以在广泛的训练步骤中有效地生成稳定的结果,并允许我们使用对抗模型的生成器和迭代器来进行高效和鲁棒的异常检测。我们的方法转换的基本作用,从识别真实和虚假的数据,以区分良好和不良质量的重建。为此,我们准备训练样本的质量好的重建,通过采用当前的发电机,而质量差的例子是通过利用同一发电机的旧状态。通过这种方式,该机器人学会检测异常输入的重建中经常出现的细微失真。在Caltech-256和MNIST图像数据集上进行的大量实验显示了优异的结果。此外,在UCSD Ped2视频数据集上进行异常检测,我们的模型实现了98.1%的帧级AUC,超过了最近的最先进的方法。
2020-06-19 cs.CV
Robust Fusion of Object-Level V2X for Learned 3D Object Detection
Institute for Automotive Engineering, RWTH Aachen University(汽车工程研究所,亚琛工业大学)
本文研究如何将V2X信息整合到3D物体检测中,并探讨其在现实V2X缺陷下的鲁棒性。通过nuScenes数据集模拟真实场景,提出噪声感知训练策略和显式置信度编码以提升系统鲁棒性。
2026-05-01 cs.CV cs.RO
Open-World Continual Learning: Unifying Novelty Detection and Continual Learning
University of Illinois Chicago(伊利诺伊大学芝加哥分校);ByteDance(字节跳动);KDDI Research, Inc.(KDDI研究所)
本文通过理论证明封闭世界OOD检测是成功类增量学习的必要条件,并将该理论推广到开放世界持续学习,统一了新颖性检测与持续学习,同时提出性能显著优于基线的新CIL方法。
2024-10-21 cs.AI cs.CV cs.LG
LIFT: Learned Invariant Feature Transform
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Graz University of Technology(格拉茨技术大学)
我们介绍了一种新的深度网络架构,它实现了完整的特征点处理流水线,即检测、方向估计和特征描述。虽然以前的作品已经成功地单独解决了这些问题中的每一个,我们展示了如何学习以统一的方式完成所有三个,同时保持端到端的可微性。然后,我们证明了我们的Deep管道在许多基准数据集上的性能优于最先进的方法,而无需重新训练。
2016-07-29 cs.CV