HoughNet: Integrating near and long-range evidence for visual detection
Middle East Technical University(中东技术大学);Hacettepe University(哈塞特佩大学)
本文提出了HoughNet,一个单阶段,无锚,投票为基础的,自底向上的目标检测方法。受广义Hough变换的启发,HoughNet通过对某个位置的投票总和来确定该位置是否存在对象。基于对数极坐标投票场,从近距离和远距离位置收集投票。得益于这种投票机制,HoughNet能够整合近距离和远距离的、有类别条件的视觉识别证据,从而推广和增强当前的目标检测方法,这种方法通常只依赖于局部证据。在COCO数据集上,HoughNet的最佳模型实现了$46.4$ $AP$(和$65.1$ $AP_{50}$),在自下而上的目标检测方面与最先进的方法不相上下,并且优于大多数主要的一阶段和两阶段方法。我们进一步验证了我们的建议在其他视觉检测任务,即,视频对象检测,实例分割,3D目标检测和人体姿态估计的关键点检测的有效性,以及一个额外的“标签照片”图像生成任务,我们的投票模块的集成始终提高性能在所有情况下。代码可在https://github.com/nerminsamet/houghnet上获得。
2022-08-17 cs.CV
Deep Hough Voting for 3D Object Detection in Point Clouds
Facebook AI Research(脸书人工智能研究院);Stanford University(斯坦福大学)
当前的3D目标检测方法受到2D检测器的严重影响。为了利用2D检测器中的架构,它们通常将3D点云转换为规则网格(即,体素网格或鸟瞰图像),或者依赖于2D图像中的检测来提出3D框。很少有作品试图直接检测点云中的物体。在这项工作中,我们回到第一原则,为点云数据构建一个3D检测管道,并尽可能通用。然而,由于数据的稀疏性-来自3D空间中的2D流形的样本-当直接从场景点预测限界框参数时,我们面临着一个主要挑战:3D对象质心可能远离任何表面点,因此很难在一步中准确回归。为了应对这一挑战,我们提出了VoteNet,这是一种基于深度点集网络和Hough投票协同作用的端到端3D目标检测网络。我们的模型在两个大型真实3D扫描数据集ScanNet和SUN RGB-D上实现了最先进的3D检测,具有简单的设计,紧凑的模型尺寸和高效率。值得注意的是,VoteNet通过使用纯粹的几何信息而不依赖彩色图像,比以前的方法表现更好。
2019-08-22 cs.CV
Persistence-based Hough Transform for Line Detection
Department for Information Technologies and Digitalisation(信息科技与数字化部门);Josef Ressel Centre for Intelligent and Secure Industrial Automation(约瑟夫·雷斯尔智能与安全工业自动化中心);Salzburg University of Applied Sciences(萨尔茨堡应用科学大学)
本文提出基于持久同调的霍夫变换投票方法,以替代阈值化检测直线,在合成数据上显著提升性能与鲁棒性,并倡导拓扑数据分析的整合及霍夫变换数学稳定性的研究。
2025-05-22 cs.CV
3DPVNet: Patch-level 3D Hough Voting Network for 6D Pose Estimation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
在本文中,我们专注于估计点云中的物体的6D姿态。虽然这个问题已经得到了广泛的研究,但由于噪声和遮挡,点云中的位姿估计仍然是一个具有挑战性的问题。为了解决这个问题,本文提出了一种新型的3DPVNet,它利用3D局部面片来投票选择对象的6D姿态。3DPVNet由三个模块组成。特别是,补丁统一(\textbf{PU})模块首先被引入到规范化的输入补丁,并创建一个标准的本地坐标框架上,以产生一个可靠的投票。然后,我们在网络中设计了一个权重引导的相邻特征融合(\textbf{WNFF})模块,该模块融合相邻特征以产生中心补丁的半全局特征。WNFF模块挖掘局部面片的邻域信息,从而显著增强了对局部几何特征的表示能力,使得该方法对一定程度的噪声具有鲁棒性。此外,我们提出了一个补丁级投票(\textbf{PV})模块回归变换和生成姿势投票。在聚集来自补丁的所有投票和细化步骤之后,可以获得对象的最终姿态。与最近的基于投票的方法相比,3DPVNet是块级的,并且直接在点云上进行。因此,3DPVNet实现了比点/像素级投票方案更少的计算,并且对部分数据具有鲁棒性。在多个数据集上的实验表明,3DPVNet达到了最先进的性能,并且对噪声和遮挡也具有鲁棒性。
2020-09-15 cs.CV
Connectivity-Enforcing Hough Transform for the Robust Extraction of Line Segments
Institute for Systems and Robotics(系统与机器人研究所);Instituto Superior Técnico(高等技术学院)
基于Hough变换(HT)的全局投票算法被广泛应用于图像中的直线检测。然而,由于投票不考虑线连接,这些方法不能很好地处理杂乱的图像。相反,所谓的本地方法强制连接,但缺乏鲁棒性来处理在许多现实场景中发生的具有挑战性的情况,例如,当线段交叉或长线段损坏时。在本文中,我们解决的关键限制HT作为一个线段提取器,将连接在投票过程中。这是通过仅考虑位于越来越大的邻域中的边缘点的贡献来完成的,并且边缘点的位置和方向内容与潜在的线段一致。其结果是,我们的方法,我们称之为直(段extRAction由connectivity-enforcInG HT),提取最长的连接段在每个位置的图像,从而也集成到HT投票过程中通常单独的步骤,个别段提取。霍夫空间映射和相应的分层实现的使用,使我们的方法计算上可行。我们提出的实验,说明,与合成和真实的图像,如何直成功地提取完整的部分在几种情况下,目前的方法失败。
2011-09-16 cs.CV
VoteSplat: Hough Voting Gaussian Splatting for 3D Scene Understanding
School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院);Algorithm R&D Center, Qing Yi (Shanghai)(清一(上海)算法研发中心);Shanghai Pudong Cryptography Research Institute(上海浦东密码研究院);Division of Decision and Control Systems and Department of Mathematics, KTH Royal Institute of Technology(皇家理工学院决策与控制系统系和数学系)
提出VoteSplat框架,将霍夫投票与3D高斯泼溅结合,利用SAM生成2D投票图并嵌入空间偏移向量构建3D空间投票,实现低成本的开放词汇3D实例定位与场景理解。
2025-06-28 cs.CV cs.GR cs.LG
Learning Hough Regression Models via Bridge Partial Least Squares for Object Detection
Xiamen University(厦门大学);Hubei University of Economics(湖北经济学院)
基于Hough变换的目标检测方法通常通过对图像局部特征进行聚类来构造外观码本。然而,如何选择合适的值用于聚类步骤中使用的参数仍然是一个悬而未决的问题。此外,一些流行的直方图特征提取重叠的图像块可能会导致高度的冗余和多重共线性。本文提出了一种基于Hough变换的目标检测方法。首先,为了解决上述问题,我们利用桥偏最小二乘(BPLS)技术建立上下文编码的霍夫回归模型(HRM),这是线性回归模型,投概率霍夫投票预测对象的位置。BPLS是偏最小二乘(PLS)的一种有效的变体。基于PLS的回归技术(包括BPLS)可以减少冗余,消除特征集的多重共线性。和PLS中使用的唯一参数的适当值(即,潜在成分的数量)可以通过使用交叉验证过程来确定。其次,为了有效地处理对象尺度的变化,我们提出了一种新的多尺度投票方案。该方案可以同时获得对应于多个目标尺度的多幅Hough图像。第三,测试图像中的对象可以对应于不同尺度的多个真和假阳性假设。基于所提出的多尺度投票方案,提出了一种原则性的策略,通过评估假设之间的归一化逐点互信息来融合假设以减少误报。在实验中,我们还比较了建议的HRM方法与它的几个变种,以评估其组件对其性能的影响。实验结果表明,所提出的HRM方法在流行的基准数据集上取得了令人满意的性能。
2016-03-26 cs.CV
Hough-CNN: Deep Learning for Segmentation of Deep Brain Regions in MRI and Ultrasound
Technische Universität München(慕尼黑工业大学);Ludwig-Maximilians-University (LMU)(路德维希-马克西米利安大学(慕尼黑大学))
在这项工作中,我们提出了一种新的方法来执行分割,利用卷积神经网络(CNN)的抽象能力。我们的方法是基于霍夫投票,一种策略,允许全自动定位和分割的解剖结构的利益。这种方法不仅使用CNN分类结果,而且还通过利用网络最深部分产生的特征来实现投票。我们表明,这种基于学习的分割方法是鲁棒的,多区域的,灵活的,可以很容易地适应不同的方式。为了展示CNN应用于医学图像分析时的能力和行为,我们对六种不同网络架构的性能进行了系统研究,这些网络架构是根据最先进的标准在各种情况下构思的。我们评估了不同数量的训练数据和不同的数据维度(2D,2.5D和3D)对最终结果的影响。我们展示了分别描绘基底神经节和中脑的26个区域的MRI和经颅US体积的结果。
2016-01-31 cs.CV
Back-tracing Representative Points for Voting-based 3D Object Detection in Point Clouds
Beihang University(北京航空航天大学);The Chinese University of Hong Kong(香港中文大学);The University of Sydney(悉尼大学)
点云中的3D目标检测是一项具有挑战性的视觉任务,它有利于理解3D视觉世界的各种应用。最近的许多研究集中在如何利用端到端的可训练Hough投票来生成对象提案。然而,目前的投票策略只能接收来自潜在对象的表面的部分投票以及来自杂乱背景的严重离群投票,这阻碍了对来自输入点云的信息的充分利用。受传统Hough投票方法中回溯策略的启发,本文提出了一种新的三维目标检测方法--回溯代表点网络(BRNet),它从投票中心生成回溯代表点,并在这些生成点周围重新访问互补种子点,以便更好地从原始点云捕获潜在对象周围的精细局部结构特征。因此,在我们的BRNet中,这种自下而上然后自上而下的策略强制执行预测投票中心和原始表面点之间的相互一致性,从而实现更可靠和灵活的对象定位和类别预测结果。我们的BRNet简单但有效,在两个大规模点云数据集上的性能明显优于最先进的方法,ScanNet V2(mAP@0.50方面+7.5%)和SUN RGB-D(mAP@0.50方面+4.7%),同时它仍然是轻量级和高效的。代码将在https://github.com/cheng052/BRNet上提供。
2021-04-14 cs.CV
PVN3D: A Deep Point-wise 3D Keypoints Voting Network for 6DoF Pose Estimation
Hong Kong University of Science and Technology(香港科技大学);Megvii Inc.(旷视科技);Kuaishou Technology(快手科技)
在这项工作中,我们提出了一种新的数据驱动的方法,从一个单一的RGBD图像的鲁棒6DoF对象姿态估计。与以前直接回归姿态参数的方法不同,我们使用基于关键点的方法来解决这个具有挑战性的任务。具体来说,我们提出了一种深度Hough投票网络来检测物体的3D关键点,然后在最小二乘拟合的方式内估计6D姿态参数。我们的方法是2D关键点方法的自然扩展,该方法成功地用于基于RGB的6DoF估计。它允许我们充分利用刚性物体的几何约束和额外的深度信息,并且易于网络学习和优化。进行了大量的实验,以证明在6D姿态估计任务中的3D关键点检测的有效性。实验结果还表明,我们的方法优于国家的最先进的方法,在几个基准的大利润率。代码和视频可在https://github.com/ethnhe/PVN3D.git上获得。
2020-03-24 cs.CV cs.RO
Fitting and recognition of geometric primitives in segmented 3D point clouds using a localized voting procedure
Istituto di Matematica Applicata e Tecnologie Informatiche “E. Magenes”, Consiglio Nazionale delle Ricerche(意大利国家研究委员会应用数学与信息技术研究所“E.马格内斯”分所)
本文提出一种基于霍夫变换和局部化投票的分割点云几何基元识别方法,通过初始参数估计在降维空间中高效搜索,并利用几何描述符聚合片段,在合成与工业数据上验证了拟合鲁棒性和关系推断能力。
2022-07-07 cs.CG cs.CV cs.NA
Recognising geometric primitives in 3D point clouds of mechanical CAD objects
Istituto di Matematica Applicata e Tecnologie Informatiche “E. Magenes”, Consiglio Nazionale delle Ricerche(意大利国家研究委员会“E. Magenes”应用数学与信息技术研究所)
本文提出一种基于Hough变换的方法,用于在含噪声、离群点和缺失部分的机械CAD点云中识别简单与复杂几何基元,并通过几何描述符聚合减少过分割,实验表明其具有较强鲁棒性和竞争力。
2023-01-11 cs.CV cs.GR
Efficient Large Scale Inlier Voting for Geometric Vision Problems
Google(谷歌)
离群点拒绝和等效内点集优化是计算机视觉中许多应用的关键成分,例如在相机姿态估计或点云中的平面和法线估计中过滤点匹配。有几种方法存在,但在大规模上,我们面临着可能的解决方案的组合爆炸和最先进的方法,如RANSAC,Hough变换或Branch&Bound,需要最小的内点比率或先验知识才能保持实用。事实上,对于诸如相机在非常大的场景中摆姿势的问题,这些方法变得无用,因为如果不满足这些条件,它们具有指数级的运行时间增长。为了解决这个问题,我们提出了一个有效的和通用的算法离群拒绝基于“相交”$k$ -维表面在$R^d$。我们提供了一个配方铸造的各种几何问题,找到一个点在$R^d$,最大限度地增加附近的表面(从而内点)。所得到的算法具有线性的最坏情况下的复杂性,更好的运行时的近似因子的依赖性比竞争算法,而不需要域特定的界限。这是通过引入空间分解方案来实现的,该方案通过连续舍入和分组样本来限制计算的数量。我们的配方(和开源代码)使任何人都能够在广泛的领域中获得快速解决新问题的方法。我们证明了该方法在几个相机上的多功能性,这些相机在低内围值比率下具有大量匹配,从而在显着降低的处理时间内获得最先进的结果。
2021-07-27 cs.CV
3D Object Detection from Point Cloud via Voting Step Diffusion
College of Electrical and Information Engineering, Hunan University(湖南大学电气与信息工程学院);School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);The University of Western Australia(西澳大学)
针对真实3D扫描噪声导致基于投票的检测性能不佳的问题,提出利用噪声条件分数网络估计分数函数,将随机点移动至物体中心分布高密度区域生成新投票,在SUN RGB-D和ScanNet V2上验证了优越性。
2024-03-21 cs.CV
A Minimalist Approach to Type-Agnostic Detection of Quadrics in Point Clouds
Technische Universität München(慕尼黑工业大学);Siemens AG(西门子股份公司);Framos AG(弗拉莫斯股份公司);Johns Hopkins University(约翰斯·霍普金斯大学);INRIA(法国国家信息与自动化研究所)
本文提出了一个分割的自由,自动和有效的程序来检测一般的几何二次型点云,混乱和闭塞是不可避免的。我们的日常世界由使用3D图元设计的人造物体(如平面,圆锥体,球体,圆柱体等)主导。这些物体在工业环境中也是无处不在的。这就产生了通过图元抽象3D场景的可能性,从而将这些几何形式定位为感知和高级3D场景理解的组成部分。相对于最先进的,其中一个量身定制的算法单独对待每一个基本类型,我们建议封装在一个单一的强大的检测过程中的所有类型。在我们的方法的中心是一个封闭的形式3D二次拟合,在原始和对偶空间中操作,需要低至4个定向点。围绕这一点,我们设计了一个新的,本地零空间投票策略,以减少4点的情况下,3。投票与著名的RANSAC相结合,使我们的算法比传统的算法快几个数量级。这是第一种能够在困难场景中执行通用交叉型多对象基元检测的方法。合成和真实数据集上的结果支持我们的方法的有效性。
2018-03-19 cs.CG cs.CV cs.RO
Fit4CAD: A point cloud benchmark for fitting simple geometric primitives in CAD objects
Istituto di Matematica Applicata e Tecnologie Informatiche “E. Magenes”, Consiglio Nazionale delle Ricerche(意大利国家研究委员会“E. Magenes”应用数学与信息技术研究所);University of Oslo(奥斯陆大学);ENS Paris-Saclay, Université Paris-Saclay(巴黎萨克雷大学巴黎萨克雷高等师范学院)
本文提出Fit4CAD基准,包含225个CAD对象采样点云,定义多种评估指标,用于比较几何基元拟合方法,并验证了聚类与参数化两类方法的性能。
2021-10-05 cs.CV cs.GR
Rotational Subgroup Voting and Pose Clustering for Robust 3D Object Recognition
University of Southern Denmark(南丹麦大学)
只要局部表面方向(法向量)在每个表面点处可用,就可以在两个3D形状之间关联相对6 DoF姿势的高度约束子集。局部形状特征可以用于找到模型之间的假定点对应,因为它们能够处理噪声和不完整的数据。然而,在实际情况下,该对应集通常被离群值污染,这导致了许多基于鲁棒检测器(诸如Hough变换或RANSAC)的过去贡献。我们工作的关键见解是,两个模型上的定向点之间的单个对应关系被约束为在整个姿势组的1 DoF旋转子组中投票,SE(3)。核密度估计允许有效地组合投票集以确定模型之间的完整6 DoF候选姿势。这种具有最高密度的模态姿态在具有挑战性的条件下是稳定的,例如噪声,杂波和遮挡,并提供了我们方法的输出估计。我们首先分析了我们的方法在噪声方面的鲁棒性,并表明它处理高离群值率比RANSAC更好的6自由度姿态估计任务。然后,我们将我们的方法应用到四个最先进的数据集的3D对象识别,包含闭塞和混乱的场景。我们的方法在两个LIDAR数据集上实现了完美的召回,并在两个RGB-D数据集上优于竞争方法,从而为使用点云数据的一般3D对象识别设定了新标准。
2017-09-07 cs.CV
GLT-T++: Global-Local Transformer for 3D Siamese Tracking with Ranking Loss
本文提出GLT-T与增强版GLT-T++,通过全局-局部Transformer增强种子点投票,并以目标感知和定位感知排序损失优化3D建议排序,在点云单目标跟踪上达到领先精度且保持实时速度。
2023-12-17 cs.CV
Generic Primitive Detection in Point Clouds Using Novel Minimal Quadric Fits
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子股份公司);Framos GmbH(弗拉莫斯有限责任公司);INRIA(法国国家信息与自动化研究所)
我们提出了一种新的和有效的方法来检测3D图元在杂乱,无组织的点云,没有腋窝分割或类型规范。我们认为二次曲面封装我们的环境的基本构建块-平面,球体,椭球体,圆锥体或圆柱体,在一个统一的方式。此外,二次曲面允许我们对更高自由度的形状进行建模,例如可以在非刚性设置中使用的双曲面或抛物面。我们首先贡献两个新的二次拟合目标的3D点集,赋予切线空间信息。基于将二次曲面梯度与曲面法线对齐的想法,我们的第一个公式是精确的,并且需要低至四个定向点。第二个拟合近似于第一个拟合,并减少了计算工作量。我们从理论上分析这些符合严格,并给出代数和几何参数。接下来,通过重新参数化的解决方案,我们设计了一个新的本地Hough投票方案的零空间系数,结合RANSAC,减少复杂性从$O(N^4)$到$O(N^3)$(三点)。据我们所知,这是第一种能够在困难场景中执行通用交叉型多对象基元检测而无需分割的方法。我们广泛的定性和定量的结果表明,我们的方法是有效的,灵活的,以及是准确的。
2019-01-04 cs.CG cs.CV cs.GR
BPNet: Bézier Primitive Segmentation on 3D Point Clouds
Inria(法国国家信息与自动化技术研究院);Geometry Factory(几何工厂);The University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学)
提出BPNet端到端框架,通过贝塞尔分解和联合优化实现三维点云通用基元分割,引入软投票正则化与自动权重嵌入,在ABC和真实扫描数据上超越基线且推理更快。
2023-10-15 cs.CV
RangeLDM: Fast Realistic LiDAR Point Cloud Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
针对 LiDAR 数据昂贵且现有生成模型慢、不真实的问题,本文提出 RangeLDM,结合 Hough voting 投影校正、VAE 潜空间扩散与距离引导判别器,实现快速高保真点云生成。
2024-09-10 cs.CV eess.IV