Rotation Averaging with Attention Graph Neural Networks
RMIT University(皇家墨尔本理工大学)
在本文中,我们提出了一个实时和强大的解决方案,大规模的多重旋转平均。直到最近,多旋转平均问题已经使用传统的迭代优化算法来解决。这些方法采用了基于对传感器噪声和离群值分布的假设而选择的鲁棒成本函数。在实践中,这些假设并不总是非常适合真实的数据集。最近的工作表明,噪声分布可以使用图神经网络来学习。该解决方案需要第二个网络进行离群值检测和去除,因为平均网络对不良初始化敏感。在本文中,我们提出了一个单级图神经网络,可以鲁棒地执行旋转平均的噪声和离群值的存在。我们的方法使用所有的观察,通过使用加权平均和网络设计中的注意力机制来抑制离群值效应。其结果是一个更快,更鲁棒的网络,可以用比以前的神经方法更少的样本进行训练,最终在准确性和推理时间方面优于传统的迭代算法。
2020-10-14 cs.CV
Rotation Averaging in a Split Second: A Primal-Dual Method and a Closed-Form for Cycle Graphs
Institute for Systems and Robotics(系统与机器人研究所);Instituto Superior Técnico(高等技术学院)
针对非凸高维的旋转平均问题,本文从最大似然估计角度提出一种免初始化的原始对偶方法及循环图的首个最优闭式解,在精度和性能上取得显著提升。
2021-09-16 cs.CV
A new dynamical model for solving rotation averaging problem
本文分析了旋转平均问题作为一个潜在的功能相应的梯度系统的最小化问题。该动力系统是著名的Kuramoto模型在特殊正交群SO(3)上的推广,称为非阿贝尔Kuramoto模型。我们提出了一种新的方法来寻找加权和未加权的旋转平均。为了验证算法的正确性,我们使用真实数据集和随机数据集将模拟结果与几何平均和投影平均进行了比较。特别是,我们已经发现,我们的方法给出了近似相同的结果几何平均。
2021-11-24 cs.CV
Rotation Coordinate Descent for Fast Globally Optimal Rotation Averaging
School of Computer Science, The University of Adelaide(阿德莱德大学计算机科学学院);School of Information Technology and Electrical Engineering, University of Queensland(昆士兰大学信息技术与电气工程学院)
在温和的条件下的测量噪声水平,旋转平均满足强对偶,这使得全球解决方案,通过半定规划(SDP)松弛。然而,SDP的通用求解器在实践中相当慢,即使在中等大小的旋转平均实例上也是如此,因此开发专门的算法至关重要。在本文中,我们提出了一种快速算法,实现全局最优称为旋转坐标下降(RCD)。与通过逐行更新半定矩阵来求解SDP的块坐标下降(BCD)不同,RCD在整个迭代过程中直接维护和更新所有有效的旋转。这避免了存储大型稠密半定矩阵的需要。我们在数学上证明了我们的算法的收敛性,并在经验上显示了其优越的效率,在各种问题配置的国家的最先进的全球性的方法。保持有效的旋转也有助于纳入本地优化例程,以进一步加速。此外,我们的算法是简单的实现;见补充材料的演示程序。
2021-03-16 cs.CV
Sparse Bounded Degree Sum of Squares Optimization for Certifiably Globally Optimal Rotation Averaging
University of Toronto(多伦多大学)
从噪声测量中估计未知旋转是SfM和其他3D视觉任务中的重要步骤。通常,容易返回次优局部最小值的局部优化方法用于解决旋转平均问题。利用凸松弛的新一波方法为涉及SO(3)的状态估计技术提供了全局最优性的第一个正式保证。然而,这些保证中的大多数仅适用于由噪声引入的测量误差在取决于问题实例的结构的一定范围内时。在本文中,我们铸造旋转平均作为一个多项式优化问题的单位四元数产生的第一个旋转平均方法,正式保证提供一个可证明的全局最优解的\textit{any}问题的实例。这是通过制定和解决一个稀疏的凸平方和(SOS)松弛的问题。我们提供了我们的算法和实验的开源实现,展示了我们的全局最优方法的好处。
2019-06-13 cs.CV
RAGO: Recurrent Graph Optimizer For Multiple Rotation Averaging
Simon Fraser University(西蒙菲莎大学);Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出了一种用于多重旋转平均(MRA)的深度递归旋转平均图优化器(RAGO)。传统的基于优化的方法通常无法产生准确的结果,由于损坏和噪声的相对测量。最近的基于学习的方法将MRA视为回归问题,而这些方法由于规范自由度问题而对初始化敏感。为了处理这些问题,我们提出了一个可学习的迭代图优化器,最大限度地减少了一个规范不变的成本函数与边缘整流策略,以减轻不准确的测量的影响。我们的图形优化器通过最小化每个节点的单个旋转目标函数来迭代地细化全局相机旋转。此外,我们的方法迭代地纠正相对旋转,使它们更符合当前相机的方向和观察到的相对旋转。此外,我们采用了门控递归单元,以改善的结果,通过跟踪的时间信息的成本图。我们的框架是一个实时学习优化旋转平均图优化器,具有为现实世界的应用程序部署的微小尺寸。RAGO在真实世界和合成数据集上的性能优于以前的传统和深度方法。代码可在https://github.com/sfu-gruvi-3dv/RAGO上获得
2022-12-14 cs.CV
HARA: A Hierarchical Approach for Robust Rotation Averaging
University of Zaragoza(萨拉戈萨大学)
我们提出了一种新的分层方法,多个旋转平均,被称为HARA。我们的方法增量式的旋转图的基础上的三元组支持的层次结构。其关键思想是通过优先考虑具有许多强三元组支持的边并逐渐添加具有较弱和较少支持的边来构建生成树。这降低了在生成树中添加离群值的风险。因此,我们得到了一个强大的初始解,使我们能够过滤离群值之前的非线性优化。通过最小的修改,我们的方法还可以集成有效的2D-2D对应的数量的知识。我们对合成和真实数据集进行了广泛的评估,展示了最先进的结果。
2022-03-29 cs.CV
Making Rotation Averaging Fast and Robust with Anisotropic Coordinate Descent
Chalmers University of Technology(查尔姆斯理工大学);Lund University(隆德大学)
本文提出一种基于各向异性坐标下降的快速鲁棒旋转平均方法,通过简化块坐标下降公式并集成到大规模流程中,在公开数据集上达到最先进性能。
2025-09-06 cs.CV
Certifiably Optimal Anisotropic Rotation Averaging
Lund University(隆德大学);Chalmers University of Technology(查尔姆斯理工大学)
针对现有旋转平均方法多聚焦各向同性场景、各向异性下全局优化困难的问题,提出可纳入各向异性代价的可证明最优旋转平均方法及更强松弛方案,在测试集上均能恢复全局最优,提升重建精度。
2025-09-01 cs.CV
Rotation Averaging and Strong Duality
Queensland University of Technology(昆士兰科技大学);Chalmers University of Technology(查尔姆斯理工大学);Lund University(隆德大学);The University of Adelaide(阿德莱德大学)
在本文中,我们探讨的作用,对偶原则的旋转平均,在广泛的计算机视觉应用的基本任务的问题。在其常规形式中,旋转平均被陈述为在多个旋转约束上的最小化。由于这些约束是非凸的,这个问题通常被认为是具有挑战性的全局解决。我们将展示如何规避这一困难,通过使用拉格朗日对偶。虽然这种方法是众所周知的,但通常不能保证提供紧松弛。基于谱图理论,我们分析证明,在许多情况下,没有对偶间隙,除非噪声水平严重。这使得我们能够在多项式时间内得到一类重要的非凸问题的可证明的全局解。我们还提出了一个有效的,可扩展的算法,优于通用的数值求解器,并能够处理大型问题的情况下,通常发生在运动恢复结构设置。这种方法的潜力被证明了一些不同的问题,包括合成和真实世界的数据。
2017-11-29 cs.CV
Monocular Rotational Odometry with Incremental Rotation Averaging and Loop Closure
School of Computer Science, University of Adelaide(阿德莱德大学计算机科学学院)
估计相机的绝对方位对于姿态估计任务是必不可少的。已建立的方法是首先执行视觉里程计(VO)或视觉SLAM(V-SLAM),并且从由VO或V-SLAM估计的相机姿态(6 DOF)检索相机取向(3 DOF)。除了在估计全6 DOF相机姿态中的冗余之外,该方法的一个缺点是由于对结构和运动的基本约束而对估计地图(3D场景点)连同6 DOF姿态的依赖性。为了简化绝对方向估计的任务,我们制定了单目旋转里程计问题,并设计了一个快速算法,以准确地估计相机的方向与2D-2D特征匹配单独。支撑我们的系统是一个新的增量旋转平均快速和恒定时间迭代更新方法。此外,我们的系统维护视图图,其1)允许求解环路闭合以移除相机定向漂移,以及2)可用于热启动V-SLAM系统。我们在真实世界的数据集上进行了大量的定量实验,以证明我们的增量相机方向求解器的准确性。最后,我们展示了我们的算法对V-SLAM的好处:1)解决已知的旋转问题来估计相机和周围地图的轨迹,以及2)使V-SLAM系统能够跟踪纯旋转运动。
2020-10-05 cs.CV
NeuRoRA: Neural Robust Rotation Averaging
The University of Adelaide(阿德莱德大学)
多旋转平均是运动恢复结构、映射和机器人导航的基本任务。我们的任务是估计几个摄像机的绝对方向给出了他们的一些嘈杂的相对方向测量。用于此任务的常规方法根据鲁棒成本函数寻求与所观察到的噪声测量最佳一致的绝对取向的参数。这些鲁棒的成本函数是高度非线性的,并且是基于关于噪声和离群值分布的某些假设而设计的。在这项工作中,我们的目标是建立一个神经网络,学习噪声模式的数据和预测/回归的模型参数从嘈杂的相对方向。所提出的网络是两个网络的组合:(1)视图图清理网络,其检测视图图中的离群边缘并校正噪声测量;以及(2)微调网络,其在单步的中微调从清理的图引导的绝对方向的初始化。该组合网络不仅速度快,而且在大量合成图上进行训练,比传统的迭代优化方法具有更高的精度。虽然用基于图的网络代替鲁棒优化方法的想法只在多次旋转平均中得到证明,但它可以很容易地扩展到其他基于图的几何问题,例如姿势图优化。
2020-07-28 cs.CV
Quantum Multiple Rotation Averaging
Max Planck Institute for Informatics, SIC(马克斯·普朗克信息研究所,SIC);University of Siegen(施普伦次大学)
本文提出IQARS算法,通过量子退火器解决多旋转平均问题,实现更高的旋转同步精度。
2026-02-10 cs.CV
On the Distribution of Minima in Intrinsic-Metric Rotation Averaging
Washington College(华盛顿学院);Cornell University(康奈尔大学)
旋转平均是一个非凸优化问题,它从3D场景的图像中确定相机集合的方向。这个问题已经研究了使用各种距离和鲁棒。SO(3)上的内在(或测地线)距离在几何上是有意义的;但是,虽然一些基于外在距离的求解器承认(有条件)保证正确性,但在内在度量下没有找到可比的结果。本文研究了局部极小点的空间分布。首先,我们做了一个新的实证研究来证明定性行为的急剧转变:随着问题变得越来越嘈杂,它们从一个单一的(容易找到的)占主导地位的最小值过渡到一个充满最小值的成本表面。在本文的第二部分,我们推导出一个理论界时,这种转变发生。本文推广了文[24]的结果,文[24]以局部凸性为代理来研究问题的难度。通过认识到潜在的商流形几何的问题,我们实现了n倍的改善,比以前的工作。顺便说一句,我们的分析还将先前的$l_2$工作扩展到一般的$l_p$成本。我们的研究结果表明,使用代数连接作为问题难度的指标。
2020-03-18 cs.CV
Gravity-aligned Rotation Averaging with Circular Regression
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软公司)
提出基于圆周回归的重力对齐旋转平均方法,将重力方向集成至全局SfM流程以提升相机朝向精度并减少自由度,在四个大规模数据集上实现SOTA精度且运行速度更快。
2024-10-16 cs.CV
Robust Motion Averaging under Maximum Correntropy Criterion
Xi’an Jiaotong University(西安交通大学);Kyushu Institute of Technology(九州工业大学)
近年来,运动平均方法被引入作为解决多视点配准问题的有效手段。该方法旨在从一组相对运动中恢复全局运动,其中原始方法由于在优化中使用Frobenius范数误差而对离群值敏感。因此,本文提出了一种基于最大相关熵准则(MCC)的鲁棒运动平均方法。具体地说,相关熵的措施,而不是利用Frobenius范数误差,以提高运动平均对离群值的鲁棒性。根据半二次技术,基于相关熵测度的优化问题可以通过交替最小化过程来解决,该过程包括权重分配和加权运动平均操作。此外,我们设计了一个自适应核宽度的选择策略,以利用相关熵。在基准数据集上的实验结果表明,该方法具有较高的配准精度和鲁棒性。
2020-05-10 cs.CV
Rotation Averaging: A Primal-Dual Method and Closed-Forms in Cycle Graphs
Carnegie Mellon University(卡内基梅隆大学);Institute for Systems and Robotics(系统与机器人研究所);Instituto Superior Técnico(高等技术学院)
针对非凸高维的旋转平均问题,本文从最大似然估计角度提出一种受谱初始化启发的原始-对偶方法,并刻画了环图拓扑中的驻点,经基准测试与对偶理论验证,显著提升了精度与性能。
2024-05-29 cs.CV cs.RO
HETA++: Global Structure-from-Motion with Hybrid Explicit Translation Averaging
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文针对全局运动结构重建中平移平均的挑战,提出混合显式平移平均框架,结合相对平移与特征轨迹,经多步处理估计相机位置和3D点,最后完整束调整,实验表明该方法在准确性、鲁棒性和可扩展性上优于现有方法。
2026-07-20 cs.CV
Revisiting and Exploring Efficient Fast Adversarial Training via LAW: Lipschitz Regularization and Auto Weight Averaging
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Alibaba Group(阿里巴巴集团);University of Oxford(牛津大学);Sun Yat-sen University(中山大学)
针对快速对抗训练易出现灾难性过拟合且现有技术对比不公平的问题,从模型局部非线性角度提出Lipschitz正则化与自动权重平均的FGSM-LAW方法,在四个基准上性能优于现有先进方法。
2023-08-22 cs.CV
Multiple Rotation Averaging with Constrained Reweighting Deep Matrix Factorization
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);University of California, Davis(加州大学戴维斯分校)
针对传统多旋转平均方法依赖人工噪声假设、现有学习类方法需标注的问题,提出结合深度矩阵分解、生成树边过滤、重加权及动态深度选择的无监督方法,兼具优化与学习类方法优势,经多数据集验证有效。
2024-09-15 cs.AI cs.CV cs.RO
Pushing the Envelope of Rotation Averaging for Visual SLAM
Temple University(天普大学);Amazon Web Services(亚马逊云科技);Stony Brook University(石溪大学)
作为运动恢复结构(SfM)和同时定位与地图构建(SLAM)系统的重要组成部分,运动平均技术在过去几年中得到了广泛的研究,并继续吸引着越来越多的研究关注。虽然在大多数最先进的SLAM系统中主要继承了诸如光束法平差的规范方法来估计和更新机器人导航中的轨迹,但是光束法平差在SLAM系统中的实际实现本质上受到高计算复杂性、不可靠的收敛和理想初始化的严格要求的限制。在本文中,我们解除了这些限制,并提出了一种新的优化骨干视觉SLAM系统,我们利用旋转平均,以提高传统的单目SLAM管道的准确性,效率和鲁棒性。在我们的方法中,我们首先解耦的旋转和平移参数的相机刚体变换和转换的高维非凸非线性问题转化为易于处理的线性子问题在较低的维度,并表明,子问题可以独立地解决适当的约束。我们在姿态图优化中应用具有$l_1$范数的尺度参数来解决旋转平均对离群值的鲁棒性。我们进一步验证了我们提出的方法的全局最优性,重新审视和解决初始化方案,纯旋转场景处理和离群值处理。我们证明,我们的方法可以表现出高达10倍的速度与可比的准确性对最先进的公共基准。
2020-11-02 cs.CV cs.RO
MGSfM: Multi-Camera Geometry Driven Global Structure-from-Motion
本文提出MGSfM全局SfM框架,通过解耦旋转平均和混合平移平均提升多相机系统鲁棒性与效率,在大规模数据集上达到或超过增量式SfM精度。
2025-07-04 cs.CV
Robust Single Rotation Averaging Revisited
I3A, University of Zaragoza(萨拉戈萨大学I3A研究所)
针对高外点比例下的单次旋转平均问题,提出最小化 TLUD 成本的三阶段算法,结合弦偏差初始化与 $SO(3)$ 上的 Weiszfeld 迭代,在足够准确内点时可耐受高达 99% 外点并超越现有方法。
2024-09-10 cs.CV cs.RO
EAR-Net: Pursuing End-to-End Absolute Rotations from Multi-View Images
State Key Laboratory of Multimodel Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(脑科学与智能技术卓越创新中心,中国科学院)
研究从多视图图像估计绝对旋转问题,提出EAR-Net方法,由极线置信图构建模块和置信感知旋转平均模块组成,能有效处理异常情况,实验表明该方法在准确性和速度上优于现有方法。
2026-07-22 cs.CV
Probabilistic Regression of Rotations using Quaternion Averaging and a Deep Multi-Headed Network
University of Toronto(多伦多大学)
旋转的准确估计对于增强现实和机器人中基于视觉的运动估计是至关重要的。在这项工作中,我们提出了一种从深度回归模型中提取旋转概率估计的方法。首先,我们建立在以前的工作,并认为我们命名为HydraNet的多头网络结构提供了更好的校准不确定性估计比依赖于随机向前传递的方法。其次,我们将HydraNet扩展到属于旋转组SO(3)的目标,通过回归单位四元数并使用旋转平均和不确定性注入到流形上的工具来产生三维协方差。最后,我们提出了一个合成数据集的结果和分析,学习一致的方向估计的7场景数据集,并显示我们如何使用我们学到的协方差融合深度估计的相对方向与经典的立体视觉里程计,以提高本地化的KITTI数据集。
2020-05-08 cs.CV cs.LG cs.RO
ART-Point: Improving Rotation Robustness of Point Cloud Classifiers via Adversarial Rotation
Peking University(北京大学);JD Explore Academy(京东探索研究院)
具有旋转鲁棒性的点云分类器在3D深度学习社区中得到了广泛讨论。大多数方法要么使用旋转不变描述符作为输入,要么尝试设计旋转等变网络。然而,由于对原始分类器或输入空间的修改,由这些方法生成的鲁棒模型在干净对齐的数据集下具有有限的性能。在这项研究中,我们首次证明了点云分类器的旋转鲁棒性也可以通过对抗训练来获得,在旋转和干净的数据集上都有更好的性能。具体来说,我们提出的名为ART-Point的框架将点云的旋转视为攻击,并通过在具有对抗旋转的输入上训练分类器来提高旋转鲁棒性。我们贡献了一个轴向旋转攻击,它使用预训练模型的反向传播梯度来有效地找到对抗性旋转。为了避免模型对对抗性输入的过度拟合,我们构建了旋转池,利用样本之间对抗性旋转的可转移性来增加训练数据的多样性。此外,我们提出了一个快速的一步优化,有效地达到最终的鲁棒模型。实验表明,我们提出的旋转攻击实现了很高的成功率和ART-Point可以用于大多数现有的分类器,以提高旋转鲁棒性,同时表现出更好的性能比国家的最先进的方法在干净的数据集。
2022-03-08 cs.CV
Resolving Marker Pose Ambiguity by Robust Rotation Averaging with Clique Constraints
The University of Adelaide(阿德莱德大学);University of Tsukuba(筑波大学)
平面标记在机器人和计算机视觉中用于映射和定位。给定图像中检测到的标记,常见的任务是估计标记相对于相机的6DOF姿态,这是平面姿态估计(PPE)的实例。虽然有成熟的技术,PPE遭受一个基本的模糊性问题,因为可能有一个以上的合理姿态解决方案的PPE实例。特别是当标记角的定位有噪声时,通常难以单独基于重投影误差来消除姿态解的歧义。以前的方法使用启发式标准在可能的解决方案之间进行选择,或者简单地忽略模糊的标记。我们建议通过检查一组标记在多个视图中的位置来解决歧义。我们的具体贡献包括一个新的旋转平均配方,采用了可能的标记定位解决方案,从PPE的模糊性之间的长期依赖关系。我们分析了问题的组合复杂性,并开发了一种新的提升算法来有效地解决标记姿态模糊,而不丢弃任何标记观察。真实和合成数据的结果表明,我们的方法能够处理高度模糊的输入,并提供更准确和/或完整的基于标记的映射和定位。
2019-09-26 cs.CV cs.RO
Weighted Motion Averaging for the Registration of Multi-View Range Scans
Xi’an Jiaotong University(西安交通大学);University of North Carolina at Charlotte(夏洛特北卡罗来纳大学);Northwest University(西北大学)
多视图配准是三维重建和机器人视觉中的一个基本而又具有挑战性的问题。虽然原始的运动平均算法已经被引入作为解决多视图配准问题的有效手段,但它没有考虑每个相对运动的可靠性和准确性。因此,本文提出了一种新的运动平均多视点配准算法。该算法首先利用逐对配准算法估计具有一定重叠度的扫描对的相对运动和重叠百分比。在已知重叠百分比的情况下,将重叠百分比作为每个扫描对的权值,提出了加权运动平均算法,该算法能够更加关注可靠、准确的相对运动。通过区别对待每个相对运动,可以通过将加权运动平均应用于多视图范围扫描来实现更准确的配准。实验结果表明,我们提出的方法相比,国家的最先进的方法在准确性,鲁棒性和效率的优越性。
2017-04-09 cs.CV
Robust Motion Averaging for Multi-view Registration of Point Sets Based Maximum Correntropy Criterion
Tianjin University(天津大学)
运动平均(MA)算法作为解决多视点配准问题的一种有效算法,得到了广泛的研究,并提出了许多基于MA的配准算法。它们的目标是从相对运动中恢复全局运动,并利用信息冗余来平均累积误差。然而,这些方法的一个特点是,他们使用高斯-牛顿方法来解决全局运动增量的最小二乘问题,这可能会导致效率低,对离群点的鲁棒性差。在本文中,我们提出了一种新的运动平均框架的多视图注册与拉普拉斯核为基础的最大相关熵准则(LMCC)。利用李代数运动框架和相关熵测度,我们提出了一个新的成本函数,考虑到相对运动提供的所有约束。获得用于校正全局运动的增量可以进一步被公式化为旨在最大化成本函数的优化问题。借助于二次技术,优化问题可以通过分成两个子问题来解决,即,根据当前残差计算每个相对运动的权重,并为下一次迭代中的增量求解二阶锥规划问题(SOCP)。我们还提供了一种新的策略,用于确定内核的宽度,确保我们的方法可以有效地利用信息冗余提供的相对运动中存在许多离群值。最后,我们将所提出的方法与其他基于MA的多视图配准方法进行了比较,以验证其性能。对合成数据和真实数据的实验测试表明,我们的方法在效率,准确性和鲁棒性方面取得了优异的性能。
2022-08-24 cs.CV
Rotation Perturbation Robustness in Point Cloud Analysis: A Perspective of Manifold Distillation
Shanghai Jiao Tong University(上海交通大学);Shanghai Key Laboratory of Intelligent Sensing and Recognition(上海智能感知与识别重点实验室);School of Sensing Science and Engineering(感知科学与工程学院);Intelligent Photoelectric Sensing Institute(智能光电感知研究院)
针对点云学习对旋转扰动敏感的问题,本文从流形视角重新建模点云,提出流形蒸馏方法,通过教师网络在线蒸馏将旋转鲁棒性迁移给学生网络,在多数据集上实现了分类与分割性能的显著提升,且具备优异的抗噪抗离群点能力。
2024-11-04 cs.CV
Evaluating 3D Shape Analysis Methods for Robustness to Rotation Invariance
Simon Fraser University(西蒙弗雷泽大学)
本文通过构建旋转三维物体实例检测任务,系统评估了多种三维形状描述子对SO(3)旋转的鲁棒性,发现深度旋转不变方法在简单场景有效但在大旋转差异、低观测度和高难度样本下性能显著下降,并揭示了特征编码与三维几何的联系。
2023-05-29 cs.CV
PRAGO: Differentiable Multi-View Pose Optimization From Objectness Detections
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);Pattern Analysis and Computer Vision (PAVIS)(模式分析与计算机视觉实验室)
针对小规模稀疏相机位姿图的可微估计难题,提出PRAGO方法,利用目标性检测精化旋转平均,在7-Scenes上旋转误差相对降低21%。
2024-03-15 cs.CV
RIDE: Boosting 3D Object Detection for LiDAR Point Clouds via Rotation-Invariant Analysis
Huazhong University of Science and Technology(华中科技大学)
本文提出 RIDE,通过设计互补的双特征提取器(物体感知特征与旋转不变特征)并将其融入现有 3D 检测器,显著提升了 LiDAR 点云 3D 目标检测的性能与旋转鲁棒性。
2024-08-29 cs.CV
SPE-Net: Boosting Point Cloud Analysis via Rotation Robustness Enhancement
JD Explore Academy(京东探索研究院)
在本文中,我们提出了一种新的深度架构为3D点云应用程序量身定制,命名为SPE-Net。嵌入的“选择性位置编码(SPE编码)”过程依赖于一个注意力机制,该机制可以有效地注意输入的潜在旋转条件。然后,这种编码的旋转条件决定了要关注的网络参数的哪一部分,并且被证明可以有效地帮助减少训练期间优化的自由度。此后,这种机制可以通过降低训练难度来更好地利用旋转增强,使SPE-Net在训练和测试过程中对旋转数据具有鲁棒性。本文的新发现也促使我们重新思考提取的旋转信息与实际测试精度之间的关系。有趣的是,我们揭示的证据表明,通过本地编码的旋转信息,通过SPE-Net,旋转不变的功能仍然是至关重要的,有利于测试样本没有任何实际的全球旋转。我们实证证明了SPE网络的优点和相关的假设在四个基准测试,旋转和旋转的测试数据在SOTA方法的显着改善。源代码可在https://github.com/ZhaofanQiu/SPE-Net上获得。
2022-11-15 cs.CV
Multi-Irreducible Spectral Synchronization for Robust Rotation Averaging
Northeastern University(东北大学);University of Chicago(芝加哥大学)
本文提出一种基于紧群调和分析与截断傅里叶分解的多不可约谱同步方法,用于鲁棒旋转平均,无需初始化且可结合任意光滑损失函数,并给出与测量图性质相关的显式性能保证。
2023-11-28 cs.CV math.GR math.OC
Learnable Gabor modulated complex-valued networks for orientation robustness
Swansea University(斯旺西大学);Université de Toulon(土伦大学);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);Université de Strasbourg(斯特拉斯堡大学)
在许多计算机视觉任务中,考虑到输入数据经常表现出姿态变化,对变换的鲁棒性是期望的。虽然平移不变性和等变性是CNN的一种记录现象,但通常通过数据增强来鼓励对其他转换的敏感性。我们研究了用学习的Gabor滤波器调制复值卷积权重以实现方向鲁棒性。由此产生的网络可以生成方向相关的功能免费插值与一组可学习的旋转控制参数。通过选择保留或池定向通道,可以直接控制等变性与不变性的选择。此外,我们通过提出的循环Gabor卷积引入旋转权重绑定,进一步实现旋转的推广。我们将这些创新结合到可学习的Gabor卷积网络(LGCN)中,这些网络具有参数效率,并提供了更高的模型复杂性。我们证明了它们的旋转不变性和等变性MNIST,BSD和模拟和真实的天文图像的银河卷云数据集。
2021-10-05 cs.CV
Parallel Structure from Motion from Local Increment to Global Averaging
The Hong Kong University of Science and Technology(香港科技大学)
在本文中,我们解决了准确和一致的运动恢复结构(SfM)的问题,特别是摄像机配准,远远超过了一台计算机的并行存储器。不同于以往的方法,大大简化了参数的SfM和牺牲最终重建的准确性,我们试图保持相机之间的连通性,提出了一种相机聚类算法,将一个大的SfM问题分成较小的子问题的相机集群重叠。然后,我们利用一个混合配方,适用于相对构成局部增量SfM到一个全球运动平均框架,并产生准确和一致的全球相机构成。我们在相机集群方面的可扩展公式非常适用于整个SfM管道,包括轨道生成,局部SfM,3D点三角测量和光束法平差。我们甚至能够重建包含超过一百万个高分辨率图像的城市规模数据集的相机姿态,并在基准,互联网和连续数据集上进行了评估,具有卓越的准确性和鲁棒性。
2017-06-05 cs.CV
Solving Viewing Graph Optimization for Simultaneous Position and Rotation Registration
University of Tehran(德黑兰大学);Institute of Research in Fundamental Sciences (IPM)(基础科学研究所(IPM))
查看图是一组未知的相机姿势(作为顶点)和观察到的相对运动(作为边)。求解视图图是从运动恢复结构过程中的重要步骤,其中从2D图像的集合获得一组相对运动。文献中的几乎所有方法都通过旋转平均过程单独求解旋转,并将其用于求解位置。获得位置是具有挑战性的部分,因为平移观测只能告诉运动的方向。当边缘集包括近端和远端相机之间的成对平移观察时,它变得更具挑战性。本文提出了一种克服这些问题的迭代法。同时提出了一种同时获得旋转和位置的方法。实验结果表明,国家的最先进的性能所提出的方法。
2021-08-29 cs.CV
On the Tightness of Semidefinite Relaxations for Rotation Estimation
Chalmers University of Technology(查尔姆斯理工大学);ETH Zurich(苏黎世联邦理工学院);Lund University(隆德大学)
为什么半定松弛在计算机视觉和机器人学中的许多应用中如此成功,用于解决涉及旋转的非凸优化问题?在研究的经验表现,我们注意到,有几个失败的情况下,在文献中报道,特别是一个单一的旋转估计问题,激励我们获得进一步的理论理解。基于代数几何工具,提出了一个分析二次目标函数和旋转约束问题半定松弛幂的一般框架。应用包括注册,手眼校准和旋转平均。我们的特点的极端点,并表明,存在故障的情况下,放松是不紧,即使在一个单一的旋转的情况下。我们还表明,一些问题类总是紧给定一个适当的参数化。我们的理论研究结果伴随着数值模拟,提供进一步的证据和理解的结果。
2021-09-06 cs.CV
Bias Detection and Rotation-Robustness Mitigation in Vision-Language Models and Generative Image Models
Hofstra University(霍夫斯特拉大学)
本文提出旋转鲁棒缓解策略,通过数据增强、表征对齐和模型正则化,提升视觉-语言和生成图像模型在旋转和分布偏移下的鲁棒性和公平性。
2026-01-09 cs.AI cs.CV
Robustness of Rotation-Equivariant Networks to Adversarial Perturbations
Rakuten Institute of Technology Paris(乐天技术研究院巴黎分院)
深度神经网络已被证明容易受到对抗性示例的影响:输入的非常小的扰动对预测产生巨大影响。已经提出了大量的对抗攻击和距离度量来量化自然图像和对抗图像之间的相似性,最近扩大了对抗示例的范围,其中几何变换超出了像素攻击。在这种情况下,我们研究了新的卷积神经网络架构提供等方差旋转对抗攻击的鲁棒性。我们发现,在MNIST、CIFAR-10和ImageNet数据集中,旋转等变网络比常规网络更不容易受到基于几何的攻击。
2018-05-17 cs.CR cs.CV cs.LG
SI-Score: An image dataset for fine-grained analysis of robustness to object location, rotation and size
Google Research, Brain Team(谷歌研究院,大脑团队)
在部署机器学习模型之前,评估其鲁棒性至关重要。在用于图像理解的深度神经网络的上下文中,改变对象位置、旋转和大小可能以非平凡的方式影响预测。在这项工作中,我们执行一个细粒度的分析,这些因素的变化使用SI分数,一个合成数据集的鲁棒性。特别是,我们研究了ResNets,视觉Transformer和CLIP,并确定了它们之间有趣的定性差异。
2021-04-09 cs.AI cs.CV cs.LG
Representation Theoretic Patterns in Multi-Frequency Class Averaging for Three-Dimensional Cryo-Electron Microscopy
University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chicago(芝加哥大学)
我们在本文中开发了一种新的内在分类算法-多频类平均(MFCA)-分类噪声投影图像从三维冷冻电子显微镜(cryo-EM)之间的相似性,他们的观察方向。这种新算法利用酉群的多个不可约表示将额外的冗余引入到最优平面内旋转对准的表示中,扩展并优于仅使用单个表示的现有类平均算法。所提出的MFCA算法的形式代数模型和表示理论模式将Hadani和Singer的框架扩展到酉群的任意不可约表示。通过Wigner $D$ -矩阵的透镜,考察了广义局域平行输运算子的谱性质,在概念上建立了MFCA的一致性和稳定性.我们证明了所提出的算法的有效性与数值实验。
2021-07-05 cs.CV eess.IV math.FA
UniBEV: Multi-modal 3D Object Detection with Uniform BEV Encoders for Robustness against Missing Sensor Modalities
TU Delft(代尔夫特理工大学)
本文提出 UniBEV,通过统一 BEV 编码器和加权平均融合,使多模态 3D 检测器无需重训即可稳健处理 LiDAR、相机或二者组合输入。
2024-05-08 cs.CV cs.RO
Robustness of Similarity-based Positional Encoding Under Rotations: Theoretical Analysis and Experimental Validation
Computer Science Institute, DiSIT, University of Piemonte Orientale, Alessandria, Italy(皮埃蒙特东方大学计算机科学研究所,DiSIT,亚历山德里亚,意大利)
本文理论分析并实验验证了基于相似性的位置编码(simPE)在旋转扰动下的稳定性,证明其在Frobenius范数下具有有界扰动,并在多个数据集上优于标准位置编码。
2026-06-17 cs.AI cs.CV
The Devils in the Point Clouds: Studying the Robustness of Point Cloud Convolutions
Oregon State University(俄勒冈州立大学)
最近,人们对在不规则采样点云上执行卷积产生了极大的兴趣。由于点云与常规光栅图像有很大的不同,因此必须更密切地研究卷积网络的泛化,特别是它们在输入数据的尺度和旋转变化下的鲁棒性。本文研究了点云卷积网络PointConv的不同变体,以检查它们对输入比例和旋转变化的鲁棒性。在我们探索的变体中,有两个是新颖的,并产生了显着的改进。第一种是用更简单的三次多项式代替基于多层感知器的权重函数,以及Sobolev范数正则化。其次,对于3D数据集,除了常规的3D坐标外,我们还利用3D几何属性作为PointConv的输入,推导出一种新的视点不变描述符。我们还探讨了激活函数、邻域和子采样方法的选择。在2D MNIST和CIFAR-10数据集以及3D SemanticKITTI和ScanNet数据集上进行了实验。结果表明,在2D上,使用三次多项式大大提高了PointConv对尺度变化和旋转的鲁棒性,甚至超过了MNIST数据集的传统2D CNN。在3D数据集上,新的视点不变描述符显着提高了PointConv的性能和鲁棒性。我们在SemanticKITTI数据集上实现了最先进的语义分割性能,并且在基于点的方法中与ScanNet数据集上当前最高框架的性能相当。
2021-01-28 cs.CV cs.LG
Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time
University of Washington(华盛顿大学);Columbia University(哥伦比亚大学);Google Research(谷歌研究院);Meta AI Research(Meta人工智能研究院);Tel Aviv University(特拉维夫大学)
最大化模型精度的传统方法是(1)用各种超参数训练多个模型,(2)挑选在保留的验证集上表现最好的单个模型,丢弃其余的。在本文中,我们在微调大型预训练模型的背景下重新审视了这一过程的第二步,其中微调的模型通常位于单个低误差盆地中。我们表明,平均多个模型的权重微调不同的超参数配置往往提高了准确性和鲁棒性。与传统的集成不同,我们可以平均许多模型,而不会产生任何额外的推理或内存成本-我们称结果为“模型汤”。“当微调大型预训练模型时,如CLIP,ALIGN和在JFT上预训练的ViT-G,我们的汤配方在ImageNet上的超参数扫描中提供了比最佳模型的显着改进。由此产生的ViT-G模型在ImageNet上达到了90.94%的top-1准确率,达到了最新的技术水平。此外,我们还展示了模型汤方法扩展到多个图像分类和自然语言处理任务,提高了分布外性能,并提高了新下游任务的zero-shot性能。最后,我们分析了加权平均和logit集成的性能相似性的损失和信心的预测的平坦度,并验证这种关系的经验。代码可在https://github.com/mlfoundations/model-soups上获得。
2022-07-01 cs.CL cs.CV cs.LG
Exploring the Landscape of Spatial Robustness
MIT(麻省理工学院)
对抗鲁棒性的研究主要集中在p-范数约束的扰动上。然而,最先进的模型也容易受到其他更自然的扰动,如平移和旋转。在这项工作中,我们彻底调查的脆弱性神经网络-基于分类旋转和平移。虽然数据增强提供了相对较小的鲁棒性,我们使用鲁棒优化和测试时输入聚合的想法,以显着提高鲁棒性。最后,我们发现,在p-范数的情况下,一阶方法不能可靠地找到最坏情况下的扰动。这突出了空间鲁棒性作为一个根本不同的设置,需要额外的研究。代码可在https://github.com/MadryLab/adversarial_spatial和https://github.com/MadryLab/spatial-pytorch上获得。
2019-09-16 cs.CV cs.LG cs.NE