Learning Unorthogonalized Matrices for Rotation Estimation
National University of Singapore(新加坡国立大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei International Pte Ltd(华为国际私人有限公司)
本文提出学习非正交化的伪旋转矩阵PRoM,通过去除正交化步骤加速训练并提升精度,在人体姿态估计基准上取得最优结果。
2023-12-01 cs.CV
Joint Hand Detection and Rotation Estimation by Using CNN
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Princeton University(普林斯顿大学);Simon Fraser University(西蒙菲莎大学);Beijing Normal University(北京师范大学)
手部检测对于许多手部相关的任务是必不可少的,例如解析手部姿势、理解手势,这对于机器人和人机交互是非常有用的。然而,由于手腕关节的灵活性和杂乱的背景,在不受控制的环境中的手检测是具有挑战性的。我们提出了一种基于深度学习的方法,该方法同时检测手并在监督下校准平面内旋转。为了保证召回率,我们提出了一个上下文感知的建议生成算法,显着优于选择性搜索。然后,我们设计了一个卷积神经网络(CNN),它显式地处理对象旋转,以联合解决目标检测和旋转估计任务。实验表明,我们的方法取得了更好的结果比国家的最先进的检测模型上广泛使用的基准,如牛津和Egohands数据库。我们进一步表明,旋转估计和分类可以相互受益。
2016-12-08 cs.CV
Towards Rotation-only Imaging Geometry: Rotation Estimation
Shanghai Key Laboratory of Navigation and Location-based Services, School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海导航与位置服务重点实验室,电子信息与电气工程学院,上海交通大学)
本文针对SfM任务,延续仅位姿成像几何思路,推导得出平移可由旋转表示的结论,提出基于重投影误差的纯旋转优化框架,在双视图与多视图场景下旋转估计精度与鲁棒性优于现有方法,性能可比肩多次光束平差结果。
2025-11-16 cs.CV
Extreme Rotation Estimation in the Wild
Tel Aviv University(特拉维夫大学);Cornell University(康奈尔大学)
提出基于Transformer的方法和ExtremeLandmarkPairs数据集,用于估计野外极端视角互联网图像对的相对三维旋转,优于现有基线。
2025-02-25 cs.CV
OSRE: Object-to-Spot Rotation Estimation for Bike Parking Assessment
Shenzhen University(深圳大学);Southwest Jiaotong University(西南交通大学)
当前的深度模型在对象分类和定位方面提供了显著的目标检测。然而,估计对象旋转相对于其他视觉对象在视觉环境中的输入图像仍然缺乏深入的研究,由于旋转注释的对象数据集的不可用性。本文解决这两个挑战,以解决旋转估计的停放自行车相对于其停车区。首先,我们利用3D图形的强大功能来构建一个与相机无关的注释良好的合成自行车旋转数据集(SynthBRSet)。然后,我们提出了一个对象到点旋转估计(OSRE)通过扩展的目标检测任务,进一步回归的自行车旋转在两个轴。由于我们的模型纯粹是在合成数据上训练的,因此在将其部署到真实图像上时,我们采用了图像平滑技术。建议OSRE的合成和真实世界的数据进行评估,提供有前途的结果。我们的数据和代码可在\href{https://github.com/saghiralfasly/OSRE-Project}{https://github.com/saghiralfasly/OSRE-Project}上获得。
2023-03-01 cs.CV
Rotation-invariant Mixed Graphical Model Network for 2D Hand Pose Estimation
University of California, Irvine(加州大学欧文分校);Tencent Hippocrates Research Lab(腾讯希波克拉底研究实验室)
在本文中,我们提出了一个新的架构命名为旋转不变的混合图形模型网络(R-MGMN),以解决从单目RGB图像的二维手势估计的问题。通过整合旋转网络,R-MGMN是不变的图像中的手的旋转。它还有一个图形模型池,可以根据输入图像选择图形模型的组合。分别对每个图形模型进行置信度传播,生成一组边缘分布,作为手部关键点位置的置信度图。通过将这些置信图聚合在一起来获得最终置信图。我们在两个公共手部姿势数据集上评估R-MGMN。实验结果表明,我们的模型优于国家的最先进的算法,这是广泛使用的二维手势估计的显着保证金。
2020-02-05 cs.CV
On the Tightness of Semidefinite Relaxations for Rotation Estimation
Chalmers University of Technology(查尔姆斯理工大学);ETH Zurich(苏黎世联邦理工学院);Lund University(隆德大学)
为什么半定松弛在计算机视觉和机器人学中的许多应用中如此成功,用于解决涉及旋转的非凸优化问题?在研究的经验表现,我们注意到,有几个失败的情况下,在文献中报道,特别是一个单一的旋转估计问题,激励我们获得进一步的理论理解。基于代数几何工具,提出了一个分析二次目标函数和旋转约束问题半定松弛幂的一般框架。应用包括注册,手眼校准和旋转平均。我们的特点的极端点,并表明,存在故障的情况下,放松是不紧,即使在一个单一的旋转的情况下。我们还表明,一些问题类总是紧给定一个适当的参数化。我们的理论研究结果伴随着数值模拟,提供进一步的证据和理解的结果。
2021-09-06 cs.CV
A Laplace-inspired Distribution on SO(3) for Probabilistic Rotation Estimation
Peking University(北京大学)
从单个RGB图像估计3DoF旋转是一个重要但具有挑战性的问题。概率旋转回归因其在预测的同时能够表达不确定性信息而受到越来越多的关注。虽然使用类高斯Bingham分布和矩阵Fisher分布建模噪声是自然的,但是由于对偏差的二次惩罚的性质,它们被示出对离群值敏感。本文从多变量Laplace分布中得到启发,提出了一种新的SO(3)上的旋转Laplace分布.旋转拉普拉斯分布对野值的干扰具有很强的鲁棒性,并在低误差区域施加更大的梯度,从而获得更好的收敛性。我们广泛的实验表明,我们提出的分布在概率和非概率基线上实现了旋转回归任务的最新性能。我们的项目页面位于https://pku-epic.github.io/RotationLaplace。
2023-03-03 cs.CV
VI-Net: Boosting Category-level 6D Object Pose Estimation via Learning Decoupled Rotations on the Spherical Representations
South China University of Technology(华南理工大学);DexForce Technology Co. Ltd.(德擎科技有限公司);Hong Kong Polytechnic University(香港理工大学)
针对6D姿态估计中SO(3)空间旋转学习难的问题,提出VI-Net将旋转解耦为视点与平面内旋转,基于SPA-SConv构建球面特征金字塔实现等变特征提取,在类别级6D姿态估计任务上精度大幅超越现有方法。
2023-08-19 cs.CV
Efficient Relative Pose Estimation for Cameras and Generalized Cameras in Case of Known Relative Rotation Angle
South Ural State University(南乌拉尔国立大学);TrunkTech Co., Ltd.(创科有限公司)
我们提出了两个最小的解决方案的问题的相对姿态估计(i)校准相机从四个点在两个视图和(ii)校准广义相机从五个点在两个视图。在这两种情况下,假设视图之间的相对旋转角度是已知的。在实践中,这样的角度可以从3d陀螺仪的读数导出。我们表示的单位四元数的运动的旋转部分,以构建多项式方程编码的极线约束。然后使用格罗布纳基技术来有效地导出解决方案。我们的第一个常规相机求解器显著改进了现有的最先进的解决方案。广义相机的第二个求解器是新颖的。所提出的最小解算器可以用于假设和测试架构,如RANSAC可靠的姿态估计。在合成数据集和真实数据集上的实验表明,我们的算法是数值稳定,快速和鲁棒的。
2019-01-31 cs.CV
Extreme Rotation Estimation using Dense Correlation Volumes
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
我们提出了一种技术,用于估计的RGB图像对在极端的设置,其中的图像有很少或没有重叠的相对3D旋转。我们观察到,即使图像不重叠,也可能有丰富的隐藏线索,它们的几何关系,如光源方向,消失点,和对称性存在于场景中。我们提出了一个网络设计,可以通过比较两个输入图像之间的所有点对来自动学习这种隐式提示。因此,我们的方法构建密集的特征相关体积,并处理这些来预测相对的3D旋转。我们的预测是在旋转的细粒度离散化上形成的,绕过了与回归3D旋转相关的困难。我们在各种极端RGB图像对上展示了我们的方法,包括在不同光照条件和地理位置下捕获的室内和室外图像。我们的评估表明,我们的模型可以成功地估计非重叠图像之间的相对旋转,而不会影响重叠图像对的性能。
2021-07-19 cs.CV
Deep Projective Rotation Estimation through Relative Supervision
Carnegie Mellon University(卡内基梅隆大学)
方向估计是各种视觉和机器人任务的核心,例如相机和物体姿态估计。深度学习提供了一种开发基于图像的方向估计器的方法;然而,这种估计器通常需要在大型标记数据集上进行训练,这可能是时间密集型的收集。在这项工作中,我们探索是否可以使用来自未标记数据的自监督学习来缓解这个问题。具体而言,我们假设访问相邻姿态之间的相对取向的估计,使得可以经由局部对准方法来获得。虽然自监督学习已成功用于平移对象关键点,但在这项工作中,我们表明,由于旋转空间的非凸性,天真地将相对监督应用于旋转群$SO(3)$通常无法收敛。为了解决这一挑战,我们提出了一种新的算法的自我监督的方向估计,利用修改罗德里格斯参数立体投影$SO(3)$的封闭流形的开放流形的$\mathbb{R}^{3}$,允许优化在一个开放的欧几里德空间。我们在两种设置中经验性地验证了所提出的用于旋转平均问题的算法的益处:(1)直接优化旋转参数,以及(2)优化从图像预测对象方向的卷积神经网络的参数。在这两种设置中,我们表明,我们提出的算法是能够收敛到一个一致的相对取向帧比纯粹的操作在$SO(3)$空间的算法快得多。更多信息可以在https://sites.google.com/view/deep-projective-rotation/home上找到。
2022-11-21 cs.CV
FS-Net: Fast Shape-based Network for Category-Level 6D Object Pose Estimation with Decoupled Rotation Mechanism
University of Birmingham(伯明翰大学);Shenzhen University(深圳大学)
在本文中,我们专注于类别级的6D姿态和大小估计从单目RGB-D图像。以往的方法存在类别级姿态特征提取效率低的问题,导致精度和推理速度较低。为了解决这个问题,我们提出了一个快速的形状为基础的网络(FS网)与有效的类别级特征提取的6D姿态估计。首先,我们设计了一个方向感知的自动编码器与三维图形卷积的潜在特征提取。由于3D图形卷积的移位和尺度不变性,所学习的潜在特征对点移位和对象大小不敏感。然后,为了有效地从潜在特征中解码类别级旋转信息,我们提出了一种新的解耦旋转机制,该机制采用两个解码器来互补地访问旋转信息。同时,我们通过两个残差来估计平移和大小,这两个残差分别是对象点的平均值与地面真实平移之间的差,以及类别的平均大小与地面真实大小之间的差。最后,为了提高FS-Net的泛化能力,我们提出了一种基于在线盒笼的3D变形机制来增加训练数据。在两个基准数据集上的大量实验表明,该方法在类别级和实例级6D对象姿态估计方面都达到了最先进的性能。特别是在类别级姿态估计中,在没有额外的合成数据的情况下,我们的方法在NOCS-REAL数据集上比现有方法提高了6.3%。
2021-06-06 cs.CV
Efficient Rotation-Scaling-Translation Parameters Estimation Based on Fractal Image Model
National Aerospace University(国立航空航天大学);University of Rennes 1(雷恩第一大学)
研究了基于旋转-等距缩放-平移变换假设的亚像素图像配准问题。我们的方法是基于几何变换纹理图像片段的参数化建模和它们之间的变换向量的最大似然估计。由于基于局部碎片纹理的分数布朗运动建模的参数化方法,所提出的估计MLfBm(ML代表“最大似然”,fBm代表“分形布朗运动”)与依赖于通用相似性度量如互信息或归一化相关性的其他方法相比具有更好地适应真实图像纹理内容的能力。当fBm模型的基本假设完全满足时,例如对于具有固定增量的各向同性正态分布纹理,观察到主要益处。仿真和真实图像以及注册图像之间的高相关性和弱相关性的实验表明,与其他最先进的方法相比,MLfBm估计器提供了显着的改进。它将平移矢量、旋转角度和比例因子估计误差减少了约1.75倍。2,它降低了高达5倍的错误匹配的概率。此外,MLfBm估计的准确的置信区间可以得到的Cramer-Rao下界的旋转-缩放-平移参数估计误差。这个界限取决于纹理粗糙度,参考和模板图像中的噪声水平,这些图像和几何变换参数之间的相关性。
2015-07-04 cs.CV
Towards Robust and Unconstrained Full Range of Rotation Head Pose Estimation
Otto-von-Guericke University(奥托·冯·格里克大学)
针对全范围旋转头部姿态估计问题,提出基于连续6D旋转矩阵表示和测地线损失的无约束端到端方法,显著提升了预测范围与性能并开源代码。
2023-09-14 cs.CV
Occlusion-Invariant Rotation-Equivariant Semi-Supervised Depth Based Cross-View Gait Pose Estimation
Imperial College London(伦敦帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
从深度图像中准确估计三维人体骨骼可以为医疗保健应用提供重要的度量,特别是对于生物力学步态分析。然而,存在与从单个视图捕获的深度图像相关联的固有问题。收集的数据受到遮挡的影响很大,只能记录部分表面数据。此外,人体的深度图像表现出异构的特点与视点的变化,估计的姿态在局部坐标系下,预计将经历等变旋转。大多数现有的姿态估计模型对这两个问题都很敏感。为了解决这个问题,我们提出了一种新的方法,交叉视图的泛化与闭塞不变的半监督学习框架上建立一个新的旋转等变骨干。我们的模型使用来自单个视图的真实数据和来自多个视图的未标记合成数据进行训练。它可以很好地概括来自所有其他不可见视图的真实世界数据。与其他最先进的方法相比,我们的方法在ICL-Gait数据集上的步态分析方面表现出了卓越的性能,并且它可以在ITOP数据集上产生比其提供的“地面实况”更令人信服的关键点。
2021-09-03 cs.CV
Local SVD-Entropy Maps as a Complementary Structural Representation for Full-Reference and No-Reference Image Quality Assessment
Institute of Physics and Technology, Petrozavodsk State University(彼得罗扎沃茨克国立大学物理技术学院)
提出基于局部SVD熵的HSVD图作为IQA补充结构表示,与SSIM结合提升全参考(SRCC 0.618→0.659)和无参考(0.528→0.575)性能,且无需原始参考。
2026-09-24 cs.CV cs.MM eess.IV
Accelerating Outlier-robust Rotation Estimation by Stereographic Projection
University of Macau(澳门大学);Hainan Institute of Zhejiang University(浙江大学海南研究院)
针对含大量离群点和噪声的大型输入中旋转估计的效率与鲁棒性问题,提出基于旋转轴几何约束、球极投影和空间投票的方法,可同时估计多旋转,GPU辅助下0.07秒解决10⁶点/90%离群点问题,角度误差0.01度,性能优于现有方法。
2025-02-10 cs.CV cs.RO
Eff-GRot: Efficient and Generalizable Rotation Estimation with Transformers
KU Leuven(卢森堡大学)
Eff-GRot通过基于Transformer的框架实现高效的旋转估计,无需特定对象或类别的训练,适用于延迟敏感的应用场景。
2025-12-21 cs.CV cs.LG
Deep Neural Watermarking for Robust Copyright Protection in 3D Point Clouds
Brunel University of London(伦敦布鲁内尔大学);Wrexham University(雷克瑟姆大学);University of South Wales(南威尔士大学)
本文提出一种基于深度学习的3D点云鲁棒水印框架,通过奇异值分解嵌入二进制水印,利用PointNet++网络在旋转、缩放等攻击下实现高精度水印提取。
2025-10-31 cs.CV cs.GR
On the sensitivity of pose estimation neural networks: rotation parameterizations, Lipschitz constants, and provable bounds
University of Washington(华盛顿大学)
在本文中,我们的方法的任务,确定灵敏度界的姿态估计神经网络。这项任务特别具有挑战性,因为它需要表征3D旋转的灵敏度。我们开发了一个灵敏度测度,它描述了网络输出相对于其输入的欧几里得变化的最大旋转变化。我们表明,这种措施是一种类型的Lipschitz常数,它是有界的产品网络的欧几里得Lipschitz常数和旋转参数化的内在属性,我们称之为“距离比常数”。我们推导出几个旋转参数化的距离比常数,然后讨论为什么大多数这些参数化的结构使得很难构建一个姿态估计网络与可证明的灵敏度界限。然而,我们表明,灵敏度界可以计算网络参数旋转使用无约束指数坐标。然后,我们构建和训练这样一个网络,并计算它的灵敏度界限。
2022-03-16 cs.CV cs.LG
Augmenting Vision-Based Human Pose Estimation with Rotation Matrix
Shahid Beheshti University(沙希德·贝赫什提大学);University of Allameh Tabataba’i(阿拉梅·塔巴塔巴伊大学);Boston University(波士顿大学)
本研究提出结合旋转矩阵数据增强的姿态估计模型,以提升健身房活动识别准确率,SVM+SGD配合该增强方法达到96%准确率,较基线64%显著提升。
2023-10-09 cs.AI cs.CV
E-Graph: Minimal Solution for Rigid Rotation with Extensibility Graphs
Technical University of Munich(慕尼黑工业大学);Meta-Bounds Tech(元界科技);Google(谷歌)
相对旋转和平移估计任务的最小解决方案已经在不同的场景中进行了探索,通常依赖于所谓的共同可见性图。然而,如何在两帧图像之间建立无重叠的直接旋转关系仍然是一个开放的课题,如果解决了这个问题,将大大提高视觉里程计的准确性。在本文中,提出了一种新的最小的解决方案来解决两个图像之间的相对旋转估计没有重叠的区域,利用一种新的图结构,我们称之为可扩展图(E-Graph)。从一个共同可见图,高层次的地标,包括消失方向和平面法线,存储在我们的E图,这是几何可扩展的。基于E-Graph,旋转估计问题变得更简单和更优雅,因为它可以处理纯旋转运动,并且需要更少的假设,例如曼哈顿/亚特兰大世界,平面/垂直运动。最后,我们将我们的旋转估计策略嵌入到一个完整的摄像机跟踪和映射系统中,该系统获得了6自由度的摄像机姿态和密集的3D网格模型。在公共基准上的大量实验表明,该方法实现了最先进的跟踪性能。
2022-07-20 cs.CV cs.RO
Linearly Solving Robust Rotation Estimation
State Key Laboratory of Internet of Things for Smart City (SKL-IOTSC), University of Macau, Macau(物联网智能城市国家重点实验室(SKL-IOTSC),澳门大学);Hong Kong Centre For Logistics Robotics, The Chinese University of Hong Kong, Hong Kong(香港物流机器人中心,香港中文大学)
针对旋转估计这一传统非线性非凸问题,本文提出可将其重构为无约束丢失、无奇异性的线性拟合问题,结合旋转的四元数球大圆对偶结构,提出GPU可并行的投票法,在高外点率大规模场景下实现快速鲁棒求解,并经实验验证有效性。
2025-06-13 cs.CV cs.RO cs.SY
Geometric-Algebra LMS Adaptive Filter and its Application to Rotation Estimation
University of Sao Paulo(圣保罗大学);TU München(慕尼黑工业大学)
本文利用几何(Clifford)代数(GA)理论,以设计和介绍一种新的自适应滤波策略。从最小二乘成本函数,梯度计算以下结果从几何微积分(GC),GA的扩展,以处理微分和积分。新的GA最小均方(GA-LMS)自适应滤波器,它继承了标准自适应滤波器和GA的属性,递归地估计转子(多向量),一个超复杂的量能够描述在任何维度上的旋转。自适应滤波器(AF)的性能评估通过一个三维点云配准问题,其中包含一个旋转估计步骤。计算AF计算复杂性表明,它可以有助于降低成熟的3D配准算法的成本,特别是当要处理的点的数量增加时。此外,所采用的GA/GC框架允许容易地应用所得到的滤波器来估计更高维度的转子。
2016-01-22 cs.CG cs.CV
Vision-Based Estimation of Small Body Rotational State during the Approach Phase
Politecnico di Milano(米兰理工大学);ISAE-SUPAERO(法国高等航空航天学院);CNES(法国国家空间研究中心);Airbus Defence & Space(空客防务与航天公司)
针对小天体接近阶段的自主表征需求,提出利用图像特征轨迹、启发式筛选和亮度中心估计自转轴方向与自转中心的视觉算法,并在Bennu、Itokawa等800多个测试用例中验证。
2023-08-06 astro-ph.EP astro-ph.IM cs.CV
6D Rotation Representation For Unconstrained Head Pose Estimation
Otto von Guericke University(奥托·冯·格里克大学)
在本文中,我们提出了一种无约束的端到端的头部姿态估计方法。我们通过为我们的地面真实数据引入旋转矩阵形式主义来解决模糊旋转标签的问题,并提出了一个连续的6D旋转矩阵表示,用于高效和鲁棒的直接回归。通过这种方式,我们的方法可以学习完整的旋转外观,这与以前的方法相反,这些方法将姿势预测限制在窄角度以获得满意的结果。此外,我们提出了一个基于测地线距离的损失,以惩罚我们的网络相对于SO(3)流形几何。在公开的AFLW2000和BIWI数据集上的实验表明,我们提出的方法显着优于其他国家的最先进的方法高达20%。我们开源了我们的训练和测试代码以及我们的预训练模型:https://github.com/thohemp/6DRepNet。
2022-11-07 cs.AI cs.CV cs.LG