Bottom-Up Human Pose Estimation by Ranking Heatmap-Guided Adaptive Keypoint Estimates
Microsoft Research（微软研究院）
典型的自自底向上的【形】人体姿态估计框架包括两个阶段，关键点检测和分组。大多数现有的工作集中于开发分组算法，例如，关联嵌入和我们在方法中采用的像素关键点回归。我们提出了几个方案，很少或不彻底的研究之前，提高关键点检测和分组（关键点回归）的性能。首先，我们利用关键点热图进行逐像素关键点回归，而不是将它们分离以改进关键点回归。其次，我们采用逐像素空间Transformer网络来学习自适应表示，以处理尺度和方向方差，从而进一步提高关键点回归质量。最后，我们提出了一个联合形状和热值评分计划，以促进更有可能是真实的姿态估计的姿态。连同用于平衡背景和关键点像素从而提高热图估计质量的权衡热图估计损失，我们得到了最先进的自自底向上的【形】的人体姿态估计结果。代码可在https://github.com/HRNet/HRNet-Bottom-up-Pose-Estimation上获得。
2020-06-28 cs.CV
Improving Real-Time Omnidirectional 3D Multi-Person Human Pose Estimation with People Matching and Unsupervised 2D-3D Lifting
University of Southampton（南安普顿大学）；Korean Institute of Science and Technology（韩国科学技术研究院）
本文提出一种实时3D多人姿态估计系统，结合全景相机与毫米波雷达，通过改进匹配和轻量级2D-3D提升算法，解决深度和尺度模糊，在室内外均准确，且时间复杂度恒定，帧率约7-8fps。
2024-03-14 cs.CV
MassMIND: Massachusetts Maritime INfrared Dataset
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）；MIT Sea Grant（麻省理工学院海洋基金办公室）；Massachusetts Institute of Technology Laboratory for Autonomous Marine Sensing Systems（麻省理工学院自主海洋传感系统实验室）；Sunrise Setting Ltd（日出设定有限公司）；SAGE Publications Ltd（SAGE出版有限公司）
深度学习技术的最新进展引发了地面车辆自主性的根本进步。经常用于监视、监测和其他日常任务的海洋沿海自主水面车辆（ASV）可以从这种自主性中受益。长途深海运输活动是额外的机会。这两个用例呈现出非常不同的地形-第一个是沿海水域-有许多障碍物，结构和人类存在，而后者几乎没有这些障碍物。这两种地形的环境条件变化是共同的。映射这些地形的强大标记数据集对于提高可以驱动自主性的态势感知至关重要。然而，只有有限的海洋数据集，这些主要包括光学图像。虽然长波红外（LWIR）是光谱的有力补充，有助于在极端光照条件下使用，但目前还不存在带有LWIR图像的标记公共数据集。在本文中，我们通过提供在不同条件下在沿海海洋环境中捕获的2，900多个LWIR分割图像的标记数据集来填补这一空白。利用实例分割对图像进行标记，并将图像分为天空、水、障碍物、生活障碍物、桥梁、自身和背景七类。我们还评估了三种深度学习架构（UNet，PSPNet，DeepLabv 3）的数据集，并对其有效性进行了详细分析。虽然数据集侧重于沿海地形，但它同样可以帮助深海用例。这样的地形会有更少的流量，在杂乱的环境中训练的分类器将能够有效地处理稀疏的场景。我们与研究界分享这个数据集，希望它能激发海洋环境中新的场景理解能力。
2022-09-09 cs.CV cs.RO
Vision-Based Navigation III: Pose and Motion from Omnidirectional Optical Flow and a Digital Terrain Map
Technion - Israel Institute of Technology（以色列理工学院）
提出了一种利用全方位图像和数字地形图中的相应特征进行姿态和运动估计的算法。在以前的文件中，这样的算法被认为是规则的相机。使用数字地形（或数字高程）地图（DTM/DEM）作为全局参考，可以恢复相机的绝对位置和方向。为了做到这一点，DTM被用来制定两个连续帧中的相应特征之间的约束。在本文中，这些约束条件进行了扩展，以处理非中心投影，因为是与许多全向系统的情况下。全向数据的利用，以提高导航算法的鲁棒性和准确性。通过两种全向捕获系统的实验验证了该算法的可行性。第一种是多折射相机，而第二种是折反射相机。
2011-08-16 cs.AI cs.CV
Improving Robustness and Accuracy via Relative Information Encoding in 3D Human Pose Estimation
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）
大多数现有的三维人体姿态估计方法主要集中在预测根关节和其他人体关节之间的三维位置关系（局部运动），而不是人体的整体轨迹（全局运动）。尽管这些方法取得了很大的进步，但它们对全局运动不鲁棒，并且缺乏在小运动范围内准确预测局部运动的能力。为了缓解这两个问题，我们提出了一个相对的信息编码方法，产生位置和时间增强表示。首先，我们利用2D姿态的相对坐标编码的位置信息，以提高输入和输出分布之间的一致性。具有不同绝对2D位置的相同姿势可以被映射到公共表示。有利于抵抗全局运动对预测结果的干扰。其次，我们通过建立当前姿势和同一个人在一段时间内的其他姿势之间的联系来编码时间信息。该方法将更多地关注当前姿态前后的运动变化，从而在较小运动范围内对局部运动有更好的预测性能。烧蚀实验验证了相对信息编码方法的有效性。此外，我们引入了一个多阶段的优化方法，以进一步利用整个框架的位置和时间增强表示。我们的方法在两个公共数据集上的性能优于最先进的方法。代码可在https://github.com/paTRICK-swk/Pose3D-RIE上获得。
2021-07-29 cs.AI cs.CV
Watch Your STEPP: Semantic Traversability Estimation using Pose Projected Features
University College London（伦敦大学学院）；Archimedes/Athena RC（阿基米德/雅典娜研究中心）
提出一种基于 DINOv2 特征和编码器-解码器 MLP 的地形可通行性估计方法，通过重构误差区分熟悉与危险地形，并在 ANYmal 足式机器人上验证了其有效性。
2025-01-29 cs.CV cs.RO
ROLO-SLAM: Rotation-Optimized LiDAR-Only SLAM in Uneven Terrain with Ground Vehicle
School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；Southern University of Science and Technology（南方科技大学）
提出ROLO-SLAM，通过前向位置预测、体素内球面旋转配准、运动约束平移估计、子图对齐与全局因子图，提升地面车辆在非平坦地形中的纯LiDAR定位建图精度。
2025-01-04 cs.CV cs.RO
Attenuation-Aware Weighted Optical Flow with Medium Transmission Map for Learning-based Visual Odometry in Underwater terrain
Shibaura Institute of Technology（芝浦工业大学）；Graduate School of Engineering（工程研究生院）；College of Engineering（工学院）
本文提出wflow-TartanVO，利用水下光学成像原理和介质透射图加权光流，无需微调即可提升水下单目视觉里程计精度，显著降低绝对轨迹误差。
2024-07-18 cs.CV
Improving Head Pose Estimation with a Combined Loss and Bounding Box Margin Adjustment
Tohoku University（东北大学）；Riken Center for AIP（理化学研究所AIP中心）
我们解决了一个问题，估计一个人的头部构成从其RGB图像。在最近的工作中，使用CNN解决这个问题有助于显著提高准确性。然而，我们表明，以下两种方法，尽管它们的简单，可以实现进一步的改进：（i）适当调整的边缘检测到的脸的限界框，和（ii）选择的损失函数。我们表明，这两种方法的集成实现了新的国家的最先进的标准基准数据集在野外头部姿态估计。
2019-05-14 cs.CV
Camera Pose Matters: Improving Depth Prediction by Mitigating Pose Distribution Bias
UC Irvine（加州大学尔湾分校）；Carnegie Mellon University（卡内基梅隆大学）
单目深度预测器通常在大规模训练集上进行训练，这些训练集自然偏向于相机姿态的分布。因此，训练的预测器无法对在不常见的相机姿势下捕获的测试示例进行可靠的深度预测。为了解决这个问题，我们提出了两种新的技术，在训练和预测过程中利用相机的姿态。首先，我们引入了一种简单的视角感知数据增强，它通过以几何一致的方式扰动现有示例，合成具有更多样化视图的新训练样本。其次，我们提出了一个条件模型，利用每图像相机构成的先验知识，将其编码为输入的一部分。我们表明，联合应用这两种方法可以提高对在不常见甚至从未见过的相机姿势下捕获的图像的深度预测。我们表明，我们的方法提高性能时，应用到一系列不同的预测架构。最后，我们表明，显式编码的相机姿态分布提高了综合训练的深度预测器的泛化性能时，对真实图像进行评估。
2021-03-28 cs.CV
Simple Pose: Rethinking and Improving a Bottom-up Approach for Multi-Person Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Zhejiang Sci-Tech University（浙江理工大学）；Chinese Academy of Sciences（中国科学院）
我们重新思考了一个众所周知的自自底向上的【形】的多人姿态估计方法，并提出了一个改进的。改进后的方法大大超过了基线，这要归功于（1）一个直观但更合理的表示，我们称之为身体部位来编码关键点之间的连接信息，（2）一个改进的具有注意力机制的堆叠沙漏网络，（3）一个新的焦点L2损失，它专用于硬关键点和关键点关联（身体部分）挖掘，以及（4）用于将检测到的关键点分组为各个姿势的鲁棒贪婪关键点分配算法。我们的方法不仅工作简单，而且在平均精度上比基线高出约15%，并且与MS-COCO测试开发数据集上的最新技术水平相当。代码和预训练模型可在网上公开获取。
2019-11-24 cs.CV
Multistream ValidNet: Improving 6D Object Pose Estimation by Automatic Multistream Validation
Bluewrist Inc.（Bluewrist公司）
这项工作提出了一种新的方法，以提高姿态估计的结果，通过检测和区分真和假阳性结果的发生。它通过在任意姿态估计算法的输出上训练二元分类器来实现这一点，并返回指示结果有效性的二元标签。我们证明，我们的方法改进了Siléane数据集上最先进的姿态估计结果，在平均类准确度和验证时的总体准确度方面，优于替代CullNet方法的4.15%和0.73%。应用该方法还可以将Op-Net的位姿估计平均精度提高6.06%。
2021-06-12 cs.CV
PaMM: Pose-aware Multi-shot Matching for Improving Person Re-identification
School of Information and Communications, Gwangju Institute of Science and Technology（光州科学技术院信息与通信学院）；Computer Vision Laboratory, GIST（计算机视觉实验室）
本文提出姿态感知多镜头匹配框架PaMM，通过分析摄像机视角和人体姿态来稳健估计姿态并进行高效匹配，在公开数据集上优于现有方法，有效应对视角和姿态变化带来的行人重识别挑战。
2017-05-17 cs.CV
DeepPrior++: Improving Fast and Accurate 3D Hand Pose Estimation
Institute for Computer Graphics and Vision, Graz University of Technology（格拉茨技术大学计算机图形与视觉研究所）
DeepPrior是一种基于深度学习的简单方法，可以在给定深度图的情况下预测手部的关节3D位置。自2015年初出版以来，它已经被几部令人印象深刻的作品超越。在这里，我们表明，通过简单的改进：添加ResNet层，数据增强和更好的初始手部定位，我们在三个主要基准测试（NYU，ICVL，MSRA）上实现了比更复杂的最新方法更好或相似的性能，同时保持了原始方法的简单性。我们的新实现可以在https://github.com/moberweger/deep-prior-pp上找到。
2017-08-28 cs.CV
Region Ensemble Network: Improving Convolutional Network for Hand Pose Estimation
Tsinghua University（清华大学）
基于单目深度图像的手势估计是人机交互中一个重要而又具有挑战性的问题。最近，具有复杂设计的深度卷积网络（ConvNet）已被用来解决这个问题，但相对于传统方法的改进并不明显。为了提高直接三维坐标回归的性能，我们提出了一种树结构的区域包围网络（REN），它将卷积输出划分为区域，并将每个区域上的多个回归器的结果集成在一起。与多模型集成相比，我们的模型是完全端到端的训练。实验结果表明，我们的方法在两个公共数据集上取得了最好的性能。
2017-05-09 cs.CV
Improving 2D-3D Dense Correspondences with Diffusion Models for 6D Object Pose Estimation
Automation and Control Institute, TU Wien（维也纳技术大学自动化与控制研究所）；Department of Industrial Engineering, UAS Technikum Vienna（维也纳技术高等专业学院工业工程系）
本研究比较了GAN与扩散模型在图像到图像转换中用于六维物体姿态估计的稠密对应图生成，发现扩散模型表现更优，为姿态估计改进提供新方向。
2024-02-09 cs.CV
Improving Robustness for Pose Estimation via Stable Heatmap Regression
Tsinghua University（清华大学）；Southeast University（东南大学）；Kuaishou Technology（快手科技）
深度学习方法在姿态估计方面取得了出色的性能，但鲁棒性的缺乏导致关键点在相似图像之间发生剧烈变化。针对这一问题，提出了一种稳定的热图回归方法，以缓解网络对小扰动的脆弱性。我们利用热图中不同行和列之间的相关性来缓解多峰问题，并设计了一个高度差异化的热图回归，使关键点与周围的点区分开来。最大稳定性训练损失用于简化优化难度，当最小化两个相似图像的预测间隙时。该方法在两个基准数据集上的鲁棒性比最先进的方法有了显著的提高，并保持了较高的性能。
2021-05-08 cs.CV
Improving 3D Pose Estimation for Sign Language
University of Surrey（萨里大学）
针对单张图像的手语3D人体姿态重建，本文提出结合神经网络与PyTorch FK层的方法，联合预测关节旋转和骨骼长度，在精度、视觉效果、泛化性和CPU运行效率上优于MediaPipe。
2023-08-18 cs.CV
Improving Annotation for 3D Pose Dataset of Fine-Grained Object Categories
Baidu（百度）
现有的对象类别的3D姿态数据集仅限于通用对象类型并且缺乏细粒度信息。在这项工作中，我们引入了一个新的大规模数据集，其中包括409个细粒度类别和31，881个具有准确3D姿势注释的图像。具体来说，我们通过从ShapeNet中为每个子类别找到特定的3D模型，并通过调整完整的7个连续透视参数来手动注释每个2D图像，从而增强了三个现有的细粒度对象识别数据集（StanfordCars，CompCars和FGVC-Aircraft）。由于细粒度的形状允许3D模型更好地拟合图像，因此我们通过从人类注释初始化并进行姿势参数的局部搜索来进一步提高注释质量，目的是最大化投影掩模和从最先进的深度卷积神经网络（CNN）估计的分割参考之间的IoU。我们提供了完整的统计数据的注释与定性和定量的比较表明，我们的数据集可以是一个补充来源，研究3D姿态估计。该数据集可以在http://users.umiacs.umd.edu/~wym/3dpose.html下载。
2018-10-19 cs.CV
CPS++: Improving Class-level 6D Pose and Shape Estimation From Monocular Images With Self-Supervised Learning
Technical University of Munich（慕尼黑工业大学）；Tsinghua University（清华大学）；Toyota Motor Europe（丰田汽车欧洲）
当代单目6D姿态估计方法只能处理少数对象实例。这自然会阻碍可能的应用，例如，无缝集成在日常流程中的机器人必须能够与数百个不同的对象一起工作。为了解决这个问题的immantly实际相关性，我们提出了一种新的方法类级单目6D姿态估计，再加上度量形状检索。不幸的是，获得足够的注释是非常耗时和劳动密集型的。这对于类级别的6D姿态估计尤其如此，因为需要为所有对象创建高度详细的重建，然后使用这些模型注释每个对象和场景。为了克服这一缺点，我们还提出了通过自监督学习将类级6D姿势的合成域转移到真实域的想法，这消除了收集大量手动注释的负担。从本质上讲，在用合成数据对我们提出的方法进行完全监督训练后，我们利用可微分渲染的最新进展，用未注释的真实RGB-D数据对模型进行自我监督，以改善后者的推理。我们的实验表明，我们可以从一个单一的RGB图像检索精确的6D姿态和度量形状。
2020-09-11 cs.CV
Improving Temporal Interpolation of Head and Body Pose using Gaussian Process Regression in a Matrix Completion Setting
TU Delft（代尔夫特理工大学）
本文提出了一个模型，头部和身体姿态估计（HBPE）时，标记的样本是高度稀疏的。HBPE的当前最先进的多模态方法在转导设置中利用矩阵完成方法来预测未观察到的样本的姿势标签。基于这种方法，所提出的方法处理HBPE时，手动注释的地面真值标签是时间稀疏的。我们认为，目前的最先进的方法过度简化了时间稀疏性假设，使用拉普拉斯平滑。我们的最终解决方案使用：i）高斯过程回归代替拉普拉斯平滑，ii）头部和身体耦合，以及iii）矩阵完成设置中的核范数最小化。该模型被应用到具有挑战性的SALSA数据集的基准对国家的最先进的方法。我们提出的公式在该特定设置中显著优于现有技术，例如，在5%的地面实况标签作为训练数据时，头部姿势准确度和身体姿势准确度分别为约62%和70%。除了及时将更灵活的模型拟合到缺失的标签之外，我们还强调，我们的方法还放松了头部和身体的耦合约束，允许在组中的会话交互期间通常看到的头部和身体姿势的更具表现力的模型。这提供了一个新的基线，以改善未来的集成多模态传感器数据的HBPE的目的。
2018-08-06 cs.CV
"Teaching Independent Parts Separately" (TIPSy-GAN) : Improving Accuracy and Stability in Unsupervised Adversarial 2D to 3D Pose Estimation
我们提出了TIPSy-GAN，这是一种新的方法，可以提高无监督对抗2D到3D人体姿态估计的准确性和稳定性。在我们的工作中，我们证明了人类运动骨架不应该被假设为一个单一的空间相关结构;事实上，我们认为当在训练过程中提供完整的2D姿势时，会有一个固有的偏差，其中关键点的3D坐标在空间上依赖于所有其他关键点的2D坐标。为了研究我们的假设，我们遵循以前的对抗方法，但训练两个发电机上的空间独立的部分的运动骨架，躯干和腿。我们发现，提高自我一致性周期是降低评估误差的关键，因此在训练过程中引入了新的一致性约束。通过从这些生成器中进行知识蒸馏来生成TIPSy模型，该TIPSy模型可以预测整个2D姿态的3D坐标，并具有改进的结果。此外，我们解决了一个悬而未决的问题，在以前的工作多久训练在一个真正的无人监督的情况下。我们发现，两个独立的发电机训练adversarially有改善的稳定性比一个单独的发电机崩溃。与基线单独发生器在Human3.6M数据集上的平均误差相比，TIPSy将平均误差降低了17%。TIPSy改进了其他无监督方法，同时在评估Human3.6M和MPI-INF-3DHP数据集时，对监督和弱监督方法也表现出色。
2022-09-01 cs.CV
Beyond Frontal Faces: Improving Person Recognition Using Multiple Cues
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
我们探讨了在一个不受约束的设置中识别相册中的人的身份的任务。为了促进这一点，我们介绍了新的人在相册（PIPA）数据集，包括超过60000个实例的2000个人从公共Flickr相册收集。由于只有大约一半的人的图像包含正面的脸，识别任务是非常具有挑战性的，由于姿势，服装，相机的观点，图像分辨率和照明的大变化。我们提出了Pose Invariant PErson Recognition（PIPER）方法，该方法积累了由深度卷积网络训练的poselet级别的人识别器的线索，以折扣姿态变化，结合面部识别器和全局识别器。在三种不同设置上的实验证实，在我们的无约束设置中，PIPER显着提高了DeepFace的性能，DeepFace是在LFW数据集上测量的最佳人脸识别器之一。
2015-01-30 cs.CV
Improving Robustness for Joint Optimization of Camera Poses and Decomposed Low-Rank Tensorial Radiance Fields
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文针对相机位姿与场景几何联合优化易陷入次优解的问题，提出基于分解低秩张量辐射场和卷积高斯滤波的由粗到细联合优化框架，并辅以多种鲁棒性技术，实现高精度新视角合成与快速收敛。
2024-02-20 cs.CV
Improving Multi-Person Pose Estimation using Label Correction
Keio University（庆应义塾大学）；DeNA Co., Ltd.（DeNA株式会社）
由于卷积神经网络在该领域取得了快速的进展，因此近来多人姿态估计方法受到了极大的关注。特别是最近的方法，利用部分置信图和部分亲和场（PAF）实现了准确的实时预测的多人关键点。然而，人类注释的标签有时不适合学习模型。例如，如果存在延伸到图像外部的肢体，则该肢体的关键点可能不具有注释，因为它存在于图像外部，因此无法生成该肢体的标签。如果使用包含此类缺失标签的数据来训练模型，则该位置的模型输出即使是正确的，也会被惩罚为误报，这可能会对模型的性能造成负面影响。在本文中，我们指出存在一些模式的不适当的标签，并提出了一种新的方法来纠正这种标签与教师模型训练这样的不完整的数据。在COCO数据集上的实验表明，使用校正后的标签进行训练可以提高模型的性能，并加快训练速度。
2018-11-08 cs.CV
YOLOPose V2: Understanding and Improving Transformer-based 6D Pose Estimation
University of Bonn（波恩大学）
本研究提出基于Transformer的改进型多目标6D位姿估计方法YOLOPose V2，采用关键点直接回归与可学习朝向估计模块实现端到端可微，适用于实时场景，性能媲美SOTA，并分析了目标查询作用与小数据集训练的精度权衡。
2023-07-21 cs.CV
Improving Pose Estimation through Contextual Activity Fusion
University of the Witwatersrand（威特沃特斯兰德大学）
这项研究提出了活动融合到现有的姿态估计架构，以提高其预测能力的想法。这是由现代机器学习架构中发现的更高级别概念的兴起以及活动上下文对于姿势估计问题是有用的信息的信念所激发的。为了分析这个概念，我们采用现有的深度学习架构，并通过额外的1x1卷积来增强它，以将活动信息融合到模型中。我们在一个常见的姿势估计数据集上进行评估和比较，并显示了我们的基线模型的性能改进，特别是在不常见的姿势和典型的困难关节。此外，我们进行了一个消融分析，表明性能的改善，实际上从活动信息。
2021-11-03 cs.CV cs.LG
Camera Pose Auto-Encoders for Improving Pose Regression
Bar-Ilan University（巴伊兰大学）
绝对姿态回归器（APR）网络被训练以在给定捕获的图像的情况下估计相机的姿态。它们计算潜像表示，从潜像表示回归相机位置和方向。与提供最先进精度的基于结构的定位方案相比，APR在定位精度、运行时间和存储器之间提供不同的折衷。在这项工作中，我们介绍了相机姿态自动编码器（PAE），多层感知器，通过教师-学生的方法训练，使用APR作为他们的老师编码相机姿态。我们表明，由此产生的潜在的姿态表示可以密切再现APR性能，并证明其有效性相关的任务。具体来说，我们提出了一个轻量级的测试时间优化，其中最接近的训练构成编码和用于完善相机位置估计。在CambridgeLandmarks和7Scenes基准测试中，该程序实现了新的最先进的APR位置精度。我们还表明，训练图像可以重建从学习的姿势编码，铺平了道路，整合视觉信息的训练集在一个低的内存成本。我们的代码和预训练模型可在https://github.com/yolish/camera-pose-auto-encoders上获得。
2022-07-12 cs.AI cs.CV
Improving 6D Pose Estimation of Objects in Clutter via Physics-aware Monte Carlo Tree Search
Rutgers University（罗格斯大学）
这项工作提出了一个过程，有效地搜索在混乱的场景中，特别是在涉及闭塞和对象相互依赖的情况下，各个对象的6D姿态假设的组合。候选对象姿态的初始集合由最先进的目标检测和全局点云配准技术生成。由于重叠和遮挡，使用这些技术的每个对象的最佳得分姿势可能不准确。尽管如此，本工作中提供的实验迹象表明，根据配准技术，具有较低排名的对象姿态可能比具有高排名的对象姿态更接近真实姿态。这激发了全局优化过程，通过考虑对象之间的场景级物理交互来改善这些姿势。它还意味着必须搜索交互对象的候选姿态的笛卡尔积，以便确定最佳场景级假设。为了有效地执行搜索，每个对象的候选姿势被聚类，以减少它们的数量，但仍然保持足够的多样性。然后，通过蒙特卡罗树搜索（MCTS）过程来执行对候选对象姿态的组合的搜索，该MCTS过程使用场景的观察到的深度图像与给定假设姿态的场景的渲染之间的相似性作为指导搜索过程的分数。MCTS通过使用置信上限（UCB）技术，以原则性的方式处理微调最有希望的姿势和探索新姿势之间的权衡。实验结果表明，这个过程是能够快速识别在混乱的场景中的物理一致的对象姿态，显着更接近地面实况相比，点云配准方法发现的姿态。
2017-10-24 cs.CV cs.RO
CryoSPIN: Improving Ab-Initio Cryo-EM Reconstruction with Semi-Amortized Pose Inference
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；York University（约克大学）；Google DeepMind（谷歌DeepMind）
本文提出半摊销位姿推断方法cryoSPIN，先通过摊销推断处理多模态位姿分布，再切换为自动解码的局部优化，在合成与实验数据上均实现了比现有方法更快、更准确的冷冻电镜重建。
2024-10-02 cs.CV cs.LG
CUPS: Improving Human Pose-Shape Estimators with Conformalized Deep Uncertainty
Massachusetts Institute of Technology（麻省理工学院）
CUPS提出一种结合深度不确定性与共形预测的方法，用于从RGB视频估计3D人体姿态和形状，在多个数据集上达到最先进性能并具备概率保证。
2024-12-11 cs.CV cs.RO
Improving 6D Object Pose Estimation of metallic Household and Industry Objects
Technical University Darmstadt（达姆施塔特工业大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；Threedy GmbH（Threedy有限公司）
针对金属物体6D位姿估计因反光导致准确度下降的问题，提出兼容BOP的新数据集以提供额外几何视觉线索，并在GDRNPP算法中引入关键点预测和材质估计头，有效提升了金属物体的位姿估计精度。
2025-03-05 cs.AI cs.CV
Improving the generalization of network based relative pose regression: dimension reduction as a regularizer
Zhejiang University（浙江大学）
视觉定位在增强现实、机器人技术、三维重建等领域占有重要地位。最先进的视觉定位方法在RANSAC框架内使用基于几何的求解器来执行姿态估计。然而，这些方法需要在高图像分辨率下精确的像素级匹配，这在外观、动态或视角的显著变化下难以满足。基于端到端学习的回归网络提供了一种解决方案来规避对精确像素级对应的要求，但在跨场景泛化方面表现不佳。在本文中，我们在网络中显式地添加了一个可学习的匹配层，以将姿态回归求解器与绝对图像特征值隔离开来，并在相关特征通道和图像尺度上应用维度正则化，以进一步提高泛化和大视角变化的性能。我们在一个基于两层金字塔的框架内实现了这种维度正则化策略，以将定位结果从粗到细进行回归。此外，深度信息被融合用于绝对平移尺度恢复。通过在真实世界RGBD数据集上的实验，我们验证了我们的设计在提高泛化性能和对视点变化的鲁棒性方面的有效性，并且还显示了基于回归的视觉定位网络对基于几何的视觉定位方法难以实现的具有挑战性的场合的潜力。
2020-10-24 cs.CV cs.RO
FAST GDRNPP: Improving the Speed of State-of-the-Art 6D Object Pose Estimation
Fraunhofer Institute for Computer Graphics Research（弗劳恩霍夫计算机图形学研究所）；Technical University Darmstadt（达姆施塔特工业大学）；University of Siegen（锡根大学）
本研究通过采用更小骨干网络、参数剪枝和知识蒸馏技术，在保持准确性的前提下显著提升GDRNPP模型的6D物体姿态估计推理速度。
2024-09-18 cs.AI cs.CV
Improving Image-Based Localization with Deep Learning: The Impact of the Loss Function
University of Western Australia（西澳大学）
这项工作研究的损失函数的性能上的神经网络的影响，在一个单眼，仅RGB，图像定位任务的背景下。当从图像回归相机的姿态时使用的常见技术是将损失公式化为位置和旋转均方误差的线性组合（使用调谐的超参数作为系数）。在这项工作中，我们观察到旋转和位置的变化相互影响捕获的图像，为了提高性能，姿态回归网络的损失函数应包括一个项，它结合了这两个耦合量的误差。基于任务特定的观察和实验调整，我们提出了所述损失项，并通过将该损失项附加到预先存在的姿态回归网络“PoseNet”的损失函数来创建新模型。我们实现了室内场景网络定位精度的提高;与默认PoseNet相比，中值位置和旋转误差分别降低了26.7%和24.0%。
2019-07-28 cs.AI cs.CV
From Text to Pose to Image: Improving Diffusion Model Control and Quality
Raive
本文提出文本到姿态生成模型、新采样算法和包含更多关键点的姿态适配器，首次构建文本到姿态到图像框架，在保持高美学质量的同时显著提升扩散模型对人体姿态的控制精度。
2024-11-22 cs.AI cs.CV cs.LG
HO-3D_v3: Improving the Accuracy of Hand-Object Annotations of the HO-3D Dataset
Graz University of Technology（格拉茨技术大学）；Université Paris-Est（巴黎东大学）；École des Ponts ParisTech（巴黎桥路学院）
HO-3D是提供用手和对象的3D姿态注释的各种手-对象交互场景的图像序列的数据集，并且最初作为HO-3D_v2引入。注释自动获得使用的优化方法，“HOnnotate”，在原来的文件中介绍。HO-3D_v3为手和物体姿态提供更准确的注释，从而更好地估计手和物体之间的接触区域。在本报告中，我们详细介绍了HOnnotate方法的改进，并提供了评估，以比较HO-3D_v2和HO-3D_v3的准确性。对于手部姿势，HO-3D_v3比HO-3D_v2的精度高4 mm，同时表现出与物体表面的更高接触区域。
2021-07-02 cs.CV cs.HC
Sensor Data Augmentation from Skeleton Pose Sequences for Improving Human Activity Recognition
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道莱茵-普法尔茨技术大学）；Seoul National University of Science and Technology（首尔科学技术大学）
针对可穿戴传感器HAR标注数据稀缺问题，提出姿态到传感器网络模型，直接从3D骨架姿态序列生成传感器数据并联合训练活动分类器，在MM-Fit数据集上显著优于基线方法。
2024-04-25 cs.CV cs.LG eess.SP
NTU-X: An Enhanced Large-scale Dataset for Improving Pose-based Recognition of Subtle Human Actions
IIIT-Hyderabad（海得拉巴国际信息技术研究所）
缺乏细粒度的关节（面部关节，手指）是最先进的骨骼动作识别模型的基本性能瓶颈。尽管存在这个瓶颈，社区的努力似乎只投入到了新颖的架构上。为了解决这个瓶颈，我们引入了两个新的基于姿势的人类动作数据集-NTU 60-X和NTU 120-X。我们的数据集扩展了现有最大的动作识别数据集NTU-RGBD。除了NTU-RGBD中每个骨架的25个身体关节外，NTU 60-X和NTU 120-X数据集还包括手指和面部关节，从而实现更丰富的骨架表示。我们适当地修改了最先进的方法，以使用引入的数据集进行训练。我们的研究结果证明了这些NTU-X数据集在克服上述瓶颈和提高最先进性能方面的有效性，无论是整体性能还是之前表现最差的动作类别。代码和预训练模型可以在https://github.com/skelemoa/ntu-x上找到。
2021-11-24 cs.CV cs.GR cs.HC
Geometric Transformation Uncertainty for Improving 3D Fetal Brain Pose Prediction from Freehand 2D Ultrasound Videos
University of Oxford（牛津大学）；Nanyang Technological University（南洋理工大学）
QAERTS提出不确定性感知多头网络，通过联合回归多种几何变换并利用不确定性加权，在低资源条件下提升2D超声胎儿大脑图像的3D平面定位精度和鲁棒性。
2024-07-07 cs.CV cs.LG eess.IV
