LVSPM: Long Sequence View Synthesis and Pose Estimation Model
UC San Diego（加州大学圣地亚哥分校）；Sudo AI GmbH（Sudo AI 有限公司）
LVSPM是一种可泛化模型，联合估计相机位姿并合成新视图，采用测试时训练层，在多数据集的位姿估计和新视图合成任务中超越VGGT等基线，性能随场景规模增长仍稳定。
2026-10-09 cs.CV
Crowd3D: Towards Hundreds of People Reconstruction from a Single Image
Tianjin University（天津大学）；Tsinghua University（清华大学）；Cardiff University（卡迪夫大学）
提出Crowd3D框架，通过新定义的HVIP概念将人群定位转化为像素定位，结合渐进式重建网络和自适应裁剪方案，首次实现从单张大场景图像中全局一致地重建数百人的3D姿态、形状和位置，并贡献了LargeCrowd基准数据集。
2023-04-01 cs.CV
Is A Picture Worth A Thousand Words? Delving Into Spatial Reasoning for Vision Language Models
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Salesforce AI Research（Salesforce AI研究部）；Microsoft Research（微软研究院）
本研究提出空间推理基准SpatialEval，评估LLMs和VLMs，发现空间推理难、VLMs逊于LLMs及文本线索降低视觉依赖，并利用视觉文本冗余提升性能。
2024-11-04 cs.AI cs.CV
Reposing Humans by Warping 3D Features
RWTH Aachen University（亚琛工业大学）
我们解决的问题，将一个人的形象到任何所需的新颖的姿势。这种条件图像生成任务需要对人体的3D结构进行推理，包括自遮挡的身体部位。大多数先前的作品要么是基于2D表示，要么需要拟合和操纵显式的3D人体网格。基于最近在基于深度学习的体积表示方面的成功，我们建议从人类图像中隐式地学习密集的特征体积，这有助于通过显式几何变形进行简单直观的操作。一旦潜在特征体积根据所需的姿态变化被扭曲，体积就被卷积解码器映射回RGB空间。我们在DeepFashion和iPER基准测试上的最新结果表明，密集的体积人类表示值得更详细地研究。
2020-06-08 cs.CV
Physics-Based Object 6D-Pose Estimation during Non-Prehensile Manipulation
University of Leeds（利兹大学）
提出基于物理预测与粒子滤波融合视觉信息的方法，用于非抓持操作中物体6D位姿跟踪，提升精度并在遮挡时有效估计位姿。
2023-10-24 cs.CV cs.RO
CPS++: Improving Class-level 6D Pose and Shape Estimation From Monocular Images With Self-Supervised Learning
Technical University of Munich（慕尼黑工业大学）；Tsinghua University（清华大学）；Toyota Motor Europe（丰田汽车欧洲）
当代单目6D姿态估计方法只能处理少数对象实例。这自然会阻碍可能的应用，例如，无缝集成在日常流程中的机器人必须能够与数百个不同的对象一起工作。为了解决这个问题的immantly实际相关性，我们提出了一种新的方法类级单目6D姿态估计，再加上度量形状检索。不幸的是，获得足够的注释是非常耗时和劳动密集型的。这对于类级别的6D姿态估计尤其如此，因为需要为所有对象创建高度详细的重建，然后使用这些模型注释每个对象和场景。为了克服这一缺点，我们还提出了通过自监督学习将类级6D姿势的合成域转移到真实域的想法，这消除了收集大量手动注释的负担。从本质上讲，在用合成数据对我们提出的方法进行完全监督训练后，我们利用可微分渲染的最新进展，用未注释的真实RGB-D数据对模型进行自我监督，以改善后者的推理。我们的实验表明，我们可以从一个单一的RGB图像检索精确的6D姿态和度量形状。
2020-09-11 cs.CV
Map-free Visual Relocalization: Metric Pose Relative to a Single Image
Niantic；University of Warwick（华威大学）；University of Oxford（牛津大学）
我们能在一个由单一参考图像表示的场景中重新定位吗？标准的视觉重新定位需要数百张图像和比例校准来构建特定场景的3D地图。相比之下，我们提出了无地图重定位，即，仅使用场景的一张照片来实现即时的、度量缩放的重新定位。现有的数据集不适合基准无地图重定位，由于它们专注于大场景或其有限的可变性。因此，我们构建了一个新的数据集，其中包括全球范围内收集的655个小型景点，如雕塑，壁画和喷泉。每个地方都有一个参考图像作为重新定位锚点，以及数十个具有已知度量相机姿势的查询图像。该数据集的特点是不断变化的条件，鲜明的视点变化，跨地点的高度可变性，以及与参考图像的视觉重叠低至无重叠的查询。我们确定了两个可行的家庭现有的方法，以提供基线结果：相对姿态回归，并结合单图像深度预测的特征匹配。虽然这些方法在我们的数据集中的一些有利场景上表现出合理的性能，但无地图重定位被证明是一项挑战，需要新的创新解决方案。
2022-10-11 cs.CV
CorNet: Generic 3D Corners for 6D Pose Estimation of New Objects without Retraining
Laboratoire Bordelais de Recherche Informatique（波尔多计算机研究实验室）；Université de Bordeaux（波尔多大学）；Technische Universät München（慕尼黑工业大学）；Siemens AG（西门子股份公司）
我们提出了一种新的方法来检测和彩色图像中的物体的三维姿态估计。它的主要贡献是它不需要任何训练阶段，也不需要新对象的数据，而最先进的方法通常需要数小时的训练时间和数百个训练注册图像。相反，我们的方法只依赖于对象的几何形状。我们的方法侧重于具有突出角落的对象，这涵盖了大量的工业对象。我们首先学习检测图像中各种形状的对象角，并通过使用一小组对象的训练图像来预测它们的3D姿态。为了检测给定图像中的新对象，我们首先从其CAD模型中识别其角点;我们还检测图像中可见的角点并预测其3D姿态。然后，我们引入了一个类似于RANSAC的算法，该算法通过将CAD模型上的角点与图像中检测到的角点进行匹配，来鲁棒有效地检测和估计对象的3D姿态。因为我们还估计图像中角的3D姿态，所以仅检测1个或2个角就足以估计对象的姿态，这使得该方法对遮挡具有鲁棒性。最后，我们依赖于利用对象的完整3D几何形状的最终检查，以防多个对象具有相同的角空间布置。我们的方法的优点使其特别适合工业环境，我们在具有挑战性的T-LESS数据集上展示了我们的方法。
2019-08-29 cs.CV
Object-Based Visual Camera Pose Estimation From Ellipsoidal Model and 3D-Aware Ellipse Prediction
Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；LORIA（洛林计算机科学及其应用实验室）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一种方法，从一个单一的图像，这是强大的观看条件，不需要一个详细的场景模型的初始相机姿态估计。这种方法满足了在任何环境中轻松部署机器人或增强现实应用的日益增长的需求，特别是那些没有精确的3D模型或大量地面实况数据的环境。它利用了深度学习技术的能力，无论观看条件如何，都能可靠地检测物体。以前的作品也表明，抽象的几何形状的场景中的对象的椭圆云允许计算相机姿态足够准确地满足各种应用需求。虽然有前途，这些方法使用椭圆拟合到检测边界框作为近似的成像对象。在本文中，我们更进一步，提出了一种基于学习的方法，该方法检测改进的椭圆近似的对象是连贯的三维椭球体的透视投影。实验证明，由于我们的方法，计算姿态的准确性显着增加。这在训练数据采集方面几乎不需要付出努力就可以实现-几百个校准图像，其中只有三个需要手动对象注释。代码和模型发布于https://gitlab.inria.fr/tangram/3d-aware-ellipses-for-visual-localization
2022-03-09 cs.CV
3D-Aware Ellipse Prediction for Object-Based Camera Pose Estimation
Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一种粗略的相机姿态计算方法，它是强大的观看条件，并不需要一个详细的场景模型。这种方法满足了在任何环境中轻松部署机器人或增强现实应用的日益增长的需求，特别是那些没有精确的3D模型或大量地面实况数据的环境。它利用了深度学习技术的能力，无论观看条件如何，都能可靠地检测物体。以前的作品也表明，抽象的几何形状的场景中的对象的椭圆云允许计算相机姿态足够准确地满足各种应用的需要。虽然有前途，这些方法使用椭圆拟合到检测边界框作为近似的成像对象。在本文中，我们更进一步，提出了一种基于学习的方法，该方法检测改进的椭圆近似的物体是一致的3D椭球体的透视投影。实验证明，由于我们的方法，计算的姿态的准确性显着增加，并且对检测框的边界的变化更鲁棒。这在获取训练数据方面几乎不需要付出努力就可以实现--几百个校准图像，其中只有三个需要手动对象注释。代码和模型在https://github.com/zinsmatt/3D-Aware-Ellipses-for-Visual-Localization上发布。
2021-05-24 cs.CV
InfiniteNature-Zero: Learning Perpetual View Generation of Natural Scenes from Single Images
Cornell University（康奈尔大学）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
我们提出了一种方法，用于学习从单个视图开始生成自然场景的无界飞越视频，其中这种能力是从单个照片的集合中学习的，而不需要每个场景的相机姿势或甚至多个视图。为了实现这一目标，我们提出了一种新的自监督视图生成训练范式，在该范式中，我们对虚拟相机轨迹（包括循环轨迹）进行采样和渲染，使我们的模型能够从单个视图的集合中学习稳定的视图生成。在测试时，尽管在训练过程中从未看到视频，但我们的方法可以拍摄一张图像并生成由数百个具有逼真和多样化内容的新视图组成的长相机轨迹。我们比较我们的方法与最近的国家的最先进的监督视图生成方法，需要提出的多视图视频，并表现出优越的性能和合成质量。
2022-07-22 cs.CV
FreeZe: Training-free zero-shot 6D pose estimation with geometric and vision foundation models
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
本文提出 FreeZe，一种融合几何与视觉基础模型、无需训练即可通过 3D 配准估计未见物体 6D 位姿的方法，并在 BOP 七大数据集上超越现有方法。
2025-01-08 cs.CV
Human Motion Prediction via Spatio-Temporal Inpainting
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人与工业信息研究所（CSIC-UPC））；University of Bonn（波恩大学）
我们提出了一个生成对抗网络（GAN）预测三维人体运动给定的序列，过去的三维骨骼姿势。虽然最近的GANs已经显示出有希望的结果，但它们只能在相对较短的时间内（几百毫秒）预测看似合理的运动，并且通常忽略骨架w.r.t.的绝对位置。镜头我们的计划提供了长期的预测（两秒或更长时间）的身体姿势和它的绝对位置。我们的方法建立在三个主要贡献之上。首先，我们使用3D骨架坐标的时空张量来表示数据，这允许将预测问题公式化为修复问题，GANs对此工作得特别好。其次，我们设计了一个架构来学习身体姿势和全局运动的联合分布，能够假设大块的输入3D张量丢失数据。最后，我们认为，L2度量，认为到目前为止，大多数方法，未能捕捉到长期的人体运动的实际分布。我们提出了两种替代的度量，基于频率的分布，能够捕捉更真实的运动模式。大量的实验表明，我们的方法显着提高了最先进的，同时也处理的情况下，过去的观察被破坏的闭塞，噪声和丢失的帧。
2019-10-29 cs.CV
Signs in time: Encoding human motion as a temporal image
University of Oxford（牛津大学）
这项工作的目标是识别和定位图像时间序列中的短时信号，其中强有力的监督是不可用的训练。为此，我们提出了一种图像编码，它以适合使用ConvNet学习的形式简洁地表示视频序列中的人体运动。编码将图像中的姿态信息减少到一列，大大减少了网络的输入要求，但保留了识别的基本信息。该编码应用于识别和本地化英国手语（BSL）视频中的手势。我们证明，使用建议的编码，信号短至10帧的持续时间可以从剪辑持续数百帧，只使用弱（剪辑级）监督和相当大的标签噪声。
2016-08-06 cs.CV
Slim DensePose: Thrifty Learning from Sparse Annotations and Motion Cues
Facebook AI Research（Facebook人工智能研究院）；University of Oxford（牛津大学）；Ariel AI
DensePose通过将图像像素密集映射到体表坐标来取代传统的地标检测器。然而，这种能力大大增加了注释时间，因为监督模型需要手动标记每个姿势实例的数百个点。因此，在这项工作中，我们寻求方法来显着瘦身的DensePose注释，提出更有效的数据汇集策略。特别是，我们证明，如果注释收集在视频帧中，它们的功效可以通过使用运动线索免费倍增。为了探索这个想法，我们引入了DensePose-Track，这是一个视频数据集，其中选定的帧以传统的DensePose方式进行注释。然后，基于DensePose映射的几何属性，我们使用视频动态来及时传播地面实况注释，并从Siamese等方差约束中学习。在对各种数据注释和学习策略进行了详尽的经验评估后，我们证明这样做可以在强基线上显着改善姿态估计结果。然而，尽管最近的一些作品所建议的，我们表明，仅仅通过应用几何变换到孤立的帧合成运动模式是显着不太有效的，运动线索时，他们从视频中提取的帮助要大得多。
2019-06-13 cs.CV
Joint Learning of Depth, Pose, and Local Radiance Field for Large Scale Monocular 3D Reconstruction
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出联合学习深度、姿态和局部辐射场的方法，实现大规模单目3D重建，有效降低轨迹误差，提升重建精度和视角合成质量。
2026-01-29 cs.CV cs.RO
MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare
ENS（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）；NVIDIA（英伟达）；LIGM（加斯帕尔·蒙日信息学实验室）；ENPC（巴黎路桥学院）；University of Washington（华盛顿大学）；CIIRC（捷克信息学、机器人与控制研究所）；CTU（捷克理工大学）
我们介绍了MegaPose，这是一种估计新对象（即在训练过程中看不到的对象）的6D姿态的方法。在推断时，该方法仅假设（i）显示图像中的对象的感兴趣区域和（ii）观察到的对象的CAD模型的知识。这项工作的贡献有三个方面。首先，我们提出了一个6D姿态细化器的基础上渲染和比较的策略，可以应用到新的对象。通过渲染对象的CAD模型的多个合成视图，将新对象的形状和坐标系作为输入提供给网络。其次，我们介绍了一种新的方法，粗略的姿态估计，利用网络训练分类之间的合成渲染和观察到的图像相同的对象的姿态误差是否可以纠正的细化。第三，我们介绍了一个大规模的合成数据集的真实感图像的数千个对象具有不同的视觉和形状属性，并表明这种多样性是至关重要的，以获得良好的泛化性能的新对象。我们在这个大型合成数据集上训练我们的方法，并将其应用于来自几个姿势估计基准的真实图像中的数百个新对象，而无需重新训练。我们的方法在ModelNet和YCB-Video数据集上实现了最先进的性能。对BOP挑战的7个核心数据集的广泛评估表明，我们的方法与现有的需要在训练过程中访问目标对象的方法相比，性能具有竞争力。代码，数据集和训练模型可在项目页面上获得：https://megapose6d.github.io/。
2022-12-13 cs.CV cs.RO
Pose-Selective Max Pooling for Measuring Similarity
Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们处理的两个挑战，在实际的基于视频的人脸识别测量的主体身份的相似性-在不受控制的环境中的头部姿势的变化和处理视频的计算费用。由于逐帧特征均值无法表征帧之间的姿态多样性，因此我们定义并保留视频中的整体姿态多样性和接近度。然后，身份将是视频之间变化的唯一来源，因为即使在单个视频中，姿势也会发生变化。我们不是简单地使用所有帧，而是选择那些姿态点最接近包含该姿态点的K均值聚类的质心的人脸。然后，我们将视频表示为一组帧级深度人脸特征，而特征数量已从数百减少到K。由于视频表示可以很好地表示身份，现在我们将两个视频之间的主题相似性度量为两个特征包中所有可能对之间的最大相关性。在用于人脸验证的YouTube Face数据集的官方5，000个视频对上，我们的算法实现了与VGG-face相当的性能，该性能平均超过了所有帧的深度特征。其他视觉任务也可以受益于采用几何线索来提高深度特征的连续性的一般想法。
2016-11-14 cs.AI cs.CV cs.LG
WorldSculpt: Generating Compositional Worlds from Grounded Videos
Alaya Lab（阿里达摩院Alaya实验室）；The University of Tokyo（东京大学）
本研究提出WorldSculpt，通过适配单物体3D生成先验到多视图观测，实现从接地视频生成含数百物体的复杂组合式3D世界，所提Pixal3D方法在基准测试中优于现有技术，还可转换3DGS世界为组合网格场景。
2026-09-09 cs.CV
emg2pose: A Large and Diverse Benchmark for Surface Electromyographic Hand Pose Estimation
Reality Labs, Meta（Meta Reality Labs）
本文提出emg2pose大规模多用户腕部sEMG手部姿态基准，并通过基线与留出任务评估跨用户、传感器位置和阶段的泛化。
2024-12-02 cs.CV cs.HC cs.LG
Hypothesize and Bound: A Computational Focus of Attention Mechanism for Simultaneous N-D Segmentation, Pose Estimation and Classification Using Shape Priors
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Göttingen（哥廷根大学）
鉴于许多智能系统可获得的视觉信息的带宽不断增加，赋予它们什么值得关注，什么可以安全地忽略的感觉变得至关重要。本文提出了一个通用的数学框架，有效地分配可用的计算资源，以处理与解决给定的感知问题相关的输入部分。通过这一点，我们的意思是找到假设H（即，世界的状态），最大化函数L（H），表示每个假设“解释”输入的程度。考虑到感觉输入的大带宽，针对每个假设H完全评估L（H）在计算上是不可行的（例如，因为这意味着检查大量像素）。为了解决这个问题，我们提出了一个数学框架，有两个关键因素。第一个是边界机制（BM），用于针对给定的计算预算计算L（H）的上下界。这些界限比L（H）本身的计算成本低得多，可以通过增加分配给假设的预算来随时改进，并且经常足以丢弃假设。为了计算这些界限，我们开发了一种新的理论的形状和形状先验。第二个要素是注意力机制（FoAM），用于选择接下来应该细化哪个假设的边界，目标是以最少的计算量丢弃非最佳假设。拟议框架：1）是非常有效的，因为大多数假设都是用最少的计算来丢弃的; 2）是可并行的; 3）保证找到全局最优假设;以及4）其运行时间取决于手头的问题，而不是输入的带宽。我们实例化的问题，同时估计类，姿势，和一个无噪声版本的2D形状在一个2D图像的建议框架。
2011-08-15 cs.CG cs.CV cs.GR
Fillerbuster: Unified Generative Scene Completion Model for Casual Captures
Meta Reality Labs；UC Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）
本文提出Fillerbuster，一种统一的生成模型，用于补全3D场景中未知区域。针对随意捕获中稀疏且缺失物体后方或上方内容的问题，模型通过多视图潜在扩散变换器处理大量输入帧，生成未知目标视图并恢复图像姿态。
2026-03-16 cs.CV cs.GR
AVControl: Efficient Framework for Training Audio-Visual Controls
Lightricks
AVControl通过轻量级框架实现多模态控制，无需架构改动，支持多种独立训练的模态，如深度、姿态、边缘、相机轨迹等，并在多个基准测试中表现优异。
2026-03-25 cs.CV cs.MM cs.SD
Video-Data Pipelines for Machine Learning Applications
数据管道是将机器学习算法应用于生产的端到端解决方案的重要组成部分。工程数据管道的视频序列提出了几个挑战，包括隔离的关键帧的视频序列是高质量的，并表示在场景中的显着变化。手动隔离这种质量的关键帧可能需要数小时的时间来筛选视频数据。在这项工作中，我们提出了一个数据管道框架，可以通过控制可以根据图像质量和内容类型删除的帧的比例来自动化视频序列中的手动帧筛选过程。此外，保留的帧可以按序列自动标记，从而简化了未来ML模型部署的自动数据检索过程。我们分析了所提出的视频数据管道的性能，用于在户外自动驾驶视频序列上训练的目标检测算法的版本化部署和监控。所提出的视频数据管道可以保留所有输入帧的0.1 - 20%之间的任何地方，这些输入帧代表高图像质量和内容的高变化。该帧选择，自动场景标记，然后模型验证可以在30秒内完成22个视频序列分析在这项工作中。因此，所提出的框架可以扩展到其他视频序列数据集，以自动化ML版本化部署。
2021-10-15 cs.CV cs.LG cs.SY
