No Pose at All: Self-Supervised Pose-Free 3D Gaussian Splatting from Sparse Views
Imperial College London（伦敦帝国学院）
SPFSplat通过自监督方法实现无姿态的3D高斯点云渲染，无需真实姿态信息即可在稀疏视图下实现高质量的视点合成和姿态估计。
2025-12-20 cs.CV
Estimating Ego-Body Pose from Doubly Sparse Egocentric Video Data
Purdue University（普渡大学）；Honda Research Institute USA（美国本田研究所）
本研究提出一种两阶段方法，利用掩码自编码器插补稀疏手部轨迹并结合条件扩散模型，从双重稀疏的自我中心视频数据中估计全身姿态，在AMASS和Ego-Exo4D数据集上验证了有效性。
2024-11-05 cs.CV
Sparse Pose Trajectory Completion
UC San Diego（加州大学圣迭戈分校）；Microsoft（微软）；University of Salzburg（萨尔茨堡大学）；Wormpex AI Research（Wormpex AI 研究院）
我们提出了一种方法来学习，即使使用对象只出现在稀疏采样视图（例如Pix3D）的数据集，合成任意参考图像的姿态轨迹的能力。这是通过交叉模态姿态轨迹传递机构来实现的。首先，训练域传递函数以从对象的RGB图像预测其2D深度图。然后，通过学习模拟深度空间中的对象旋转来生成一组图像视图。最后，使用学习的身份保持变换将生成的姿势从该潜在空间映射到一组相应的RGB图像。这导致对象在图像空间中的密集姿态轨迹。对于每个对象类型（例如，特定的宜家椅子模型），3D CAD模型用于渲染2D深度图的完整姿态轨迹。在图像空间中没有密集姿态采样的情况下，这些潜在的空间轨迹为学习提供了跨模态指导。学习的姿势轨迹可以转移到看不见的例子，有效地合成图像空间中的所有对象视图。我们的方法在Pix3D和ShapeNet数据集上进行了评估，在稀疏姿态监督下的新视图合成的设置中，展示了对最近技术的实质性改进。
2021-05-01 cs.CV
AnthroNet: Conditional Generation of Humans via Anthropometrics
Unity Technologies（Unity科技公司）
提出基于人体测量学的新型人体模型AnthroNet，通过深度生成架构实现特定身份与任意姿态的建模，利用10万个程序化生成网格数据端到端训练，提供高精度网格表示与测量。
2023-09-07 cs.AI cs.CV cs.LG
Dynamic Inertial Poser (DynaIP): Part-Based Motion Dynamics Learning for Enhanced Human Pose Estimation with Sparse Inertial Sensors
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）
针对现有稀疏惯性传感器人体姿态估计依赖合成数据的不足，提出含伪速度回归模型和部件级模型的DynaIP方法，利用多格式真实动捕数据提升泛化性，在五个公开数据集上实现性能突破。
2024-03-07 cs.CV
NoPo-Avatar: Generalizable and Animatable Avatars from Sparse Inputs without Human Poses
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
NoPo-Avatar通过仅使用图像输入，无需姿态信息，实现了从稀疏输入中生成通用且可动画化的3D人体avatar，提升了在噪声姿态下的鲁棒性和广泛应用性。
2025-11-20 cs.CV
FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction
ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；The University of Hong Kong（香港大学）
针对稀疏视角三维重建需精确相机位姿且获取困难的问题，提出无位姿前馈框架FreeSplatter，通过精简Transformer架构生成三维高斯并同步估计位姿，性能优于位姿依赖型LRMs，位姿精度比肩MASt3R，还可简化3D内容创建流程。
2025-09-01 cs.CV
SRPose: Two-view Relative Pose Estimation with Sparse Keypoints
Hanglok-Tech（航洛克科技）；MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学教育部人工智能重点实验室）；LightSpeed Studios, Tencent America（腾讯美国光速工作室）
SRPose提出基于稀疏关键点的两视图相对位姿估计框架，适用于相机到世界和物体到相机场景，兼顾精度与速度，且对图像尺寸和相机内参鲁棒。
2024-07-18 cs.CV
SPARF: Neural Radiance Fields from Sparse and Noisy Poses
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌）；Technical University of Munich（慕尼黑工业大学）
针对NeRF依赖高精度密集位姿视图的局限，提出SPARF方法，利用多视图几何约束联合优化NeRF与相机位姿，在仅3张含噪声宽基线图像的稀疏设置下达到新的SOTA。
2023-06-13 cs.CV
LEAP: Liberate Sparse-view 3D Modeling from Camera Poses
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出无相机位姿的稀疏视图3D建模方法LEAP，通过跨场景共享神经体并以特征相似性聚合图像特征生成辐射场，在精度媲美真值位姿方法的同时比PixelNeRF快400倍。
2023-10-02 cs.CV
Compositional Dictionaries for Domain Adaptive Face Recognition
Duke University（杜克大学）；University of Maryland（马里兰大学）
我们提出了一种字典学习方法来补偿由于视点，光照，分辨率等变化而引起的人脸变换。我们方法的关键思想是强制域不变稀疏编码，即，在不同的域中设计同一张脸的一致稀疏表示。以这种方式，在例如由正面人脸组成的源域中的稀疏代码上训练的分类器可以应用于目标域（由不同姿势、照明条件等的人脸组成），而不会损失太多的识别精度。该方法是首先学习域基字典，然后使用基字典上的稀疏表示来描述每个域移位（身份、姿态、照明）。适应于每个域的字典被表示为基字典的稀疏线性组合。在人脸识别的背景下，与建议的组合字典的方法，人脸图像可以分解成稀疏表示为一个给定的主题，姿势和照明分别。这种方法有三个优点：第一，提取的稀疏表示的主题是一致的跨域，使姿势和照明不敏感的人脸识别。其次，姿态和照明的稀疏表示可以随后用于估计面部图像的姿态和照明条件。最后，通过组成主题和不同领域的稀疏表示，我们还可以执行姿势对齐和照明归一化。使用两个公开的人脸数据集进行了大量的实验，以证明我们的方法的有效性人脸识别。
2015-09-12 cs.CV
PAOLI: Pose-free Articulated Object Learning from Sparse-view Images
University of Edinburgh（爱丁堡大学）
本文提出了一种利用稀疏视角图像建模可变形物体的方法，通过四视角独立重建并学习变形场，分离静态与运动部件，实现鲁棒的跨视角和跨姿态一致性优化。
2026-09-22 cs.CV
Sparse Steerable Convolutions: An Efficient Learning of SE(3)-Equivariant Features for Estimation and Tracking of Object Poses in 3D Space
South China University of Technology（华南理工大学）；DexForce Co. Ltd.（DexForce有限公司）；Peng Cheng Laboratory（鹏城实验室）；SmartMore Technology Co. Ltd.（思谋科技有限公司）；Pazhou Laboratory（琶洲实验室）
作为SE（3）-等变深度特征学习的基本组成部分，可控卷积最近已经证明了其在3D语义分析中的优势。然而，这些优点是由密集的体积数据上的昂贵计算带来的，这阻止了其用于本质上稀疏的3D数据的有效处理的实际使用。在本文中，我们提出了一种新的设计稀疏可控卷积（SS-Conv），以解决这个缺点; SS-Conv大大加快了可控卷积与稀疏张量，同时严格保持SE（3）-等方差的属性。基于SS-Conv，我们提出了一种用于精确估计对象姿态的通用流水线，其中关键设计是一个充分利用SE（3）-等方差并能够进行有效姿态细化的转向模块。为了验证我们的设计，我们进行了彻底的实验上的三个任务的3D对象的语义分析，包括实例级的6D姿态估计，类别级的6D姿态和大小估计，和类别级的6D姿态跟踪。我们提出的基于SS-Conv的管道在三个任务评估的几乎所有指标上都优于现有方法。消融研究还显示了我们的SS-Conv在准确性和效率方面优于替代卷积。我们的代码在https://github.com/Gorilla-Lab-SCUT/SS-Conv上公开发布。
2021-11-14 cs.CV
NOPE-SAC: Neural One-Plane RANSAC for Sparse-View Planar 3D Reconstruction
Wuhan University（武汉大学）；Ant Group（蚂蚁集团）；North Carolina State University（北卡罗来纳州立大学）
针对稀疏视图双视图3D重建中对应关系不足的问题，提出NOPE-SAC框架，通过孪生网络和共享MLP学习3D平面对应关系生成单平面位姿假设，经RANSAC加权获得最终位姿，在MatterPort3D和ScanNet基准上取得最先进性能。
2023-09-13 cs.CV
Rapid Pose Label Generation through Sparse Representation of Unknown Objects
National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究院）；University of Tsukuba（筑波大学）
深度卷积神经网络（CNN）已成功部署在机器人上，用于通过视觉感知进行6-DoF物体姿态估计。然而，在CNN的监督训练所需的规模上获得标记数据是一项艰巨的任务-如果对象是新颖的并且3D模型不可用，则会加剧。为此，这项工作提出了一种方法，用于快速生成真实世界，姿态注释的RGB-D数据的未知对象。我们的方法不仅避免了对先前3D对象模型（纹理或其他）的需要，而且还绕过了基准标记、转盘和传感器的复杂设置。在人类用户的帮助下，我们首先在一组RGB-D视频上对任意选择的关键点的有序集合进行最小化标记。然后，通过解决一个优化问题，我们将这些标签组合在一个世界框架下，以恢复对象的稀疏的、基于关键点的表示。稀疏表示导致密集模型的发展和场景集中每个图像帧的姿势标签。我们表明，稀疏模型也可以有效地用于缩放到大量的新场景。我们通过训练用于6-DoF对象姿态估计的管道和逐像素分割网络来证明所生成的标记数据集的实用性。
2020-11-07 cs.CV
SPFSplatV2: Efficient Self-Supervised Pose-Free 3D Gaussian Splatting from Sparse Views
Department of Electrical and Electronic Engineering, Imperial College London（伦敦帝国理工学院电气与电子工程系）
提出SPFSplatV2，一种从稀疏多视图图像进行3D高斯泼溅的前馈框架，无需真实姿态，通过共享特征提取、掩码注意力机制和重投影损失实现高效姿态估计和新视图合成，在域内外均达到最先进性能。
2026-07-01 cs.CV
Sparse-view Pose Estimation and Reconstruction via Analysis by Generative Synthesis
Carnegie Mellon University（卡内基梅隆大学）
针对稀疏多视角下姿态与三维结构相互依赖且误差易放大的问题，提出 SparseAGS，引入新视角合成生成先验并显式纠正离群姿态，显著提升现成姿态系统精度与三维重建质量。
2024-12-04 cs.CV
iFusion: Inverting Diffusion for Pose-Free Reconstruction from Sparse Views
Microsoft（微软）；National Tsing Hua University（国立清华大学）；Amazon（亚马逊）
提出iFusion框架，利用扩散模型反演估计未知相机姿态，微调生成新视图，仅需两幅稀疏视图即可高质量重建三维物体。
2023-12-28 cs.CV
Event-based Camera Tracker by $\nabla$t NeRF
Keio University（庆应义塾大学）；Denso IT Laboratory（电装IT实验室）
本文提出首个基于场景隐式表示与事件稀疏强度变化的相机位姿估计算法TeGRA，通过最小化稀疏事件与NeRF时间梯度的误差实现高效位姿追踪。
2023-04-07 cs.CV
Gradient-Based Trajectory Optimisation over Continuous Poses for Sparse-View Cone-Beam CT
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Deggendorf Institute of Technology（德根多夫技术学院）
提出将稀疏视角锥束CT的每个源位姿作为连续变量，通过梯度上升联合优化轨迹，集成软Tuy覆盖、视角协方差损失与衰减惩罚，在多种扫描几何上提升缺陷可见性并支持快速预扫描规划。
2026-10-08 cs.CV
Gaussian Scenes: Pose-Free Sparse-View Scene Reconstruction using Depth-Enhanced Diffusion Priors
CCVL, Johns Hopkins University（CCVL，约翰霍普金斯大学）
本文提出一种基于深度增强扩散先验的生成式方法，实现无相机姿态的稀疏视图360度场景重建，通过FiLM条件与置信度度量提升质量，在基准上超越现有无姿态方法并媲美有姿态方法。
2025-10-10 cs.CV
RelPose++: Recovering 6D Poses from Sparse-view Observations
Carnegie Mellon University（卡内基梅隆大学）
本文提出RelPose++，利用transformer联合建模多视图并解耦旋转与平移预测，实现2–8张稀疏图像下准确的6D相机位姿估计及野外3D重建。
2023-12-18 cs.CV
Sparse and Privacy-enhanced Representation for Human Pose Estimation
National Tsing Hua University（国立清华大学）；Novatek Microelectronics Corp.（Novatek Microelectronics 公司）
本文提出一种基于专有运动矢量传感器提取稀疏边缘与运动矢量图像的人体姿态估计表示，通过稀疏卷积融合网络实现约13倍加速和96% FLOPs降低，并在隐私保护上优于单一模态。
2023-09-18 cs.CV
AvatarPose: Avatar-guided 3D Pose Estimation of Close Human Interaction from Sparse Multi-view Videos
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对多视角下近距离交互人体姿态估计难题，本文提出利用个性化隐式神经化身作为先验，通过分层体积渲染重建化身并直接优化三维姿态，同时引入碰撞损失处理穿透，在公共数据集上取得最优性能。
2024-08-20 cs.CV
SPARC: Sparse Render-and-Compare for CAD model alignment in a single RGB image
University of Cambridge（剑桥大学）
从单个图像估计静态对象的3D形状和姿态对于机器人、增强现实和数字内容创建具有重要应用。这通常是通过直接网格预测来完成的，这会产生不切实际的、过度镶嵌的形状，或者通过将形状预测公式化为检索任务，然后进行CAD模型对齐。从二维图像特征直接预测CAD模型的位姿是困难和不准确的。一些作品，如ROCA，回归归一化的对象坐标，并使用这些计算姿势。虽然这可以产生更准确的姿态估计，但预测归一化的对象坐标容易出现系统故障。利用高效的Transformer架构，我们证明了一个稀疏的，迭代的，渲染和比较的方法是更准确和强大的，而不是依赖于归一化的对象坐标。为此，我们结合了2D图像信息，包括稀疏的深度和表面法线值，我们估计直接从图像与3D CAD模型信息在早期融合。特别是，我们以初始的随机姿势重新投影从CAD模型中采样的点，并计算它们的深度和表面法线值。该组合信息是位姿预测网络SPARC-Net的输入，我们训练SPARC-Net以预测9 DoF CAD模型位姿更新。CAD模型被再次重新投影，并且预测下一个姿态更新。我们的对齐过程仅经过3次迭代就收敛了，将具有挑战性的真实数据集ScanNet的最先进性能从25.0%提高到31.8%。代码将在https://github.com/florianlanger/SPARC上发布。
2022-10-03 cs.CV
Object Gaussian for Monocular 6D Pose Estimation from Sparse Views
University of Birmingham（伯明翰大学）；NVIDIA（英伟达）
本文提出SGPose框架，利用三维高斯泼溅在仅约十个稀疏视图和随机初始化条件下回归稠密2D-3D对应关系，摆脱对CAD模型和SfM几何的依赖，在Occlusion LM-O等基准上超越现有方法。
2024-09-04 cs.CV
PADFormer: Pose-agnostic Anomaly Detection from Sparse View Images
Amazon（亚马逊）；Simon Fraser University（西蒙菲莎大学）；Northeastern University（东北大学）
针对现有姿态无关异常检测方法依赖3D重建的缺陷，提出PADFormer模型，利用ViT结合跨视图掩码重建等机制，在PAD基准及FSAD任务上实现最优性能，兼具效率与泛化性。
2026-08-06 cs.CV
HMD-Poser: On-Device Real-time Human Motion Tracking from Scalable Sparse Observations
PICO, ByteDance（皮科，字节跳动）
针对独立VR头显实时人体运动跟踪难题，提出支持多类稀疏输入组合的HMD-Poser方法，通过轻量时空网络与在线体型估计实现设备端实时高精度跟踪，在基准与自建数据集上均达最优效果并完成商用头显应用验证。
2024-03-06 cs.CV
Can generalised relative pose estimation solve sparse 3D registration?
University of Utah（犹他大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
流行的3D扫描配准项目，如斯坦福数字米开朗基罗或KinectFusion，利用高分辨率传感器数据进行扫描对齐。在没有RGB分量的情况下解决稀疏3D扫描的配准特别具有挑战性。在这种情况下，我们无法建立点对应关系，因为无法在两次连续扫描中捕获相同的3D点。与基于对应关系的方法相比，我们采取了不同的观点，并制定了稀疏的3D配准问题的基础上，从相邻扫描的线段的交叉点的约束。我们通过将每条水平和垂直扫描线建模为分段线性段来获得线段。我们提出了一种新的交替投影算法来解决扫描对齐问题使用线相交的约束。我们开发了两个新的最小解算器的扫描对准存在的平面对应：1）3线相交和1平面对应，和2）1线相交和2平面对应。我们在Kinect和LiDAR数据集上优于其他竞争方法。
2019-06-13 cs.CV
ADen: Adaptive Density Representations for Sparse-view Camera Pose Estimation
FAIR at Meta（Meta FAIR研究院）
针对稀疏视图下相机位姿估计中直接回归法不适定、概率法采样效率低的问题，提出结合生成器与判别器的ADen框架，兼具高精度与低运行时间优势。
2024-08-16 cs.CV
Robust Sonar ATR Through Bayesian Pose Corrected Sparse Classification
Pennsylvania State University（宾夕法尼亚州立大学）；U.S. Naval Research Laboratory（美国海军研究实验室）
声纳成像在过去几十年中取得了巨大的进步，部分原因是合成孔径声纳（SAS）的进步。先进的分类技术现在可用于声纳自动目标识别，以确定地雷和其他威胁物体的位置。其中最有前途的这些方法是稀疏重建为基础的分类（SRC），已显示出令人印象深刻的弹性噪声，模糊和闭塞。我们提出了一个连贯的战略扩展SRC的声纳ATR，保留SRC的鲁棒性，同时也能够处理目标与不同的几何排列，麻烦的瑞利噪声，不可避免的背景杂波。我们的方法，姿态校正稀疏性（PCS），采用了一种新的解释尖峰和板坯概率分布作为贝叶斯先验的类特定的歧视结合字典学习计划本地补丁提取。此外，PCS提供了异常检测的可能性，以避免来自训练集之外的测试对象的错误识别，而不需要额外的训练。使用美国海军水面作战中心提供的数据库显示了令人信服的结果。
2017-06-26 cs.CV
SHaRPose: Sparse High-Resolution Representation for Human Pose Estimation
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；State Key Laboratory of Integrated Services Networks, Xidian University（西安电子科技大学综合业务网理论及关键技术国家重点实验室）
针对高分辨率姿态估计计算开销大的问题，本文提出两阶段动态 transformer 框架 SHaRPose，仅在关键点相关区域构建稀疏高分辨率表示，在 COCO 上以更快速度取得优于 ViTPose 的精度。
2023-12-17 cs.CV
T-Graph: Enhancing Sparse-view Camera Pose Estimation by Pairwise Translation Graph
University of Twente（特温特大学）
本文提出轻量级即插即用模块T-Graph，通过构建成对平移图并引入relative-t和pair-t两种平移表示，增强稀疏视角相机位姿估计，在RelPose++和Forge上使相机中心精度提升1%至6%。
2025-05-02 cs.CV
No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达公司）；Microsoft（微软公司）；UC Merced（加州大学默塞德分校）；Google DeepMind（谷歌DeepMind）
本研究提出NoPoSplat前馈模型，通过锚定单视图局部坐标为规范空间、结合相机内参token嵌入，仅用光度损失训练即可从稀疏未标定图像实时重建3D高斯，在新视角合成和位姿估计任务上均优于现有方法。
2024-10-31 cs.CV
TrackNeRF: Bundle Adjusting NeRF from Sparse and Noisy Views via Feature Tracks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）；Snap Inc.（Snap公司）
TrackNeRF通过引入跨视角特征轨迹并强制重投影一致性，实现全局一致的几何重建和更精确的位姿优化，在稀疏和噪声视角下显著优于现有方法。
2024-08-20 cs.CV
From Sparse to Dense: Spatio-Temporal Fusion for Multi-View 3D Human Pose Estimation with DenseWarper
Department of Computer Science, THUAI, BNRist, Tsinghua University, Beijing, China（清华大学北京研究院，清华大学计算机科学系，北京，中国）；Dalian University of Technology, Dalian, China（大连理工大学，大连，中国）；Apple, Beijing, China（苹果公司，北京，中国）；Hong Kong University of Science and Technology (Guang Zhou), Guang Zhou, China（香港科技大学（广州），广州，中国）；University of Manchester, Manchester, UK（曼彻斯特大学，曼彻斯特，英国）
本文提出稀疏交错输入方法，通过利用不同视角在不同时间点的图像，提升3D人体姿态估计的时空信息，实现性能提升并突破单视角帧率限制。
2026-05-14 cs.CV
Planar Surface Reconstruction from Sparse Views
University of Michigan（密歇根大学）
研究了在摄像机姿态未知的情况下，由两个视点重建室内场景的平面曲面。虽然现有方法已经成功地创建了许多场景的以对象为中心的重建，但它们未能利用其他结构，例如平面，这些结构通常是室内场景的主要组成部分。在本文中，我们重建平面表面从多个视图，同时联合估计相机姿态。我们的实验表明，我们的方法是能够推进从稀疏视图重建的艺术状态，从Matterport3D具有挑战性的场景。项目网址：https://jinlinyi.github.io/SparsePlanes/
2021-08-20 cs.CV
SCJD: Sparse Correlation and Joint Distillation for Efficient 3D Human Pose Estimation
South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出SCJD框架，通过稀疏相关性下采样和动态关节空间注意力蒸馏等方法，在保持3D人体姿态估计精度的同时显著提升推理效率。
2025-07-05 cs.CV
QueryPose: Sparse Multi-Person Pose Regression via Spatial-Aware Part-Level Query
BUPT（北京邮电大学）；ByteDance Inc.（字节跳动公司）；OPPO Research Institute（OPPO研究院）
我们提出了一个稀疏的端到端多人姿态回归框架，称为QueryPose，它可以直接从输入图像中预测多人关键点序列。现有的端到端方法依赖于密集表示来保留空间细节和结构，以实现精确的关键点定位。然而，密集范式在推理过程中引入了复杂和冗余的后处理。在我们的框架中，每个人的实例编码的几个可学习的空间感知的部分级查询与实例级查询。首先，我们提出了空间部分嵌入生成模块（SPEGM），认为当地的空间注意力机制，以产生几个空间敏感的部分嵌入，其中包含空间细节和结构信息，以提高部分级查询。其次，我们引入了选择性迭代模块（SIM），通过生成的空间敏感的部分嵌入自适应地更新稀疏的部分级查询逐步。基于这两个模块，部分级查询能够完全编码空间细节和结构信息，以实现精确的关键点回归。通过二分匹配，QueryPose避免了手工设计的后处理，并超越了现有的密集端到端方法，在MS COCO minival集上的AP为73.6，在CrowdPose测试集上的AP为72.7。代码可在https://github.com/buptxyb666/QueryPose上获得。
2022-12-15 cs.CV
WSCLoc: Weakly-Supervised Sparse-View Camera Relocalization
University of Oxford（牛津大学）
本文提出WSCLoc系统，通过两阶段弱监督方法（WFT-NeRF与WFT-Pose协同优化）解决稀疏视图下的相机重定位问题，在公开数据集上实现了与SOTA方法相当的位姿估计精度。
2024-03-22 cs.CV
Sparse Inertial Poser: Automatic 3D Human Pose Estimation from Sparse IMUs
Leibniz-Universität Hannover（莱布尼茨汉诺威大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们解决的问题，使人体运动捕捉在野外更实际的使用一套小的惯性传感器连接到身体。由于该问题是严重约束不足，以前的方法要么使用大量的传感器，这是侵入性的，或者他们需要额外的视频输入。我们采取了不同的方法，并通过以下方式约束问题：（i）利用包括人体测量约束的现实统计身体模型，以及（ii）使用联合优化框架来使模型适合多帧上的方向和加速度测量。由此产生的跟踪器稀疏惯性姿态（SIP），使3D人体姿态估计只使用6个传感器（连接到手腕，小腿，背部和头部），并适用于任意人体运动。在最近发布的TNT 15数据集上的实验表明，使用相同数量的传感器，SIP在不使用任何视频数据的情况下实现了比数据集基线更高的准确性。我们进一步证明了SIP在户外场景中新记录的具有挑战性的运动，如攀爬或跳过墙壁的有效性。
2017-03-24 cs.CV cs.GR
LDSO: Direct Sparse Odometry with Loop Closure
Technical University of Munich（慕尼黑工业大学）
在本文中，我们提出了一个扩展的直接稀疏里程（DSO）的单目视觉SLAM系统与环闭合检测和姿态图优化（LDSO）。作为一种直接的技术，DSO可以利用任何具有足够强度梯度的图像像素，这使得它即使在无特征区域也具有鲁棒性。LDSO保留了这种鲁棒性，同时通过支持跟踪前端中的角特征来确保其中一些点的可重复性。这种可重复性允许用传统的基于特征的词袋（BoW）方法可靠地检测循环闭合候选。环闭合候选者被几何地验证，并且通过联合最小化2D和3D几何误差项来估计Sim（3）相对姿态约束。这些约束与从DSO的滑动窗口优化中提取的相对姿态的共视图融合。我们对公开数据集的评估表明，修改后的点选择策略保留了跟踪精度和鲁棒性，并且集成的姿态图优化显着减少了累积的旋转，平移和尺度漂移，从而使整体性能与最先进的基于特征的系统相当，即使没有全局光束平差。
2018-08-03 cs.CV
NeRF-VO: Real-Time Sparse Visual Odometry with Neural Radiance Fields
Technical University of Munich（慕尼黑工业大学）；University of Toronto（多伦多大学）；California Institute of Technology（加州理工学院）
NeRF-VO将稀疏视觉里程计与神经辐射场结合，实现低延迟相机跟踪和高质量稠密重建，在多种数据集上超越SOTA方法，同时提高跟踪频率并降低GPU内存消耗。
2024-07-16 cs.CV
STAR: Sparse Trained Articulated Human Body Regressor
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
SMPL人体模型被广泛用于三维人体姿态和形状的估计、合成和分析。虽然流行，我们表明，SMPL有几个局限性，并介绍STAR，这是定量和定性优于SMPL。首先，SMPL由于使用全局混合形状而具有大量参数。这些密集的姿态校正偏移将网格上的每个顶点与运动树中的所有关节相关联，从而捕获虚假的长距离相关性。为了解决这个问题，我们定义了每个关节的姿势校正，并学习受每个关节运动影响的网格顶点的子集。这种稀疏的公式导致更真实的变形，并显着减少模型参数的数量到SMPL的20%。当在与SMPL相同的数据上训练时，STAR尽管参数少得多，但泛化效果更好。第二，SMPL因素从身体形状的姿势依赖变形，而在现实中，不同形状的人变形不同。因此，我们学习依赖于身体姿势和BMI的形状依赖的姿势校正混合形状。第三，我们发现SMPL的形状空间不够丰富，无法捕捉到人类群体的变化。我们通过对STAR进行额外的10，000次男性和女性受试者扫描来解决这个问题，并表明这会导致更好的模型泛化。STAR结构紧凑，更好地推广到新机构，是SMPL的直接替代品。STAR可在http://star.is.tue.mpg.de上公开获取，用于研究目的。
2020-08-19 cs.CV
FLARE: Feed-forward Geometry, Appearance and Camera Estimation from Uncalibrated Sparse Views
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；University of Oxford（牛津大学）；Stanford University（斯坦福大学）
FLARE通过前馈模型从少量未校准稀疏视角图像中高效推断出高质量的相机姿态、3D几何和新视角合成。
2026-01-25 cs.CV
Gesplat: Robust Pose-Free 3D Reconstruction via Geometry-Guided Gaussian Splatting
Gesplat提出一种基于几何引导高斯泼溅的无位姿三维重建框架，利用VGGT初始化并集成混合表示、图引导细化与光流深度正则化，在稀疏视角下实现鲁棒重建。
2025-10-27 cs.CV
DisPose: Disentangling Pose Guidance for Controllable Human Image Animation
Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
DisPose通过将稀疏姿态解耦为运动场和关键点对应，无需额外密集输入，实现高质量可控人体图像动画，并采用即插即用混合ControlNet提升生成一致性与质量。
2025-02-25 cs.CV
SPP-Net: Deep Absolute Pose Regression with Synthetic Views
Toshiba Research Europe（东芝欧洲研究院）
基于图像的定位是计算机视觉中的重要问题之一，因为它在机器人、增强现实和自治系统中具有广泛的应用。在文献中描述了一组丰富的方法，用于几何配准2D图像。3D模型最近，基于深度（和卷积）前馈网络（CNN）的方法在姿态回归中变得流行。然而，这些基于CNN的方法仍然不如基于几何的方法准确，尽管它们速度快，内存效率高。在这项工作中，我们设计了一个基于稀疏特征描述符的深度神经网络架构来估计图像的绝对姿态。我们选择使用稀疏特征描述符有两个主要优点：首先，我们的网络明显小于文献中为此任务提出的CNN，从而使我们的方法更有效和可扩展。其次-更重要的是-，稀疏特征的使用允许用合成视点来增强训练数据，这导致对不可见姿势的泛化性能的实质性改进。因此，我们提出的方法旨在结合两个世界中最好的-基于特征的定位和基于CNN的姿态回归-以实现绝对姿态估计中最先进的性能。对所提出的体系结构进行了详细的分析，并对现有数据集进行了严格的评估，以支持我们的方法。
2017-12-09 cs.CV
3D-Consistent Human Avatars with Sparse Inputs via Gaussian Splatting and Contrastive Learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）；Huazhong University of Science and Technology（华中科技大学）；Wuhan National Laboratory for Optoelectronics（武汉光电国家实验室）
本文提出CHASE框架，通过跨姿态内在3D一致性监督和3D几何对比学习，仅用稀疏输入实现密集输入级别的人类化身重建质量，并在多个数据集上超越现有方法。
2024-11-19 cs.CV
LiDAR-aid Inertial Poser: Large-scale Human Motion Capture by Sparse Inertial and LiDAR Sensors
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程研究中心）
提出一种多传感器融合方法，仅用单个LiDAR和4个IMU即可在大规模场景中捕捉准确的3D人体动作，通过两阶段姿态估计器和姿态引导平移校正器优化局部与全局轨迹，并构建了多模态数据集LIPD验证其优越性。
2023-04-07 cs.CV
SC-NeuS: Consistent Neural Surface Reconstruction from Sparse and Noisy Views
Beijing Normal University（北京师范大学）；Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）
本文提出 SC-NeuS，通过可微表面上相交与视图一致性损失联合优化神经表面和含噪相机位姿，在稀疏视图下实现更一致、细节更精细的重建。
2023-07-12 cs.CV
Sparse Semantic Map-Based Monocular Localization in Traffic Scenes Using Learned 2D-3D Point-Line Correspondences
Xi’an Jiaotong University（西安交通大学）
在先验地图中基于视觉的定位对于自主车辆至关重要。给定一幅查询图像，目标是估计出与先验图对应的摄像机姿态，关键是摄像机图像在先验图中的配准问题。当自动驾驶车辆在道路上在遮挡下行驶时（例如，汽车、公共汽车、卡车）和变化的环境外观（例如，照明变化、季节变化），现有方法严重依赖于特征级的密集点描述符来解决配准问题，从而使特征与外观和遮挡纠缠在一起。因此，他们经常无法估计正确的姿势。为了解决这些问题，我们提出了一种基于稀疏语义地图的单目定位方法，该方法通过设计良好的深度神经网络解决了2D-3D配准问题。给定由简化元素组成的稀疏语义图（例如，杆线、交通标志中点），然后通过学习来自图像的2D语义元素与来自稀疏语义地图的3D元素之间的对应特征来估计相机姿态。所提出的基于稀疏语义地图的定位方法对环境中的遮挡和长期外观变化具有鲁棒性。大量的实验结果表明，该方法优于国家的最先进的方法。
2022-10-10 cs.CV
Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Google（谷歌）
针对稀疏视角下手物交互理解与新视角合成的难题，提出分离线先验学习和在线联合拟合两阶段的神经渲染系统，引入稳定接触损失，性能超越现有最优方法，支持3D交互编辑。
2023-08-22 cs.CV
BoxDreamer: Dreaming Box Corners for Generalizable Object Pose Estimation
Zhejiang University（浙江大学）；Xiangjiang Laboratory（湘江实验室）；Ant Group（蚂蚁集团）；EPFL（苏黎世联邦理工学院）；Chongqing University（重庆大学）；Northwestern Polytechnical University（西北工业大学）；Shenzhen University（深圳大学）
针对稀疏视角、遮挡场景下物体位姿估计泛化能力不足的问题，提出以包围盒角点为中间表示，结合参考点合成器与PnP算法的方法，在多个数据集上超越现有最优水平，提升了泛化性。
2025-09-30 cs.CV
