EV-Flying: an Event-based Dataset for In-The-Wild Recognition of Flying Objects
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
本文提出事件基飞行物体数据集EV-Flying，并采用受PointNet启发的轻量级点云方法对鸟类、昆虫和无人机进行分类，以解决传统RGB方法在高速小目标识别中的难题。
2025-06-04 cs.CV
GHOST: Fast Category-agnostic Hand-Object Interaction Reconstruction from RGB Videos using Gaussian Splatting
RPTU（鲁尔大学图灵学院）；DFKI-AV Kaiserslautern（德累斯顿-费尔德基辛人工智能研究所）；UPM Saudi Arabia（西班牙国际大学沙特分校）；NUST-SEECS Pakistan（奈瓦扎巴德大学信息与电子科学学院）
GHOST通过高斯散射技术实现快速且无类别的手-物体交互重建，解决了现有方法在物理一致性上的不足，实验表明其在3D重建和2D渲染质量上达到领先水平。
2026-03-19 cs.CV
Towards Spectral Estimation from a Single RGB Image in the Wild
ETH Zurich（苏黎世联邦理工学院）
在目前的文献相比，我们解决的问题，从一个单一的共同的三色RGB图像下获得的无约束设置（例如，未知的相机参数，未知的场景辐射，未知的场景内容）的光谱估计。为此，我们使用高光谱图像相机提供的参考光谱，并提出有效的深度学习解决方案，用于从单个RGB图像进行灵敏度函数估计和光谱重建。我们进一步扩展了光谱重建的概念，以便适用于野外拍摄的RGB图像，并提出了一种基于卷积网络的解决方案，该网络以估计的灵敏度函数为条件。除了提出的解决方案，我们还研究通用和敏感性专门的模型，并讨论其局限性。我们在标准的基于示例的光谱重建基准测试中取得了最先进的竞争结果：ICVL，CAVE，NUS和NTIRE。此外，我们的实验表明，第一次，准确的光谱估计从一个单一的RGB图像在野外是我们力所能及的。
2018-12-03 cs.CV
SCOUT-SLAM: Structurally-Coupled Dual Uncertainty-Aware 3DGS SLAM in the Wild
Indian Institute of Science（印度科学理工学院）
SCOUT-SLAM提出结构耦合双不确定性框架，通过共享网络和低秩适应估计跟踪不确定性，打破跟踪与重建的循环依赖，在动态基准上实现最先进跟踪精度与无伪影静态重建。
2026-09-15 cs.CV
ARROW: Arbitrary Reconstruction and Tracking of 4D Observations in the Wild
RWTH Aachen University（亚琛工业大学）
ARROW是一种前馈模型，通过顺序不变查询方法统一任意图像集的3D重建与点跟踪，在WorldTrack和TAPVid-3D上达到最先进水平，并优于专用多视图跟踪器。
2026-10-02 cs.CV
Using a single RGB frame for real time 3D hand pose estimation in the wild
Institute of Computer Science, FORTH（FORTH 计算机科学研究所）；Computer Science Department, UOC（克里特大学计算机科学系）
我们提出了一种使用单个商品RGB相机实时估计一个或多个人手的完整3D姿态的方法。最近在该领域的工作显示了令人印象深刻的进展，使用RGBD输入。然而，自从RGBD传感器的引入以来，对于单眼彩色输入的情况几乎没有进展。我们利用深度学习的最新进展，将其与生成手部姿势估计技术的功能相结合，以实现在不受限制的场景中实时单目3D手部姿势估计。更具体地说，给定RGB图像和相关的相机校准信息，我们采用最先进的检测器来定位手。给定图像中的一只手，我们运行OpenPose的预训练网络来估计手关节的2D位置。最后，非线性最小二乘最小化拟合的3D模型的手估计的2D关节位置，恢复的3D手姿势。广泛的实验结果提供了与现有技术的比较以及该方法在野外的定性评估。
2017-12-11 cs.CV
360 Depth Estimation in the Wild -- The Depth360 Dataset and the SegFuse Network
Waseda University（早稻田大学）；Durham University（杜伦大学）；Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究所）
基于全方位图像的单视点深度估计技术在自动驾驶、场景重建等领域有着广泛的应用前景。尽管基于数据驱动学习的方法在该领域显示出巨大的潜力，但缺乏训练数据和无效的360度估计算法仍然是阻碍跨不同领域准确估计的两个关键限制。在这项工作中，我们首先建立了一个大规模的数据集与不同的设置称为深度360来解决训练数据的问题。这是通过探索使用丰富的数据源，来自互联网的360个视频，使用测试时训练方法，利用每个全向序列中的独特信息来实现的。新的几何和时间约束，我们的方法产生一致的和令人信服的深度样本，以促进单视图估计。然后，我们提出了一个端到端的双分支多任务学习网络Segmentation，它模仿人眼有效地从数据集中学习，并从不同的单目RGB图像中估计高质量的深度图。利用等矩形投影进行深度估计的外围分支和使用立方体映射投影进行语义分割的中央凹分支，我们的方法预测一致的全局深度，同时保持局部区域的清晰细节。实验结果表明，良好的性能对国家的最先进的方法。
2022-02-16 cs.CV
DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出DATAP-SfM方法，通过动态感知任意点跟踪结合一致视频深度先验，对静态可见点执行全局光束法平差，从而在野外动态视频中实现鲁棒的相机位姿估计与稠密重建。
2024-11-20 cs.CV
Hierarchical Kinematic Probability Distributions for 3D Human Shape and Pose Estimation from Images in the Wild
University of Cambridge（剑桥大学）
本文讨论了从RGB图像中估计三维人体形状和姿态的问题。这通常是一个不适定的问题，因为多个看似合理的3D物体可能匹配输入中存在的视觉证据-特别是当主体被遮挡时。因此，期望估计以输入图像而不是单个3D重建为条件的3D身体形状和姿势上的分布。我们训练深度神经网络来估计相对3D关节旋转矩阵（即身体姿势）上的分层矩阵Fisher分布，其利用人体的运动学树结构以及SMPL体形参数上的高斯分布。为了进一步确保预测的形状和姿态分布与输入图像中的视觉证据相匹配，我们实现了可微分拒绝采样器，以在地面真实2D联合坐标和投影到图像平面上的预测分布的样本之间施加重投影损失。我们表明，我们的方法在SSP-3D和3DPW数据集上的3D形状和姿势度量方面与最先进的方法具有竞争力，同时还产生了3D身体形状和姿势的结构化概率分布，我们可以有意义地量化预测不确定性并对多个合理的3D重建进行采样以解释给定的输入图像。代码可在https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman上获得。
2022-11-23 cs.CV
Single-View View Synthesis in the Wild with Learned Adaptive Multiplane Images
Tsinghua University（清华大学）；USTC（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文论述了具有挑战性的任务，合成新的意见，在野外的照片。现有方法已经显示出利用单眼深度估计和具有分层深度表示的颜色修复的有希望的结果。然而，这些方法仍然具有有限的能力来处理具有复杂3D几何形状的场景。我们提出了一种新的方法的基础上的多平面图像（MPI）表示。为了适应不同的场景布局在野外，并解决在生产高维MPI内容的困难，我们设计了一个网络结构，由两个新的模块，一个平面深度调整和深度感知的颜色预测。前者使用RGBD上下文特征和注意力机制来调整初始平面位置。给定调整后的深度值，后者分别预测每个平面的颜色和密度，并通过特征掩蔽策略实现适当的平面间交互。为了训练我们的方法，我们构建大规模的立体训练数据，只使用无约束的单视图图像集合，通过一个简单而有效的翘曲回策略。在合成数据集和真实数据集上的实验表明，我们训练的模型工作得非常好，并取得了最先进的结果。
2022-05-24 cs.CV cs.GR
DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction
University of Technology Sydney（悉尼科技大学）；Li Auto Inc.（理想汽车公司）；Intel Inc.（英特尔公司）；City University of Macau（澳门城市大学）；The University of Queensland（昆士兰大学）
提出DreamCar方法，利用Car360数据集训练汽车特定生成先验并结合对称性与位姿优化，从少量甚至单张图像实现高质量野外3D汽车重建。
2024-07-30 cs.CV
Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild
City University of Hong Kong（香港城市大学）；Huaqiao University（华侨大学）
本文研究了从商业相机捕获的单个RGB图像重建高光谱（HS）图像的问题，\textbf{without}在训练期间使用配对的HS和RGB图像。为了应对这一挑战，我们提出了一个新的轻量级和基于端到端学习的框架。具体来说，从HS图像的RGB图像的固有成像退化模型的基础上，我们逐步传播输入RGB图像和重新投影的RGB图像从恢复HS图像之间的差异，通过有效的无监督相机光谱响应函数估计。为了使学习没有成对的地面真实HS图像作为监督，我们采用对抗学习的方式，并提高它与一个简单而有效的$\mathcal{L}_1$梯度裁剪计划。此外，我们嵌入输入RGB图像的语义信息，以局部正则化的无监督学习，这是期望促进具有相同语义的像素具有一致的光谱特征。除了对两个广泛使用的数据集进行定量实验，从合成RGB图像的HS图像重建，我们还评估我们的方法，从真正的RGB图像恢复HS图像HS为基础的视觉跟踪。大量的结果表明，我们的方法显着优于最先进的无监督方法，甚至超过了最新的监督方法在某些设置。源代码在https://github.com/zbzhzhy/Unsupervised-Spectral-Reconstruction上公开。
2021-08-17 cs.CV
3D Hand Shape and Pose from Images in the Wild
University of Oxford（牛津大学）；Federal University of Rio Grande（里奥格兰德联邦大学）
在这项工作中，我们提出了第一个基于端到端深度学习的方法，该方法可以从RGB图像中预测3D手部形状和姿势。我们的网络由深度卷积编码器和基于固定模型的解码器的级联组成。给定输入图像以及可选地从独立的CNN获得的2D关节检测，编码器预测一组手和视图参数。解码器有两个组件：一个预先计算的关节网格变形的手模型，从手的参数生成一个3D网格，和一个重新投影模块的视图参数控制，投影生成的手到图像域。我们表明，在深度学习框架内使用手部模型中编码的形状和姿势先验知识，可以在标准基准的图像中获得最先进的3D姿势预测性能，并产生几何有效和合理的3D重建。此外，我们还表明，在野外图像数据集上以2D联合注释形式进行弱监督的训练，以及在有限的可用数据集上以3D联合注释形式进行全面监督，可以很好地推广到野外图像上的3D形状和姿势预测。
2019-02-09 cs.AI cs.CV cs.LG
Kineo: Calibration-Free Metric Motion Capture From Sparse RGB Cameras
École Centrale de Lyon, CNRS, INSA Lyon, Université Claude Bernard Lyon 1, Université Lumière Lyon 2, LIRIS, UMR5205, ENISE（Lyon中央理工学院、国家科学研究中心、里昂国立应用科学学院、克莱门特-伯纳德大学里昂1分校、里昂2大学、LIRIS、UMR5205、ENISE）
提出免标定无标记动作捕捉流程Kineo，通过置信度采样和图优化实现固定成本的相机标定与度量级3D重建，显著降低误差并提升处理效率。
2026-11-06 cs.CV
CPPF: Towards Robust Category-Level 9D Pose Estimation in the Wild
Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
在本文中，我们解决了在给定单个RGB-D帧的情况下，在野外进行类别级9D姿态估计的问题。使用真实世界9D姿势的监督数据是乏味和错误的，并且也无法推广到看不见的场景。此外，类别级姿态估计需要一种方法能够在测试时推广到不可见的对象，这也是具有挑战性的。从传统的点对特征（PPF）的启发，在本文中，我们设计了一种新的类别级PPF（CPPF）投票方法，以实现准确，鲁棒和泛化的9D姿态估计在野外。为了获得鲁棒的姿态估计，我们对对象上的许多点对进行采样，并且对于每一对，我们的模型预测关于对象中心、方向和尺度的必要的SE（3）不变投票统计。提出了一种新的由粗到细的投票算法，以消除噪声点对样本，并从人口产生最终的预测。为了消除方向投票过程中的假阳性，为每个采样点对引入辅助二进制消歧分类任务。为了检测野外的物体，我们通过仅在合成点云上进行训练来仔细设计模拟到真实的管道，除非物体在几何中具有模糊的姿势。在这种情况下，利用颜色信息来消除这些姿势的歧义。标准基准测试的结果表明，我们的方法是与当前的艺术与现实世界的训练数据。大量的实验进一步表明，我们的方法对噪声具有鲁棒性，并在极具挑战性的情况下给出了有希望的结果。我们的代码可以在https://github.com/qq456cvb/CPPF上找到。
2022-03-27 cs.CV cs.RO
Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos
Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）
提出一种从单目RGB视频学习高质量隐式3D头部虚拟人的混合方法，结合3DMM与神经辐射场，通过预测3DMM几何上的局部特征实现细粒度控制与真实感，显著提升表情细节与泛化能力。
2023-04-04 cs.CV cs.GR
Caltech Aerial RGB-Thermal Dataset in the Wild
California Institute of Technology（加州理工学院）
本文提出首个面向自然环境的航空RGB-热成像数据集，覆盖多种地形并含10类语义标注，同时构建了语义分割、图像转换和运动跟踪基准，揭示了时空域偏移挑战。
2024-07-31 cs.CV cs.RO
Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild
Graz University of Technology（格拉茨工业大学）；Facebook Inc.（Facebook公司）
我们提出了一种新的3D姿态细化方法的基础上微分渲染的任意类别的对象在野外。与以前的方法相比，我们做出了两个主要贡献：首先，我们不是在RGB或遮罩空间中比较真实世界的图像和合成渲染，而是在针对3D姿态优化的特征空间中比较它们。其次，我们引入了一种新的可微分渲染器，它可以学习从数据中近似光栅化向后传递，而不是依赖于手工制作的算法。为此，我们预测RGB图像和3D模型渲染之间的深度跨域对应关系，我们称之为几何对应字段。这些对应字段用作像素级梯度，其通过渲染流水线向后分析传播，以直接对3D姿态执行基于梯度的优化。通过这种方式，我们可以将3D模型与RGB图像中的对象精确对齐，从而显著改善3D姿态估计。我们在具有挑战性的Pix3D数据集上评估了我们的方法，并在多个指标上与最先进的细化方法相比实现了高达55%的相对改进。
2020-07-17 cs.CV
WildfireX-SLAM: A Large-scale Low-altitude RGB-D Dataset for Wildfire SLAM and Beyond
Hong Kong Polytechnic University（香港理工大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）
为解决大规模森林场景缺乏高质量数据集的问题，本文利用 Unreal Engine 5 构建了包含 1.5k 张低空 RGB-D 图像的合成数据集 WildfireX-SLAM，并基于此进行了基准测试，揭示了基于 3DGS 的 SLAM 在森林环境中的挑战与改进方向。
2025-10-31 cs.CV cs.RO
3D Reconstruction of Objects in Hands without Real World 3D Supervision
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对手持物体3D重建依赖难以获取的真实3D监督数据导致泛化差的问题，提出利用自然环境视频的多视图2D掩码和合成3D形状先验作为间接监督，训练occupancy networks从单张RGB图像预测物体3D形状，在MOW数据集上取得11.6%的相对提升。
2024-09-23 cs.AI cs.CV cs.LG
Benchmarking Monocular 3D Dog Pose Estimation Using In-The-Wild Motion Capture Data
University of Surrey（萨里大学）；Centre for Vision Speech Signal Processing (CVSSP)（视觉、语音与信号处理中心）
该研究针对单目野外图像3D犬类姿态估计，构建了修复标记、背景多样的3DDogs-Wild数据集，验证其能提升模型野外性能，并分析了不同模型的优劣，为3D动物姿态估计研究提供支持。
2024-06-20 cs.CV
Cross-modal State Space Modeling for Real-time RGB-thermal Wild Scene Semantic Segmentation
School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学）；School of Information and Electronic Engineering, Zhejiang University of Science and Technology（信息电子工程学院，浙江工业大学）；School of Computer Science and Engineering, Nanyang Technological University（计算机科学与工程学院，南洋理工大学）
本文提出CM-SSM，一种基于跨模态状态空间建模的RGB-热红外语义分割架构，通过CM-SS2D和CM-SSA模块实现线性复杂度，在CART和PST900数据集上以更少参数和计算成本达到最先进性能。
2025-06-22 cs.CV cs.RO
Location Field Descriptors: Single Image 3D Model Retrieval in the Wild
Institute of Computer Graphics and Vision, Graz University of Technology, Austria（奥地利格拉茨工业大学计算机图形与视觉研究所）
我们提出了位置字段描述符，一种新的方法，在野外的单图像三维模型检索。与之前直接将3D模型和RGB图像映射到嵌入空间的方法相反，我们以位置字段的形式建立了一个通用的低级表示，我们从中计算姿态不变的3D形状描述符。位置字段对2D像素和3D表面坐标之间的对应关系进行编码，并且因此明确地捕获3D形状和3D姿态信息，而没有与任务无关的外观变化。这种3D模型和RGB图像的早期融合产生了三个主要优点：首先，瓶颈位置场预测在训练期间充当正则化器。其次，系统的主要部分受益于对几乎无限数量的合成数据的训练。最后，预测的位置字段是视觉上可解释的，并且使系统非黑盒化。我们在三个具有挑战性的现实世界数据集（Pix3D，Comp和Stanford）上评估了我们提出的方法，这些数据集具有不同的对象类别，并且在多个3D检索指标中的绝对值高达20%。
2019-08-07 cs.CV
3D Pose Estimation and 3D Model Retrieval for Objects in the Wild
Institute of Computer Graphics and Vision, Graz University of Technology（格拉茨技术大学计算机图形学与视觉研究所）；Laboratoire Bordelais de Recherche en Informatique, University of Bordeaux（波尔多大学波尔多计算机科学实验室）
我们提出了一种可扩展的，高效的和准确的方法来检索3D模型的对象在野外。我们的贡献是双重的。我们首先提出了一个3D姿态估计方法的对象类别，显着优于最先进的Pascal3D+。其次，我们使用估计的姿态作为先验来检索3D模型，这些模型准确地表示RGB图像中对象的几何形状。为此，我们根据我们预测的姿势渲染来自3D模型的深度图像，并使用基于CNN的多视图度量学习方法将RGB图像的学习图像描述符与渲染的深度图像的图像描述符进行匹配。通过这种方式，我们是第一个在Pascal 3D+上报告3D模型检索的定量结果的人，我们的方法平均为50%的验证图像选择与人类注释器相同的模型。此外，我们还展示了我们的方法，该方法完全在Pascal3D+上训练，可以从ShapeNet中检索出丰富而准确的3D模型，给出了野外物体的RGB图像。
2018-03-30 cs.AI cs.CV
Deep3DPose: Realtime Reconstruction of Arbitrarily Posed Human Bodies from Single RGB Images
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xmov（魔珐科技）；Zhejiang University（浙江大学）；Texas A&M University（德州农工大学）
我们介绍了一种方法，准确地重建三维人体姿势和详细的三维全身几何模型，从单图像实时。我们的方法的核心思想是一种新型的端到端多任务深度学习框架，该框架使用单个图像同时预测五个输出：前景分割掩码，2D关节位置，语义体分区，3D部件方向和UV坐标（UV地图）。多任务网络架构不仅为重建生成更多的视觉线索，而且还使每个单独的预测更加准确。CNN回归器进一步与基于优化的算法相结合，用于精确的运动姿态重建和全身形状建模。我们表明，实时重建达到准确的拟合，还没有见过，特别是野生图像。我们展示了我们的实时3D姿态和人体重建系统在各种具有挑战性的野外视频的结果。我们表明，该系统的进步前沿的三维人体和姿势重建从单一的图像定量评估和比较与国家的最先进的方法。
2021-06-22 cs.CV
Robust Wind Turbine Blade Segmentation from RGB Images in the Wild
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息学研究所）；Wind Power LAB（风能实验室）
提出一种结合U-Net与定制损失函数的鲁棒风力涡轮机叶片分割算法，通过填充孔洞和随机森林修正误分类像素，在野外RGB图像上实现97.39%的准确率。
2023-06-26 cs.CV cs.LG eess.IV
GSOT3D: Towards Generic 3D Single Object Tracking in the Wild
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of North Texas（北得克萨斯大学）
该研究构建了多模态、大规模真实场景三维单目标跟踪基准 GSOT3D，评估八类点云跟踪器，并提出性能领先的渐进式时空跟踪器 PROT3D。
2024-12-03 cs.CV
Periocular Recognition in the Wild with Orthogonal Combination of Local Binary Coded Pattern in Dual-stream Convolutional Neural Network
KAIST（韩国科学技术院）；Yonsei University（延世大学）；Sunway University（双威大学）
尽管在眼周识别方面取得了进展，但野外的数据集和眼周识别仍然是一个挑战。在本文中，我们提出了一种多层融合的方法，通过一对共享参数（双流）卷积神经网络，每个网络接受RGB数据和一种新的基于颜色的纹理描述符，即正交组合本地二进制编码模式（OC-LBCP）的眼周识别在野外。具体来说，在双流网络中引入两个不同的后期融合层来聚合RGB数据和OC-LBCP。因此，网络受益于后期融合层的这种新特征，以获得准确性性能增益。我们还介绍和分享了一个新的数据集，即种族眼数据集的基准。拟议的网络还在一个公开的数据集上进行了评估，即UBIPr。该网络在这些数据集上的性能优于几种竞争方法。
2019-03-19 cs.CV cs.LG eess.IV
Where in the World is this Image? Transformer-based Geo-localization in the Wild
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）
从世界上任何地方拍摄的单个地面RGB图像预测地理位置（地理定位）是一个非常具有挑战性的问题。这些挑战包括由于不同的环境场景而导致的图像的巨大多样性，取决于一天中的时间、天气、季节的相同位置的外观的剧烈变化，并且更重要的是，预测是从可能仅具有一些地理定位线索的单个图像进行的。由于这些原因，大多数现有的作品都局限于特定的城市，图像或世界各地的地标。在这项工作中，我们专注于开发一个有效的解决方案，行星尺度的单图像地理定位。为此，我们提出了transmittance，一个统一的双分支Transformer网络，出席整个图像的微小细节，并产生强大的功能表示极端的外观变化。transmittance以RGB图像及其语义分割图为输入，在每个Transformer层之后的两个并行分支之间进行交互，并以多任务方式同时执行地理定位和场景识别。在Im2GPS、Im2GPS3k、YFCC 4k、YFCC 26k四个基准数据集上，我们分别获得了5.5%、14.1%、4.9%、9.9%的大陆级精度提升。
2022-07-25 cs.CV
DensePose: Dense Human Pose Estimation In The Wild
INRIA-CentraleSupélec（法国国家信息与自动化研究所-中央理工-高等电力学院）；Facebook AI Research（脸书人工智能研究院）
在这项工作中，我们建立了密集的RGB图像和基于表面的表示的人体之间的对应关系，我们称之为密集的人体姿态估计的任务。我们首先通过引入高效的注释管道来收集COCO数据集中出现的5万人的密集对应。然后，我们使用我们的数据集来训练基于CNN的系统，这些系统可以“在野外”提供密集的对应关系，即在存在背景、遮挡和尺度变化的情况下。我们通过训练一个“修复”网络来提高训练集的有效性，该网络可以填补缺失的地面实况值，并报告与过去可实现的最佳结果相比的明显改进。我们使用全卷积网络和基于区域的模型进行实验，并观察到后者的优越性;我们通过级联进一步提高精度，获得一个实时的提供高精度结果的系统。项目页面http://densepose.org提供了补充材料和视频
2018-02-01 cs.CV
M3GA-Wild: A Large-Scale Dataset and Benchmark for Multi-Modal Multi-session Ground-to-Aerial Place Recognition in Forests
Queensland University of Technology (QUT)（昆士兰科技大学）；CSIRO Robotics（澳大利亚联邦科学与工业研究组织机器人部门）
M3GA-Wild是首个森林多模态多会话地空地点识别基准，含36公里地面和370公顷航空数据，揭示LiDAR优于视觉及跨模态对齐挑战。
2026-09-22 cs.CV cs.RO
SMPLy Benchmarking 3D Human Pose Estimation in the Wild
NAVER LABS Europe（NAVER LABS 欧洲）
从图像中预测3D人体姿势最近有了很大的改进。甚至可以从单个输入图像预测姿势和形状的新方法已经被引入，通常依赖于人体的参数模型，如SMPL。虽然这些方法的定性结果通常显示为在野外捕获的图像，但在这种条件下仍然缺少适当的基准，因为在运动捕获室之外的其他地方获得地面实况3D姿势是麻烦的。本文提出了一个管道，可以轻松地生成和验证这样一个具有准确地面实况的数据集，我们可以用它来对最近的3D人体姿态估计方法进行基准测试。我们利用最近引入的Mannequin Challenge数据集，其中包含像雕像一样冻结的人的野外视频，并利用人是静态的和相机移动的事实来准确地拟合序列上的SMPL模型。然后从567个场景中选择总共24，428帧注册的身体模型，几乎没有成本，只使用在线RGB视频。我们在这个数据集上对最先进的基于SPL的人体姿态估计方法进行基准测试。我们的研究结果强调，挑战仍然存在，特别是对于困难的姿势或场景中的人被部分截断或闭塞。
2020-12-04 cs.CV
Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image
Google Research, Brain Team（谷歌研究院，大脑团队）；Technical University of Munich（慕尼黑工业大学）
从RGB图像输入的物体形状的3D感知是语义场景理解的基础，在我们的空间三维现实世界环境中基于图像的感知。为了实现对象的图像视图和3D形状之间的映射，我们利用现有的大型数据库中的CAD模型先验，并提出了一种新的方法来构建一个联合嵌入空间之间的2D图像和3D CAD模型在一个补丁明智的方式-建立一个对象的图像视图的补丁和补丁的CAD几何形状之间的对应关系。这使得能够进行零件相似性推理，以检索与新图像视图相似的CAD，而无需在数据库中进行精确匹配。我们的补丁嵌入提供了更强大的CAD检索的形状估计在我们的端到端的CAD模型的形状和姿态的估计在一个单一的输入图像中检测到的对象。在野外，复杂的图像从ScanNet的实验表明，我们的方法是更强大的比最先进的在现实世界中的场景没有任何确切的CAD匹配。
2021-08-20 cs.CV
Towards Panoptic 3D Parsing for Single Image in the Wild
UC San Diego（加州大学圣地亚哥分校）；Intel Labs（英特尔实验室）
对单幅图像进行整体理解和三维重建是计算机视觉的核心任务。本文提出了一个集成的系统，执行密集的场景标记，目标检测，实例分割，深度估计，三维形状重建，和三维布局估计室内和室外场景从一个单一的RGB图像。我们将我们的系统命名为全景3D解析（Panoptic 3D），其中执行具有3D重建的全景分割（“填充物”分割和“事物”检测/分割）。我们设计了一个分阶段的系统，Panoptic 3D（分阶段），其中没有一套完整的注释。此外，我们还提供了一个端到端的管道Panoptic 3D（端到端），该管道在具有全套注释的合成数据集上进行训练。我们展示了室内（3D-FRONT）和室外（COCO和Cityscapes）场景的结果。我们提出的全景3D解析框架在计算机视觉中指出了一个有前途的方向。Panoptic 3D可以应用于各种应用，包括自动驾驶、地图绘制、机器人、设计、计算机图形、机器人、人机交互和增强现实。
2021-11-29 cs.CV
Towards in-the-wild Egocentric 3D Hand-Object Pose Estimation
University of Bristol（布里斯托大学）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
针对野外自我中心RGB图像中手-物体姿态估计的遮挡和接触模糊问题，提出EPIC-Contact数据集和HOPformer端到端Transformer模型，联合预测双手和物体姿态，在ARCTIC和EPIC-Contact上显著提升成功率并降低接触偏差。
2026-06-29 cs.CV
Head Detection with Depth Images in the Wild
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
头部检测和定位是一项艰巨的任务，是许多计算机视觉应用的关键要素，如视频监控，人机交互和人脸分析。在RGB图像上检测人脸所做的大量工作，以及庞大的人脸数据集的可用性，使得在该领域建立了非常有效的系统。然而，由于照明问题，在实际应用中可能需要红外或深度相机。在本文中，我们介绍了一种新的深度图像上的头部检测方法，该方法利用了深度学习方法的分类能力。除了减少对外部照明的依赖外，深度图像还隐含地嵌入有用的信息来处理目标对象的尺度。已经利用了两个公共数据集：第一个称为Pandora，用于训练人脸和非人脸图像的深度二元分类器。第二个由康奈尔大学收集，用于在无约束环境中的日常活动中执行跨数据集测试。实验结果表明，该方法克服了最先进的方法工作在深度图像的性能。
2017-11-08 cs.CV
Category-Level 6D Object Pose Estimation in the Wild: A Semi-Supervised Learning Approach and A New Dataset
UC San Diego（加州大学圣地亚哥分校）
目标的6维位姿估计是计算机视觉和机器人研究中的基本问题之一。虽然最近已经在将姿态估计推广到同一类别内的新对象实例（即类别级6D姿态估计）方面做出了很多努力，但是在给定有限数量的注释数据的约束环境中，它仍然受到限制。在本文中，我们收集了Wild6D，一个新的未标记的RGBD对象视频数据集，具有不同的实例和背景。我们利用这些数据来推广类别级的6D对象姿态估计在野外与半监督学习。我们提出了一个名为Rendering for Pose estimation网络RePoNet的新模型，该模型使用自由地面实况与合成数据以及真实世界数据上的轮廓匹配目标函数进行联合训练。在不对真实数据使用任何3D注释的情况下，我们的方法在以前的数据集和我们的Wild6D测试集（带有手动注释进行评估）上的性能大大优于最先进的方法。Wild6D数据的项目页面：https://oasisyang.github.io/semi-pose。
2022-06-30 cs.CV cs.RO
ArchSym: Detecting 3D-Grounded Architectural Symmetries in the Wild
Cornell University（康奈尔大学）；Kempner Institute, Harvard University（哈佛大学凯普勒研究所）
本文提出首个基于单张真实RGB图像检测3D基础反射对称性的框架，通过自动生成大规模建筑对称性数据集ArchSym，并引入单视角对称检测器，实现对3D对称性的精确定位。
2026-04-24 cs.CV
Anything-3D: Towards Single-view Anything Reconstruction in the Wild
National University of Singapore（新加坡国立大学）
本文提出Anything-3D框架，联合BLIP、Segment-Anything与文本到图像扩散模型，将野外单张RGB图像中的任意物体重建为神经辐射场。
2023-04-19 cs.CV
Car-Studio: Learning Car Radiance Fields from Single-View and Endless In-the-wild Images
The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology(Guangzhou)（香港科技大学（广州））
针对自动驾驶模拟器中车辆旋转模糊问题，提出Car-Studio流程，从野外单视图图像学习车辆辐射场，实现清晰轮廓与可控外观编辑，性能优于基线。
2023-07-26 cs.CV
ChildPlay-Hand: A Dataset of Hand Manipulations in the Wild
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
针对第三视角真实场景手-物交互数据集匮乏的问题，本文提出包含逐手标注、自然交互视频及注视标签的ChildPlay-Hand数据集，并通过两项任务的基准测试验证其作为挑战性新基准的价值。
2024-09-14 cs.CV
Category Level 6D Object Pose Estimation from a Single RGB Image using Diffusion
University of Adelaide（阿德莱德大学）
提出统一生成框架，利用扩散模型生成多假设分布，结合均值漂移估计6D姿态，在REAL275上达到新SOTA，并实现Wild6D零样本泛化与视频序列跟踪。
2026-09-17 cs.CV
LPA3D: 3D Room-Level Scene Generation from In-the-Wild Images
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
针对从单张RGB图像生成房间级3D场景的相机位姿估计难题，提出基于局部位姿对齐框架的LPA-GAN生成方法，联合优化位姿预测与场景生成，实现了更优的视角一致性与语义规范性。
2025-04-03 cs.CV
Gaze-in-wild: A dataset for studying eye and head coordination in everyday activities
Golisano College of Computing and Information Sciences, RIT（罗切斯特理工学院戈利萨诺计算与信息科学学院）；Chester F. Carlson Center for Imaging Science, RIT（罗切斯特理工学院切斯特·F·卡尔森成像科学中心）
前庭和眼系统之间的相互作用主要是在受控环境中研究的。因此，当允许头部移动时，用于对注视事件（例如，注视、追踪、扫视）进行分类的现成工具失败。我们的方法是收集一个新颖的，自然的，多模式的数据集的眼睛+头部运动时，受试者进行日常任务，同时佩戴移动眼动仪配备了惯性测量单元和3D立体相机。这个野外凝视数据集（GW）包括眼睛+头部旋转速度（deg/s），红外眼睛图像和场景图像（RGB+D）。一部分由编码器标记为注视运动事件，基于Cohen的$κ$的相互一致性为0.72个样本。该标记的数据用于训练和评估两种机器学习算法，即随机森林和递归神经网络模型，用于凝视事件分类。评估涉及应用既定的和新的事件为基础的性能指标。分类器在检测注视和扫视方面实现了$\sim$ 90 $\%$人类性能，但在检测追踪运动方面达不到（60 $\%$）。此外，在没有头部运动信息的情况下，追踪分类要差得多。在我们的性能最好的模型中的特征显著性的后续分析揭示了对绝对眼睛和头部速度的依赖，这表明分类不需要头部和眼动追踪坐标系的空间对准。GW数据集、训练的分类器和评估指标将公开提供，旨在促进无头凝视事件分类这一新兴领域的发展。
2019-05-09 cs.CV
JOintGS: Joint Optimization of Cameras, Bodies and 3D Gaussians for In-the-Wild Monocular Reconstruction
School of Computer Science, Wuhan University, China（武汉大学计算机学院）；Hangzhou Dianzi University, China（杭州电子科技大学）；Nanyang Technological University, Singapore（南洋理工大学）
JOintGS通过联合优化相机、人体和3D高斯分布，提升野外单目重建的精度与鲁棒性。
2026-02-04 cs.CV
Thermal is Always Wild: Characterizing and Addressing Challenges in Thermal-Only Novel View Synthesis
Northwestern University（西北大学）；University of California, Riverside（加州大学河滨分校）
本文针对热成像在新型视角合成中的难点，提出轻量预处理与溅射流程，提升动态范围并稳定光照度，实现先进性能。
2026-03-20 cs.CV eess.IV
Recognizing Objects In-the-wild: Where Do We Stand?
TU Wien（维也纳技术大学）；Italian Institute of Technology（意大利理工学院）
识别物体的能力是机器人系统在人类居住环境中工作的基本技能。尽管机器人和视觉研究界几十年来一直在努力，但机器人仍然缺乏良好的视觉感知系统，这阻碍了自主智能体在现实世界中的应用。由于缺乏能够准确代表机器人在野外感知的世界的测试平台，进展缓慢。为了填补这一空白，我们引入了一个大规模的，多视图对象数据集收集与安装在移动机器人上的RGB-D相机。该数据集嵌入了机器人在现实应用中面临的挑战，并为验证对象识别算法提供了有用的工具。除了描述数据集的特征外，本文还评估了一系列成熟的深度卷积网络在新数据集上的性能，并分析了深度表示从Web图像到机器人数据的可移植性。尽管使用这种表示方法获得了有希望的结果，但实验表明，使用现实生活中的机器人数据进行对象分类远未解决。最后，我们提供了一个比较研究，分析和突出机器人视觉的开放性挑战，解释性能的差异。
2018-05-22 cs.CV cs.RO
Thermal Image Calibration and Correction using Unpaired Cycle-Consistent Adversarial Networks
Clemson University（克莱姆森大学）
针对航空野火数据集规模与质量不足的问题，本文提出基于 CycleGAN 的热图像校准校正流程，并通过将配对 RGB 图像作为双向生成器的属性条件来提升生成图像准确性。
2024-01-21 cs.CV cs.LG eess.IV
FreiHAND: A Dataset for Markerless Capture of Hand Pose and Shape from Single RGB Images
University of Freiburg（弗莱堡大学）；Adobe Research（Adobe研究院）
从单个RGB图像估计3D手部姿势是一个高度模糊的问题，依赖于无偏的训练数据集。在本文中，我们分析了在现有数据集上训练时的跨数据集泛化。我们发现，这些方法在它们训练的数据集上表现良好，但不能推广到其他数据集或野外场景。因此，我们引入了第一个大规模的，多视图的手数据集，伴随着3D手的姿势和形状注释。为了注释这个真实世界的数据集，我们提出了一个迭代的，半自动的“人在回路”的方法，其中包括手拟合优化，以推断每个样本的3D姿态和形状。我们表明，在我们的数据集上训练的方法在其他数据集上测试时始终表现良好。此外，数据集允许我们训练一个网络，从单个RGB图像预测完整的关节手形状。评估集可以作为关节手形状估计的基准。
2019-09-13 cs.CV cs.LG cs.RO
DIPSER: A Dataset for In-Person Student Engagement Recognition in the Wild
Institute for Computer Research（计算机研究学院）；University of Alicante（阿利坎特大学）
本文提出一个包含RGB摄像机数据和智能手表传感器数据的数据集，用于评估真实课堂中学生的注意力和情绪，通过自我报告和专家评估生成标签，填补了现有研究的空白。
2026-05-11 cs.AI cs.CV
EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents
The University of Hong Kong（香港大学）；Tampere University（坦佩雷大学）；The Chinese University of Hong Kong（香港中文大学）；Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出EmbodMocap，利用两部移动iPhone实现低成本、便携式的人体-场景重建，通过联合校准双RGB-D序列，在无静态相机和标记的情况下实现日常环境中的度量尺度和场景一致的重建，提升具身智能研究。
2026-04-02 cs.CV
Reading Recognition in the Wild
Meta Reality Labs Research（Meta现实实验室）；VGG, University of Oxford（VGG，牛津大学）；The Ohio State University（俄亥俄州立大学）
本文提出阅读识别任务，通过多模态数据和Transformer模型实现对阅读行为的识别，扩展了阅读研究的规模和现实场景。
2026-04-30 cs.CV cs.LG
Wild Berry image dataset collected in Finnish forests and peatlands using drones
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Arctic Flavours Association（北极风味协会）；Universitat Politècnica de València（巴塞罗那理工大学）；Ingeniarius
本文提出了首个在芬兰森林和泥炭地利用无人机采集的野生浆果图像数据集 WildBe，包含 3,516 张图像和 18,468 个标注边界框，并使用六种目标检测器进行了全面评估。
2025-02-24 cs.CV
AttentionHand: Text-driven Controllable Hand Image Generation for 3D Hand Reconstruction in the Wild
Sogang University（西江大学）；LG Electronics（LG电子）；Pusan National University（釜山大学）
针对野外3D手部重建因数据缺乏和复杂姿态导致困难的问题，提出文本驱动的AttentionHand方法，利用多模态输入和注意力机制生成对齐的手部图像，达到SOTA并提升3D手部网格重建性能。
2024-07-25 cs.AI cs.CV
