Semantic Segmentation In-the-Wild Without Seeing Any Segmentation Examples
School of Computer Science and Engineering（计算机科学与工程学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
语义分割是计算机视觉的一项关键任务，几十年来一直在积极研究。近年来，监督方法已经达到了前所未有的准确性，但它们需要为每个新的类别类别进行许多像素级注释，这非常耗时且昂贵。此外，当前语义分割网络处理大量类别的能力是有限的。这意味着包含稀有类别的图像不太可能通过当前方法很好地分割。在本文中，我们提出了一种新的方法，为每个对象创建语义分割掩模，而不需要训练分割网络或看到任何分割掩模。我们的方法将图像中存在的类类别的图像级标签作为输入;它们可以自动或手动获得。我们利用视觉语言嵌入模型（特别是CLIP）为每个类创建一个粗略的分割图，使用模型可解释性方法。我们使用测试时增强技术来改进地图。此阶段的输出提供像素级伪标签，而不是监督方法所需的手动像素级标签。给定伪标签，我们利用单图像分割技术来获得高质量的输出分割掩码。我们的方法是定量和定性优于方法，使用类似量的监督。我们的结果是特别显着的图像包含罕见的类别。
2021-12-06 cs.CV
Seeing Under the Cover: A Physics Guided Learning Approach for In-Bed Pose Estimation
Northeastern University（东北大学）
人体床上姿态估计在医疗保健应用中具有巨大的实用价值，但仍然主要依赖于昂贵的压力映射（PM）解决方案。在本文中，我们介绍了我们的新的物理启发的基于视觉的方法，解决了具有挑战性的问题与床上姿势估计问题，包括监测一个完全覆盖的人在完全黑暗。我们重新制定了这个问题，使用我们提出的覆盖下成像通过热扩散（UCITD）的方法来捕获高分辨率的姿态信息的身体，即使它是完全覆盖使用长波长红外技术。我们提出了一个物理超参数的概念，通过它我们实现了高质量的地面实况姿态标签在不同的方式。还形成/发布了一个完全注释的床上姿势数据集，称为同时收集的多模态躺卧姿势（SLP），其数量级与大多数现有的大规模人体姿势数据集相同，以支持复杂模型的训练和评估。一个从头开始训练的网络在两个不同的环境中进行了测试，一个在客厅，另一个在医院房间，在PCK0.2标准中的姿势估计性能分别为99.5%和95.7%。此外，在与基于PM的最先进的床内姿势监测解决方案的多因素比较中，我们的解决方案在所有实际方面都表现出显着的优势，便宜60倍，小300倍，同时具有更高的姿势识别粒度和准确性。
2019-09-20 cs.CV
Pixelis: Reasoning in Pixels, from Seeing to Acting
University of Reading（雷丁大学）
Pixelis通过在像素空间中直接操作图像和视频，结合执行操作和学习后果，提升视觉智能的通用性和物理基础，实现基于行动的多模态感知。
2026-03-26 cs.AI cs.CV
Finding Correspondences for Optical Flow and Disparity Estimations using a Sub-pixel Convolution-based Encoder-Decoder Network
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
深度卷积神经网络（DCNN）最近在光流和视差估计等低级计算机视觉问题中显示出了有希望的结果，但仍有很大的空间进一步提高其性能。在本文中，我们提出了一种新的基于亚像素卷积的编码器-解码器网络的光流和视差估计，它可以扩展FlowNetS和DispNet通过使用超像素卷积块代替反卷积层。通过在解码器级上使用亚像素细化和估计而不是去卷积，即使在参数数量减少的情况下，我们也可以显著提高对光流和视差的估计精度。我们展示了我们提出的网络的有监督的端到端训练，用于光流和视差估计，以及用于单目深度和姿态估计的无监督的端到端训练。为了验证我们提出的网络的有效性，我们进行了密集的实验（i）光流和视差估计，（ii）单眼深度和姿态估计。在整个广泛的实验中，我们提出的网络在估计精度和训练时间方面优于FlowNetS和DispNet等基线。
2018-10-07 cs.CV cs.LG
Seeing through Light and Darkness: Sensor-Physics Grounded Deblurring HDR NeRF from Single-Exposure Images and Events
State Key Laboratory of Virtual Reality Technology and Systems, SCSE & QRI, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）
本文提出基于传感器物理的NeRF框架，通过单曝光模糊LDR图像和对应事件实现高动态范围和锐利3D表示的合成，利用CRF模型提升HDR和去模糊效果。
2026-04-02 cs.CV
Seeing Through the Clouds: Cloud Gap Imputation with Prithvi Foundation Model
Graduate School of Geography（地理学院）；Clark Center for Geospatial Analytics（克拉克地理空间分析中心）；Clark University（克拉克大学）
本文比较了Prithvi基础ViT模型与CGAN在卫星影像时间序列云遮挡填补中的性能，通过真实云掩膜训练和多种指标评估，验证了基础模型在云隙填补任务中的准确性与上下文保留优势。
2024-04-30 cs.CV eess.IV
SPEC: Seeing People in the Wild with an Estimated Camera
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
由于缺乏野外图像的摄像机参数信息，现有的3D人体姿态和形状（HPS）估计方法做了几个简化的假设：弱透视投影，大的恒定焦距，和零摄像机旋转。这些假设往往不成立，我们表明，定量和定性，它们会导致重建的3D形状和姿态的错误。为了解决这个问题，我们引入了SPEC，这是第一个在野外的3D HPS方法，它从单个图像中估计透视相机，并利用它更准确地重建3D人体。首先，我们训练一个神经网络来估计给定输入图像的视场、摄像机俯仰和滚动。我们采用新的损失，提高了校准精度比以前的工作。然后，我们训练一个新的网络，连接相机校准的图像特征，并使用这些一起回归三维身体形状和姿势。SPEC在标准基准（3DPW）上比现有技术更准确，并且具有更具挑战性的相机视图和不同焦距的两个新数据集。具体来说，我们创建了一个新的真实感合成数据集（SPEC-SYN）与地面真实3D机构和一个新的野外数据集（SPEC-MTP）与校准和高质量的参考机构。定性和定量分析都证实，在推理过程中知道相机参数可以更好地回归人体。代码和数据集可在https://spec.is.tue.mpg.de上获得。
2022-11-01 cs.CV
Seeing the Wind from a Falling Leaf
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
本文提出一种端到端可微逆图形框架，通过视频恢复不可见的物理力，应用于风场估计和基于物理的视频生成与编辑。
2025-11-30 cs.CV
Pix2Pose: Pixel-Wise Coordinate Regression of Objects for 6D Pose Estimation
TU Wien（维也纳技术大学）
由于诸如遮挡和对称性之类的问题，仅使用RGB图像来估计对象的6D姿态仍然具有挑战性。如果没有专业知识或专门的扫描设备，也很难构建具有精确纹理的3D模型。为了解决这些问题，我们提出了一种新颖的姿态估计方法Pix 2 Pose，它可以在没有纹理模型的情况下预测每个对象像素的3D坐标。设计了一种自动编码器架构，用于估计每个像素的3D坐标和预期误差。这些逐像素的预测然后在多个阶段中使用以形成2D-3D对应关系，以利用具有RANSAC迭代的PSTAR算法直接计算姿态。我们的方法通过利用生成对抗训练的最新成就来精确恢复被遮挡的部分，对遮挡具有鲁棒性。此外，提出了一种新的损失函数，Transformer loss，通过引导预测到最接近的对称姿态来处理对称对象。在三个不同的基准数据集包含对称和遮挡对象的评估表明，我们的方法优于只使用RGB图像的最新技术。
2019-08-20 cs.CV
Seeing Through Words, Speaking Through Pixels: Deep Representational Alignment Between Vision and Language Models
Department of Cognitive Science University of California, San Diego（认知科学系，加州大学圣地亚哥分校）
本研究系统探究视觉与语言单模态模型表征对齐的机制，发现对齐在中间层达峰、依赖语义而非外观，并能在多对多场景中反映人类偏好，且实例聚合可增强对齐。
2025-09-25 cs.AI cs.CL cs.CV
Seeing Objects in a Cluttered World: Computational Objectness from Motion in Video
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本研究提出一种基于运动线索和时空注意力的计算物体性方法，采用双R(2+1)U-Net结构，无需物体模型即可在杂乱场景中鲁棒感知被关注物体，且能有效迁移至真实视频，为模块化视频物体感知框架提供基础。
2024-02-02 cs.CV
Binary Image Features Proposed to Empower Computer Vision
Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
该文献提出了三种快速且容易计算的图像特征，以通过提供更像人类的视觉能力来改善计算机视觉。这些特征不基于图像像素的绝对或相对强度;也不基于形状或颜色。因此，不需要复杂的逐像素计算。对于人眼来说，逐像素计算就像是看到一幅具有最大缩放的图像，只有在需要更高级别的细节时才进行这种计算。通常情况下，我们首先看一张图像，以了解它的整体概念，以知道它是否值得进一步研究。这种能力得到一个想法在一瞥进行了分析，并提出了三个基本特征，使计算机视觉。通过不同的医疗数据集测试和建立拟议功能的潜力。实现的分类精度证明了在图像处理中使用所提出的特征的可能性和潜力。
2018-08-14 cs.CV
PicoPose: Progressive Pixel-to-Pixel Correspondence Learning for Novel Object Pose Estimation
South China University of Technology（华南理工大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出PicoPose框架，通过模板匹配、全局二维仿射回归和局部对应偏移细化的三阶段像素对应学习，提升PnP/RANSAC位姿估计，并在BOP七个核心数据集上达到SOTA。
2025-08-29 cs.CV
Pixel Sampling for Style Preserving Face Pose Editing
Ecole Centrale de Lyon（里昂中央理工学院）；Beihang University（北京航空航天大学）
现有的基于自动编码器的人脸姿态编辑方法主要集中在建模的身份保持能力在姿态合成，但不能够保持适当的图像风格，这是指的颜色，亮度，饱和度等。在本文中，我们利用著名的正面/侧面光学错觉，并提出了一种新的两阶段的方法来解决上述困境，其中面部姿态操纵的任务被转换为面部修复。通过对输入人脸中的像素点进行选择性采样，并利用所提出的“像素注意采样”模块对像素点的相对位置进行微调，人脸编辑结果忠实地保持了人脸的身份信息和图像风格不变。通过在修复阶段利用高维嵌入，生成更精细的细节。此外，以3D面部标志作为指导，我们的方法能够在三个自由度中操纵面部姿态，即，偏航，俯仰和滚动，从而导致更灵活的面部姿态编辑比仅仅控制偏航角，通常由当前的国家的最先进的。定性和定量评估验证了所提出的方法的优越性。
2021-06-14 cs.CV
Seeing the Heat: Synthesizing High-Resolution Wood Thermal Responses from Optical Imagery
提出端到端框架，利用木材RGB图像与热响应间的物理联系，通过有限元数据引擎合成高分辨率热数据，并训练基于DINOv3的神经代理模型，实现低成本高分辨率热推断。
2026-09-29 cs.CV cs.LG
Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation
在自然的对话和互动中，我们的手经常重叠或相互接触。由于手的均匀外观，这使得从图像估计交互手的3D姿态变得困难。在本文中，我们证明了自相似性，以及由此产生的模糊性，在分配像素观察到各自的手和他们的部分，是最终的3D姿态误差的主要原因。出于这种见解，我们提出了DIGIT，一种新的方法，用于估计从一个单目图像的两个相互作用的手的3D姿态。该方法由两个交织的分支，处理成一个每像素的语义部分分割掩模和视觉特征量的输入图像。与之前的工作相比，我们没有将分割与姿态估计阶段解耦，而是直接在下游姿态估计任务中利用每像素概率。为此，将部分概率与视觉特征合并，并通过全卷积层进行处理。我们的实验表明，该方法实现了新的国家的最先进的性能InterHand2.6M数据集。我们提供了详细的消融研究，以证明我们的方法的有效性，并提供深入了解像素所有权的建模如何影响3D手部姿势估计。
2021-11-28 cs.CV
Seeing Through WiFi: Lightweight Human Pose Estimation with Dynamic Kernel Attention
Smart Green Transformation Center (GREEN-X), VinUniversity（智能绿色转型中心（GREEN-X），文大大学）；Trinity College Dublin（都柏林三一学院）；University of Oulu（奥卢大学）；University of Technology Sydney（悉尼科技大学）；PHENIKAA University（菲尼卡大学）；SnT, University of Luxembourg（卢森堡大学SnT）
研究利用WiFi CSI信号进行轻量级高效人体姿态估计，提出WiLHPE框架，训练借助相机模型，测试直接处理WiFi信号，采用新架构动态学习卷积内核与注意力机制，用算法优化超参数，实验表明其优于现有方法。
2026-07-07 cs.CV cs.LG
JGR-P2O: Joint Graph Reasoning based Pixel-to-Offset Prediction Network for 3D Hand Pose Estimation from a Single Depth Image
South China University of Technology（华南理工大学）；University of Oulu（奥卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现有技术的基于单深度图像的3D手部姿势估计方法基于密集预测，包括体素到体素预测、点对点回归和逐像素估计。尽管这些方法具有良好的性能，但它们在本质上存在一些问题，例如准确性和效率之间的权衡差，以及带有局部卷积的普通特征表示学习。针对上述问题，提出了一种基于像素预测的图像分割方法。关键思想有两个方面：a）明确建模关节之间的依赖关系以及像素和关节之间的关系，以更好地进行局部特征表示学习; b）统一密集的逐像素偏移预测和直接联合回归，以进行端到端训练。具体来说，我们首先提出了一个图卷积网络（GCN）的联合图推理模块来模拟关节之间的复杂依赖关系，并增加每个像素的表示能力。然后，我们密集地估计所有像素在图像平面和深度空间中到关节的偏移，并通过对所有像素的预测进行加权平均来计算关节的位置，完全丢弃复杂的后处理操作。所提出的模型使用高效的2D全卷积网络（FCN）骨干实现，并且只有大约1.4M的参数。在多个3D手部姿态估计基准测试上进行的大量实验表明，该方法在单个NVIDIA 1080Ti GPU上以约110 fps的速度非常高效地运行的同时，实现了新的最先进的精度。
2020-07-10 cs.CV
PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation
Zhejiang University（浙江大学）；UT Austin（得克萨斯大学奥斯汀分校）
本文解决了严重遮挡或截断下从单个RGB图像进行6DoF姿态估计的挑战。许多最近的工作表明，一个两阶段的方法，首先检测关键点，然后解决了一个角度n点（Pestive-n-Point，Pestive-n-Point）问题的姿态估计，取得了显着的性能。然而，这些方法中的大多数仅通过回归其图像坐标或热图来定位一组稀疏关键点，这对遮挡和截断敏感。相反，我们引入了逐像素投票网络（PVNet）来回归指向关键点的逐像素单位向量，并使用这些向量使用RANSAC对关键点位置进行投票。这将创建一个灵活的表示，用于定位被遮挡或被截断的关键点。此表示的另一个重要特性是，它提供了关键点位置的不确定性，可以进一步由PSTK求解器利用。实验表明，该方法优于最先进的LINEMOD，闭塞LINEMOD和YCB-Video数据集的大幅度，同时是有效的实时姿态估计。我们进一步创建了一个截断LINEMOD数据集，以验证我们的方法对截断的鲁棒性。该代码将在https://zju-3dv.github.io/pvnet/上提供。
2018-12-31 cs.CV
Back to the Feature: Learning Robust Camera Localization from Pixels to Pose
ETH Zurich（苏黎世联邦理工学院）；Chalmers University of Technology（查尔姆斯理工大学）；Eigenvision；Ecole des Ponts（巴黎高科路桥学校）；Microsoft（微软）；Czech Technical University in Prague（捷克理工大学）
已知场景中的摄像机姿态估计是一个3D几何任务，最近由多种学习算法解决。许多回归精确的几何量，如姿势或3D点，从输入图像。这要么无法泛化到新视点，要么将模型参数绑定到特定场景。在本文中，我们回到功能：，我们认为深度网络应该专注于学习鲁棒和不变的视觉特征，而几何估计应该留给原则性算法。我们介绍PixLoc，这是一个场景不可知的神经网络，可以从图像和3D模型中估计准确的6-DoF姿势。我们的方法是基于多尺度深度特征的直接对齐，将相机定位作为度量学习。PixLoc通过从像素到姿势的端到端训练来学习强大的数据先验，并通过分离模型参数和场景几何形状来对新场景进行特殊的泛化。该系统可以在给定粗略姿态先验的大环境中进行定位，但也可以通过联合细化关键点和姿态来提高稀疏特征匹配的准确性。该代码将在https://github.com/cvg/pixloc上公开发布。
2021-04-07 cs.CV
Bottom-Up Human Pose Estimation by Ranking Heatmap-Guided Adaptive Keypoint Estimates
Microsoft Research（微软研究院）
典型的自自底向上的【形】人体姿态估计框架包括两个阶段，关键点检测和分组。大多数现有的工作集中于开发分组算法，例如，关联嵌入和我们在方法中采用的像素关键点回归。我们提出了几个方案，很少或不彻底的研究之前，提高关键点检测和分组（关键点回归）的性能。首先，我们利用关键点热图进行逐像素关键点回归，而不是将它们分离以改进关键点回归。其次，我们采用逐像素空间Transformer网络来学习自适应表示，以处理尺度和方向方差，从而进一步提高关键点回归质量。最后，我们提出了一个联合形状和热值评分计划，以促进更有可能是真实的姿态估计的姿态。连同用于平衡背景和关键点像素从而提高热图估计质量的权衡热图估计损失，我们得到了最先进的自自底向上的【形】的人体姿态估计结果。代码可在https://github.com/HRNet/HRNet-Bottom-up-Pose-Estimation上获得。
2020-06-28 cs.CV
Seeing What Matters: Visual Preference Policy Optimization for Visual Generation
Southeast University（东南大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）；University of Science and Technology of China（中国科学技术大学）
本文提出ViPO，一种改进的GRPO方法，通过结构化像素级优势图提升视觉生成的对齐和泛化能力，优于传统GRPO。
2026-05-15 cs.CV
PixelHuman: Animatable Neural Radiance Fields from Few Images
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对现有可动画人体渲染方法依赖大量训练数据、单场景训练耗时长的问题，提出PixelHuman模型，通过规范表示、姿态感知像素对齐特征和数据驱动变形场实现少样本下的可动画人体合成，性能达当前最优。
2023-07-18 cs.CV
Seeing in the Dark: Benchmarking Egocentric 3D Vision with the Oxford Day-and-Night Dataset
Active Vision Lab（主动视觉实验室）；Dynamic Robot Systems Group（动态机器人系统组）；University of Oxford（牛津大学）
本文提出牛津昼夜数据集，利用Meta ARIA眼镜和多会话SLAM构建大规模以自我为中心的三维视觉基准，支持新视角合成与视觉重定位任务。
2025-06-04 cs.CV
Proxy2World: Learning to Generate Worlds From Lightweight Proxies without Seeing Them
Tencent（腾讯）
Proxy2World提出一种从普通RGBD视频学习生成世界的可控模型，无需配对代理数据，通过跨模态流匹配联合训练深度条件RGB生成与RGBD生成，实现代理-相机混合去噪，在ProxyBench上平衡结构遵循与视觉质量。
2026-09-29 cs.CV
Human Pose-Constrained UV Map Estimation
Czech Technical University in Prague（捷克理工大学）
提出PC-CSE方法，将2D人体姿态融入UV图估计，增强全局一致性与解剖合理性，在DensePose COCO上验证改进效果。
2026-09-15 cs.CV
W-PoseNet: Dense Correspondence Regularized Pixel Pair Pose Regression
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息学院）；Peng Cheng Laboratory（鹏城实验室）
针对6D姿态估计受遮挡、光照等影响的难题，提出W-PoseNet算法，通过稠密对应正则化、像素对特征组合与软投票提升鲁棒性，在YCB-Video、LineMOD基准上性能优于现有最优方法。
2021-03-04 cs.CV cs.RO
Seeing Globally, Refining Locally: Global Visual Guidance and Local Ultrasound Cues for Robust Freehand 3-D Ultrasound Reconstruction
Department of Mechanical Engineering, The University of Hong Kong（香港大学机械工程系）；Multi-Scale Medical Robotics Center（多尺度医疗机器人中心）；Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong（香港中文大学机械与自动化工程系）
研究针对徒手三维超声重建中探头姿态估计易累积误差问题，提出全局到局部姿态估计框架，利用双相机分支和B模式分支及跨模态融合模块，经多尺度姿态损失约束，在数据集和体内实验中有效降低轨迹漂移，提升重建效果。
2026-07-15 cs.CV cs.RO
The Pose Knows: Video Forecasting by Generating Pose Futures
Carnegie Mellon University（卡内基梅隆大学）
视频预测中的当前方法尝试使用生成对抗网络（GANs）或变分自编码器（VAE）直接在像素空间中生成视频。然而，由于这些方法试图同时对所有结构和场景动态进行建模，因此在无约束的设置中，它们通常会生成无法解释的结果。我们的见解是在更高的抽象层次上对预测问题进行建模。具体来说，我们利用人体姿态检测器作为一个免费的监督来源，并打破了视频预测问题分为两个离散的步骤。首先，我们显式地模拟场景中的活动对象的高层次结构-人类-并使用VAE来模拟人类在姿势空间中可能的未来运动。然后，我们使用生成的未来姿势作为GAN的条件信息来预测像素空间中视频的未来帧。通过使用姿势的结构化空间作为中间表示，我们避开了GANs在直接生成视频像素时存在的问题。我们通过定量和定性评估表明，我们的方法优于最先进的视频预测方法。
2017-04-28 cs.CV
Dense 3D Regression for Hand Pose Estimation
University of Bonn（波恩大学）；KU Leuven（鲁汶大学）
我们提出了一个简单而有效的方法，从一个单一的深度帧的三维手部姿态估计。与以前基于整体3D回归的最先进方法相反，我们的方法适用于密集像素估计。这是通过在姿态参数化中仔细的设计选择来实现的，姿态参数化利用了深度图的2D和3D属性。具体地，我们将姿态参数分解为一组每像素估计，即，2D热图、3D热图和单位3D方向向量场。通过多任务网络级联估计2D/3D联合热图和3D联合偏移，该网络级联是端到端训练的。逐像素的估计可以直接转化为投票方案。然后使用均值偏移的变体来聚合局部投票，同时通过设计来强制执行所估计的3D姿态与逐像素的2D和3D估计之间的共识。我们的方法是高效和高度准确的。在MSRA和NYU手数据集上，我们的方法比以前所有的最先进的方法都要好。在ICVL手数据集上，我们的方法与目前提出的接近饱和的结果相比，达到了相似的精度，并且优于其他各种方法。代码为$\href{"https://github.com/melonwan/denseReg"}{\text{online}}$。
2017-11-24 cs.CV
Pixel2ISDF: Implicit Signed Distance Fields based Human Body Model from Multi-view and Multi-pose Images
Dalian University of Technology（大连理工大学）；University of California, Merced（加州大学默塞德分校）；Northwestern Polytechnical University（西北工业大学）；ZMO AI Inc.（ZMO人工智能公司）
在这份报告中，我们专注于重建在规范空间中的多个视图和姿势的人作为输入的衣服的人。为了实现这一点，我们利用SMPLX模型在规范空间中的几何先验来学习几何重建的隐式表示。基于观察到的构成网格和规范空间中的网格之间的拓扑结构是一致的，我们提出了学习潜在代码的构成网格利用多个输入图像，然后分配潜在代码的规范空间中的网格。具体来说，我们首先利用法线和几何网络来提取SMPLX网格上每个顶点的特征向量。与2D图像相比，法线映射被采用以更好地泛化到不可见的图像。然后，从多个图像的姿态网格上的每个顶点的特征是由MLP集成。作为潜在代码的集成功能锚定到SMPLX网格在规范空间。最后，每个三维点的潜在代码被提取并用于计算SDF。我们的工作，重建人体形状的规范姿势达到第三次性能的WCPA MVP-人体挑战赛。
2022-12-06 cs.CV
Pixel-wise Regression: 3D Hand Pose Estimation via Spatial-form Representation and Differentiable Decoder
Harbin Institute of Technology（哈尔滨工业大学）
基于单幅深度图像的三维手姿态估计是计算机视觉和人机交互领域的一个重要课题。虽然深度学习方法的兴起大大提高了准确率，但由于人手结构的复杂性，该问题仍然难以解决。现有的深度学习方法要么丢失了手部结构的空间信息，要么缺乏对关节坐标的直接监督。本文提出了一种新的逐像素回归方法，该方法使用空间形式表示（SFR）和可微解码器（DD）来解决这两个问题。为了使用我们的方法，我们建立了一个模型，在这个模型中，我们设计了一个特殊的SFR和相关的DD，它将三维关节坐标分为两部分，平面坐标和深度坐标，并使用两个模块分别称为平面回归（PR）和深度回归（DR）来处理它们。我们进行了烧蚀实验，表明我们提出的方法取得了更好的效果比以前的方法。并探讨了不同的训练策略对学习到的SFR和结果的影响。在三个公共数据集上的实验表明，我们的模型与现有的最先进的模型是相当的，在其中一个我们的模型可以减少平均3D联合误差25%。
2019-05-27 cs.CV
Light Pose Calibration for Camera-light Vision Systems
GEOMAR Helmholtz Centre for Ocean Research Kiel（基尔亥姆霍兹海洋研究中心）
用人造光照亮场景是在黑暗环境中观看的先决条件。然而，不均匀和动态的照明可能会恶化甚至破坏计算机视觉方法，例如在黑暗中操作具有前灯的机器人时。本文提出了一种新的光校准方法，通过采取多视图和距离图像的参考平面，以提供姿态信息的雇用光源的计算机视觉系统。通过遵循物理光传播方法，在考虑能量保存的情况下，通过最小化真实像素强度与渲染像素强度之间的差异来解决光姿态的估计。在评估过程中，我们通过统计分析不同设置下的光姿态估计结果来展示该方法的鲁棒性和一致性。虽然使用旋转对称非各向同性光来证明结果，但是该方法也适用于非对称光。
2020-06-27 cs.CV
6DoF Object Pose Estimation via Differentiable Proxy Voting Loss
University of Technology Sydney（悉尼科技大学）；Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
由于遮挡或无纹理外观，从单个图像估计6DOF对象姿态非常具有挑战性。基于向量场的关键点投票在解决这些问题上表现出了其有效性和优越性。然而，向量场的直接回归忽略了像素与关键点之间的距离也显著影响假设的偏差。换句话说，当像素远离关键点时，方向向量中的小误差可产生严重偏离的假设。在本文中，我们的目标是通过将像素和关键点之间的距离纳入我们的目标，以减少这种错误。为此，我们开发了一个简单而有效的可微代理投票损失（DPVL），它模仿了投票过程中的假设选择。通过利用投票损失，我们能够以端到端的方式训练我们的网络。广泛使用的数据集上的实验，即，LINEMOD和Occlusion LINEMOD，表明我们的DPVL显着提高了姿势估计性能并加快了训练收敛速度。
2020-05-04 cs.CV
Seeing the Evidence, Missing the Answer: Tool-Guided Vision-Language Models on Visual Illusions
Wayne State University（韦恩州立大学）；University of Michigan（密歇根大学）
本文提出一种工具引导的推理框架，通过通用图像处理工具和提示系统，解决视觉语言模型在处理视觉错觉时的系统性偏差问题，并展示其在不同结构错觉变体上的跨结构泛化能力。
2026-03-31 cs.CV
A method to Suppress Facial Expression in Posed and Spontaneous Videos
University of South Florida（南佛罗里达大学）
我们解决了抑制视频中的面部表情的问题，因为表情可能会阻碍人脸识别等应用中重要信息的检索。为了实现这一点，我们提出了一种光学应变抑制方法，该方法可以去除任何面部表情，而无需对特定表情进行训练。对于视频中的每个帧，生成提供每个像素处的应变幅度值的光学应变图;然后利用该应变图通过用来自参考面部帧的像素替换高应变值的像素来中和表情。针对两个公开可用的数据集（即，BU-4DFE和AM-FED）显示了我们的方法抑制面部表情的能力。
2018-10-04 cs.CV
Does Hearing Help Seeing? Investigating Audio-Video Joint Denoising for Video Generation
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
本文提出通过音频视频联合去噪提升视频生成质量，验证了跨模态训练对构建更物理基础的世界模型的潜力。
2025-12-03 cs.CV
Deformable GANs for Pose-based Human Image Generation
University of Trento（特伦托大学）；Inria Grenoble Rhone-Alpes（法国国家信息与自动化研究所格勒诺布尔罗纳-阿尔卑斯分部）
在本文中，我们解决的问题，生成的人的图像条件下，一个给定的姿势。具体来说，给定一个人的图像和一个目标姿势，我们合成一个新的姿势的人的新图像。为了处理由姿态差异引起的像素到像素的错位，我们在我们的生成对抗网络的生成器中引入了可变形的跳跃连接。此外，提出了一个最近邻损失，而不是共同的L1和L2损失，以匹配的细节生成的图像与目标图像。我们测试我们的方法，使用不同姿势的人的照片，我们比较我们的方法与以前的工作在这方面显示国家的最先进的结果在两个基准。我们的方法可以应用到更广泛的领域的变形对象生成，只要关节的对象的姿态可以使用关键点检测器提取。
2018-04-06 cs.CV
Monocular Human Shape and Pose with Dense Mesh-borne Local Image Features
Inria（法国国家信息与自动化研究所）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国信息与随机系统研究所）；M2S（M2S实验室）
我们提出了改进基于图卷积的方法，用于从单目输入进行人体形状和姿态估计，使用像素对齐的局部图像特征。给定单个输入彩色图像，现有的基于图卷积网络（GCN）的用于人类形状和姿态估计的技术使用单个卷积神经网络（CNN）生成的全局图像特征，该全局图像特征等同地附加到所有网格顶点以初始化GCN阶段，该GCN阶段将模板T姿态网格变换为目标姿态。相比之下，我们第一次提出了使用每个顶点的局部图像特征的想法。这些特征是通过利用使用DensePose生成的像素到网格对应关系从CNN图像特征映射中采样的。我们对标准基准测试的定量和定性结果表明，使用局部特征改善了全局特征，并导致了与最先进技术相比具有竞争力的性能。
2021-11-11 cs.CV
Learning semantical dynamics and spatiotemporal collaboration for human pose estimation in video
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）
针对现有视频人体姿态估计方法依赖局部像素相似性、忽略语义相关性且模态融合简单的问题，本文提出含多级语义运动编码器和空间-运动互学习模块的框架，在三个PoseTrack数据集上取得新SOTA。
2025-02-15 cs.CV
6D-ViT: Category-Level 6D Object Pose Estimation via Transformer-based Instance Representation Learning
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）
本文提出了6D-ViT，一种基于变换的实例表示学习网络，适用于RGB-D图像上的高精度类别级对象姿态估计。具体来说，一种新颖的双流编码器-解码器框架致力于从RGB图像、点云和分类形状先验中探索复杂而强大的实例表示。为此，整个框架由两个主要分支组成，名为Pixelformer和Pointformer。Pixelformer包含一个金字塔Transformer编码器和一个全MLP解码器，用于从RGB图像中提取逐像素外观表示，而Pointformer依赖于级联的Transformer编码器和一个全MLP解码器，用于从点云中获取逐点几何特征。然后，密集实例表示（即，对应矩阵、变形场）从具有形状先验、外观和几何信息作为输入的多源聚合网络获得。最后，实例6D姿态通过利用密集表示、形状先验和实例点云之间的对应关系来计算。在合成数据集和真实世界数据集上的大量实验表明，所提出的3D实例表示学习框架在这两个数据集上都达到了最先进的性能，并且显著优于所有现有的方法。
2021-10-30 cs.CV
Pixel-Level Alignment of Facial Images for High Accuracy Recognition Using Ensemble of Patches
Sharif University of Technology（谢里夫理工大学）
人脸的姿态、光照和表情的变化使得人脸识别仍然是一个具有挑战性的问题。作为整体方法中的预处理，人脸通常由眼睛对齐。所提出的方法试图执行像素对齐，而不是眼睛对齐，通过映射到一个参考面的面的几何形状，同时保持自己的纹理。所提出的几何对齐不仅在所有人脸的每个像素之间创建有意义的对应关系，而且有效地消除了表情和姿态变化。几何对齐是逐像素执行的，即，人脸的每个像素对应于参考人脸的一个像素。该方法将人脸的灰度信息和几何信息适当分离，分别用不同的分类器进行训练，最后融合在一起进行人脸识别。实验结果表明，使用该方法相比，眼睛对齐的识别有很大的改善。例如，在错误接受率为0.001时，Yale和AT&T数据集的识别率分别提高了24%和33%。在LFW数据集中，这是一个具有挑战性的大数据集，在FAR为0.1时，改进为20%。
2018-02-07 cs.CV
Seeing Together: Multi-Robot Cooperative Egocentric Spatial Reasoning with Multimodal Large Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Hunan University（湖南大学）；University of Oxford（牛津大学）；Zhejiang University（浙江大学）；ETH Zurich（苏黎世联邦理工学院）；Ant Group（蚂蚁集团）
本文研究了多机器人协作动态空间推理问题，提出了首个针对该任务的基准CoopSR以及多机器人自体问答数据集EgoTeam，通过引入SP-CoR框架实现了细粒度的协作空间推理，显著提升了多机器人协作推理性能。
2026-10-20 cs.CV
Seeing Further on the Shoulders of Giants: Knowledge Inheritance for Vision Foundation Models
本文提出一种模型驱动的视觉基础模型训练方法，通过在共享潜在空间统一多教师模型并引入知识保留策略，无需大量标注数据即可继承专业知识，在四项基础视觉任务上优于数据驱动模型。
2025-09-15 cs.CV
IKEA-Manual: Seeing Shape Assembly Step by Step
Stanford University（斯坦福大学）；MIT（麻省理工学院）；Autodesk（欧特克）；Google Research（谷歌研究院）
人工设计的视觉手册是形状装配活动的重要组成部分。它们提供了一步一步的指导，告诉我们应该如何以方便和物理可实现的方式移动和连接不同的部分。虽然一直在努力构建执行装配任务的智能体，但人类设计手册中的信息在很大程度上被忽视了。我们认为这是由于1）缺乏具有配对手册的真实3D装配对象，以及2）从纯粹基于图像的手册中提取结构化信息的困难。出于这种观察，我们提出了IKEA-Manual，一个由102个宜家对象与装配手册配对组成的数据集。我们为宜家产品和装配手册提供精细的注释，包括分解的装配部件、装配计划、手动分割以及3D部件和可视手册之间的2D-3D对应关系。我们说明了广泛的应用，我们的数据集上的四个任务相关的形状组装：装配计划生成，零件分割，姿态估计，和3D部件装配。
2023-02-03 cs.AI cs.CV
Seeing the World and the Self from Egocentric Video
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute of Technology（宁波工程学院）
该研究针对第一视角视频的三维感知难题，提出统一框架RESELF，结合几何重建与运动生成，在多项任务上优于现有最优方法，相关资源将公开。
2026-09-02 cs.CV
ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
研究旨在解决单目视频中6-DoF姿态跟踪问题，核心方法是将其转化为视频到视频转换，利用视频扩散模型生成代理视频，通过现成求解器恢复姿态。主要贡献是在无额外输入下实现高精度，且可扩展到多种场景。
2026-07-08 cs.CV
Seeing World Dynamics in a Nutshell
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Skywork AI（天工 AI）
针对单目视频的时空一致3D表示问题，提出NutWorld框架，通过STAG表示在单次前向传播中生成带深度与光流正则的动态3D高斯，实现高保真实时重建及下游应用。
2025-03-17 cs.AI cs.CV cs.GR
Inferring 3D Object Pose in RGB-D Images
UC Berkeley（加州大学伯克利分校）；Universidad de los Andes, Colombia（哥伦比亚安第斯大学）；Microsoft Research（微软研究院）
这项工作的目标是将RGB-D场景中的对象替换为库中相应的3D模型。我们通过使用Gupta等人的方法首先检测和分割场景中的对象实例来解决这个问题。[13]。我们使用卷积神经网络（CNN）来预测对象的姿态。此CNN使用包含渲染合成对象的图像中的像素法线进行训练。当在真实数据上进行测试时，它优于在真实数据上训练的其他算法。然后，我们使用这个粗略的姿势估计以及推断的像素支持来将少量的原型模型与数据对齐，并将最适合场景的模型放置在场景中。我们观察到3D检测任务的性能比当前最先进的技术[33]相对提高了48%，同时速度快了一个数量级。
2015-02-16 cs.CV
Neural Voting Field for Camera-Space 3D Hand Pose Estimation
University at Buffalo（布法罗大学）；Microsoft（微软）
我们提出神经投票场（NVF），一种基于三维隐式表示的统一框架，通过相机视锥内的密集三维逐点投票，从单张RGB图像直接估计相机空间三维手部姿态，在FreiHAND和HO3D数据集上达到最先进性能。
2023-05-07 cs.CV
Seeing is not Believing: An Identity Hider for Human Vision Privacy Protection
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）；State Key Laboratory of Information Security, Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所信息安全国家重点实验室）；School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
本文提出一种用于人类视觉隐私保护的身份隐藏器，通过虚拟人脸生成与外观转换模块显著改变面部外观以视觉隐藏身份，同时利用解耦网络保留身份信息供人脸识别器使用。
2024-08-23 cs.CV
Seeing Is Not Measuring: Tool-Augmented Metric Spatial Reasoning for Vision-Language Models
Technical University of Munich（慕尼黑工业大学）
提出工具增强框架，将度量计算从VLM权重中移出，通过几何工具提升三维空间推理，在ReVSI-Bench三项任务上显著提升，并分离感知与推理误差。
2026-09-25 cs.CV
Dense Intrinsic Appearance Flow for Human Pose Transfer
The Chinese University of Hong Kong（香港中文大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanyang Technological University（南洋理工大学）
我们提出了一种新的方法的任务，人体姿势转移，其目的是在合成一个新的图像的人从输入图像的人和目标姿势。我们解决了仅在关键点和由于自遮挡而不可见的像素之间识别的有限对应关系的问题。与现有的方法不同，我们建议估计密集和内在的3D外观流，以更好地引导像素之间的姿势转移。特别是，我们希望仅从参考和目标姿势生成3D流。为此目的训练网络是不平凡的，特别是当3D外观流的注释本质上是稀缺的时。我们解决这个问题，通过流合成阶段。这是通过将3D模型拟合到给定的姿势对并将它们投影回2D平面以计算用于训练的密集外观流来实现的。然后，使用合成的地面实况来训练前馈网络，用于从输入和目标骨架姿势到3D外观流的有效映射。通过外观流程，我们对输入图像执行特征扭曲，并生成目标姿势的照片级真实感图像。在DeepFashion和Market-1501数据集上的广泛结果证明了我们的方法优于现有方法的有效性。我们的代码可在http://mmlab.ie.cuhk.edu.hk/projects/pose-transfer上获得
2019-03-27 cs.CV
I2L-MeshNet: Image-to-Lixel Prediction Network for Accurate 3D Human Pose and Mesh Estimation from a Single RGB Image
Seoul National University（首尔国立大学）
大多数先前的基于图像的3D人体姿态和网格估计方法从输入图像估计人体网格模型的参数。然而，直接从输入图像回归参数是高度非线性映射，因为它破坏了输入图像中像素之间的空间关系。此外，它不能对预测的不确定性进行建模，这会使训练变得更加困难。为了解决上述问题，我们提出了I2 L-MeshNet，一个图像到像素（线+像素）的预测网络。所提出的I2 L-MeshNet预测每个网格顶点坐标的1D热图上的每像素似然性，而不是直接回归参数。我们基于lixel的1D热图保留了输入图像中的空间关系，并对预测不确定性进行建模。我们证明了图像到像素预测的好处，并表明所提出的I2 L-MeshNet优于以前的方法。该代码可在https://github.com/mks0601/I2L-MeshNet_RELEASE上公开获取。
2020-11-01 cs.CV
