Viewpoint Adaptation for Rigid Object Detection
Duke University(杜克大学);CoVar Applied Technologies(CoVar应用技术公司)
对象检测器在应用于从与其被训练的视点不同的视点拍摄的图像数据时执行次优。在本文中,我们提出了一个视点自适应算法,允许一个训练有素的单视图对象检测器,以适应一个新的,不同的观点。我们首先说明了如何从源和目标视点之间的已知单应性来推断特征空间变换。其次,我们证明了各种训练的分类器可以被修改,以表现得好像该转换被应用于每个测试实例。所提出的算法进行评估的人检测任务,使用PETS 2007和CAVIAR数据集的图像,以及从一个新的合成多视图的人检测数据集。它产生了很大的性能改进时,适应单视图的人检测器,以新的观点,同时降低了计算复杂性。这项工作有可能提高检测性能的相机从任意视点观看对象,同时简化数据汇集和特征提取。
2017-02-24 cs.CV
ViewNet: Unsupervised Viewpoint Estimation from Conditional Generation
University of Edinburgh(爱丁堡大学)
在没有监督的情况下理解3D世界目前是计算机视觉的一个主要挑战,因为在这个领域中监督深度网络任务所需的注释大规模获得是昂贵的。在本文中,我们解决的问题,无监督的观点估计。我们将其制定为一个自监督学习任务,其中图像重建提供了预测相机视点所需的监督。具体来说,我们利用在训练时间的同一对象的图像对,从未知的观点,自我监督训练相结合的观点信息从一个图像与外观信息从其他。我们证明了使用透视空间Transformer可以进行有效的视点学习,在合成数据上优于现有的无监督方法,并在具有挑战性的PASCAL 3D+数据集上获得有竞争力的结果。
2022-12-01 cs.CV
Recognizing Actions in Videos from Unseen Viewpoints
Indiana University(印第安纳大学);Stony Brook University(石溪大学)
视频识别的标准方法使用大型CNN来捕获时空数据。然而,训练这些模型需要大量的标记训练数据,包含各种各样的动作,场景,设置和相机视点。在本文中,我们证明了当前的卷积神经网络模型无法从其训练数据中不存在的摄像机视点识别动作(即,不可见视图动作识别)。为了解决这个问题,我们开发了基于3D表示的方法,并引入了一个新的几何卷积层,可以学习视点不变表示。此外,我们引入了一个新的,具有挑战性的数据集看不见的视图识别,并显示的方法学习视点不变表示的能力。
2021-03-30 cs.CV
Context-based Object Viewpoint Estimation: A 2D Relational Approach
KU Leuven(鲁汶大学);IMEC(比利时微电子研究中心)
自计算机视觉早期以来,物体视点估计的任务一直是一个挑战。为了估计对象的视点(或姿态),人们主要关注对象的内在特征,例如形状或外观。令人惊讶的是,由场景中的其他外在元素提供的信息特征,到目前为止大多被忽略了。与此同时,上下文线索已被证明是非常有益的相关任务,如目标检测或动作识别。在本文中,我们将探讨如何从场景中的其他对象的信息可以利用视点估计。特别是,我们看看对象配置以下的关系邻居为基础的方法推理对象关系。我们表明,从嘈杂的目标检测和视点估计,利用估计的视点和其他对象在场景中的位置,可以导致改进的对象视点预测。KITTI数据集上的实验表明,对象配置确实可以用作基于外观的视点估计的补充线索。我们的分析表明,所提出的基于上下文的方法可以通过减少特定类型的视点估计错误,通常只考虑局部信息的方法,提高对象的视点估计。此外,考虑上下文信息在出现大量对象实例的场景中产生优异的性能。最后,我们的研究结果表明,谨慎的关系邻居制定带来了改进,其积极的对应对象的视点估计任务。
2017-04-21 cs.CV
FreeSim: Toward Free-viewpoint Camera Simulation in Driving Scenes
CASIA(中国科学院自动化研究所);MMLab, CUHK(香港中文大学多媒体实验室)
针对自动驾驶中自车轨迹外自由视点渲染缺乏训练数据的问题,提出FreeSim,通过生成增强模型与渐进式重建流程,实现超过3米偏差下的高质量偏离轨迹视图合成。
2024-12-04 cs.CV
Render for CNN: Viewpoint Estimation in Images Using CNNs Trained with Rendered 3D Model Views
Stanford University(斯坦福大学)
从二维图像中估计目标视点是计算机视觉中的一项重要任务。然而,两个问题阻碍了它的进展:缺乏带有视点注释的训练数据,以及缺乏强大的功能。受3D模型日益增长的可用性的启发,我们提出了一个框架,通过结合基于渲染的图像合成和CNN来解决这两个问题。我们相信,3D模型有潜力生成大量高变化的图像,这可以被具有高学习能力的深度CNN很好地利用。为了实现这一目标,我们提出了一个可扩展的和抗过拟合的图像合成流水线,连同一个新的CNN专门为视点估计任务量身定制。实验表明,我们的管道的视点估计可以显着优于PASCAL 3D+基准测试的最先进的方法。
2015-05-21 cs.CV
Towards Viewpoint-Robust End-to-End Autonomous Driving with 3D Foundation Model Priors
Chiba University(千叶大学);National Institute of Informatics(国立信息学研究所)
本文提出一种无需数据增强的端到端自动驾驶方法,利用3D基础模型的几何先验提升视角变化鲁棒性,实验显示在pitch和高度扰动下性能提升显著。
2026-04-01 cs.CV
GuideGround: VLM-guided Semantic Understanding and Viewpoint-aware Reasoning for 3D Visual Grounding
GuideGround是一种VLM引导的3D视觉定位框架,用VLM生成的语义描述替代闭集分类、逐视图保留假设并经VLM验证,在ReferIt3D基准上性能优于现有SOTA。
2026-08-04 cs.CV
VR-Drive: Viewpoint-Robust End-to-End Driving with Feed-Forward 3D Gaussian Splatting
KAIST(韩国科学技术院)
VR-Drive提出一种端到端自动驾驶框架,通过联合学习3D重建、前馈视图合成及视角一致蒸馏,提升相机视角变化下的规划鲁棒性,并发布新基准数据集验证其可扩展性。
2025-10-27 cs.CV
Cylindrical Convolutional Networks for Joint Object Detection and Viewpoint Estimation
Yonsei University(延世大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Korea University(高丽大学);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
在深度卷积神经网络内编码空间不变性的现有技术仅对2D变换场进行建模。这并没有说明2D空间中的对象是3D对象的投影的事实,因此它们对严重的对象视点变化的能力有限。为了克服这个限制,我们引入了一个可学习的模块,圆柱卷积网络(CCN),它利用了在3D空间中定义的卷积核的圆柱表示。CCN通过特定于视图的卷积核提取特定于视图的特征,以预测每个视点处的对象类别得分。与特定于视图的功能,我们同时确定目标类别和视点使用所提出的正弦软argmax模块。我们的实验证明了圆柱卷积网络在联合目标检测和视点估计上的有效性。
2020-03-25 cs.CV
Few-Shot Object Detection and Viewpoint Estimation for Objects in the Wild
LIGM(加斯帕尔·蒙日信息学实验室);Ecole des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
目标检测和视点估计是三维场景理解的关键任务。最近的方法已经取得了很好的结果非常大的基准目标检测和视点估计。然而,性能仍然落后于新的对象类别与样本少。在本文中,我们解决的问题,Few-Shot目标检测和Few-Shot的观点估计。我们在这两项任务中展示了使用从不同模式的数据中提取的类代表性特征指导网络预测的好处:用于目标检测的图像补丁,以及用于视点估计的对齐3D模型。尽管它的简单性,我们的方法优于国家的最先进的方法在一系列的数据集,包括PASCAL和COCO的Few-Shot目标检测,和Pascal3D+和ObjectNet3D的Few-Shot视点估计的大幅度。此外,当3D模型不可用时,我们引入了一种简单的类别无关的视点估计方法,该方法利用不同类别之间的几何相似性和一致的姿势标记。虽然它适度地降低了性能,但这种方法在这种设置中仍然比以前的方法获得了更好的结果。最后,我们第一次解决了这两个Few-Shot任务的组合,在野外,ObjectNet3D,Pascal3D+和Pix3D的视点估计的三个具有挑战性的基准,显示出非常有前途的结果。
2022-10-12 cs.CV
FillGS: Filling Observation Gaps in 4D Gaussian Splatting via Viewpoint-Time Selection and Generative Refinement
The University of Tokyo(东京大学)
FillGS提出主动选择时空虚拟视点的流程,通过过滤不可靠区域微调4DGS,在多视图视频基准上有效填补观测缺口,减少伪影并提升重建效果。
2026-08-03 cs.CV
Self-Supervised Viewpoint Learning From Image Collections
Heidelberg University(海德堡大学);NVIDIA(英伟达)
训练深度神经网络来估计对象的视点需要大型标记训练数据集。然而,手动标记视点是出了名的困难、容易出错且耗时。另一方面,从互联网上挖掘对象类别的许多未标记图像相对容易,例如,汽车或面孔。我们试图回答的研究问题,这种未标记的收集在野外图像是否可以成功地利用训练观点估计网络的一般对象类别纯粹通过自我监督。这里的自我监督指的是这样一个事实,即网络拥有的唯一真正的监督信号是输入图像本身。我们提出了一种新的学习框架,它结合了一个分析合成范式,以一种具有生成网络的观点感知方式重建图像,以及对称性和对抗性约束,以成功地监督我们的观点估计网络。我们表明,我们的方法在人脸、汽车、公共汽车和火车等几个对象类别上与完全监督方法具有竞争力。我们的工作开启了自我监督观点学习的进一步研究,并作为其强大的基线。我们在https://github.com/NVlabs/SSV上开源了我们的代码。
2020-04-03 cs.CV
Multi-query Vehicle Re-identification: Viewpoint-conditioned Network, Unified Dataset and New Metric
Anhui University(安徽大学);iFLYTEK Co., Ltd.(科大讯飞股份有限公司)
本文提出多查询车辆重识别任务,设计视角条件网络VCNet和跨视角特征恢复模块,构建统一数据集并提出平均跨场景精度指标,以克服单查询视角局限并提升跨场景识别性能。
2023-05-25 cs.CV
SSR: Semi-supervised Soft Rasterizer for single-view 2D to 3D Reconstruction
McGill University(麦吉尔大学);Element AI
最近的工作在弱监督的学习对象网格方面取得了重大进展。软光栅化方法已经实现了从2D图像精确的3D重建与视点监督。在这项工作中,我们进一步减少了标记的努力,允许这样的三维重建方法利用未标记的图像。为了获得这些未标记图像的视点,我们建议使用一个暹罗网络,该网络将两个图像作为输入并输出它们是否对应于相同的视点。在训练过程中,我们最小化交叉熵损失,以最大化预测一对图像是否属于同一视点的概率。为了获得新图像的视点,我们将其与从训练样本中获得的不同视点进行比较,并选择具有最高匹配概率的视点。最后,我们用最有信心的预测视点标记未标记的图像,并训练具有可区分光栅化层的深度网络。我们的实验表明,即使只标记两个对象,在利用未标记的示例时,ShapeNet的IoU也会得到显着改善。代码可在https://github.com/IssamLaradji/SSR上获得。
2021-08-21 cs.CV
Beyond Viewpoint: Robust 3D Object Recognition under Arbitrary Views through Joint Multi-Part Representation
Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China(电子科技大学深圳高等研究院)
针对任意视角下三维物体识别因输入未对齐而性能下降的问题,提出基于部件表示的PANet,利用视角不变性和旋转鲁棒性,在基准上超越视图聚合基线及多数固定视角方法。
2024-07-17 cs.CV
Robust Drone-View Geo-Localization via Content-Viewpoint Disentanglement
Xidian University(西安电子科技大学);University of California, San Diego(加州大学圣地亚哥分校)
针对无人机与卫星视角地理定位因视角差异导致特征冲突的问题,提出CVD框架,通过建模复合流形并引入两个约束解耦内容与视角因素,在多个数据集上提升鲁棒性与泛化能力,且可即插即用、降低推理延迟。
2025-11-17 cs.CV
ViewBridge: Curriculum Knowledge Distillation for Activity View-Invariance Under Extreme Viewpoint Changes
UT Austin(得克萨斯大学奥斯汀分校);Meta AI;Stanford University(斯坦福大学);Northeastern University(东北大学)
本文提出ViewBridge框架,通过课程学习和知识蒸馏方法,在严重视角遮挡下学习丰富的视频表示,提升了极端视角变化下的活动识别性能。
2026-05-14 cs.CV
Volumetric performance capture from minimal camera viewpoints
University of Surrey(萨里大学);Adobe Research(奥多比研究院)
我们提出了一个卷积自动编码器,使高保真度的体积重建的人的表现被捕获的多视图视频,包括只有一小部分的相机视图。我们的方法产生类似的端到端的重建误差的概率视觉船体计算使用显着更多(双或更多)的观点。我们使用了一个深度先验隐式学习的自动编码器训练了一个数据集的视图消融多视图视频片段的广泛的主题和行动。这为在时间或成本不允许使用大量见证摄像机的现场和专业消费者场景中进行高端体积性能捕获提供了可能性。
2018-07-10 cs.CV
Viewpoint Invariant Object Detector
目标检测是识别对象类实例的存在并在图像中定位它的任务。处理高类内变化的困难构成了在标准基准数据集上实现高性能的主要障碍(尺度、视点、照明条件和方向变化提供了很好的例子)。建议的模型旨在提供更强的鲁棒性,以检测由于< 60°视角变化而遭受严重失真的对象。此外,几个模型的计算瓶颈已经得到解决,导致在模型性能(速度和空间)显着增加,而不影响所得的准确性。最后,我们制作了两个说明性的应用程序,显示了目标检测技术在实际应用中的潜力,即基于内容的图像搜索和基于内容的视频搜索。
2012-11-30 cs.CV
Viewpoints and Keypoints
University of California, Berkeley(加州大学伯克利分校)
我们的特点是刚性物体的姿态估计问题,在确定的观点来解释粗糙的姿态和关键点预测捕捉更精细的细节。我们在两种不同的设置中解决这两个任务-具有已知边界框的约束设置和更具挑战性的检测设置,其目的是同时检测和正确估计对象的姿态。我们提出了基于卷积神经网络的架构,并证明了利用视点估计可以大大提高基于局部外观的关键点预测。除了在上述任务中实现对最先进技术的显着改进外,我们还分析了错误模式和对象特性对性能的影响,以指导未来实现这一目标的努力。
2015-04-26 cs.CV
TDVR: Joint Text Disambiguation and Viewpoint Reasoning for Zero-Shot 3D Visual Grounding
本文提出TDVR框架,通过联合文本消歧与视点推理解决零样本3D视觉定位中的文本歧义与视点不足问题,在ScanRefer数据集上的Acc@0.25和Acc@0.5指标较现有最优方法分别提升15.25%和14.46%
2026-08-05 cs.CV
Joint Viewpoint and Keypoint Estimation with Real and Synthetic Data
University of Bonn(波恩大学)
视点和关键点的估计通过提取对象实例的有价值的特征来有效地增强目标检测方法。虽然两个过程的输出不同,即,角度与特征点列表,它们确实在如何将对象放置在场景中上共享相同的焦点,从而导致它们之间存在一定程度的相关性。因此,我们提出了一个卷积神经网络,它联合计算不同对象类别的视点和关键点。通过一起训练两个任务,每个任务都提高了另一个任务的准确性。由于对象关键点的标记对于人类注释者来说非常耗时,因此我们还引入了一个新的合成数据集,该数据集具有自动生成的视点和关键点注释。我们提出的网络也可以在包含视点和关键点注释或仅包含其中之一的数据集上进行训练。实验表明,所提出的方法成功地利用了任务之间的这种隐式相关性,并优于以前独立训练的技术。
2019-12-13 cs.CV
SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints
Kuaishou Technology(快手科技);Tsinghua University(清华大学);CUHK(香港中文大学);Zhejiang University(浙江大学)
针对多视角视频动态一致性需求,提出即插即用的SynCamMaster模块与混合训练方案,增强预训练文生视频模型的多摄像机生成能力,还发布了SynCamVideo-Dataset数据集。
2024-12-10 cs.CV
FreeGen: Feed-Forward Reconstruction-Generation Co-Training for Free-Viewpoint Driving Scene Synthesis
School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学)
FreeGen通过重建-生成协同训练框架,提升自由视角驾驶场景合成的插值一致性与外推真实感,实现最先进的性能。
2025-12-04 cs.CV
Which Viewpoint Shows it Best? Language for Weakly Supervising View Selection in Multi-view Instructional Videos
UT Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta FAIR实验室);University of Utah(犹他大学)
本文提出LangView框架,利用多视角教学视频伴随语言弱监督地学习最佳视角选择,无需语言和相机位姿即可在推理时输出每个时间步的最佳视角,并在两个数据集上优于现有方法。
2025-04-10 cs.CV
Unsupervised Learning of Compositional Scene Representations from Multiple Unspecified Viewpoints
Shanghai Key Laboratory of Intelligent Information Processing, School of Computer Science, Fudan University(复旦大学计算机科学技术学院上海市智能信息处理重点实验室)
视觉场景具有极其丰富的多样性,这不仅是因为存在着物体和背景的无限组合,而且还因为同一场景的观察结果可能会随着视点的变化而发生很大的变化。当从多个视点观察包含多个对象的视觉场景时,人类能够从每个视点以合成的方式感知场景,同时在不同的视点之间实现所谓的“对象恒定性”,即使确切的视点是未知的。这种能力对于人类在移动时识别同一物体并有效地从视觉中学习至关重要。设计具有类似能力的模型是有趣的。在本文中,我们考虑了一个新的问题,学习组成场景表示从多个未指定的观点,而不使用任何监督,并提出了一个深度生成模型,分离潜在的表示为一个视点无关的部分和视点相关的部分来解决这个问题。为了推断潜在表征,包含在不同视点中的信息由神经网络迭代地整合。在几个专门设计的合成数据集上的实验表明,该方法能够有效地从多个未指定的视点进行学习。
2021-12-12 cs.CV cs.LG
Unsupervised Object-Centric Learning from Multiple Unspecified Viewpoints
Fudan University(复旦大学)
本文提出一种深度生成模型,通过将潜在表示分为视角无关和视角相关部分,在无监督下从多个未指定视角学习组合场景表示,实验验证了其有效性。
2024-01-03 cs.CV cs.LG
DECA: Deep viewpoint-Equivariant human pose estimation using Capsule Autoencoders
University of Trento(特伦托大学)
人体姿态估计(Human Pose Estimation,HPE)的目的是从图像或视频中获取人体关节的三维位置。我们发现,目前的3D HPE方法缺乏视点等方差,即在处理训练时看不见的视点时,它们往往会失败或表现不佳。深度学习方法通常依赖于尺度不变、平移不变或旋转不变的操作,例如最大池化。然而,采用这样的程序并不一定改善观点的泛化,而是导致更多的数据依赖的方法。为了解决这个问题,我们提出了一种新的胶囊自动编码器网络与快速变分贝叶斯胶囊路由,命名为DECA。通过将每个关节建模为胶囊实体,结合路由算法,我们的方法可以保持关节的层次结构和几何结构在特征空间中,独立于视点。通过实现视点等方差,我们大大降低了训练时的网络数据依赖性,从而提高了对不可见视点的泛化能力。在实验验证中,我们优于其他方法的深度图像从可见和不可见的观点,无论是顶视图,前视图。在RGB域中,同一个网络在具有挑战性的视点传输任务上给出了最先进的结果,也为顶视图HPE建立了一个新的框架。代码可以在https://github.com/mmlab-cv/DECA上找到。
2021-08-19 cs.CV cs.LG
ConTEXTure: Consistent Multiview Images to Texture
Sogang University(西江大学);SwatchOn Co., Ltd(SwatchOn有限公司);Sookmyung Women’s University(淑明女子大学);RECON Labs Inc.(RECON实验室公司)
本研究提出生成式网络ConTEXTure,基于Zero123++生成的多视角一致图像,同时从所有视角为3D网格学习纹理图集,解决了以往方法非正面视角图像不准确的问题。
2024-07-15 cs.CV cs.LG
A Multi-user Oriented Live Free-viewpoint Video Streaming System Based On View Interpolation
Shanghai Jiao Tong University(上海交通大学)
自由视点视频作为沉浸式多媒体服务的一种重要应用形式,通过强交互性为用户提供沉浸式体验。然而,虚拟视图合成算法的计算复杂性对FVV系统的实时性能提出了重大挑战。此外,用户交互的个性化使得传统架构的系统难以同时为多个用户提供服务。本文提出了一种基于CNN的视图插值算法,用于实时的生成稠密虚拟视图。在此基础上,我们还建立了一个端到端的实时自由视点系统与面向多用户的流媒体策略。我们的系统可以利用一个单一的边缘服务器在同一时间服务于多个用户,而不必在客户端带来一个大的视图合成负载。我们分析了整个系统,并表明我们的方法给用户一个愉快的沉浸式体验,在视觉质量和延迟方面。
2021-12-22 cs.CV cs.MM
Free-viewpoint Indoor Neural Relighting from Multi-view Stereo
Inria(法国国家信息与自动化研究所);Université Côte d’Azur(蔚蓝海岸大学);Adobe Research(Adobe研究院)
我们引入了一个神经重新照明算法捕获的室内场景,允许交互式自由视点导航。我们的方法允许照明被综合地改变,同时连贯地渲染投射阴影和复杂的光泽材料。我们从场景的多个图像和通过多视图立体视觉(MVS)重建获得的3D网格开始。我们假设,照明是很好的解释为一个独立于视图的漫反射分量和一个视图相关的光泽项集中在镜子反射方向的总和。我们围绕输入特征图设计了一个卷积网络,便于学习场景材质和照明的隐式表示,从而实现重新照明和自由视点导航。我们通过利用基于图像和基于物理的渲染的最佳元素来生成这些输入地图。我们对输入视图进行采样以估计漫射场景的辐照度,并使用路径追踪计算由用户指定的光源引起的新照明。为了促进网络对材料的理解并合成合理的光泽反射,我们重新投影视图并计算镜像。我们在合成数据集上训练网络,其中每个场景也用MVS重建。我们展示了我们的算法重新照亮真实的室内场景,并执行自由视点导航与复杂和现实的光泽反射,迄今为止仍然遥不可及的视图合成技术的结果。
2021-06-24 cs.CV cs.GR
FlexNeRF: Photorealistic Free-viewpoint Rendering of Moving Humans from Sparse Views
University of Maryland, College Park(马里兰大学帕克分校);Amazon.com, Inc.(亚马逊公司)
我们提出了FlexNeRF,一种用于从单目视频中对运动中的人类进行真实感自由视点渲染的方法。我们的方法适用于稀疏视图,这是一个具有挑战性的情况下,当主体表现出快速/复杂的运动。我们提出了一种新的方法,共同优化规范的时间和姿势配置,与姿势相关的运动场和姿势无关的时间变形相互补充。由于我们新颖的时间和循环一致性约束以及对中间表示(如分割)的额外损失,我们的方法提供了高质量的输出,因为观察到的视图变得稀疏。我们的经验表明,我们的方法显着优于国家的最先进的公共基准数据集以及自我捕获的时尚数据集。该项目的网页可在:https://flex-nerf.github.io/
2023-03-25 cs.AI cs.CV cs.LG
Viewpoint Textual Inversion: Discovering Scene Representations and 3D View Control in 2D Diffusion Models
Stanford University(斯坦福大学);Snap Inc.(Snap公司)
提出 ViewNeTI 方法通过训练神经映射器生成三维视角 token,发现二维扩散模型文本空间中存在连续和广义的视角控制流形,证实其内含三维场景表示,并在新视角合成等任务上达到 SOTA。
2024-07-26 cs.AI cs.CV cs.LG
ManifoldNeRF: View-dependent Image Feature Supervision for Few-shot Neural Radiance Fields
Graduate School of Life Science and Systems Engineering(生命科学与系统工程研究生院);Kyushu Institute of Technology(九州工业大学);Guardian Robot Project(守护机器人项目);RIKEN(理化学研究所);Research Center for Neuromorphic AI Hardware(神经形态人工智能硬件研究中心)
针对DietNeRF在少样本新视角合成中因视角不变特征假设损害训练的问题,提出ManifoldNeRF,利用相邻已知视角的插值特征监督未知视角,在复杂场景中取得更优表现。
2023-10-20 cs.AI cs.CV cs.GR
3D-OES: Viewpoint-Invariant Object-Factorized Environment Simulators
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个动作条件动力学模型,预测场景变化所造成的对象和代理的相互作用,在一个视点不变的3D神经场景表示空间,从RGB-D视频推断。在这个3D特征空间中,对象不会相互干扰,并且它们的外观会随着时间的推移和视点的变化而保持不变。这使得我们的模型可以通过简单地基于累积对象运动预测“移动”3D对象特征来预测未来很长一段时间的场景。对象运动预测由图神经网络计算,该图神经网络对从3D神经场景表示中提取的对象特征进行操作。我们的模型的模拟可以由神经渲染器从任何期望的视角解码成2D图像视图,这有助于我们潜在的3D模拟空间的可解释性。我们表明,我们的模型在不同数量和外观的交互对象以及相机的观点,以及概括其预测优于现有的2D和3D动态模型。我们进一步展示了仿真到现实迁移的学习动力学,通过应用我们的模型训练,仅在模拟基于模型的控制下,推动物体到所需的位置下,在一个真正的机器人设置混乱
2020-11-12 cs.AI cs.CV cs.LG