Learning Temporal Cues by Predicting Objects Move for Multi-camera 3D Object Detection
Korea University（高丽大学）；Hyundai Motor Company R&D Division（现代汽车公司研发部门）；Kookmin University（国民大学）
本文提出DAP模型，通过双分支网络先预测物体位姿再检测，将预测特征融合到检测分支以学习时间线索，在nuScenes上显著提升多相机3D目标检测性能并支持即插即用。
2024-04-02 cs.CV
Viewpoint Adaptation for Rigid Object Detection
Duke University（杜克大学）；CoVar Applied Technologies（CoVar应用技术公司）
对象检测器在应用于从与其被训练的视点不同的视点拍摄的图像数据时执行次优。在本文中，我们提出了一个视点自适应算法，允许一个训练有素的单视图对象检测器，以适应一个新的，不同的观点。我们首先说明了如何从源和目标视点之间的已知单应性来推断特征空间变换。其次，我们证明了各种训练的分类器可以被修改，以表现得好像该转换被应用于每个测试实例。所提出的算法进行评估的人检测任务，使用PETS 2007和CAVIAR数据集的图像，以及从一个新的合成多视图的人检测数据集。它产生了很大的性能改进时，适应单视图的人检测器，以新的观点，同时降低了计算复杂性。这项工作有可能提高检测性能的相机从任意视点观看对象，同时简化数据汇集和特征提取。
2017-02-24 cs.CV
SimpleEgo: Predicting Probabilistic Body Pose from Egocentric Cameras
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Mesh Labs（微软Mesh实验室）
针对头戴设备朝下第一视角相机的人体姿态估计难题，提出SimpleEgo方法，直接回归矩阵费雪分布表示的概率关节旋转，构建SynthEgo合成数据集，在精度、参数量和推理速度上均优于现有方法，且无需微调即可泛化到真实图像。
2024-01-26 cs.CV
Towards Generalizable Multi-Camera 3D Object Detection via Perspective Debiasing
The Hong Kong University of Science & Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science & Technology（香港科技大学）；PhiGent Robotics
提出一种基于透视去偏的模型无关方法，通过渲染视角图并纠正透视偏差，实现多相机3D目标检测的跨域泛化，无需额外推理成本。
2023-12-25 cs.CV
Proactive Multi-Camera Collaboration For 3D Human Pose Estimation
Peking University（北京大学）；Beijing Institute for GAI (BIGAI)（北京通用人工智能研究院）
本文提出了一种多智能体强化学习（MARL）方案，用于动态人群中三维人体姿态估计的主动多摄像机协作。传统的固定视点多摄像机人体运动捕捉（MoCap）方法存在捕捉空间受限、易受动态遮挡等问题。主动相机方法主动控制相机姿势以找到用于3D重建的最佳视点。然而，目前的方法仍然面临着信用分配和环境动态的挑战。为了解决这些问题，我们提出的方法引入了一种新的协作三角测量贡献奖励（CTCR），提高收敛性和简化多智能体信用分配问题所产生的使用三维重建精度作为共享奖励。此外，我们联合训练我们的模型与多个世界动态学习任务，以更好地捕捉环境动态，并鼓励预期的行为，以避免闭塞。我们在四个逼真的UE4环境中评估我们提出的方法，以确保有效性和通用性。实证结果表明，我们的方法优于固定和主动基线在各种情况下，不同数量的摄像机和人类。
2023-03-07 cs.CV cs.LG cs.MA
Semantic Object-level Modeling for Robust Visual Camera Relocalization
Beijing Institute of Technology（北京理工大学）
提出自动物体级体素建模方法实现精确椭球表示，并设计位姿优化策略利用2D与3D投影特性，集成至视觉SLAM系统，显著提升了视觉重定位对新视角的鲁棒性。
2024-02-10 cs.CV cs.RO
ActiveMoCap: Optimized Viewpoint Selection for Active Human Motion Capture
UBC（不列颠哥伦比亚大学）；Microsoft（微软）；EPFL（洛桑联邦理工学院）
单目3D人体姿态估计的准确性取决于捕获图像的视点。虽然自由移动的相机，如无人机上的相机，提供了对这个视点的控制，但自动将它们定位在将产生最高精度的位置仍然是一个悬而未决的问题。这就是我们在本文中要解决的问题。具体来说，给定一个短的视频序列，我们介绍了一种算法，预测哪些观点应该被选择来捕捉未来的帧，以最大限度地提高三维人体姿态估计精度。我们的方法的关键思想是一种方法来估计的3D身体姿势估计的不确定性。我们整合了几个不确定性来源，源于基于深度学习的回归量和时间平滑度。我们的运动规划器产生改进的3D身体姿势估计，并优于或匹配现有的基于人跟踪和轨道。
2020-06-18 cs.CV cs.RO
Volumetric performance capture from minimal camera viewpoints
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
我们提出了一个卷积自动编码器，使高保真度的体积重建的人的表现被捕获的多视图视频，包括只有一小部分的相机视图。我们的方法产生类似的端到端的重建误差的概率视觉船体计算使用显着更多（双或更多）的观点。我们使用了一个深度先验隐式学习的自动编码器训练了一个数据集的视图消融多视图视频片段的广泛的主题和行动。这为在时间或成本不允许使用大量见证摄像机的现场和专业消费者场景中进行高端体积性能捕获提供了可能性。
2018-07-10 cs.CV
FreeSim: Toward Free-viewpoint Camera Simulation in Driving Scenes
CASIA（中国科学院自动化研究所）；MMLab, CUHK（香港中文大学多媒体实验室）
针对自动驾驶中自车轨迹外自由视点渲染缺乏训练数据的问题，提出FreeSim，通过生成增强模型与渐进式重建流程，实现超过3米偏差下的高质量偏离轨迹视图合成。
2024-12-04 cs.CV
Thinking with Cameras: Active Visual Reasoning via Dynamic Viewpoint Control for Surveillance Video Understanding
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）；SenseTime Research（商汤科技研究院）
针对监控视频理解中固定视角被动观察的局限，提出CamVLM框架，通过动态视角控制实现主动视觉推理，并构建大规模数据集和强化学习策略优化，显著提升性能。
2026-09-28 cs.CV
Aesthetic Camera Viewpoint Suggestion with 3D Aesthetic Field
University of Waterloo（多伦多大学）；City University of Hong Kong（香港城市大学）
本文提出基于3D审美场的视角建议方法，通过3D高斯散点网络将2D审美模型的知识蒸馏到3D空间，实现高效且无需密集捕获或RL探索的美观视角搜索。
2026-02-23 cs.CV
Camera Control for Text-to-Image Generation via Learning Viewpoint Tokens
University of California, Irvine（加州大学尔湾分校）
本文提出通过学习参数化相机令牌实现文本到图像生成中的精确相机控制，结合3D渲染图像和真实增强图像，提升生成图像的准确性和保真度。
2026-04-21 cs.CV
SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints
Kuaishou Technology（快手科技）；Tsinghua University（清华大学）；CUHK（香港中文大学）；Zhejiang University（浙江大学）
针对多视角视频动态一致性需求，提出即插即用的SynCamMaster模块与混合训练方案，增强预训练文生视频模型的多摄像机生成能力，还发布了SynCamVideo-Dataset数据集。
2024-12-10 cs.CV
Towards Viewpoint-Robust End-to-End Autonomous Driving with 3D Foundation Model Priors
Chiba University（千叶大学）；National Institute of Informatics（国立信息学研究所）
本文提出一种无需数据增强的端到端自动驾驶方法，利用3D基础模型的几何先验提升视角变化鲁棒性，实验显示在pitch和高度扰动下性能提升显著。
2026-04-01 cs.CV
ViewCLR: Learning Self-supervised Video Representation for Unseen Viewpoints
Stony Brook University（石溪大学）
学习自监督视频表示主要集中在从简单的数据增强方案产生的判别实例。然而，学习的表示往往无法推广到看不见的相机视点。为此，我们提出了Viewbatch，它学习对相机视点变化不变性的自监督视频表示。我们引入了一个视图生成器，可以被认为是一个可学习的增强任何自我监督的预文本任务，生成潜在的观点表示的视频。ViewView使潜在视点表示与其来自原始视点的表示之间的相似性最大化，使得学习的视频编码器能够在看不见的相机视点上进行概括。在包括NTU RGB + D数据集在内的跨视图基准数据集上的实验表明，Viewbatch是一种最先进的视点不变自监督方法。
2021-12-07 cs.CV
Learning camera viewpoint using CNN to improve 3D body pose estimation
University of South Florida（南佛罗里达大学）
这项工作的目的是估计三维人体姿势从一个单一的RGB图像。在精确的三维姿态重建中，提取融合了人体各部位空间关系和相对深度的图像表示起着至关重要的作用。在本文中，我们首次证明，在不显式使用透视几何数学模型的情况下，将摄像机视点与2D关节位置相结合可以显著提高3D姿态精度。为此，我们训练了一个深度卷积神经网络（CNN）来学习分类摄像机视点。为了使网络对图像中主体的服装和体型具有鲁棒性，我们利用3D计算机渲染来合成额外的训练图像。我们在最大的3D姿态估计基准Human3.6m上测试了我们的框架，与不使用身体部位分割的最先进方法相比，误差减少了20%。
2016-09-18 cs.CV
Best Viewpoint Tracking for Camera Mounted on Robotic Arm with Dynamic Obstacles
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Dept. Computer Technology, University of Alicante（阿利坎特大学计算机技术系）
在过去的十年中，在计算机视觉中已经探索了为3D建模或场景映射寻找下一个最佳视点的问题。本文解决了一个类似的问题，但具有不同的特点。它提出了一种方法，动态下一个最佳视点恢复的目标点，同时避免可能的遮挡。由于环境可能会改变，因此该方法必须迭代地找到下一个最佳视图，并对空闲和占用部分进行全局理解。我们建模的问题作为一组可能的观点，对应于一个虚拟的镶嵌的半球覆盖场景的各方面的中心。考虑到遮挡、当前和未来视点之间的距离、视点的质量和关节约束（机器人臂关节距离或限制），我们评估下一个最佳视点。该建议已被评估8个不同的情况下，不同的闭塞和短的3D视频序列，以验证其动态性能。
2017-10-17 cs.CV
High-Quality Virtual Single-Viewpoint Surgical Video: Geometric Autocalibration of Multiple Cameras in Surgical Lights
Keio University（庆应义塾大学）；Graz University of Technology（格拉茨工业大学）
本文提出一种自动化图像对齐算法，通过检测手术灯移动帧、重新对齐并选择遮挡最少的相机，生成高质量无遮挡的稳定虚拟单视点手术视频，定量与用户研究均证实其优于传统方法。
2025-03-05 cs.CV
MultiViPerFrOG: A Globally Optimized Multi-Viewpoint Perception Framework for Camera Motion and Tissue Deformation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
本文提出多视点全局优化框架 MultiViPerFrOG，通过融合低级感知模块输出与运动学及场景先验，联合估计多相机运动与绝对场景流，以鲁棒地解决可变形场景中的三维重建问题。
2024-08-08 cs.CV
ArbiViewGen: Controllable Arbitrary Viewpoint Camera Data Generation for Autonomous Driving via Stable Diffusion Models
提出ArbiViewGen扩散框架，通过FAVS和CVC-SSL实现无需外推真实数据的可控任意视角相机图像生成，仅需多相机图像和位姿，支持多种车辆配置。
2025-08-07 cs.CV
Recognizing Actions in Videos from Unseen Viewpoints
Indiana University（印第安纳大学）；Stony Brook University（石溪大学）
视频识别的标准方法使用大型CNN来捕获时空数据。然而，训练这些模型需要大量的标记训练数据，包含各种各样的动作，场景，设置和相机视点。在本文中，我们证明了当前的卷积神经网络模型无法从其训练数据中不存在的摄像机视点识别动作（即，不可见视图动作识别）。为了解决这个问题，我们开发了基于3D表示的方法，并引入了一个新的几何卷积层，可以学习视点不变表示。此外，我们引入了一个新的，具有挑战性的数据集看不见的视图识别，并显示的方法学习视点不变表示的能力。
2021-03-30 cs.CV
Casual 6-DoF: free-viewpoint panorama using a handheld 360 camera
Computational Media Innovation Centre, Victoria University of Wellington（惠灵顿维多利亚大学计算媒体创新中心）；School of Engineering and Computer Science, Victoria University of Wellington（惠灵顿维多利亚大学工程与计算机科学学院）
六自由度（6-DoF）视频通过使用户能够在捕获的场景中以广泛的视野移动来提供远程呈现。与需要复杂相机设置的方法相比，基于摄影测量的基于图像的渲染方法可以处理以任何姿势捕获的图像，这更适合于普通用户。然而，现有的基于图像的渲染方法是基于透视图像的。当用于重建6-DoF视图时，它通常需要捕获数百张图像，这使得数据捕获成为一个繁琐且耗时的过程。与传统的透视图像相比，360°图像在Single Shot中捕获整个周围视图，从而为6-DoF视图重建提供更快的捕获过程。本文提出了一种新的方法来提供6自由度的经验，在一个广泛的区域使用非结构化的收集360°全景由传统的360°相机捕获。我们的方法包括360°数据采集，新颖的深度估计，以产生一个高质量的球形深度全景，和高保真的自由视点生成。我们使用在各种环境中捕获的数据，将我们的方法与最先进的方法进行了比较。我们的方法在测试场景中表现出更好的视觉质量和鲁棒性。
2022-03-31 cs.CV
LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation
UC San Diego（加州大学圣迭戈分校）；University of Virginia（弗吉尼亚大学）；Meta；Amazon（亚马逊）；Lambda
LIFT提出统一框架，通过未来布局控制与在线策略自蒸馏，解决大视角变化下视频生成的内容与布局可控性问题，提升视频质量与可控性。
2026-09-30 cs.CV
Fixed Viewpoint Mirror Surface Reconstruction under an Uncalibrated Camera
University of Bristol（布里斯托大学）；The Australian National University（澳大利亚国立大学）；The University of Hong Kong（香港大学）
针对镜面重构问题，提出了一种基于运动参考面在镜面上反射的方法。与以前的方法，需要繁琐的校准，我们的方法可以恢复相机的本质，构成的参考平面，以及从观察到的反射的参考平面下至少三个未知的不同姿势的镜面。我们首先表明，参考平面的3D姿态可以从图像和参考平面之间建立的反射对应关系来估计。然后，我们从反射对应中形成一束3D线，并导出一个解析解来恢复线投影矩阵。我们将线投影矩阵转换为其等效的相机投影矩阵，并提出了一种基于交比的公式来通过最小化重投影误差来优化相机投影矩阵。然后基于优化交比约束重构镜面。仿真和实际数据的实验结果表明，我们的方法的可行性和准确性。
2021-01-23 cs.CV
Pose-dIVE: Pose-Diversified Augmentation with Diffusion Model for Person Re-Identification
KAIST AI（韩国科学技术院人工智能学院）；SK Telecom（SK电讯）
本文提出Pose-dIVE，通过扩散模型结合姿态和视角信息，增强重识别模型对姿态和视角变化的鲁棒性，提升模型泛化能力。
2026-04-06 cs.CV
Predicting Camera Pose from Perspective Descriptions for Spatial Reasoning
CAMCUE通过姿态感知的多图像框架，从自然语言描述中准确预测相机姿态，提升多视角空间推理效率。
2026-02-06 cs.CV
FactorPortrait: Controllable Portrait Animation via Disentangled Expression, Pose, and Viewpoint
Meta Reality Labs（Meta现实实验室）；Technical University of Munich（慕尼黑技术大学）
FactorPortrait通过解耦表情、姿态和视角实现可控肖像动画，利用预训练编码器和3D网格跟踪生成逼真动态效果。
2025-12-12 cs.CV
How Effectively Can Indoor Wireless Positioning Relieve Visual Tracking Pains: A Camera-Rao Bound Viewpoint
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
视觉跟踪在一些困难的场景下是脆弱的，例如，外观模糊和变化，遮挡很容易在一定程度上降低大多数视觉跟踪器。在本文中，视觉跟踪授权与无线定位，以实现高精度，同时保持鲁棒性。从根本上不同于以往的工作，本研究不涉及任何具体的无线定位算法。相反，我们使用来自无线定位克拉美-罗界（CRB）的置信区域作为视觉跟踪器的搜索区域。所提出的框架是低成本和非常简单的实现，但很容易导致增强和鲁棒的视觉跟踪性能在困难的情况下，我们的实验结果证实。最重要的是，它是最有价值的从业者预先评估如何有效地可以在手边的无线资源减轻视觉跟踪的痛苦。
2019-03-09 cs.CV
Holoported Characters: Real-time Free-viewpoint Rendering of Humans from Sparse RGB Cameras
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；Saarbrücken Research Center for Visual Computing, Interaction and AI（萨尔布吕肯视觉计算、交互与人工智能研究中心）
提出首个基于稀疏RGB相机输入的4K分辨率实时人体自由视点渲染方法，通过骨骼驱动网格重建、视点相关纹理生成和图像精炼网络三阶段实现高保真渲染。
2024-07-25 cs.CV
Training Robust Spiking Neural Networks with ViewPoint Transform and SpatioTemporal Stretching
Huazhong University of Science and Technology（华中科技大学）
神经形态视觉传感器（事件摄像机）模拟生物视觉感知系统，具有时间分辨率高、数据冗余少、功耗低、动态范围大等优点。由于事件和尖峰都是从神经信号建模的，因此事件相机本质上适合于脉冲神经网络（SNN），SNN被认为是人工智能（AI）和理论神经科学的有前途的模型。然而，这些摄像机的非常规视觉信号对脉冲神经网络的鲁棒性提出了很大的挑战。在本文中，我们提出了一种新的数据增强方法，视点变换和时空拉伸（VPT-STS）。它通过变换时空域中的旋转中心和角度来生成不同视点的样本，从而提高了SNN的鲁棒性。此外，我们引入时空拉伸，以避免潜在的信息丢失的观点转换。在流行的神经形态数据集上进行的大量实验表明，VPT-STS在多事件表示上广泛有效，并且显着优于纯空间几何变换。值得注意的是，具有VPT-STS的SNN模型在DVS-CIFAR 10数据集上实现了84.4%的最新准确度。
2023-03-14 cs.CV
Sim2real Image Translation Enables Viewpoint-Robust Policies from Fixed-Camera Datasets
Institute of Robotics and Intelligent Machine（机器人与智能机器研究所）；Georgia Institute of Technology（佐治亚理工学院）
MANGO通过无配对图像翻译方法，从固定相机数据集生成视角鲁棒的机器人策略，显著提升现实任务中的视角适应能力。
2026-02-13 cs.AI cs.CV cs.RO
Towards Viewpoint Robustness in Bird's Eye View Segmentation
MIT（麻省理工学院）；NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量学院）；UCLA（加州大学洛杉矶分校）
本文研究了自动驾驶车辆感知模型对相机视点变化的敏感性，提出一种基于新视角合成的数据转换技术，在无需额外数据收集和标注的情况下将BEV分割模型扩展至不同相机支架配置，并恢复了平均14.7%的IoU损失。
2023-09-11 cs.CV
CapFrame: Text-Instructed Viewpoint Grounding in 3D Gaussian Scenes via Geometric Pseudo Labels
Institute of Science Tokyo（东京科学大学）；Denso IT Laboratory, Inc.（电装IT实验室）；National Institute of Informatics（信息学研究所）
本文针对3D高斯场景中虚拟相机位姿需人工设置的问题，提出CapFrame框架，通过检索-转换-优化流程实现文本引导的视角定位，实验表明其对齐度优于基线方法。
2026-09-01 cs.CV
ViewNeRF: Unsupervised Viewpoint Estimation Using Category-Level Neural Radiance Fields
University of Edinburgh（爱丁堡大学）
我们介绍了ViewNeRF，这是一种基于神经辐射场的视点估计方法，可以在训练过程中直接从图像中学习预测类别级视点。虽然NeRF通常使用地面实况相机姿势进行训练，但已经提出了多种扩展来减少这种昂贵的监督需求。尽管如此，这些方法中的大多数仍然在具有大的相机移动的复杂设置中挣扎，并且限于单个场景，即它们不能在描绘相同对象类别的场景集合上训练。为了解决这些问题，我们的方法使用的分析合成方法，结合条件NeRF与视点预测器和场景编码器，以产生整个对象类别的自监督重建。我们的目标不是高保真重建，而是在复杂场景中进行高效准确的视点预测，例如在真实数据上进行360°旋转。我们的模型在合成数据集和真实数据集上显示了竞争结果，无论是单个场景还是多实例集合。
2022-12-01 cs.CV
EgoRenderer: Rendering Human Avatars from Egocentric Camera Images
Max Plank Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Maryland（马里兰大学）
我们介绍了EgoRenderer，这是一种用于渲染由可穿戴的、以自我为中心的鱼眼相机捕获的人的全身神经化身的系统，该相机安装在帽子或VR头戴式设备上。我们的系统呈现逼真的新观点的演员和她的运动从任意虚拟相机的位置。从这种以自我为中心的图像渲染全身化身带来了独特的挑战，因为自上而下的视图和大的失真。我们通过将渲染过程分解为几个步骤来解决这些挑战，包括纹理合成，姿势构建和神经图像转换。对于纹理合成，我们提出了自我DPNet，一个神经网络，推断输入鱼眼图像和一个底层的参数化身体模型之间的密集对应关系，并从自我中心的输入中提取纹理。此外，为了对动态外观进行编码，我们的方法还学习了一个隐式纹理堆栈，该堆栈可以捕获姿势和视点之间的详细外观变化。为了生成正确的姿势，我们首先使用参数模型从自我中心视图估计身体姿势。然后，我们合成一个外部的自由视点姿态图像投影的参数模型，用户指定的目标视点。接下来，我们将目标姿态图像和纹理组合成组合特征图像，使用神经图像转换网络将其转换为输出彩色图像。实验评估表明，EgoRenderer能够生成一个人戴着一个以自我为中心的相机的现实自由视点化身。与几个基线的比较证明了我们方法的优势。
2021-11-24 cs.CV
Volumetric Capture of Humans with a Single RGBD Camera via Semi-Parametric Learning
Google Inc.（谷歌公司）
体积（4D）性能捕获是AR/VR内容生成的基础。虽然之前在4D性能捕获方面的工作已经在工作室环境中显示出令人印象深刻的结果，但该技术仍然远未被典型的消费者所使用，他们充其量可能拥有一个RGBD传感器。因此，在这项工作中，我们提出了一种方法来合成自由视点渲染使用一个单一的RGBD相机。关键的洞察力是利用给定用户先前看到的“校准”图像，从传感器中可用的数据推断出应该在新的视点中呈现什么。鉴于这些过去的观察，从多个角度来看，和当前的RGBD图像从一个固定的视图，我们提出了一个端到端的框架，融合这两个数据源，以生成新的渲染的表演者。我们证明，该方法可以产生高保真度的图像，并处理极端变化的主体姿势和相机的观点。我们还表明，该系统推广到表演者看不到的训练数据。我们进行了详尽的实验，证明了与其他最先进的机器学习解决方案相比，所提出的半参数模型（即神经网络可用的校准图像）的有效性。此外，我们比较的方法与更传统的管道，采用多视图捕捉。我们表明，我们的框架是能够实现引人注目的结果，与以前所需的基础设施大大减少。
2019-05-29 cs.CV
Multi-viewpoint Geo-localization with Event Cameras
Queensland University of Technology（昆士兰科技大学）
针对事件相机定位中视角变化挑战，提出MegaEvent系统，利用I2E转换和微调视觉变换器，在多个数据集上显著提升召回率，并引入新基准数据集。
2026-09-21 cs.CV cs.RO
A Fast Free-viewpoint Video Synthesis Algorithm for Sports Scenes
KDDI Research, Inc.（KDDI综合研究所）
在本文中，我们报告了一个并行的自由视点视频合成算法，可以有效地重建一个高质量的3D场景表示的体育场景。所提出的方法侧重于一个场景，是由多个同步相机具有宽基线捕获。为了提高自由视点视频的视觉质量，本文提出了以下策略：（1）采用体积视觉壳方法重建稀疏点云，并采用高效的连通域标记算法为每个对象找到精确的三维感兴趣区域。其次，通过在感兴趣区域内实现可视化外壳，加速了稠密点云的重建：（2）通过估计网格单元与可视化外壳的精确交点，建立精确的多面体表面网格;（3）以视图相关的方式再现重构的呈现的外观，其分别呈现非-最近的摄像机及其相邻摄像机的遮挡和遮挡区域。排球和柔道序列的生产证明了我们的方法在执行时间和视觉质量方面的有效性。
2019-07-31 cs.CV
EpipolarNVS: leveraging on Epipolar geometry for single-image Novel View Synthesis
Meero（Meero公司）；Université Paris-Saclay（巴黎萨克雷大学）；CEA-LIST（法国原子能与替代能源委员会-信息技术与系统实验室）
新视图合成（NVS）可以通过不同的方法来解决，这取决于一般的设置：一个单一的源图像到一个短的视频序列，准确或嘈杂的相机姿态信息，基于3D的信息，如点云等最具挑战性的情况下，我们站在这项工作中，只考虑一个独特的源图像从另一个角度生成一个新的。然而，在这种棘手的情况下，最新的基于学习的解决方案往往难以集成相机视点转换。实际上，外部信息通常通过低维向量按原样传递。甚至可能发生这样的相机姿势，当参数化为欧拉角时，通过独热表示来量化。这种普通的编码选择阻止了学习的架构在连续的基础上推断新的视图（从相机姿势的角度来看）。我们声称它存在一种优雅的方式来更好地编码相对相机姿态，通过利用3D相关的概念，如极线约束。因此，我们引入了一种创新的方法，将视点变换编码为2D特征图像。这种相机编码策略为网络提供了关于相机如何在两个视图之间的空间中移动的有意义的见解。通过将相机姿态信息编码为有限数量的彩色核线，我们通过实验证明了我们的策略优于香草编码。
2022-10-24 cs.CV
TARS: Timestep-Aware Data Scaling for 3D-Free Video Re-Shooting
该研究提出无3D的视频重拍摄范式TARS，通过自监督学习结合数据缩放与文本-相机联合条件设置，实现稳健的相机与视角控制，在大运动下合成未见区域的表现优于现有方法。
2026-08-04 cs.CV
Shape and Viewpoint without Keypoints
UC Berkeley（加州大学伯克利分校）
我们提出了一个学习框架，可以学习从单个图像中恢复3D形状，姿势和纹理，在没有任何地面真实3D形状，多视图，相机视点或关键点监督的情况下对图像集合进行训练。我们在“合成分析”框架中处理这个高度约束不足的问题，其目标是预测可能的形状，纹理和相机视点，这些视点可以产生具有各种学习类别特定先验的图像。我们在本文中的特殊贡献是一个代表性的分布在相机，我们称之为“相机复用”。我们没有选择一个点估计，而是维护了一组相机假设，这些假设在训练过程中进行了优化，以便在给定当前形状和纹理的情况下最好地解释图像。我们称我们的方法为无监督特定类别的网格重建（U-CMR），并提出定性和定量的结果CUB，Pascal 3D和新的网络刮集。我们获得了最先进的相机预测结果，并表明我们可以学习使用图像集合来预测对象的各种形状和纹理，而无需任何关键点注释或3D地面实况。项目页面：https://shubham-goel.github.io/ucmr
2020-07-21 cs.CV cs.LG eess.IV
Which Viewpoint Shows it Best? Language for Weakly Supervising View Selection in Multi-view Instructional Videos
UT Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta（Meta FAIR实验室）；University of Utah（犹他大学）
本文提出LangView框架，利用多视角教学视频伴随语言弱监督地学习最佳视角选择，无需语言和相机位姿即可在推理时输出每个时间步的最佳视角，并在两个数据集上优于现有方法。
2025-04-10 cs.CV
Selective Cross-View Consistency for World Action Models: Held-Out Viewpoint Robustness Without Test-Time Camera Information
本文针对世界动作模型提出选择性跨视图一致性方法，无需测试时相机信息，在保留视角上提升闭环成功率，同时保持分布内能力，还发现已发表相机鲁棒性数值受腕部相机位姿稳定性混淆。
2026-08-25 cs.CV cs.RO
PosePilot: Steering Camera Pose for Generative World Models with Self-supervised Depth
The Hong Kong University of Science and Technology（香港科技大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；Li Auto；BAAI（北京人工智能研究院）
PosePilot提出利用自监督深度估计与运动恢复结构原理，将相机位姿与视频生成紧密耦合，并通过位姿感知变形和位姿回归损失，显著提升生成式世界模型的位姿可控性与视角合成可靠性。
2025-07-18 cs.CV
TSP-OCS: A Time-Series Prediction for Optimal Camera Selection in Multi-Viewpoint Surgical Video Analysis
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；Chongqing School, University of Chinese Academy of Sciences（中国科学院大学重庆学院）；Southwest Hospital, Third Military Medical University（陆军军医大学西南医院）；First Affiliated Hospital of Army Medical University（陆军军医大学第一附属医院）
本文提出TSP-OCS方法，通过融合视觉与语义特征的时间序列预测模型，从六视角同步手术视频中自动选择最佳相机视角，有效缓解遮挡问题并优于现有时间序列预测技术。
2025-04-09 cs.AI cs.CV
AdaViewPlanner: Adapting Video Diffusion Models for Viewpoint Planning in 4D Scenes
Tsinghua University（清华大学）；HUST（华中科技大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）；HKUST（香港科技大学）；Zhejiang University（浙江大学）；Wuhan University（武汉大学）
提出两阶段范式将预训练T2V模型适配于4D场景视点规划，通过自适应分支注入4D场景表示并引入相机外参扩散分支进行视点提取，实验证明方法优于现有竞争者并验证了视频生成模型在真实世界4D交互中的潜力。
2025-10-12 cs.CV
FreeVS: Generative View Synthesis on Free Driving Trajectory
School of Future Technology, University of Chinese Academy of Sciences (UCAS)（中国科学院大学未来技术学院）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Center for Artificial Intelligence and Robotics, HKISI, CAS（中国科学院香港智能科学中心人工智能与机器人中心）
FreeVS提出一种全生成式驾驶场景视图合成方法，通过伪图像视图先验控制生成过程，摆脱对记录轨迹的依赖，可在自由新轨迹上合成3D一致的相机视图，并在Waymo数据集上验证了其有效性。
2024-10-23 cs.CV
Multi-query Vehicle Re-identification: Viewpoint-conditioned Network, Unified Dataset and New Metric
Anhui University（安徽大学）；iFLYTEK Co., Ltd.（科大讯飞股份有限公司）
本文提出多查询车辆重识别任务，设计视角条件网络VCNet和跨视角特征恢复模块，构建统一数据集并提出平均跨场景精度指标，以克服单查询视角局限并提升跨场景识别性能。
2023-05-25 cs.CV
CowCare: A Unified Visual Framework for Viewpoint-Robust Cattle Tracking and Spatiotemporal Heat-Stress Analysis
College of Information and Electrical Engineering, China Agricultural University（中国农业大学信息与电气工程学院）；National Innovation Center for Digital Fishery, Ministry of Agriculture and Rural Affairs（农业农村部国家数字渔业创新中心）；Key Laboratory of Smart Farming Technologies for Aquatic Animal and Livestock, Ministry of Agriculture and Rural Affairs（农业农村部水产动物与畜禽智慧养殖技术重点实验室）；Key Laboratory of Agricultural Informatization Standardization, Ministry of Agriculture and Rural Affairs（农业农村部农业信息化标准化重点实验室）
针对精准畜牧养殖中牛只监测的挑战，本文提出CowCare框架，结合视角鲁棒跟踪模块CowTrack与热应激识别模块TSDF-Net，在真实农场基准上取得优异性能，可实现自动化牲畜健康监测。
2026-10-14 cs.CV
EX-4D: EXtreme Viewpoint 4D Video Synthesis via Depth Watertight Mesh
Pico, Bytedance（字节跳动）
本文提出EX-4D框架，利用深度水密网格表示结合模拟掩码训练策略和LoRA视频扩散适配器，解决了极端视角下从单目输入生成高质量相机可控4D视频的几何一致性与遮挡问题。
2025-06-05 cs.CV
ReX-Shot: Single-Image Rephotography via Geometry- and Camera-Grounded Generation
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）；vivo Mobile Communication Co., Ltd.（维沃移动通信有限公司）
ReX-Shot是首个从单图像联合控制视点、焦距和摄影效果的统一生成框架，通过几何与相机基础生成技术实现更优性能与近实时交互性，解决了现有方法的多因素控制局限
2026-08-20 cs.CV
Semi-supervised Viewpoint Estimation with Geometry-aware Conditional Generation
University of Edinburgh（爱丁堡大学）
人们对开发可以从有限的监督中学习的计算机视觉方法越来越感兴趣。在本文中，我们考虑的问题，学习预测相机的观点，获得地面实况注释是昂贵的，需要特殊的设备，从有限数量的标记图像。我们提出了一种半监督的视点估计方法，可以学习从未标记的图像对中推断视点信息，其中两个图像的视点变化不同。特别是，我们的方法通过结合第一个图像的外观和第二个图像的视点来学习合成第二个图像。我们证明，我们的方法显着提高了监督技术，特别是在低标签制度，并优于最先进的半监督方法。
2021-04-02 cs.CV
PTZ-Calib: Robust Pan-Tilt-Zoom Camera Calibration
Alibaba Cloud Computing（阿里云计算）
针对PTZ相机标定问题，提出两阶段鲁棒方法PTZ-Calib，离线用PTZ-IBA算法在局部坐标系标定并可结合3D信息对齐地理坐标系，在线转化为重定位，在多数据集上性能优于现有方法。
2025-02-13 cs.CV
T-Graph: Enhancing Sparse-view Camera Pose Estimation by Pairwise Translation Graph
University of Twente（特温特大学）
本文提出轻量级即插即用模块T-Graph，通过构建成对平移图并引入relative-t和pair-t两种平移表示，增强稀疏视角相机位姿估计，在RelPose++和Forge上使相机中心精度提升1%至6%。
2025-05-02 cs.CV
