GPT-Connect: Interaction between Text-Driven Human Motion Generator and 3D Scenes in a Training-free Manner
Singapore University of Technology and Design（新加坡科技设计大学）
针对现有文本驱动动作生成器仅适用于空白背景的问题，提出GPT-connect框架，利用ChatGPT以免训练方式将现有生成器与3D场景连接，实现场景感知的动作生成，实验证明其有效且具泛化性。
2024-03-22 cs.CV
Scene-aware Generative Network for Human Motion Synthesis
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Centre of Perceptual and Interactive Intelligence（感知与交互智能研究中心）
在本文中，我们重新审视人体运动合成，在各种现实世界的应用中有用的任务。虽然之前已经开发了许多方法用于此任务，但它们通常限于两个方面：专注于姿势而将位置运动抛在后面，以及忽略环境对人体运动的影响。在本文中，我们提出了一个新的框架，考虑了场景和人体运动之间的相互作用。考虑到人体运动的不确定性，我们制定了这个任务作为一个生成的任务，其目标是生成合理的人体运动的场景和人体的初始位置的条件。该框架将人体运动的分布分解为以场景为条件的运动轨迹的分布和以场景和轨迹为条件的身体姿势动态的分布。我们进一步推导出一个基于GAN的学习方法，与判别器，以执行人体运动和上下文场景之间的兼容性，以及3D到2D投影约束。我们评估了所提出的方法在两个具有挑战性的数据集上的有效性，这两个数据集涵盖了合成和现实世界的环境。
2021-05-31 cs.CV
Jointly Understand Your Command and Intention:Reciprocal Co-Evolution between Scene-Aware 3D Human Motion Synthesis and Analysis
该研究提出CESA协同演化流水线，结合级联三阶段生成策略，实现3D场景下人体运动合成与分析任务的相互促进，同时提升两类任务的性能。
2025-03-20 cs.CV
Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering
Shanghai Jiao Tong University（上海交通大学）
针对无监督视频中动态场景目标中心表示学习的挑战，提出3D生成模型DynaVol-S，通过目标中心体素化、规范空间变形与组合式NeRF优化，结合语义特征实现场景分解，在新视角合成等任务中性能领先，并支持场景编辑等拓展能力。
2025-02-14 cs.CV
Remote Sensing Image Scene Classification Meets Deep Learning: Challenges, Methods, Benchmarks, and Opportunities
Research & Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）；School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
遥感图像场景分类是根据遥感图像的内容，对遥感图像进行语义分类的一种方法，具有广泛的应用前景。在深度神经网络强大的特征学习能力的推动下，深度学习驱动的遥感图像场景分类受到了广泛关注，并取得了重大突破。然而，据我们所知，关于深度学习的遥感图像场景分类的最新成果的全面审查仍然缺乏。考虑到该领域的快速发展，本文通过涵盖160多篇论文，对用于遥感图像场景分类的深度学习方法进行了系统的综述。具体而言，我们讨论了遥感图像场景分类和调查的主要挑战（1）基于自动编码器的遥感图像场景分类方法，（2）基于卷积神经网络的遥感图像场景分类方法，（3）基于生成对抗网络的遥感图像场景分类方法。此外，我们还介绍了用于遥感图像场景分类的基准测试，并总结了二十多个代表性算法在三个常用基准数据集上的性能。最后，我们讨论了进一步研究的前景。
2020-06-25 cs.CV
Exploiting Relationship for Complex-scene Image Generation
JD AI Research（京东人工智能研究院）；Ryerson University（瑞尔森大学）
生成对抗网络（GANs）的重大进展促进了基于语言输入的真实单对象图像生成。然而，复杂的场景生成（多个对象之间的各种交互）仍然遭受混乱的布局和对象失真，由于布局和外观的不同配置。现有的方法大多是对象驱动的，忽略了它们之间的相互关系，在复杂的场景图像中发挥了重要作用。这项工作探讨了关系感知的复杂场景图像生成，其中多个对象是相互关联的场景图。在关系的帮助下，我们提出了生成框架中的三个主要更新。首先，合理的空间布局推断联合考虑语义和对象之间的关系。与标准位置回归相比，我们发现相对尺度和距离是一个更可靠的目标。其次，由于对象之间的关系显着影响对象的外观，我们设计了一个关系引导的生成器来生成对象反映他们的关系。第三，提出了一种新的场景图映射方法，保证了生成图像与输入场景图的一致性。我们的方法倾向于合成合理的布局和对象，尊重图像中多个对象的相互作用。在Visual Genome和HICO-DET数据集上的实验结果表明，我们提出的方法在IS和FID指标方面明显优于现有技术。基于我们的用户研究和视觉检查，我们的方法是更有效地生成逻辑布局和外观的复杂场景。
2021-04-01 cs.CV
Generating Human Interaction Motions in Scenes with Text Control
NVIDIA（英伟达）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Darmstadt（达姆施塔特工业大学）；Simon Fraser University（西蒙菲莎大学）
针对现有文本生成动作方法未考虑场景的问题，提出基于扩散模型的TeSMo方法，通过预训练场景无关模型并加入场景感知模块微调，能生成更合理、逼真多样的场景内人-物交互动作，性能优于现有技术。
2024-04-16 cs.CV cs.GR
Spheriverse: 3D Scene Understanding from Spherical Observations in the Wild
Hunan University（湖南大学）；Zhejiang University of Science and Technology（浙江科技学院）；Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）
Spheriverse提出球面观测下的三维场景理解方法，含大规模数据集和SphereOcc框架，通过球面几何建模与证据检索，在占用预测等任务上超越现有方法。
2026-09-16 cs.CV cs.RO eess.IV
3D scene reconstruction from monocular spherical video with motion parallax
Fprime Project（Fprime项目）
在本文中，我们描述了一种方法来捕捉几乎完全球形（360度）的深度信息，使用两个相邻的帧从一个单一的球形视频与运动视差。在说明了球面深度信息检索使用两个球面摄像机后，我们证明了单目球面立体通过使用稳定的第一人称视频镜头。实验表明，深度信息的检索高达97%的整个球体的立体角。在30公里/小时的速度下，我们能够估计距离相机30米以上的物体的深度。我们还使用获得的深度数据重建了3D结构（点云），并确认可以清楚地观察到结构。我们可以将这种方法应用于周围环境的三维结构检索，如1）预视，位置搜索/规划的电影，2）真实场景/计算机图形合成和3）运动捕捉。由于其简单性，该方法可以应用于各种视频。由于除了具有运动视差的360度视频之外没有其他先决条件，因此我们可以使用任何360度视频，包括互联网上的视频来重建周围环境。这些摄像机重量轻，可以安装在无人机上。我们也展示了这样的应用。
2022-06-14 cs.CV cs.RO eess.IV
PanoDR: Spherical Panorama Diminished Reality for Indoor Scenes
Centre for Research and Technology Hellas（希腊研究与技术中心）
商业$360^\circ$相机的普及使室内扫描变得大众化，增加了人们对新颖应用的兴趣，例如室内空间重新设计。减少现实（DR）满足了这些应用程序的要求，删除场景中的现有对象，基本上将其转换为反事实修复任务。虽然数据驱动修复的最新进展在生成真实样本方面取得了重大进展，但它们并不局限于生成具有真实映射结构的结果。为了在室内（重新）规划应用中保持“真实性”，场景的结构保护至关重要。为了确保结构感知的反事实修复，我们提出了一种模型，该模型最初预测室内场景的结构，然后使用它来指导同一场景的空-仅背景-表示的重建。我们训练和其他国家的最先进的方法对DR修改的Structured3D数据集的一个版本进行比较，在定量指标和定性结果显示出优越的结果，但更有趣的是，我们的方法表现出更快的收敛速度。代码和型号可在www.example.com上获得。
2021-06-01 cs.CV
DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local Spherical-BEV Perception
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；SenseTime Research（商汤科技研究院）
本文提出 DEMOS 框架，利用局部 Spherical-BEV 感知和时变运动混合，根据动态 3D 场景即时预测并更新潜在运动，在 PROX、GTA-IM 与 Semantic3D 上显著优于已有方法。
2024-03-04 cs.CV
Spherical-GOF: Geometry-Aware Panoramic Gaussian Opacity Fields for 3D Scene Reconstruction
School of Artificial Intelligence and Robotics, Hunan University（人工智能与机器人学院，湖南大学）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（机器人视觉感知与控制技术国家工程研究中心，湖南大学）
Spherical-GOF通过球面高斯不透明场实现全景图像的高效渲染，提升3D场景重建的几何一致性和光度质量。
2026-07-15 cs.CV cs.GR cs.RO
3D reconstruction from spherical images: A review of techniques, applications, and prospects
China University of Geosciences（中国地质大学）；The Hong Kong Polytechnic University（香港理工大学）
本文综述了球面图像在3D重建中的技术、应用与前景，指出其能克服传统透视图像在复杂场景下的局限，并总结了数据采集、特征匹配及密集匹配等最新进展。
2023-05-18 cs.CV
Spherical World-Locking for Audio-Visual Localization in Egocentric Videos
Seoul National University（首尔大学）；Meta
本文提出 Spherical World-Locking（SWL）框架，通过头部朝向将多感官信号隐式对齐到世界锁定球面，并用保持球面结构的统一 encoder-decoder transformer 提升自我中心视频中的视听定位与行为预测。
2024-08-09 cs.CV
Balanced Spherical Grid for Egocentric View Synthesis
Seoul National University（首尔国立大学）
我们提出了EgoNeRF，这是一种为VR资产重建大规模现实世界环境的实用解决方案。给定几秒钟随意捕获的360度视频，EgoNeRF可以有效地构建神经辐射场，从而从新的视角实现高质量的渲染。受NeRF最近使用特征网格加速的启发，我们采用球坐标代替传统的笛卡尔坐标。笛卡尔特征网格对于表示大规模无界场景是低效的，因为它具有空间均匀的分辨率，而与观看者的距离无关。球形参数化更好地与以自我为中心的图像的射线对齐，并且还能够进行因子分解以增强性能。然而，朴素的球形网格在两极存在不规则性，并且也不能表示无限的场景。为了避免奇点附近的极点，我们结合两个平衡网格，这导致在一个准均匀的角网格。我们还将径向网格按指数方式划分，并在无穷远处放置一个环境贴图来表示无界场景。此外，利用我们的基于网格的方法的重采样技术，我们可以增加有效样本的数量来训练NeRF卷。我们在新引入的合成和现实世界的以自我为中心的360度视频数据集中广泛评估了我们的方法，并且它始终实现了最先进的性能。
2023-03-24 cs.CV
3D Scene Geometry Estimation from 360$^\circ$ Imagery: A Survey
Institute of Informatics, Federal University of Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）
本文系统综述了基于单目、双目和多视图全向影像的三维场景几何估计方法，涵盖球面相机模型、单目深度推断、球面立体匹配及多视图方法，并梳理了常用数据集与评价指标，指出未来发展趋势。
2024-01-17 cs.AI cs.CV cs.GR
3D Reconstruction of Spherical Images based on Incremental Structure from Motion
School of Computer Science, China University of Geosciences（中国地质大学计算机学院）；The Hong Kong Polytechnic University（香港理工大学）
针对球形图像经典3D重建流程缺失的问题，基于球形相机成像几何提出包含相对定向、绝对定向和BA优化的增量式SfM工作流程，成功实现复杂场景重建并开源。
2023-06-24 cs.CV
Dream360: Diverse and Immersive Outdoor Virtual Scene Creation via Transformer-Based 360 Image Outpainting
HKUST(GZ)（香港科技大学（广州））；OPPO；USTC（中国科学技术大学）；KAIST（韩国科学技术院）；ICL（帝国理工学院）；HKUST（香港科技大学）
本文提出 Dream360，利用基于 Transformer 的 S-VQGAN 与频率感知精修，从指定窄视口图像生成多样化高保真 360 全景，并通过 FID 与 15 人 VR 用户研究验证其优越性。
2024-01-19 cs.CV cs.HC
Relighting Scenes with Object Insertions in Neural Radiance Fields
National University of Defense Technology（国防科技大学）
针对现有AR物体插入方法场景受限的问题，提出基于NeRF的物体插入与重光照流水线，采用球谐与球面高斯混合光照表示及深度图对比的软阴影渲染方法，实现逼真的新视角合成与重光照效果。
2024-06-21 cs.CV cs.GR
3D Reconstruction from Full-view Fisheye Camera
Stanford University（斯坦福大学）
在这篇报告中，我们提出了一种全视角鱼眼相机的三维重建方法。我们使用的相机是Ricoh Theta，它可以捕获球形图像，并具有宽视场（FOV）。传统的基于透视摄像机模型的立体方法不能直接应用，而是采用球面摄像机模型来描述图像中三维点与其对应观测点之间的关系。我们实现了一个系统，可以使用来自两个或更多个相机的捕获来重建3D场景。还创建了一个GUI，允许用户控制视图透视图，并获得更好的直觉如何重建场景。实验表明，我们的重建结果很好地保留了现实世界中的场景的结构。
2015-06-20 cs.CV
Panoramic Scene Understanding: A Survey from Distortion-Aware Engineering to Sphere-Native Modeling
University of Liverpool（利物浦大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
本文综述全景场景分析从投影适应、畸变感知工程到球面原生建模的演进，指出当前方法无法同时实现严格球面等变性和重用预训练基础模型权重，并揭示评估协议中的五个系统性缺陷。
2026-07-16 cs.CV
Rotation-Equivariant Conditional Spherical Neural Fields for Learning a Natural Illumination Prior
University of York（约克大学）；Friedrich-Alexander-Universität（弗里德里希-亚历山大大学）
逆绘制是一个不适定问题。以前的工作已经试图解决这个问题，专注于先验的对象或场景的形状或外观。在这项工作中，我们专注于自然照明的先验。目前的方法依赖于球谐照明或其他通用表示，最好的，一个简单的参数之前。我们提出了一个条件神经场表示的基础上变分自动解码器与SIREN网络，扩展向量神经元，建立等方差直接到网络。利用这一点，我们开发了一个旋转等变，高动态范围（HDR）的神经照明模型，是紧凑的，能够表达复杂的，高频的自然环境地图的功能。在自然场景的1.6K HDR环境地图的策展数据集上训练我们的模型，我们将其与传统表示进行比较，证明其适用于逆向渲染任务，并从部分观察中显示环境地图完成。PyTorch实现，我们的数据集和训练模型可以在jadgardner.github.io/RENI上找到。
2022-10-14 cs.CV
From Spherical to Gaussian: A Comparative Analysis of Point Cloud Cropping Strategies in Large-Scale 3D Environments
Fraunhofer Institute for Physical Measurement Techniques IPM（弗劳恩霍夫物理测量技术研究所IPM）；University of Freiburg, Department of Sustainable Systems Engineering INATECH（弗赖堡大学可持续系统工程系INATECH）
本文比较了点云裁剪策略，提出了一种新的方法以提高大规模3D环境中的模型性能，特别是在户外场景中取得了新的最佳成果。
2026-05-21 cs.CV
Underwater360: Reconstructing Underwater Scenes from Panoramic Images with Omnidirectional Gaussian Splatting
School of Software, Dalian University of Technology（大连理工大学软件学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
提出Underwater360框架，利用物理信息引导的全向高斯泼溅，通过球面光线投射和外观-介质建模，实现水下全景场景的高质量重建与外观恢复。
2026-05-26 cs.CV
Single-Shot Cuboids: Geodesics-based End-to-end Manhattan Aligned Layout Estimation from Spherical Panoramas
Centre for Research and Technology Hellas（希腊研究与技术中心）
已经表明，全局场景理解任务（如布局估计）可以受益于更宽的视场，特别是球形视场。虽然最近取得了很大进展，但所有以前的方法都依赖于中间表示和后处理来产生与曼哈顿一致的估计。在这项工作中，我们将展示如何在单次拍摄中估计整个房间的布局，从而无需进行后处理。我们的工作是第一个直接推断曼哈顿对齐输出。为了实现这一目标，我们的数据驱动模型利用直接坐标回归，并进行端到端的监督。因此，我们可以显式地添加准曼哈顿约束，这为基于单应性的曼哈顿对齐模块设置了必要条件。最后，我们介绍了测地线热图和损失以及边界感知质心计算，这些计算有助于在球形域中进行更高质量的关键点估计。我们的模型和代码可在www.example.com上公开获取。
2021-02-09 cs.CV cs.LG
Maximum Entropy Encoding of Energy-Weighted Spherical Moments
Northwestern Polytechnical University（西北工业大学）
该研究提出能量加权球谐矩的最大熵编码方法，针对不同参数子族提供相关解析与重建方案，在981个HDRI场景实验中较QZH取得显著性能提升，且保持零负辐照度。
2026-08-24 cs.CV cs.GR
Monocular Spherical Depth Estimation with Explicitly Connected Weak Layout Cues
Centre for Research and Technology Hellas（希腊研究与技术中心）；Universidad Politécnica de Madrid（马德里理工大学）
球形摄像机以整体方式捕获场景，并已用于房间布局估计。最近，随着适当数据集的可用性，在从单个全向图像进行深度估计方面也取得了进展。虽然这两个任务是互补的，但很少有作品能够并行地探索它们以提高室内几何感知，并且已经这样做的作品要么依赖于合成数据，要么使用小规模数据集，因为很少有选项可以在真实场景中包括布局注释和密集深度图。这部分是由于房间布局需要手动注释。在这项工作中，我们超越了这一限制，并生成一个360几何视觉（360 V）数据集，其中包括多个模态，多视图立体视觉数据和自动生成的弱布局线索。我们还探索了这两个任务之间的显式耦合，将它们集成到一个单射训练模型中。我们依赖于基于深度的布局重建和基于布局的深度注意力，这两项任务的性能都有所提高。通过使用单个360度摄像头扫描房间，可以轻松快速地进行建筑规模的3D扫描。
2022-06-22 cs.CV
Cursive Scene Text Analysis by Deep Convolutional Linear Pyramids
King Saud bin Abdulaziz University for Health Sciences（沙特国王阿卜杜勒阿齐兹健康科学大学）；Universiti Teknologi Malaysia（马来西亚理工大学）；Govt. Post graduate College No. 01, Higher Education Department（高等教育部第一政府研究生学院）；University of Technology, Sydney（悉尼科技大学）
相机捕获的图像有多个方面需要研究。一般来说，研究的重点取决于感兴趣的地区。有时重点可能是颜色分割、目标检测或场景文本分析。图像分析，可见性和布局分析是人类行为特征所建议的人类更容易完成的任务，但相比之下，当这些相同的任务应该由机器执行时，它似乎具有挑战性。学习机总是从与所提供的样本相关联的属性中学习。近年来，许多方法被设计用于场景文本提取和识别，并且正在努力提高准确性。卷积方法为自然图像中出现的非草书文本分析提供了合理的结果。本手稿中的工作通过将每个金字塔视为所提供样本的一个特征来利用线性金字塔的优势。每个金字塔图像处理通过各种经验选择的内核。通过考虑EASTR-42k数据集的每个图像金字塔上的阿拉伯语文本来研究性能。阿拉伯语场景文本识别的出错率为0.17%。
2018-09-27 cs.CV
Inverse Rendering for Complex Indoor Scenes: Shape, Spatially-Varying Lighting and SVBRDF from a Single Image
University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究院）
我们提出了一个室内场景的深度逆绘制框架。从一个单一的RGB图像的任意室内场景，我们创建一个完整的场景重建，估计形状，空间变化的照明，和空间变化的，非朗伯表面反射。为了训练这个网络，我们用真实世界的材料来增强SUCG室内场景数据集，并使用快速，高质量，基于物理的GPU渲染器来渲染它们，以创建一个大规模的，逼真的室内数据集。我们的逆渲染网络结合了物理见解-包括空间变化的球形高斯照明表示，用于模拟场景外观的可微分渲染层，用于迭代优化预测的级联结构和用于优化的双边求解器-使我们能够共同推理形状，照明和反射率。实验表明，我们的框架优于以前的方法，估计个别场景组件，这也使各种新的应用增强现实，如照片级真实感的对象插入和材料编辑。代码和数据将公开提供。
2019-05-07 cs.CV
Visual Graphs from Motion (VGfM): Scene understanding with object geometry reasoning
Istituto Italiano di Tecnologia（意大利理工学院）
最近的视觉场景理解方法试图建立一个场景图--一个对象及其成对关系的计算表示。这种丰富的语义表示是非常有吸引力的，但很难从单个图像中获得，特别是当考虑场景中复杂的空间布置时。相应地，图像序列使用由相机运动引起的多视图几何关系来传达有用的信息。实际上，在这种情况下，对象关系自然地与3D场景结构相关。为此，本文提出了一种系统，首先计算对象的几何位置在一个通用的场景，然后有效地构建场景图从视频中嵌入这样的几何推理。这种引人注目的表示是使用一种新模型获得的，其中使用RNN框架合并了几何和视觉特征。我们报告的结果，我们创建的任务，在多个视图中的3D场景图生成的数据集。
2018-11-07 cs.CV
Both Style and Fog Matter: Cumulative Domain Adaptation for Semantic Foggy Scene Understanding
Wuhan University（武汉大学）；UTokyo（东京大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；NTHU（台湾清华大学）
虽然在晴朗天气条件下的语义场景理解已经取得了很大的进展，但在浓雾等恶劣天气条件下，由于观测数据的不精确性，语义理解仍然是一个难题。此外，雾天图像的采集和标记困难也阻碍了这一领域的发展。考虑到晴朗天气下语义场景理解的成功，我们认为将从清晰图像中学习到的知识转移到雾域是合理的。因此，问题变成了弥合清晰图像和模糊图像之间的域间隙。不同于以往的方法，主要集中在关闭域的差距造成的雾-去雾的雾图像或雾清晰的图像，我们建议减轻域的差距，同时考虑雾的影响和风格的变化。我们的动机是基于我们的发现，风格相关的差距和雾相关的差距可以分开和关闭，分别通过添加一个中间域。因此，我们提出了一个新的管道来累积适应风格，雾和双因素（风格和雾）。具体而言，我们设计了一个统一的框架，以解开的风格因素和雾因素分开，然后从不同领域的图像的双重因素。此外，我们合作解开这三个因素与一个新的累积损失彻底解开这三个因素。我们的方法在三个基准测试中达到了最先进的性能，并在雨雪场景中表现出泛化能力。
2021-12-01 cs.CV
Single Frame Semantic Segmentation Using Multi-Modal Spherical Images
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对全景多模态语义分割，本文提出基于transformer的跨模态融合架构，结合畸变感知模块与融合前跨模态交互，在三个室内全景数据集上取得最先进mIoU。
2023-08-18 cs.CV
Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder
University of Surrey（萨里大学）；Microsoft Corporation（微软公司）
我们提出了一个自我监督的方法，在野外的单视图图像的图像重照明。该方法基于自动编码器，该自动编码器将图像解构为两个单独的编码，分别与场景照明和内容相关。为了在没有监督的情况下解开这些嵌入信息，我们利用了一些增强操作不影响图像内容并且只影响光的方向的假设。一种新的损失函数，称为球谐损失，介绍了强制的照明嵌入转换为球谐矢量。我们在Youtube 8M和CelebA等大规模数据集上训练我们的模型。实验结果表明，该方法可以正确地估计场景照明和现实的重新照明输入图像，没有任何监督或先验形状模型。与监督方法相比，我们的方法具有相似的性能，并避免了常见的照明伪影。
2021-08-23 cs.CV
AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction
University of Toronto（多伦多大学）
AutoSplat通过几何约束、反射高斯一致性约束和残差球谐函数，提升自动驾驶场景重建与新视图合成的真实性和多视图一致性。
2024-07-04 cs.AI cs.CV
Detachable Novel Views Synthesis of Dynamic Scenes Using Distribution-Driven Neural Radiance Fields
PhiGent Robotics（PhiGent机器人公司）
如何从随意的单目视频中表达和合成真实世界动态场景中的新颖视图是一个长期存在的问题。现有的解决方案通常通过应用几何技术或利用几个相邻帧之间的时间信息来接近动态场景，而不考虑整个场景中的底层背景分布或光线维度上的透射率，从而限制了它们在静态和遮挡区域上的性能。我们的方法$\textbf{D}$迭代- $\textbf{D}$ riven神经辐射场提供了高质量的视图合成和一个3D解决方案，$\textbf{D}$从整个$\textbf{D}$神经场景中提取背景，这被称为$\text{D}^4$ NeRF。具体而言，它采用神经表示来捕获静态背景中的场景分布，并采用6D输入NeRF来表示动态对象。每个光线样本都被赋予一个附加的遮挡权重，以指示静态和动态分量中的透射率。我们评估$\text{D}^4$ NeRF上的公共动态场景和我们的城市驾驶场景从一个错误的驾驶数据集。大量的实验表明，我们的方法优于以往的方法在渲染纹理细节和运动区域，同时也产生一个干净的静态背景。我们的代码将在https://github.com/Luciferbobo/D4NeRF上发布。
2023-01-11 cs.CV
MS-RAFT-3D: A Multi-Scale Architecture for Recurrent Image-Based Scene Flow
University of Stuttgart（斯图加特大学）
本文提出MS-RAFT-3D多尺度架构，将光流分层思想推广到图像场景流，在KITTI和Spring上分别超越现有方法8.7%和65.8%。
2025-06-02 cs.CV
Spherical Vision Transformers for Audio-Visual Saliency Prediction in 360-Degree Videos
Department of Computer Science and Engineering, Koç University（计算机科学与工程系，科克大学）；Department of Psychology, Boğaziçi University（心理学系，博多伊大学）；National Institute of Advanced Industrial Science and Technology (AIST), Intelligent Platforms Research Institute（国家先进工业科学与技术研究院（AIST），智能平台研究机构）；Department of Psychology, Boğaziçi University University（心理学系，博多伊大学）；Department of Computer Engineering, Hacettepe University（计算机工程系，哈切塞特佩大学）；KUIS AI Center（KUIS人工智能中心）
针对360度视频显著性预测中球面畸变与空间音频融合问题，本文构建YT360-EyeTracking数据集，并提出球面几何感知的视觉Transformer模型SalViT360及其音视扩展SalViT360-AV，显著优于现有方法。
2025-08-27 cs.CV
Revolvable Indoor Panoramas Using a Rectified Azimuthal Projection
我们提出了一种算法，用于将室内球形全景图转换为具有模拟俯视图的照片。由此产生的图像将具有非常宽的视场，覆盖球面全景的4π球面度。我们认为，我们的方法补充了常用于“小行星”效应的赤平投影。赤平投影在创建室外场景的小行星时效果很好;而我们的方法非常适合室内场景。我们的方法的主要创新之处是引入了一种新的方位地图投影，它可以平滑地融合球极投影和朗伯方位等积投影。我们的投影有一个可调节的参数，允许一个控制和妥协之间的扭曲的形状和扭曲的大小在投影的全景。这个额外的控制参数使我们的投影能够产生优于球极投影的结果。
2016-05-02 cs.CV math.DG
Searching for Objects using Structure in Indoor Scenes
University of Maryland（马里兰大学）
为了识别特定类别的对象的位置，被动计算机视觉系统通常处理图像中的所有区域以最终输出几个区域。但是，我们可以使用场景中的结构来搜索对象，而无需处理整个图像。我们提出了一种搜索技术，顺序处理图像区域，使得更有可能对应于查询类对象的区域被探索较早。我们将问题框架为马尔可夫决策过程，并使用模仿学习算法来学习搜索策略。由于在场景中的结构是必不可少的搜索，我们的工作与室内场景图像，因为它们包含一元场景上下文信息和对象-对象上下文的场景。我们在NYU深度v2数据集上进行了实验，结果表明，单独使用一元场景上下文特征可以实现非常高的平均精度，同时只处理20- 25%的区域，例如床和沙发。通过考虑对象-对象上下文以及场景上下文特征，进一步提高了柜台、灯、枕头和沙发等类的性能。
2015-11-24 cs.AI cs.CV
DrivingForward: Feed-forward 3D Gaussian Splatting for Driving Scene Reconstruction from Flexible Surround-view Input
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
提出DrivingForward模型，通过联合训练pose、depth和Gaussian网络，在无深度真值与相机外参下实现灵活环视输入的前馈3D驾驶场景实时重建，在nuScenes数据集上优于现有方法。
2024-12-21 cs.CV
SG-Splatting: Accelerating 3D Gaussian Splatting with Spherical Gaussians
Shanghai Jiao Tong University（上海交通大学）
SG-Splatting 提出用球面高斯替代三阶球谐函数表示视角相关颜色，并结合低阶球谐函数的混合表示，在减少参数和存储开销的同时加速渲染并提升新视角合成质量。
2024-12-31 cs.CV
Complete Scene Reconstruction by Merging Images and Laser Scans
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Ocean University of China（中国海洋大学）；University of Chinese Academy of Sciences（中国科学院大学）；Henan Polytechnic University（河南理工大学）
基于图像的建模和激光扫描是目前大规模建筑场景重建中常用的两种方法。为了生成完整的场景重建，一种有效的方法是利用地面和航空影像对场景进行完全覆盖，并辅之以激光对某些纹理较低、结构复杂的区域进行扫描。因此，关键问题是在一个统一的框架中准确校准相机和记录激光扫描。为此，我们提出了一个三步流水线，通过合并图像和激光扫描完成场景重建。首先，以多视图和多尺度的方式在架构周围捕获图像，并将其馈送到运动恢复结构（SfM）流水线中以生成SfM点。然后，基于SfM结果，通过考虑纹理丰富性、场景结构复杂性和激光扫描的空间布局来自动规划激光扫描位置。最后，图像和激光扫描以由粗到精的方式精确合并。在两个中国古代建筑数据集上的实验验证了本文提出的完整场景重建流水线的有效性。
2019-09-18 cs.CV
EditableNeRF: Editing Topologically Varying Neural Radiance Fields by Key Points
Tsinghua University（清华大学）
神经辐射场（NeRF）实现了高度照片级真实感的新视点合成，但如何对基于NeRF的方法建模的场景进行编辑是一个具有挑战性的问题，特别是对于动态场景。我们提出了可编辑的神经辐射场，使最终用户能够轻松地编辑动态场景，甚至支持拓扑变化。输入来自单个相机的图像序列，我们的网络完全自动训练，并使用我们挑选的表面关键点对拓扑变化的动态进行建模。然后，最终用户可以通过轻松地将关键点拖动到所需的新位置来编辑场景。为了实现这一点，我们提出了一个景物分析方法来检测和初始化的关键点，考虑在场景中的动态，和一个加权的关键点的战略模型拓扑变化的动态联合关键点和权重优化。我们的方法支持直观的多维（高达3D）编辑，并可以生成在输入序列中看不到的新场景。实验表明，我们的方法实现了高质量的编辑各种动态场景，并优于国家的最先进的。我们的代码和捕获的数据可在https://chengwei-zheng.github.io/EditableNeRF/。
2023-03-28 cs.CV
OmniVoxel: A Fast and Precise Reconstruction Method of Omnidirectional Neural Radiance Field
University of Tsukuba（筑波大学）
提出了一种利用等矩形全方位图像重建神经辐射场的方法。具有辐射场的隐式神经场景表示可以在有限的空间区域内连续地重建场景的3D形状。然而，在商用PC硬件上训练完全隐式表示需要大量时间和计算资源（每个场景15 $\sim$ 20小时）。因此，我们提出了一种方法，以加快这一进程显着（20 $\sim$ 40分钟，每个场景）。而不是使用一个完全隐式表示的射线辐射场重建，我们采用特征体素，包含密度和颜色特征张量。考虑到全向等矩形输入和摄像机布局，我们使用球形体素化来表示，而不是立方表示。我们的体素化方法可以平衡重建的内部场景和外部场景的质量。此外，我们采用轴向对齐的位置编码方法对颜色特征，以提高整体图像质量。我们的方法在具有随机相机姿态的合成数据集上取得了令人满意的经验性能。此外，我们用包含复杂几何形状的真实场景测试了我们的方法，并实现了最先进的性能。我们的代码和完整的数据集将在论文出版的同时发布。
2022-08-12 cs.CV
Camera Calibration and Stereo via a Single Image of a Spherical Mirror
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出利用单张含球面镜图像进行相机标定的方法，借助球体轮廓与反射信息实现精确标定，并支持构建简单折反射立体视觉系统，合成与真实实验均验证了其可行性和准确性。
2024-09-24 cs.CV
Symmetrical Linguistic Feature Distillation with CLIP for Scene Text Recognition
University of Science and Technology of China（中国科学技术大学）
本文提出CLIP-OCR框架，利用对称蒸馏策略和语言一致性损失，从CLIP中提取视觉与语言知识，在六个场景文本识别基准上达到93.8%平均准确率。
2023-10-10 cs.CV
Randomized 3D Scene Generation for Generalizable Self-Supervised Pre-Training
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文系统研究了随机化三维场景生成用于自监督预训练的泛化性，并提出基于球谐函数的场景生成新方法，在多个下游任务上超越公式驱动方法并达到与真实数据方法相当的性能。
2023-08-06 cs.CV
ViConsFormer: Constituting Meaningful Phrases of Scene Texts using Transformer-based Method in Vietnamese Text-based Visual Question Answering
Ho Chi Minh city University of Technology（胡志明市理工大学）；Vietnam National University, Ho Chi Minh city（越南国家大学胡志明市分校）；University of Information Technology（信息技术大学）
针对越南语 Text-based VQA，本文提出 ViConsFormer，依据语言学含义定义构建场景文本短语并有效挖掘其信息，在两个大规模数据集上达到最先进水平。
2024-10-24 cs.CL cs.CV
3DOF+Quantization: 3DGS quantization for large scenes with limited Degrees of Freedom
Orange Innovation（奥兰奇创新）
针对大型场景中3DGS重建的视角受限问题，提出基于球坐标的量化方案，利用投影误差与距离平方成反比的特性，在Garden场景上验证了率失真性能提升。
2025-09-08 cs.CV
Recurrent Convolutional Neural Networks for Scene Parsing
场景解析是一种技术，它根据图像中的所有像素所属的类别对其进行标记。为了保证良好的视觉一致性和高的类准确性，场景解析器必须捕获图像的长程依赖性。在前馈架构中，这可以简单地通过考虑在要标记的每个像素周围的足够大的输入上下文补丁来实现。我们提出了一种方法，包括一个经常性的卷积神经网络，它允许我们考虑一个大的输入上下文，同时限制了模型的容量。与大多数标准方法相反，我们的方法不依赖于任何分割方法，也不依赖于任何特定于任务的特征。该系统以端到端的方式在原始像素上进行训练，并以低推理成本对复杂的空间依赖性进行建模。当上下文大小随着内置的递归而增加时，系统会识别并纠正自己的错误。我们的方法在斯坦福背景数据集和SIFT流数据集上都具有最先进的性能，同时在测试时保持非常快的速度。
2013-06-12 cs.CV
MultiScene: A Large-scale Dataset and Benchmark for Multi-scene Recognition in Single Aerial Images
German Aerospace Center（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）
航空景象识别是高分辨率航空影像解译的基础研究课题。在过去的几年里，大多数研究都集中在将图像分类到一个场景类别中，而在现实世界中，更常见的是一幅图像包含多个场景。因此，在本文中，我们研究了一个更实际但尚未探索的任务-在单一图像的多场景识别。为此，我们创建了一个名为MultiScene的大规模数据集，由100，000张无约束的高分辨率航拍图像组成。考虑到手动标记这些图像是非常艰巨的，我们求助于来自众包平台的低成本注释，例如，OpenStreetMap（OSM）.然而，OSM数据可能会遭受不完整和不正确，这将噪声引入图像标签。为了解决这个问题，我们对14，000张图像进行了视觉检查，并纠正了它们的场景标签，产生了一个名为MultiScene-Clean的干净注释图像子集。有了它，我们可以使用干净的数据开发和评估用于多场景识别的深度网络。此外，我们提供了所有图像的众包注释，以研究带有噪声标签的网络学习。我们在MultiScene-Clean和MultiScene上使用广泛的基线模型进行实验，分别为单个图像中的多场景识别和从噪声标签中学习提供基准。为了促进进展，我们在https://gitlab.lrz.de/ai4eo/reasoning/multiscene上提供我们的数据集和训练模型。
2021-09-07 cs.CV
View-Dependent Uncertainty Estimation of 3D Gaussian Splatting
EPFL（洛桑联邦理工学院）
针对3D高斯泼溅场景不确定性估计不足的问题，提出用球谐函数建模视角依赖的逐高斯不确定性特征，在保持高精度同时显著快于集成方法。
2025-04-10 cs.CV
Vision-based Neural Scene Representations for Spacecraft
European Space Agency（欧洲空间局）
在具有高度自主性的先进任务概念中，航天器需要在内部模拟附近轨道物体的姿态和形状。最近的工作在神经场景表示的推断一般的三维场景从光学图像显示出有前途的结果。神经辐射场（NeRF）已经在使用大量图像及其姿势渲染高度镜面反射表面方面显示出成功。最近，生成辐射场（GRAF）实现了完整的体积重建的场景从unposed图像，由于使用对抗框架训练NeRF。在本文中，我们比较和评估NeRF和GRAF的潜力，使新的意见和提取的3D形状的两个不同的航天器，土壤水分和海洋盐度卫星欧空局的生命星球计划和一个通用的立方体卫星。考虑到这两种模型的最佳性能，我们观察到NeRF有能力在航天器的材料镜面反射及其姿态方面呈现更准确的图像。就其本身而言，GRAF即使在卫星的部分被遮蔽时也能生成具有精确细节的精确新颖视图，同时具有不需要任何有关相对姿态的信息的显著优势。
2021-05-11 cs.CV
SACANet: scene-aware class attention network for semantic segmentation of remote sensing images
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
本文提出融合场景感知注意力与局部—全局类别注意力的 SACANet，用于遥感图像语义分割，以增强上下文建模并抑制背景噪声，在三个数据集上优于现有最先进方法。
2023-04-22 cs.CV
