Scene Parsing with Integration of Parametric and Non-parametric Models
Nanyang Technological University（南洋理工大学）
我们采用卷积神经网络（CNN）作为我们的参数模型来学习判别特征和分类器进行局部补丁分类。基于类的出现频率分布，学习CNN的集成（CNN-Ensemble），其中每个CNN组件专注于学习不同且互补的视觉模式。由CNN Entrance输出像素的局部信念。考虑到视觉上相似的像素在局部背景下是不可区分的，我们利用全局场景语义来减轻局部歧义。全局场景约束通过在标记能量函数中加入全局能量项来实现，并且在非参数框架中进行实际估计。提出了一种基于大间隔的CNN度量学习方法，以获得更好的全局置信度估计。最后，局部和全局信念的整合产生的像素的类似然，基于最大边际推理执行，以生成标签预测图。即使没有任何后处理，我们也能在具有挑战性的SiftFlow和Barcelona基准测试中获得最先进的结果。
2016-04-20 cs.CV
CoPa-SG: Dense Scene Graphs with Parametric and Proto-Relations
University of Augsburg（奥斯堡大学）
提出CoPa-SG合成场景图数据集及参数化关系与原型关系概念，通过精确标注和细粒度关系表示，提升场景图生成模型性能并增强下游规划与推理能力。
2025-06-26 cs.CV
Recovering Parametric Scenes from Very Few Time-of-Flight Pixels
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究如何利用极少数飞行时间像素（如15个）恢复参数化场景几何，提出结合前馈预测与可微渲染的方法，并在仿真和真实采集中验证了物体6D位姿估计的有效性。
2025-09-19 cs.CV
Inferring Compositional 4D Scenes without Ever Seeing One
INSAIT, Sofia University “St. Kliment Ohridski”（INSAIT，索非亚大学“圣克莱门特·奥赫里德斯基”）
COM4D通过设计空间和时间注意力训练，仅用静态多物体或动态单物体监督，一致预测4D/3D对象的结构和时空配置，无需4D组合训练数据，实现从单目视频重建完整持久的4D场景。
2026-03-25 cs.CV
Dual-Space NeRF: Learning Animatable Avatars and Scene Lighting in Separate Spaces
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；Shanghai Engineering Research Center of Energy Efficient and Custom AI IC（上海能效与定制人工智能集成电路工程技术研究中心）
在规范空间中对人体建模是捕捉和动画的常见做法。但是当涉及神经辐射场（NeRF）时，在规范空间中学习静态NeRF是不够的，因为即使场景照明是恒定的，当人移动时身体的照明也会改变。以前的方法通过学习每帧嵌入来减轻照明的不一致性，但是该操作不能推广到看不见的姿势。鉴于照明条件是静态的世界空间，而人体是一致的规范空间，我们提出了一个双空间NeRF模型的场景照明和人体在两个独立的空间中的两个MLP。为了连接这两个空间，以前的方法主要依赖于线性混合蒙皮（LBS）算法。然而，动态神经场的LBS的混合权重是难以处理的，因此通常与另一个MLP一起记忆，这并不能推广到新的姿势。虽然可以借用参数化网格（如SMPL）的混合权重，但插值操作会引入更多伪影。在本文中，我们建议使用重心映射，它可以直接推广到看不见的姿势，并且令人惊讶地实现了比带有神经混合权重的LBS更好的结果。在Human3.6M和ZJU-MoCap数据集上的定量和定性结果表明了该方法的有效性。
2022-08-31 cs.CV
CGGT: Curve-Grounded Geometry Transformer for 3D Parametric Curve Reconstruction
National University of Defense Technology（国防科技大学）；Hunan University（湖南大学）；Shenzhen University（深圳大学）
提出CGGT，一种曲线接地几何变换器，从稀疏无位姿多视图图像中直接预测相机、深度和曲线掩码，经参数优化重建可编辑3D曲线，并构建Wireframe-100K数据集，在稀疏视图下显著提升精度与效率，且泛化至真实图像。
2026-09-15 cs.CV
A Parametric Top-View Representation of Complex Road Scenes
Carnegie Mellon University（卡内基梅隆大学）；NEC Laboratories America（NEC美国实验室）；UC San Diego（加州大学圣迭戈分校）
在本文中，我们解决的问题，推断布局的复杂道路场景给定一个单一的摄像机作为输入。为了实现这一目标，我们首先提出了一种新的参数化模型的道路布局的俯视图表示，这不仅是直观的人类可视化，但也提供了一个可解释的界面，更高层次的决策。此外，我们的顶视场景模型的设计允许有效的采样，从而生成大规模的模拟数据，我们利用这些数据来训练深度神经网络，以推断我们的场景模型的参数。具体来说，我们提出的训练过程使用监督域自适应技术，将模拟以及手动注释的数据。最后，我们设计了一个条件随机场（CRF），强制一致的预测，为一个单一的帧，并鼓励视频帧之间的时间平滑。在两个公共数据集上的实验表明：（1）我们的参数化俯视图模型具有足够的代表性，可以描述复杂的道路场景;（2）所提出的方法优于仅在手动注释或模拟数据上训练的基线，从而充分利用两者;（3）我们的CRF能够生成时间平滑而语义有意义的结果。
2019-04-18 cs.CV
MOGS: Monocular Object-guided Gaussian Splatting in Large Scenes
State Key Laboratory of Maritime Technology and Safety, Wuhan University of Technology（船舶技术与安全国家重点实验室，武汉理工大学）；University of Essex（埃塞克斯大学）
MOGS通过单目视觉-惯性传感器实现大场景中高斯散射的物体引导密集深度生成，显著降低训练时间和内存消耗，同时保持高质量渲染效果。
2026-02-23 cs.CV
ParticleNeRF: A Particle-Based Encoding for Online Neural Radiance Fields
Queensland University of Technology（昆士兰科技大学）；University of Adelaide（阿德莱德大学）
虽然现有的动态场景的神经辐射场（NeRFs）是离线方法，重点是视觉保真度，但我们的论文解决了优先考虑实时适应性的在线用例。我们提出了ParticleNeRF，这是一种新的方法，通过每200毫秒在线学习最新的表示来动态适应场景几何形状的变化。ParticleNeRF使用一种新的基于粒子的参数编码来实现这一点。我们将特征耦合到空间中的粒子，并将光度重建损失反向传播到粒子的位置梯度中，然后将其解释为速度矢量。由一个轻量级的物理系统来处理碰撞，这使得功能可以随着场景几何体的变化而自由移动。我们演示ParticleNeRF在各种动态场景中包含平移，旋转，铰接和可变形的对象。ParticleNeRF是第一个在线动态NeRF，实现了快速适应性，比暴力在线InstantNGP和其他在线约束动态场景的基线方法具有更好的视觉保真度。您可以在我们的项目网站https://sites.google.com/view/particlenerf上找到我们系统的视频。
2023-03-24 cs.CV cs.RO
PasteGAN: A Semi-Parametric Method to Generate Image from Scene Graph
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Microsoft（微软）；Northwestern Polytechnical University（西北工业大学）
尽管在从结构化（场景图）或自由形式（句子）描述生成高质量图像方面取得了一些令人兴奋的进展，但它们中的大多数仅保证图像级的语义一致性，即生成的图像与描述的语义含义相匹配。他们仍然缺乏以更可控的方式合成图像的研究，比如精细地操纵每个物体的视觉外观。因此，为了生成具有首选对象和丰富交互的图像，我们提出了一种半参数方法PasteGAN，用于从场景图和图像作物生成图像，其中对象的空间排列及其成对关系由场景图定义，对象外观由给定的对象作物确定。为了增强输出中对象的交互性，我们设计了一个裁剪细化网络和一个对象图像融合器，将对象及其关系嵌入到一个地图中。多重损失协同工作，以确保生成的图像高度尊重作物，符合场景图，同时保持出色的图像质量。还提出了一个裁剪选择器，如果没有提供裁剪，则通过对场景图中对象周围的交互进行编码，从外部对象池中选择最兼容的裁剪。在Visual Genome和COCO-Stuff数据集上的测试结果表明，该方法在初始得分、多样性得分和Fréchet初始距离上均优于SOTA方法.大量的实验也证明了我们的方法的能力，生成复杂和多样化的图像与给定的对象。
2019-11-28 cs.CV
Sketch and Patch: Efficient 3D Gaussian Representation for Man-Made Scenes
National University of Singapore（新加坡国立大学）；IRIT - University of Toulouse（图卢兹大学IRIT）
提出混合3D高斯表示方法，将高斯分为Sketch和Patch两类，分别用参数模型和向量量化优化，在保持视觉质量的同时大幅降低存储需求。
2025-01-22 cs.CV cs.MM
HumanGenesis: Agent-Based Geometric and Generative Modeling for Synthetic Human Dynamics
提出HumanGenesis框架，通过Reconstructor、Critique Agent、Pose Guider和Video Harmonizer四个协作智能体整合几何与生成建模，解决合成人类动力学中的几何不一致和动作泛化限制问题，在多项任务上实现最先进性能。
2025-08-13 cs.CV
Non-parametric spatially constrained local prior for scene parsing on real-world data
School of Engineering and Technology, Central Queensland University（中央昆士兰大学工程与技术学院）
场景解析的目的是识别场景图像中每个像素的对象类别，它在图像内容理解和计算机视觉应用中起着核心作用。然而，从不受约束的真实世界数据中准确地解析场景仍然是一项具有挑战性的任务。在本文中，我们提出了非参数的空间约束局部先验（SCLP）的场景分析的现实数据。对于给定的查询图像，通过首先检索与查询图像最相似的训练图像的子集，然后从检索到的子集收集关于空间图像块之间和相邻超像素之间的对象共现统计的先验信息来学习非参数SCLP。SCLP在捕获查询图像中关于对象间相关性的长距离和短距离上下文方面都是强大的，并且可以有效地与传统的视觉特征相结合以改进分类结果。我们在SIFT Flow和PASCAL-Context基准数据集上的实验表明，与最先进的方法相比，与超像素级视觉特征结合使用的非参数SCLP实现了最佳性能之一。
2020-06-23 cs.CV cs.LG eess.IV
Speedy-Splat: Fast 3D Gaussian Splatting with Sparse Pixels and Sparse Primitives
University of Maryland, College Park（马里兰大学 College Park分校）
Speedy-Splat通过优化渲染管线和引入剪枝技术，显著提升了3D高斯点播的渲染速度，模型大小和训练时间也得到优化。
2025-08-14 cs.CV cs.GR
Scene Parsing with Global Context Embedding
University of California, Merced（加州大学默塞德分校）；Adobe Research（Adobe 研究院）
提出了一种基于参数模型和非参数模型的全局上下文信息的场景分析方法。与以往的方法，只利用对象之间的局部关系，我们训练的上下文网络的基础上场景相似性，以生成全局上下文的特征表示。此外，这些学到的功能被用来生成显式类推理的全局和空间先验。然后，我们设计模块将特征表示和先验信息嵌入到分割网络中，作为额外的全局上下文线索。我们表明，该方法可以消除假阳性，不兼容的全球背景表示。在MIT ADE20K和PASCAL Context数据集上的实验表明，该方法的性能优于现有方法.
2017-10-20 cs.CV
No Time to Train: Empowering Non-Parametric Networks for Few-shot 3D Scene Segmentation
Shanghai AI Lab（上海人工智能实验室）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）；Tencent Youtu Lab（腾讯优图实验室）；The Chinese University of Hong Kong（香港中文大学）
本文提出免训练非参数化3D少样本分割网络Seg-NN及仅训练轻量QUEST模块的Seg-PN，在S3DIS与ScanNet上显著提升mIoU并减少90%训练时间。
2024-04-05 cs.CV
Constrained Parametric Proposals and Pooling Methods for Semantic Segmentation in RGB-D Images
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Lund University（隆德大学）
我们专注于基于RGB-D数据的语义分割问题，重点分析了包含来自许多视觉类别的许多实例的杂乱室内场景。我们的方法是基于一个参数的图形地面强度和深度约束的建议过程，生成空间布局假设在多个位置和规模的图像，然后由顺序推理算法，将建议集成到一个完整的场景估计。我们的贡献可以概括为提出以下建议：（1）利用强度和深度信息的参数最大流图形-背景建议方法的一般化，以便在多项式时间内系统地和有效地生成基础空间模型的断点，（2）新的区域描述方法基于使用强度和深度通道构造的多个特征上的二阶池化，（3）可以解决重叠空间分区中的冲突的推理过程，并且处理具有非常不同尺度的大量对象类别实例的场景，（4）对深度的影响以及大量描述符的有效性的广泛评估，这些描述符都是预先设计的并且使用深度学习自动获得的，在一个困难的RGB-D语义分割问题与92类。我们报告了具有挑战性的NYU Depth v2数据集的最新结果，该数据集扩展为RMRC 2013室内分割挑战赛，目前该模型排名第一，平均得分为24.61%，赢得了39个类别。此外，我们还表明，通过结合二阶和深度学习特征，可以额外实现超过15%的相对准确度提高。在场景分类基准测试中，我们的方法进一步提高了24%的最先进水平。
2014-07-31 cs.CV
HOIverse: A Synthetic Scene Graph Dataset With Human Object Interactions
Computer Vision Lab Universität Augsburg（计算机视觉实验室，乌尔姆大学）；Organic Computing Lab Universität Augsburg（有机计算实验室，乌尔姆大学）
本文提出HOIverse合成数据集，结合场景图与人-物交互，提供准确密集的关系真值及多模态数据，并基于最先进模型进行基准测试，以加速室内场景理解研究。
2025-06-24 cs.CV
An Implicit Parametric Morphable Dental Model
The University of Hong Kong（香港大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Texas A&M University（得克萨斯农工大学）
人体的3D可变形模型捕捉主体之间的变化，并且在重建和编辑应用中是有用的。当前的牙齿模型使用显式网格场景表示，并且仅对牙齿进行建模，而忽略牙龈。在这项工作中，我们提出了第一个参数化的牙齿和牙龈的三维变形牙齿模型。我们的模型使用隐式场景表示，并从严格对齐的扫描中学习。它基于每个牙齿和牙龈的组件式表示，以及每个此类组件的可学习潜在代码。它还可以学习模板形状，从而实现多种应用，如分割，插值和牙齿替换。我们的重建质量与最先进的全局隐式表示相当，同时能够实现新的应用。项目页面：https://vcai.mpi-inf.mpg.de/projects/DMM/
2022-11-21 cs.CV
CHOW-SLAM: Compact Hybrid Representation with Complementary Overlap Window Optimization for RGB-D SLAM
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
本文提出CHOW-SLAM框架，通过紧凑P-H混合表示与互补重叠窗口策略构建空间、时间约束，结合ORB初始化与神经渲染优化，在多数据集上优于现有最优RGB-D SLAM方法。
2026-08-04 cs.CV
Towards Alias-Free 4D Gaussian Representations with Motion-Aware Filtering
Indian Institute of Science（印度科学学院）；Samsung R&D Institute India - Bangalore（三星印度班加罗尔研发研究院）
针对动态场景4D表示的混叠问题，提出运动感知3D平滑滤波器，适配各类4D表示，在标准数据集上性能优于现有最优方法。
2026-08-25 cs.CV
MoreFusion: Multi-object Reasoning for 6D Pose Estimation from Volumetric Fusion
Dyson Robotics Laboratory, Imperial College London（帝国理工学院戴森机器人实验室）
机器人和其他智能设备需要来自其机载视觉系统的高效的基于对象的场景表示，以推理接触、物理和遮挡。已识别的精确对象模型将在未识别结构的非参数重建中发挥重要作用。我们提出了一个系统，它可以估计的准确构成的多个已知对象的接触和闭塞的实时，具体的多视图视觉。我们的方法从单个RGB-D视图中提出3D对象姿态建议，随着相机移动，从多个视图中积累姿态估计和非参数占用信息，并执行联合优化以估计接触中的多个对象的一致，非相交姿态。我们在2个对象数据集上实验验证了我们方法的准确性和鲁棒性：YCB-Video和我们自己的具有挑战性的杂乱YCB-Video。我们展示了一个实时机器人应用程序，其中机器人手臂精确有序地拆卸复杂的物体堆，仅使用板载RGB-D视觉。
2020-04-09 cs.CV cs.RO
H-Flow: Self-supervised Human Scene Flow via Physics-inspired Joint Multi-modal Learning
Michigan State University（密歇根州立大学）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出H-Flow，一种能够同时捕捉骨骼运动学和表面变形的密集人体场景流方法，通过物理启发的联合多模态学习实现自监督，引入高保真合成基准DynAct4D，并在标准基准和零样本场景中优于现有方法。
2026-05-21 cs.CV
H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction
Crisalix SA（克里萨利克斯公司）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）
最近的学习方法，隐式地表示表面几何使用基于坐标的神经表示在多视图三维重建的问题中表现出令人印象深刻的结果。然而，这些技术的有效性取决于场景的大量（几十个）输入视图的可用性以及计算上要求的优化。在本文中，我们解决了这些限制的具体问题，Few-Shot全三维头部重建，赋予基于坐标的表示与概率形状之前，使更快的收敛和更好的推广时，使用很少的输入图像（下至三个）。首先，我们使用隐式表示从数千个不完整的原始扫描中学习3D头部的形状模型。在测试时，我们联合过拟合两个基于坐标的神经网络的场景，一个建模的几何形状和另一个估计的表面辐射，使用隐式微分渲染。我们设计了一个两阶段的优化策略，在该策略中，学习到的先验被用来初始化和约束的几何形状在初始优化阶段。然后，先验被解冻并微调到场景。通过这样做，我们实现了高保真的头部重建，包括头发和肩膀，并具有高层次的细节，始终优于最先进的3D变形模型方法在Few-Shot的情况下，和非参数化的方法时，大的视图集可用。
2021-07-26 cs.AI cs.CV
PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting
University of Maryland, College Park（马里兰大学学院公园分校）
PUP 3D-GS通过原理性不确定性修剪技术，在更高压缩比下保持视觉质量和前景细节，提升渲染速度并优化图像质量。
2025-03-24 cs.CV cs.GR cs.LG
HSPACE: Synthetic Parametric Humans Animated in Complex Environments
Google Research（谷歌研究院）
3d人体感测的现有技术的进步目前受到缺乏具有3d地面真实的视觉数据集的限制，包括多个人，在运动中，在真实世界环境中操作，具有复杂的照明或遮挡，并且可能被移动相机观察到。复杂的场景理解需要估计人类姿势和形状以及手势，以实现最终将有用的指标和行为信号与自由视角照片级逼真的可视化功能相结合的表示。为了保持进展，我们建立了一个大规模的照片逼真的数据集，人类空间（HSPACE），动画人类放置在复杂的合成室内和室外环境。我们将100个不同年龄、性别、比例和种族的个体与数百个动作和场景以及体型的参数变化（总共1,600个不同的人）结合起来，以生成超过100万帧的初始数据集。人类动画是通过拟合一个富有表现力的人体模型，GHUM，单扫描的人，然后由新的重新定位和定位程序，支持逼真的动画穿着的人，身体比例的统计变化，并联合一致的场景放置多个移动的人。资产是自动生成的，大规模的，并与现有的实时的渲染和游戏引擎兼容。评估服务器的数据集将可用于研究。我们对合成数据的影响进行了大规模分析，并与真实数据和薄弱的监督联系起来，强调了在这种实际环境中，随着模型容量的增加，持续质量改进和限制模拟与真实差距的巨大潜力。
2022-01-06 cs.CV
Bayesian Nonparametric Submodular Video Partition for Robust Anomaly Detection
Rochester Institute of Technology（罗切斯特理工学院）
多实例学习（MIL）提供了一种有效的方法来解决视频异常检测问题，通过将其建模为弱监督问题，因为标签通常仅在视频级别可用，而由于昂贵的标签成本而丢失帧。我们建议进行新的贝叶斯非参数子模块视频划分（BN-SVP），以显着改善MIL模型训练，可以提供一个高度可靠的解决方案，在实际设置中，包括离群片段或多种类型的异常事件的鲁棒异常检测。BN-SVP本质上执行动态非参数层次聚类，具有增强的自转换，将视频中的片段分组为可以自然地解释为场景的时间一致和语义一致的隐藏状态。假设每个片段是通过非参数混合过程生成的，该过程允许相同场景内的片段的变化以适应许多真实世界监控视频的动态和噪声性质。BN-SVP的场景和混合成分分配也引起段之间的成对相似性，从而导致子模集函数的非参数构造。将此函数与MIL损失集成，可以有效地将模型暴露给各种潜在的积极实例，以改进其训练。提出了一种贪心算法来优化子模函数，并支持有效的模型训练。我们的理论分析确保了所提出的算法的性能保证。在多个真实世界的异常视频数据集上证明了所提出的方法的有效性，具有鲁棒的检测性能。
2022-03-24 cs.CV
SAM 3D Animal: Promptable Animal 3D Reconstruction from Images in the Wild
University of Cambridge（剑桥大学）；Southern University of Science and Technology（南方科技大学）；Tsinghua University（清华大学）；IMATI-CNR, Milan, Italy（意大利米兰IMATI-CNR研究所）
本文提出SAM 3D Animal，首个可提示的多动物3D重建框架，基于SMAL+参数化动物模型，通过关键点和掩码提示实现拥挤和遮挡场景的可靠重建，利用Herd3D数据集在多个数据集上取得最优结果。
2026-10-09 cs.AI cs.CV
VolumetricSMPL: A Neural Volumetric Body Model for Efficient Interactions, Contacts, and Collisions
ETH Zürich（苏黎世联邦理工学院）；UC Berkeley（伯克利大学）
提出神经体积人体模型VolumetricSMPL，利用神经混合权重生成高效MLP解码器，在提升精度与可微接触建模的同时大幅降低计算开销，有效解决人物交互与碰撞等任务。
2025-06-29 cs.AI cs.CV
EM Algorithms for Weighted-Data Clustering with Application to Audio-Visual Scene Analysis
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔罗纳-阿尔卑斯分院）；University of Trento（特伦托大学）
数据聚类已经受到了很多关注，并且有许多方法、算法和软件包可用。在这些技术中，参数有限混合模型由于其有趣的数学性质和基于期望最大化（EM）的最大似然估计的存在而发挥着核心作用。在本文中，我们提出了一个新的混合模型，关联的权重与每个观察点。我们引入加权数据高斯混合，我们推导出两个EM算法。第一种方法为每个观察值考虑固定的权重。第二种方法将每个权重视为遵循伽马分布的随机变量。我们提出了一种基于最小消息长度标准的模型选择方法，提供了一个权重初始化策略，并通过比较几个最先进的参数和非参数聚类技术，验证所提出的算法。我们还证明了所提出的聚类技术的有效性和鲁棒性，在存在异构数据，即视听景物分析。
2016-01-25 cs.CV cs.LG stat.ML
Co-SLAM: Joint Coordinate and Sparse Parametric Encodings for Neural Real-Time SLAM
University College London（伦敦大学学院）
本文提出 Co-SLAM，通过联合多分辨率哈希网格与 one-blob 编码并结合全局关键帧光束平差，实现实时鲁棒相机跟踪和最先进的高保真表面重建。
2023-04-27 cs.CV
Scene Synthesis via Uncertainty-Driven Attribute Synchronization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Kuaishou Technology（快手科技）
开发深度神经网络以生成3D场景是神经合成中的一个基本问题，其直接应用于建筑CAD、计算机图形学以及生成虚拟机器人训练环境。这项任务是具有挑战性的，因为3D场景表现出不同的模式，从连续的，如对象大小和形状对之间的相对姿态，离散的模式，如对称关系的对象的出现和共现。本文介绍了一种新的神经场景合成方法，可以捕捉不同的特征模式的三维场景。我们的方法结合了基于神经网络和传统场景合成方法的优势。我们使用从训练数据中学习的参数先验分布，它提供了对象属性和相关属性的不确定性，以正则化前馈神经模型的输出。此外，我们的方法不是仅仅预测场景布局，而是预测一组过完备的属性。这种方法允许我们利用预测属性之间的基本一致性约束来修剪不可行的预测。实验结果表明，我们的方法大大优于现有的方法。生成的3D场景忠实地内插训练数据，同时保留连续和离散特征模式。
2021-09-01 cs.CV
Time Lens++: Event-based Frame Interpolation with Parametric Non-linear Flow and Multi-scale Fusion
Huawei Technologies（华为技术有限公司）；Univ. of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
最近，使用基于帧和基于事件的相机的组合的视频帧内插在性能和存储器效率方面都超过了传统的基于图像的方法。然而，当前的方法仍然遭受（i）互补内插结果的脆弱的图像级融合，其在融合图像中存在伪影的情况下失败，（ii）针对每个插入帧运行的潜在时间不一致和低效的运动估计过程，以及（iii）不触发事件的低对比度区域，并且因此导致仅事件运动估计生成伪影。此外，以前的方法仅在由平面和遥远场景组成的数据集上进行测试，这些数据集无法捕捉真实世界的全部复杂性。在这项工作中，我们解决了上述问题，通过引入多尺度特征级融合和计算单次非线性帧间运动的事件和图像，可以有效地采样图像变形。我们还收集了第一个大规模的事件和帧数据集，包括100多个具有深度变化的具有挑战性的场景，这些场景是用基于分束器的新实验装置捕获的。我们表明，我们的方法提高了重建质量高达0.2 dB的PSNR和高达15%的LPIPS分数。
2022-04-25 cs.CV
SceneMosaic: Efficient and Diverse Simulation-Ready Scene Generation via Hybrid Agentic Layout Evolution
The University of Hong Kong（香港大学）；University of Electronic Science and Technology of China（电子科技大学）
SceneMosaic结合图像先验与VLM智能体演化，通过局部单元独立演化及笛卡尔积组合，实现高效、多样且物理有效的室内场景生成，在SceneEval-100上匹配最强基线并提速24倍。
2026-09-09 cs.CV
Populating 3D Scenes by Learning Human-Scene Interaction
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
人类生活在3D空间中，并不断与它互动以执行任务。这样的交互涉及在语义上有意义的表面之间的物理接触。我们的目标是了解人类如何与场景互动，并利用这一点使虚拟角色也能做到这一点。为此，我们引入了一种新的人的场景交互（HSI）模型，编码近端的关系，称为POSA的“姿态与proximitieS和接触”。交互的表示是以身体为中心的，这使得它能够推广到新的场景。具体而言，POSA增强了SMPL-X参数化人体模型，使得对于每个网格顶点，它编码（a）与场景表面的接触概率和（b）对应的语义场景标签。我们学习POSA与SMPL-X顶点条件下的VAE，并在PROX数据集上进行训练，该数据集包含与3D场景交互的SMPL-X网格，以及来自PROX-E数据集的相应场景语义。我们证明了POSA的价值与两个应用程序。首先，我们自动将人的3D扫描放置在场景中。我们使用适合扫描的SMPL-X模型作为代理，然后在3D中找到其最可能的位置。POSA提供了一个有效的表示，以搜索场景中的“启示”，匹配可能的接触关系，该姿势。我们进行了一项感知研究，显示出在这项任务上的最新技术水平的显着改善。其次，我们表明，POSA的学习表示的身体场景交互支持单眼人体姿态估计，是一致的3D场景，提高了最先进的。我们的模型和代码可用于研究目的在https://posa.is.tue.mpg.de。
2021-04-05 cs.CV
RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs
Nanjing University（南京大学）
提出了一种鲁棒、精确的单视图三维人脸重建非参数方法。虽然人们已经在参数化SVFR上投入了大量的精力，但在最终的3D形状和地面实况之间仍然存在明显的差距。我们认为存在两个主要障碍：1）参数模型的表示仅限于特定的人脸数据库; 2）拟合数据集中的2D图像和3D形状明显不对齐。为了解决这些问题，通过首先渲染详细的3D面部，然后将野生图像中的面部与渲染的面部交换，来创建大规模的伪2D\& 3D数据集。这些伪2D和3D对是从公开可用的数据集创建的，这些数据集消除了2D和3D数据之间的差距，同时覆盖了不同的外观，姿势，场景和照明。我们进一步提出了一个非参数方案，从创建的数据集学习一个良好的广义SVFR模型，所提出的分层有符号距离函数在预测中等规模和小规模的3D面部几何形状方面是有效的。我们的模型在FaceScape野生/实验室和MICC基准测试中优于以前的方法，并且可以很好地推广到各种外观，姿势，表情和野外环境。代码发布于www.example.com。
2023-02-10 cs.CV
PanoGS: Gaussian-based Panoptic Segmentation for 3D Open Vocabulary Scene Understanding
Zhejiang University（浙江大学）；RayNeo（雷尼奥）
针对现有3DGS开放词汇场景理解方法无法区分实例级信息的问题，提出PanoGS方法，通过金字塔三平面特征建模、语言引导图割与SAM辅助图聚类实现3D全景开放词汇理解，性能更具竞争力。
2025-03-23 cs.CV
Engine-Native Editable 3D World Reconstruction with Objects and Lighting
Tsinghua University（清华大学）；Nankai University（南开大学）；University of Electronic Science and Technology of China（电子科技大学）；Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
研究旨在实现引擎原生可编辑3D世界重建。核心方法是引入Lumera管道，基于Lumera-2K数据，用Lumera-Box和Lumera-Light解析相关元素并组装。主要贡献是确立参数化灯光目标，揭示多方面剩余瓶颈，且在检测等方面取得一定分数。
2026-07-24 cs.CV
Fast Algorithm of High-resolution Microwave Imaging Using the Non-parametric Generalized Reflectivity Model
提出了一种基于广义反射率概念的高分辨率微波成像算法。本文的贡献是双重的。我们引入了非参数广义反射率（GR，简称）的概念，作为工作频率和视角等的函数。GR扩展了传统的基于Born的成像模型，即，单散射模型，考虑到电磁波场和成像场景之间更真实的相互作用。然后，基于稀疏正则化优化的凸性，制定了GR的微波成像。通常，稀疏正则化优化需要实现迭代策略，这在计算上是昂贵的，特别是对于大规模问题。为了打破这个瓶颈，我们通过引入对偶变换将成像问题转化为物理驱动的图像处理问题。此外，该图像处理是在重叠的块上执行的，这可以以并行或分布式方式有效地解决。这样，所提出的高分辨率成像方法可适用于大规模微波成像问题。选定的仿真结果证明了所提出的方法的最先进的性能。
2016-09-12 cs.CV
CoCo4D: Comprehensive and Complex 4D Scene Generation
Huazhong University of Science and Technology（华中科技大学）；NVIDIA；Wuhan University（武汉大学）；Insta360 Research（Insta360研究院）；UC Merced（加州大学默塞德分校）
提出CoCo4D框架，通过将4D场景合成分解为动态前景建模与演变背景创建，并利用视频扩散模型生成运动序列及渐进式外绘方案，实现了多视角一致且沉浸感强的动态4D场景生成。
2025-06-24 cs.CV
SceneLCM: End-to-End Layout-Guided Interactive Indoor Scene Generation with Latent Consistency Model
South China University of Technology（华南理工大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出端到端框架 SceneLCM，结合 LLM 布局推理与 LCM 场景优化，实现布局、家具、环境和物理编辑全流程的高质量交互式室内场景生成。
2025-06-08 cs.CV
WALDO: Future Video Synthesis using Object Layer Decomposition and Parametric Flow Prediction
Inria（法国国家信息与自动化研究所）；New York University（纽约大学）
WALDO通过对象层分解和参数化流预测，将视频合成分解为层发现、变换预测和区域扭曲，在多个基准上显著超越现有技术。
2023-08-29 cs.CV
PSDF Fusion: Probabilistic Signed Distance Function for On-the-fly 3D Data Fusion and Scene Reconstruction
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
我们提出了一种新的三维空间表示的数据融合和场景重建。提出了概率符号距离函数（ProbabilitySignedDistanceFunction，PSDF）来描述三维空间中的不确定性。它是由一个联合分布描述SDF值和它的内点概率，反映输入数据质量和表面的几何形状。设计了一种包括体素、面元和网格的混合数据结构，以充分利用各种流行的3D表示的优点。通过PSDF连接，这些组件在一致的框架中合理地协作。给定顺序深度测量，PSDF可以用较少的特设参数贝叶斯更新来递增地改进。在PSDF和高效的3D数据表示的支持下，可以实时提取高质量的表面，并使用几何信息为可靠的数据融合做出贡献。实验表明，该系统重建的场景具有更高的模型质量和更低的冗余，运行速度比现有的在线网格生成系统。
2018-07-29 cs.CV cs.RO
Faces as Lighting Probes via Unsupervised Deep Highlight Extraction
Simon Fraser University（西蒙弗雷泽大学）；National University of Defense Technology（国防科技大学）；Microsoft Research（微软研究院）
我们提出了一种方法来估计详细的场景照明使用人脸在一个单一的图像。与以前的作品相比，估计照明的低阶基函数或远点光，我们的技术估计照明在一个更高的精度在一个非参数化的环境地图的形式。基于观察到人脸可以从广泛的照明方向表现出强烈的高光反射，我们提出了一种用于从人脸中提取高光的深度神经网络，然后跟踪这些反射回到场景以获取环境地图。由于用于高光提取的真实训练数据非常有限，我们引入了一种无监督的方案，用于在真实图像上对网络进行微调，该方案基于在多个真实图像中看到的给定人脸的一致漫射色度。在跟踪估计的亮点的环境中，我们减少了模糊效果的皮肤反射对反射光通过反卷积确定的先验知识的脸材料属性。与以前的高光提取和照明估计技术的比较显示了这种方法在各种室内和室外场景上的最先进的性能。
2018-07-21 cs.CV
An Approximate Shading Model with Detail Decomposition for Object Relighting
Zhejiang University（浙江大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个对象重新照明系统，允许艺术家从图像中选择一个对象，并将其插入到目标场景。通过简单的交互，系统可以调整插入对象上的照明，使其在场景中自然显示。为了支持基于图像的重光照，我们从图像中建立对象模型，并提出了一种用于重光照的\emph{perceptually-inspired}近似明暗模型。它将着色场分解为（a）可以重新着色的粗略形状项，（b）对第一项中缺失的特征进行编码的参数化着色细节，以及（c）捕获精细尺度材料属性的几何细节项。通过这种分解，着色模型结合了3D渲染和基于图像的合成，并且允许比基于图像的方法更灵活的合成。定量评估和一组用户研究表明，我们的方法是一个很有前途的替代现有的对象插入方法。
2018-04-20 cs.CV
TUN3D: Towards Real-World Scene Understanding from Unposed Images
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Higher School of Economics（高等经济学院）；Institute of Mechanics, Armenia（亚美尼亚力学研究所）
TUN3D提出首个无需相机位姿或深度监督、仅凭多视图图像联合进行布局估计与3D物体检测的方法，在三个基准上达到最先进性能，显著提升布局估计。\n
2025-09-23 cs.CV eess.IV
A Parametric Level Set Approach to Simultaneous Object Identification and Background Reconstruction for Dual Energy Computed Tomography
Tufts University（塔夫茨大学）
双能量计算机断层摄影术已经获得了极大的兴趣，因为它能够表征材料的化学成分，而不是简单地提供相对衰减图像，如在传统的断层摄影术。本文的目的是介绍一种新的多色双能量处理算法，重点是检测和表征的分段恒定对象嵌入在一个未知的，杂乱的背景。假设物体的物理性质，特别是康普顿散射和光电吸收系数是已知的，具有一定程度的不确定性。我们的方法是基于对象的特征函数的水平集表示，并包括一些正则化技术，用于解决我们关于对象的物理特性的先验信息以及与我们联合恢复场景的康普顿散射和光电吸收特性的能力相关的基本的、基于物理的限制。在没有具有适当物理特性的对象的情况下，我们的方法返回零特征函数，因此可以被视为同时解决检测和表征问题。与绝大多数非参数化地定义水平集函数的方法不同，即，作为像素值的密集集），我们通过径向基函数（RBF）参数化地定义我们的水平集，并采用高斯-牛顿型算法来实现成本最小化。数值结果表明，该算法成功地检测到感兴趣的对象，找到他们的形状和位置，并给出了一个适当的重建的背景。
2011-03-29 cs.CV physics.med-ph
ROAM: a Rich Object Appearance Model with Application to Rotoscoping
University of Oxford（牛津大学）；Technicolor Research & Innovation（Technicolor研究与创新中心）
Rotoscoping是通过视频镜头详细描绘场景元素，是专业后期制作管道中非常重要的艰苦任务。虽然像素分割技术可以帮助完成这项任务，但专业的旋转描记工具依赖于参数曲线，为艺术家提供了更好的交互式控制定义，编辑和操纵感兴趣的片段。坚持这种流行的rotoscoping范式，我们提出了一个新的框架来捕捉和跟踪场景中的任意对象的视觉方面，给出了这个对象的第一个封闭的轮廓。该模型结合了沿轮廓分布的局部前景/背景外观模型的集合、封闭对象的全局外观模型和一组独特的前景地标。这种丰富的外观模型的结构允许简单的初始化，高效的迭代优化，在每一步都精确地最小化，并在线适应视频。我们定性和定量地证明了这个框架的优点，通过与工具的基础上动态分割与一个封闭的曲线或像素明智的二进制标记的比较。
2016-12-05 cs.CV
Rooms from Motion: Un-posed Indoor 3D Object Detection as Localization and Mapping
Apple（苹果公司）
提出Rooms from Motion (RfM)框架，将无位姿室内3D目标检测重构为定位与建图任务，利用3D定向框替代关键点匹配，在CA-1M和ScanNet++上实现了优于现有全局方法的定位与建图质量。
2025-05-29 cs.CV
Retrospective Memory for Camouflaged Object Detection
Shanghai Institute of Technology（上海理工大学）；Nanjing University of Science（南京理工大学）；Dalian University of Technology（大连理工大学）
本文提出回忆增强的伪装目标检测架构RetroMem，通过两阶段训练整合历史知识，显著提升复杂伪装场景下的检测性能。
2025-06-18 cs.CV
Parametric Level-sets Enhanced To Improve Reconstruction (PaLEnTIR)
Tufts University（塔夫茨大学）；Virginia Tech（弗吉尼亚理工大学）；North Carolina State University（北卡罗来纳州立大学）
本文提出 PaLEnTIR，一种增强的参数化水平集方法，通过引入各向异性基函数和改善 Jacobian 矩阵条件数，实现了对多对比度分段常数对象的高效恢复与重建，并在多种成像任务中验证了其有效性。
2024-02-13 cs.CV cs.NA eess.IV
Weakly Supervised Image Annotation and Segmentation with Objects and Attributes
我们建议使用非参数贝叶斯模型从Flickr等媒体共享网站上丰富的弱标记图像中学习来模拟复杂的视觉场景。鉴于对象和属性的弱图像级注释没有位置或它们之间的关联，我们的模型旨在学习对象和属性类的外观以及它们在每个对象实例上的关联。一旦学习，给定一个图像，我们的模型可以被部署来以联合和连贯的方式解决许多视觉问题，包括识别场景中的对象（自动对象注释），使用它们的属性描述对象（属性预测和关联），以及定位和描绘对象（目标检测和语义分割）。这是通过开发一种新的弱监督马尔可夫随机场堆叠印度自助餐过程（WS-MRF-SIBP）来实现的，该过程将对象和属性建模为潜在因素，并明确捕获它们在超像素内和超像素之间的相关性。在基准数据集上的大量实验表明，我们的弱监督模型显着优于弱监督的替代品，并经常与现有的强监督模型的各种任务，包括语义分割，自动图像标注和检索的基础上的对象-属性关联。
2017-08-08 cs.CV
SGPDFuse: Semantically-Guided Physics-Disentanglement General Multi-Modal Image Fusion
Dalian University of Technology（大连理工大学）；City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）
本文提出SGPDFuse模型，通过语义-物理参数桥解耦场景属性与环境干扰，结合语义对齐机制实现多模态图像融合，在三类基准测试中达到最先进性能。
2026-09-01 cs.CV
Deep Hough Transform for Semantic Line Detection
Nankai University（南开大学）
我们专注于检测有意义的线结构的基本任务，又名语义线，在自然场景中。许多以前的方法把这个问题看作是目标检测的一种特殊情况，并调整现有的目标检测器进行语义线检测。然而，这些方法忽略了线路的固有特性，导致次优性能。直线的几何性质比复杂的物体简单得多，因此可以用几个参数来进行参数化。为了更好地利用线条的特性，本文将经典的Hough变换技术融入到深度学习的表示中，并提出了一个用于线条检测的一次性端到端学习框架。通过用斜率和偏差参数化线条，我们执行Hough变换将深度表示转换到参数域，在该参数域中我们执行线条检测。具体来说，我们沿着特征映射平面上的候选线聚集特征，然后将聚集的特征分配到参数域中的相应位置。因此，在空间域中检测语义线的问题被转换为在参数域中发现各个点，使得后处理步骤，即非最大抑制，更有效。此外，我们的方法可以很容易地提取上下文线特征，例如沿着靠近特定线的线的特征，这对于准确的线检测至关重要。除了所提出的方法，我们设计了一个评估指标来评估线检测的质量，并构建了一个大规模的数据集的线检测任务。在我们提出的数据集和另一个公共数据集上的实验结果表明，我们的方法比以前的最先进的替代品的优势。
2021-05-01 cs.CV
