LRM-Zero: Training Large Reconstruction Models with Synthesized Data
Stony Brook University(石溪大学);Adobe Research(奥多比研究院);Kiel University(基尔大学)
本研究提出完全基于合成3D数据集Zeroverse训练的大型重建模型LRM-Zero,无需真实物体语义即可实现高质量稀疏视角3D重建,性能与使用真实数据训练的模型相当。
2024-11-01 cs.CV cs.LG
FloraForge: LLM-Assisted Procedural Generation of Editable and Analysis-Ready 3D Plant Geometric Models For Agricultural Applications
Iowa State University(爱荷华州立大学);Purdue University(普渡大学)
FloraForge利用大语言模型辅助生成可编辑且适用于分析的3D植物几何模型,结合参数化表示与生物约束,实现农业应用中的高效建模与分析。
2025-12-11 cs.AI cs.CV
End-to-End Multi-View Structure-from-Motion with Hypercorrelation Volumes
Concordia University(康考迪亚大学)
基于图像的三维重建是计算机视觉中最重要的任务之一,在过去的几十年中提出了许多解决方案。目标是直接从图像中提取度量信息,即场景对象的几何形状。然后,这些可以用于广泛的应用,如电影,游戏,虚拟现实等,最近,深度学习技术已被提出来解决这个问题。它们依赖于对大量数据的训练来学习通过深度卷积神经网络将图像之间的特征关联起来,并且已经被证明优于传统的程序技术。在本文中,我们改进了[11]的最先进的两视图运动恢复结构(SfM)方法,通过合并4D相关体积来进行更准确的特征匹配和重建。此外,我们将其扩展到一般的多视图情况下,并在复杂的基准数据集DTU [4]上进行评估。定量评价和比较与国家的最先进的多视图三维重建方法证明其优越性方面的重建的准确性。
2022-09-14 cs.CV
MonoNeuralFusion: Online Monocular Neural 3D Reconstruction with Geometric Priors
BNRist(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Beijing Normal University(北京师范大学);City University of Hong Kong(香港城市大学);Tencent PCG(腾讯平台与内容事业群)
从单目视频中进行高保真3D场景重建仍然具有挑战性,特别是对于完整和细粒度的几何重建。以往的三维重建方法与神经隐式表示已显示出良好的能力,完整的场景重建,但他们的结果往往是过于光滑,缺乏足够的几何细节。本文介绍了一种新的神经隐式场景表示与体渲染高保真在线三维场景重建从单目视频。对于细粒度重建,我们的关键洞察力是将几何先验知识纳入神经隐式场景表示和神经体渲染,从而导致一个有效的几何学习机制的基础上体渲染优化。受益于此,我们提出了MonoNeuralFusion来执行单目视频的在线神经3D重建,通过该方法,在实时3D单目扫描过程中有效地生成和优化3D场景几何形状。与最先进的方法进行的广泛比较表明,我们的MonoNeuralFusion在定量和定性方面始终生成更好的完整和细粒度重建结果。
2022-09-30 cs.CV
NeurAR: Neural Uncertainty for Autonomous 3D Reconstruction with Implicit Neural Representations
Zhejiang University(浙江大学);NetEase Inc.(网易公司);National University of Singapore(新加坡国立大学)
隐式神经表征在离线3D重建中显示出令人信服的结果,最近也展示了在线SLAM系统的潜力。然而,将它们应用于自主3D重建,其中需要机器人探索场景并规划用于重建的视图路径,尚未研究。在本文中,我们首次探索了使用隐式神经表示进行自主3D场景重建的可能性,解决了两个关键挑战:1)寻求一个标准来衡量候选视点的质量,以基于新的表示进行视图规划,以及2)从可以推广到不同场景的数据中学习该标准,而不是手工制作。为了解决这些问题,首先提出了一种峰值信噪比(PSNR)的代理来量化视点质量;其次,该代理与场景的隐式神经网络参数联合优化。利用所提出的来自神经网络的视图质量标准(称为神经不确定性),我们可以将隐式表示应用于自主3D重建。我们的方法表明显着改善各种指标的渲染图像质量和重建的3D模型的几何质量相比,使用TSDF或重建没有视图规划的变体。项目网页https://kingteeloki-ran.github.io/NeurAR/
2023-02-08 cs.CV
MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction
University of Tübingen(图宾根大学);ETH Zurich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Czech Technical University in Prague(布拉格捷克理工大学)
近年来,神经隐式曲面重建方法已成为多视图三维重建的热门。与传统的多视图立体视觉方法相比,由于神经网络的归纳平滑偏差,这些方法倾向于产生更平滑和更完整的重建。最先进的神经隐式方法允许从许多输入视图对简单场景进行高质量的重建。然而,对于更大和更复杂的场景以及从稀疏视点捕获的场景,它们的性能显著下降。这主要是由RGB重建损失中的固有模糊性引起的,其没有提供足够的约束,特别是在较少观察和无纹理的区域中。受单眼几何预测领域的最新进展的启发,我们系统地探索了这些线索为改善神经隐式表面重建提供的效用。我们表明,深度和正常的线索,预测的通用单目估计,显着提高重建质量和优化时间。此外,我们分析和研究多种设计选择,代表神经隐式表面,从单片MLP模型单网格多分辨率网格表示。我们观察到,几何单目先验提高性能的小规模的单对象以及大规模的多对象场景,独立的选择表示。
2022-10-12 cs.CV
BNV-Fusion: Dense 3D Reconstruction using Bi-level Neural Volume Fusion
University of Oxford(牛津大学);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院)
从深度图像流进行密集3D重建是许多混合现实和机器人应用的关键。尽管基于截断符号距离函数(TSDF)融合的方法多年来已经推进了该领域,但是TSDF体积表示面临着在对噪声测量的鲁棒性和保持细节水平之间取得平衡。我们提出了双层神经体积融合(BNV-Fusion),它利用神经隐式表示和神经渲染方面的最新进展进行密集3D重建。为了将新的深度图逐步集成到全局神经隐式表示中,我们提出了一种新的双层融合策略,该策略通过设计考虑了效率和重建质量。我们在多个数据集上对所提出的方法进行了定量和定性评估,证明了对现有方法的显着改进。
2022-04-03 cs.CV
Procedural Generation of 3D Maize Plant Architecture from LIDAR Data
Department of Mechanical Engineering, Iowa State University(机械工程系,爱荷华州立大学);Department of Agronomy, Iowa State University(农业系,爱荷华州立大学);Translational AI Center, Iowa State University(转化人工智能中心,爱荷华州立大学);Plant Science Institute, Iowa State University(植物科学研究所,爱荷华州立大学)
本研究提出一种结合PSO与可微NURBS的分层优化框架,从LiDAR点云数据精确重建3D玉米植株模型,为可扩展的田间表型分析提供开源工具。
2025-01-21 cs.CV cs.LG
NC-SDF: Enhancing Indoor Scene Reconstruction Using Neural SDFs with View-Dependent Normal Compensation
Zhejiang University(浙江大学);Amap(高德地图);Alibaba(阿里巴巴)
NC-SDF 针对单目几何先验多视图不一致问题,提出视角相关法线补偿、信息量像素采样和混合几何建模,有效提升室内场景神经隐式重建的全局一致性与局部细节,并在实验中优于现有方法。
2024-05-01 cs.CV
DynamicSurf: Dynamic Neural RGB-D Surface Reconstruction with an Optimizable Feature Grid
University College London(伦敦大学学院)
DynamicSurf提出一种无模型神经隐式表面重建方法,利用可优化特征网格和深度、法线、RGB损失,从单目RGB-D视频重建非刚性表面,实现6倍加速并达到最先进精度。
2023-11-14 cs.CV
OmniNeRF: Hybriding Omnidirectional Distance and Radiance fields for Neural Surface Reconstruction
The University of Sydney(悉尼大学);Massachusetts Institute of Technology(麻省理工学院);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Beijing Institute of Technology(北京理工大学);The University of New South Wales(新南威尔士大学)
基于图像的三维重建在虚拟现实和自动驾驶等精度要求较高的领域有着广泛的应用。利用多层感知技术对神经辐射场(NeRF)进行的突破性研究极大地提高了3D对象的表示质量。后来的一些研究通过建立截断符号距离场(TSDF)来改进NeRF,但在3D重建中仍然存在表面模糊的问题。在这项工作中,这种表面的模糊性,提出了一种新的方式的三维形状表示,OmniNeRF。该方法通过训练一个由全向距离场(ODF)和神经辐射场组成的混合隐场,用全向信息代替NeRF中的视密度。此外,我们在深度图上引入额外的监督,以进一步提高重建质量。该方法已被证明可以有效地处理NeRF缺陷在边缘的表面重建,提供更高质量的三维场景重建结果。
2022-09-27 cs.CV
SuperNormal: Neural Surface Reconstruction via Multi-View Normal Integration
CyberAgent(赛博艾坚特)
本文提出 SuperNormal,利用法线图、体渲染、多分辨率哈希编码 SDF 及高效梯度近似,在数分钟内实现高精度多视图三维重建。
2023-12-08 cs.CV
Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in Robotic Surgery
The Chinese University of Hong Kong(香港中文大学)
从内窥镜立体视频中重建机器人手术中的软组织对于许多应用例如术中导航和图像引导的机器人手术自动化是重要的。以前的工作主要依赖于基于SLAM的方法,难以处理复杂的手术场景。受神经渲染最新进展的启发,我们提出了一种新的框架,机器人手术中的单视点设置下的双目捕获的变形组织重建。我们的框架采用动态神经辐射场来表示MLP中的可变形手术场景,并以基于学习的方式优化形状和变形。除了非刚性变形之外,工具遮挡和来自单个视点的不良3D线索也是软组织重建中的特定挑战。为了克服这些困难,我们提出了一系列的策略,工具掩模引导光线投射,立体深度线索光线行进和立体深度监督优化。通过对达芬奇机器人手术视频的实验,我们的方法在处理各种复杂的非刚性变形方面明显优于当前最先进的重建方法。据我们所知,这是第一项利用神经渲染进行手术场景三维重建的工作,具有显着的潜力。代码可在:https://github.com/med-air/EndoNeRF.
2022-06-30 cs.CV
DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields
Stanford University(斯坦福大学);National Taiwan University(国立台湾大学)
神经辐射场(NeRFs)已经证明了3D计算机视觉任务的最新性能,包括新颖的视图合成和3D形状重建。然而,这些方法在不利的天气条件下失败。为了应对这一挑战,我们引入DehazeNeRF作为一个在朦胧条件下稳健运行的框架。DehazeNeRF扩展了体渲染方程,增加了模拟大气散射的物理现实条件。通过使用与物理特性相匹配的合适网络对这些术语进行参数化,我们引入了有效的归纳偏差,这些偏差与提出的正则化一起,使DehazeNeRF能够成功地展示多视图雾消除,新颖的视图合成和现有方法失败的3D形状重建。
2023-03-20 cs.CV
Template Free Reconstruction of Human-object Interaction with Procedural Interaction Generation
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
针对人-物交互3D重建受限于真实数据和对象模板的问题,本文提出ProciGen程序化生成百万级交互数据集,并训练无模板的图像条件HDM,显著提升对未见对象的泛化与重建精度。
2024-04-06 cs.CV
Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape Reconstruction from Point Clouds
Ludwig-Maximilians-Universität in Munich(慕尼黑大学);Technical University of Munich(慕尼黑工业大学)
本文提出神经泊松曲面重建(nPSR),利用傅里叶神经算子求解泊松方程,实现分辨率无关、可微且对采样率鲁棒的高质量三维形状重建。
2023-11-28 cs.CV math.AP
An Exploration of Neural Radiance Field Scene Reconstruction: Synthetic, Real-world and Dynamic Scenes
该项目提出了一个探索到3D场景重建的合成和现实世界的场景使用神经辐射场(NeRF)的方法。我们主要利用神经图形基元多分辨率哈希编码在训练和渲染时间上的减少,对静态视频游戏场景和真实世界场景进行重建,比较和观察重建细节和局限性。此外,我们探索动态场景重建使用神经辐射场的动态场景(D-NeRF)。最后,我们扩展了D-NeRF的实现,最初仅限于处理合成场景,也可以处理真实世界的动态场景。
2022-10-21 cs.AI cs.CV
Neural Stochastic Screened Poisson Reconstruction
University of Toronto(多伦多大学);Adobe Research(奥多比研究院)
本文提出一种神经随机屏蔽泊松重建方法,利用神经网络在泊松平滑先验下量化点云表面重建的不确定性,并集成到三维扫描流程中,用于指导下一最佳传感器位置选择与重建更新。
2023-09-21 cs.CV cs.GR
A Comparative Study of Neural Surface Reconstruction for Scientific Visualization
University of Notre Dame(圣母大学);Wuhan University(武汉大学)
本研究比较了十种神经表面重建方法在科学可视化中的应用,发现NeuS2适合重建闭合表面,NeUDF在重建开放表面方面具潜力,并共享了基准数据集以推动该领域发展。
2024-07-30 cs.CV cs.GR
NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction
The University of Hong Kong(香港大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Texas A&M University(德州农工大学)
我们提出了一种新的神经表面重建方法,称为NeuS,用于从2D图像输入重建高保真的对象和场景。现有的神经表面重建方法,如DVR和IDR,需要前景掩模作为监督,容易陷入局部极小值,因此难以重建具有严重自遮挡或薄结构的对象。与此同时,最近的神经方法,如NeRF及其变种,新的视图合成,使用体渲染,以产生一个神经场景表示与鲁棒性的优化,即使是高度复杂的对象。然而,从这个学习的隐式表示中提取高质量的曲面是困难的,因为在表示中没有足够的曲面约束。在NeuS中,我们提出了一个表面表示为零级集的符号距离函数(SDF)和开发一个新的体渲染方法训练神经SDF表示。我们观察到,传统的体渲染方法会导致固有的几何误差(即偏见)的表面重建,因此提出了一种新的配方,是免费的偏见,在一阶近似,从而导致更准确的表面重建,即使没有掩模监督。在DTU数据集和BlendedMVS数据集上的实验表明,NeuS在高质量的表面重建方面优于现有技术,特别是对于具有复杂结构和自遮挡的物体和场景。
2023-02-01 cs.CV cs.GR
Neural 3D Reconstruction in the Wild
Image Derivative Inc.(Image Derivative公司);Zhejiang University(浙江大学);Cornell University(康奈尔大学);Google Research(谷歌研究院)
我们正在目睹计算机视觉和图形学中神经隐式表示的爆炸式增长。它们的适用性最近已经扩展到基于图像的3D重建的基本问题的任务,如形状生成和基于图像的渲染。然而,现有的方法通常假设受约束的3D环境与恒定的照明捕获的一小组大致均匀分布的相机。我们介绍了一种新的方法,使高效和准确的表面重建从互联网上的照片集在不同的照明存在。为了实现这一目标,我们提出了一种混合体素和表面引导采样技术,允许更有效的射线采样周围的表面,并导致显着改善重建质量。此外,我们提出了一个新的基准和协议,用于评估这种在野外场景的重建性能。我们进行了广泛的实验,证明我们的方法超越了各种各样的指标的经典和神经重建方法。
2022-05-25 cs.CV cs.GR
Scalable and High-Quality Neural Implicit Representation for 3D Reconstruction
School of Mathematical Sciences, University of Science and Technology of China(中国科学技术大学数学科学学院);School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院)
针对现有基于SDF的神经隐式曲面重建方法精度不足、规模受限的问题,本文提出融合分治策略的多局部神经SDF表示方法,通过三步构建流程实现高保真可扩展的三维重建,实验验证了其有效性与实用性。
2025-01-15 cs.CV cs.GR
Neural inverse procedural modeling of knitting yarns from images
University of Bonn(波恩大学);KAUST(阿卜杜拉国王科技大学);Delft University of Technology(代尔夫特理工大学)
我们研究了神经逆过程建模的能力,以从所描绘的纱线样品的单个图像中推断具有纤维级细节的高质量过程纱线模型。虽然直接推断所有参数的基础上,一个单一的神经网络的纱线模型似乎是一个直观的选择,我们表明,纱线结构的复杂性方面的扭曲和迁移特性的所涉及的纤维可以更好地遇到在合奏的网络,专注于个人的特点。我们分析了不同的损失函数的影响,包括参数损失,以惩罚推断参数与地面实况注释的偏差,- 重建损失,以强制与训练图像相比针对所估计的参数生成的图像的类似统计,以及附加的正则化项,以显式地惩罚合成图像的潜码与训练图像中的真实图像的平均潜码之间的偏差。编码器的潜在空间。我们证明了精心设计的参数化,程序化纱线模型与各自的网络集成以及损失函数的组合,甚至允许在仅对合成数据进行训练时进行鲁棒的参数推断。由于我们的方法依赖于具有参数注释的纱线数据库的可用性,并且我们不知道这样的相应的可用数据集,因此据我们所知,我们还提供了具有关于相应纱线参数的注释的纱线图像的第一数据集。为此,我们使用了一种新的纱线生成器,提高了现实主义的生产结果比以前的方法。
2023-03-01 cs.CV
Category-level Neural Field for Reconstruction of Partially Observed Objects in Indoor Environment
Seoul National University(首尔大学)
针对室内部分观测物体的三维重建难题,提出按观测形状子类化训练的类别级神经场,并借助基于光线的不确定性选择代表性物体完成配准,提升多个类别未观测部分的重建质量。
2024-06-12 cs.CV cs.RO
Multi-View Mesh Reconstruction with Neural Deferred Shading
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);Queen Mary University of London(伦敦玛丽女王大学);HU Berlin(柏林洪堡大学)
本文提出了一种基于分析合成的方法,用于任意材质和光照条件下不透明物体的快速多视点三维重建。现有技术的方法使用神经表面表示和神经渲染两者。虽然灵活,但神经表面表示是优化运行时的一个重要瓶颈。相反,我们将表面表示为三角形网格,并围绕三角形光栅化和神经着色构建可微分渲染管道。渲染器用于梯度下降优化,其中三角形网格和神经着色器两者被联合优化以再现多视图图像。我们在公共3D重建数据集上评估了我们的方法,并表明它可以匹配传统基线和神经方法的重建精度,同时在优化运行时超过它们。此外,我们研究了着色器,发现它可以学习可解释的外观表示,从而实现3D材质编辑等应用。
2022-12-08 cs.CV cs.GR cs.LG
Acoustic Neural 3D Reconstruction Under Pose Drift
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出了一种联合优化神经场景表示和声纳姿态的算法,以提升在姿态漂移下的声学3D重建精度。
2025-10-28 cs.CV cs.RO eess.SP
Neural Deformation Graphs for Globally-consistent Non-rigid Reconstruction
Technical University of Munich(慕尼黑工业大学);Facebook Reality Labs(Facebook现实实验室)
我们介绍了神经变形图,用于全局一致的变形跟踪和非刚性物体的3D重建。具体而言,我们通过深度神经网络隐式地对变形图进行建模。这种神经变形图不依赖于任何特定于对象的结构,因此,可以应用于一般的非刚性变形跟踪。我们的方法在给定的深度相机对非刚性移动对象的观察序列上全局优化了这个神经图。基于显式视点一致性以及帧间图和表面一致性约束,底层网络以自监督的方式进行训练。此外,我们优化的几何形状的对象与隐式可变形的多MLP形状表示。我们的方法不假设连续的输入数据,从而使快速运动的鲁棒跟踪,甚至暂时断开记录。我们的实验表明,我们的神经变形图在定性和定量上都优于最先进的非刚性重建方法,重建性能提高了64%,变形跟踪性能提高了62%。
2020-12-02 cs.CV cs.GR cs.LG
MoAngelo: Motion-Aware Neural Surface Reconstruction for Dynamic Scenes
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉玛尔机器学习与人工智能研究所)
MoAngelo 将静态重建方法 NeuralAngelo 扩展至动态场景,通过初始帧模板重建与形变场联合优化,实现高细节动态表面重建,并在 ActorsHQ 上取得领先精度。
2025-09-19 cs.AI cs.CV cs.GR
I$^2$-SDF: Intrinsic Indoor Scene Reconstruction and Editing via Raytracing in Neural SDFs
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);Adobe Research(奥多比研究院);Manycore(众核)
在这项工作中,我们提出了I $^2$ -SDF,一种新的方法,用于内在的室内场景重建和编辑,使用可微蒙特卡罗光线跟踪神经符号距离场(SDF)。我们的基于神经SDF的整体框架联合从多视图图像中恢复底层形状,入射辐射和材料。我们引入了一种新的气泡损失的细粒度小对象和错误引导的自适应采样方案,大大提高了重建质量的大规模室内场景。此外,我们建议通过基于表面的,可微的蒙特卡罗光线跟踪和发射器语义分割,这使得基于物理的和真实感的场景重新照明和编辑应用程序的神经辐射场分解成空间变化的材料的场景作为神经场。通过大量的定性和定量实验,我们证明了我们的方法在室内场景重建,新颖的视图合成和场景编辑方面的卓越品质。
2023-03-29 cs.AI cs.CV cs.GR
Monocular Reconstruction of Neural Tactile Fields
Department of Computer Science, University of Maryland, College Park, USA(计算机科学系,马里兰大学,学院 park,美国)
本文提出了一种基于单目RGB图像的神经触觉场重建方法,通过交互感知的3D表示提升机器人路径规划能力,实验显示其在3D重建任务中表现优于现有方法。
2026-02-13 cs.AI cs.CV cs.RO
NeuralSSD: A Neural Solver for Signed Distance Surface Reconstruction
针对现有隐式场参数化难以确保曲面与输入数据紧密拟合的问题,提出基于神经伽辽金法的NeuralSSD方法,通过新型能量方程和卷积网络提升曲面重建精度与泛化性,在ShapeNet等数据集上取得最优结果。
2025-11-18 cs.CV cs.GR cs.LG
Neural Harmonic Textures for High-Quality Primitive Based Neural Reconstruction
NVIDIA(英伟达);Università della Svizzera italiana(瑞士意大利语区大学)
本文提出神经谐波纹理,通过虚拟框架锚定潜在特征向量,实现高效实时视图合成,融合原始体与神经场方法,提升高频细节建模能力。
2026-07-10 cs.AI cs.CV cs.GR
FaçAID: A Transformer Model for Neuro-Symbolic Facade Reconstruction
Warsaw University of Technology(华沙理工大学);IDEAS NCBR;New Jersey Institute of Technology(新泽西理工学院)
本研究提出神经符号Transformer模型FaçAID,通过定制拆分文法及对应数据集训练,实现静态分割立面到可编辑过程化表示的自动转换,提升立面设计灵活性。
2024-09-13 cs.AI cs.CV cs.GR
Infinite Photorealistic Worlds using Procedural Generation
Princeton University(普林斯顿大学)
本文提出Infinigen,一个完全过程化的逼真自然世界3D场景生成器,通过随机数学规则从零生成所有资产,支持无限变化与组合,广泛覆盖自然物体与现象,可为多种计算机视觉任务提供无限多样的训练数据。
2023-06-26 cs.CV
Procedural terrain generation with style transfer
University of Bologna(博洛尼亚大学)
本研究提出一种结合程序化噪声生成与增强神经风格迁移的地形生成技术,以低计算成本生成多样且贴近真实形态的地形,并优于传统程序化方法。
2024-01-28 cs.AI cs.CV
Procedural Modeling and Physically Based Rendering for Synthetic Data Generation in Automotive Applications
Linköping University(林雪平大学);D Labs(7D实验室)
我们提出了一个新的,系统的方法,用于生成高度逼真的,注释的合成数据的训练深度神经网络在计算机视觉任务的概述和评估。主要贡献是一个程序化的世界建模方法,使高可变性加上物理上准确的图像合成,是一个偏离的手建模的虚拟世界和近似的图像合成方法中使用的实时应用。我们的方法的好处包括灵活的,物理上准确和可扩展的图像合成,隐式的广泛覆盖的类和功能,以及完整的数据内省的注释,这一切都有助于质量和成本效益。为了评估我们的方法和所得数据的有效性,我们将自动驾驶汽车和机器人导航的语义分割作为主要应用,并使用合成数据对多个深度学习架构进行训练,并对有机(即真实世界)数据进行微调。评估表明,我们的方法提高了神经网络的性能,即使是适度的实施努力产生国家的最先进的结果。
2017-10-18 cs.CV
Procedural Synthesis of Remote Sensing Images for Robust Change Detection with Neural Networks
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
当训练数据丰富时,已知诸如卷积神经网络(CNN)的数据驱动方法在图像识别任务上提供最先进的性能。然而,在某些情况下,如遥感图像中的变化检测,无法获得足够数量的注释数据。在这项工作中,我们提出了一个简单而有效的方法来创建现实的有针对性的合成数据集在遥感领域,利用游戏开发引擎提供的机会。我们提供了一个程序的几何生成和渲染的管道的描述,以及在变化检测方案中的生产数据集的效率的评估。我们的评估表明,当真实世界的数据量严重受限时,我们的管道有助于提高深度学习模型的性能和收敛性。
2019-05-20 cs.CV cs.LG eess.IV
Task Graph Maximum Likelihood Estimation for Procedural Activity Understanding in Egocentric Videos
University of Catania(卡塔尼亚大学)
提出基于梯度的任务图最大似然学习方法,直接优化边权重,在多个基准上显著提升F1分数,并改进在线错误检测。
2025-02-26 cs.CV
On Procedural Adversarial Noise Attack And Defense
Tongji University(同济大学)
深度神经网络(DNN)容易受到对抗性示例的影响,这些示例会诱使神经网络在输入图像上产生小扰动的预测错误。普遍对抗扰动(universal adversarial perturbations,UAPs)是一种无梯度的、对数据分布先验知识不多的扰动,研究者们一直致力于推动UAPs的研究。过程对抗噪声攻击是一种无数据的通用扰动生成方法。本文提出了两种基于过程噪声函数的通用对抗扰动生成方法:单纯形噪声和Worley噪声。在我们的框架中,阴影干扰视觉分类是由渲染技术产生的。在不改变语义表示的情况下,通过我们的方法生成的对抗性示例在攻击上表现出优越的性能。
2021-08-27 cs.AI cs.CR cs.CV
Importance of realism in procedurally-generated synthetic images for deep learning: case studies in maize and canola
University of Saskatchewan(萨斯喀彻温大学);University of Calgary(卡尔加里大学)
针对作物表型分析训练数据获取成本高的问题,研究通过调整玉米、油菜训练中真实与L-系统生成的合成图像占比,验证了合成图像真实感提升可显著改善预测效果,且神经网络预测可反哺L-系统校准形成反馈循环。
2024-05-15 cs.CV cs.LG
FlowExtract: Procedural Knowledge Extraction from Maintenance Flowcharts
University of Groningen(格罗宁根大学);Philips Consumer Lifestyle B.V.(飞利浦消费生活方式有限公司)
本文提出FlowExtract,通过分离元素检测与连接性重建,利用YOLOv8和EasyOCR提取标准流程图节点,结合新边检测方法实现高精度连接提取,优于视觉语言模型基线,为可查询的过程知识表示提供实用路径。
2026-08-25 cs.AI cs.CV
Differentiable Task Graph Learning: Procedural Activity Representation and Online Mistake Detection from Egocentric Videos
University of Catania(卡塔尼亚大学)
本文提出可微任务图学习框架,通过边权重最大似然优化实现梯度学习,提升任务图预测与第一人称视频在线错误检测性能。
2025-01-09 cs.CV
Generating 3D models from sketches of human faces using a combined approach of Convolutional Neural Networks, Procedural Modeling, and Contour Mapping
Behaviour Digital
提出一种结合卷积神经网络、参数化3D人脸模型和主动蛇形轮廓的新方法,首次通过训练CNN检测素描中的表情并生成对应3D模型。
2026-05-25 cs.CV cs.GR cs.LG
Procedural Kernel Networks
Google Research(谷歌研究院)
在过去的十年中,卷积神经网络(CNN)已经定义了许多低级图像处理和恢复任务(如去噪、去马赛克、放大或修复)的技术状态。然而,设备上的移动摄影仍然由传统的图像处理技术主导,并且主要使用简单的机器学习技术或将神经网络处理限制为产生低分辨率掩模。CNN的高计算和存储器要求,有限的处理能力和移动设备的热约束,加上大的输出图像分辨率(通常为8- 12 MPix),阻止了它们更广泛的应用。在这项工作中,我们介绍了过程核网络(PKN),一个家庭的机器学习模型,生成图像滤波器内核或其他传统算法的参数。轻量级的CNN以较低的分辨率处理输入图像,与其他基于内核的机器学习方法相比,这产生了显着的加速,并允许新的应用。该架构是端到端学习的,特别适合于各种低级图像处理任务,它提高了许多传统算法的性能。我们还描述了这个框架如何统一一些以前的工作,应用机器学习常见的图像复原任务。
2021-12-17 cs.CV cs.LG eess.IV
Action Dynamics Task Graphs for Learning Plannable Representations of Procedural Tasks
Reality Labs Research, Meta(Meta现实实验室研究部)
鉴于视频演示和配对的叙述,在家里的程序性任务,如更换轮胎,我们提出了一种方法来提取底层的任务结构-相关的动作和它们的时间依赖性-通过以动作为中心的任务图。从我们的方法中学习到的结构化表示,动作动态任务图(ADTG),然后可以用于理解人类执行这些任务的看不见的视频。此外,ADTG可以在这些任务中为人类提供以用户为中心的指导,以便更好地执行这些任务或学习新任务。具体来说,我们展示了ADTG如何用于:(1)跟踪正在进行的任务,(2)建议下一步行动,(3)计划一系列行动来完成程序任务。我们与最先进的神经任务图方法进行了比较,并在CrossTask数据集的18个程序任务上取得了实质性的进步,包括任务跟踪准确性提高了30.1%,下一个动作预测的准确性提高了20.3%。
2023-01-11 cs.AI cs.CV cs.LG
Procedural Image Programs for Representation Learning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);JPMorgan Chase Bank, N.A.(摩根大通银行);Xyla, Inc(Xyla公司);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
针对现有合成图像表征学习的生成流程难扩展问题,提出用含21000个可通过OpenGL快速执行的短代码程序的数据集训练,可用于有监督和无监督表征学习,缩小与真实图像预训练差距38%。
2023-11-07 cs.CV cs.LG
MultiMat: Multimodal Program Synthesis for Procedural Materials using Large Multimodal Models
University of Mannheim(曼海姆大学);Adobe Research(Adobe研究)
MultiMat利用大规模多模态模型实现多模态程序合成,提升生成过程材料图的效率与视觉质量,优于纯文本基线方法。
2026-05-13 cs.CL cs.CV
$μ$NCA: Texture Generation with Ultra-Compact Neural Cellular Automata
Google Research(谷歌研究院)
我们研究的问题,基于实例的程序纹理合成使用高度紧凑的模型。给定一个样本图像,我们使用可微编程训练的生成过程,参数化的递归神经细胞自动机(NCA)规则。相反的共同信念,神经网络应显着过度参数化,我们证明了我们的模型架构和训练过程允许使用仅几百个学习参数表示复杂的纹理图案,使其表现力与手工设计的程序纹理生成程序。申报的$μ$ NCA系列的最小模型缩小至68个参数。当使用量化到每个参数一个字节时,所提出的模型可以缩小到588和68字节之间的大小范围。使用这些参数来生成图像的纹理生成器的实现只需要几行GLSL或C代码就可以实现。
2021-11-26 cs.AI cs.CV cs.GR
BundleRecon: Ray Bundle-Based 3D Neural Reconstruction
Zhejiang University(浙江大学)
针对现有神经隐式多视图重建未充分利用相邻像素信息的问题,提出BundleRecon模型,采用光线束采样像素块并设计束约束,兼容现有方法并提升重建质量。
2023-05-12 cs.CV
Neuralangelo: High-Fidelity Neural Surface Reconstruction
NVIDIA Research(英伟达研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
针对现有神经表面重建方法难以还原真实场景细节的问题,提出结合多分辨率3D哈希网格与神经表面渲染的Neuralangelo方法,通过数值梯度平滑与由粗到细优化,实现了从RGB多视图/视频中更高保真的大规模密集3D表面重建。
2023-06-12 cs.CV
Spatially-Adaptive Hash Encodings For Neural Surface Reconstruction
University Of Edinburgh(爱丁堡大学)
针对神经表面重建中固定多分辨率哈希编码难以适配不同场景的问题,提出按空间掩蔽各分辨率特征贡献的可学习自适应编码,在两个基准数据集上达到最先进性能。
2024-12-06 cs.CV
SC-NeuS: Consistent Neural Surface Reconstruction from Sparse and Noisy Views
Beijing Normal University(北京师范大学);Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
本文提出 SC-NeuS,通过可微表面上相交与视图一致性损失联合优化神经表面和含噪相机位姿,在稀疏视图下实现更一致、细节更精细的重建。
2023-07-12 cs.CV
An Efficient End-to-End 3D Voxel Reconstruction based on Neural Architecture Search
Donghua University(东华大学);The University of Manchester(曼彻斯特大学);Tongji University(同济大学)
使用神经网络来表示3D对象已经变得流行。然而,许多以前的工作采用具有固定结构和大小的神经网络来表示不同的3D对象,这导致对于简单对象过多的网络参数和有限的重建精度复杂的对象。对于每个3D模型,期望具有具有尽可能少的参数的端到端神经网络以实现高保真度重建。在本文中,我们提出了一种有效的体素重建方法,利用神经结构搜索(NAS)和二进制分类。以网络的层数、每层的节点数、每层的激活函数为搜索空间,基于强化学习技术可以得到特定的网络架构。此外,为了摆脱传统的表面重建算法(例如,marching cube),我们通过对二进制体素进行分类来完成端到端网络。与其他符号距离场(SDF)预测或二进制分类网络相比,我们的方法使用更少的网络参数实现了更高的重建精度。
2022-08-04 cs.CV
Recovering Fine Details for Neural Implicit Surface Reconstruction
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);HU Berlin(柏林洪堡大学)
最近的工作内隐神经表征取得了重大进展。使用体渲染学习隐式神经表面在无3D监督的多视图重建中得到了普及。然而,由于几何和外观表示的潜在模糊性,精确地恢复精细细节仍然是具有挑战性的。在本文中,我们提出了D-NeuS,一个体渲染基神经隐式表面重建方法能够恢复精细的几何细节,扩展NeuS的两个额外的损失函数,以提高重建质量。首先,我们鼓励从阿尔法合成渲染的表面点有符号的距离值为零,减轻几何偏差所产生的转换SDF的密度体渲染。其次,我们施加多视图功能的一致性的表面上的点,通过插值SDF零交叉从采样点沿射线。大量的定量和定性结果表明,我们的方法重建高精度的表面细节,并优于最先进的。
2022-11-21 cs.CV