$α$Surf: Implicit Surface Reconstruction for Semi-Transparent and Thin Objects with Decoupled Geometry and Opacity
University of Cambridge(剑桥大学);Unity(Unity公司);Imperial College London(伦敦帝国学院);Google Research(谷歌研究院)
提出$α$Surf,一种解耦几何与不透明度的隐式表面表示,通过解析求解射线-表面交点,实现半透明和薄物体的高质量重建,优于现有SDF和NeRF方法。
2024-11-08 cs.CV
Augmented Radiance Field: A General Framework for Enhanced Gaussian Splatting
VCC, CSSE, Shenzhen University(深圳大学视觉计算中心、计算机科学与工程系);Tencent Games(腾讯游戏)
本文提出增强辐射场框架,通过视图依赖的不透明度建模镜面效应,提升3D高斯散射的渲染性能和参数效率。
2026-02-23 cs.CV cs.GR
Dynamic Neural Radiance Field From Defocused Monocular Video
Huazhong University of Science and Technology(华中科技大学);Nanyang Technological University(南洋理工大学)
本文提出D2RF,通过分层景深体渲染和优化的光线级模糊核,首次实现从散焦单目视频中恢复清晰动态新视角,并在自建数据集上验证了其在全聚焦合成和时空一致性方面的优越性。
2024-07-31 cs.CV
HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis
HyRF通过结合显式高斯与网格神经场,并采用解耦神经场架构和混合渲染方案,在保持实时性能的同时将模型大小减少20倍以上,实现高质量新视角合成。
2025-09-23 cs.CV
Gaussian Splatting with NeRF-based Color and Opacity
Jagiellonian University(雅盖隆大学);University of Cambridge(剑桥大学)
针对 GS 条件化困难而 NeRF 训练推理较慢的问题,本文提出混合模型 VDGS,用 GS 表示形状、NeRF 编码视角相关颜色与不透明度,以更好呈现阴影、反射和透明效果。
2024-06-12 cs.CV
NeurMiPs: Neural Mixture of Planar Experts for View Synthesis
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院)
我们提出了神经混合平面专家(NeurMiPs),一种新的基于平面的场景表示建模几何和外观。NeurMiPs利用3D空间中的本地平面专家的集合作为场景表示。每个平面专家由表示几何形状的局部矩形形状的参数和对颜色和不透明度建模的神经辐射场组成。我们通过计算光线平面相交和复合输出颜色和密度在图像的顶点渲染新的视图。NeurMiPs融合了显式网格渲染的效率和神经辐射场的灵活性。实验表明,我们所提出的方法优越的性能和速度相比,在新的视图合成的其他3D表示。
2022-04-28 cs.CV
Multiview Geometric Regularization of Gaussian Splatting for Accurate Radiance Fields
POSTECH, South Korea(POSTECH, 韩国)
针对现有高斯泼溅方法在跨视角颜色变化大的场景中几何重建效果差的问题,提出融合MVS深度等约束的多视图几何正则化策略,结合二者互补优势,同时提升室内外场景的几何精度与渲染质量。
2025-06-16 cs.CV
RouteBridge: Reliability-Routed Bidirectional Distillation Between Neural Radiance Fields and 3D Gaussian Splatting
University of Technology Sydney(悉尼科技大学)
RouteBridge提出按光线自适应选择NeRF与3DGS间蒸馏方向的双向框架,结合光度与几何证据路由监督,在mip-NeRF 360和DTU上显著提升重建质量。
2026-09-10 cs.AI cs.CV
GO-NeRF: Generating Objects in Neural Radiance Fields for Virtual Reality Content Creation
The University of Hong Kong(香港大学);Google(谷歌)
GO-NeRF提出一种在NeRF场景中根据文本提示和用户区域生成并集成3D物体的流程,通过组合渲染和定制优化提升场景和谐度与新视角质量。
2024-09-20 cs.CV
A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院)
本研究提出首个将刚性虚拟物体插入NeRF的实时方法,通过结合NeRF近场光与环境光估计光照、利用透明度图处理遮挡、借助预计算球形有符号距离场生成阴影,实现高保真实时插入与交互,有望应用于增强现实系统。
2023-10-09 cs.CV cs.GR
X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views
Shanghai Jiao Tong University(上海交通大学)
神经辐射场(NeRFs)尽管在新颖视图合成上具有出色的性能,但通常需要密集的输入视图。许多文献对每个场景分别训练一个模型,很少有人探讨如何将多模态数据融合到这个问题中。在本文中,我们关注一个很少讨论但很重要的设置:我们能否训练一个模型,它可以表示多个场景,360 $^\circ $视图和RGB-D图像不足?我们将不充分的视图引用到极少数非常稀疏且几乎不重叠的视图。为了解决这个问题,提出了一种完全显式的方法X-NeRF,该方法学习一般的场景完成过程,而不是基于坐标的映射。给定一些不足的RGB-D输入视图,X-NeRF首先将其转换为稀疏点云张量,然后应用3D稀疏生成卷积神经网络(CNN)将其完成显式辐射场,其体积渲染可以快速进行,而无需在推理期间运行网络。为了避免过拟合,除了常见的渲染损失,我们应用感知损失以及通过点云上的随机旋转视图增强。所提出的方法显着优于以前的隐式方法在我们的设置,表明所提出的问题和方法的巨大潜力。代码和数据可在https://github.com/HaoyiZhu/XNeRF上获得。
2022-10-11 cs.CV
Semantic-aware Occlusion Filtering Neural Radiance Fields in the Wild
Korea University(高丽大学)
我们提出了一个学习框架,用于从少量无约束的旅游照片中重建神经场景表示。由于每个图像都包含瞬态遮挡物,因此分解静态和瞬态分量对于利用现有方法需要大量训练数据的野外照片构建辐射场是必要的。我们引入SF-NeRF,旨在通过仅给出几张图像来解开这两个组件,它在没有任何监督的情况下利用语义信息。所提出的方法包含一个遮挡过滤模块,预测每个像素的瞬态颜色及其不透明度,这使得NeRF模型能够单独学习静态场景表示。该过滤模块学习由可训练图像编码器获得的逐像素语义特征引导的瞬态现象,该可训练图像编码器可以在多个场景中训练以学习瞬态对象的先验。此外,我们提出了两种技术,以防止二义性的分解和噪声的过滤模块的结果。我们证明,我们的方法优于国家的最先进的新的视图合成方法的Phototourism数据集在一个Few-Shot设置。
2023-03-05 cs.AI cs.CV cs.GR
Low-Cost Neural Radiance Fields
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文比较了三种加速NeRF变体,探讨了低计算、低数据场景下的扩展。通过添加深度监督损失、分析特征解码MLP和提出HashNeRF的四种架构变体,研究了PSNR与训练时间的权衡。
2026-05-10 cs.CV
AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training
University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Research(谷歌研究院);The Chinese University of Hong Kong(香港中文大学)
神经辐射场(NeRF)是用于将3D场景建模为连续函数的强大表示。虽然NeRF能够渲染具有视图依赖效果的复杂3D场景,但很少有人致力于探索其在高分辨率设置中的限制。具体而言,现有的基于NeRF的方法在重建高分辨率真实场景时面临几个限制,包括非常大量的参数、未对齐的输入数据和过度平滑的细节。在这项工作中,我们进行了第一次使用高分辨率数据训练NeRF的试点研究,并提出了相应的解决方案:1)将多层感知器(MLP)与卷积层结合起来,可以在减少参数总数的同时编码更多的邻域信息; 2)一种新的训练策略,以解决由移动物体或小相机校准误差引起的未对准问题;以及3)高频感知损失。我们的方法几乎是免费的,没有引入明显的训练/测试成本,而不同数据集上的实验表明,与当前最先进的NeRF模型相比,它可以恢复更多的高频细节。项目页面:\url{https://yifanjiang.net/alignerf.}
2022-11-17 cs.CV
Benchmarking Robustness in Neural Radiance Fields
Tsinghua University(清华大学);Johns Hopkins University(约翰斯·霍普金斯大学);UC Santa Cruz(加州大学圣克鲁兹分校)
神经辐射场(NeRF)在新颖的视图合成中表现出优异的质量,这要归功于其以简洁的公式对3D对象几何形状建模的能力。然而,目前基于NeRF模型的方法依赖于具有准确相机校准的干净图像,这在现实世界中很难获得,其中数据经常受到损坏和失真的影响。在这项工作中,我们提供了第一个全面的分析的鲁棒性的NeRF为基础的新的视图合成算法中存在的不同类型的腐败。我们发现,基于NeRF的模型在存在损坏的情况下会显着退化,并且比图像识别模型对不同的损坏更敏感。此外,我们分析的鲁棒性的特征编码器在一般化的方法,合成图像使用通过卷积神经网络或变压器提取的神经特征,并发现它只有助于边际鲁棒性。最后,我们发现,标准的数据增强技术,可以显着提高识别模型的鲁棒性,没有帮助的NeRF为基础的模型的鲁棒性。我们希望我们的研究结果将吸引更多的研究人员研究基于NeRF的方法的鲁棒性,并有助于提高它们在现实世界中的性能。
2023-01-10 cs.CV
Improving Robustness for Joint Optimization of Camera Poses and Decomposed Low-Rank Tensorial Radiance Fields
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文针对相机位姿与场景几何联合优化易陷入次优解的问题,提出基于分解低秩张量辐射场和卷积高斯滤波的由粗到细联合优化框架,并辅以多种鲁棒性技术,实现高精度新视角合成与快速收敛。
2024-02-20 cs.CV
Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations
Samsung AI Centre Toronto(三星AI多伦多中心);University of Toronto(多伦多大学);York University(约克大学);Vector Institute for AI(向量人工智能研究所)
本文提出将自编码器与NeRF结合,在潜空间渲染特征并卷积解码,以提升渲染速度并校正视觉伪影,同时通过缩小AE架构实现效率与质量的灵活权衡。
2023-10-27 cs.CV
Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经辐射场(NeRF)通过在地面实况监督下差分渲染多视图图像来回归神经参数化场景。然而,当插值新的视图时,NeRF通常会产生不一致和视觉上不平滑的几何结果,我们认为这是可见和不可见视图之间的泛化差距。卷积神经网络的最新进展已经证明了先进的鲁棒数据增强(随机的或学习的)在增强分布内和分布外泛化方面的前景。受此启发,我们提出了增强NeRF(Aug-NeRF),它首次将强大的数据增强的力量引入到NeRF训练中。特别是,我们的建议学会了将最坏情况的扰动无缝地混合到NeRF管道的三个不同级别中,这些级别具有物理基础,包括(1)输入坐标,以模拟图像捕获时的不精确相机参数;(2)中间特征,以平滑内在特征流形;以及(3)预渲染输出,以考虑多视图图像监督中的潜在退化因素。大量的结果表明,Aug-NeRF有效地提高了NeRF在新视图合成(高达1.5dB PSNR增益)和底层几何重建方面的性能。此外,由于三层增强注入的隐式平滑先验,Aug-NeRF甚至可以从严重损坏的图像中恢复场景,这是一个非常具有挑战性的设置。我们的代码可在https://github.com/VITA-Group/Aug-NeRF上找到。
2022-07-04 cs.CV
SNeRL: Semantic-aware Neural Radiance Fields for Reinforcement Learning
Seoul National University(首尔国立大学);ASRI(自动化与系统研究所);AIIS(人工智能创新研究所)
本文提出SNeRL,通过在NeRF中并行引入三维语义场和蒸馏特征场,联合优化卷积编码器学习语义感知的三维神经隐式表示,在无模型和基于模型的强化学习中均优于现有像素级和三维感知表示。
2023-05-31 cs.AI cs.CV cs.LG
TreeDGS: Aerial Gaussian Splatting for Distant DBH Measurement
TreeDGS利用3D高斯点云法实现远距离树冠直径胸高测量,通过高斯优化和点云提取,结合多视角透明度可靠性评分,实现高精度DBH估计,优于LiDAR基准。
2026-03-13 cs.CV
TOGS: Gaussian Splatting with Temporal Opacity Offset for Real-Time 4D DSA Rendering
School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);Union Hospital, Tongji Medical College, Huazhong University of Science and Technology(华中科技大学同济医学院附属协和医院)
本文提出 TOGS,通过随时间变化的 Gaussian 不透明度偏移表、Smooth loss 和随机剪枝,实现稀疏视角下高质量、低存储的实时 4D DSA 渲染。
2024-09-08 cs.CV cs.GR
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);UC San Diego(加州大学圣迭戈分校)
我们提出了一种方法,实现国家的最先进的结果,通过优化一个基本的连续体积场景功能,使用稀疏的输入视图的复杂场景的新的意见合成。我们的算法使用全连接(非卷积)深度网络表示场景,其输入是单个连续的5D坐标(空间位置$(x,y,z)$和观看方向$(θ, ϕ)$),其输出是该空间位置处的体积密度和视图相关的发射辐射。我们通过查询沿相机射线的5D坐标合成视图,并使用经典的体渲染技术将输出的颜色和密度投影到图像中。由于体渲染是自然可微的,因此优化我们的表示所需的唯一输入是具有已知相机姿势的一组图像。我们描述了如何有效地优化神经辐射场,以呈现具有复杂几何形状和外观的场景的照片级逼真的新视图,并展示了优于神经渲染和视图合成的先前工作的结果。查看合成结果最好以视频形式查看,因此我们敦促读者查看我们的补充视频以进行令人信服的比较。
2020-08-03 cs.CV cs.GR
Convolutional Neural Shading for High-Quality 3D Reconstruction from Multi-View Images
该研究提出卷积神经着色(CNS)方法,通过卷积神经着色器和细节位移网络解决现有三维重建方法的单点信息局限,提升了多视图图像三维重建的质量。
2026-07-31 cs.CV
Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis
Center of Machine Vision and Signal Analysis, University of Oulu(奥卢大学机器视觉与信号分析中心);Faculty of Information Technology and Communication Sciences, Tampere University(坦佩雷大学信息技术与传播科学学院)
本文提出CG-NeRF,通过粗略辐射场预测器和基于卷积的神经渲染器解决神经辐射场渲染慢且难泛化的问题,实现单GPU高效渲染并在多数据集上超越现有方法。
2023-11-19 cs.CV cs.GR
MLP Splatting: Object-Centric Neural Fields
Department of Computing, Imperial College London(帝国理工学院伦敦分校计算机系)
提出MLP-Splatting方法,通过少量紧凑MLP原语实现场景分解和新视角合成,支持对象级编辑且内存和渲染效率优于现有方法。
2026-10-14 cs.CV
pixelNeRF: Neural Radiance Fields from One or Few Images
UC Berkeley(加州大学伯克利分校)
我们提出了pixelNeRF,一个学习框架,预测一个连续的神经场景表示条件的一个或几个输入图像。用于构建神经辐射场的现有方法涉及独立地优化对每个场景的表示,这需要许多校准视图和显著的计算时间。我们通过引入一种架构来解决这些缺点,该架构以完全卷积的方式在图像输入上调节NeRF。这允许网络在多个场景中进行训练以学习场景先验,使其能够以前馈方式从稀疏的视图集合(少至一个)执行新颖的视图合成。利用NeRF的体渲染方法,我们的模型可以直接从图像中训练,而无需显式的3D监督。我们在ShapeNet基准上进行了大量的实验,用于单图像新颖视图合成任务,其中包含保持对象以及整个看不见的类别。我们通过在多对象ShapeNet场景和DTU数据集的真实场景上演示pixelNeRF,进一步展示了它的灵活性。在所有情况下,pixelNeRF都优于当前最先进的基线,用于新颖的视图合成和单个图像3D重建。视频和代码请访问项目网站:https://alexyu.net/pixelnerf
2021-05-30 cs.CV cs.GR cs.LG
Hybrid Latents: Geometry-Appearance-Aware Surfel Splatting
Technical University of Munich(慕尼黑技术大学);Siemens Healthineers(西门子医疗)
本文提出一种混合高斯哈希网格辐射表示,通过引入高斯隐变量特征,减少几何与外观的耦合,提升重建精度与渲染效率,实验证明在更少基元下取得更优效果。
2026-04-17 cs.CV cs.GR
6DGS: Enhanced Direction-Aware Gaussian Splatting for Volumetric Rendering
United Imaging Intelligence(联影智能)
本文提出6D高斯泼溅(6DGS),通过增强6D空间-角度表示中的颜色、不透明度及方向信息优化高斯控制,在实时渲染下显著提升视角依赖效果与细节质量,较3DGS实现最高15.73 dB PSNR提升并减少66.5%高斯点。
2025-03-11 cs.AI cs.CV
OX-NeRF: 3D X-ray Tomography Reconstruction from Sparse Views Using Implicit Neural Representation
University of Oxford(牛津大学)
针对10个及以下视图的超稀疏X射线场景3D重建难题,提出OX-NeRF框架,结合跨场景特征学习与场景特定优化,经基准测试其重建精度显著优于现有辐射场方法。
2026-10-09 cs.CV
Advancing Structured Priors for Sparse-Voxel Surface Reconstruction
National Taiwan University(台湾国立大学);NVIDIA
本文提出一种结合3D高斯散射和稀疏体素光栅化优点的体素初始化方法,通过深度几何监督提升稀疏体素表面重建的精度和效率。
2026-01-25 cs.CV
OcRFDet: Object-Centric Radiance Fields for Multi-View 3D Object Detection in Autonomous Driving
PCA Lab, Key Lab of Intelligent Perception and Systems for High-Dimensional Information of Ministry of Education(教育部高维信息智能感知与系统重点实验室);Jiangsu Key Lab of Image and Video Understanding for Social Security, School of Computer Science and Engineering, Nanjing University of Science and Technology(江苏省社会治安图像与视频理解重点实验室,计算机科学与工程学院,南京理工大学)
针对多视图3D目标检测中隐式特征转换的局限,提出OcRFDet,利用以目标为中心的辐射场渲染前景目标以增强3D体素特征,并结合高度感知注意力增强2D BEV特征,在nuScenes基准上取得最优性能。
2025-06-30 cs.CV
VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
本文针对VR系统中3D高斯溅射或神经点渲染存在的性能与视觉质量矛盾,提出注视点渲染混合方法,结合两者优势,在保证性能的同时提升细节与清晰度,增强VR沉浸式体验。
2025-04-15 cs.CV cs.GR
Deformable Triangle Splatting: Flexible Primitives for Real-Time Radiance Field Rendering
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(工业机器人与信息学研究所,西班牙国家研究委员会-加泰罗尼亚理工大学)
研究针对辐射场方法依赖凸边界问题,提出可变形三角形散列,通过控制点和位移实现非凸形状表示,设计光栅化管道可微渲染,经多种场景验证,在视觉质量、通用性和渲染效率上表现出色。
2026-07-27 cs.CV cs.GR
Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis
Tsinghua University(清华大学);Wayne State University(韦恩州立大学)
针对稀疏视图合成中外部神经先验噪声模糊的问题,提出基于双目立体一致性自监督和高斯不透明度约束的3D Gaussian Splatting方法,无需外部先验,并在多个数据集上优于现有方法。
2024-10-27 cs.CV
DPA-Net: Structured 3D Abstraction from Sparse Views via Differentiable Primitive Assembly
Amazon(亚马逊公司);Simon Fraser University(西蒙菲莎大学)
DPA-Net将可微基元装配引入NeRF,从稀疏RGB图像中学习以凸体并集表示的结构化三维抽象,无需三维监督,并在稀疏视图三维基元抽象任务上取得最优性能。
2024-08-07 cs.CV
JSGS: JPEG State-Guided Supervision for 3D Gaussian Splatting from Mixed-Quality Views
针对混合质量JPEG图像损坏3D高斯溅射(3DGS)跨视图高斯更新的问题,提出JSGS方法,利用JPEG量化表构建观测算子并结合块差异正则化,在7个场景和3种设置下获最优指标且渲染速度约150 FPS。
2026-08-11 cs.CV
Floating Radiance Networks
该研究提出浮动辐射场网络(FlaRe),一种结合可显式光线追踪几何与连续神经辐射函数的神经场景表示,可实现高保真渲染、光线追踪、几何操作与外观编辑的统一,在基准测试中具竞争力。
2026-08-07 cs.CV
DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views
DerainSplat是一种前馈框架,可从少量雨天视图重建干净3D场景,通过四阶段合成数据集与天气网络等设计,在多类数据集上优于现有方法且泛化性强。
2026-08-04 cs.CV
CompGS: Smaller and Faster Gaussian Splatting with Vector Quantization
University of California, Davis(加利福尼亚大学戴维斯分校)
针对3D Gaussian Splatting存储需求过大的问题,提出基于K-means向量量化与游程编码压缩高斯参数,并利用正则化器减少不可见高斯,使存储成本降低40-50倍且渲染加速2-3倍。
2024-09-26 cs.CV
NEPHELE: A Neural Platform for Highly Realistic Cloud Radiance Rendering
ShanghaiTech University(上海科技大学)
我们最近看到了神经渲染(NR)进展方面的巨大进展,即,NeRF,用于照片真实自由视图合成。然而,作为一种基于单台计算机/GPU的本地技术,即使是设计最好的Instant-NGP或i-NGP在高分辨率渲染时也无法达到实时性能,并且通常需要巨大的本地计算资源。在本文中,我们求助于云渲染,并提出NEPHELE,一个神经平台,高真实感的云辐射渲染。与现有的NR方法形成鲜明对比的是,我们的NEPHELE通过结合多个远程GPU来实现更强大的渲染功能,并通过允许多人同时查看相同的NeRF场景来促进协作。我们引入了i-NOLF,采用不透明光场以一种每射线一次查询的方式进行超快速神经辐射渲染。我们进一步类似于Lumigraph与几何代理快速光线查询,随后采用一个小的MLP模型的本地不透明度lumishperes高品质的渲染。在i-NOLF中采用了完美空间散列算法来提高缓存一致性。因此,我们的i-NOLF在效率方面比i-NGP实现了一个数量级的性能增益,特别是对于云渲染场景下的多用户多视点设置。我们进一步定制了一个任务调度器,并伴随着我们的i-NOLF表示,并通过一个全面的云平台展示了我们的方法设计的先进性,该平台由一系列合作模块组成,即,渲染农场、任务分配器、帧合成器和详细的流策略。使用这样一个兼容神经渲染的云平台,我们通过一系列应用进一步展示了我们的云辐射渲染的能力,从云VR/AR渲染。
2023-03-07 cs.CV cs.DC cs.GR
Weight Conditioning for Smooth Optimization of Neural Networks
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究所,阿德莱德大学);Sorbonne Université, CNRS, ISIR(索邦大学,法国国家科学研究中心,ISIR)
本文提出一种新的权重规范化技术,通过缩小权重矩阵的奇异值范围,提升矩阵条件数,从而改善梯度下降收敛性能,实验验证其在多种神经网络架构中的有效性。
2026-03-13 cs.CV
Volumetric Rendering with Baked Quadrature Fields
University of British Columbia(不列颠哥伦比亚大学);Google DeepMind(谷歌DeepMind);Simon Fraser University(西蒙菲莎大学);University of Toronto(多伦多大学)
本研究提出一种基于带纹理多边形的新型NeRF表示方法,通过训练专用场结合marching cubes获取多边形网格,利用光线追踪实现非不透明场景的高速高质量体绘制,可轻松集成现有图形框架。
2024-07-10 cs.CV cs.GR
Few-shot Novel View Synthesis using Depth Aware 3D Gaussian Splatting
University of California Santa Cruz(加州大学圣克鲁兹分校)
本文提出一种用于少样本新视角合成的深度感知3D高斯泼溅方法,利用单目深度先验、尺度不变深度损失、低阶球谐函数建模并保留所有泼溅,显著提升了少视角下的重建质量与渲染效果。
2024-10-14 cs.AI cs.CV cs.GR
Neural Radiance Projection
Talosix(Talosix公司)
所提出的方法,神经辐射投影(NeRP),解决了在X射线图像分割上训练这种卷积神经网络的三个最根本的不足:处理丢失/有限的人类注释数据集;每像素标签的模糊性;以及正类和负类分布的不平衡。通过利用生成对抗网络,我们可以合成大量基于物理的X射线图像,即所谓的变分重建射线图像(VRR),以及从更准确的标记3D计算机断层扫描数据中分割出来的图像。因此,VRR比其他投影方法更忠实地呈现照片般逼真的度量。添加来自NeRP的输出也超过了在相同的X射线图像对上训练的普通UNet模型。
2022-03-15 cs.CV cs.GR eess.IV
Rapid quantification of COVID-19 pneumonia burden from computed tomography with convolutional LSTM networks
Biomedical Imaging Research Institute, Cedars-Sinai Medical Center(西达赛奈医学中心生物医学成像研究所);Cedars-Sinai Medical Center(西达赛奈医学中心);Semmelweis University(塞梅尔维斯大学);Azienda Ospedaliero-Universitaria di Parma(帕尔马大学医院);Monash Health(莫纳什医疗中心);Centro Cardiologico Monzino IRCCS, University of Milan(米兰大学蒙齐诺心脏中心IRCCS);Showa University School of Medicine(昭和大学医学院)
已经证明,来自计算机断层扫描(CT)的定量肺部测量可以改善冠状病毒病(COVID-19)患者的诊断,但不是临床常规的一部分,因为需要手动分割肺部病变非常耗时。我们提出了一个新的全自动深度学习框架,用于使用卷积长短期记忆(ConvLSTM)网络从对比和非对比CT图像中快速量化和区分COVID-19肺炎中的肺部病变。利用专家注释,使用5倍交叉验证对单独的保留集进行5次模型训练,以分割毛玻璃样混浊和高度混浊(包括实变和胸腔积液)。该方法的性能进行了评估的CT数据集,从197例患者的反转录聚合酶链反应检测结果为SARS-CoV-2。肺病变的专家手动和自动分割之间具有很强的一致性,Dice评分系数为0.876 $\pm$ 0.005;毛玻璃样阴影和高度不透明体积的相关性为0.978和0.981。在67例患者的外部验证集中,Dice评分系数为0.767 $\pm$ 0.009,毛玻璃样阴影和高度不透明体积的相关性为0.989和0.996。在配备有NVIDIA Titan RTX图形处理单元的个人计算机上在2秒内进行包括120个切片的CT扫描的计算。因此,我们基于深度学习的方法可以快速全自动定量测量CT的肺炎负担,并可以生成与专家读数器相似的准确度结果。
2021-07-17 cs.CV cs.LG eess.IV
StyleRF-VolVis: Style Transfer of Neural Radiance Fields for Expressive Volume Visualization
University of Notre Dame(圣母大学)
本文提出 StyleRF-VolVis,一种基于 NeRF 的体可视化风格迁移框架,通过几何提取、调色板与无约束颜色网络实现一致且灵活的任意三维风格化。
2024-07-31 cs.AI cs.CV cs.GR
Severity classification of ground-glass opacity via 2-D convolutional neural network and lung CT scans: a 3-day exploration
本研究在3天内构建并测试了基于2D CNN的肺部CT磨玻璃影严重程度分类框架,通过微调DenseNet、ResNet等模型并使用ADAM优化,发现部分2D CNN性能可与ResNet结合RNN的架构相媲美。
2023-03-31 cs.CV cs.LG eess.IV
Vision Transformer for NeRF-Based View Synthesis from a Single Input Image
UC San Diego(加州大学圣地亚哥分校);MIT(麻省理工学院);Google(谷歌);NVIDIA(英伟达)
虽然神经辐射场(NeRF)已经显示出令人印象深刻的进步,新的视图合成,大多数方法通常需要多个输入图像的同一场景与准确的相机姿势。在这项工作中,我们寻求大幅减少输入到一个单一的unposed图像。现有的方法条件的本地图像特征来重建一个3D对象,但往往呈现模糊的预测,在远离源视图的视点。为了解决这个问题,我们建议利用全局和局部特征来形成富有表现力的3D表示。全局特征从视觉Transformer中学习,而局部特征从2D卷积网络中提取。为了合成一个新的视图,我们训练一个多层感知器(MLP)网络的条件下学习的3D表示执行体渲染。这种新颖的3D表示允许网络重建看不见的区域,而无需强制执行对称或规范坐标系等约束。我们的方法可以从一个单一的输入图像渲染新的视图,并使用一个单一的模型在多个对象类别进行概括。定量和定性评价表明,该方法实现了最先进的性能,并呈现更丰富的细节比现有的方法。
2022-10-13 cs.CV cs.GR
GO-N3RDet: Geometry Optimized NeRF-enhanced 3D Object Detector
Hunan University(湖南大学);The University of Melbourne(墨尔本大学)
针对多视图2D图像构建3D特征受遮挡、信息不足的难题,研究提出GO-N3RDet检测器,通过体素优化、双重重要性采样等模块,在相关数据集上实现基于NeRF的多视图3D检测新SOTA。
2025-03-19 cs.CV
Soft Prototyping Camera Designs for Car Detection Based on a Convolutional Neural Network
Stanford University(斯坦福大学);Jilin University(吉林大学)
成像系统越来越多地用作卷积神经网络(CNN)的输入,用于目标检测;我们希望设计为此目的优化的相机。构建不同的相机,然后为每个潜在的相机设计获取和标记必要的数据是不切实际的;在上下文中创建相机的软件模拟(软原型)是唯一现实的方法。我们实现了软原型工具,可以定量模拟图像辐射和相机设计,以创建逼真的图像,输入到卷积神经网络进行汽车检测。我们使用这些方法来量化关键硬件组件(像素大小)、传感器控制(曝光算法)和图像处理(伽马和去马赛克算法)对汽车检测平均精度的影响。我们量化了(a)像素大小与在不同距离处检测汽车的能力之间的关系,(b)选择不良曝光持续时间的惩罚,以及(c)CNN针对各种采集后处理算法执行汽车检测的能力。这些结果表明,汽车检测的最佳选择不受消费者摄影中用于图像质量的相同指标的限制。最好使用具有特定任务指标的软原型而不是消费者摄影指标来评估CNN应用的相机设计。
2019-10-24 cs.CV
CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians
Texas A&M University(得克萨斯农工大学);Meta Reality Labs(元现实实验室);LMU Munich(慕尼黑大学)
针对3DGS在极端稀疏输入图像下易过拟合、新视角重建效果差的问题,提出CoherentGS方法,通过结构化高斯表示、多维度正则约束及单目深度初始化,在多场景下相较现有稀疏视图NeRF方法实现显著性能提升。
2024-12-07 cs.CV cs.GR
Neural Volume Super-Resolution
Princeton University(普林斯顿大学);University of Siegen(锡根大学)
提出直接作用于体积表示的神经超分辨率网络,利用多二维特征平面与二维卷积,实现跨视角一致的高分辨率渲染,并在未见场景上验证优于现有方法。
2023-05-05 cs.CV
PiaNet: A pyramid input augmented convolutional neural network for GGO detection in 3D lung CT scans
Cancer Hospital, Academy of Medical Sciences(中国医学科学院肿瘤医院)
提出了一种新的多尺度处理卷积神经网络(简称PiaNet),用于检测3D CT图像中的磨玻璃样阴影(GGO)结节。PiaNet由特征提取模块和预测模块组成。前一个模块是通过将金字塔多尺度源连接引入到收缩-扩展结构中来构造的。后一个模块包括一个边界框回归器和一个分类器,用于同时识别GGO结节和估计多个尺度的边界框。为了训练建议的PiaNet,一个两阶段的迁移学习策略。在第一阶段中,特征提取模块被嵌入到分类器网络中,该分类器网络在GGO和非GGO块的大数据集上训练,GGO和非GGO块通过从少量注释的CT扫描执行数据增强而生成。在第二阶段,预训练的特征提取模块被加载到PiaNet中,然后使用注释的CT扫描对PiaNet进行微调。我们在LIDC-IDRI数据集上评估了建议的PiaNet。实验结果表明,我们的方法优于国家的最先进的同行,包括Subsolid CAD和Aidence系统和S4 ND和GA-SSD方法。PiaNet的灵敏度达到91.75%,每次扫描只有一个假阳性
2020-10-10 cs.CV
Network Inversion of Convolutional Neural Nets
IIT Bombay(印度理工学院孟买分校)
针对神经网络决策不透明的“黑箱”问题,提出一种基于精心条件化生成器的网络反演方法,通过学习输入空间数据分布、最小化生成图像特征余弦相似度,提升神经网络的可解释性与可信度。
2024-11-26 cs.CV cs.LG