Dissecting Bit-Level Scaling Laws in Quantizing Vision Generative Models
Microsoft Research(微软研究院);Beijing Zhongke Research Institue(北京中科研究院)
本研究发现语言式视觉生成模型的量化比特级缩放定律优于扩散式模型,提出TopKLD蒸馏方法平衡隐式与显式知识,提升了两类量化设置下的缩放表现。
2025-01-06 cs.CV
Improved Techniques for Quantizing Deep Networks with Adaptive Bit-Widths
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究);MIT(麻省理工学院)
具有自适应位宽的量化深度网络是一种很有前途的技术,可以跨许多设备和资源约束进行有效推理。与重复量化过程并针对不同约束训练不同模型的静态方法相比,自适应量化使我们能够在推理过程中灵活调整单个深度网络的位宽,以便在不同场景中即时适应。虽然现有的研究表明,令人鼓舞的结果,共同的图像分类基准,本文研究如何更有效地训练这样的自适应网络。具体来说,我们提出了两种新的技术,用于量化深度神经网络与自适应位宽的权重和激活。首先,我们提出了一个协作策略,选择一个高精度的教师将知识传递给低精度的学生,同时联合优化所有位宽的模型。其次,为了有效地传递知识,我们开发了一种动态块交换方法,将精度较低的学生网络中的块随机替换为精度较高的教师网络中的相应块。多个图像分类数据集,包括视频分类基准的第一次,广泛的实验,以及证明了我们的方法比国家的最先进的方法的有效性。
2021-09-17 cs.CV
3D Object Recognition By Corresponding and Quantizing Neural 3D Scene Representations
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个系统,学习检测物体,并推断其3D姿态在RGB-D图像。许多现有的系统可以识别对象并推断3D姿态,但它们严重依赖于人类标签和3D注释。这里的挑战是在不依赖强监管信号的情况下实现这一目标。为了应对这一挑战,我们提出了一种模型,该模型以可区分的全卷积方式将RGB-D图像映射到一组3D视觉特征图,并通过预测视图进行监督。3D特征图对应于图像中描绘的3D世界场景的特征化。对象的3D特征表示对于相机视点的改变或缩放是不变的,这意味着特征匹配可以在不同的相机视点下识别相似的对象。我们可以通过搜索跨尺度和3D旋转的对齐来比较两个对象的3D特征图,并且,作为操作的结果,我们可以估计姿态和尺度变化,而不需要3D姿态注释。我们聚类对象特征映射到一组3D原型,代表熟悉的对象在规范的规模和方向。然后,我们通过推断每个检测到的对象的原型身份和3D姿态来解析图像。我们将我们的方法与许多不学习3D特征视觉表示或不尝试跨场景对应特征的基线进行比较,并在对象检索和对象姿态估计任务中大幅优于它们。由于以对象为中心的特征图的3D性质,视觉相似性线索对3D姿态变化或小尺度变化是不变的,这使我们的方法优于2D和1D方法。
2020-10-30 cs.CV
Quantizing Convolutional Neural Networks for Low-Power High-Throughput Inference Engines
Xilinx Inc(赛灵思公司(Xilinx Inc))
深度学习作为一种推理手段,由于其多功能性和接近或超过人类水平准确性的能力,它已经激增。这些计算模型似乎对计算资源有着无法满足的胃口,不仅在训练时如此,而且在从数据中心一直到嵌入式设备的大规模部署时也是如此。因此,在给定有限的硬件和能量资源的情况下,越来越多地考虑使计算效率最大化,并且因此,以降低的精度进行推理已经成为用于浮点运算的IEEE 754标准的可行替代方案。我们提出了一个量化方案,允许使用算术进行推理,这是从根本上更有效的,甚至半精度浮点相比。我们的量化过程是重要的,因为我们通过使用单个推理批而不是(重新)训练来校准其参考浮点模型来确定我们的量化方案参数,并实现与参考模型相当的端到端后量化精度。
2018-05-21 cs.AI cs.CV cs.LG
Implicitly Defined Layers in Neural Networks
University of Queensland(昆士兰大学)
在多层前馈神经网络的传统公式中,各个层通常由显式函数定义。在本文中,我们证明了在神经网络\emph{implicitly}中定义各个层提供了比标准显式表示更丰富的表示,从而实现了更广泛的端到端可训练架构。我们提出了一个隐式定义层的一般框架,其中对此类层的大部分理论分析可以通过隐式函数定理来解决。我们还展示了如何隐式定义的层可以无缝地纳入现有的机器学习库。特别是关于用于基于反向传播的训练的当前自动微分技术。最后,我们证明了我们提出的方法的多功能性和相关性的一些不同的例子问题,有希望的结果。
2020-06-03 cs.CV
Towards Generalising Neural Implicit Representations
University of Oxford(牛津大学)
与传统格式相比,神经隐式表示在有效存储3D数据方面已经显示出实质性的改进。然而,现有工作的重点主要是储存和随后的重建。在这项工作中,我们表明,与传统任务一起训练重建任务的神经表示可以产生更通用的编码,使重建质量与单任务训练相同,同时与单任务编码相比,传统任务的结果有所改善。我们重新制定的语义分割任务,创建一个更有代表性的任务,隐式表示上下文,并通过多任务实验重建,分类和分割,显示我们的方法学习功能丰富的编码,承认每个任务的同等性能。
2022-10-17 cs.CV
Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table
LeapMind Inc.(LeapMind公司);Woven by Toyota, Inc.(丰田旗下Woven公司);Mirai Hoshu K.K.(Mirai Hoshu株式会社)
提出像素嵌入方法,通过可微查找表将输入像素替换为低比特向量,实现完全量化神经网络,在ImageNet和CIFAR-100上显著降低量化误差并加速推理。
2024-07-23 cs.AI cs.CV cs.LG
RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks
ETH Zürich(苏黎世联邦理工学院);Università di Bologna(博洛尼亚大学)
我们提出了随机分区松弛(RPR),一种将神经网络权重强量化为二进制(+1/-1)和三进制(+1/0/-1)值的方法。从预训练的模型开始,我们对权重进行重新分配,然后将它们的随机分区放松到它们的连续值进行重新训练,然后重新量化它们并切换到另一个权重分区进行进一步调整。我们使用基于SGD的训练方法演示了二进制和三进制权重网络,其精度超过了GoogLeNet的最新水平,并且ResNet-18和ResNet-50的性能具有竞争力,该方法可以轻松集成到现有框架中。
2020-01-04 cs.CV
Unified Implicit Neural Stylization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过隐式表示来表示视觉信号(例如,基于坐标的深度网络)已经在许多视觉任务中流行。这项工作探索了一个新的有趣的方向:使用可以应用于各种2D和3D场景的通用方法训练风格化的隐式表示。我们对各种隐式函数进行了初步研究,包括基于二维坐标的表示,神经辐射场和有符号距离函数。我们的解决方案是一个统一的隐式神经风格化框架,被称为INS。与普通的隐式表示相反,INS将普通的隐式函数分为风格隐式模块和内容隐式模块,以便分别编码来自风格图像和输入场景的表示。然后应用合并模块来聚合这些信息并合成风格化的输出。为了使三维场景中的几何规则化,我们提出了一种新的自蒸馏几何一致性损失,它保持了风格化场景的几何保真度。在多个任务设置上进行了全面的实验,包括复杂场景的新视图合成,隐式曲面的风格化,以及使用MLP拟合图像。我们进一步证明了学习的表示不仅在空间上而且在风格上都是连续的,从而可以毫不费力地在不同风格之间进行插值,并生成具有新混合风格的图像。请参考我们项目页面上的视频以获取更多合成结果:https://zhiwenfan.github.io/INS。
2022-08-21 cs.CV
Neural Experts: Mixture of Experts for Implicit Neural Representations
Roblox(罗布乐思公司);The Australian National University(澳大利亚国立大学);Amazon(亚马逊公司)
针对现有隐式神经表征单网络全局约束的局限,提出融合混合专家架构的INR方法,搭配新型门控网络条件调节与预训练策略,在多类重建任务上实现了速度、精度与内存效率的提升。
2024-10-29 cs.CV
Quantizing deep convolutional networks for efficient inference: A whitepaper
Google(谷歌)
我们提出了一个概述的技术量化卷积神经网络的推理与整数权重和激活。对于各种各样的CNN架构,权重的每通道量化和激活的每层量化到8位精度后训练产生在浮点网络的2%内的分类准确度。通过将权重量化为8位,即使不支持8位算法,也可以将模型大小减少4倍。这可以通过简单的后训练量化权重来实现。我们在CPU和DSP上对量化网络的浮点数进行了基准测试,并观察到量化实现与CPU上的浮点数相比的2倍-3倍的加速比。在具有固定点SIMD功能的专用处理器上,如采用HVX的Qualcomm QDSP,可以观察到高达10倍的速度提升。量化感知训练可以提供进一步的改进,在8位精度下将浮点差距缩小到1%。量化感知训练还允许将权重的精度降低到4位,精度损失范围从2%到10%,对于较小的网络,精度损失更高。我们介绍了TensorFlow和TensorFlowLite中用于量化卷积网络的工具,并回顾了量化感知训练的最佳实践,以获得量化权重和激活的高精度。我们建议将权重的每通道量化和激活的每层量化作为硬件加速和内核优化的首选量化方案。我们还建议,未来的处理器和硬件加速器优化推理支持精度为4,8和16位。
2018-06-21 cs.CV cs.LG stat.ML
Recovering Fine Details for Neural Implicit Surface Reconstruction
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);HU Berlin(柏林洪堡大学)
最近的工作内隐神经表征取得了重大进展。使用体渲染学习隐式神经表面在无3D监督的多视图重建中得到了普及。然而,由于几何和外观表示的潜在模糊性,精确地恢复精细细节仍然是具有挑战性的。在本文中,我们提出了D-NeuS,一个体渲染基神经隐式表面重建方法能够恢复精细的几何细节,扩展NeuS的两个额外的损失函数,以提高重建质量。首先,我们鼓励从阿尔法合成渲染的表面点有符号的距离值为零,减轻几何偏差所产生的转换SDF的密度体渲染。其次,我们施加多视图功能的一致性的表面上的点,通过插值SDF零交叉从采样点沿射线。大量的定量和定性结果表明,我们的方法重建高精度的表面细节,并优于最先进的。
2022-11-21 cs.CV
NeurAR: Neural Uncertainty for Autonomous 3D Reconstruction with Implicit Neural Representations
Zhejiang University(浙江大学);NetEase Inc.(网易公司);National University of Singapore(新加坡国立大学)
隐式神经表征在离线3D重建中显示出令人信服的结果,最近也展示了在线SLAM系统的潜力。然而,将它们应用于自主3D重建,其中需要机器人探索场景并规划用于重建的视图路径,尚未研究。在本文中,我们首次探索了使用隐式神经表示进行自主3D场景重建的可能性,解决了两个关键挑战:1)寻求一个标准来衡量候选视点的质量,以基于新的表示进行视图规划,以及2)从可以推广到不同场景的数据中学习该标准,而不是手工制作。为了解决这些问题,首先提出了一种峰值信噪比(PSNR)的代理来量化视点质量;其次,该代理与场景的隐式神经网络参数联合优化。利用所提出的来自神经网络的视图质量标准(称为神经不确定性),我们可以将隐式表示应用于自主3D重建。我们的方法表明显着改善各种指标的渲染图像质量和重建的3D模型的几何质量相比,使用TSDF或重建没有视图规划的变体。项目网页https://kingteeloki-ran.github.io/NeurAR/
2023-02-08 cs.CV
NeuralRoom: Geometry-Constrained Neural Implicit Surfaces for Indoor Scene Reconstruction
Wuhan University(武汉大学);Huawei(华为);Anhui University(安徽大学)
我们提出了一种新的神经表面重建方法NeuralRoom,用于直接从一组2D图像重建房间大小的室内场景。近年来,隐式神经表征由于其高质量的结果和简单性而成为从多视图图像重建表面的一种很有前途的方法。然而,隐式神经表征通常不能很好地重建室内场景,因为它们遭受严重的形状-辐射模糊。我们假设室内场景由纹理丰富和平坦纹理较少的区域组成。在纹理丰富的区域,多视点立体可以获得准确的结果。在平坦区域,正态估计网络通常可以获得较好的正态估计。基于上述观察,我们通过可靠的几何先验来减少隐式神经表面可能的空间变化范围,以减轻形状-辐射模糊。具体来说,我们使用多视图立体结果来限制NeuralRoom优化空间,然后使用可靠的几何先验来指导NeuralRoom训练。然后,NeuralRoom将产生一个神经场景表示,可以渲染与输入训练图像一致的图像。此外,我们提出了一种称为扰动残差约束的平滑方法,以提高平坦区域的准确性和完整性,该方法假设局部表面中的采样点应具有相同的法线和到观察中心的相似距离。在ScanNet数据集上的实验表明,该方法能够在保持细节准确性的前提下重建出室内场景的无纹理区域。我们还将NeuralRoom应用于更先进的多视图重建算法,并显着提高其重建质量。
2022-11-28 cs.CV
NeuralMeshing: Differentiable Meshing of Implicit Neural Representations
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软);University of Amsterdam(阿姆斯特丹大学)
由点云生成三角形网格,即网格化,是计算机图形学和计算机视觉的核心任务。传统的技术直接构建一个表面网格使用局部决策几何,而最近的一些方法基于神经隐式表示试图利用数据驱动的方法,这个网格化过程。然而,为未知拓扑和大小的三角形网格定义可学习的表示是具有挑战性的,因此,神经隐式表示依赖于不可微的后处理来提取最终的三角形网格。在这项工作中,我们提出了一种新的微分网格算法提取表面网格神经隐式表示。我们的方法产生的网格在一个迭代的方式,这使得它适用于各种规模的形状和自适应的局部曲率的形状。此外,我们的方法产生的网格与规则的镶嵌图案和更少的三角形面相比,现有的方法。实验表明,与基线相比,重建性能相当,网格特性良好。
2022-10-05 cs.CV
Human 3D Avatar Modeling with Implicit Neural Representation: A Brief Survey
Academy for Engineering and Technology, Fudan University(复旦大学工程与应用技术研究院);Huawei Cloud Computing Technologies Co., Ltd(华为云计算技术有限公司)
本文综述隐式神经表示在人体三维化身建模中的应用,梳理占据场、SDF和NeRF三类表示及身体、手部、头部相关研究,并指出不足与未来建议。
2023-06-06 cs.CV
Semantic Implicit Neural Scene Representations With Semi-Supervised Training
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
隐式神经场景表示最近的成功为我们如何捕获和存储3D场景提供了一种可行的新方法。与传统的3D表示(例如点云)不同,这些隐式表示将场景属性明确存储在离散的局部单元中,这些隐式表示将场景编码在神经网络的权重中,可以在任何坐标处查询该权重以产生这些相同的场景属性。到目前为止,隐式表示主要被优化为仅估计场景中的外观和/或3D几何信息。我们采取下一步,并证明现有的隐式表示(SRN)实际上是多模态的,它可以进一步利用来执行每点语义分割,同时保留其表示外观和几何形状的能力。为了实现这种多模态的行为,我们利用一个半监督学习策略,现有的预训练的场景表示。我们的方法是简单的,通用的,只需要几十个标记的二维分割掩模,以实现密集的三维语义分割。我们探索了两个新的应用,这种语义感知隐式神经场景表示:3D新的视图和语义标签合成只给一个单一的输入RGB图像或2D标签掩码,以及3D插值的外观和语义。
2021-01-17 cs.CV
MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction
University of Tübingen(图宾根大学);ETH Zurich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Czech Technical University in Prague(布拉格捷克理工大学)
近年来,神经隐式曲面重建方法已成为多视图三维重建的热门。与传统的多视图立体视觉方法相比,由于神经网络的归纳平滑偏差,这些方法倾向于产生更平滑和更完整的重建。最先进的神经隐式方法允许从许多输入视图对简单场景进行高质量的重建。然而,对于更大和更复杂的场景以及从稀疏视点捕获的场景,它们的性能显著下降。这主要是由RGB重建损失中的固有模糊性引起的,其没有提供足够的约束,特别是在较少观察和无纹理的区域中。受单眼几何预测领域的最新进展的启发,我们系统地探索了这些线索为改善神经隐式表面重建提供的效用。我们表明,深度和正常的线索,预测的通用单目估计,显着提高重建质量和优化时间。此外,我们分析和研究多种设计选择,代表神经隐式表面,从单片MLP模型单网格多分辨率网格表示。我们观察到,几何单目先验提高性能的小规模的单对象以及大规模的多对象场景,独立的选择表示。
2022-10-12 cs.CV
Improving neural implicit surfaces geometry with patch warping
Thales LAS France(泰雷兹LAS法国公司);École des Ponts(巴黎桥路学院);Univ. Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
神经隐式曲面已成为多视图三维重建的重要技术,但其精度仍然有限。在本文中,我们认为,这是由于难以学习和渲染高频纹理与神经网络。因此,我们建议添加到标准的神经渲染优化直接的照片一致性条款在不同的意见。直观地说,我们优化了隐式几何,使其以一致的方式扭曲彼此的视图。我们证明了两个要素是这种方法成功的关键:(i)扭曲整个补丁,使用预测的占用率和沿每条射线的3D点的法线,并测量它们的相似性与鲁棒结构相似性(SSIM);(ii)处理可见性和遮挡的方式,不正确的扭曲不给予太多的重要性,同时鼓励尽可能完整的重建。我们在标准DTU和EPFL基准测试中评估了我们的方法,称为NeuralWarp,并显示它在两个数据集上的表现优于最先进的无监督隐式曲面重建超过20%。
2022-05-08 cs.CV
Depth-NeuS: Neural Implicit Surfaces Learning for Multi-view Reconstruction Based on Depth Information Optimization
Beijing Jiaotong University(北京交通大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
最近,用于神经表面表示和渲染的方法,例如NeuS,已经表明通过体渲染学习神经隐式表面变得越来越流行并且取得了良好的进展。然而,这些方法仍然面临一些挑战。现有的方法缺乏对深度信息的直接表示,使得物体重建不受几何特征的限制,导致具有纹理和颜色特征的物体重建效果不佳。这是因为现有方法仅使用曲面法线来表示隐式曲面,而不使用深度信息。因此,这些方法不能很好地模拟物体的详细表面特征。为了解决这个问题,我们提出了一种神经隐式表面学习方法称为深度NeuS的深度信息优化的多视图重建。在本文中,我们引入深度损失显式约束SDF回归,并引入几何一致性损失优化低纹理区域。具体实验表明,Depth-NeuS在多场景下优于现有技术,实现了多场景下的高质量曲面重建。
2023-03-30 cs.CV
Controllable Style Transfer via Test-time Training of Implicit Neural Representation
Korea University(高丽大学)
我们提出了一种基于隐式神经表征的可控风格转换框架,该框架通过测试时训练逐像素地控制风格化输出。与传统的图像优化方法,往往遭受不稳定的收敛和基于学习的方法,需要密集的训练,并具有有限的泛化能力,我们提出了一个模型优化框架,优化神经网络在测试时与明确的损失函数的风格转移。经过一次测试时训练后,由于基于INR的模型的灵活性,我们的框架可以以像素方式精确控制风格化图像,并自由调整图像分辨率,而无需进一步优化或训练。我们展示了几个应用程序。
2022-10-17 cs.CV
Learning Neural Implicit through Volume Rendering with Attentive Depth Fusion Priors
Wayne State University(韦恩州立大学)
提出一种基于注意力深度融合先验的体渲染方法,从多视图RGBD图像中学习神经隐式表示,利用TSDF解决孔洞和遮挡问题,提升3D重建几何精度。
2024-01-08 cs.CV
HR-NeuS: Recovering High-Frequency Surface Geometry via Neural Implicit Surfaces
UC Berkeley(加州大学伯克利分校);Amazon(亚马逊)
用于多视图3D重建的神经隐式表面的最新进展主要集中在提高大规模表面重建精度上,但通常会产生缺乏精细表面细节的过度平滑的几何形状。为了解决这个问题,我们提出了高分辨率NeuS(HR-NeuS),这是一种新的神经隐式表面重建方法,可以恢复高频表面几何形状,同时保持大规模重建精度。我们通过利用(i)多分辨率哈希网格编码而不是高频位置编码来实现这一点,这提高了我们的模型对局部几何细节的表达能力;(ii)一个由粗到细的算法框架,该框架选择性地将表面正则化应用于粗糙几何形状,而不会平滑精细细节;(iii)一个由粗到细的网格退火策略来训练网络。我们通过对DTU和BlendedMVS数据集的实验证明,与以前的方法相比,我们的方法产生的3D几何形状在质量上更详细,在数量上具有相似的精度。
2023-02-14 cs.CV
Steerable Anatomical Shape Synthesis with Implicit Neural Representations
University of Twente(特温特大学);Technical Medical (TechMed) Centre(技术医学中心)
本文提出一种基于隐式神经表示的可控解剖形状生成模型,通过学习解耦的潜在表示实现对形状变化的细粒度控制,在保证高质量形状生成与解剖合理性的同时,支持针对特定患者群体的目标解剖修改。
2025-04-04 cs.CV
Neural Implicit Event Generator for Motion Tracking
Keio University(庆应义塾大学);Denso IT Laboratory(电装IT实验室)
我们提出了一个新的框架,运动跟踪的事件数据使用隐式表达式。我们的框架使用预先训练的事件生成MLP,称为隐式事件生成器(IEG),并根据观察到的事件和当前状态估计生成的事件之间的差异,通过更新其状态(位置和速度)来进行运动跟踪。差异由IEG隐式计算。与传统的显式方法,这需要密集的计算来评估的差异,我们的隐式方法实现了有效的状态更新直接从稀疏的事件数据。我们的稀疏算法特别适合于计算资源和电池寿命有限的移动机器人应用。为了验证我们的方法在真实世界数据上的有效性,我们将其应用到AR标记跟踪应用中。我们已经证实,我们的框架在存在噪声和背景杂波的现实环境中工作得很好。
2021-11-06 cs.CV
SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
神经隐式表面表示已经成为一种有前途的范例,以连续和分辨率无关的方式捕获3D形状。然而,使它们适应铰接的形状并非易事。现有方法学习将变形映射到规范点的向后扭曲场。然而,这是有问题的,因为向后扭曲场是姿势相关的,因此需要大量数据来学习。为了解决这个问题,我们引入了SNARF,它结合了多边形网格的线性混合蒙皮(LBS)与神经隐式曲面的优点,通过学习向前变形场而无需直接监督。这个变形场是在规范的,姿势独立的空间中定义的,允许泛化到看不见的姿势。单独从已设定的网格中学习变形场是具有挑战性的,因为变形点的对应关系是隐式定义的,并且在拓扑变化下可能不是唯一的。我们提出了一个前向蒙皮模型,发现所有的正则对应的任何变形点,使用迭代求根。我们通过隐式微分推导出分析梯度,从而实现从具有骨骼变换的3D网格的端到端训练。与最先进的神经隐式表示相比,我们的方法更好地推广到看不见的姿势,同时保持准确性。我们展示了我们的方法在具有挑战性的情况下(穿着)3D人类在不同的和看不见的姿势。
2021-11-29 cs.CV
Signal Processing for Implicit Neural Representations
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
隐式神经表示(INRs)通过多层感知器编码连续多媒体数据,在各种计算机视觉任务中显示出不容置疑的前景。尽管有许多成功的应用,编辑和处理INR仍然是棘手的,因为信号是由神经网络的潜在参数表示的。现有的作品通过对离散化实例的处理来操纵这种连续表示,这打破了INR的紧凑性和连续性。在这项工作中,我们提出了一个试点研究的问题:如何直接修改INR没有明确的解码?我们回答这个问题,提出了一个隐式神经信号处理网络,称为INSP-Net,通过微分算子INR。我们的关键见解是,神经网络的空间梯度可以解析计算,是平移不变的,而在数学上,我们表明,任何连续卷积滤波器可以一致地近似高阶微分算子的线性组合。通过这两个旋钮,INSP-Net将信号处理算子实例化为与INR的高阶导数对应的计算图的加权组合,其中加权参数可以通过数据驱动学习。基于我们提出的INSP-Net,我们进一步构建了第一个隐式运行在INR上的卷积神经网络(CNN),称为INSP-ConvNet。我们的实验验证了INSP-Net和INSP-ConvNet在拟合低级别图像和几何处理内核(例如模糊、去模糊、去噪、修复和平滑)以及隐式领域(如图像分类)的高级任务方面的表现力。
2022-12-15 cs.CV
UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学);ETAS GmbH(埃塔斯有限责任公司);ETH Zurich(苏黎世联邦理工学院)
神经隐式3D表示已经成为从多视图图像重建表面和合成新视图的强大范例。不幸的是,现有的方法,如DVR或IDR需要准确的每像素对象掩模作为监督。与此同时,神经辐射场已经彻底改变了新的视图合成。然而,NeRF的估计体积密度不承认准确的表面重建。我们的主要见解是,隐式表面模型和辐射场可以制定一个统一的方式,使表面和体渲染渲染使用相同的模型。这种统一的视角实现了新颖的、更有效的采样过程,并且能够在没有输入掩模的情况下重建精确的表面。我们比较我们的方法在DTU,BlendedMVS和合成室内数据集。我们的实验表明,我们在重建质量方面优于NeRF,同时在不需要掩模的情况下与IDR不相上下。
2021-10-08 cs.CV
Dynamic Multi-View Scene Reconstruction Using Neural Implicit Surface
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);HU Berlin(柏林洪堡大学)
重建一般动态场景对于许多计算机视觉和图形学应用是重要的。最近的工作表示动态场景与神经辐射场的真实感视图合成,而他们的表面几何是欠约束和噪声。其他作品引入表面约束的隐式神经表示解开静态场景重建的几何和外观场的模糊性。为了弥合渲染动态场景和恢复静态表面几何形状之间的差距,我们提出了一种无模板的方法来重建表面几何形状和外观,使用神经隐式表示从多视图视频。我们利用拓扑感知的变形和有符号的距离场,学习复杂的动态表面通过可微体渲染没有场景特定的先验知识,如模板模型。此外,我们提出了一种新的基于掩模的光线选择策略,以显着提高具有挑战性的时变区域的优化。在不同的多视点视频数据集上的实验表明,该方法实现了高逼真度的表面重建以及照片级真实感的新视图合成。
2023-02-28 cs.CV
Mesh-Guided Neural Implicit Field Editing
City University of Hong Kong(香港城市大学);Netflix Eyeline Studios(Netflix Eyeline工作室);Google AR Perception(谷歌AR感知部门);Microsoft Cloud + AI(微软云与人工智能部门)
本文提出以可微网格为引导编辑神经隐式场,结合八叉树优化实现细粒度几何与颜色修改,兼顾高质量渲染与灵活编辑能力。
2023-12-04 cs.CV
DF-SLAM: Dictionary Factors Representation for High-Fidelity Neural Implicit Dense Visual SLAM System
School of Information Engineering, Nanchang University(南昌大学信息工程学院);School of Software, Nanchang University(南昌大学软件学院)
提出DF-SLAM,采用字典因子表示场景,提升细节重建与内存效率,适用于大规模场景,并通过特征集成渲染加速,在实时性、定位和重建质量上达到先进水平。
2024-06-26 cs.CV
ImFace: A Nonlinear 3D Morphable Face Model with Implicit Neural Representations
Beihang University(北京航空航天大学);École Centrale de Lyon(里昂中央理工学院)
三维人脸的精确表示有利于各种计算机视觉和图形应用。然而,由于数据的离散化和模型的线性,它仍然具有挑战性,以捕捉准确的身份和表达的线索,在目前的研究。本文提出了一种新的三维变形人脸模型,即ImFace,学习一个非线性和连续的空间与隐式神经表示。它建立了两个明确的解纠缠变形场,分别对与身份和表达式相关的复杂形状进行建模,并设计了一种改进的学习策略来扩展表达式的嵌入,以允许更多样化的变化。我们还引入了一个神经混合场,通过自适应地混合一系列局部场来学习复杂的细节。除了ImFace之外,还提出了一种有效的预处理管道,以解决隐式表示中的防水输入要求问题,使它们能够首次与常见的面部表面一起工作。大量的实验证明了ImFace的优越性。
2022-04-24 cs.CV
Implicit Neural Representation for Video and Image Super-Resolution
Clemson University(克莱姆森大学)
本研究提出基于隐式神经表示的SR-INR方法,仅需低分辨率输入和3D高分辨率网格即可实现图像和视频超分辨率,无需光流或运动估计,在保持时序稳定性的同时降低了计算需求,性能优于现有先进方法。
2025-03-06 cs.CV
Level-S$^2$fM: Structure from Motion on Neural Level Set of Implicit Surfaces
Wuhan University(武汉大学);NC State University(北卡罗来纳州立大学)
本文提出了一种神经增量运动恢复结构(SfM)方法,Level-S $^2$ fM,它通过学习隐式曲面的坐标MLP和已建立的关键点对应关系的辐射场,从一组未校准图像中估计相机姿态和场景几何。由于增量SfM管道中不可避免的两视图和少视图配置,我们的新配方提出了一些新的挑战,这使得具有未知相机姿态的体积神经渲染的坐标MLP的优化变得复杂。尽管如此,我们证明了在2D对应关系中传达的强归纳基础有希望通过利用射线采样方案之间的关系来解决这些挑战。在此基础上,我们重新审视了增量SfM的流水线,并更新了关键组件,包括两视图几何初始化,相机姿态配准,3D点三角剖分和束调整,基于神经隐式曲面的新视角。通过坐标MLP统一小型MLP网络中的场景几何,我们的Level-S $^2$ fM将隐式曲面的零水平集视为信息自上而下的正则化来管理重建的3D点,通过查询SDF拒绝对应的离群值,并通过NBA(神经BA)细化估计的几何形状。我们的Level-S $^2$ fM不仅在摄像机姿态估计和场景几何重建方面取得了令人满意的结果,而且还为神经隐式绘制提供了一种很有前途的方法,而无需事先知道摄像机外部参数。
2023-03-27 cs.CV
INF: Implicit Neural Fusion for LiDAR and Camera
The Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);The National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
针对激光雷达与相机融合存在的数据差异、标定繁琐等问题,提出隐式神经融合方法INF,通过分步训练神经密度场与颜色场,同步实现位姿估计与外参优化,具备高精度与稳定性能。
2023-08-28 cs.CV
VL-Fields: Towards Language-Grounded Neural Implicit Spatial Representations
University of Edinburgh(爱丁堡大学)
本文提出 VL-Fields,一种无需场景类别先验、融合几何与视觉-语言特征的神经隐式空间表示,在语义分割上比 CLIP-Fields 提升近 10%。
2023-05-25 cs.CV
Diffusion Model Regularized Implicit Neural Representation for CT Metal Artifact Reduction
ShanghaiTech University(上海科技大学)
本文提出一种结合扩散模型和隐式神经表示的框架,用于改进CT图像中金属伪影的抑制效果。
2025-12-09 cs.CV
Sobolev Training for Implicit Neural Representations with Approximated Image Derivatives
Megvii Research(旷视研究院);Peking University(北京大学)
近年来,由神经网络参数化的隐式神经表示(Implicit Neural Representations,INR)由于其连续、可微的特性,显示出了传统离散表示所无法比拟的优越性,成为一种很有前途的信号表示工具。然而,用于INR的神经网络的训练仅利用输入-输出对,并且在某些情况下可以访问的目标输出相对于输入的导数通常被忽略。在本文中,我们提出了一个训练范式的INR,其目标输出是图像像素,编码图像导数除了图像值的神经网络。具体来说,我们使用有限差分近似图像导数。我们展示了如何利用训练范式来解决典型的INR问题,即,图像回归和逆绘制,并证明这种训练范式可以提高数据效率和泛化能力的INR。我们的方法的代码可在\url{https://github.com/megvii-research/Sobolev_INRs}上获得。
2022-07-21 cs.CV
NeuDA: Neural Deformable Anchor for High-Fidelity Implicit Surface Reconstruction
Alibaba Group(阿里巴巴集团)
本文研究了利用可微光线投射的隐式曲面重建。以前的工作,如IDR和NeuS忽略了在3D空间中的空间上下文时,预测和渲染的表面,从而可能无法捕捉尖锐的局部拓扑结构,如小孔和结构。为了减轻这种限制,我们提出了一种灵活的神经隐式表示,利用分层体素网格,即神经变形锚(NeuDA),用于高保真表面重建。NeuDA维护分层锚网格,其中每个顶点存储3D位置(或锚),而不是直接嵌入(或特征)。我们优化锚网格,使不同的局部几何结构可以自适应编码。此外,我们深入研究了频率编码策略,并引入了一种简单的分层位置编码方法的层次锚结构,灵活地利用高频和低频的几何和外观的属性。在DTU和BlendedMVS数据集上的实验表明,NeuDA可以产生有前途的网格表面。
2023-03-26 cs.CV
Implicit Neural Head Synthesis via Controllable Local Deformation Fields
Carnegie Mellon University(卡内基梅隆大学);Flawless AI
针对单目视频中3D头部化身的精细局部控制问题,提出基于3DMM参数和关键点的多个局部隐式变形场,并以稀疏性约束实现更锐利的口腔、非对称表情及面部细节合成。
2023-04-21 cs.CV
S3-SLAM: Sparse Tri-plane Encoding for Neural Implicit SLAM
Northeastern University(东北大学);Peking University(北京大学)
针对神经隐式SLAM性能与参数量权衡问题,提出稀疏三平面编码,仅用2~4%参数实现512分辨率高效重建,并设计S3-SLAM与分层束调整,在三个数据集上以极少参数实现高质量跟踪与重建。
2024-04-28 cs.CV
PACT: Parameterized Clipping Activation for Quantized Neural Networks
IBM Research AI(IBM人工智能研究院);Google(谷歌)
深度学习算法以显著的计算成本为代价来实现高分类精度。为了解决这一成本,已经提出了许多量化方案,但这些技术中的大多数都集中在量化权重上,与激活相比,权重的大小相对较小。本文提出了一种新的量化方案,用于训练过程中的激活-使神经网络能够在超低精度的权重和激活下工作良好,而不会导致任何显著的精度下降。这种技术,参数化限幅激活(PACT),使用激活限幅参数$α$,其在训练期间被优化以找到正确的量化尺度。PACT允许将激活量化到任意位精度,同时相对于已发布的最新量化方案实现更好的精度。我们首次证明,权重和激活都可以量化到4位精度,同时在一系列流行的模型和数据集上仍能达到与全精度网络相当的精度。我们还表明,利用硬件中这些精度降低的计算单元可以实现推理性能的超线性改善,这是由于加速器计算引擎的面积显著减少,以及在片上存储器中保留量化模型和激活数据的能力。
2018-07-17 cs.AI cs.CV
An Algorithm for the SE(3)-Transformation on Neural Implicit Maps for Remapping Functions
University of Würzburg(维尔茨堡大学)
隐式表示由于其高效性和灵活性而被广泛用于物体重建。2021年,发明了一种名为神经隐式映射的新结构,用于增量重建。神经隐式映射解决了先前在线3D密集重建的低效内存成本问题,同时产生更好的质量。然而,神经隐式映射遭受其不支持重新映射的限制,因为扫描的帧在生成神经隐式映射之后被编码到深度先验中。这意味着,这个生成过程既不是可逆的,也不是一个深刻的先验是可转化的。不可重映射的属性使得它不能应用循环闭合技术。我们提出了一种基于神经隐式映射的转换算法来填补这一空白。由于我们的神经隐式映射是可转换的,因此我们的模型支持对这种特殊的潜在特征映射进行重新映射。实验表明,我们的重映射模块能够很好地将神经隐式映射转换为新的姿势。嵌入到SLAM框架中,我们的映射模型能够处理循环闭包的重新映射,并展示高质量的表面重建。%我们的实现可在github \footnote{\url{https://github.com/Jarrome/IMT_Mapping}}上为研究社区提供。
2022-06-17 cs.CV cs.RO
Implicit Neural Video Compression
Qualcomm AI Research(高通人工智能研究院)
我们提出了一种方法来压缩全分辨率视频序列与隐式神经表示。每个帧被表示为将坐标位置映射到像素值的神经网络。我们使用一个单独的隐式网络来调制坐标输入,这使得帧之间的有效运动补偿。与一个小的残差网络一起,这使我们能够相对于前一帧有效地压缩P帧。我们通过使用学习的整数量化存储网络权重来进一步降低比特率。我们的方法,我们称之为隐式像素流(IPF),在已建立的神经视频编解码器上提供了几个简化:它不需要接收器访问预训练的神经网络,不使用昂贵的基于插值的扭曲操作,并且不需要单独的训练数据集。我们证明了神经隐式压缩图像和视频数据的可行性。
2021-12-21 cs.CV cs.LG
HyperDiffusion: Generating Implicit Neural Fields with Weight-Space Diffusion
Technical University of Munich(慕尼黑工业大学);Apple(苹果公司)
隐式神经场,通常由多层感知器(MLP)编码,该多层感知器(MLP)从坐标(例如,xyz)到信号(例如,符号距离),已经显示出作为高保真和紧凑表示的显著前景。然而,缺乏规则和显式的网格结构也使得直接在隐式神经场上应用生成建模以合成新数据具有挑战性。为此,我们提出了超扩散,一种新的方法,无条件生成的隐式神经场建模。HyperDiffusion直接对MLP权重进行操作,并生成由合成MLP参数编码的新神经隐式字段。具体而言,首先优化MLP的集合以忠实地表示各个数据样本。随后,在该MLP权重空间中训练扩散过程,以对神经隐场的底层分布进行建模。HyperDiffusion支持在一个统一的框架内,通过隐式、紧凑且高保真的方式,对3D形状和4D网格动画中的复杂信号进行扩散建模。
2023-03-29 cs.CV cs.LG
Explicifying Neural Implicit Fields for Efficient Dynamic Human Avatar Modeling via a Neural Explicit Surface
Hong Kong Baptist University(香港浸会大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出神经显式表面(NES),通过可微转换将隐式神经场显式化并结合光栅化神经渲染器,在二维空间建模动态人体几何与纹理,实现与三维方法相当的性能并显著提升渲染速度、降低内存开销。
2023-08-07 cs.CV cs.GR
Low-Precision Batch-Normalized Activations
Facebook AI Research(Facebook人工智能研究院)
人工神经网络可以用相对低精度的浮点和定点运算来训练,使用1到16位。以前的工作集中在相对较宽但较浅的前馈网络上。我们引入了一种与训练非常深的神经网络兼容的量化方案。在每个批量归一化模块的中间量化网络激活可以大大减少所需的内存量和计算能力,而精度损失很小。
2017-02-27 cs.CV cs.NE
Edge Inference with Fully Differentiable Quantized Mixed Precision Neural Networks
University of Notre Dame(圣母大学);Google LLC(谷歌有限责任公司)
提出一种针对边缘计算的全可微混合精度量化方法,通过硬件感知异构量化、定向梯度修改和多阶段学习,在ImageNet上以低于4.3MB的权重和激活实现最佳准确率。
2023-08-29 cs.CV cs.LG
iDF-SLAM: End-to-End RGB-D SLAM with Neural Implicit Mapping and Deep Feature Tracking
University of Bristol(布里斯托大学);Zhejiang University(浙江大学)
我们提出了一种新的端到端RGB-D SLAM,iDF-SLAM,它采用基于特征的深度神经跟踪器作为前端,NeRF风格的神经隐式映射器作为后端。神经隐式映射器是动态训练的,而神经跟踪器是在ScanNet数据集上预训练的,它也是随着神经隐式映射器的训练而微调的。在这样的设计下,我们的iDF-SLAM能够学习使用场景特定功能进行相机跟踪,从而实现SLAM系统的终身学习。跟踪器和映射器的训练都是自我监督的,而不引入地面真实姿势。我们测试了我们的iDF-SLAM的性能,并将结果与最近的两个基于NeRF的神经SLAM系统进行了比较。所提出的iDF-SLAM在场景重建和相机跟踪的竞争性能方面展示了最先进的结果。
2022-09-16 cs.CV cs.RO
TRIDENT: The Nonlinear Trilogy for Implicit Neural Representations
University of Cambridge(剑桥大学);City University of Hong Kong(香港城市大学)
本文提出了一种用于隐式神经表示的新型函数TRIDENT,其通过阶、频率和空域紧凑性这非线性三部曲来分别捕获高阶特征、频率信息及集中信号能量,并在多种逆问题实验中展现出优于现有方法的性能。
2023-11-21 cs.CV eess.IV
Implicit Conversion of Manifold B-Rep Solids by Neural Halfspace Representation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
提出了一种新的隐式表示--神经半空间表示(NH-Rep),将流形B-Rep实体转换为隐式表示。NH-Rep是建立在由神经网络表示的一组隐式函数上的布尔树,并且复合布尔函数能够在保持尖锐特征的同时表示立体几何。我们提出了一个有效的算法来提取布尔树的流形B-Rep立体和设计一个基于神经网络的优化方法来计算隐函数。我们展示了我们的转换算法提供的高品质的一万流形B-Rep CAD模型,包含各种曲面片,包括NURBS,和我们的学习方法的优越性,在其他代表性的隐式转换算法的表面重建,尖锐的功能保留,签署的距离场近似,和鲁棒性,各种表面几何形状,以及一组应用程序支持的NH-Rep。
2022-09-21 cs.CV cs.GR
Implicit Saliency in Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们表明,现有的识别和定位深度架构,尚未暴露于眼动追踪数据或任何显着性数据集,能够预测人类视觉显着性。我们称之为深层神经网络中的隐式显着性。我们使用期望不匹配假设在无监督的方式计算这种隐式显着性。我们的实验表明,以这种方式提取显着性提供了相当的性能时,对最先进的监督算法进行测量。此外,鲁棒性优于这些算法,当我们加入大的噪声输入图像。此外,我们表明,语义特征比低层次的人类视觉显着性检测功能。
2020-08-04 cs.CV cs.NE
Light Field Compression Based on Implicit Neural Representation
University of Science and Technology of China(中国科学技术大学)
针对光场因角度信息带来的数据冗余问题,提出基于隐式神经表示的光场压缩方案,将光场信息隐存于神经网络并结合模型压缩,实现与传统方法相当的率失真性能及更优感知质量。
2024-05-07 cs.CV eess.IV
Iso-Points: Optimizing Neural Implicit Surfaces with Hybrid Representations
ETH Zurich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
神经隐式函数已经成为3D中曲面的强大表示。这样的函数可以将具有复杂细节的高质量表面编码到深度神经网络的参数中。然而,为精确和鲁棒的重建而优化参数仍然是一个挑战,特别是当输入数据有噪声或不完整时。在这项工作中,我们开发了一种混合神经表面表示,允许我们施加几何感知采样和正则化,这显着提高了重建的保真度。我们建议使用\emph{iso-points}作为神经隐函数的显式表示。这些点在训练过程中实时计算和更新,以捕获重要的几何特征并对优化施加几何约束。我们证明,我们的方法可以采用,以改善国家的最先进的技术,从多视图图像或点云重建神经隐式曲面。定量和定性的评估表明,与现有的采样和优化方法相比,我们的方法可以更快的收敛,更好的推广,并准确地恢复细节和拓扑结构。
2021-04-09 cs.CV cs.GR