Generating visual explanations from deep networks using implicit neural representations
Institute of Fundamental Technological Research, Polish Academy of Sciences(波兰科学院基础技术研究所);RIKEN Center for Brain Science(理化学研究所脑科学中心);Samsung AI Center Warsaw(三星人工智能中心华沙分部)
本研究利用隐式神经表示生成归因掩码,扩展极值扰动技术并提出迭代方法生成多个不重叠掩码,以解释深度学习模型的决策依据。
2025-01-20 cs.CV
NeILF: Neural Incident Light Field for Physically-based Material Estimation
Apple(苹果公司);HKUST(香港科技大学)
我们提出了一个微分渲染框架的材料和照明估计从多视图图像和重建的几何形状。在该框架中,我们将场景照明表示为神经入射光场(NeILF),将材料属性表示为由多层感知器建模的表面BRDF。与将场景照明近似为2D环境地图的最近方法相比,NeILF是一个完全5D光场,能够对任何静态场景的照明进行建模。此外,NeILF表示可以自然地处理遮挡和间接灯光,而不需要多次反弹光线追踪,因此即使对于具有复杂灯光和几何形状的场景,也可以估计材质属性。我们还提出了平滑正则化和朗伯假设,以减少在优化过程中的材料照明模糊。我们的方法严格遵循基于物理的渲染方程,并通过可微渲染过程联合优化材料和照明。我们已经在我们的内部合成数据集,DTU MVS数据集和真实世界的BlendedMVS场景上对所提出的方法进行了深入的评估。我们的方法是能够优于以前的方法的一个显着的利润率方面的新颖的视图渲染质量,设置一个新的国家的最先进的基于图像的材料和照明估计。
2022-03-18 cs.CV
Points2NeRF: Generating Neural Radiance Fields from 3D point cloud
Jagiellonian University(亚捷隆大学);Warsaw University of Technology(华沙理工大学);IDEAS NCBR
本文提出Points2NeRF,利用超网络从带颜色的3D点云生成NeRF权重,以高效表示3D物体并提升未见物体的泛化能力。
2024-06-12 cs.CV
Differentiable Ray Tracing with Gaussians for Unified Radio Propagation Simulation and View Synthesis
Center for Machine Vision and Signal Analysis, University of Oulu, Finland(奥卢大学机器视觉与信号分析中心,芬兰);CubiCasa Oy, Finland(芬兰CubiCasa公司)
本文提出一种基于高斯的可微射线追踪框架,实现无线传播模拟与视图合成的统一空间表示,通过可视化重建神经场景直接计算点对点路径,保留高质量视觉渲染。
2026-05-08 cs.CV
Feedback Neural Network based Super-resolution of DEM for generating high fidelity features
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
高分辨率数字高程模型(DEM)是许多应用的重要要求,如模拟水流,山体滑坡,雪崩等,但公开可用的DEM在世界上大多数地区的分辨率较低。尽管使用深度学习解决方案在图像超分辨率任务中取得了巨大的成功,但很少有作品在DEM上使用这些强大的系统来生成HRDEM。从反馈神经网络的启发,我们提出了一种新的神经网络架构,学习添加高频细节迭代低分辨率DEM,把它变成一个高分辨率DEM,而不损害其保真度。我们的实验证实,在没有任何额外的模态(如航空图像(RGB))的情况下,我们的网络DSRFB在4个不同的数据集上实现了0.59到1.27的RMSE。
2020-07-03 cs.CV eess.IV
Controllable Video Generation by Learning the Underlying Dynamical System with Neural ODE
University of Edinburgh(爱丁堡大学);University of Groningen(格罗宁根大学);Carnegie Mellon University(卡内基梅隆大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University College London(伦敦大学学院)
本文提出 TiV-ODE 框架,利用 Neural ODE 将复杂动力系统表示为非线性常微分方程,实现从静态图像和文本生成高度可控且视觉一致的视频。
2023-04-04 cs.CV
Neural Painters: A learned differentiable constraint for generating brushstroke paintings
我们探索神经画家,从一个真正的不可微和非确定性绘画程序学习的笔触生成模型。我们表明,当训练一个代理使用笔触“画”图像时,使用可微分神经画家会导致更快的收敛。我们提出了一种方法,鼓励这个代理人在重建数字时遵循人类的笔画。我们还探讨了使用神经画家作为可微图像参数化。通过直接优化笔触来激活预先训练的卷积网络中的神经元,我们可以直接可视化ImageNet类别并生成每个类别的“理想”绘画。最后,我们提出了一个新的概念,称为内在风格转移。通过最大限度地减少神经风格转移的内容损失,我们允许艺术媒介,在这种情况下,笔触,自然地决定了最终的风格。
2019-04-22 cs.CV cs.LG stat.ML
HyperDiffusion: Generating Implicit Neural Fields with Weight-Space Diffusion
Technical University of Munich(慕尼黑工业大学);Apple(苹果公司)
隐式神经场,通常由多层感知器(MLP)编码,该多层感知器(MLP)从坐标(例如,xyz)到信号(例如,符号距离),已经显示出作为高保真和紧凑表示的显著前景。然而,缺乏规则和显式的网格结构也使得直接在隐式神经场上应用生成建模以合成新数据具有挑战性。为此,我们提出了超扩散,一种新的方法,无条件生成的隐式神经场建模。HyperDiffusion直接对MLP权重进行操作,并生成由合成MLP参数编码的新神经隐式字段。具体而言,首先优化MLP的集合以忠实地表示各个数据样本。随后,在该MLP权重空间中训练扩散过程,以对神经隐场的底层分布进行建模。HyperDiffusion支持在一个统一的框架内,通过隐式、紧凑且高保真的方式,对3D形状和4D网格动画中的复杂信号进行扩散建模。
2023-03-29 cs.CV cs.LG
Neural Naturalist: Generating Fine-Grained Image Comparisons
University of Washington(华盛顿大学);Google Research(谷歌研究院);Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院)
我们引入了新的Birds-to-Words数据集,其中包含41 k个句子,描述了鸟类照片之间的细粒度差异。收集的语言非常详细,同时保持日常观察者可以理解(例如,“心形脸”、“下蹲身体”)。段落长度的描述自然适应不同层次的分类和视觉距离-从一个新的分层抽样方法-与适当的细节水平。我们提出了一种名为神经自然主义者的新模型,该模型使用联合图像编码和比较模块来生成比较语言,并与必须使用描述来区分真实图像的人类一起评估结果。我们的研究结果表明,神经模型有潜力使用自然语言解释视觉嵌入空间的差异,以及机器学习的具体途径,以帮助公民科学家努力保护生物多样性。
2019-11-14 cs.CL cs.CV
GO-NeRF: Generating Objects in Neural Radiance Fields for Virtual Reality Content Creation
The University of Hong Kong(香港大学);Google(谷歌)
GO-NeRF提出一种在NeRF场景中根据文本提示和用户区域生成并集成3D物体的流程,通过组合渲染和定制优化提升场景和谐度与新视角质量。
2024-09-20 cs.CV
Make (Nearly) Every Neural Network Better: Generating Neural Network Ensembles by Weight Parameter Resampling
LG Electronics(LG电子)
深度神经网络(DNN)在计算机视觉、自然语言处理和其他领域变得越来越流行。然而,训练和微调深度学习模型是计算密集型和耗时的。我们提出了一种新的方法来提高几乎所有模型的性能,包括预训练模型。所提出的方法使用集成方法,其中集成中的网络是通过基于这些参数的概率分布重新分配模型参数值来构建的,这些参数是在训练过程结束时计算的。对于预训练的模型,这种方法会导致额外的训练步骤(通常少于一个epoch)。我们使用MNIST数据集进行了各种分析,并使用ImageNet数据集上的预训练模型使用许多DNN模型验证了该方法。
2018-07-02 cs.AI cs.CV cs.LG
Dynamic Neural Textures: Generating Talking-Face Videos with Continuously Controllable Expressions
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
最近,说话人脸视频生成受到了相当大的关注。到目前为止,大多数方法生成的结果与中性表达式或表达式,隐含地由神经网络以不可控的方式确定。在本文中,我们提出了一种方法来产生说话的脸视频与连续可控的表情在实时。我们的方法是基于一个重要的观察:相对于中等分辨率的面部几何形状,大多数表情信息在于纹理。然后利用神经纹理生成高质量的人脸视频,并设计了一种新的神经网络,它可以根据输入表情和连续强度表情编码(CIEC)生成图像帧的神经纹理(我们称之为动态神经纹理)。我们的方法使用3DMM作为一个3D模型来采样动态神经纹理。由于三维数字万用表无法覆盖牙齿区域,因此我们提出了一个牙齿子模块来完成牙齿中的细节。结果和消融研究表明,我们的方法在生成高质量的说话的脸视频连续可控的表情的有效性。我们还结合现有的代表性方法建立了四个基线方法,并与我们的方法进行比较。包括用户研究的实验结果表明,我们的方法具有最好的性能。
2022-04-13 cs.CV cs.GR cs.MM
Generating Band-Limited Adversarial Surfaces Using Neural Networks
Technion, Israel Institute of Technology(以色列理工学院)
生成对抗性示例是一种创造噪声的艺术,该噪声被添加到分类神经网络的输入信号中,从而改变网络的分类,同时保持噪声尽可能微弱。虽然该主题在2D领域中得到了很好的研究,但在3D领域中却落后于3D领域,即攻击在3D点云或网格上工作的分类网络,例如,对人的3D扫描的姿势进行分类。到目前为止,绝大多数描述这种机制下的对抗攻击的论文都是通过优化方法进行的。在这份技术报告中,我们提出了一种生成攻击的神经网络。该网络利用PointNet的架构进行了一些修改。虽然我们工作所基于的前几篇文章必须单独优化每个形状,即在没有任何学习的情况下从头开始为每个输入量身定制攻击,但我们试图创建一个统一的模型,可以通过一次向前运行来推导出所需的对抗性示例。
2021-11-14 cs.CR cs.CV cs.LG
An Unsupervised Way to Understand Artifact Generating Internal Units in Generative Neural Networks
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);INEEJI
尽管生成对抗网络(GANs)的图像生成性能有了显著的改进,但仍然观察到具有低视觉保真度的代。由于广泛使用的GANs指标更多地关注模型的整体性能,因此评估单个代的质量或检测有缺陷的代是具有挑战性的。虽然最近的研究试图检测featuremap单位,造成文物和评估个别样本,这些方法需要额外的资源,如外部网络或一些训练数据,以近似真实的数据流形。在这项工作中,我们提出了本地激活的概念,并设计了一个度量的本地激活检测文物代没有额外的监督。我们经验性地验证了我们的方法可以检测和纠正来自具有各种数据集的GANs的伪影生成。最后,我们讨论了几何分析,部分揭示了所提出的概念和低视觉保真度之间的关系。
2021-12-16 cs.AI cs.CV
Generating 3D models from sketches of human faces using a combined approach of Convolutional Neural Networks, Procedural Modeling, and Contour Mapping
Behaviour Digital
提出一种结合卷积神经网络、参数化3D人脸模型和主动蛇形轮廓的新方法,首次通过训练CNN检测素描中的表情并生成对应3D模型。
2026-05-25 cs.CV cs.GR cs.LG
Neural directional distance field object representation for uni-directional path-traced rendering
National Institute of Science Education and Research(国家科学教育与研究所);Homi Bhabha National Institute(霍米·巴巴国家研究所)
本文针对计算机图形学中路径追踪渲染的查询瓶颈,提出方向距离场作为物体的函数表示,将其存储为神经网络进行优化,并设计了修改后的路径追踪算法以实现该物体表示的快速渲染。
2023-06-28 cs.CV cs.GR
Generating by Understanding: Neural Visual Generation with Logical Symbol Groundings
State Key Laboratory of CAD&CG(CAD与CG国家重点实验室);National Key Laboratory for Novel Software Technology(新型软件技术国家实验室);Department of Computer and Information Science(计算机与信息科学系)
本文提出AbdGen方法,通过向量量化符号接地与逻辑溯因,使神经视觉生成模型可被逻辑推理系统控制,并支持少样本学习和从数据中归纳生成规则。
2025-06-05 cs.AI cs.CV cs.GR
LoGAN: Generating Logos with a Generative Adversarial Neural Network Conditioned on color
Maastricht University(马斯特里赫特大学)
对任何设计师来说,设计一个标志都是一个漫长、复杂和昂贵的过程。然而,生成算法的最新进展提供了可以提供可能解决方案的模型。逻各斯是多模态的,几乎没有范畴属性,也没有连续的潜空间。然而,有条件的生成对抗网络可以用来生成徽标,帮助设计师进行创作。我们建议Logan:改进的辅助分类器Wasserstein生成对抗神经网络(具有梯度惩罚),能够生成以十二种不同颜色为条件的徽标。在生成的768个实例(12个类,每个类64个徽标)中,当查看最突出的颜色时,模型的条件生成部分的总体精度和召回率分别为0.8和0.7。LoGAN的研究结果让人们初步了解了人工智能如何用于帮助设计师进行创作,并开辟了未来有前途的方向,例如包括更多描述性标签,这将提供一个更详尽和易于使用的系统。
2018-10-23 cs.AI cs.CV cs.LG
HFNeRF: Learning Human Biomechanic Features with Neural Radiance Fields
INRIA(法国国家信息与自动化研究所);I3S-CNRS(法国国家科学研究中心I3S研究所)
本文提出 HFNeRF,结合预训练基础模型与神经体渲染,使可泛化人体 NeRF 能同时学习颜色、几何及骨骼等生物力学特征。
2024-04-09 cs.AI cs.CV
3D-PRNN: Generating Shape Primitives with Recurrent Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe 研究院)
包括机器人、数字内容创建和可视化在内的各种应用的成功需要从有限的传感器数据中对3D世界进行结构化和抽象的表示。受人类感知的3D形状作为一个简单的部分集合的性质的启发,我们探索这样一个抽象的形状表示基元的基础上。给定对象的单个深度图像,我们提出了3D-PRNN,这是一种生成递归神经网络,它合成了由一组图元组成的多个看似合理的形状。我们的生成模型编码常见的人造物体的对称特性,保持长期的结构一致性,并描述了不同的复杂性与紧凑的表示对象。我们还提出了一种基于高斯场的方法来生成基于连续性的形状表示的大规模数据集,以训练我们的网络。我们评估了我们的方法在广泛的例子,并表明它优于最近邻的形状检索方法,并与基于体素的生成模型,同时使用一个显着减少的参数空间。
2017-08-04 cs.AI cs.CV cs.LG
Analyzing and Improving Neural Networks by Generating Semantic Counterexamples through Differentiable Rendering
University of California, Berkeley(加州大学伯克利分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
即使深度神经网络(DNN)在视觉相关任务上取得了显著的成功,它们的性能也很容易受到输入转换的影响。特别令人感兴趣的是语义转换,其对具有物理世界基础的变化进行建模,例如旋转、平移、照明或相机姿势的变化。在本文中,我们展示了如何利用可微渲染来生成信息丰富但逼真的图像,这些图像可用于分析DNN性能并通过数据增强来提高其鲁棒性。给定一个可区分的渲染器和DNN,我们展示了如何使用来自对抗性机器学习的现成攻击来生成语义反例-语义特征被改变以产生错误分类或错误检测的图像。我们在DNN上验证了我们的方法用于图像分类和目标检测。对于分类,我们证明了语义反例,当用于增强数据集时,(i)提高泛化性能(ii)增强对语义转换的鲁棒性,以及(iii)模型之间的转移。此外,与基于采样的语义增强相比,我们的技术以样本高效的方式生成更多信息数据。
2020-07-17 cs.CV cs.LG stat.ML
Enhancing Autonomous Navigation by Imaging Hidden Objects using Single-Photon LiDAR
MIT Media Lab, Massachusetts Institute of Technology(麻省理工学院媒体实验室、麻省理工学院);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Dartmouth College(达特茅斯学院)
本文提出利用单光子LiDAR的非视距感知方法,通过三模块流水线实现移动机器人“看到拐角后方”并安全导航,首次实验验证了NLOS成像在自主导航中的应用。
2025-03-11 cs.CV cs.RO
ICoNIK: Generating Respiratory-Resolved Abdominal MR Reconstructions Using Neural Implicit Representations in k-Space
Helmholtz Munich(亥姆霍兹慕尼黑中心);Technical University of Munich(慕尼黑工业大学);Philips GmbH(飞利浦有限公司);German Cancer Consortium (DKTK)(德国癌症联盟(DKTK))
针对腹部 MRI 呼吸运动分辨重建中运动模糊与欠采样伪影的权衡问题,提出直接在 k 空间学习 NIK,并用 ICo 层利用邻域信息校正预测,从而获得优于标准方法的无模糊重建。
2023-08-17 cs.CV cs.LG eess.IV
Spot the fake lungs: Generating Synthetic Medical Images using Neural Diffusion Models
College of Science and Engineering, Hamad Bin Khalifa University(哈马德·本·哈利法大学科学与工程学院);Manchester University NHS Foundation Trust(曼彻斯特大学国民保健服务基金会信托)
生成模型在医学图像的合成中越来越受欢迎。最近,神经扩散模型已经证明了生成物体的照片级逼真图像的潜力。然而,它们生成医学图像的潜力尚未被探索。在这项工作中,我们探讨了使用神经扩散模型合成医学图像的可能性。首先,我们使用预训练的DALLE2模型从输入文本提示中生成肺部X射线和CT图像。其次,我们训练一个稳定的扩散模型与3165 X射线图像,并产生合成图像。我们通过定性分析来评估合成图像数据,其中两名独立的放射科医生将从生成的数据中随机选择的样本标记为真实,虚假或不确定。结果表明,使用扩散模型生成的图像可以转换胸部X射线或CT图像中特定于某些医疗状况的特征。仔细调整模型可能非常有希望。据我们所知,这是第一次尝试使用神经扩散模型生成肺部X射线和CT图像。这项工作旨在为医学成像引入人工智能的新维度。鉴于这是一个新的课题,本文将作为一个介绍和研究社区的动机,探索医学图像合成的扩散模型的潜力。我们已经在https://www.kaggle.com/datasets/hazrat/awesomelungs上发布了合成图像。
2022-11-02 cs.AI cs.CV cs.LG
NephroNet: A Novel Program for Identifying Renal Cell Carcinoma and Generating Synthetic Training Images with Convolutional Neural Networks and Diffusion Models
Battlefield High School(巴特尔菲尔德高中)
肾细胞癌(RCC)是一种起源于肾脏的癌症,是成人中最常见的肾癌类型。它可以分为几个亚型,包括透明细胞RCC,乳头状RCC和嫌色细胞RCC。在这项研究中,开发并训练了一种人工智能模型,用于使用ResNet-18对RCC的不同亚型进行分类,ResNet-18是一种卷积神经网络,已广泛用于图像分类任务。该模型在RCC组织病理学图像的数据集上进行训练,该数据集由RCC手术切除载玻片的数字图像组成,这些数字图像用相应的亚型标签进行注释。训练模型的性能使用几个指标进行评估,包括准确度,精确度和召回率。此外,在这项研究中,一种新的合成图像生成工具,NephroNet,开发扩散模型,用于生成原始图像的RCC手术切除幻灯片。扩散模型是一类能够从噪声中合成高质量图像的生成模型。几个扩散器,如稳定扩散,Dreambooth文本到图像和文本反转在RCC图像数据集上进行了训练,并用于生成一系列类似RCC手术切除切片的原始图像,所有这些都在不到四秒的时间内完成。生成的图像在视觉上是逼真的,可用于创建新的训练数据集,测试图像分析算法的性能,以及培训医疗专业人员。NephroNet作为开源软件包提供,包含用于数据预处理、训练和可视化的文件。总的来说,这项研究表明了人工智能和扩散模型的分类和生成RCC图像,分别的潜力。这些方法对提高肾细胞癌的诊断和治疗水平具有重要意义。
2023-02-12 cs.CV cs.LG eess.IV
Neural Brain Fields: A NeRF-Inspired Approach for Generating Nonexistent EEG Electrodes
School of Electrical and Computer Engineering, Ben Gurion University of the Negev(本·古里安大学内盖夫分校电子与计算机工程学院);School of Computer Science, Tel Aviv University(特拉维夫大学计算机科学学院)
本文提出了一种受NeRF启发的方法,通过生成不存在的EEG电极数据,实现对脑活动的高分辨率可视化和EEG信号的重建。
2025-12-20 cs.AI cs.CV cs.LG