Recovery of underdrawings and ghost-paintings via style transfer by deep convolutional neural networks: A digital tool for art scholars
University College London(伦敦大学学院);University of Cambridge(剑桥大学)
我们描述了卷积神经网络风格转移的应用,以提高美术油画中的底画和鬼画的可视化问题。这种底画和隐藏的绘画通常通过X射线或红外技术显示,这些技术产生灰度图像,因此缺乏颜色和完整的风格信息。过去用于推断底画中的颜色的方法是基于幽灵画中颜料的物理X射线荧光光谱成像,因此昂贵,耗时,并且需要大多数保护工作室无法获得的设备。我们的算法方法不需要如此昂贵的物理成像设备。我们的概念验证系统应用于Pablo Picasso和Leonardo的作品,揭示了尊重鬼画中自然分割的颜色和设计。我们相信,计算图像提供了对艺术家和相关作品的洞察力,这是其他方式所无法实现的。我们的研究结果强烈表明,未来的应用程序的基础上更大的语料库的绘画培训将显示配色方案和设计,甚至更接近的艺术家的作品。由于这些原因,我们的方法的改进应该在艺术保护,鉴赏和艺术分析中得到广泛的应用。
2021-01-04 cs.CV
Stylized Neural Painting
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Beihang University(北京航空航天大学)
本文提出了一种图像到绘画的翻译方法,生成生动逼真的绘画艺术作品,风格可控。不同于以往的图像到图像的翻译方法,制定的翻译像素的预测,我们处理这样一个艺术创作过程中的矢量化环境,并产生一个序列的物理意义的笔画参数,可以进一步用于渲染。由于一个典型的矢量渲染是不可区分的,我们设计了一种新的神经渲染器,它模仿矢量渲染器的行为,然后帧的笔画预测作为一个参数搜索过程,最大限度地提高输入和渲染输出之间的相似性。我们探讨了零梯度问题的参数搜索,并提出解决这个问题的最佳运输的角度来看。我们还表明,以前的神经渲染器有一个参数耦合问题,我们重新设计了渲染网络与光栅化网络和着色网络,更好地处理形状和颜色的解纠缠。实验表明,我们的方法生成的绘画具有较高的保真度,在全球的外观和局部纹理。我们的方法也可以与神经风格转移联合优化,进一步从其他图像转移视觉风格。我们的代码和动画结果可在\url{https://jiupinjia.github.io/neuralpainter/}上获得。
2020-11-16 cs.CV
Paint Transformer: Feed Forward Neural Painting with Stroke Prediction
Baidu Inc.(百度公司);Nanjing University(南京大学);Rutgers University(罗格斯大学)
神经绘画是指为给定图像产生一系列笔划并使用神经网络非照片真实地重新创建它的过程。虽然基于强化学习(RL)的代理可以生成一个笔划序列一步一步的任务,它是不容易的训练一个稳定的RL代理。另一方面,笔划优化方法在大的搜索空间中迭代地搜索笔划参数集合;这种低效率显著地限制了它们的流行和实用性。不同于以往的方法,在本文中,我们制定的任务作为一个集预测问题,并提出了一种新的基于变压器的框架,称为油漆Transformer,预测的参数与前馈网络的中风集。通过这种方式,我们的模型可以并行生成一组笔划,并接近实时的获得尺寸为512 * 512的最终绘画。更重要的是,由于没有数据集可用于训练Paint Transformer,我们设计了一个自训练管道,这样它就可以在没有任何现成数据集的情况下进行训练,同时仍然具有出色的泛化能力。实验表明,我们的方法取得了更好的绘画性能比以前的便宜的训练和推理成本。代码和模型可用。
2021-08-11 cs.CV
Multitask Painting Categorization by Deep Multibranch Neural Network
University of Milano-Bicocca(米兰比可卡大学)
在这项工作中,我们提出了一个新的深度多分支神经网络,以解决艺术家,风格和流派分类的多任务制定的任务。为了从低层次纹理细节中收集线索,同时利用绘画的粗糙布局,所提出的网络的分支以不同的分辨率提供作物。我们提出并比较了两种不同的作物策略:第一种是随机作物策略,允许管理精度和速度之间的权衡;第二种是基于空间Transformer网络训练提取最具代表性的子区域的智能提取器。此外,受到其他领域获得的结果的启发,我们实验了直接在输入图像上计算的手工特征与神经特征的联合使用。实验是在一个新的数据集上进行的,该数据集最初来自wikiart.org,由Kaggle托管,并适合艺术家,风格和流派的多任务学习。本文提出的数据集名为MultitaskPainting 100 k,由100 K幅绘画,1508位艺术家,125种风格和41种流派组成。在MultitaskPainting 100 k数据集上测试的最佳方法,在艺术家,风格和流派预测任务上分别达到了56.5%,57.2%和63.6%的准确率。
2018-12-19 cs.CV
Collaborative Neural Painting
University of Trento(特伦托大学);University of Pisa(比萨大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出协作式神经绘画任务,通过参数化笔触序列、Transformer 注意力机制、掩码方案和扩散模型,实现人与机器迭代式协作生成连贯绘画,并引入新数据集与评估协议验证其有效性。
2023-12-04 cs.CV
Artist, Style And Year Classification Using Face Recognition And Clustering With Convolutional Neural Networks
STM A.S.(STM公司)
艺术品绘画的艺术家、年份和风格分类通常使用标准图像分类方法、图像分割或最近的卷积神经网络(CNN)来实现。这项工作的目的是使用新开发的人脸识别方法,如FaceNet,该方法使用CNN来使用绘画中提取的人脸对美术绘画进行聚类,这些人脸被大量发现。我们选择了一个由1000多位艺术家的80,000多幅画作组成的数据集,并执行了三个独立的人脸识别和聚类任务。生成的聚类通过绘画的文件名进行分析,聚类通过其主要艺术家,年份范围和风格命名。进一步分析集群,并计算其性能指标。该研究显示了有希望的结果,因为艺术家,年份和风格的聚类准确率分别为58.8%,63.7%和81.3%,而聚类的平均纯度分别为63.1%,72.4%和85.9%。
2020-12-02 cs.CV
AttentionPainter: An Efficient and Adaptive Stroke Predictor for Scene Painting
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);Cardiff University(卡迪夫大学)
针对神经绘画推理慢、训练不稳的问题,提出单步 AttentionPainter,通过可扩展笔触预测器、快速笔触堆叠、笔触密度损失及笔触扩散模型实现高效高质量生成。
2024-10-25 cs.CV
Interactive Neural Style Transfer with Artists
ENS, PSL University & INRIA(巴黎高等师范学院、巴黎文理研究大学与法国国家信息与自动化研究所);ENS, CNRS, PSL University(巴黎高等师范学院、法国国家科学研究中心与巴黎文理研究大学);ENS Paris-Saclay(巴黎萨克雷高等师范学院)
我们提出了交互式绘画过程中,画家和各种神经风格转移算法在一个真正的画布上进行交互。了解这些算法的输出结果对于描述我们交互实验中的创造性机构至关重要。我们收集了一组成对的绘画图片图像,并提出了一种新的评估方法的基础上预测的神经风格转移算法。指出了一些算法的不稳定性,并指出它们可以用来扩大现有的众多神经风格转换算法合成的图像的多样性和令人愉悦的奇异性。这种图像的多样性被认为是人类画家的灵感来源,将机器描绘成计算催化剂。
2020-03-14 cs.CV cs.GR cs.HC
Restyling Images with the Bangladeshi Paintings Using Neural Style Transfer: A Comprehensive Experiment, Evaluation, and Human Perspective
Shahjalal University of Science and Technology(沙赫贾拉尔科技大学)
在当今世界,神经风格转移(NST)已成为一个趋势术语。NST将两张图片,一张内容图片和一张风格上的参考图片(如著名画家的作品)组合在一起,使输出图像看起来像材料的图像,但以参考图片的形式呈现。然而,没有研究使用孟加拉国画家的艺术品或绘画。孟加拉国绘画有着两千多年的悠久历史,至今仍被孟加拉国画家所实践。本研究在孟加拉国绘画中生成了NST风格化的图像,并分析了人类对NST在孟加拉国绘画中的审美偏好的观点。为了确保我们的研究被接受,我们对60名不同年龄和性别的个体对生成的程式化图像进行了定性的人类评估。我们已经解释了NST如何适用于孟加拉国的绘画,并定性\定量地评估NST算法。我们的研究作为一个先决条件的NST风格化的图像使用孟加拉国的绘画对移动UI/GUI和材料翻译的影响,从人类的角度来看。我们希望这项研究将鼓励新的合作,创造更多的NST相关的研究和扩大孟加拉国艺术品的使用。
2020-12-10 cs.AI cs.CV
Exploring the structure of a real-time, arbitrary neural artistic stylization network
Google Brain(谷歌大脑);MILA, Université de Montréal(蒙特利尔大学MILA)
在本文中,我们提出了一种方法,它结合了艺术风格的神经算法的灵活性与快速风格传输网络的速度,允许使用任何内容/风格图像对实时的【形】风格化。我们建立在最近的工作,利用条件实例规范化的多风格的传输网络,学习预测的条件实例规范化参数直接从一个风格的图像。该模型在大约80,000幅绘画的语料库上成功训练,并且能够推广到以前未观察到的绘画。我们证明了学习的嵌入空间是平滑的,包含丰富的结构,并以完全无监督的方式组织与绘画相关的语义信息。
2017-08-24 cs.CV
Neural Painters: A learned differentiable constraint for generating brushstroke paintings
我们探索神经画家,从一个真正的不可微和非确定性绘画程序学习的笔触生成模型。我们表明,当训练一个代理使用笔触“画”图像时,使用可微分神经画家会导致更快的收敛。我们提出了一种方法,鼓励这个代理人在重建数字时遵循人类的笔画。我们还探讨了使用神经画家作为可微图像参数化。通过直接优化笔触来激活预先训练的卷积网络中的神经元,我们可以直接可视化ImageNet类别并生成每个类别的“理想”绘画。最后,我们提出了一个新的概念,称为内在风格转移。通过最大限度地减少神经风格转移的内容损失,我们允许艺术媒介,在这种情况下,笔触,自然地决定了最终的风格。
2019-04-22 cs.CV cs.LG stat.ML
Leveraging Computer Vision Application in Visual Arts: A Case Study on the Use of Residual Neural Network to Classify and Analyze Baroque Paintings
Faculty of Arts(艺术学院);Masaryk University(马萨里克大学)
随着大型数字化美术收藏品的不断增加,绘画的自动分析和分类正在成为一个有趣的研究领域。然而,由于领域特异性,隐含的主观性和模糊分离艺术运动的普遍细微差别,使用机器学习技术分析艺术带来了重大挑战。残差网络或其变体是用于图像分类任务的最流行的工具之一,其可以为定义良好的类提取相关特征。在这个案例研究中,我们专注于一个选定的绘画“肖像画家查尔斯布鲁尼”的约翰Kupetzky和所提出的分类器的性能分析的分类。我们发现,在残差网络训练过程中提取的特征可以用于在线艺术收藏搜索系统中的图像检索。
2022-10-27 cs.CV cs.MM
Neural-Polyptych: Content Controllable Painting Recreation for Diverse Genres
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Huawei Technologies Ltd.(华为技术有限公司)
本文提出统一框架 Neural-Polyptych,结合手绘草图与原始绘画片段,通过多尺度 GAN 和 Correspondence Attention 模块实现百万像素级、内容可控的多流派绘画再创作。
2024-09-29 cs.CV cs.GR
Preserving Color in Neural Artistic Style Transfer
U. Tübingen(图宾根大学);Adobe Research(奥多比研究院)
本文介绍了神经艺术风格转移算法(Gatys等人)的扩展。原始算法将图像变换为具有另一给定图像的风格。例如,一张照片可以被转换成一幅名画的风格。在这里,我们解决了原始方法的一个潜在缺点:算法转移了原始绘画的颜色,这可能会以不受欢迎的方式改变场景的外观。我们描述了简单的线性方法转移风格,同时保持颜色。
2016-06-19 cs.CV
A Multi-modal Registration and Visualization Software Tool for Artworks using CraquelureNet
FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
在绘画艺术研究中,经常使用多种成像技术,如可见光摄影、红外反射摄影、紫外荧光摄影和X射线摄影。对于逐像素比较,必须配准多模态图像。我们提出了一个注册和可视化软件工具,嵌入了一个卷积神经网络,以提取跨模态特征的裂缝结构在历史绘画的自动注册。图形用户界面处理用户的输入,以配置配准参数,并且例如通过视图的单独或同步缩放或移动来交互地适配具有配准对和图像覆盖的图像视图。在评估中,我们定性和定量地显示了我们的软件工具的有效性,在注册性能和短推理时间的多模态绘画和它的可转移性,通过应用我们的方法,历史版画。
2022-08-18 cs.CV
The World is Your Canvas: Painting Promptable Events with Reference Images, Trajectories, and Text
HKUST(香港科技大学);Ant Group(蚂蚁集团);ZJU(浙江大学);NEU(南京大学);CUHK(香港中文大学);NTU(南洋理工大学)
WorldCanvas通过结合文本、轨迹和参考图像,实现可提示的多代理交互事件生成,提升世界模型的交互性和可控性。
2025-12-18 cs.CV
Channel Decomposition into Painting Actions
Microsoft(微软)
这项工作提出了一种将深度神经网络的卷积层分解为绘画动作的方法。为了表现得像人类画家一样,这些动作由模拟手部运动、绘画颜色变化、笔划形状和笔划风格的成本驱动。为了帮助规划,应用Mask R-CNN来检测对象区域并决定绘制顺序。所提出的绘画系统引入了各种扩展的艺术风格,根据所选择的参数。进一步的实验进行评估的通道渗透和通道的敏感性上的笔划。
2019-11-12 cs.CV cs.GR cs.LG
Graph Neural Networks for Knowledge Enhanced Visual Representation of Paintings
University of Amsterdam(阿姆斯特丹大学)
提出ArtSAGENet,整合GNN与CNN,联合学习视觉与语义艺术表示,在多项美术分析任务中超越CNN基线,且计算效率高,捕获艺术家与作品关联,展现语义与视觉整合的潜力。
2025-05-24 cs.CV cs.LG
MeshBrush: Painting the Anatomical Mesh with Neural Stylization for Endoscopy
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
针对内窥镜仿真视频缺乏时间一致性的问题,本文提出 MeshBrush 神经网格风格化方法,结合可微渲染、逐顶点纹理与 I2I 模型生成高保真且时序一致的逼真视频。
2024-09-09 cs.CV eess.IV
A Neural Network Looks at Leonardo's(?) Salvator Mundi
Art Eye-D Associates LLC(Art Eye-D联合公司)
我们使用卷积神经网络(CNN)来分析围绕达芬奇作品的作者身份问题-特别是世界上最昂贵的画作,也是最具争议的画作之一。我们的系统在研究中的艺术家的作品和其他艺术家的视觉可比作品上进行了训练,可以识别可能的错误并揭示归因争议。列奥纳多为数不多的现存画作测试了我们系统的极限,需要测试和分析的确证技术。
2020-05-21 cs.AI cs.CV
MONET -- Virtual Cell Painting of Brightfield Images and Time Lapses Using Reference Consistent Diffusion
MONET通过参考一致扩散模型从明场图像预测细胞成像通道,解决细胞成像的劳动密集和化学固定限制,实现动态细胞研究的虚拟成像技术。
2025-12-12 cs.AI cs.CV
Craquelure as a Graph: Application of Image Processing and Graph Neural Networks to the Description of Fracture Patterns
The Norwegian Colour and Visual Computing Laboratory, NTNU(挪威色彩与视觉计算实验室,挪威科技大学)
绘画上的裂纹不是缺陷,而是艺术品的独特特征,可用于原产地检查,老化监测,损坏鉴定,甚至伪造检测。这项工作提出了一种新的方法和相应的工具箱的开发,用于从裂纹图案的图像中提取和表征信息。所提出的方法处理裂纹网络作为一个图形。图形表示通过结点和断裂的相互组织来捕获网络结构。此外,它对任何几何变形都是不变的。同时,我们的工具单独提取每个节点和边缘的属性,这允许统计地表征模式。我们分别使用新颖的图神经网络和手工制作的描述符来说明图表示和统计特征的好处。然而,我们也表明,最好的性能时,这两种技术合并到一个框架。我们进行实验的数据集上的绘画的原产地分类,并证明我们的方法优于现有的技术,由一个很大的利润。
2019-12-04 cs.CV
MambaPainter: Neural Stroke-Based Rendering in a Single Step
Doshisha University(同志社大学)
针对传统笔画渲染方法逐笔预测导致效率低下的问题,提出MambaPainter,利用选择性状态空间模型在单步推理中预测超100笔序列,并结合分块扩展实现高分辨率图像的高效油画风格转换。
2024-10-16 cs.CV
Marionette: Predicting World States, Rendering Geometry, Painting Appearance
Alaya Lab(Alaya实验室);Shanghai Innovation Institute(上海创新研究院);Huazhong University of Science and Technology(华中科技大学)
Marionette是面向带关节角色的交互式游戏的世界模型,通过显式建模3D世界状态、委托几何计算、合成外观,实现了可控的长时序行为,且外观生成无明显保真度损失。
2026-08-17 cs.AI cs.CV
Neural Style Representations and the Large-Scale Classification of Artistic Style
University of New Hampshire(新罕布什尔大学)
绘画的艺术风格是艺术史学家对艺术作品进行分组和分类的微妙的审美判断。最近引入的“神经风格”算法在将一幅图像或一组图像的感知艺术风格与另一幅图像的感知内容相融合方面取得了实质性成功。鉴于这一点和其他最近的发展,图像分析通过卷积神经网络,我们调查的有效性“神经风格”的表示分类的艺术风格的绘画。
2016-11-16 cs.AI cs.CV cs.IR
Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN
Soochow University(苏州大学)
近年来,随着革命性的神经风格转换方法,可信的绘画可以自动合成的内容图像和风格图像。然而,当涉及到将绘画风格应用到动画草图的任务时,这些方法将只是随机地将草图线着色为输出,并且在主要任务中失败:特定的风格转换。在本文中,我们集成了残余U-网络应用的风格与辅助分类器生成对抗网络(AC-GAN)的灰度草图。整个过程自动化程度高,速度快,在艺术风格和色彩质量方面效果良好。
2017-06-13 cs.CV
Look, Compare and Draw: Differential Query Transformer for Automatic Oil Painting
School of Software, Xi’an Jiaotong University(西安交通大学软件学院);School of Computer and Information Science, Hefei University of Technology(合肥工业大学计算机与信息学院);Jianghuai Advance Technology Center(江淮前沿技术中心);Anhui Provincial Key Laboratory of Humanoid Robots(安徽省人形机器人重点实验室);Anhui Provincial Industry Innovation Center of Humanoid Robots(安徽省人形机器人产业创新中心);Singapore Management University(新加坡管理大学);Institute of Collaborative Innovation, University of Macau(澳门大学协同创新研究院)
本文提出了一种新的自动油画方法,通过差分图像分析提升笔触的动态和表现力,采用差分查询变换器增强局部细节敏感性,提升油画的真实性和艺术性。
2026-03-29 cs.CV cs.MM
PaintCopilot: Modeling Painting as Autonomous Artistic Continuation
MIT Media Lab(MIT媒体实验室);New York University(纽约大学)
本文提出了一种基于神经网络的绘画助手PaintCopilot,通过建模绘画作为开放性自回归艺术行为,基于不断演变的画布状态和先前笔触历史,无需目标图像即可预测未来笔触,与现有神经绘画方法不同,后者将绘画建模为向预定参考图像的像素重建。
2026-09-15 cs.CV cs.GR cs.HC
Icon: An Interactive Approach to Train Deep Neural Networks for Segmentation of Neuronal Structures
Harvard University(哈佛大学);John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院)
我们提出了一种交互式的方法来训练深度神经网络像素分类器的神经元结构的分割。交互式训练方案减少了深度网络在图像分割问题上表现良好所需的极其繁琐的手动注释任务。我们提出的方法采用了一个反馈回路,该回路使用图形用户界面捕获稀疏注释,基于最近和过去的注释训练深度神经网络,并几乎实时地向用户显示预测输出。我们的算法实现还允许多个用户并行提供注释,并从同一个分类器接收反馈。在交互式设置中对分类器性能的快速反馈使用户能够识别和标记比其他分类器更重要的示例。我们的实验表明,交互式训练的像素分类器在电子显微镜(EM)图像上产生更好的区域分割结果,而不是由相同架构的网络在详尽的地面实况标签上离线训练产生的结果。
2016-10-27 cs.CV
Example-Based Feature Painting on Textures
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
提出一个完整的纹理创作与编辑系统,利用无监督异常检测和聚类从无标签图像中提取局部瑕疵特征,并指导条件生成模型,实现交互式地在任意大小纹理上绘制特征。
2025-11-03 cs.CV cs.GR
Interactive Geometry Editing of Neural Radiance Fields
Shanghai Jiao Tong University(上海交通大学)
本文提出一种针对Neural Radiance Fields的交互式几何编辑方法,通过内外双代理笼定义操作目标与调整空间,支持平移、旋转、缩放等组合操作,无需显式3D几何表示即可直接编辑隐式辐射场。
2023-04-03 cs.CV
Fast Interactive Video Object Segmentation with Graph Neural Networks
Eötvös Loránd University(厄特沃什·罗兰大学)
图像序列的逐像素注释对于人类来说可能是非常繁琐的。交互式视频对象分割的目标是利用自动方法来加快过程,减少注释者的工作量。大多数当代方法都依赖于深度卷积网络来收集和处理整个视频中人类注释的信息。然而,这样的网络包含数百万个参数,并且需要大量标记的训练数据来避免过拟合。除此之外,标签传播通常作为一系列逐帧推理步骤执行,这很难并行化,因此很耗时。本文提出了一种基于图神经网络的交互式视频对象分割方法。我们的网络在超像素图上运行,这使我们能够将问题的维度降低几个量级。我们证明,我们的网络只有几千个参数,就能够达到最先进的性能,同时推理速度仍然很快,可以用很少的数据快速训练。
2021-04-21 cs.CV
A Data Set and a Convolutional Model for Iconography Classification in Paintings
Politecnico di Milano(米兰理工大学)
艺术图像学是一门研究艺术品视觉内容的学科,以确定其主题和主题,并描述这些主题和主题的表现方式。它是一个积极研究的主题,用于各种目的,包括解释意义,调查表征的起源和时空传播,以及研究艺术家和艺术作品的影响。随着艺术图像数字化档案的大量涌现,将计算机视觉技术应用于艺术图像分析的可能性正在以前所未有的规模出现,这可能会支持图像学的研究和教育。本文介绍了一种用于图像分类的新的绘画数据集,并给出了将卷积神经网络(CNN)分类器应用于艺术品图像识别的定量和定性结果。建议的分类器实现了良好的性能(71.17%的精度,70.89%的召回率,70.25%的F1分数和72.73%的平均精度)在识别基督教宗教绘画中的圣人,一个任务的存在具有非常相似的视觉特征的类的困难。定性分析的结果表明,CNN侧重于传统的标志性图案,每个圣人的代表性,并利用这些提示,以达到正确的识别。我们的工作的最终目标是使图像元素的自动提取,分解和比较,以支持图像学研究和自动艺术作品注释。
2021-07-26 cs.CV cs.LG
Interactive Multi-level Stroke Control for Neural Style Transfer
Digital Masterpieces GmbH(Digital Masterpieces 有限公司)
我们提出了StyleTune,一个移动应用程序的交互式多层次控制的神经风格转移,促进风格元素的创造性调整,并实现高输出保真度。与当前的移动神经风格转移应用程序相比,StyleTune支持用户在全局和局部级别上调整风格元素的大小和方向,例如笔触和纹理补丁。为此,我们提出了一种新的中风自适应前馈式传输网络,使控制中风的大小和强度,并允许更大范围的编辑比目前的方法。对于额外的控制级别,我们提出了一种利用CNN的旋转方差进行笔划方向调整的网络不可知方法。为了实现高输出保真度,我们进一步增加了基于补丁的风格转移方法,使用户能够获得超过20兆像素的输出分辨率。我们的方法使用户能够创建许多新的结果,这些结果是当前移动神经风格转移应用程序无法实现的。
2021-06-25 cs.CV
Efficient Neural Radiance Fields for Interactive Free-viewpoint Video
Zhejiang University(浙江大学)
本文旨在解决有效地产生交互式自由视点视频的挑战。最近的一些工作为神经辐射场配备了图像编码器,使它们能够跨场景进行概括。在处理动态场景时,它们可以简单地将每个视频帧视为一个单独的场景,并执行新颖的视图合成以生成自由视点视频。但是,它们的渲染过程很慢,并且不能支持交互式应用程序。一个主要的因素是他们在推导辐射场时在空的空间中采样大量的点。我们提出了一种新的场景表示,称为ENeRF,用于快速创建交互式自由视点视频。具体来说,给定一帧的多视图图像,我们首先建立级联成本体积来预测场景的粗略几何形状。粗糙的几何形状允许我们在场景表面附近采样几个点,从而显着提高渲染速度。这个过程是完全可区分的,使我们能够从RGB图像中联合学习深度预测和辐射场网络。多个基准上的实验表明,我们的方法具有竞争力的性能,同时至少比以前的可推广的辐射场方法快60倍。
2022-11-27 cs.CV
Neural Fields for Interactive Visualization of Statistical Dependencies in 3D Simulation Ensembles
Technical University of Munich(慕尼黑工业大学);University of Vienna(维也纳大学);RIKEN Center for Computational Science(理化学研究所计算科学中心)
本文提出首个学习紧凑表示并高效重建大型三维模拟集合中变量间非线性统计依赖关系的神经网络,以互信息度量依赖,在1000成员天气预报集合上显著降低内存与计算需求,并实现GPU加速的交互式体渲染可视化。
2024-03-27 cs.CV
Walking in the Implicit: Interactive World Exploration via Neural Scene Representation
Zhejiang University(浙江大学);Westlake University(西湖大学);Afari Intelligent Drive(Afari智能驾驶)
提出以场景为中心的交互式视频生成范式,将生成变量从帧隐变量改为可渲染的固定长度隐状态(神经隐式场景),通过紧凑场景状态随机转移和确定性姿态条件渲染实现长程一致性。
2026-06-29 cs.CV
INVE: Interactive Neural Video Editing
Adobe Research(Adobe研究院);University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所)
本文提出实时交互式神经视频编辑方法 INVE,利用 hash-grids、双向图像-图集映射和向量化编辑,将学习与推理速度较 LNA 提升 5 倍,并支持更丰富的直接编辑操作。
2023-07-15 cs.CV
SealD-NeRF: Interactive Pixel-Level Editing for Dynamic Scenes by Neural Radiance Fields
University of Guelph(圭尔夫大学)
本文提出SealD-NeRF,将Seal-3D扩展到动态场景,通过映射编辑操作到特定时间帧、冻结变形网络并结合教师-学生方法,实现D-NeRF上的像素级一致编辑。
2024-02-21 cs.CV
Interactive 3D Modeling with a Generative Adversarial Network
Princeton University(普林斯顿大学)
本文提出了使用生成对抗网络(GAN)的想法,以帮助新手用户在设计现实世界的形状与一个简单的界面。用户使用绘画界面(如Minecraft)编辑体素网格。然而,在任何时候,他/她都可以执行SNAP命令,该命令使用学习的投影算子将当前体素网格投影到潜在形状流形上,然后使用学习的生成器网络生成类似但更真实的形状。然后,用户可以编辑结果形状并再次捕捉,直到他/她对结果满意为止。这种方法的主要优点是,投影和生成运算符帮助新手用户创建对象形状的背景分布特征的3D模型,但不必指定所有细节。核心的新研究思路是使用GAN来支持这种应用。3D GANs以前曾用于形状生成、插值和完成,但从未用于交互式建模。该应用程序的新挑战是学习投影算子,该算子采用任意3D体素模型并在形状流形上产生潜在向量,从该形状流形可以生成相似且逼真的形状。我们为SNAP处理管道的这个和其他步骤开发算法,并将它们集成到一个简单的建模工具中。这些算法和工具的实验表明,GANs为计算机辅助交互建模提供了一种有前途的方法。
2018-01-07 cs.CV cs.GR
4D-Editor: Interactive Object-level Editing in Dynamic Neural Radiance Fields via Semantic Distillation
Tianjin University(天津大学)
针对动态神经辐射场场景对象级编辑能力不足的问题,提出4D-Editor交互式编辑框架,通过混合语义特征蒸馏、递归选择细化及多视图重投影修复技术,实现动态NeRF的照片级真实感对象编辑。
2023-11-06 cs.CV
Probabilistic Interactive 3D Segmentation with Hierarchical Neural Processes
University of Amsterdam(阿姆斯特丹大学);Singapore Management University(新加坡管理大学)
针对交互式三维分割中稀疏点击泛化与不确定性量化难题,提出基于神经过程的概率框架NPISeg3D,通过层次潜在变量和概率原型调制器,在四个点云数据集上以更少点击实现更优分割并可靠估计不确定性。
2025-05-26 cs.CV
Neural Texture Puppeteer: A Framework for Neural Geometry and Texture Rendering of Articulated Shapes, Enabling Re-Identification at Interactive Speed
University of Konstanz(康斯坦茨大学)
本文提出 Neural Texture Puppeteer 框架,通过分离几何与纹理编码实现关节形状的神经渲染和个体再识别,并公开合成纹理数据集 NePuMoo。
2023-11-28 cs.CV
ILabel: Interactive Neural Scene Labelling
Dyson Robotics Lab, Imperial College(帝国理工学院戴森机器人实验室);Dyson Ltd.(戴森有限公司)
当用户使用手持RGB-D传感器实时重建场景时,使用3D神经场的几何、颜色和语义的联合表示能够从超稀疏交互中实现精确的密集标记。我们的iLabel系统不需要训练数据,但可以密集地标记场景,比在大型、昂贵的标记图像数据集上训练的标准方法更准确。此外,它以一种“开放集”的方式工作,由用户动态定义语义类。ILabel的底层模型是一个从头开始实时训练的多层感知器(MLP),以学习联合神经场景表示。场景模型实时更新和可视化,允许用户专注于交互,以实现高效的标记。一个房间或类似的场景可以准确地标记为10+语义类别,只需几十次点击。定量标记的准确性与点击次数密切相关,并迅速超过标准的预训练语义分割方法。我们还展示了一个分层标签的变体。
2021-12-03 cs.CV
Interactive Learning for Semantic Segmentation in Earth Observation
ONERA/DTIS(法国国家航空航天研究院/信息与通信技术部);Université Paris-Saclay(巴黎萨克雷大学);Delair(德莱尔公司);ESA/ESRIN(欧洲空间局/欧洲空间研究与技术中心)
深度神经网络输出的密集像素分类图对于场景理解至关重要。然而,由于各种可能的因素,这些地图往往部分不准确。因此,我们建议在一个名为DISCA(Deep Image Segmentation with Continual Adaptation)的框架内交互式地改进它们。它包括不断适应神经网络的目标图像使用的交互式学习过程与稀疏的用户注释作为地面实况。我们通过使用合成注释的三个数据集上的实验展示了该方法的好处,对于十次采样点击,IoU提高了4.7%。最后,我们表明,我们的方法可以特别有益的,当它面临额外的问题,如领域自适应。
2020-09-23 cs.CV
Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D Strokes
Beihang University(北京航空航天大学);University of Bath(巴斯大学);Zhongguanchun Laboratory(中关村实验室)
本研究提出Neural 3D Strokes技术,通过可微渲染器和梯度下降优化3D矢量笔触参数,从多视角2D图像生成视角一致的风格化3D场景,还可结合风格损失等拓展应用。
2024-03-12 cs.CV cs.GR
Interactive-predictive neural multimodal systems
Pattern Recognition and Human Language Technology Research Center(模式识别与人类语言技术研究中心);Universitat Politècnica de València(瓦伦西亚理工大学)
尽管神经模型在序列到序列学习方面取得了进步,并在各种任务中得到利用,但它们仍然会出错。在许多使用情况下,这些由人类专家在后验修正过程中校正。交互式预测框架的目的是通过考虑部分修正来迭代地完善假设,从而最大限度地减少在此过程中花费的人力。在这项工作中,我们推广的交互式预测方法,通常应用于机器翻译领域,以解决其他多模态问题,即图像和视频描述。我们研究了这个框架的应用多模态神经序列序列模型。我们表明,在这个框架下,我们大约一半的努力用于纠正自动系统产生的输出。此外,我们将我们的系统部署在一个可公开访问的演示中,以便更好地理解交互式预测框架的行为。
2019-05-30 cs.CL cs.CV
Combining Semantic Guidance and Deep Reinforcement Learning For Generating Human Level Paintings
Australian National University(澳大利亚国立大学)
基于笔划的非真实感图像的生成是计算机视觉领域的一个重要问题。作为在这个方向上的努力,最近大量的研究工作集中在教机器“如何绘画”,以类似于人类画家的方式。然而,以前的方法的适用性已被限制到数据集的前景对象的位置,规模和显着性的变化很小。因此,我们发现这些方法难以覆盖真实世界图像所具有的粒度和多样性。为此,我们提出了一个语义指导流水线,1)一个双层绘画过程,用于在训练时学习前景和背景画笔之间的区别。2)我们还通过神经对齐模型将不变性引入前景对象的位置和尺度,该模型以端到端的方式将对象定位和空间Transformer网络相结合,以放大到特定的语义实例。3)然后,通过最大化基于新的引导反向传播的焦点奖励来放大聚焦对象的区别特征。所提出的代理不需要对人类笔画数据进行任何监督,并成功地处理了前景对象属性的变化,从而为CUB-200 Birds和Stanford Cars-196数据集生成了更高质量的画布。最后,我们通过评估我们的方法在具有挑战性的Virtual-KITTI数据集上的扩展,证明了我们的方法在具有多个前景对象实例的复杂数据集上的进一步功效。源代码和模型可在https://github.com/1jsingh/semantic-guidance上获得。
2021-06-15 cs.CG cs.CV cs.LG
Interactive Stroke-based Neural SDF Sculpting
Michigan State University(密歇根州立大学)
本文提出一种交互式笔画神经SDF雕刻框架,解决传统网格工具无法高效雕刻神经SDF的问题,实现直观、高性能的三维形状编辑。
2026-08-20 cs.CV cs.GR
SSN: Soft Shadow Network for Image Compositing
Purdue University(普渡大学);Adobe Research(Adobe研究院)
我们引入了一个交互式的软阴影网络(SSN),以产生可控的软阴影的图像合成。SSN采用2D对象遮罩作为输入,因此不受绘画和矢量艺术等图像类型的影响。环境光照贴图用于控制阴影的特性,如角度和柔和度。SSN采用环境遮挡预测模块来预测中间环境遮挡图,该中间环境遮挡图可以由用户进一步细化以提供几何线索来调制阴影生成。为了训练我们的模型,我们设计了一个高效的管道来使用3D对象模型产生多样化的软阴影训练数据。此外,我们提出了一个逆阴影图表示,以改善模型训练。我们证明,我们的模型产生逼真的软阴影实时。我们的用户研究表明,生成的阴影通常与基于物理的渲染器计算的阴影难以区分,用户可以通过交互式应用程序轻松使用SSN在几分钟内生成特定的阴影效果。
2021-04-01 cs.CV cs.GR eess.IV
iButter: Neural Interactive Bullet Time Generator for Human Free-viewpoint Rendering
Shanghaitech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院)
生成人类自由视点视频的“子弹时间”效果对于沉浸式视觉效果和VR/AR体验至关重要。最近的神经技术进步仍然缺乏人类自由视点渲染的可控和交互式实时设计能力,特别是在我们的轨迹感知任务的实时、动态和通用环境下。为了填补这一空白,在本文中,我们提出了一种神经交互式子弹时间生成器(iButter),用于从密集的RGB流中进行照片级逼真的人类自由视点渲染,从而为人类子弹时间视觉效果提供灵活和交互式的设计。我们的iButter方法包括实时预览和设计阶段以及自动感知的细化阶段。在预览过程中,我们提出了一种交互式子弹时间设计方法,通过扩展NeRF渲染到实时和动态的设置,摆脱繁琐的每个场景的训练。为此,我们的子弹时间设计阶段采用了混合训练集,轻量级网络设计和高效的基于轮廓的采样策略。在改进过程中,我们引入了一个高效的20分钟内感知方案,它联合编码的空间,时间的一致性和语义线索沿设计的轨迹,实现照片般逼真的子弹时间观看体验的人类活动。大量的实验证明了我们的方法的有效性,方便的交互式子弹时间设计和照片般逼真的人类自由视点视频生成。
2021-08-12 cs.CV cs.GR
PhotoBot: Reference-Guided Interactive Photography via Natural Language
Samsung AI Centre(三星人工智能中心);University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所);McGill University(麦吉尔大学)
PhotoBot通过自然语言查询和参考图像引导机器人自动摄影,利用VLM、LLM与视觉Transformer特征匹配场景并求解PnP问题调整相机姿态,用户研究表明其拍摄效果优于用户自拍且可泛化至绘画等参考来源。
2024-12-26 cs.AI cs.CV cs.RO
Single Image Super-Resolution via a Dual Interactive Implicit Neural Network
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
在本文中,我们介绍了一种新的隐式神经网络的任务,单图像超分辨率在任意比例因子。为此,我们将图像表示为解码函数,该解码函数将图像中的位置及其相关特征映射到其互逆像素属性。由于像素位置在这种表示中是连续的,因此我们的方法可以参考不同分辨率图像中的任何位置。为了检索特定分辨率的图像,我们将解码函数应用于位置网格,每个位置都指向输出图像中像素的中心。与其他技术相比,我们的双重交互式神经网络将内容和位置特征结合起来。因此,我们获得了一个完全隐式的图像表示,解决了超分辨率问题(实值)选修尺度使用一个单一的模型。我们证明了我们的方法对最先进的公开可用的基准数据集的有效性和灵活性。
2022-10-23 cs.CV cs.RO
Neural Assets: Volumetric Object Capture and Rendering for Interactive Environments
Meta Reality Labs Research(Meta现实实验室)
创建逼真的虚拟资产是一个耗时的过程:它通常涉及艺术家设计对象,然后花费大量精力调整其外观。复杂的细节和某些效果(如次表面散射)无法使用实时BRDF进行表示,因此无法完全捕捉某些对象的外观。受神经渲染的最新进展的启发,我们提出了一种方法来捕捉真实世界中的物体在日常环境中忠实和快速。我们使用一种新的神经表示来重建体积效果,如半透明的对象部分,并保留真实感对象的外观。为了在不影响渲染质量的情况下支持实时渲染,我们的模型使用了一个网格的功能和一个小的MLP解码器,该解码器被编译成具有交互式帧速率的高效着色器代码。这导致所提出的神经资产与现有网格环境和对象的无缝集成。由于使用标准着色器代码,渲染可以跨许多现有的硬件和软件系统移植。
2022-12-12 cs.AI cs.CV cs.GR