An End-to-End Neural Network for Image Cropping by Learning Composition from Aesthetic Photos
School of Computer Science, Beijing University of Posts and Telecommunications, Beijing, China(中国北京邮电大学计算机学院);Information Sciences Institute, University of Southern California, Marina del Rey, CA, USA(美国加利福尼亚州马里纳德尔雷伊南加州大学信息科学研究所)
作为图像编辑的基本技术之一,图像裁剪丢弃不相关的内容并保留图像中令人愉快的部分,以增强整体构图并获得更好的视觉/美学感知。在本文中,我们主要集中在提高自动图像裁剪的准确性,并进一步探索其在公共数据集的高效率的潜力。从这方面来看,我们提出了一个基于深度学习的框架来学习具有高美学质量的照片中的对象组成,其中通过具有高斯内核的卷积神经网络(CNN)检测锚区域,以保持感兴趣对象的完整性。然后将该初始检测到的锚区域馈送到轻加权回归网络中以获得最终的裁剪结果。与传统的方法,多个候选人提出和评估迭代,只有一个锚区域产生在我们的模型,这是直接映射到最终输出。因此,所提出的方法需要较低的计算资源。在公开数据集上的实验结果表明,裁剪准确率和效率均达到了最先进的性能。
2019-08-22 cs.CV
A Hypothesis for the Aesthetic Appreciation in Neural Networks
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学)
本文提出了一个审美假设,即审美意象使一个神经网络强化突出的概念,抛弃非本质的概念。为了验证这一假设,我们使用多变量交互来表示图像中包含的显著概念和非本质概念。此外,我们设计了一套操作,以修改图像向更美丽的。在实验中,我们发现修正后的图像在一定程度上比原始图像更具美感。
2021-07-31 cs.AI cs.CV cs.LG
Image aesthetic evaluation using paralleled deep convolution neural network
South China University of Technology(华南理工大学)
图像审美评价是近年来备受关注的一个问题。图像审美评价方法在很大程度上依赖于图像的有效审美特征。传统的方法总是提取手工特征。然而,这些手工特征通常是针对特定数据集设计的,并且它们的提取需要特殊的设计。本文首次采用基于深度卷积神经网络(DCNN)的美学特征自动学习方法,而不是手工提取特征。众所周知,当训练数据集给定时,复杂度较高的DCNN架构可能会遇到过拟合问题。另一方面,低复杂度的DCNN架构无法有效地提取有效特征。出于这些原因,我们进一步提出了一种具有多级结构的卷积卷积神经网络(PDCNN),以自动适应训练数据集。实验结果表明,我们提出的PDCNN架构实现了更好的性能比其他传统的方法。
2015-05-20 cs.CV cs.MM
Image Aesthetics Assessment Using Composite Features from off-the-Shelf Deep Models
Wuhan University(武汉大学)
深度卷积神经网络最近在图像美学评估任务上取得了巨大成功。在本文中,我们提出了一种有效的方法,该方法考虑了图像的全局,局部和场景感知信息,并利用从相应的预训练深度学习模型中提取的复合特征,使用支持向量机对衍生特征进行分类。与需要微调或从头开始训练新模型的流行方法相反,我们的免训练方法直接采用现成模型生成的深层特征进行图像分类和场景识别。此外,我们从两个方面分析了可能影响性能的因素:深层神经网络的架构和本地和场景感知信息的贡献。事实证明,深度残差网络可以产生更多的美学感知的图像表示和复合功能导致整体性能的提高。在常见的大规模美学评估基准上的实验表明,我们的方法在照片美学评估方面优于最先进的结果。
2019-02-22 cs.CV
Aesthetics of Neural Network Art
Adobe Research(奥多比研究院)
提出了一种将神经网络艺术作品理解为自然图像线索并置的方法。假设具有现实视觉线索的不寻常组合的图像是有趣的,并且训练用于对自然图像进行建模的神经模型非常适合创建有趣的图像。使用神经模型的艺术产生了与自然图像相似的新图像,但具有奇怪和有趣的变化。这种分析应用于基于生成对抗网络、图像风格化、深度梦想和感知引擎的神经艺术。
2019-03-18 cs.AI cs.CV
Aesthetics Assessment of Images Containing Faces
University of Milano-Bicocca(米兰比可卡大学)
最近的研究已经广泛探讨了具有通用内容的图像的美学评估问题。然而,很少有方法专门设计来预测包含人脸的图像的美学质量,这些图像构成了网络中照片的大部分。介绍了一种人脸图像美学质量评价方法。我们利用三种不同的卷积神经网络来编码关于感知质量、全局图像美学和面部属性的信息;然后,训练一个模型来结合这些特征来明确地预测包含面部的图像的美学。实验结果表明,我们的方法优于现有的方法的二进制,即低/高,和连续的美学分数预测在四个不同的数据库中的国家的最先进的。
2018-05-22 cs.CV
Image Aesthetics Assessment Using Graph Attention Network
Trinity College Dublin(都柏林圣三一学院);Accenture Labs(埃森哲实验室)
长宽比和空间布局是决定照片美学价值的两个主要因素。但是,将这些纳入传统的基于卷积的图像美学评估框架是有问题的。照片的纵横比在调整大小/裁剪为固定尺寸时会失真,以便于训练批量采样。另一方面,卷积滤波器在本地处理信息,并且在对照片的全局空间布局进行建模的能力方面受到限制。在这项工作中,我们提出了一个基于图神经网络的两阶段框架,并解决这两个问题。首先,我们提出了一个特征图表示,其中输入图像被建模为一个图,保持其原始的长宽比和分辨率。其次,我们提出了一个图神经网络架构,该架构采用此特征图并使用视觉注意力捕获输入图像的不同区域之间的语义关系。我们的实验表明,所提出的框架先进的最先进的美学评分回归的审美视觉分析(AVA)基准的结果。
2022-06-28 cs.CV
A Gated Peripheral-Foveal Convolutional Neural Network for Unified Image Aesthetic Prediction
学习图像的细粒度细节是图像美学评价中的一个关键问题。以往的方法大多采用随机裁剪策略提取细节信息,这可能会破坏语义信息的完整性。大量的研究表明,人类感知细粒度的细节与中央凹视觉和周边视觉的混合。中央凹具有最高的视觉灵敏度,负责看到细节。周边视觉用于感知广阔的空间场景并为中央凹选择关注区域。受这些观察的启发,我们提出了一个门控外围-中央凹卷积神经网络(GPF-CNN)。它是一个专用的双子网神经网络,即外围子网和中央凹子网。前者旨在模仿周边视觉的功能,对整体信息进行编码,并提供关注区域。后者旨在提取这些关键区域的细粒度特征。考虑到周边视觉和中央凹视觉在处理不同的视觉刺激时所起的作用不同,我们进一步采用门控信息融合(GIF)网络来加权它们的贡献。权重是通过全连接层和sigmoid函数确定的。我们对标准AVA和Photo.net数据集进行了全面的实验,用于统一的美学预测任务:(i)美学质量分类;(ii)美学评分回归;(iii)美学评分分布预测。实验结果证明了该方法的有效性。
2019-06-26 cs.CV eess.IV
Explaining Automatic Image Assessment
Western Washington University(西华盛顿大学)
本文提出一种通过可视化数据集趋势并在同一数据集不同版本上训练神经网络来自动分类视觉美学特征的方法,以解释自动图像评估模型,并利用现有及新指标捕捉和可视化美学特征与趋势。
2025-02-03 cs.CV
AesFA: An Aesthetic Feature-Aware Arbitrary Neural Style Transfer
Seoul National University(首尔大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
本文提出轻量级美学特征感知神经风格迁移模型AesFA,通过频率分解解耦美学风格并以端到端方式训练,引入对比损失提升风格化质量,在质量和推理速度上均优于现有方法。
2024-02-22 cs.AI cs.CV
Aesthetics and neural network image representations
Jagiellonian University(雅盖隆大学)
本文通过扰动 BigGAN 参数发现神经网络可自发产生艺术化与符号化图像,揭示美学属性源于照片真实视觉环境的内在结构。
2023-04-12 cs.CV eess.IV q-bio.NC
A Deep Drift-Diffusion Model for Image Aesthetic Score Distribution Prediction
Beijing Electronic Science and Technology Institute(北京电子科技学院)
由于审美素质评价的主观性,其评价任务是复杂的。近年来,图像美学质量的目标表示已经从一维的二进制分类标签或数值分数转变为多维的分数分布。根据目前的方法,地面实况分数分布是直接回归的。但是,没有考虑到审美的主体性,也就是说,没有考虑到人的心理过程,这限制了任务的执行。在本文中,我们提出了一个深漂移扩散(DDD)模型的启发,心理学家预测美学分数分布的图像。DDD模型可以描述审美感知的心理过程,代替传统的评价结果建模。我们使用深度卷积神经网络来回归漂移-扩散模型的参数。在大规模美学图像数据集上的实验结果表明,我们的新DDD模型是简单而有效的,它优于最先进的方法在美学分数分布预测。此外,不同的心理过程也可以预测我们的模型。
2020-10-15 cs.CV
Modeling, Quantifying, and Predicting Subjectivity of Image Aesthetics
Yonsei University(延世大学);Seoul National University of Science and Technology(首尔科技大学)
图像美学评价是一项具有挑战性的计算机视觉任务。一个原因是审美偏好是高度主观的,并且对于某些图像,人们之间可能会有很大差异。因此,适当地对这种\textit{subjectivity}进行建模和量化是重要的,但是还没有太多的努力来解决这个问题。在本文中,我们提出了一个新的统一的概率框架,可以建模和量化的主观审美偏好的基础上的主观逻辑。在这个框架中,评级分布被建模为beta分布,从该分布中可以获得肯定令人满意、肯定令人不满意和不确定的概率。我们使用不确定性的概率来定义主观性的直观度量。此外,我们提出了一种学习深度神经网络的方法,用于预测图像美学,通过实验表明,该方法可以有效地提高主观性预测的性能。我们还提出了一个应用场景中的框架是有益的美学为基础的图像推荐。
2022-08-20 cs.CV
Detecting Visual Design Principles in Art and Architecture through Deep Convolutional Neural Networks
Istanbul Technical University(伊斯坦布尔理工大学)
视觉设计与一些基本设计元素和原则的使用有关。这些都是由设计师应用在各个学科的审美目的,依赖于一个直观和主观的过程。因此,设计视觉的数值分析和揭示其中蕴含的美学价值被认为是困难的。然而,随着新兴的人工智能技术的出现,这已经成为可能。本研究旨在建立一个神经网络模型,对不同领域的设计原则进行识别和分类。这些领域包括自20世纪末以来制作的艺术品;专业照片;以及当代建筑的立面图片。数据汇集和管理过程,包括基于计算的合成数据集的产生,是真实的。该模型通过捕获底层共享模式,从原始设计的无数知识中学习。它有望通过提供客观的视觉组成的美学评价来巩固设计过程。
2021-08-09 cs.CV
USAR: an Interactive User-specific Aesthetic Ranking Framework for Images
Zhengzhou University(郑州大学)
在评估图像质量时,必须考虑个人偏好。现有的美学模型强调手工制作的特征或高质量图像通常共享的深度特征,但对个人偏好和用户交互的考虑有限或没有考虑。为此,我们提出了一种新颖且用户友好的美学排名框架,通过强大的深度神经网络和少量的用户交互,可以根据用户的偏好自动估计图像的美学特征并对其进行排名。我们的框架作为输入的一系列照片,用户喜欢,并产生一个可靠的,用户特定的审美排名模型与用户的喜好相匹配的输出。考虑到个人偏好的主观性和用户单一选择的不确定性,通过检索与用户指定的图像最相似的图像,交互式地构建唯一且排他性的数据集来描述个体的偏好。基于这个独特的用户特定数据集和足够的精心设计的美学属性,可以学习定制的美学分布模型,该模型将个性化偏好和美学规则连接起来。我们在两个大规模的公共数据集上进行了广泛的实验和用户研究,并证明了我们的框架优于那些基于传统美学评估或排名模型的工作。
2018-08-16 cs.CV
Predicting beauty, liking, and aesthetic quality: A comparative analysis of image databases for visual aesthetics research
University of Jena School of Medicine(耶拿大学医学院)
本研究比较了十二个图像数据集,发现统计图像属性与卷积神经网络预测美学评分的准确度相似,但数据集间存在显著差异,强调需使用多数据集以提升研究有效性。
2023-07-03 cs.CV cs.DB
A Computational Approach to Relative Aesthetics
Arizona State University(亚利桑那州立大学)
计算视觉美学近年来成为一个活跃的研究领域。现有的最先进的方法将其制定为二进制分类任务,其中预测给定图像是否美丽。在图像检索和增强等应用中,根据图像的美学质量对图像进行排序比对图像进行二值分类更为重要。此外,在这样的应用中,所有图像可能属于同一类别。因此,确定图像的美学排名更合适。为此,我们制定了一个新的问题,排名图像就其美学质量。我们从流行的AVA数据集中仔细选择图像,构建一个新的数据集的图像对相对标签。与美学分类不同,没有单一的阈值来确定整个数据集中图像的排名顺序。我们提出了一种基于深度神经网络的方法,该方法通过结合相对学习的原则在图像对上进行训练。结果表明,这种相对训练过程使我们的网络能够以比使用二进制标签在同一组图像上训练的最先进网络更高的准确性对图像进行排名。
2017-04-05 cs.CV
Predicting Aesthetic Score Distribution through Cumulative Jensen-Shannon Divergence
Beijing Electronic Science and Technology Institute(北京电子科技学院);Beijing University of Chemical Technology(北京化工大学);Chinese Academy of Sciences(中国科学院)
美学质量预测是计算机视觉领域的一项具有挑战性的任务,因为它与语义内容和摄影技术之间存在复杂的相互作用。基于深度学习的美学质量评价方法,目前的研究通常采用二进制高低标签或数值分数来表示美学质量。然而,标量表征不能很好地描述人类审美感知的潜在变化。在这项工作中,我们提出预测美学分数分布(即,序数基本人类评级的分数分布向量)。传统的DCNN的目标是最小化预测的标量数或向量与地面真值之间的差异,不能直接用于顺序基本评级分布。为此,提出了一种基于Jensen-Shannon发散累积分布的CNN(CJS-CNN)来预测人类评分的美学评分分布,并基于评分分布的峰度提出了一种新的可靠性敏感的学习方法,从而消除了对人类评分原始完整数据的要求(无需归一化)。在大规模美学数据集上的实验结果证明了我们引入的CJS-CNN在这项任务中的有效性。
2017-11-20 cs.CV
Using an AI creativity system to explore how aesthetic experiences are processed along the brains perceptual neural pathways
Simon Fraser University(西蒙菲莎大学)
随着人工智能技术的日益成熟,这些系统的应用已经扩展到越来越多的领域。这些系统越来越多地用于人类美学和创造力的建模,例如人类如何创造艺术品和设计产品。我们的实验室已经开发了一个这样的人工智能创造力深度学习系统,可用于创建图像和视频形式的艺术品。在本文中,我们描述了这一系统及其在研究人类视觉系统和审美经验的形成中的应用。具体来说,我们展示了基于时间的人工智能创建的媒体如何用于探索人类视觉系统的双通路神经架构的本质,以及这与依赖于这些不同信息流的更高认知判断(如美学体验)的关系。我们提出了一个理论框架内的感知,如视频剪辑的运动,导致参与的反射性注意和随后的重点主要是通过背流处理的视觉信息,从而调节审美经验,依赖于通过腹流传递的信息。我们概述了我们最近的研究,以支持我们提出的框架,这是第一个研究,调查两个视觉流和审美体验之间的关系。
2019-09-15 cs.AI cs.CV q-bio.NC
Photo Filter Recommendation by Category-Aware Aesthetic Learning
National Taiwan University(台湾大学)
如今,社交媒体已成为公众分享照片的热门平台。为了使照片更具视觉吸引力,用户通常在没有领域知识的情况下对照片应用滤镜。然而,由于过滤器类型的数量不断增加,选择最佳过滤器类型成为用户的主要问题。为此,照片美学的过滤器推荐在图像质量排名问题中起着重要作用。近年来,一些研究成果表明,卷积神经网络(CNN)在图像美学分类方面优于传统方法,后者将图像分为高质量和低质量。他们中的大多数没有考虑过滤图像的效果,因此,我们提出了一种新的图像美学学习过滤器推荐。我们没有对图像质量进行二值化,而是调整了最先进的CNN架构,并设计了一个成对的损失函数来学习过滤图像隐藏层中的嵌入式美学响应。基于我们的试点研究,我们观察图像类别(例如,肖像、风景、食物)将影响用户对过滤器选择的偏好。我们进一步将类别分类整合到我们提出的美学导向模型中。据我们所知,没有公共数据集可用于对过滤后的图像进行审美判断。我们创建了一个新的数据集,称为Filter Aesthetic Comparison Dataset(FACD)。它包含28,160个基于AVA数据集的过滤图像和42,240个使用Amazon Mechanical Turk进行美学注释的可靠图像对。它是第一个包含过滤图像和用户偏好标签的数据集。我们对收集的FACD进行过滤器推荐实验,结果表明,我们提出的类别感知美学学习优于美学分类方法(例如,12%的相对改善)。
2017-03-27 cs.CV
Engineering Deep Representations for Modeling Aesthetic Perception
Tsinghua University(清华大学);Nanjing University(南京大学);National University of Singapore (Suzhou) Research Institute(新加坡国立大学(苏州)研究院)
计算机视觉中的许多美学模型存在两个缺点:1)那些手工制作的美学标准的低可解释性和可解释性(即,不指示区域级美学),以及2)自适应地和自动地针对不同图像集设计美学特征的难度。为了解决这些问题,我们开发了一个深层架构来学习Flickr1中与美学相关的视觉属性,这些属性在弱监督设置中由多个文本属性本地化。更具体地,使用频繁Flickr图像标签的词袋(BoW)表示,稀疏约束子空间算法发现文本属性的紧凑集合(例如,风景和日落)。然后,弱监督学习算法将图像级的文本属性投影到像素级的高响应图像块。这些补丁表明人类在哪里看吸引人的区域相对于每个文本属性,这是用来学习的视觉属性。心理学和解剖学研究表明,人类感知视觉概念的层次。因此,我们规范化这些补丁,并将它们馈送到一个五层卷积神经网络(CNN)中,以模仿人类感知视觉属性的层次结构。我们将学习到的深度特征应用于图像重定向,美学排名和检索。主观和客观的实验结果充分证明了我们的方法的竞争力。
2019-08-08 cs.CV
Effective Aesthetics Prediction with Multi-level Spatially Pooled Features
University of Konstanz(康斯坦茨大学)
我们提出了一种有效的深度学习方法来进行美学质量评估,该方法依赖于一种新型的预训练特征,并将其应用于AVA数据集,这是目前最大的美学数据库。虽然以前的方法由于在训练过程中进行小裁剪,缩小或扭曲原始图像而错过了原始图像中的一些信息,但我们提出了第一种有效支持全分辨率图像作为输入的方法,并且可以在可变输入大小上进行训练。这使我们能够显着改善现有技术,将地面实况平均意见得分(MOS)的斯皮尔曼等级顺序相关系数(SRCC)从现有的最佳报告的0.612增加到0.756。为了实现这一性能,我们从预训练的InceptionResNet-v2网络的所有卷积块中提取多级空间池(MLSP)特征,并在这些新特征上训练自定义浅层卷积神经网络(CNN)架构。
2019-04-02 cs.CV
Theme-Aware Aesthetic Distribution Prediction With Full-Resolution Photographs
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
由于美学因素的复杂性,美学质量评价是一项具有挑战性的工作。目前,通常使用需要固定大小输入的深度神经网络进行AQA。现有的方法主要是通过裁剪、裁剪和填充来变换图像,或者采用自适应池化来交替地从固定大小的输入中捕获美学特征。然而,这些转变可能会损害美学特征。为了解决这个问题,我们提出了一个简单而有效的方法来实现全分辨率图像AQA结合图像填充与图像区域(RoM)池。填充将输入变为相同的大小。RoM池化池化图像特征并丢弃额外的填充特征以消除填充的副作用。此外,图像的长宽比编码和视觉特征融合,以弥补形状信息的损失RoM池。此外,我们还观察到同一幅图像在不同的主题下会得到不同的审美评价,我们称之为主题标准偏差。因此,主题感知模型,使用主题信息来指导模型预测的建议。最后,我们设计了一个基于注意力的特征融合模块,以有效地利用形状和主题信息。大量的实验证明了所提出的方法的有效性超过国家的最先进的方法。
2022-03-16 cs.CV
BackFlip: The Impact of Local and Global Data Augmentations on Artistic Image Aesthetic Assessment
KU Leuven(鲁汶大学)
针对艺术图像美学评估,本文提出局部数据增强技术BackFlip,实验证明其因不破坏图像构图而优于全局增强,强调了未来计算美学需兼顾局部与全局增强。
2024-08-26 cs.CV
Using Multimodal Deep Neural Networks to Disentangle Language from Visual Aesthetics
Harvard University(哈佛大学);Harvard School of Public Health(哈佛公共卫生学院);Massachusetts General Hospital(麻省总医院);Massachusetts Institute of Technology(麻省理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
本研究通过对单模态视觉、单模态语言及多模态DNN模型表征进行线性解码预测人类美感评分,发现美感体验主要源于前馈感知计算,语言相关知识贡献有限。
2024-10-31 cs.CL cs.CV
Photo Aesthetics Ranking Network with Attributes and Content Adaptation
UC Irvine(加州大学尔湾分校);Adobe(Adobe公司)
现实世界的应用程序可以从自动生成照片美学的细粒度排名的能力中受益。然而,以前的图像美学分析方法主要集中在粗糙的,二进制分类的图像到高或低审美类别。在这项工作中,我们建议学习一个深度卷积神经网络来对照片美学进行排名,其中照片美学的相对排名直接在损失函数中建模。我们的模型结合了有意义的摄影属性和图像内容信息的联合学习,可以帮助规范复杂的照片美学评级问题。为了训练和分析这个模型,我们已经组装了一个新的美学和属性数据库(AADB),其中包含美学分数和有意义的属性分配给每个图像由多个人类评分。在计算训练图像对的排名损失时,使用一种新的采样策略来利用评分者内部的一致性。我们表明,所提出的采样策略是非常有效的和强大的,在面对个人的主观判断的图像美学与不同的审美品味。实验表明,我们的统一模型可以生成更符合人类评级的美学排名。为了进一步验证我们的模型,我们表明,通过简单地对估计的美学分数进行阈值处理,我们能够在现有的AVA数据集基准上实现最先进的分类性能。
2016-07-27 cs.CV cs.IR cs.MM
Learning Photography Aesthetics with Deep CNNs
International Institute of Information Technology(国际信息技术学院);University of Hyderabad(海得拉巴大学)
自动照片美学评价是一项具有挑战性的人工智能任务。现有的计算方法集中于对单个美学分数或类别(好或坏)进行建模,然而这些方法没有提供关于照片为什么好或坏或者哪些属性有助于照片质量的任何细节。为了获得准确性和对分数的人类解释,我们主张学习美学属性以及对总分的预测。为此,我们提出了一种新的多任务深度卷积神经网络,它联合学习八个美学属性以及整体美学得分。我们报告接近人类的表现,在预测的整体美学评分。为了理解这些属性在学习模型中的内部表示,我们还使用梯度的反向传播开发了可视化技术。这些可视化突出了相应属性的重要图像区域,从而提供了有关这些属性的模型表示的见解。我们展示的多样性和复杂性与不同的属性,通过定性分析的激活地图。
2017-07-13 cs.AI cs.CV cs.MM
Modeling Art Evaluations from Comparative Judgments: A Deep Learning Approach to Predicting Aesthetic Preferences
Department of Software Engineering, Rochester Institute of Technology(软件工程系,罗切斯特理工学院)
本文提出基于深度学习的比较学习方法,用于预测审美偏好,通过深度神经网络和双分支模型提升预测性能,验证了成对比较在降低标注成本方面的有效性。
2026-01-30 cs.CV
ILGNet: Inception Modules with Connected Local and Global Features for Efficient Image Aesthetic Quality Classification using Domain Adaptation
Beijing Electronic Science and Technology Institute(北京电子科技学院);Beijing University of Chemical Technology(北京化工大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);China Aerospace Science and Technology Corporation(中国航天科技集团有限公司)
在本文中,我们解决了一个具有挑战性的问题,审美图像分类,这是标签的输入图像作为高或低美学质量。我们考虑到图像的局部和全局特征。提出了一种新的深度卷积神经网络ILGNet,它结合了Inception模块和局部和全局特征的连接层。ILGnet基于GoogLeNet。因此,很容易使用预先训练的GoogLeNet来处理大规模图像分类问题,并在大规模美学相关图像数据库AVA(即\emph{domain adaptation})上微调我们的连接层。实验结果表明,该模型在AVA数据库中达到了目前的先进水平。我们模型的训练和测试速度都高于原始GoogLeNet。
2018-04-29 cs.CV cs.MM
Aesthetic Image Captioning From Weakly-Labelled Photographs
V-SENSE School of Computer Science Statistics Trinity College Dublin(V-SENSE计算机科学与统计学院都柏林大学三一学院)
美学图像描述(AIC)是指为照片生成关键文本反馈的多模态任务。虽然在自然图像描述(NIC)中,深度模型是使用大型策划数据集(如MS-COCO)以端到端的方式训练的,但对于AIC来说,不存在这样的大规模、干净的数据集。为了实现这一目标,我们提出了一个自动清洗策略,创建一个基准AIC数据集,利用图像和嘈杂的评论很容易从摄影网站。我们提出了一种概率性的标题过滤方法来过滤含有噪声的Web数据,并编译了一个大规模的、干净的数据集“AVA-Captions”(230,000幅图像,每幅图像有5个标题)。此外,通过利用美学属性之间的潜在关联,我们提出了一种策略,用于训练基于卷积神经网络(CNN)的视觉特征提取器,AIC框架的第一个组件。该策略是弱监督的,可以有效地用于学习丰富的美学表示,而不需要昂贵的地面实况注释。最后,我们展示了一个彻底的分析,建议的贡献,使用自动指标和主观评价。
2019-08-29 cs.CL cs.CV
Image Aesthetics Prediction Using Multiple Patches Preserving the Original Aspect Ratio of Contents
The University of Tokyo(东京大学)
社交网络服务的普及创造了对选择、编辑和生成令人印象深刻的图像的日益增长的需求。这种趋势增加了评价图像美学作为自动图像处理的补充功能的重要性。我们提出了一个多补丁的方法,命名为MPA-Net(多补丁聚合网络),预测图像美学分数保持原来的长宽比的内容在图像中。通过涉及大规模AVA数据集,其中包含250,000张图像的实验,我们表明,与单块预测和随机块选择方法相比,等间隔多块选择方法用于美学评分预测的有效性是显着的。对于该数据集,MPA-Net优于神经图像评估算法,后者被视为基线方法。特别是,MPA-Net产生了0.073(11.5%)更高的线性相关系数(LCC)的美学评分和0.088(14.4%)更高的斯皮尔曼等级相关系数(SRCC)。MPA-Net还将均方误差(MSE)降低了0.0115(4.18%),并实现了与最先进的连续美学评分预测方法相当的LCC和SRCC结果。最值得注意的是,MPA-Net产生了显着较低的MSE,特别是对于宽高比远离1.0的图像,这表明MPA-Net适用于宽高比范围内的图像。MPA-Net只使用图像,在训练和预测阶段不需要外部信息。因此,MPA-Net在美学评分预测以外的其他人类主观性预测方面具有很大的应用潜力。
2020-07-05 cs.CV cs.MM
Product Aesthetic Design: A Machine Learning Augmentation
Yale University(耶鲁大学);Massachusetts Institute of Technology(麻省理工学院);Northwestern University(西北大学)
美学对于市场接受度至关重要。在汽车行业,改进的美学设计可以使销售额提高30%或更多。公司在设计和测试美学方面投入巨资。一个单一的汽车“主题诊所”的费用可能超过10万美元,每年有数百个。我们提出了一个模型,以增加常用的美学设计过程中预测美学分数和自动生成创新和吸引人的产品设计。该模型将概率变分自编码器(VAE)与生成对抗网络(GAN)的对抗组件和监督学习组件相结合。我们使用来自汽车合作伙伴的数据对模型进行训练和评估-目标消费者评估的203辆SUV图像和180,000张高质量未评级图像。我们的模型很好地预测了新美学设计的吸引力-相对于统一基线提高了43.5%,并且比传统的机器学习模型和预训练的深度神经网络有了实质性的改进。新的汽车设计以可控的方式生成,供设计团队使用。我们通过经验验证了自动生成的设计(1)对消费者有吸引力,(2)与我们收集数据五年后推向市场的设计相似。我们提供了一个额外的概念验证应用程序,使用餐厅椅子的开源图像。
2022-11-15 cs.CV cs.LG econ.EM
NICER: Aesthetic Image Enhancement with Humans in the Loop
University of Würzburg(维尔茨堡大学)
全自动或半自动图像增强软件可以帮助用户增加照片的视觉吸引力,并且不需要深入了解手动图像编辑。然而,全自动方法通常以黑盒的方式增强图像,这不给予用户对优化过程的任何控制,可能导致编辑后的图像主观上不吸引用户。半自动方法主要允许控制采取哪个预定义的编辑步骤,这限制了用户的创造力和进行详细调整的能力,例如亮度或对比度。我们认为,将用户的喜好,通过指导一个自动化的增强方法简化了图像编辑,并增加了增强的重点放在用户。因此,这项工作提出了神经图像校正和增强例程(NICER),一个神经网络为基础的方法,在一个完全,半自动或完全手动的过程中,是互动的,以用户为中心的无参考图像增强。NICER迭代地调整图像编辑参数,以便基于图像风格和内容最大化美学分数。用户可以随时修改这些参数,并将优化过程引导到所需的方向。这种交互式工作流程在用于图像增强任务的人机交互领域中是新颖的。在一项用户研究中,我们表明,NICER可以改善图像美学,而无需用户交互,并且允许用户交互会导致各种增强结果,这些结果比未经编辑的图像更受欢迎。我们公开我们的代码,以促进在这个方向上的进一步研究。
2020-12-03 cs.AI cs.CV cs.HC
Machine Apophenia: The Kaleidoscopic Generation of Architectural Images
本研究基于机器空想性错视框架,提出结合多神经网络的无监督建筑图像生成方法,经迭代生成带说明的建筑明信片并自动分享,实验验证各步骤均提升图像技术与审美指标。
2024-07-12 cs.AI cs.CV
An Experience-based Direct Generation approach to Automatic Image Cropping
Gracenote, A Nielsen Company(Gracenote,尼尔森公司)
自动图像裁剪是一项具有挑战性的任务,有许多实际的下游应用。这项任务通常分为子问题-生成裁剪候选,找到视觉上重要的区域,并确定美学选择最有吸引力的候选。先前的方法分别对这些子问题中的一个或多个进行建模,并且通常将它们顺序地组合。我们提出了一种新的基于卷积神经网络(CNN)的方法来直接裁剪图像,而无需显式地对图像美学建模,评估多个裁剪候选项,或检测视觉上显著的区域。我们的模型是在由经验丰富的编辑器裁剪的大型图像数据集上训练的,可以同时预测多个固定长宽比的边界框。我们认为裁剪图像的长宽比是影响美学的一个关键因素。用于自动图像裁剪的先前方法不强制执行输出的纵横比,可能是由于缺乏用于该任务的数据集。因此,我们将我们的方法在两个相关任务的公共数据集上进行基准测试-第一,美学图像裁剪,而不考虑纵横比,第二,缩略图生成,需要固定的纵横比输出,但美学并不重要。我们表明,我们的策略是有竞争力的,或比现有的方法在这两项任务中表现更好。此外,我们的单阶段模型更容易训练,并且比现有的两阶段或端到端推理方法快得多。我们提出了一个定性的评估研究,并发现我们的模型是能够推广到不同的图像从看不见的数据集,并经常保留原始图像的组成特性后裁剪。我们的研究结果表明,显式建模图像美学或视觉注意区域不一定需要建立一个有竞争力的图像裁剪算法。
2022-12-30 cs.CV cs.LG
Assessing UHD Image Quality from Aesthetics, Distortions, and Saliency
Shanghai Jiao Tong University(上海交通大学)
针对UHD图像质量评估的计算复杂度和细节损失问题,提出多分支DNN从美学、失真和显著性三视角提取特征,并在UHD-IQA上以最低计算复杂度取得最佳性能。
2024-09-01 cs.CV eess.IV
Series Photo Selection via Multi-view Graph Learning
Shandong University(山东大学);University of Queensland(昆士兰大学);University of Technology Sydney(悉尼科技大学);Shandong Jianzhu University(山东建筑大学)
系列照片选择(SPS)是图像美学质量评价的一个重要分支,其重点是从一系列几乎相同的照片中找到最好的一张。虽然已经观察到了很大的进步,大多数现有的SPS方法只集中在从原始图像中提取特征,忽略了多个视图,如饱和度水平,颜色直方图和景深的图像,将有利于成功地反映微妙的美学变化。考虑到多视角的特点,我们利用图神经网络来构造多视角特征之间的关系。此外,多个视图的聚合与自适应权重的自我注意力模块,以验证每个视图的重要性。最后,一个连体网络提出了选择最好的一个从一系列几乎相同的照片。实验结果表明,我们的模型实现了最高的成功率相比,竞争力的方法。
2022-03-18 cs.CV
A Framework and Dataset for Abstract Art Generation via CalligraphyGAN
Tongji University(同济大学);University of Delaware(特拉华大学)
随着深度学习的进步,人工智能(AI)近年来取得了许多突破,并在目标检测、阅读理解和视频游戏等各种任务中取得了超人的表现。生成建模,例如各种生成对抗网络(GAN)模型,已经被应用于生成绘画和音乐。自BERT和最近发布的GPT3等预训练的上下文神经语言模型发布以来,自然语言处理(NLP)的研究在2018年也取得了飞跃。尽管前面提到的人工智能应用令人兴奋,但人工智能在创造力方面仍然远远落后于人类,这通常被认为是人工智能的终极登月。我们的作品灵感来自中国书法,这是一种独特的视觉艺术形式,人物本身就是一幅美学画作。我们还从20世纪40年代和50年代的抽象表现主义运动的绘画中汲取灵感,例如美国画家Franz Kline的作品。本文提出了一种基于条件生成对抗网络和上下文神经语言模型的创造性框架,以生成具有内在意义和美学价值的抽象艺术作品,这不同于现有的工作,如图像描述和文本到图像的生成,其中文本是图像的描述。此外,我们已经公开发布了一个中国书法图像数据集,并使用原型系统和用户研究来展示我们的框架。
2020-12-02 cs.CV
Style Transfer: From Stitching to Neural Networks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Washington University in St. Louis(圣路易斯华盛顿大学);Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学)
本文比较了传统拼接方法和基于机器学习的风格迁移方法,后者通过分割网络隔离前景并仅对背景进行风格迁移,能更好地保持前景细节,更适合实际应用。
2024-11-12 cs.CV
Neural Style Representations and the Large-Scale Classification of Artistic Style
University of New Hampshire(新罕布什尔大学)
绘画的艺术风格是艺术史学家对艺术作品进行分组和分类的微妙的审美判断。最近引入的“神经风格”算法在将一幅图像或一组图像的感知艺术风格与另一幅图像的感知内容相融合方面取得了实质性成功。鉴于这一点和其他最近的发展,图像分析通过卷积神经网络,我们调查的有效性“神经风格”的表示分类的艺术风格的绘画。
2016-11-16 cs.AI cs.CV cs.IR
Depth-aware Neural Style Transfer using Instance Normalization
The University of Sheffield(谢菲尔德大学)
神经风格迁移(NST)涉及视觉媒体的艺术风格化。它可以被描述为将艺术图像的风格转移到普通照片上的过程。最近,许多研究已经考虑了NST算法的深度保持能力的增强,以解决当输入内容图像包括各种深度的许多对象时发生的不期望的效果。我们的方法使用具有实例归一化层的深度残差卷积网络,该网络利用高级深度预测网络将深度保留作为内容和风格的附加损失函数进行集成。我们展示了有效保留内容图像的深度和全局结构的结果。三个不同的评估过程表明,我们的系统是能够保留的风格化的结果的结构,同时表现出风格捕捉能力和美学品质相媲美或优于国家的最先进的方法。项目页面:https://ioannoue.github.io/depth-aware-nst-using-in.html。
2022-09-23 cs.CV cs.NE
Neural Scene Designer: Self-Styled Semantic Image Manipulation
South China University of Technology(南方科技大学);Guangdong University of Technology(广东工业大学);Jimei University(集美大学);Xiamen Kunlu AI Research Institute(厦门鲲 lun AI 研究院);Sun Yat-sen University(中山大学)
针对现有图像编辑方法易忽略风格一致性的问题,提出Neural Scene Designer框架,通过双交叉注意力扩散模型和PSRL模块实现语义对齐与风格统一,还构建了综合评估基准验证其有效性。
2025-09-01 cs.CV
Neural Scene Decoration from a Single Photograph
Hong Kong University of Science and Technology(香港科技大学);VinAI Research(VinAI研究院);Deakin University(迪肯大学)
装饰和渲染室内场景一直是室内设计的一项长期任务,艺术家为空间创建概念设计,构建空间的3D模型,装饰,然后执行渲染。虽然这项工作很重要,但它是乏味的,需要付出巨大的努力。在本文中,我们介绍了一个新的问题,特定领域的室内场景图像合成,即神经场景装饰。给定一个空的室内空间的照片和一个由用户确定布局的装饰列表,我们的目标是合成一个新的图像的相同的空间与所需的家具和装饰。神经场景装饰可以应用于以简单而有效的方式创建概念室内设计。我们尝试这个研究问题是一个新的场景生成架构,将一个空的场景和对象布局到一个现实的家具场景照片。我们证明了我们所提出的方法的性能,通过比较它与条件图像合成基线建立在流行的图像翻译方法定性和定量。我们进行了大量的实验,以进一步验证我们生成的场景的可扩展性和美学。我们的实现可在\url{https://github.com/hkust-vgd/neural_scene_decoration}上获得。
2022-07-25 cs.CV cs.GR
NICE: Neural Implicit Craniofacial Model for Orthognathic Surgery Prediction
NICE通过隐式神经表示实现精确的颅面重建和手术预测,提升正颌手术的精度和解剖完整性。
2025-12-05 cs.CV cs.LG
Photo Rater: Photographs Auto-Selector with Deep Learning
Photo Rater 是一个利用三个神经网络(质量评估、模糊检测、美学评估)自动筛选同场景最佳照片的计算机视觉项目,旨在减轻摄影师手动筛选的负担。
2023-10-16 cs.AI cs.CV cs.LG
Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D Strokes
Beihang University(北京航空航天大学);University of Bath(巴斯大学);Zhongguanchun Laboratory(中关村实验室)
本研究提出Neural 3D Strokes技术,通过可微渲染器和梯度下降优化3D矢量笔触参数,从多视角2D图像生成视角一致的风格化3D场景,还可结合风格损失等拓展应用。
2024-03-12 cs.CV cs.GR
NPRportrait 1.0: A Three-Level Benchmark for Non-Photorealistic Rendering of Portraits
Cardiff University(卡迪夫大学);Carleton University(卡尔顿大学);Tsinghua University(清华大学);The Interdisciplinary Center Herzliya(赫兹利亚跨学科中心);Pohang University of Science and Technology(浦项科技大学);Lambda Labs, Inc.(Lambda Labs公司);Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究院);Samsung Advanced Institute of Technology(三星高等技术研究院)
尽管最近在基于图像的非真实感渲染(NPR),特别是肖像图像风格化方面的活动激增,但由于神经风格转移的出现,该领域的性能评估的状态是有限的,特别是与计算机视觉和机器学习社区的规范相比。不幸的是,评价图像风格化的任务迄今为止还没有得到很好的定义,因为它涉及主观,感性和美学方面。为了取得进展的解决方案,本文提出了一个新的结构化,三个层次,基准数据集的风格化的肖像图像的评估。严格的标准用于其建设,其一致性是由用户研究验证。此外,已经开发了一种新的方法来评估肖像风格化算法,该方法利用不同的基准水平以及用户研究提供的关于面部特征的注释。我们使用新的基准数据集对各种图像风格化方法(包括肖像专用和通用方法,以及传统的NPR方法和神经风格转移)进行评估。
2020-09-01 cs.CV
Restyling Images with the Bangladeshi Paintings Using Neural Style Transfer: A Comprehensive Experiment, Evaluation, and Human Perspective
Shahjalal University of Science and Technology(沙赫贾拉尔科技大学)
在当今世界,神经风格转移(NST)已成为一个趋势术语。NST将两张图片,一张内容图片和一张风格上的参考图片(如著名画家的作品)组合在一起,使输出图像看起来像材料的图像,但以参考图片的形式呈现。然而,没有研究使用孟加拉国画家的艺术品或绘画。孟加拉国绘画有着两千多年的悠久历史,至今仍被孟加拉国画家所实践。本研究在孟加拉国绘画中生成了NST风格化的图像,并分析了人类对NST在孟加拉国绘画中的审美偏好的观点。为了确保我们的研究被接受,我们对60名不同年龄和性别的个体对生成的程式化图像进行了定性的人类评估。我们已经解释了NST如何适用于孟加拉国的绘画,并定性\定量地评估NST算法。我们的研究作为一个先决条件的NST风格化的图像使用孟加拉国的绘画对移动UI/GUI和材料翻译的影响,从人类的角度来看。我们希望这项研究将鼓励新的合作,创造更多的NST相关的研究和扩大孟加拉国艺术品的使用。
2020-12-10 cs.AI cs.CV
Amplifying The Uncanny
Goldsmiths, University of London(伦敦大学金史密斯学院)
深度神经网络已经变得非常擅长制作逼真的深度伪造,即(未经训练的眼睛)无法与真实图像区分的人的图像。Deepfake是由学习区分真实和虚假图像的算法产生的,并经过优化以生成系统认为真实的样本。这篇论文以及由此产生的一系列艺术品被挫败,探索了逆转这一过程的美学结果,而是优化系统来生成它预测为假的图像。这最大化了数据的不可能性,反过来又放大了这些机器幻觉的神秘性质。
2020-11-13 cs.CV cs.LG eess.IV
GAPS: Geometry-Aware, Physics-Based, Self-Supervised Neural Garment Draping
CNRS(法国国家科学研究中心);Université Claude Bernard Lyon 1(里昂第一大学);INSA Lyon(里昂国立应用科学学院);École Centrale de Lyon(里昂中央理工学院);Université Lumière Lyon 2(里昂第二大学);LIRIS UMR5205(里昂信息与系统科学研究院)
本文提出GAPS,通过引入碰撞感知的几何约束和几何感知蒙皮方法,解决现有神经物理服装建模中的不真实拉伸和宽松服装蒙皮错误问题,实现更逼真的悬垂效果。
2024-03-14 cs.CV cs.GR cs.LG
Neural Implicit Morphing of Face Images
Institute of Systems and Robotics, University of Coimbra(科英布拉大学系统与机器人研究所);Institute of Pure and Applied Mathematics(纯数学与应用数学研究所);Tecgraf, Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学Tecgraf研究所);Portuguese Mint and Official Printing Office(葡萄牙铸币与官方印刷局)
本文提出利用基于坐标的神经网络表示人脸图像的扭曲与混合,通过结合经典能量泛函实现时间依赖的连续形变,在图像质量和形变检测上与现有方法具竞争力。
2024-06-13 cs.CV cs.LG
Neural Collage Transfer: Artistic Reconstruction via Material Manipulation
Seoul National University(首尔大学)
针对逐像素生成法不符合拼贴逐片实体特性的问题,提出基于强化学习的神经拼贴迁移方法,通过拼贴MDP、基于模型的软演员-评论家算法等实现高质量拼贴生成,效果优于逐像素生成法。
2023-11-03 cs.AI cs.CV
M2FN: Multi-step Modality Fusion for Advertisement Image Assessment
Seoul National University(首尔国立大学);NAVER AI LAB, NAVER CLOVA(NAVER AI实验室,NAVER CLOVA);Soongsil University(崇实大学);Pusan National University(釜山国立大学);Surromind Robotics(Surromind机器人公司)
评估广告,特别是基于用户偏好和广告质量,对营销行业至关重要。尽管最近的研究试图使用深度神经网络来实现这一目的,但这些研究并没有利用与图像相关的辅助属性,包括广告图像中常见的嵌入文本。因此,我们研究了这些属性对广告图像偏好的影响。首先,我们分析了大规模的真实世界的广告日志数据,并根据我们的研究结果,提出了一种新的多步模态融合网络(M2FN),确定广告图像可能会吸引用户的喜好。该方法通过多个步骤利用辅助属性,包括基于条件批量归一化的低层融合和基于注意力的高层融合。我们在广泛用于美学图像评估的AVA数据集上验证了M2FN,然后证明了M2FN可以使用具有丰富辅助属性的真实广告数据集在偏好预测方面实现最先进的性能。
2021-02-09 cs.AI cs.CV