Toward Modeling Creative Processes for Algorithmic Painting
Adobe Research（Adobe研究院）
本文提出了一个框架，计算建模的艺术绘画算法，灵感来自人类的创作实践。根据专家艺术家的例子和作者自己的经验，本文认为，创造性的过程往往涉及两个重要组成部分：模糊的，高层次的目标（例如，“做一幅好画”），以及发现新想法的探索过程。然后，本文勾勒出可能的计算机制，模仿这些元素的绘画过程中，包括欠指定的损失函数和迭代的绘画程序与明确的任务分解。
2022-05-23 cs.AI cs.CV cs.GR
PaintCopilot: Modeling Painting as Autonomous Artistic Continuation
MIT Media Lab（MIT媒体实验室）；New York University（纽约大学）
本文提出了一种基于神经网络的绘画助手PaintCopilot，通过建模绘画作为开放性自回归艺术行为，基于不断演变的画布状态和先前笔触历史，无需目标图像即可预测未来笔触，与现有神经绘画方法不同，后者将绘画建模为向预定参考图像的像素重建。
2026-09-15 cs.CV cs.GR cs.HC
Interactive Neural Style Transfer with Artists
ENS, PSL University & INRIA（巴黎高等师范学院、巴黎文理研究大学与法国国家信息与自动化研究所）；ENS, CNRS, PSL University（巴黎高等师范学院、法国国家科学研究中心与巴黎文理研究大学）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）
我们提出了交互式绘画过程中，画家和各种神经风格转移算法在一个真正的画布上进行交互。了解这些算法的输出结果对于描述我们交互实验中的创造性机构至关重要。我们收集了一组成对的绘画图片图像，并提出了一种新的评估方法的基础上预测的神经风格转移算法。指出了一些算法的不稳定性，并指出它们可以用来扩大现有的众多神经风格转换算法合成的图像的多样性和令人愉悦的奇异性。这种图像的多样性被认为是人类画家的灵感来源，将机器描绘成计算催化剂。
2020-03-14 cs.CV cs.GR cs.HC
I Dream My Painting: Connecting MLLMs and Diffusion Models via Prompt Generation for Text-Guided Multi-Mask Inpainting
University of Bari Aldo Moro（巴里阿尔多·莫罗大学）
本文提出多掩码修复新任务，通过微调多模态大语言模型自动生成多区域提示，并结合修正交叉注意力的Stable Diffusion实现文本引导的精确修复，在绘画数据集上验证了其创意性与准确性。
2024-12-06 cs.CV
Timbre latent space: exploration and creative aspects
Institut de Recherche et Coordination Acoustique Musique (IRCAM)（声学与音乐研究和协调研究所（IRCAM））；UPMC（巴黎第六大学）；CNRS（法国国家科学研究中心）
最近的研究表明，无监督模型能够使用自动编码器学习可逆的音频表示。它们能够实现高质量的声音合成，但由于潜在空间不能解开音色属性，因此控制有限。在变分自动编码器（VAE）中研究了解纠缠表示的出现，并已应用于音频。使用附加的感知正则化可以将这种潜在表示与先前建立的多维音色空间对齐，同时允许连续的推断和合成。或者，一些特定的声音属性可以被学习作为控制变量，而无监督的维度占其余的功能。生成神经网络使音色操纵的新的可能性，虽然探索和创造性地使用其表示仍然很少。以下实验是与两位作曲家合作进行的，并提出了新的创造性方向，以探索音乐音色的潜在声音合成，使用专门设计的接口（Max/MSP，纯数据）或映射，以实现基于合成器的合成。
2020-08-17 cs.LG cs.SD eess.AS
Data-Efficient Brushstroke Generation with Diffusion Models for Oil Painting
Delft University of Technology（代尔夫特理工大学）；The University of Manchester（曼彻斯特大学）；The Hong Kong University of Science（香港科学大学）
本文提出StrokeDiff模型，通过平滑正则化技术实现基于扩散模型的数据高效笔触生成，用于油画创作。
2026-03-01 cs.CV
Raven's Progressive Matrices Completion with Latent Gaussian Process Priors
Fudan University（复旦大学）
抽象推理能力是人类智能的基础。它使人们能够揭示抽象概念之间的关系，并进一步从这些关系中推导出隐含的规则。Raven's Progressive Matrices（RPM）是一种著名的抽象视觉推理任务，被广泛应用于人类智商测试中。虽然对具有机器智能的RPM求解器进行了广泛的研究，但很少有研究考虑将标准答案选择（分类）问题进一步推进到更具挑战性的答案绘制（生成）问题，这可以验证模型是否确实理解了隐含规则。在本文中，我们的目标是解决后者提出了一个深潜变量模型，其中多个高斯过程作为先验的潜变量分别学习底层的抽象概念RPM，因此，所提出的模型是可解释的概念特定的潜变量。隐高斯过程也提供了一种有效的方式外推的基础上学习的概念变化规则的答案绘画。我们评估所提出的模型RPM类数据集与多个连续变化的视觉概念。实验结果表明，我们的模型只需要很少的训练样本来绘制高质量的答案，生成新的RPM面板，并通过概念特定的潜变量实现可解释性。
2023-02-17 cs.AI cs.LG
Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting
ShanghaiTech University（上海科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出免训练框架 Portrait Diffusion，利用扩散模型注意力融合与 Chain-of-Painting 渐进重绘，实现无需微调的细致人脸风格化。
2023-12-03 cs.CV
Exploring Latent Dimensions of Crowd-sourced Creativity
Bogazici University（海峡大学）
最近，在预训练的GANs的潜在空间中发现可解释的方向已经成为一个热门话题。虽然现有的作品主要考虑方向的语义图像操作，我们专注于一个抽象的属性：创造力。我们能操纵一个图像来增加或减少创造力吗？我们在最大的基于人工智能的创意平台Artbreeder上构建我们的工作，用户可以使用预先训练的GAN模型生成图像。我们探索了在这个平台上生成的图像的潜在维度，并提出了一个新的框架来操纵图像，使它们更具创造性。我们的代码和数据集可以在http://github.com/catlab-team/latentcreative上找到。
2021-12-13 cs.CV cs.LG
Modeling and Forecasting Art Movements with CGANs
Imperial College London（帝国理工学院）
条件生成对抗网络（CGAN）是一种基于潜在信息的概率分布生成样本的新方法。潜在信息通常以来自小集合的离散标签的形式出现。我们提出了一种新的方法来训练CGAN，它允许我们的条件上的一系列连续的潜在分布$f^{(1)}, \ldots, f^{(K)}$。这种训练允许CGAN从一系列分布中生成样本。我们将我们的方法应用于一系列艺术运动的绘画，其中每个运动都被认为是它自己的分布。利用时间方面的数据，向量自回归（VAR）模型拟合的手段，我们学习的潜在分布，并用于一步预测，预测潜在的未来艺术运动$f^{(K+1)}$的分布。CGAN可以使用这个发行版的实现来生成“未来”的绘画。在实验中，这种新颖的方法可以准确预测艺术的演变。训练集由过去绘画的大型数据集组成。虽然没有协议，究竟是什么当前的艺术时期，我们发现自己在，我们测试的似是而非的候选集，目前的艺术，并表明，平均距离我们的预测是小的。
2020-03-18 cs.LG stat.ML
Adversarial Example Does Good: Preventing Painting Imitation from Diffusion Models via Adversarial Examples
Shanghai Jiao Tong University（上海交通大学）；cheer4creativity.ai；Queen’s University Belfast（贝尔法斯特女王大学）；NYU（纽约大学）
针对扩散模型未经授权模仿绘画风格的版权问题，本文提出AdvDM算法，通过在反向过程潜变量上优化并进行蒙特卡洛估计生成对抗样本，有效阻止DM提取艺术图像特征。
2023-06-06 cs.AI cs.CR cs.CV
Latent Diffusion : Multi-Dimension Stable Diffusion Latent Space Explorer
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
针对 Stable Diffusion 缺乏直观潜向量控制的问题，本文提出可定制潜空间操作框架，并通过两件生成艺术作品验证其概念融合与动态运动生成能力。
2025-09-26 cs.AI cs.LG
DiffBrush:Just Painting the Art by Your Hands
Beijing University of Post and Telecommunication（北京邮电大学）；Tsinghua University（清华大学）；Institute of AI (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；School of Artificial Intelligence（人工智能学院）；Northwestern Polytechnical University (NWPU)（西北工业大学）
DiffBrush是一种兼容T2I扩散模型的免训练绘画编辑方法，通过引导潜在表示和注意力图，使用户手绘草图能控制生成图像的布局与对象属性。
2025-02-28 cs.CV cs.MM
Chirpy3D: Part-Aware Multi-View Diffusion for Creative Fine-Grained Object Generation
University of Surrey（萨里大学）；University of Cambridge（剑桥大学）；Universiti Malaya（马来亚大学）；Imperial College London（伦敦帝国学院）
提出Chirpy3D，一种部件感知多视角扩散框架，从无姿态2D图像中学习层次化部件潜在空间，实现部件级交换、插值和零样本组合，无需3D数据或手动标注。
2026-05-27 cs.CV cs.GR
Bringing Impressionism to Life with Neural Style Transfer in Come Swim
Adobe；Starlight Studios
神经风格转换是一种引人注目的、最近开发的技术，它使用神经网络以源风格图像的风格艺术地重绘图像。本文探讨了这种技术在生产环境中的使用，应用神经风格转移重画的印象派绘画的风格，启发了电影的关键场景。我们记录了如何在迭代创意过程的框架内驱动该技术，以实现所需的外观，并提出了广泛的参数空间映射到一组关键的创意控件。我们希望这种映射可以为未来研究的优先事项提供见解。
2017-01-18 cs.CV
Historic Emergence of Diversity in Painting: Heterogeneity in Chromatic Distance in Images and Characterization of Massive Painting Data Set
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）；Samsung SDS（三星SDS）；The Asia Institute（亚洲研究所）；Ministry of Foreign Affairs（外交部）；Asia Pacific Center for Theoretical Physics（亚太理论物理中心）；University of Cambridge（剑桥大学）
绘画是一种艺术形式，长期以来一直是人类创造性表达和交流的主要渠道，它的演变与时代的科学，技术和社会环境相互作用。因此，根据全面的数据了解这一过程可以揭示人类在不断变化的条件下如何行动和创造性地表现出来。然而，目前几乎没有系统的框架来描述绘画过程，这需要强大的统计方法来定义绘画特征和识别人类的创造性发展，以及高质量和足够数量的数据。在这里，我们提出的绘画图像的颜色对比度，标志着在像素间的色彩距离的异质性，可以是一个有用的表示其风格，集成了颜色和几何。从绘画的色彩对比，从一个大规模的，全面的档案179，853高品质的图像跨越几个世纪，我们描绘了绘画的时间演变模式，并提出了一个非凡的扩展在创造性的多样性和个性，来定义现代时代的深入研究。
2018-09-14 cs.CV physics.soc-ph
ThematicPlane: Bridging Tacit User Intent and Latent Spaces for Image Generation
Adobe Inc.（Adobe公司）；Johns Hopkins University（约翰霍普金斯大学）；University of Washington（华盛顿大学）；University of Colorado（科罗拉多大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出ThematicPlane系统，通过交互式主题设计平面让用户操控高级语义概念，弥合隐性创意意图与系统控制的鸿沟，促进生成式图像的迭代创作。
2025-08-08 cs.AI cs.CL cs.CV
Dropout Induced Noise for Co-Creative GAN Systems
Institute for Neural Information Processing（神经信息处理研究所）；Ulm University（乌尔姆大学）
本文提出在GAN中使用Dropout为同一输入生成多样输出，作为潜在空间探索的替代方法，特别适用于需要保留输入约束的A到B转换任务。
2019-09-10 cs.LG stat.ML
MagicScroll: Nontypical Aspect-Ratio Image Generation for Visual Storytelling via Multi-Layered Semantic-Aware Denoising
HKUST(GZ)（香港科技大学（广州））；South China University of Technology（华南理工大学）；HKUST（香港科技大学）
针对视觉叙事中非典型宽高比图像生成的可控性与连贯性难题，提出多层语义感知去噪的扩散框架MagicScroll，构建首个相关基准，验证了其在文本对齐、视觉连贯等方面的优势。
2023-12-18 cs.CV
GenDet: Painting Colored Bounding Boxes on Images via Diffusion Model for Object Detection
GenDet通过扩散模型将目标检测转化为图像生成任务，实现精确的边界框生成与语义标注，提升检测精度与灵活性。
2026-01-12 cs.CV
Robot Synesthesia: A Sound and Emotion Guided AI Painter
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
该研究提出机器人联觉方法，将声音、语音（含文本内容与语调情绪）作为机器人绘画的引导输入，集成至FRIDA框架，实验验证了其声音-画作对应性的有效性，拓展了绘画机器人的输入模态。
2025-01-13 cs.CV
Space Narrative: Generating Images and 3D Scenes of Chinese Garden from Text using Deep Learning
School of Architecture, Southeast University（东南大学建筑学院）
本文提出利用文本到图像扩散模型和LoRA微调，从明代园林题跋文本生成园林绘画，并在Unity 3D中构建可漫游三维场景，以支持传统园林研究与复原。
2023-11-01 cs.CV stat.ML
Paint by Word
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Harvard Graduate School of Design（哈佛大学设计研究生院）
我们研究的问题zero-shot语义图像绘画。我们不是只使用具体的颜色或有限的语义概念集来绘制图像的修改，而是询问如何基于开放的全文描述创建语义绘制：我们的目标是能够指向合成图像中的一个位置，并应用任意的新概念，如“乡村”或“华丽”或“快乐的狗”。“为了做到这一点，我们的方法将最先进的现实图像生成模型与最先进的文本图像语义相似性网络相结合。我们发现，要进行大的更改，重要的是使用非梯度方法来探索潜在空间，并且重要的是放松GAN的计算以针对特定区域的更改。我们进行用户研究，将我们的方法与几个基线进行比较。
2023-03-23 cs.AI cs.CV cs.GR
A Framework and Dataset for Abstract Art Generation via CalligraphyGAN
Tongji University（同济大学）；University of Delaware（特拉华大学）
随着深度学习的进步，人工智能（AI）近年来取得了许多突破，并在目标检测、阅读理解和视频游戏等各种任务中取得了超人的表现。生成建模，例如各种生成对抗网络（GAN）模型，已经被应用于生成绘画和音乐。自BERT和最近发布的GPT3等预训练的上下文神经语言模型发布以来，自然语言处理（NLP）的研究在2018年也取得了飞跃。尽管前面提到的人工智能应用令人兴奋，但人工智能在创造力方面仍然远远落后于人类，这通常被认为是人工智能的终极登月。我们的作品灵感来自中国书法，这是一种独特的视觉艺术形式，人物本身就是一幅美学画作。我们还从20世纪40年代和50年代的抽象表现主义运动的绘画中汲取灵感，例如美国画家Franz Kline的作品。本文提出了一种基于条件生成对抗网络和上下文神经语言模型的创造性框架，以生成具有内在意义和美学价值的抽象艺术作品，这不同于现有的工作，如图像描述和文本到图像的生成，其中文本是图像的描述。此外，我们已经公开发布了一个中国书法图像数据集，并使用原型系统和用户研究来展示我们的框架。
2020-12-02 cs.CV
Marionette: Predicting World States, Rendering Geometry, Painting Appearance
Alaya Lab（Alaya实验室）；Shanghai Innovation Institute（上海创新研究院）；Huazhong University of Science and Technology（华中科技大学）
Marionette是面向带关节角色的交互式游戏的世界模型，通过显式建模3D世界状态、委托几何计算、合成外观，实现了可控的长时序行为，且外观生成无明显保真度损失。
2026-08-17 cs.AI cs.CV
Collaborative Interactive Evolution of Art in the Latent Space of Deep Generative Models
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文提出在创造性对抗网络的潜在空间中利用演化算法导航生成艺术图像，并结合协同人类反馈与智能变异算子提升图像质量，实验证明该方法能生成更具吸引力的艺术图像。
2024-03-28 cs.AI cs.CV cs.HC
Creative synthesis of kinematic mechanisms
Creative Machines Lab, Columbia University（创意机器实验室，哥伦比亚大学）
本文将平面连杆机构运动综合建模为跨域图像生成任务，利用 RGB 图像数据集与共享隐空间 VAE，实现依据轨迹形状及速度分布生成新型机构。
2025-10-20 cs.AI cs.CV cs.GR
VideoMap: Supporting Video Editing Exploration, Brainstorming, and Prototyping in the Latent Space
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究中心）
VideoMap是一个基于潜在空间的视频编辑界面，通过地图式导航和可更换镜头支持探索性编辑，用户研究显示其能减少繁琐工作并提升创意体验。
2024-06-25 cs.CV cs.HC cs.MM
Mimesis, Poiesis, and Imagination: Exploring Text-to-Image Generation of Biblical Narratives
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文以 MidJourney 生成《出埃及记》2:5-9 图像为案例，结合摹仿与创制概念分析文本到图像模型再现圣经叙事的能力，指出 AI 虽能增强想象但缺乏真正创造力与神学深度，可作创造性伙伴但角色仍存争议。
2025-06-26 cs.CV
High-Fidelity Guided Image Synthesis with Latent Diffusion Models
The Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
随着文本条件潜空间扩散模型的出现，用户涂鸦的可控图像合成已经引起了公众的极大兴趣。用户涂写控制颜色组成，而文本提示提供对整体图像语义的控制。然而，我们注意到，以前的工作在这个方向上遭受一个固有的域移位问题，其中所产生的输出往往缺乏细节，并类似于目标域的简单化表示。在本文中，我们提出了一种新的指导图像合成框架，它解决了这个问题，通过建模的输出图像作为一个约束优化问题的解决方案。我们表明，虽然计算精确的解决方案的优化是不可行的，可以实现相同的近似，而只需要一个单一的通过的反向扩散过程。此外，我们表明，通过简单地定义一个基于交叉注意的输入文本标记和用户笔画之间的对应关系，用户也能够控制不同的绘画区域的语义，而不需要任何条件训练或微调。人类用户的研究结果表明，所提出的方法优于以前的国家的最先进的超过85.32%的整体用户满意度分数。我们论文的项目页面可以在https://1jsingh.github.io/gradop上找到。
2022-11-30 cs.AI cs.CV cs.LG
An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion
Tel-Aviv University（特拉维夫大学）；NVIDIA（英伟达）
文本到图像模型提供了前所未有的自由，通过自然语言指导创作。然而，目前还不清楚如何行使这种自由，以产生特定的独特概念的图像，修改其外观，或组成新的角色和新的场景。换句话说，我们会问：我们如何使用语言引导的模型来把我们的猫变成一幅画，或者根据我们最喜欢的玩具来想象一个新产品？在这里，我们提出了一个简单的方法，允许这种创造性的自由。只使用用户提供的概念的3-5个图像，如对象或样式，我们学习通过冻结的文本到图像模型的嵌入空间中的新“单词”来表示它。这些“话”可以组成自然语言句子，以直观的方式指导个性化创作。值得注意的是，我们发现的证据表明，一个单一的词嵌入是足够的捕捉独特的和不同的概念。我们将我们的方法与广泛的基线进行比较，并证明它可以更忠实地描绘各种应用程序和任务的概念。我们的代码、数据和新词将在以下网址提供：https://textual-inversion.github.io
2022-08-02 cs.CL cs.CV cs.GR
Distribution-Conditional Generation: From Class Distribution to Creative Generation
School of Computer Science and Engineering, Southeast University, Nanjing, China（计算机科学与工程学院，东南大学，南京，中国）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其跨学科应用重点实验室（东南大学），教育部，中国）
本文提出分布条件生成与 DisTok 框架，通过将类别分布编码为潜在 token 并迭代融合概念，实现语义不受约束的创造性图像生成，在文本-图像对齐和人类偏好上达到最优。
2025-05-06 cs.CV
A Creative Agent is Worth a 64-Token Template
School of Computer Science and Engineering, Southeast University, Nanjing, China（1 南京大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（2 教育部新一代人工智能技术及其跨学科应用关键实验室（东南大学））
本文提出CAT框架，通过创意令牌化提升文本到图像生成的创造力，实现3.7倍速度提升和4.8倍计算成本降低，生成图像更受人类偏好。
2026-03-18 cs.CV
GLSR-VAE: Geodesic Latent Space Regularization for Variational AutoEncoder Architectures
Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）；Sony CSL（索尼计算机科学研究所）；École Polytechnique（巴黎综合理工学院）
VAE（变分自编码器）已被证明在密度建模的背景下是强大的，并已被用于各种背景下的创造性目的。在许多情况下，我们建模的数据具有连续属性，我们希望在生成时考虑这些属性。我们在本文中提出了GLSR-VAE，一个测地线潜在空间正则化的变分自编码器架构及其推广，它允许一个精细的控制嵌入到潜在空间的数据。当用这种正则化来增加VAE损失时，学习的潜在空间的变化反映了数据属性的变化。这种对VAE潜在空间结构的更深入理解提供了以连续方式调制所生成数据的属性的可能性。我们证明了它的效率上的单声道音乐生成任务，我们设法生成离散序列的变化，在一个有意的和好玩的方式。
2017-07-14 cs.AI cs.LG stat.ML
PI-REC: Progressive Image Reconstruction Network With Edge and Color Domain
Nanjing University（南京大学）；Sun Yat-sen University（中山大学）
我们提出了一种通用的图像重建方法来表示纯粹从二进制稀疏边缘和平坦的颜色域的详细图像。受绘画过程的启发，我们的框架，基于生成对抗网络，包括三个阶段：模仿阶段，旨在初始化网络，其次是生成阶段，重建初步的图像。此外，细化阶段用于将初步图像微调为包含细节的最终输出。这个框架允许我们的模型从稀疏的输入信息中生成丰富的高频细节。我们还探讨了从图像中隐含地分离风格潜在空间的缺陷，并证明了显式颜色域在我们的模型中表现出更好的可控性和可解释性。在我们的实验中，我们取得了突出的结果，重建现实主义的图像和翻译手绘草图到令人满意的绘画。此外，在边缘到图像的翻译领域内，我们的模型PI-REC在定量和定性的真实感和准确性评估方面优于现有的最先进的方法。
2019-03-25 cs.CV
End-to-End Diffusion Latent Optimization Improves Classifier Guidance
Salesforce Research（赛富时研究院）；Stanford University（斯坦福大学）
本文提出DOODL方法，通过直接优化扩散潜在并利用可逆扩散过程实现内存高效反向传播，解决了传统分类器引导中梯度错位问题，在多种引导任务上优于一步分类器引导。
2023-05-31 cs.AI cs.CV cs.LG
Interactive Style Transfer: All is Your Palette
Nankai University（南开大学）
神经风格转移（NST）可以通过将参考风格转移到内容图像来创建令人印象深刻的艺术作品。目前的图像到图像的NST方法缺乏细粒度的控制，这往往是艺术编辑的需求。为了缓解这一限制，我们提出了一个类似绘画的交互式风格转移（IST）的方法，通过该方法，用户可以交互式地创建一个和谐的风格的图像。我们的IST方法可以作为画笔，从任何地方蘸取样式，然后绘制到目标内容图像的任何区域。为了确定动作范围，我们制定了一个流体模拟算法，该算法将样式作为画笔交互位置周围的颜料，并根据相似性图在样式或内容图像中扩散。我们的IST方法扩展了NST的创造性维度。通过浸渍和绘画，即使使用一种风格的图像也可以产生成千上万的引人注目的作品。演示视频可在补充文件或http://mmcheng.net/ist中找到。
2022-03-25 cs.CV
ColorwAI: Generative Colorways of Textiles through GAN and Diffusion Disentanglement
Institute for Digital Visual Studies, University of Zurich（苏黎世大学数字视觉研究所）；Tilburg University（蒂尔堡大学）
本研究提出生成式纺织品配色创建任务与ColorwAI框架，结合ShapleyVec解耦方法在GAN和扩散模型上实现色彩解耦，验证StyleGAN的W空间更贴合人类色彩认知，构建创意配色系统并通过专家评估验证有效性。
2024-10-07 cs.CV
FashionSD-X: Multimodal Fashion Garment Synthesis using Latent Diffusion
Queen Mary University of London（伦敦玛丽女王大学）
本研究提出FashionSD-X生成管线，利用ControlNet和LoRA微调潜在扩散模型，从文本和草图等多模态输入生成高质量时尚图像，显著优于传统稳定扩散模型，推动时尚设计工作流变革。
2024-04-26 cs.AI cs.CV
Imagine for Me: Creative Conceptual Blending of Real Images and Text via Blended Attention
Elmore Family School of Electrical and Computer Engineering, Purdue University（埃尔摩家庭电气与计算机工程学院，普渡大学）；Toyota Research Institute（丰田研究院）
提出T2I扩散适配器IT-Blender，利用预训练扩散模型（SD和FLUX）结合混合注意力机制，无损编码真实图像并以解耦方式混合视觉与文本概念，大幅优于基线方法，有效增强人类创造力。
2025-07-14 cs.AI cs.CV
Disentangling Variational Autoencoders
Princeton University（普林斯顿大学）
变分自编码器（VAE）是用于后验推理的概率机器学习框架，其将输入的高维数据集投影到较低维度的潜在空间。通过VAE学习的潜在空间为在创意学科中开发新的数据驱动设计过程提供了令人兴奋的机会，特别是自动生成多个新颖的设计，这些设计在美学上让人联想到输入数据，但在训练过程中看不到。然而，学习的潜在空间通常是混乱和纠缠的：沿着单个维度遍历潜在空间不会导致数据的单个视觉属性发生变化。潜在结构的缺乏阻碍了设计师有意控制从潜在空间产生的新设计的视觉属性。本文提出了一个实验研究，探讨潜在的空间解纠缠。我们实现了三种不同的VAE模型，从文献和训练他们对公开的数据集的60,000个图像的手写数字。我们进行敏感性分析，以找到一个小的潜在的必要的维度，以最大限度地提高数据的对数边际似然的下限。此外，我们调查的解码图像的重建质量和潜在空间的解纠缠的水平之间的权衡。我们能够自动将三个潜在维度与数字的三个可解释的视觉属性对齐：线宽，倾斜度和宽度。我们的实验表明，i）增加潜在的先验知识和变分分布之间的Kullback-Leibler分歧对证据下限的贡献，以及ii）调节输入图像类增强了对具有VAE的解纠缠潜在空间的学习。
2022-11-14 cs.CV cs.LG
Controllable Level Blending between Games using Variational Autoencoders
Northeastern University（东北大学）；Carleton College（卡尔顿学院）
以前的工作探索了从现有游戏中混合关卡，为混合原始游戏属性的新游戏创建关卡。在本文中，我们使用变分自编码器（VAE），以改善这种技术。VAE是人工神经网络，它学习和使用数据集的潜在表示来生成新的输出。我们在《超级马里奥兄弟》和《伊卡洛斯小子》的关卡数据上训练一个VAE，使它能够捕捉到跨越两个游戏的潜在空间。然后，我们使用这个空间来生成结合两个游戏的级别属性的级别段。此外，通过在潜在空间中应用进化搜索，我们进化出满足特定约束的水平段。我们认为，这些启示使基于VAE的方法特别适合于共同创造的水平设计，并比较其性能与类似的生成模型，如GAN和VAE-GAN。
2020-02-27 cs.AI cs.LG
MvDrag3D: Drag-based Creative 3D Editing via Multi-view Generation-Reconstruction Priors
Nanyang Technological University（南洋理工大学）
MVDrag3D提出利用多视图扩散生成先验与重建模型实现灵活一致的3D拖拽编辑，并通过视图特定变形网络和多视图评分函数解决视图错位问题，提升编辑质量与多样性。
2024-10-21 cs.CV
Style-Aware Gloss Control for Generative Non-Photorealistic Rendering
University of Zaragoza -- I3A（萨拉戈萨大学--I3A）
本文提出了一种风格感知的光泽控制方法，通过训练生成模型来解耦光泽与艺术风格，实现对非照片实感图像的精细控制。
2026-08-05 cs.CV cs.GR
Linear combinations of latents in generative models: subspaces and beyond
本文提出潜变量最优线性组合（LOL）方法，以通用方式构造符合生成模型假设的潜变量线性组合和子空间，简化高维对象的低维表示构建。
2025-11-07 cs.LG stat.ML
Optimizing CAD Models with Latent Space Manipulation
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；evia solution GmbH（evia解决方案有限公司）；Institute of Industrial Manufacturing and Management IFF, University of Stuttgart（斯图加特大学工业制造与管理研究所IFF）
当涉及到自动化领域中CAD模型的优化时，神经网络目前只起着次要的作用。优化自动化能力等抽象特征是一项挑战，因为它们可能非常难以模拟，对于基于规则的系统来说过于复杂，并且几乎没有可用于机器学习方法的数据。另一方面，可以操作图像中的抽象特征的图像操作方法（如StyleCLIP）已经取得了很大的成功。它们依赖于预训练的生成对抗网络的潜在空间，因此也可以利用大量未标记的CAD数据。在本文中，我们表明，这种方法也适用于优化抽象的自动化相关功能的CAD部件。我们通过扩展StyleCLIP以使用体素模型形式的CAD模型来实现这一点，其中包括使用3D StyleGAN和自定义分类器。最后，我们展示了我们的系统的自动化相关功能的优化能力，通过优化各种CAD模型的抓取。这是一篇开放获取的文章，由第33届CIRP设计会议科学委员会负责，CC BY-NC-ND许可证（http：//creativecommons.org/licenses/by-nc-nd/4.0/）同行评审。
2023-03-09 cs.AI cs.CE cs.CV
Text2Relight: Creative Portrait Relighting with Text Guidance
UNIST（蔚山科学技术院）；Adobe Research（奥多比研究院）
提出一种基于文本引导的人像重打光流水线，通过大型语言模型生成多样化文本提示并利用光场系统合成大规模配对数据，训练扩散模型实现前景与背景的创意光照编辑。
2024-12-18 cs.CV
Controlled GAN-Based Creature Synthesis via a Challenging Game Art Dataset -- Addressing the Noise-Latent Trade-Off
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最先进的StyleGAN 2网络支持创建和编辑艺术的强大方法，包括生成随机图像，查找图像“喜欢”某些查询，以及修改内容或风格。此外，最近的进步使训练与小数据集。我们将这些方法应用于合成卡片艺术，通过在一个新的Yu-Gi-Oh数据集上进行训练。虽然StyleGAN 2的噪声输入对于良好的合成至关重要，但我们发现粗尺度噪声会干扰该数据集上的潜变量，因为两者都控制着长尺度图像效果。我们通过潜变量编辑观察到艺术中过度激进的变化，以及噪音和弱内容控制的变化。在这里，我们证明了训练一个修改后的StyleGAN 2，其中粗尺度噪声被抑制，消除了这些不必要的影响。我们获得了一个优越的FID;噪声的变化导致局部探索的风格;和身份控制显着改善。这些结果和分析为所有技能水平的数字艺术家提供了GAN辅助的艺术合成工具，可用于电影，游戏或任何创意产业的艺术构思。
2021-10-20 cs.CV
LAVIE: High-Quality Video Generation with Cascaded Latent Diffusion Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Monash University（莫纳什大学）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出 LaVie 级联潜在扩散视频生成框架，结合时间自注意力、旋转位置编码与图像-视频联合微调，并构建 2500 万对的 Vimeo25M 数据集，实现高质量文本到视频生成。
2023-09-27 cs.CV
Interactive Fashion Content Generation Using LLMs and Latent Diffusion Models
PES University（PES大学）
本研究提出利用扩散模型与基于能量模型的等价性、结合LLM引导的文本生成图像技术的时尚内容生成方法，可生成多元创意时尚风格并减少偏差，助力设计可视化与用户交互生成。
2023-05-15 cs.CV cs.LG
Grasping the Arrow of Time from the Singularity: Decoding Micromotion in Low-dimensional Latent Spaces from StyleGAN
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Oregon（俄勒冈大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Picsart AI Research（Picsart人工智能研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Texas A&M University（德克萨斯农工大学）
StyleGAN潜在空间的解开为逼真和可控的图像编辑铺平了道路，但StyleGAN是否知道时间运动，因为它只在静态图像上训练？为了研究StyleGAN潜在空间中的运动特征，本文假设并证明了一系列有意义的，自然的，通用的小的局部运动（被称为“微运动”，诸如表情、头部移动和衰老效应）可以在从用于面部生成的常规预训练的StyleGAN-v2模型的潜在空间中提取的低秩空间中表示，在适当的“锚”的指导下，以简短的文本或视频剪辑的形式。从一幅目标人脸图像出发，利用从低秩空间解码的编辑方向，其微动特征可以简单地表示为对其潜在特征的仿射变换。也许更令人惊讶的是，这种微运动子空间，即使是从单个目标人脸中学习到的，也可以毫无痛苦地转移到其他看不见的人脸图像中，甚至是那些来自不同领域的图像（如油画，卡通和雕塑脸）。它表明，与一种类型的微运动相对应的局部特征几何形状在不同的面部主体之间是对齐的，因此StyleGAN-v2确实“秘密”地知道由该微运动引起的主体分离特征变化。我们提出了各种成功的例子，应用我们的低维微动子空间技术直接和毫不费力地操纵脸，表现出高鲁棒性，低计算开销，和令人印象深刻的域可转移性。我们的代码可在https://github.com/wuqiuche/micromotion-StyleGAN上获得。
2022-04-27 cs.CV
SUD$^2$: Supervision by Denoising Diffusion Models for Image Reconstruction
University of Maryland, College Park（马里兰大学帕克分校）；Massachusetts Institute of Technology（麻省理工学院）
针对前向模型未知且配对数据稀缺的成像逆问题，提出SUD$^2$框架，利用图像去噪算法及去噪扩散模型在无配对数据下监督图像重建网络的训练。
2023-04-03 cs.CV cs.LG eess.IV
Identifying centres of interest in paintings using alignment and edge detection: Case studies on works by Luc Tuymans
Ege University（埃格大学）；Catalan Institut for Advanced Studies (ICREA)（加泰罗尼亚高级研究所（ICREA））；Institute for Evolutionary Biology (UPF-CSIC)（进化生物学研究所（UPF-CSIC））
艺术家从原始图像到绘画的创作过程是什么？我们能用计算机视觉和模式识别的技术来检查这个过程吗？在这里，我们设置了第一个初步步骤，以算法解构艺术家应用于原始图像的一些变换，以建立兴趣中心，这些中心是绘画中承载意义的焦点区域。我们引入了一种比较方法，首先从绘画所基于的原始图像中切出最小片段，然后将绘画与此源对齐，调查微观差异以确定兴趣中心并试图了解它们的作用。在本文中，我们专注于微观差异方面的优势。我们相信，研究艺术家在哪里以及如何在绘画中创造兴趣中心，对策展人，艺术史学家，观众和艺术教育家来说是有价值的，甚至可能帮助艺术家理解和完善自己的艺术方法。
2021-01-04 cs.AI cs.CV
Quantifying Creativity in Art Networks
Rutgers University（罗格斯大学）
我们能否开发出一种计算机算法，根据艺术史的背景来评估一幅画的创造力？本文提出了一种新的计算框架来评估创意产品的创造力，如绘画，雕塑，诗歌等。我们使用最常见的定义的创造力，强调产品的原创性和其影响力的价值。所提出的计算框架是基于构建一个网络之间的创意产品和使用这个网络来推断其节点的原创性和影响力。通过一系列的转换，我们构建了一个创造力蕴涵网络。我们表明，在这个网络中的创造力的推理减少到一个变种的网络中心性问题，可以有效地解决。我们提出的框架量化绘画（和雕塑）的创造力的任务。我们在两个超过62K绘画的数据集上进行了实验，以说明所提出的框架的行为。我们还提出了一种方法，定量验证所提出的算法，我们称之为“时间机器实验”的结果。
2015-06-02 cs.AI cs.CV cs.CY
