Sissi: Zero-shot Style-guided Image Synthesis via Semantic-style Integration
Sissi通过语义-风格整合实现零样本风格引导图像合成,采用上下文学习框架提升风格化效果与语义一致性。
2026-01-10 cs.CV
SCSA: A Plug-and-Play Semantic Continuous-Sparse Attention for Arbitrary Semantic Style Transfer
Zhejiang University(浙江大学)
针对任意风格迁移在相同语义图像上表现不佳的问题,提出即插即用的语义连续-稀疏注意力机制SCSA,通过结合语义连续注意力和语义稀疏注意力,实现对齐语义区域整体风格并迁移生动纹理,生成高质量语义风格化图像。
2025-03-06 cs.CV
Which Style Makes Me Attractive? Interpretable Control Discovery and Counterfactual Explanation on StyleGAN
JD Technology(京东科技);Tsinghua University(清华大学)
GAN中语义上分离的潜在子空间为图像生成提供了丰富的可解释控制。本文包括使用StyleGAN2的人脸生成场景中的语义潜在子空间分析的两个贡献。首先,我们提出了一种新的方法来解开潜在子空间语义利用现有的人脸分析模型,例如,面部解析器和面部界标检测器。这些模型提供了构建具有非常具体和可解释的语义含义的各种标准的灵活性(例如,改变面部形状或改变肤色)以限制潜在子空间解纠缠。利用所构造的准则可以发现以前未知的丰富的潜空间控制。其次,我们提出了一个新的视角来解释CNN分类器的行为,通过在我们发现的可解释的潜在子空间中生成反事实。这种解释有助于揭示分类器是否按预期学习语义。在不同解纠缠准则下的实验结果表明了该方法的有效性。我们相信这种方法有助于CNN的图像处理和反事实解释。代码可在\url{https://github.com/prclibo/ice}上获得。
2022-01-24 cs.AI cs.CV cs.LG
Anomaly-Aware Semantic Segmentation via Style-Aligned OoD Augmentation
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学);University of Siegen(锡根大学)
针对自动驾驶开放场景下语义分割模型的异常感知需求,提出风格对齐的OoD数据增强方法缩小域差距,并结合简单微调损失,使预训练模型仅需少量微调即可实现异常分割且保留原任务性能。
2023-08-19 cs.AI cs.CV cs.LG
StyleGallery: Training-free and Semantic-aware Personalized Style Transfer from Arbitrary Image References
StyleGallery通过语义感知和无需训练的框架,实现任意图像参考的个性化风格迁移,提升内容保留与风格化平衡能力。
2026-03-12 cs.CV
Generative Artisan: A Semantic-Aware and Controllable CLIPstyler
The University of Edinburgh(爱丁堡大学)
回想一下,大多数当前的图像风格转移方法需要用户给出特定风格的图像,然后提取该风格特征和纹理以生成图像的风格,但是仍然存在一些问题:用户可能没有参考风格图像,或者可能难以仅用一个图像来概括所期望的风格。最近提出的CLIPstyler已经解决了这个问题,它能够只根据所提供的样式图像的描述来执行样式传输。虽然CLIPstyler在风景或人像单独出现时可以取得很好的表现,但当人与风景共存时,它会模糊人,失去原有的语义。基于这些问题,我们展示了一个新的框架,使用预先训练的CLIP文本图像嵌入模型,并通过FCN语义分割网络引导图像风格转移。具体而言,我们解决了自拍和现实风景中人像过度风格化的问题,增强了人像和风景中风格迁移效果的对比度,使不同语义部分的图像风格迁移程度完全可控。我们的Generative Artisan解决了CLIPstyler的失败案例,并产生了定性和定量的方法,以证明我们在自拍和现实世界的风景与人类主题照片中比CLIPstyler有更好的结果。这一改进使我们的框架商业化的商业场景,如修饰图形软件成为可能。
2022-07-23 cs.AI cs.CV
SEM-CS: Semantic CLIPStyler for Text-Based Image Style Transfer
Ashoka University(阿育王大学);The LNM Institute of Information Technology(LNM信息技术学院)
针对 CLIPStyler 风格溢出和过度风格化导致语义丢失的问题,本文提出 Sem-CS,通过前景/背景分割及对应全局损失实现语义可控的文本图像风格迁移,并在多项指标上表现更优。
2023-03-11 cs.CV
Automatic Semantic Style Transfer using Deep Convolutional Neural Networks and Soft Masks
Hengyang Normal University(衡阳师范学院);Cardiff University(卡迪夫大学)
本文提出了一种自动图像合成方法,将示例图像的风格转换为内容图像。当使用标准的神经风格传递方法时,风格图像的不同语义区域中的纹理和颜色经常被不适当地应用于内容图像,忽略其语义布局,并且破坏传递结果。为了减少或避免这种影响,我们提出了一种新的方法,自动分割的对象,并提取其软语义面具的风格和内容的图像,以保持结构的内容图像,同时有风格转移的基础上。样式图像的每个软掩模表示样式图像的特定部分,对应于具有相同语义的内容图像的软掩模。软掩模和源图像都作为多通道输入提供给增强的深度CNN框架以用于风格转移,该框架结合了生成马尔可夫随机场(MRF)模型。各种图像上的结果表明,我们的方法优于最新的技术。
2017-08-31 cs.CV
Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP
Johns Hopkins University(约翰斯·霍普金斯大学)
我们介绍了一种方法,允许自动分割图像到语义有意义的区域,而无需人工监督。衍生区域在不同的图像中是一致的,并且与某些数据集上的人类定义的语义类一致。在语义区域可能很难为人类定义和一致的标签的情况下,我们的方法仍然能够找到有意义的和一致的语义类。在我们的工作中,我们使用预训练的StyleGAN2生成模型:生成模型的特征空间中的聚类允许发现语义类。一旦发现了类别,就可以创建具有生成的图像和对应的分割掩模的合成数据集。之后,在合成数据集上训练分割模型,并能够推广到真实图像。此外,通过使用CLIP,我们能够使用自然语言中定义的提示来发现一些所需的语义类。我们在公开的数据集上测试了我们的方法,并展示了最先进的结果。
2021-11-18 cs.CV
$S^2$-Flow: Joint Semantic and Style Editing of Facial Images
生成对抗网络(GANs)产生的高质量图像激发了对其在图像编辑中的应用的研究。然而,GANs通常受限于它们为执行特定编辑而提供的控制。其中一个主要挑战是GANs的纠缠潜在空间,它不适合直接执行独立和详细的编辑。最近的编辑方法允许受控的样式编辑或受控的语义编辑。此外,使用语义掩码来编辑图像的方法难以保持身份,并且无法执行受控的样式编辑。我们提出了一种方法来解开一个GAN $\text{'}$的潜在空间到语义和风格的空间,使控制的语义和风格编辑的人脸图像独立在同一个框架。为了实现这一点,我们设计了一个编码器-解码器为基础的网络架构($S^2$ -流),其中包括两个建议的电感偏置。我们通过执行各种语义和样式编辑来定量和定性地显示$S^2$ -Flow的适用性。
2022-11-22 cs.CV
Context-Consistent Semantic Image Editing with Style-Preserved Modulation
Fudan University(复旦大学);China University of Petroleum(中国石油大学)
语义图像编辑利用本地语义标签映射来在编辑区域中生成期望的内容。最近的一项工作借用SPADE块来实现语义图像编辑。然而,由于编辑区域和周围像素之间的风格差异,它不能产生令人满意的结果。我们将此归因于SPADE仅使用独立于图像的局部语义布局,但忽略了已知像素中包含的特定于图像的样式。为了解决这个问题,我们提出了一个风格保留调制(SPM)包括两个调制过程:第一调制结合上下文风格和语义布局,然后生成两个融合的调制参数。第二调制采用融合参数来调制特征图。通过使用这两个调制,SPM可以注入给定的语义布局,同时保留图像特定的上下文风格。此外,我们设计了一个渐进式的架构,用于以粗到细的方式生成编辑后的内容。所提出的方法可以获得上下文一致的结果,并显着减轻生成的区域和已知像素之间的不愉快的边界。
2022-07-13 cs.CV
Example-Guided Style Consistent Image Synthesis from Semantic Labeling
Beihang University(北京航空航天大学);Tsinghua University(清华大学);University of Bath(巴斯大学)
示例引导的图像合成旨在从语义标签图和指示风格的示例性图像合成图像。我们在这个问题中使用的“风格”一词是指图像的隐含特征,例如:在肖像中,“风格”包括性别,种族身份,年龄,发型;在全身照片中,它包括服装;在街景中,它指的是天气和一天中的时间等等。在这些情况下,语义标签图指示面部表情、全身姿势或场景分割。我们提出了一个解决方案的例子引导的图像合成问题,使用条件生成对抗网络与风格一致性。我们的主要贡献是:(i)一种新的风格一致性检验,以确定是否一对图像是一致的风格;(ii)自适应语义一致性损失;和(iii)一个训练数据采样策略,合成风格一致的结果的范例。
2019-06-28 cs.CV
Style Blind Domain Generalized Semantic Segmentation via Covariance Alignment and Semantic Consistence Contrastive Learning
Korea University(高丽大学);Chonnam National University(全南大学)
针对语义分割模型在未见目标域因风格差异性能下降的问题,提出BlindNet方法,通过协方差对齐和语义一致性对比学习实现风格盲域泛化,在未见域上取得优于现有方法的鲁棒分割性能。
2024-03-10 cs.CV
Class-Based Styling: Real-time Localized Style Transfer with Semantic Segmentation
University of British Columbia(英属哥伦比亚大学);Element AI(元素人工智能)
我们提出了一种基于类的样式方法(CBS),它可以实时的【形】为不同的对象类映射不同的样式。CBS通过同时执行两个步骤来实现实时的【形】性能。当使用语义分割方法来获得视频帧中的每个对象类的掩码时,使用样式化方法来全局地样式化该帧。然后,可以通过组合分割掩模和样式化图像来对对象类进行样式化。用户还可以选择多个样式,以便不同的对象类可以在单个帧中具有不同的样式。对于语义分割,我们利用DABNet实现高精度,但只有76万个参数,运行速度为104 FPS。对于样式转换步骤,我们使用Johnson等人提出的流行实时的【形】方法。[7]。我们在CityScapes数据集的视频上评估了CBS,并观察到不同对象类的高质量本地化样式传输结果和实时的【形】性能。
2019-08-30 cs.CV
Semantix: An Energy Guided Sampler for Semantic Style Transfer
South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学);University of Oxford(牛津大学);The University of Sydney(悉尼大学)
本文提出Semantix,一种免训练的能量引导采样器,利用预训练扩散模型实现基于语义对应的图像和视频风格迁移,通过风格、空间和语义距离引导,超越现有方法。
2025-03-28 cs.CV
Sem-CS: Semantic CLIPStyler for Text-Based Image Style Transfer
Ashoka University(阿育王大学);The LNM Institute of Information Technology (LNMIIT)(LNM信息技术研究所(LNMIIT))
针对 CLIPStyler 风格溢出和过度风格化导致的语义丢失问题,本文提出 Sem-CS,通过显著/非显著对象分割及前景、背景全局损失实现语义风格迁移,并在多项指标和用户研究中取得更优性能。
2023-07-12 cs.CV
Multi-style conversion for semantic segmentation of lesions in fundus images by adversarial attacks
Centre Universitaire d’Ophtalmologie(大学眼科中心);Maisonneuve-Rosemont Hospital(迈松纳夫-罗斯蒙特医院);Polytechnic Montréal(蒙特利尔理工学院)
本文提出对抗风格转换方法,通过在合并数据库上训练单一模型并利用对抗攻击调节分割风格,解决眼底图像标注风格不统一问题,从而提升糖尿病视网膜病变诊断的泛化性与可解释性。
2024-10-17 cs.AI cs.CV
Exploring Semantic Consistency and Style Diversity for Domain Generalized Semantic Segmentation
Xiamen University(厦门大学)
针对域泛化语义分割中特征归一化与域随机化的局限,提出SCSD框架,通过语义查询增强、文本驱动风格变换和风格协同优化,在GTAV训练下于四个未见域数据集上平均mIoU达49.11,超越SOTA 4.08。
2024-12-16 cs.CV
MOST-Net: A Memory Oriented Style Transfer Network for Face Sketch Synthesis
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
人脸素描合成在多媒体娱乐和执法领域有着广泛的应用。尽管最近在深度神经网络方面取得了进展,但由于人脸的多样性和复杂性,准确和逼真的人脸草图合成仍然是一项具有挑战性的任务。当前基于图像间距离的人脸草图合成方法在小规模数据集上经常遇到过拟合问题。为了解决这个问题,我们提出了一个端到端的面向记忆的风格传输网络(MOST-Net)的人脸草图合成,可以产生高保真的草图与有限的数据。具体来说,外部自我监督的动态记忆模块被引入到捕获的领域对齐知识的长期。通过这种方式,我们提出的模型可以获得域转移能力,通过建立持久的关系之间的面孔和相应的草图在特征层。此外,我们设计了一种新的内存细化损失(MR损失)的内存模块中的特征对齐,这提高了内存插槽的准确性,在一个无人监督的方式。在CUFS和CUFSF数据集上的大量实验表明,我们的MOST-Net达到了最先进的性能,特别是在结构相似性指数(SSIM)方面。
2022-06-08 cs.AI cs.CV
Manifold Alignment for Semantically Aligned Style Transfer
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Computer Science & Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院)
大多数现有的样式传输方法遵循样式可以用全局统计数据表示的假设(例如,Gram矩阵或协方差矩阵),从而通过强制输出和样式图像具有相似的全局统计数据来解决该问题。另一种方法是假设局部样式模式,其中算法被设计为交换内容和样式图像的相似局部特征。然而,这些现有方法的局限性在于,它们忽略了内容图像的语义结构,这可能导致输出中的内容结构损坏。在本文中,我们提出了一个新的假设,图像特征从同一个语义区域形成一个流形和图像与多个语义区域遵循多流形分布。在此基础上,将风格转换问题转化为两个多流形分布的对齐问题,提出了基于流形对齐的风格转换框架。该框架允许输出和样式图像之间语义相似的区域共享相似的样式模式。此外,所提出的流形对齐方法是灵活的,以允许用户编辑或使用语义分割地图作为风格转移的指导。为了使该方法适用于真实感风格的转移,我们提出了一种新的自适应权重跳过连接网络结构,以保持内容的细节。大量的实验验证了所提出的框架的有效性,艺术和真实感风格转移。代码可在https://github.com/NJUHuoJing/MAST上获得。
2021-09-02 cs.CV cs.MM
UniCSG: Unified High-Fidelity Content-Constrained Style-Driven Generation via Staged Semantic and Frequency Disentanglement
China University of Mining and Technology(中国矿业大学);OPPO Artificial Intelligence Center(OPPO人工智能中心)
UniCSG通过分阶段语义和频率解耦,解决风格迁移中内容与风格纠缠问题,提升生成内容的忠实度和稳定性。
2026-08-06 cs.CV
Language-guided Semantic Style Transfer of 3D Indoor Scenes
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);Peking University(北京大学);Intel Labs(英特尔实验室)
我们解决的新问题的语言引导的语义风格转移的三维室内场景。输入是一个3D室内场景网格和几个描述目标场景的短语。首先,三维顶点坐标映射到RGB残差的多层感知器。其次,彩色三维网格微分渲染成二维图像,通过视点采样策略定制的室内场景。第三,通过预先训练的视觉语言模型将渲染的2D图像与短语进行比较。最后,将错误反向传播到多层感知器,以更新与某些语义类别相对应的顶点颜色。我们使用公共ScanNet和SceneNN数据集进行了大规模定性分析和A/B用户测试。我们证明:(1)视觉上令人愉快的结果,是潜在的多媒体应用程序的有用。(2)从与人类先验一致的视点渲染3D室内场景是重要的。(3)结合语义显著地提高了风格转换质量。(4)HSV正则化项导致与输入更一致的结果,并且通常评级更好。代码和用户学习工具箱可在https://github.com/AIR-DISCOVER/LASST上获得
2022-08-16 cs.AI cs.CV
Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks
nucl.ai Research Laboratory(nucl.ai研究实验室);Artificial Intelligence in Creative Industries(创意产业人工智能机构)
卷积神经网络(CNN)已被证明在图像合成和风格转换方面非常有效。然而,对于大多数用户来说,将它们作为工具使用可能是一项具有挑战性的任务,因为它们的不可预测的行为违背了常见的直觉。本文介绍了一种新的概念,以增强这种生成架构的语义注释,无论是手动创作像素标签或使用现有的解决方案,语义分割。其结果是一个内容感知的生成算法,提供了对结果的有意义的控制。因此,我们通过避免常见的小故障来提高生成图像的质量,使结果看起来更加合理,并扩展这些算法的功能范围-无论是肖像还是风景等应用程序包括语义风格转移和将少数颜色的涂鸦变成大师级的绘画!
2016-03-05 cs.CV
Block Shuffle: A Method for High-resolution Fast Style Transfer with Limited Memory
快速风格转换是一系列使用前馈神经网络渲染输入图像的神经风格转换算法。由于输出层的维数很高,这些网络需要大量的内存来进行计算。因此,对于高分辨率的图像,大多数移动设备和个人电脑都无法对其进行风格转换,这极大地限制了快速风格传输的应用场景。目前,现有的两种解决方案是购买更多的内存和使用基于羽化的方法,但前者需要额外的成本,后者的图像质量较差。为了解决这个问题,我们提出了一种新的图像合成方法命名为\emph{block shuffle},它将一个高内存消耗的单个任务转换为多个子任务与低内存消耗。此方法可以作为快速样式传输的插件,而无需对网络架构进行任何修改。我们使用GitHub上最流行的快速样式传输存储库作为基线。实验结果表明,该方法生成的高分辨率图像质量优于基于羽化的方法。虽然我们的方法比基线慢一个数量级,但它可以在有限内存的情况下处理高分辨率图像,这在基线下是不可能的。代码和型号将在\url{https://github.com/czczup/block-shuffle}上提供。
2020-08-09 cs.CV eess.IV
SeNeDiF-OOD: Semantic Nested Dichotomy Fusion for Out-of-Distribution Detection Methodology in Open-World Classification. A Case Study on Monument Style Classification
SeNeDiF-OOD通过语义嵌套二元融合方法,有效提升开放世界分类中分布外检测的性能,适用于建筑风格分类等复杂场景。
2026-02-02 cs.AI cs.CV
Domain Generalizable Portrait Style Transfer
提出一种域泛化人像风格迁移方法,利用语义适配器建立密集对应,通过AdaIN-小波变换平衡内容与风格,结合双条件扩散模型生成高质量结果。
2025-07-08 cs.AI cs.CV
Synthesis in Style: Semantic Segmentation of Historical Documents using Synthetic Data
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
历史文档自动分析中最紧迫的问题之一是带注释的训练数据的可用性。问题是,标记样品是一项耗时的任务,因为它需要人类的专业知识,因此不能很好地自动化。在这项工作中,我们提出了一种新的方法来构建合成标记数据集的历史文件,没有注释。我们训练一个StyleGAN模型来合成捕获原始文档核心特征的文档图像。虽然最初,StyleGAN架构并不打算生成标签,但它间接地学习底层语义来生成逼真的图像。使用我们的方法,我们可以从中间特征图中提取语义信息,并使用它来生成地面真值标签。为了研究我们的合成数据集是否可以用于分割历史文档中的文本,我们使用它来训练多个监督分割模型并评估它们的性能。我们还在另一个由最先进的合成方法创建的数据集上训练这些模型,以表明在我们的数据集上训练的模型可以获得更好的结果,同时需要更少的人工注释工作。
2022-05-20 cs.AI cs.CV
One-shot domain adaptation for semantic face editing of real world images using StyleALAE
真实世界人脸图像的语义人脸编辑是生成模型的一个重要应用。最近,多项工作已经探索了使用预训练的GAN模型的潜在结构来生成这种修改的可能技术。然而,这样的方法通常需要训练编码器网络,并且这通常是耗时且资源密集的过程。这种基于GAN的架构的可能替代方案可以是styleALAE,这是一种基于潜在空间的自动编码器,可以生成高质量的照片级逼真图像。不幸的是,在风格ALAE重建的图像不保留输入的面部图像的身份。这限制了styleALAE用于具有已知身份的图像的语义面部编辑的应用。在我们的工作中,我们使用一次领域自适应的最新进展来解决这个问题。我们的工作确保了重建图像的身份与给定的输入图像相同。我们通过使用预训练的styleALAE模型的潜在空间来进一步生成对重建图像的语义修改。结果表明,我们的方法可以产生任何真实世界的面部图像的语义修改,同时保持身份。
2021-08-31 cs.CV
Mixture of Style Experts for Diverse Image Stylization
VCIP, CS, Nankai University(南开大学计算机学院视觉与图像处理实验室);NKIARI, Shenzhen Futian(深圳福田南开大学新一代人工智能研究院);Tianjin University(天津大学);vivo BlueImage Lab(vivo蓝心影像实验室)
本文提出StyleExpert框架,基于MoE模型实现语义感知的图像风格化,通过统一编码器和动态门控机制处理多层级语义风格,实验表明其在保持语义和材质细节方面优于现有方法。
2026-03-29 cs.CV
Diffusion-based Image Translation using Disentangled Style and Content Representation
KAIST(韩国科学技术院)
基于扩散的图像翻译以语义文本或单个目标图像为指导,实现了不局限于特定领域的灵活风格转换。不幸的是,由于扩散模型的随机性质,在反向扩散期间通常难以保持图像的原始内容。为了解决这个问题,在这里,我们提出了一种新的基于扩散的无监督图像翻译方法,使用分离的风格和内容表示。具体来说,受拼接视觉Transformer的启发,我们从ViT模型中提取多头自注意层的中间密钥,并将其用作内容保存损失。然后,通过匹配来自去噪样本和目标图像的[CLS]分类标记来执行图像引导的风格转移,而额外的CLIP损失用于文本驱动的风格转移。为了进一步加速反向扩散过程中的语义变化,我们还提出了一种新的语义发散损失和恢复策略。我们的实验结果表明,该方法优于国家的最先进的基线模型在文本引导和图像引导的翻译任务。
2023-02-01 cs.AI cs.CV cs.LG
Two Global Crops Suffice: Locating Semantic Emergence in DINO-Style Self-Supervised Learning
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University of Freiburg(弗莱堡大学)
本研究通过实证剖析DINO式自监督学习,发现语义涌现主要源于同一实例的全局视图对齐,iBOT目标仅起细化作用,并指出语义对应比分类准确率更能预测下游性能。
2026-09-24 cs.CV
Beyond Color and Lines: Zero-Shot Style-Specific Image Variations with Coordinated Semantics
School of Information Science&Technology(信息科学与技术学院);Northwest University(西北大学)
本文提出零样本图像变体框架,通过图像转文本、ChatGPT融合风格语义及带交叉注意力约束的Diffusion生成,实现高保真语义的风格化图像。
2024-10-24 cs.CV
GuidedStyle: Attribute Knowledge Guided Style Manipulation for Semantic Face Editing
Shenzhen University(深圳大学)
虽然无条件生成对抗网络(GANs)在合成高质量和视觉逼真的人脸图像方面取得了重大进展,但仍然缺乏对生成过程的控制,以实现语义人脸编辑。此外,在编辑目标属性时保持其他人脸信息不变仍然是非常具有挑战性的。在本文中,我们提出了一个新的学习框架,称为GuidedStyle,通过用知识网络指导图像生成过程,在StyleGAN上实现语义人脸编辑。此外,我们允许在StyleGAN生成器中的注意力机制自适应地选择单个层进行样式操作。因此,我们的方法能够沿着各种属性执行分离和可控的编辑,包括微笑,眼镜,性别,胡子和头发颜色。定性和定量的结果表明,我们的方法优于其他竞争方法的语义人脸编辑。此外,我们表明,我们的模型也可以应用于不同类型的真实和艺术的人脸编辑,表现出很强的泛化能力。
2020-12-22 cs.CV
Memory-guided Unsupervised Image-to-image Translation
Yonsei University(延世大学);Agency for Defense Development (ADD)(国防科学研究所)
我们提出了一种新的无监督框架的实例级图像到图像的翻译。虽然最近的进步已经通过合并额外的对象注释,现有的方法往往无法处理图像与多个不同的对象。主要原因是,在推理过程中,他们将全局样式应用于整个图像,而没有考虑实例与背景之间或实例内部的大样式差异。为了解决这个问题,我们提出了一个类感知记忆网络,可以显式地推理局部风格的变化。一个键-值存储器结构,与一组读取/更新操作,被引入到记录类明智的风格变化,并访问它们,而不需要在测试时的对象检测器。键存储用于分配内存项的与域无关的内容表示,而值对特定于域的样式表示进行编码。我们还提出了一个特征对比损失,以提高记忆项目的区分能力。我们表明,通过将我们的记忆,我们可以跨域传输类意识和准确的风格表示。实验结果表明,我们的模型优于最近的实例级方法,并达到最先进的性能。
2021-04-12 cs.CV
Semantics-Guided Object Removal for Facial Images: with Broad Applicability and Robust Style Preservation
Seoul National University(首尔国立大学)
面部图像中的对象去除和图像修补是一项任务,其中遮挡面部图像的对象被特定地瞄准、去除并由适当重建的面部图像替换。两种不同的方法,分别利用U-网络和调制发生器已被广泛认可的这项任务,其独特的优点,但尽管每种方法的先天缺点。U-net是一种用于条件GANs的传统方法,它保留了未掩蔽区域的精细细节,但重建图像的风格与原始图像的其余部分不一致,并且只有当遮挡对象的尺寸足够小时才能鲁棒地工作。相比之下,调制生成方法可以处理图像中更大的遮挡区域,并提供更一致的风格,但它通常会错过大多数细节特征。这两种模型之间的这种权衡需要发明一种模型,该模型可以应用于任何尺寸的面具,同时保持一致的风格并保留面部特征的微小细节。在这里,我们提出了语义引导修复网络(SGIN),它本身是调制发生器的修改,旨在利用其先进的生成能力,并保留原始图像的高保真细节。通过使用语义图的指导,我们的模型能够操纵面部特征,从而为一对多问题提供进一步的实用性。
2022-09-29 cs.CV cs.LG
SSGaussian: Semantic-Aware and Structure-Preserving 3D Style Transfer
College of Computer Science and Technology, Zhejiang University(计算机科学与技术学院,浙江大学)
针对现有3D风格迁移方法高层语义提取弱、结构清晰度不足的问题,提出SSGaussian管线,通过跨视角风格对齐与实例级风格迁移,结合2D扩散先验实现更优3D风格化效果,在多类场景中性能超越SOTA。
2025-09-04 cs.AI cs.CV
CoCoDiff: Correspondence-Consistent Diffusion Model for Fine-grained Style Transfer
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);Visual Intelligence + X International Joint Laboratory of the Ministry of Education(视觉智能+X教育部国际联合实验室)
CoCoDiff提出一种无需训练的低成本风格迁移框架,利用预训练的潜在扩散模型实现细粒度语义一致的风格化,通过像素级语义对应模块和循环一致性模块实现对象和区域级别的风格迁移。
2026-04-01 cs.AI cs.CV
Anisotropic Stroke Control for Multiple Artists Style Transfer
Shanghai Jiao Tong University(上海交通大学)
虽然艺术风格迁移已经取得了很大的进展,语义信息通常是难以保持在一个细粒度的局部一致的方式,大多数现有的方法,特别是当多个艺术家的风格,需要在一个单一的模型转移。为了解决这个问题,我们提出了一个中风控制多艺术家风格转移框架。一方面,我们开发了一个多条件的单生成器结构,首先执行多艺术家的风格转移。一方面,我们设计了一个各向异性笔画模块(ASM),实现了非平凡区域和平凡区域之间的风格笔画动态调整。ASM赋予网络自适应的语义一致性能力。另一方面,我们提出了一种新的多尺度投影鉴别器来实现纹理级条件生成。与单尺度条件纹理特征提取方法相比,该方法能够捕捉多尺度纹理线索,有效区分多种艺术风格。大量的实验结果很好地证明了我们的方法的可行性和有效性。我们的框架可以通过一个单一的模型将一张照片转换成不同艺术风格的油画。此外,该方法的结果具有鲜明的艺术风格,并保留了各向异性的语义信息。代码已经在github上提供:https://github.com/neuralchen/ASMAGAN。
2021-06-14 cs.AI cs.CV
DGSS : Domain Generalized Semantic Segmentation using Iterative Style Mining and Latent Representation Alignment
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术院(KAIST))
语义分割算法需要访问在不同光照条件下捕获的注释良好的数据集,以确保一致的性能。然而,在变化的照明条件下的差的可见性条件导致费力且容易出错的标记。或者,使用合成样本来训练分割算法已经获得了兴趣,但存在导致次优性能的域间隙的缺点。虽然目前最先进的(SoTA)提出了不同的机制来弥合域间隙,但它们在低照度条件下仍然表现不佳,平均性能下降约10.7 mIOU。在本文中,我们专注于单源领域泛化,以克服领域差距,并提出了一个两步的框架,其中我们首先确定一个敌对的风格,最大限度地提高风格化和源图像之间的领域差距。随后,这些风格化的图像被用于分类地对齐特征,使得属于同一类的特征在潜在空间中聚类在一起,而不管域间隙。此外,为了在训练时增加类内方差,我们提出了一种风格混合机制,其中来自不同风格的相同对象被混合以构建新的训练图像。这个框架允许我们实现一个领域的广义语义分割算法与一致的性能,而不依赖于一个单一的源的目标领域的先验信息。基于大量的实验,我们匹配了SYNTHIA $\to$ Cityscapes、GTAV $\to$ Cityscapes上的SoTA性能,同时在GTAV $\to$ Dark Zurich和GTAV $\to$ Night Driving基准上设置了新的SoTA,无需重新训练。
2022-02-26 cs.AI cs.CV
Diffusion-based Human Motion Style Transfer with Semantic Guidance
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出一种基于扩散模型的两阶段少样本人体运动风格迁移框架,通过预训练文本到运动模型并结合CLIP语义引导的风格迁移损失,实现仅凭单个风格示例的高质量风格迁移。
2024-08-07 cs.CV cs.GR
ArtWeaver: Advanced Dynamic Style Integration via Diffusion Model
Youtu Lab, Tencent(腾讯优图实验室);Carnegie Mellon University(卡内基梅隆大学);Fudan University(复旦大学)
本文提出ArtWeaver框架,通过混合风格描述符和动态注意力适配器增强预训练Stable Diffusion,解决风格化文本到图像生成中的风格误读和语义不一致问题,实现更优的多风格图像生成。
2024-11-18 cs.CV
Progressive Semantic-Aware Style Transformation for Blind Face Restoration
The University of Hong Kong(香港大学);Harbin Institute of Technology(哈尔滨工业大学);DAMO Academy Alibaba Group(阿里巴巴达摩院);Peking University(北京大学);The Hong Kong Polytechnic University(香港理工大学)
人脸恢复是人脸图像处理中的一个重要问题,近年来得到了广泛的研究。然而,以前的作品往往无法产生合理的高质量(HQ)的结果,为现实世界的低质量(LQ)的人脸图像。在本文中,我们提出了一个新的渐进式语义感知的风格转换框架,命名为PSFR-GAN,人脸恢复。具体来说,而不是使用编码器-解码器框架,如以前的方法,我们制定的恢复LQ人脸图像作为一个多尺度渐进式恢复过程,通过语义感知的风格变换。给定一对LQ人脸图像及其对应的解析图,首先生成输入的多尺度金字塔,然后以语义感知的风格转换方式,从粗到细逐步调制不同尺度的特征。与以前的网络相比,所提出的PSFR-GAN充分利用了来自不同尺度的输入对的语义(解析图)和像素(LQ图像)空间信息。此外,我们还引入了一个语义感知的风格损失,它计算每个语义区域的特征风格损失,以改善人脸纹理的细节。最后,我们预训练了一个人脸解析网络,该网络可以从真实世界的LQ人脸图像中生成像样的解析图。实验结果表明,我们的模型与合成数据训练,不仅可以产生更真实的高分辨率的结果,合成LQ输入,但也更好地推广到自然LQ人脸图像相比,最先进的方法。代码可在https://github.com/chaofengc/PSFRGAN上获得。
2021-03-21 cs.CV
Consistent Style Transfer
Wuhan University(武汉大学)
最近,已经提出了注意力任意风格转移方法来实现细粒度的结果,其操纵内容和风格特征之间的逐点相似性用于风格化。然而,基于特征点的注意力机制忽略了特征多流形分布,其中每个特征流形对应于图像中的一个语义区域。因此,一个统一的内容语义区域呈现高度不同的模式,从各种风格的语义区域,产生不一致的风格化结果与视觉工件。我们提出了渐进式注意流形对齐(PAMA)来缓解这个问题,它反复应用注意操作和空间感知插值。注意操作根据内容特征的空间分布动态地重新排列样式特征。这使得内容和样式流形在特征图上相对应。然后,空间感知插值自适应地在相应的内容和样式流形之间进行插值,以增加它们的相似性。通过逐渐对齐的内容流形的风格流形,所提出的PAMA实现了最先进的性能,同时避免了语义区域的不一致性。代码可在https://github.com/computer-vision2022/PAMA上获得。
2022-01-06 cs.CV
fruit-SALAD: A Style Aligned Artwork Dataset to reveal similarity perception in image embeddings
Tallinn University(塔林大学)
针对图像嵌入相似性感知研究缺乏基准数据集的问题,提出风格对齐艺术品数据集框架SALADs及含10,000张图像的fruit-SALAD实例,为模型相似性感知分析提供受控平台,推动量化与可解释性研究。
2024-06-03 cs.AI cs.CC cs.CV
WildNet: Learning Domain Generalized Semantic Segmentation from the Wild
School of Electrical and Electronic Engineering, Yonsei University(延世大学电气与电子工程学院)
我们提出了一个新的领域广义语义分割网络命名为WildNet,学习领域广义的功能,利用各种内容和风格的野生。在领域泛化中,对未知目标域的低泛化能力显然是由于对源域的过拟合。为了解决这个问题,以前的作品都集中在通过删除或多样化的源域的风格来概括域。这些方法减轻了对源样式的过拟合,但忽略了对源内容的过拟合。在本文中,我们提出了多样化的内容和风格的源域的帮助下,野生的。我们的主要想法是让网络自然地从野外学习领域广义语义信息。为此,我们通过增强源特征来使风格多样化,以类似于野生风格,并使网络能够适应各种风格。此外,我们鼓励网络通过提供从野外借用的语义变体来学习类别判别特征,以获取特征空间中的源内容。最后,我们对网络进行正则化,以捕获一致的语义信息,即使源域的内容和风格都扩展到野外。对五个不同数据集进行的广泛实验验证了我们的WildNet的有效性,并且我们的性能显着优于最先进的方法。源代码和模型可以在网上获得:https://github.com/suhyeonlee/WildNet。
2022-04-04 cs.CV
Transferring Styles for Reduced Texture Bias and Improved Robustness in Semantic Segmentation Networks
Department of Computer Science Heinrich-Heine-University Düsseldorf(计算机科学系 汉诺威-海因希-恩斯特大学);Department of Mathematics University of Wuppertal(数学系 威斯巴登大学)
通过风格迁移减少语义分割网络对纹理的依赖,提升其在图像损坏和对抗攻击下的鲁棒性。
2025-08-25 cs.CV
StyDeco: Unsupervised Style Transfer with Distilling Priors and Semantic Decoupling
提出StyDeco无监督框架,通过先验引导数据蒸馏和对比语义解耦,解决扩散模型风格迁移中文本引导的语义鸿沟,在三个基准上提升风格保真与结构保留。
2025-08-02 cs.CV
Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets
IIT-CNR(意大利国家研究委员会信息与电信研究所);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);NVIDIA AI Technology Centre(英伟达人工智能技术中心)
本文提出通过风格标记与检索关键词分离语义和描述风格,在混合质量的多源数据上训练图像描述模型,无需目标检测器,并在CC3M、nocaps和COCO等数据集上取得领先性能。
2023-11-30 cs.AI cs.CL cs.CV
Open Compound Domain Adaptation with Object Style Compensation for Semantic Segmentation
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Department of Automation, Tsinghua University(清华大学自动化系);Dunhuang Academy(敦煌研究院)
针对开放复合域适应中全局风格迁移忽视对象级差异的问题,本文提出对象风格补偿与对象级差异记忆,将各类实例风格统一到源域,提升伪标注质量并在多个分割数据集上达到SOTA。
2023-09-28 cs.CV
Neural Scene Designer: Self-Styled Semantic Image Manipulation
South China University of Technology(南方科技大学);Guangdong University of Technology(广东工业大学);Jimei University(集美大学);Xiamen Kunlu AI Research Institute(厦门鲲 lun AI 研究院);Sun Yat-sen University(中山大学)
针对现有图像编辑方法易忽略风格一致性的问题,提出Neural Scene Designer框架,通过双交叉注意力扩散模型和PSRL模块实现语义对齐与风格统一,还构建了综合评估基准验证其有效性。
2025-09-01 cs.CV
Exploring Content Based Image Retrieval for Highly Imbalanced Melanoma Data using Style Transfer, Semantic Image Segmentation and Ensemble Learning
Gujarat Technological University(古吉拉特理工大学)
病变图像经常在开放设置中拍摄。由于图像数据的多样性,卷积神经网络很难找到合适的特征并具有良好的泛化能力,因此很难建立基于内容的病变图像检索(CBIR)系统。本文探讨了这一领域,并提出了多个相似性措施,使用风格损失和骰子系数通过一个新的相似性措施称为I1-得分。在提出的CBIR相似性度量中,纯风格损失方法比传统的方法如欧氏距离和余弦相似性实现了显着的准确性提高。使用风格损失的I1分数表现优于传统方法的一个小的利润率,而,I1分数与骰子系数公平非常差。所使用的模型使用集成学习进行训练,以获得更好的泛化能力。
2021-10-12 cs.CV
Style Mixing and Patchwise Prototypical Matching for One-Shot Unsupervised Domain Adaptive Semantic Segmentation
University of South Carolina(南卡罗来纳大学)
在本文中,我们解决的问题,一次性无监督领域自适应(OSUDA)的语义分割,分割器只看到一个未标记的目标图像在训练过程中。在这种情况下,传统的无监督领域自适应模型通常会失败,因为它们不能适应目标域,过度拟合一个(或几个)目标样本。为了解决这个问题,现有的OSUDA方法通常集成了一个风格转换模块,以基于未标记的目标样本执行域随机化,在训练过程中可以探索目标样本周围的多个域。然而,这样的风格转移模块依赖于附加的图像集合作为用于预训练的风格参考,并且还增加了用于领域自适应的存储器需求。在这里,我们提出了一个新的OSUDA方法,可以有效地减轻这种计算负担。具体来说,我们将几个风格混合层集成到分割器中,这些层扮演风格转换模块的角色,以在不引入任何学习参数的情况下对源图像进行风格化。此外,我们提出了一个patchwise原型匹配(PPM)方法加权考虑的重要性,在监督训练,以减轻负适应的源像素。实验结果表明,我们的方法实现了新的国家的最先进的性能在两个常用的基准领域自适应语义分割下的一次设置,是更有效的比所有比较方法。
2021-12-09 cs.CV
StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval
University of Surrey(萨里大学);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(科大讯飞-萨里大学人工智能联合研究中心)
基于草图的图像检索(SBIR)是一个跨模态匹配问题,通常通过学习一个联合嵌入空间来解决,其中保留了照片和草图模态之间共享的语义内容。然而,SBIR中的一个基本挑战到目前为止在很大程度上被忽视了,即草图是由人类绘制的,并且在不同的用户之间存在相当大的风格差异。一个有效的SBIR模型需要明确地考虑这种风格的多样性,至关重要的是,要推广到看不见的用户风格。为此,提出了一种新的风格无关SBIR模型。与现有的模型不同,一个跨模态的变分自编码器(VAE)被用来明确地将每个草图分解为与相应的照片共享的语义内容部分和唯一的风格部分。重要的是,为了使我们的模型动态地适应任何看不见的用户风格,我们建议通过添加两个风格自适应组件来元训练我们的跨模态VAE:一组特征转换层到其编码器和一个正则化器到解开的语义内容潜在代码。有了这个元学习框架,我们的模型不仅可以解开SBIR的跨模态共享语义内容,而且可以适应任何看不见的用户风格,使SBIR模型真正的风格无关。大量的实验表明,我们的风格不可知模型产生的最先进的性能类别级和实例级SBIR。
2021-03-31 cs.CV
Learning with Style: Continual Semantic Segmentation Across Tasks and Domains
在现实世界中处理图像理解的深度学习模型必须能够适应不同领域的各种任务。领域自适应和类增量学习分别处理领域和任务的可变性,而他们的统一解决方案仍然是一个开放的问题。我们一起解决问题的两个方面,同时考虑到输入和标签空间内的语义转变。我们首先正式介绍了持续学习下的任务和域转移。然后,我们通过使用风格转移技术来扩展知识跨域学习增量任务时,和一个强大的蒸馏框架,以有效地选择任务知识下增量域转移建议的设置。设计的框架(LWS,学习风格)是能够概括增量收购的任务知识,在所有遇到的领域,证明是强大的对灾难性遗忘。在多个自动驾驶数据集上进行的大量实验评估表明,所提出的方法优于现有的方法,这些方法被证明在任务和域转移下处理连续语义分割时能力不足。
2022-10-13 cs.CV