Neural Style Transfer and Unpaired Image-to-Image Translation to deal with the Domain Shift Problem on Spheroid Segmentation
背景和目标。域偏移是机器学习模型的泛化问题，当训练集的数据分布与模型在部署时遇到的数据分布不同时发生。由于实验条件、设备和捕获设置的差异，这在生物医学图像分割的背景下是常见的。在这项工作中，我们通过研究神经风格转移算法和不成对的图像到图像的翻译方法在肿瘤球体的分割的背景下，解决这一挑战。方法.我们已经用4个深度学习分割模型说明了球体分割背景下的域偏移问题，这些模型在使用遵循训练分布的图像进行测试时实现了超过97%的IoU，但当应用于在不同条件下捕获的图像时，其性能下降了84%。为了解决这个问题，我们探索了3种风格转换算法（NST，深度图像模拟和STROTSS）和6种不成对的图像到图像转换算法（CycleGAN，DualGAN，ForkGAN，GANILLA，CUT和FastCUT）。这些算法已被集成到一个高层次的API，方便他们的应用程序到其他情况下发生域转移的问题。结果我们已经大大提高了4个分割模型的性能时，适用于在不同条件下拍摄的图像，通过使用风格转移和图像到图像的翻译算法。特别是，有2种风格转换算法（NST和深度图像模拟）和1种不成对的图像到图像转换算法（CycleGAN），可以将模型的IoU提高到0.24到76.07。因此，达到与使用模型获得的性能相似的性能被应用于遵循训练分布的图像。
2022-07-27 cs.CV cs.LG eess.IV
Unsupervised Multi-modal Style Transfer for Cardiac MR Segmentation
Biomedical Image Analysis Group, Imperial College London（伦敦帝国理工学院生物医学图像分析小组）；Data Science Institute, Imperial College London（伦敦帝国理工学院数据科学研究所）；Department of Medicine, Imperial College London（伦敦帝国理工学院医学院）
在这项工作中，我们提出了一种完全自动的方法来分割心脏结构从后期钆增强（LGE）图像，而不使用标记的LGE数据进行训练，而是通过转移解剖知识和功能上学到的注释平衡稳态自由进动（bSSFP）图像，这是更容易获得。我们的框架主要由两个神经网络组成：用于风格转换的多模态图像翻译网络和用于图像分割的级联分割网络。多模态图像转换网络生成以单个注释的bSSFP图像为条件的逼真且多样的合成LGE图像，从而形成合成LGE训练集。然后利用该集合对在标记的bSSFP图像上预训练的分割网络进行微调，从而实现无监督LGE图像分割的目标。特别是，所提出的级联分割网络能够通过考虑形状先验和图像外观来产生准确的分割，在测试集上，左心室的平均Dice分数为0.92，心肌为0.83，右心室为0.88。
2019-11-09 cs.CV cs.LG eess.IV
MOSAIC: Multi-Object Segmented Arbitrary Stylization Using CLIP
IIT Hyderabad（印度理工学院海得拉巴分校）
本文提出 MOSAIC 方法，利用 CLIP 和视觉 Transformer 实现文本引导的多对象分割与任意风格化，首次解决对象级精细风格控制问题，并通过实验证明其高质量生成与泛化能力。
2023-09-24 cs.CV eess.IV
Defect Transfer GAN: Diverse Defect Synthesis for Data Augmentation
Bosch Center for Artificial Intelligence（博世人工智能中心）；Fraunhofer IPA（弗劳恩霍夫制造工程与自动化研究所）
数据饥饿和数据不平衡是许多深度学习方法中的两个主要陷阱。例如，在高度优化的生产线上，几乎无法获得有缺陷的样品，而无缺陷的样品几乎是免费的。然而，这些缺陷往往似乎彼此相似，例如，不同产品上的划痕可能仅在几个特征上不同。在这项工作中，我们引入了一个框架，缺陷转移GAN（DT-GAN），它学习表示独立于各种背景产品的缺陷类型，但可以应用特定于缺陷的样式来生成逼真的缺陷图像。对MVTec AD和另外两个数据集的实证研究表明，DT-GAN优于最先进的图像合成方法w.r.t.样品保真度和缺陷产生的多样性。我们进一步证明了制造中关键下游任务--缺陷分类的好处。结果表明，DT-GAN的增强数据提供了一致的增益，即使在少样本制度，并降低了出错率高达51%，相比传统和先进的数据增强方法。
2023-02-16 cs.CV
Segmentation of Defective Skulls from CT Data for Tissue Modelling
Brno University of Technology（布尔诺理工大学）；TESCAN 3DIM
在这项工作中，我们提出了一种自动分割有缺陷的颅骨的方法，用于定制颅骨植入物设计和3D打印目的。由于这种组织模型通常需要在具有复杂解剖缺陷和所获取数据中存在的各种外部对象的患者病例中使用，因此大多数基于深度学习的方法都存在不足，因为不可能创建足够的训练数据集来涵盖所有可能结构的频谱。由于CNN在这个应用领域的分割实验到目前为止仅限于简单的基于块的CNN架构，我们首先展示了如何使用编码器-解码器架构可以大大提高分割精度。然后，我们展示了如何通过向CNN训练中添加边界项以及通过使用图切割全局优化分割来进一步减少通常需要手动校正的分割伪影的数量。最后，我们表明，使用所提出的方法，3D分割足够准确的临床应用，可以实现与2D CNN架构，以及他们的3D同行。
2020-11-04 cs.CV eess.IV
Automated Deep Photo Style Transfer
Department of Computer Science, University of Tübingen（图宾根大学计算机科学系）
照相现实主义是一个复杂的概念，不能很容易地用数学公式来表达。深度照片风格转移是一种尝试，将参考图像的风格转移到内容图像，同时保留其照片真实感。这是通过引入一个约束，防止在内容图像中的失真，并通过应用独立的图像的语义不同的部分的风格转移。此外，提出了一种自动分割过程，该过程由基于神经网络的分割方法和随后的语义分组步骤组成。为了进一步改善结果的图像美学措施的使用和阐述。如果内容和样式图像足够相似，则结果图像看起来非常逼真。随着图像分割的自动化，流水线变得完全独立于任何用户交互，这允许新的应用程序。
2019-01-12 cs.CV
Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate
National University of Singapore（新加坡国立大学）
针对传统风格迁移对固定图像对只能产生单一结果、缺乏个性化控制的问题，本文提出 Any-to-Any Style Transfer，结合 Segment Anything 区域分割与注意力融合，实现用户交互式的区域级风格选择与迁移，并可即插即用地增强现有方法的可控性。
2023-04-20 cs.CV eess.IV
GLStyleNet: Higher Quality Style Transfer Combining Global and Local Pyramid Features
Zhejiang University（浙江大学）
最近使用深度神经网络的研究已经在风格转移方面取得了显着的成功，特别是对于艺术和照片般逼真的图像。然而，使用全局特征相关性的方法无法捕获小的，复杂的纹理和保持正确的纹理尺度的艺术品，和基于局部补丁的方法是有缺陷的全局效果。在本文中，我们提出了一种新的特征金字塔融合神经网络，被称为GLStyleNet，它充分考虑到多尺度和多层次的金字塔功能，通过最佳聚合层在VGG网络，并执行风格转移分层与不同尺度的多个损失。该方法从损失函数约束和特征融合两个方面保留了图像的高频像素信息和低频结构信息。我们的方法不仅可以灵活地调整内容和风格之间的权衡，而且可以在全局和局部之间进行控制。与现有的方法相比，该方法不仅可以迁移大规模的、明显的风格线索，而且可以迁移细微的、精致的风格线索，显著提高了风格迁移的质量。我们证明了我们的方法的有效性肖像风格迁移，艺术风格迁移，照片写实风格迁移和中国古代绘画风格迁移任务。实验结果表明，我们的统一方法提高了图像风格的传输质量比以前的国家的最先进的方法，同时也在一定程度上加快了整个过程。我们的代码可在https://github.com/EndyWon/GLStyleNet上获得。
2018-11-18 cs.AI cs.CV
CellStyle: Improved Zero-Shot Cell Segmentation via Style Transfer
Institute of Imaging and Computer Vision, RWTH Aachen University, Germany（成像与计算机视觉研究所，亚琛RWTH大学，德国）
CellStyle通过风格迁移技术，在无需目标数据标注的情况下提升零样本细胞分割性能。
2026-01-26 cs.CV cs.LG
LocalStyleFool: Regional Video Style Transfer Attack Using Segment Anything Model
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shandong University（山东大学）；CSIRO’s Data61（联邦科学与工业研究组织数据61部）；Ping An Technology（平安科技）；Shenzhen Institute of Information Technology（深圳信息职业技术学院）
提出 LocalStyleFool，利用 SAM 进行区域分割与跟踪，将基于风格迁移的扰动叠加到选定区域，提升了对抗攻击的自然性与高分辨率下的可扩展性，同时保持欺骗率和查询效率。
2024-03-27 cs.CV
CBCTLiTS: A Synthetic, Paired CBCT/CT Dataset For Segmentation And Style Transfer
Salzburg University of Applied Sciences（萨尔茨堡应用科技大学）；University of Salzburg（萨尔茨堡大学）；MedPhoton GmbH（MedPhoton 有限公司）
本文提出CBCTLiTS，一个合成生成的配对CBCT/CT分割数据集，提供5种质量等级，支持分割、多任务学习和风格转换研究，并附带基线结果。
2024-07-20 cs.CV
Style-Extracting Diffusion Models for Semi-Supervised Histopathology Segmentation
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University Hospital Erlangen（埃尔朗根大学医院）
提出风格提取扩散模型，通过风格和内容双条件机制零样本生成未见风格图像，并利用合成数据半监督训练提升了组织病理学分割性能。
2024-03-21 cs.AI cs.CV cs.LG
ST-FL: Style Transfer Preprocessing in Federated Learning for COVID-19 Segmentation
JP Morgan Chase（摩根大通）；University of Cambridge（剑桥大学）
胸部计算机断层扫描（CT）为COVID-19诊断提供了低成本、快速和客观性，深度学习方法在辅助分析和解释这些图像方面显示出巨大的前景。大多数医院或国家可以使用内部数据训练自己的模型，但经验证据表明，这些模型在对新的未知病例进行测试时表现不佳，这表明需要协调全球合作。由于隐私法规，医院和国家之间的医疗数据共享非常困难。我们提出了一个GAN增强的联邦学习模型，称为ST-FL（风格转移联邦学习），用于COVID-19图像分割。联合学习（FL）允许以安全的方式从位于不同私有数据孤岛中的异构数据集学习集中式模型。我们证明，FL客户端节点上的数据质量差异很大，导致用于COVID-19胸部CT图像分割的次优集中式FL模型。ST-FL是一种新的FL框架，在客户端节点的数据质量高度可变的情况下具有鲁棒性。通过在联邦的每个客户端使用去噪CycleGAN模型来实现鲁棒性，该模型将任意质量的图像映射到相同的目标质量，从而抵消了现实世界FL用例中明显的严重数据变化。每个客户端都提供了目标风格，这对所有客户端都是一样的，并训练自己的去噪器。我们的定性和定量结果表明，该FL模型的性能优于集中访问所有训练数据的模型，并且在某些情况下优于该模型。
2022-03-25 cs.CV cs.LG eess.IV
Self-Supervised One-Shot Learning for Automatic Segmentation of StyleGAN Images
Purdue University（普渡大学）
提出一种基于GAN隐藏特征和自监督对比聚类的单样本分割框架，在五个基准上性能优于半监督基线且推理速度提升4.5倍，并成功应用于BagGAN行李X射线威胁检测。
2023-10-23 cs.CV cs.LG
Structure-Aware Stylized Image Synthesis for Robust Medical Image Segmentation
Huaiyin Institute of Technology（淮阴工学院）；Alpha Benito Research（Alpha Benito研究院）；City University of Hong Kong（香港城市大学）
针对医学图像分割中域偏移及扩散模型结构信息丢失问题，提出结合扩散模型与结构保持网络的结构感知单样本风格化方法，在结肠镜息肉和皮肤病变数据集上提升分割鲁棒性与准确性，优于无风格迁移的基线模型。
2024-12-05 cs.CV cs.LG eess.IV
PAEDID: Patch Autoencoder Based Deep Image Decomposition For Pixel-level Defective Region Segmentation
Georgia Institute of Technology（佐治亚理工学院）；Apple（苹果公司）
无监督像素级缺陷区域分割是基于图像的异常检测中的一项重要任务。现有的方法有其自身的优点和局限性：基于矩阵分解的方法对噪声具有鲁棒性，但缺乏对复杂背景图像的建模能力;基于表示的方法定位缺陷区域较好，但缺陷区域形状轮廓提取精度不高;基于重建的方法检测出的缺陷区域与真实缺陷区域形状轮廓匹配较好，但存在噪声。为了结合这两个世界的优点，我们提出了一种基于无监督补丁自动编码器的深度图像分解（PAEDID）方法来进行缺陷区域分割。在训练阶段，我们通过补丁自动编码器（PAE）网络学习共同背景作为深度图像先验。在推理阶段，我们将异常检测表示为具有深度图像先验和特定于域的正则化的图像分解问题。通过采用所提出的方法，图像中的缺陷区域可以准确地提取在一个无监督的方式。我们证明了PAEDID方法的有效性，在模拟研究和工业数据集的案例研究。
2022-11-07 cs.CV cs.LG
SEAN: Image Synthesis with Semantic Region-Adaptive Normalization
KAUST（阿卜杜拉国王科技大学）；Cardiff University（卡迪夫大学）
我们提出了语义区域自适应规范化（SEAN），一个简单但有效的构建块生成对抗网络的分割掩码，描述所需的输出图像中的语义区域的条件。使用SEAN规范化，我们可以构建一个网络架构，可以单独控制每个语义区域的风格，例如，我们可以为每个区域指定一个样式参考图像。在重建质量、可变性和视觉质量方面，SEAN比以前最好的方法更适合编码、传输和合成风格。我们在多个数据集上评估了SEAN，并报告了比当前最先进的定量指标（例如FID，PSNR）。SEAN还推动了交互式图像编辑的前沿。我们可以通过更改分割掩码或任何给定区域的样式来交互式编辑图像。我们还可以从每个区域的两个参考图像中插入样式。
2020-05-24 cs.CV cs.GR eess.IV
Improving Supervised Machine Learning Performance in Optical Quality Control via Generative AI for Dataset Expansion
Fraunhofer IOSB（弗劳恩霍夫光学、信息技术与人类工效学研究所）
本文通过生成式人工智能扩展数据集，提升光学质量控制中监督机器学习的性能，使用Stable Diffusion实现4.6%的分割性能提升。
2026-01-30 cs.CV
Shape and Style GAN-based Multispectral Data Augmentation for Crop/Weed Segmentation in Precision Farming
North Carolina A&T University（北卡罗来纳农工州立大学）；Sapienza University of Rome（罗马大学）；UNINT University（UNINT大学）
针对精准农业中训练数据收集困难的问题，提出一种基于两个 GAN 的多光谱数据增强方法，通过替换图像补丁中的对象来生成新样本，实验证明其有效性。
2024-07-19 cs.CV cs.LG
Improved Object-Based Style Transfer with Single Deep Network
College of Engineering Pune Technological University（浦那工程技术大学工程学院）
本研究提出一种基于单深度卷积神经网络的对象级风格迁移方法，整合YOLOv8分割与骨干网络，简化训练部署，可实现单/多对象的风格无缝迁移并保留对象特征。
2024-04-15 cs.CV cs.LG
Dual-Domain Image Synthesis using Segmentation-Guided GAN
University of Bristol（布里斯托大学）
我们引入了一种分割指导的方法来合成图像，集成了来自两个不同领域的功能。由我们的双领域模型合成的图像属于语义掩码内的一个领域，并且属于图像的其余部分中的另一个领域-平滑地集成。我们建立在Few-Shot StyleGAN和单镜头语义分割的成功基础上，以最大限度地减少利用两个域所需的训练量。该方法结合了一个Few-Shot的跨域StyleGAN与潜在的优化器，以实现包含两个不同领域的特征的图像。我们使用分割引导的感知损失，它比较特定领域和双域合成图像之间的像素级和激活。结果定性和定量地表明，我们的模型能够在各种对象（人脸，马，猫，汽车），域（自然，漫画，草图）和基于部分的面具（眼睛，鼻子，嘴，头发，汽车发动机罩）上合成双域图像。该代码可在https://github.com/denabazazian/Dual-Domain-Synthesis上公开获取。
2022-04-19 cs.CV
SIAN: Style-Guided Instance-Adaptive Normalization for Multi-Organ Histopathology Image Synthesis
University of Idaho（爱达荷大学）
现有的用于组织病理学图像合成的深度神经网络无法生成与不同器官对齐的图像样式，并且无法生成聚类细胞核的准确边界。为了解决这些问题，我们提出了一种风格引导的实例自适应归一化（SIAN）方法来合成逼真的颜色分布和纹理的组织病理学图像从不同的器官。SIAN包括语义化、风格化、实例化和转调四个阶段。前两个阶段通过使用语义映射和学习的图像风格向量来合成图像语义和风格。实例化模块集成几何和拓扑信息，生成精确的细胞核边界。我们在多器官数据集上验证了所提出的方法，广泛的实验结果表明，所提出的方法比四种最先进的方法为五个器官生成更逼真的组织病理学图像。通过将所提出的方法的合成图像合并到模型训练中，实例分割网络可以实现最先进的性能。
2023-01-24 cs.CV cs.LG eess.IV
StyleSplat: 3D Object Style Transfer with Gaussian Splatting
Carnegie Mellon University（卡内基梅隆大学）
针对现有3D风格迁移速度慢、难定位到特定物体的问题，提出轻量方法StyleSplat，基于3D高斯泼溅实现场景内多物体的定制化局部风格迁移，提升3D创作的可控性。
2024-07-12 cs.CV
Example-Guided Style Consistent Image Synthesis from Semantic Labeling
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；University of Bath（巴斯大学）
示例引导的图像合成旨在从语义标签图和指示风格的示例性图像合成图像。我们在这个问题中使用的“风格”一词是指图像的隐含特征，例如：在肖像中，“风格”包括性别，种族身份，年龄，发型;在全身照片中，它包括服装;在街景中，它指的是天气和一天中的时间等等。在这些情况下，语义标签图指示面部表情、全身姿势或场景分割。我们提出了一个解决方案的例子引导的图像合成问题，使用条件生成对抗网络与风格一致性。我们的主要贡献是：（i）一种新的风格一致性检验，以确定是否一对图像是一致的风格;（ii）自适应语义一致性损失;和（iii）一个训练数据采样策略，合成风格一致的结果的范例。
2019-06-28 cs.CV
Real-time Localized Photorealistic Video Style Transfer
Boston University（波士顿大学）；Google Research（谷歌研究院）；Google（谷歌）
我们提出了一种新的算法，用于将图像的语义上有意义的局部区域的艺术风格转移到目标视频的局部区域，同时保持其照片真实感。局部区域可以通过使用视频分割算法完全自动地从图像中选择，或者从随意的用户指导（例如涂鸦）中选择。我们的方法基于深度神经网络架构，灵感来自于最近在真实感风格转换方面的工作，是实时的【形】，并且可以在任意输入上工作，而无需在不同艺术风格数据集上进行运行时优化。通过使用嘈杂的语义标签增强我们的视频数据集，并联合优化风格，内容，掩码和时间损失，我们的方法可以处理输入中的各种缺陷，并生成时间上连贯的视频，而不会产生视觉伪影。我们在各种风格的图像和目标视频上演示了我们的方法，包括同时将不同风格转移到多个对象上的能力，以及及时在风格之间平滑过渡的能力。
2020-10-20 cs.CV
UniGlyph: Unified Segmentation-Conditioned Diffusion for Precise Visual Text Synthesis
Tsinghua University（清华大学）；Baidu Inc.（百度公司）
UniGlyph提出以像素级视觉文本掩码作为统一条件的分割引导扩散框架，结合双语分割模型与自适应字形条件机制，在AnyText及新基准上显著提升中英文视觉文本渲染精度。
2025-07-02 cs.CV
Automatic Semantic Style Transfer using Deep Convolutional Neural Networks and Soft Masks
Hengyang Normal University（衡阳师范学院）；Cardiff University（卡迪夫大学）
本文提出了一种自动图像合成方法，将示例图像的风格转换为内容图像。当使用标准的神经风格传递方法时，风格图像的不同语义区域中的纹理和颜色经常被不适当地应用于内容图像，忽略其语义布局，并且破坏传递结果。为了减少或避免这种影响，我们提出了一种新的方法，自动分割的对象，并提取其软语义面具的风格和内容的图像，以保持结构的内容图像，同时有风格转移的基础上。样式图像的每个软掩模表示样式图像的特定部分，对应于具有相同语义的内容图像的软掩模。软掩模和源图像都作为多通道输入提供给增强的深度CNN框架以用于风格转移，该框架结合了生成马尔可夫随机场（MRF）模型。各种图像上的结果表明，我们的方法优于最新的技术。
2017-08-31 cs.CV
SEM-CS: Semantic CLIPStyler for Text-Based Image Style Transfer
Ashoka University（阿育王大学）；The LNM Institute of Information Technology（LNM信息技术学院）
针对 CLIPStyler 风格溢出和过度风格化导致语义丢失的问题，本文提出 Sem-CS，通过前景/背景分割及对应全局损失实现语义可控的文本图像风格迁移，并在多项指标上表现更优。
2023-03-11 cs.CV
Style-ERD: Responsive and Coherent Online Motion Style Transfer
University of British Columbia（不列颠哥伦比亚大学）；University of California, Davis（加州大学戴维斯分校）
运动风格转换是丰富角色动画的常用方法。运动风格转换算法通常是为离线设置而设计的，在离线设置中，运动是分段处理的。然而，对于在线动画应用，诸如来自运动捕捉的实时化身动画，运动需要以最小延迟作为流来处理。在这项工作中，我们实现了一个灵活的，高品质的运动风格转移方法，这种设置。我们提出了一种新的风格转移模型，风格ERD，以在线方式与编码器-递归-解码器结构的风格运动，以及一种新的风格，结合特征注意力和时间注意力。我们的方法将运动风格化为具有统一模型的多个目标样式。虽然我们的方法针对在线设置，但它在运动真实感和风格表现力方面优于以前的离线方法，并在运行时效率方面提供了显着的收益
2022-03-29 cs.CV cs.LG
Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks
nucl.ai Research Laboratory（nucl.ai研究实验室）；Artificial Intelligence in Creative Industries（创意产业人工智能机构）
卷积神经网络（CNN）已被证明在图像合成和风格转换方面非常有效。然而，对于大多数用户来说，将它们作为工具使用可能是一项具有挑战性的任务，因为它们的不可预测的行为违背了常见的直觉。本文介绍了一种新的概念，以增强这种生成架构的语义注释，无论是手动创作像素标签或使用现有的解决方案，语义分割。其结果是一个内容感知的生成算法，提供了对结果的有意义的控制。因此，我们通过避免常见的小故障来提高生成图像的质量，使结果看起来更加合理，并扩展这些算法的功能范围-无论是肖像还是风景等应用程序包括语义风格转移和将少数颜色的涂鸦变成大师级的绘画！
2016-03-05 cs.CV
Multi-Objective Optimization for Synthetic-to-Real Style Transfer
Fédération ENAC ISAE-SUPAERO ONERA, Université de Toulouse, Toulouse, France（法国ENAC Fédération ISAE-SUPAERO ONERA 郊外大学图卢兹分校）；Airbus, Toulouse, France（空客公司 图卢兹法国）
本文提出利用多目标遗传算法优化合成到现实的风格迁移管道，通过平衡结构一致性与风格相似性提升分割性能。
2026-02-03 cs.CV
Level generation and style enhancement -- deep learning for game development overview
ECC Games SA（ECC游戏股份公司）；Kozminski University（科兹明斯基大学）
我们提出了使用深度学习来创建和增强视频游戏的关卡地图和纹理的实用方法-桌面，移动和网络。我们的目标是为游戏开发者和关卡艺术家提供新的可能性。设计关卡并用细节填充它们的任务是具有挑战性的。它既耗时又费力，使层次丰富，复杂，并有一种自然的感觉。幸运的是，深度学习的最新进展为关卡设计师和视觉艺术家提供了新的工具。此外，它们还提供了一种生成无限世界的方法，以实现游戏的可重玩性，并根据玩家的需求调整教育游戏。我们提出了七种创建水平图的方法，每种方法都使用统计方法，机器学习或深度学习。特别是，我们包括：-生成对抗网络从现有的例子（如ProGAN）创建新的图像。- 超分辨率技术，用于放大图像，同时保留清晰的细节（例如ESRGAN）。- 改变视觉主题的神经风格转移。- 图像翻译-将语义映射转换为图像（例如GauGAN）。- 语义分割，用于将图像转换为语义掩码（例如，U-Net）。- 用于提取语义特征的无监督语义分割（例如Tile 2 Vec）。- 纹理合成-基于较小的样本（例如InGAN）创建大图案。
2021-07-15 cs.CV
Robustness of SAM: Segment Anything Under Corruptions and Beyond
Kyung Hee University（庆熙大学）
本研究首次全面评估SAM在风格变化、15种常见损坏、局部遮挡及对抗攻击下的鲁棒性，揭示其实际部署中的性能局限。
2023-09-04 cs.CV
Iris Style Transfer: Enhancing Iris Recognition with Style Features and Privacy Preservation through Neural Style Transfer
Technical University of Munich（慕尼黑工业大学）
针对虹膜识别的鲁棒性需求与隐私担忧，该研究受神经风格迁移启发，利用虹膜风格特征提升识别准确率并抵抗变异，还提出通过神经风格迁移模糊可识别特征以保护隐私。
2025-04-14 cs.CV cs.HC
CtrlVTON: Controllable Virtual Try-On via Visual-Instance-Prompt Segmentation
NXN Labs（NXN实验室）；KAIST（韩国科学技术院）
研究旨在解决虚拟试穿中用户对服装穿着方式控制不足的问题。提出通过VIP - SAM解决视觉实例提示分割，引入CtrlVTON可控框架，将试穿转为图像编辑问题并添加分割掩码控制布局。二者在各自任务达先进水平，CtrlVTON能更忠实地遵循用户布局且保证服装逼真度。
2026-07-13 cs.AI cs.CV
BiOcularGAN: Bimodal Synthesis and Annotation of Ocular Images
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Faculty of Electrical Engineering, University of Ljubljana（卢布尔雅那大学电气工程学院）
目前最先进的眼部图像分割技术严重依赖于大规模的注释数据集，这是劳动密集型的收集，往往会引起隐私问题。在本文中，我们提出了一个新的框架，称为BiOcularGAN，能够生成逼真的（可见光和近红外）视觉图像的合成大规模数据集，以及相应的分割标签来解决这些问题。在其核心，该框架依赖于一个新的双分支StyleGAN 2（DB-StyleGAN 2）模型，该模型有助于双峰图像生成，以及一个语义掩码生成器（SMG）组件，该组件通过利用DB-StyleGAN 2模型的潜在特征生成语义注释。我们通过在五个不同的眼部数据集上进行广泛的实验来评估BiOcularGAN，并分析双峰数据生成对图像质量和所产生的注释的影响。我们的实验结果表明，BiOcularGAN能够产生高质量的匹配双峰图像和注释（以最少的人工干预），可用于训练高度竞争（深度）分割模型（以隐私意识的方式），在多个真实世界的数据集上表现良好。BiOcularGAN框架的源代码可在https://github.com/dariant/BiOcularGAN上公开获得。
2022-12-08 cs.CV cs.LG
Generation of microbial colonies dataset with deep learning style transfer
NeuroSYS（NeuroSYS公司）；Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学）
我们引入了一种有效的策略来生成带注释的培养皿微生物图像的合成数据集，该数据集可用于以完全监督的方式训练深度学习模型。所开发的生成器采用传统的计算机视觉算法与神经风格转移方法的数据增强。我们表明，该方法能够合成一个数据集的逼真的图像，可用于训练一个神经网络模型能够定位，分割和分类五种不同的微生物。我们的方法需要更少的资源来获得一个有用的数据集，而不是收集和标记一个完整的大集合的真实图像与注释。我们表明，从只有100张真实图像开始，我们可以生成数据来训练一个检测器，该检测器实现了与同一检测器相当的结果（检测mAP = 0.416，计数MAE = 4.49），但在一个真实的，几十倍大的数据集（mAP = 0.520，MAE = 4.31）上进行了训练，包含超过7k张图像。我们证明了该方法在微生物检测和分割中的实用性，但我们希望它是通用的和灵活的，也可以适用于其他领域的科学和工业检测各种对象。
2022-01-19 cs.AI cs.CV q-bio.QM
CoARF: Controllable 3D Artistic Style Transfer for Radiance Fields
ETH Zürich（苏黎世联邦理工学院）
本文提出 CoARF 算法，通过分割掩码与标签相关损失函数实现指定对象、组合式及语义感知的可控 3D 场景风格迁移，并引入语义感知最近邻匹配算法提升迁移质量。
2024-04-23 cs.AI cs.CV cs.GR
Fashioning with Networks: Neural Style Transfer to Design Clothes
University Of Maryland Baltimore County (UMBC)（马里兰大学巴尔的摩县分校）
卷积神经网络在许多计算机视觉任务中取得了巨大的成功，如目标识别、目标检测、图像分割和纹理合成。2015年，Gatys et. al [7]展示了如何从绘画的图像中提取画家的风格并应用于另一张正常的照片，从而以画家的风格重新创建照片。该方法已成功应用于各种图像，并已催生了多个应用程序和移动应用程序。本文将神经风格转换算法应用于服装设计中，以合成新的定制服装。我们构建了一种方法来个性化和生成新的定制服装的基础上，用户的喜好，并通过学习用户的时尚选择，从一组有限的衣服从他们的衣柜。通过分析生成的衣服图像以及它们与用户时尚风格的一致性来评估该方法。
2017-07-31 cs.AI cs.CV cs.IR
Style Augmentation improves Medical Image Segmentation
Commissariat à l’Energie Atomique（法国原子能委员会）
由于可用标记数据的限制，医学图像分割是深度学习的一项具有挑战性的任务。传统的数据增强技术已被证明可以通过优化少量训练样本的使用来提高分割网络的性能。然而，目前用于分割的增强方法并没有解决卷积神经网络的强纹理偏差，这在几项研究中观察到。这项工作在MoNuSeg数据集上显示，已经用于分类任务的样式增强有助于减少纹理过度拟合并提高分割性能。
2022-11-02 cs.CV eess.IV
Style Transfer and Self-Supervised Learning Powered Myocardium Infarction Super-Resolution Segmentation
Imperial College London（帝国理工学院）
本文提出结合风格迁移与端到端超分辨率分割的流程，将DTI转换至LGE域，并利用多任务自监督预训练提升心肌梗死分割性能。
2023-09-27 cs.CV eess.IV
Impact of individual rater style on deep learning uncertainty in medical imaging segmentation
NeuroPoly Lab, Institute of Biomedical Engineering, Polytechnique Montreal（蒙特利尔理工学院生物医学工程研究所NeuroPoly实验室）；Mila - Quebec AI Institute（Mila-魁北克人工智能研究所）；Functional Neuroimaging Unit, CRIUGM, Université de Montréal（蒙特利尔大学CRIUGM功能神经影像单元）
虽然多项研究探讨了医疗分割任务中评分员间变异性与深度学习模型不确定性之间的关系，但对个人评分员风格的影响知之甚少。本研究以偏差和一致性的形式量化评分员风格，并探讨它们在用于训练深度学习模型时的影响。使用了两个多评分器公共数据集，包括脑多发性硬化病变和脊髓灰质分割。在这两个数据集上，结果显示评分者偏见和深度学习不确定性之间存在相关性（$R^2 = 0.60$和$0.93$）。评价者的注释之间的标签融合对这种关系的影响也进行了探讨，我们表明，多中心的共识比单中心的共识，以减少不确定性更有效，因为评分风格主要是中心特定的。
2021-05-05 cs.CV eess.IV
Generalize Ultrasound Image Segmentation via Instant and Plug & Play Style Transfer
Shenzhen University（深圳大学）；Luohu People’s Hospital（罗湖人民医院）；Southeast University（东南大学）；University of Leeds（利兹大学）；KU Leuven（鲁汶大学）
推广到具有未知外观的图像的深度分割模型对于现实世界的医学图像分析是重要的。重新训练模型导致高延迟和复杂的管道，这在临床环境中是不切实际的。超声图像分析的情况变得更加严重，因为他们的大的外观变化。在本文中，我们提出了一种新的方法，鲁棒分割未知的外观变化。我们的贡献是三方面的。首先，我们提出了一个一阶段的即插即用的解决方案，通过嵌入分层风格传输单元到分割架构。我们的解决方案可以消除外观变化，并同时执行分割。其次，我们采用动态实例规范化，以可学习的方式进行精确和动态的样式转换，而不是以前固定的样式规范化。第三，我们的解决方案快速轻便，适合常规临床应用。在400*400图像输入的情况下，与基线流水线相比，我们的解决方案仅需要额外的0.2ms和1.92M FLOP来处理外观偏移。在来自三家供应商的大型数据集上进行了大量实验，证明我们提出的方法增强了深度分割模型的鲁棒性。
2021-01-11 cs.CV eess.IV
Style Curriculum Learning for Robust Medical Image Segmentation
Shenzhen University（深圳大学）；Universitat de Barcelona（巴塞罗那大学）；University of Leeds（利兹大学）；KU Leuven（荷语鲁汶大学）
由于训练数据集和测试数据集之间图像强度的分布变化，深度分割模型的性能通常会下降。这在涉及使用多供应商扫描仪采集数据的多中心研究中尤其明显，采集协议存在差异。解决这种退化是具有挑战性的，因为偏移通常是未知的\textit{a priori}，因此难以建模。我们提出了一个新的框架，以确保强大的分割存在这样的分布变化。我们的贡献是三方面的。首先，在课程学习精神的启发下，我们设计了一个新颖的课程，采用由易到难的方式对分割模型进行训练。采用风格融合的风格迁移模型生成课程样本。逐渐关注复杂和对抗性的风格样本可以显着提高模型的鲁棒性。其次，我们采用自动梯度操作方法来控制硬样本和对抗样本的生成过程，而不是主观地定义课程的复杂性。第三，我们提出了局部梯度符号策略来局部聚合梯度并在梯度操作期间稳定训练。所提出的框架可以推广到未知的分布，而不使用任何目标数据。在公开的M\&Ms Challenge数据集上进行的大量实验表明，我们提出的框架可以将深度模型很好地推广到未知分布，并在分割准确性方面取得了显着提高。
2021-08-01 cs.CV eess.IV
Remove Appearance Shift for Ultrasound Image Segmentation via Fast and Universal Style Transfer
Shenzhen University（深圳大学）
深度神经网络（DNN）在图像外观发生偏移时会出现性能下降，特别是在超声（US）图像分割中。在本文中，我们提出了一种新颖而直观的框架来消除外观变化，从而提高DNN的泛化能力。我们的工作有三个亮点。首先，我们遵循通用风格转移的精神，以消除外观变化，这是以前没有探索过的美国图像。在不牺牲图像结构细节的情况下，它可以实现任意风格内容的传输。其次，通过自适应实例归一化块加速，我们的框架实现了临床US扫描所需的实时速度。第三，提出了一种高效的风格图像选择策略，以确保目标风格图像和测试内容图像能够正确匹配。在两个大型美国数据集上的实验表明，我们的方法在使DNN对各种外观变化具有鲁棒性方面优于最先进的方法。
2020-02-14 cs.CV eess.IV
Style Content Decomposition-based Data Augmentation for Domain Generalizable Medical Image Segmentation
School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院）；Key Laboratory of Intelligent Computing in Medical Image, Ministry of Education, Northeastern University, Shenyang, China（教育部智能医学图像关键实验室）；Alberta Machine Intelligence Institute, University of Alberta, Edmonton, Canada（阿尔伯塔大学阿尔伯塔机器智能研究所）；Department of Data Science & AI, Faculty of Information Technology, Monash University, Melbourne, Australia（墨尔本大学数据科学与人工智能系）；Monash Biomedical Imaging, Monash University, Melbourne, Australia（墨尔本大学生物医学成像中心）
针对医学图像分割中跨模态域偏移导致模型部署性能下降的问题，提出即插即用的StyCona数据增强算法，通过显式分解并增强图像风格与内容分量，无需修改模型即可提升分割域泛化性能，实验验证其优于现有最优方法。
2025-11-19 cs.CV eess.IV
Normal Reference Attention and Defective Feature Perception Network for Surface Defect Detection
Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）
视觉异常检测在工业自动化产品质量检测中具有重要的意义。由于正常和异常数据量的极大不平衡，越来越多的注意力已经给予了无监督的方法进行缺陷检测。虽然现有的基于重建的方法已经得到了广泛的研究，最近，建立一个强大的重建模型，各种纹理表面缺陷检测仍然是一个具有挑战性的任务，由于均匀和不规则的表面纹理。在本文中，我们提出了一种新的无监督重建为基础的方法称为正常参考注意和缺陷特征感知网络（NDP-网），以准确地检查各种纹理缺陷。与大多数基于重建的方法不同，我们的NDP-网络首先采用了一个编码模块，该模块提取表面纹理的多尺度判别特征，该模块通过提出的人工缺陷和新颖的像素级缺陷感知损失来增强缺陷判别能力。随后，提出了一种新型的基于参考的注意力模块（RBAM），利用固定参考图像的正常特征来修复缺陷特征并抑制缺陷的重建。接着，将修复后的特征送入解码模块以重建正常纹理背景。最后，新的多尺度缺陷分割模块（MSDSM）被引入精确的缺陷检测和分割。此外，一个两阶段的培训策略是用来提高检查性能。
2023-01-13 cs.AI cs.CV
Semi-supervised Cardiac Image Segmentation via Label Propagation and Style Transfer
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Lenovo Research（联想研究院）；Lenovo Ltd.（联想有限公司）
心脏结构的准确分割可以帮助医生诊断疾病，并改善治疗计划，这在临床实践中是非常重要的。然而，注释的不足以及不同供应商和医疗中心之间的数据差异限制了高级深度学习方法的性能。在这项工作中，我们提出了一种全自动的方法来分割心脏结构，包括左（LV）和右心室（RV）血池，以及左心室心肌（MYO）的MRI卷。具体来说，我们设计了一种半监督学习方法，通过标签传播来利用未标记的MRI序列时间帧。然后，我们利用风格转移，以减少不同的中心和供应商之间的差异，更强大的心脏图像分割。我们在M& M挑战赛7中评估了我们的方法，在14个竞争团队中排名第二。
2022-08-04 cs.CV eess.IV
Unified cross-modality feature disentangler for unsupervised multi-domain MRI abdomen organs segmentation
Memorial Sloan Kettering Cancer Center（纪念斯隆-凯特琳癌症中心）
我们的贡献是一个统一的跨模态功能去纠缠多域图像翻译和多器官分割的方法。使用CT作为标记的源域，我们的方法学习分割没有标记数据的多模态（T1加权和T2加权）MRI。我们的方法使用变分自动编码器（VAE）来解开图像内容的风格。VAE约束的风格特征编码，以匹配一个普遍的先验（高斯），假设跨越所有的源和目标模态的风格。提取的图像风格被转换为潜在的风格缩放代码，其调制生成器以根据来自图像内容特征的目标域代码来产生多模态图像。最后，我们引入了一个联合分布匹配算法，该算法将翻译后的图像与任务相关的分割概率图相结合，以进一步约束和规范图像到图像（I2I）的翻译。我们对多种最先进的I2I翻译和分割方法进行了广泛的比较。我们的方法导致最低的平均多域图像重建误差为1.34 $\pm$ 0.04。对于多器官分割，我们的方法产生了T1w的平均Dice相似系数（DSC）为0.85，T2w MRI为0.90，这与完全监督的MRI多器官分割网络（T1w的DSC为0.86，T2w MRI为0.90）高度可比。
2020-07-19 cs.CV eess.IV
Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP
Johns Hopkins University（约翰斯·霍普金斯大学）
我们介绍了一种方法，允许自动分割图像到语义有意义的区域，而无需人工监督。衍生区域在不同的图像中是一致的，并且与某些数据集上的人类定义的语义类一致。在语义区域可能很难为人类定义和一致的标签的情况下，我们的方法仍然能够找到有意义的和一致的语义类。在我们的工作中，我们使用预训练的StyleGAN2生成模型：生成模型的特征空间中的聚类允许发现语义类。一旦发现了类别，就可以创建具有生成的图像和对应的分割掩模的合成数据集。之后，在合成数据集上训练分割模型，并能够推广到真实图像。此外，通过使用CLIP，我们能够使用自然语言中定义的提示来发现一些所需的语义类。我们在公开的数据集上测试了我们的方法，并展示了最先进的结果。
2021-11-18 cs.CV
Curriculum-style Local-to-global Adaptation for Cross-domain Remote Sensing Image Segmentation
Fudan University（复旦大学）
虽然领域自适应在自然图像分割中得到了广泛的研究，但对于高分辨率遥感图像的跨领域分割研究还很薄弱。基于VHR RSSI的跨域分割主要面临两个关键挑战：1）大面积土地覆盖和多种多样的目标类别会带来严重的局部块级数据分布偏差，从而对不同的局部块产生不同的适应困难; 2）不同的VHR传感器类型或动态变化的模式导致即使对于相同的地理位置，VHR图像也经历密集的数据分布差异，导致不同的全局特征级域间隙。为了解决这些挑战，我们提出了一个基于局部到全局的跨领域自适应框架来分割VHR RSI。所提出的基于熵的自适应算法根据目标域中每个块的熵值来确定自适应难度，以一种由易到难的方式实现自适应过程，从而很好地将域图像中的局部块对齐。局部到全局的自适应执行从局部语义到全局结构特征差异的特征对齐过程，并由语义级域分类器和熵级域分类器组成，可以减少上述跨域特征差异。在不同的跨域场景下进行了大量的实验，包括地理位置变化和成像模式变化，实验结果表明，该方法可以显著提高VHR遥感影像分割网络的域适应性。我们的代码可在https://github.com/BOBrown/CCDA_LGFA上获取。
2022-03-03 cs.CV eess.IV
Labels4Free: Unsupervised Segmentation using StyleGAN
KAUST（沙特国王科技大学）；UCL（伦敦大学学院）；Adobe Research（Adobe研究）
我们为StyleGAN生成的对象提出了一个无监督分割框架。我们基于两个主要观察结果。首先，StyleGAN生成的特征包含有价值的信息，可用于训练分割网络。第二，前景和背景通常可以被视为在很大程度上独立的，并以不同的方式合成。对于我们的解决方案，我们建议使用分段分支来增强StyleGAN2生成器架构，并将生成器分为前台和后台网络。这使我们能够以无监督的方式为前景对象生成软分割掩模。在多个对象类别上，我们报告了与最先进的监督分割网络的可比结果，而与最好的无监督分割方法相比，我们在定性和定量指标上都有明显的改进。
2021-03-27 cs.CV
Class-Based Styling: Real-time Localized Style Transfer with Semantic Segmentation
University of British Columbia（英属哥伦比亚大学）；Element AI（元素人工智能）
我们提出了一种基于类的样式方法（CBS），它可以实时的【形】为不同的对象类映射不同的样式。CBS通过同时执行两个步骤来实现实时的【形】性能。当使用语义分割方法来获得视频帧中的每个对象类的掩码时，使用样式化方法来全局地样式化该帧。然后，可以通过组合分割掩模和样式化图像来对对象类进行样式化。用户还可以选择多个样式，以便不同的对象类可以在单个帧中具有不同的样式。对于语义分割，我们利用DABNet实现高精度，但只有76万个参数，运行速度为104 FPS。对于样式转换步骤，我们使用Johnson等人提出的流行实时的【形】方法。[7]。我们在CityScapes数据集的视频上评估了CBS，并观察到不同对象类的高质量本地化样式传输结果和实时的【形】性能。
2019-08-30 cs.CV
Segmentation Style Discovery: Application to Skin Lesion Images
School of Computing Science, Simon Fraser University（西蒙菲莎大学计算科学学院）；AIP Labs（AIP实验室）
本文提出分割风格发现问题及无需标注者对应关系的 StyleSeg 方法，用于从图像-掩码对中学习多样且语义一致的分割风格，并在皮肤病变数据集上验证其优越性。
2024-08-05 cs.CV
