Exploring Content Based Image Retrieval for Highly Imbalanced Melanoma Data using Style Transfer, Semantic Image Segmentation and Ensemble Learning
Gujarat Technological University（古吉拉特理工大学）
病变图像经常在开放设置中拍摄。由于图像数据的多样性，卷积神经网络很难找到合适的特征并具有良好的泛化能力，因此很难建立基于内容的病变图像检索（CBIR）系统。本文探讨了这一领域，并提出了多个相似性措施，使用风格损失和骰子系数通过一个新的相似性措施称为I1-得分。在提出的CBIR相似性度量中，纯风格损失方法比传统的方法如欧氏距离和余弦相似性实现了显着的准确性提高。使用风格损失的I1分数表现优于传统方法的一个小的利润率，而，I1分数与骰子系数公平非常差。所使用的模型使用集成学习进行训练，以获得更好的泛化能力。
2021-10-12 cs.CV
Style-Guided Inference of Transformer for High-resolution Image Synthesis
NCSOFT（NCSoft公司）
Transformer非常适合于自回归图像合成，它递归地从过去的值预测离散值以组成完整的图像。特别地，结合矢量量化的隐表示，最先进的自回归Transformer显示逼真的高分辨率图像。然而，从离散概率分布中对潜在代码进行采样使得输出不可预测。因此，它需要产生大量的不同的样本，以获得所需的输出。为了减轻重复生成大量样本的过程，在本文中，我们建议将所需的输出（样式图像）作为附加条件，而无需重新训练Transformer。为此，我们的方法将风格转换为概率约束，以重新平衡先验，从而指定目标分布而不是原始先验。因此，从重新平衡先验中生成的样本具有与参考样式相似的样式。在实践中，我们可以选择一个图像或一类图像作为附加条件。在我们的定性评估中，我们发现大多数输出的风格与输入风格相似。
2022-10-11 cs.CV
TrueType Transformer: Character and Font Style Recognition in Outline Format
Kyushu University（九州大学）
我们提出了TrueType Transformer（T3），它可以执行字符和字体识别的轮廓格式。轮廓格式（如TrueType）将每个字符表示为笔划轮廓的控制点序列，并经常用于数字文档。T3由一个深度神经网络组织，即所谓的Transformer。Transformer最初是针对连续数据（如文本）提出的，因此适合处理大纲数据。换句话说，T3直接接受轮廓数据而不将其转换成位图图像。因此，T3实现了与分辨率无关的分类。此外，由于控制点的位置表示字体样式的精细和局部结构，因此T3适合于字体样式分类，其中这种结构非常重要。在本文中，我们通过实验证明了T3在字符和字体识别任务中的适用性，同时观察各个控制点对分类结果的贡献。
2022-03-11 cs.CV
StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里大学人工智能联合研究中心）
基于草图的图像检索（SBIR）是一个跨模态匹配问题，通常通过学习一个联合嵌入空间来解决，其中保留了照片和草图模态之间共享的语义内容。然而，SBIR中的一个基本挑战到目前为止在很大程度上被忽视了，即草图是由人类绘制的，并且在不同的用户之间存在相当大的风格差异。一个有效的SBIR模型需要明确地考虑这种风格的多样性，至关重要的是，要推广到看不见的用户风格。为此，提出了一种新的风格无关SBIR模型。与现有的模型不同，一个跨模态的变分自编码器（VAE）被用来明确地将每个草图分解为与相应的照片共享的语义内容部分和唯一的风格部分。重要的是，为了使我们的模型动态地适应任何看不见的用户风格，我们建议通过添加两个风格自适应组件来元训练我们的跨模态VAE：一组特征转换层到其编码器和一个正则化器到解开的语义内容潜在代码。有了这个元学习框架，我们的模型不仅可以解开SBIR的跨模态共享语义内容，而且可以适应任何看不见的用户风格，使SBIR模型真正的风格无关。大量的实验表明，我们的风格不可知模型产生的最先进的性能类别级和实例级SBIR。
2021-03-31 cs.CV
EViT: Privacy-Preserving Image Retrieval via Encrypted Vision Transformer in Cloud Computing
Jinan University（暨南大学）；Beihang University（北京航空航天大学）；Beijing Institute of Technology（北京理工大学）
图像检索系统帮助用户在大量的图像中实时浏览和搜索。随着云计算的兴起，检索任务通常外包给云服务器。然而，云场景带来了隐私保护的艰巨挑战，因为云服务器不能完全信任。为此，基于图像加密的隐私保护图像检索方案已被开发，该方案首先从密码图像中提取特征，然后基于这些特征建立检索模型。然而，大多数现有的方法提取浅层特征和设计琐碎的检索模型，导致密码图像的表达能力不足。在本文中，我们提出了一个新的范例命名为加密视觉Transformer（EViT），它提高了鉴别表示的能力的密码图像。首先，在JPEG压缩过程中，从流密码加密的密文图像中提取多级局部长度序列和全局霍夫曼码频率特征，以获取全面的规则信息。其次，设计了基于视觉Transformer的检索模型，实现了与多层次特征的耦合，并提出了两种自适应的数据增强方法来提高检索模型的表示能力。通过自监督对比学习的方式，我们的建议可以很容易地适应无监督和监督的设置。大量的实验表明，EViT实现了良好的加密和检索性能，在检索精度方面大大优于现有的计划，同时有效地保护图像隐私。代码可在\url{https://github.com/onlinehuazai/EViT}上公开获取。
2022-08-31 cs.CV cs.MM
Styleformer: Transformer based Generative Adversarial Networks with Style Vector
mAy-I Inc.（mAy-I公司）；MINDsLab Inc.（MINDsLab公司）
我们提出了Styleformer，这是一个基于风格的生成器的GAN架构，但卷积自由transformer为基础的发电机。在我们的论文中，我们解释了Transformer如何生成高质量的图像，克服了卷积运算难以捕获图像中全局特征的缺点。此外，我们改变了StyleGAN 2的解调并修改了现有的Transformer结构（例如，残余连接、层归一化）来创建具有无卷积结构的基于强样式的生成器。我们还通过应用Linformer使Styleformer更轻，使Styleformer能够生成更高分辨率的图像，并在速度和内存方面有所改进。我们使用CIFAR-10等低分辨率图像数据集以及LSUN-church等高分辨率图像数据集进行实验。Styleformer在CIFAR-10上记录了FID 2.82和IS 9.94，这是一个基准数据集，其性能与当前最先进的性能相当，并且优于所有基于GAN的生成模型，包括StyleGAN 2-ADA，无条件设置的参数较少。我们还分别在STL-10和CelebA上使用FID 15.17、IS 11.01和FID 3.66实现了新的最先进技术。我们在https://github.com/Jeeseung-Park/Styleformer上发布代码。
2022-04-05 cs.CV eess.IV
Master: Meta Style Transformer for Controllable Zero-Shot and Few-Shot Artistic Style Transfer
Peking University（北京大学）；National University of Singapore（新加坡国立大学）；Baidu Inc.（百度公司）；Tencent AI Lab（腾讯人工智能实验室）
本文提出 Master 风格迁移 Transformer，通过跨层参数共享、内容特征可学习缩放及元学习微调，实现可控零样本与文本引导少样本艺术风格迁移。
2023-04-24 cs.CV
VISTA: Triplet-Supervised Video Style Transfer with Diffusion Transformers
Show Lab, National University of Singapore（新加坡国立大学Show实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Lovart AI（Lovart人工智能）
本文提出VISTA方法，通过引入大规模三元组数据和基于扩散变换器的框架，解决视频风格迁移中风格、内容和运动的联合建模与解耦问题，实现了高质量的风格迁移效果。
2026-05-17 cs.CV
StyleSwin: Transformer-based GAN for High-resolution Image Generation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
尽管在广泛的视觉任务中取得了诱人的成功，但Transformers在高分辨率图像生成建模方面尚未表现出与ConvNets同等的能力。在本文中，我们试图探索使用纯Transformers建立一个生成对抗网络的高分辨率图像合成。为此，我们认为，本地注意力是至关重要的计算效率和建模能力之间的平衡。因此，建议发电机采用Swin Transformer在一个基于风格的架构。为了实现更大的感受野，我们提出了双重注意力，同时利用本地和移动窗口的上下文，从而提高生成质量。此外，我们表明，提供知识的绝对位置，已经失去了基于窗口的Transformers大大有利于生成质量。所提出的StyleSwin可扩展到高分辨率，粗几何和精细结构都受益于Transformers的强大表现力。然而，在高分辨率合成期间出现块伪像，因为以逐块方式执行局部注意可能破坏空间相干性。为了解决这个问题，我们经验性地研究了各种解决方案，其中我们发现，采用小波变换来检查光谱差异有效地抑制了文物。大量的实验显示了优于现有的基于变换器的GANs，特别是在高分辨率上，例如，1024x1024。StyleSwin没有复杂的训练策略，在CelebA-HQ 1024上优于StyleGAN，并在FFHQ-1024上实现了同等的性能，证明了使用Transformers生成高分辨率图像的承诺。代码和模型将在https://github.com/mic…
2022-07-21 cs.CV
Edge Enhanced Image Style Transfer via Transformers
Sichuan Normal University（四川师范大学）
近年来，图像风格的任意性迁移越来越受到人们的关注.给定一对内容和风格图像，风格化的图像希望保留前者的内容，同时捕捉后者的风格模式。然而，很难同时保持内容细节和风格特征之间的平衡。为了使图像具有足够的风格模式，内容细节可能会被破坏，有时图像的对象不能被清楚地区分。为此，我们提出了一种新的基于变换的方法命名为STT的图像风格转移和边缘损失，可以明显地增强内容细节，以避免产生模糊的结果，过度渲染的风格特征。定性和定量实验表明，STT实现了与最先进的图像风格传输方法相当的性能，同时减轻了内容泄漏问题。
2023-01-02 cs.CV eess.IV
Lost Your Style? Navigating with Semantic-Level Approach for Text-to-Outfit Retrieval
KAIST, College of Business（韩国科学技术院商学院）
针对现有时尚推荐系统依赖用户预选选择的问题，提出基于单品、风格、穿搭三层语义的文本到穿搭检索方法，结合类CLIP策略处理复杂风格矩阵，在相关数据集上性能超越SOTA，开辟时尚推荐新方向。
2023-11-03 cs.CV
MoST: Motion Style Transformer between Diverse Action Contents
Korea Electronics Technology Institute（韩国电子技术研究院）；Seoul National University（首尔大学）；University of Birmingham（伯明翰大学）
提出MoST运动风格Transformer，通过跨身体部件的部分注意力风格调制器、Siamese编码器和风格解耦损失实现内容与风格解耦，有效解决不同内容运动间的风格迁移问题，无需启发式后处理且性能优于现有方法。
2024-03-20 cs.AI cs.CV
DiffInk: Glyph- and Style-Aware Latent Diffusion Transformer for Text to Online Handwriting Generation
South China University of Technology（华南理工大学）
DiffInk通过结合字形和风格的潜在扩散变换器，实现了高效且准确的完整文本行手写生成。
2026-03-01 cs.CV
S2WAT: Image Style Transfer via Hierarchical Vision Transformer using Strips Window Attention
Sichuan Normal University（四川师范大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）；Visual Computing and Virtual Reality Key Laboratory of Sichuan Provience（四川省视觉计算与虚拟现实重点实验室）
针对Transformer应用于风格迁移时局部建模能力减弱的问题，提出采用多形状窗口注意力与Attn Merge策略的S2WAT分层视觉Transformer，实验证明其效果优于现有SOTA方法，相关代码与预训练模型已开源。
2023-12-15 cs.CV
StyTr$^2$: Image Style Transfer with Transformers
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Jilin University（吉林大学）；Tencent（腾讯）；Kuaishou Technology（快手科技）
图像风格转换的目标是在保持原始内容的同时，在风格参考的指导下呈现具有艺术特征的图像。由于卷积神经网络（CNN）的局部性，提取和保持输入图像的全局信息是困难的。因此，传统的神经风格迁移方法面临着有偏见的内容表示。为了解决这个关键问题，我们考虑到输入图像的长距离依赖关系的图像风格转移，提出了一种基于变换的方法称为StyTr $^2$。与其他视觉任务的视觉Transformers相比，StyTr $^2$包含两个不同的Transformer编码器，分别为内容和样式生成特定于域的序列。在编码器之后，采用多层Transformer解码器根据风格序列对内容序列进行风格化。分析了现有位置编码方法的不足，提出了具有尺度不变性、更适合图像风格转换的内容感知位置编码（CAPE）。定性和定量实验表明，所提出的StyTr $^2$的有效性相比，最先进的CNN为基础的和基于流的方法。代码和型号可在https://github.com/diyiiyiii/StyTR-2上获得。
2022-04-01 cs.CV eess.IV
Retrieve in Style: Unsupervised Facial Feature Transfer and Retrieval
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-尚佩恩分校）；Google Research（谷歌研究院）
我们提出了一个无监督的框架，用于真实图像上的面部特征传输和检索。最近的工作显示了通过利用StyleGAN潜在空间的解纠缠特性来转移局部面部特征的能力。RIS在以下方面改进了现有技术：1）引入更有效的特征解缠结，以允许在SoTA方法中不可能显示的挑战性转移（即，毛发、姿势）。2)消除了对每个图像超参数调整的需要，以及对大量图像计算目录的需要。3)使用分离的面部特征（例如眼睛）实现细粒度的面部检索。据我们所知，这是第一个在这个精细级别上检索人脸图像的工作。4)在真实图像上展示强大、自然的编辑功能。我们的定性和定量分析表明，RIS实现了高保真度的特征传输和准确的细粒度检索的真实图像。我们还讨论了负责任的应用RIS。
2021-08-24 cs.CV cs.LG
Mitigating Modality and Language-Style Gaps for Zero-Shot Video Moment Retrieval
Sungkyunkwan University（成均馆大学）
研究零样本视频时刻检索中模态和语言风格差距问题，提出基于自相似性的时刻提议和评分方法及查询感知的多模态大语言模型推理阶段，有效缓解差距，在相关基准测试中达最优性能。
2026-07-22 cs.CV
U-StyDiT: Ultra-high Quality Artistic Style Transfer Using Diffusion Transformers
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；AI Research（360人工智能研究院）
本文提出基于扩散Transformer的U-StyDiT方法，通过多视角风格调制器和StyDiT Block实现内容-风格解耦，并构建Aes4M数据集，以生成超高质量艺术风格化图像。
2025-03-11 cs.CV
Fine-Grained Image Style Transfer with Visual Transformers
Microsoft Research（微软研究院）
随着卷积神经网络的发展，图像风格的传递越来越受到人们的关注。然而，大多数现有方法采用全局特征变换来将样式模式转换为内容图像（例如，AdaIN和WCT）。这样的设计通常会破坏输入图像的空间信息，并且无法将细粒度的样式模式转换为样式转换结果。为了解决这个问题，我们提出了一种新的风格Transformer（STTR）网络，将内容和风格图像分解为视觉标记，以实现细粒度的风格转换。具体来说，我们的STTR采用了两种注意力机制。我们首先建议使用自我注意力来编码内容和风格标记，以便可以将类似的标记分组并一起学习。然后，我们在内容和样式标记之间采用交叉注意，以鼓励细粒度的样式转换。为了将STTR与现有方法进行比较，我们对Amazon Mechanical Turk（AMT）进行了用户研究，该研究由50名人类受试者进行，总共有1，000张选票。广泛的评估表明，建议的STTR在产生视觉上令人愉快的风格转移结果的有效性和效率。
2022-10-11 cs.AI cs.CV
Object Retrieval and Localization in Large Art Collections using Deep Multi-Style Feature Fusion and Iterative Voting
Heidelberg University（海德堡大学）
寻找特定的对象或主题对艺术史至关重要，因为两者都有助于解码艺术品的意义。数字化产生了大量的艺术收藏品，但手工方法被证明不足以分析它们。在下文中，我们将介绍一种算法，该算法允许用户搜索包含特定图案或对象的图像区域，并在广泛的数据集中找到相似的区域，帮助艺术历史学家分析大型数字化艺术收藏品。计算机视觉已经提出了有效的方法，用于跨照片的视觉实例检索。然而，应用于艺术收藏，他们暴露出严重的缺陷，因为不同的主题和巨大的领域转移所导致的技术，材料和风格的差异。在本文中，我们提出了一种多风格的特征融合方法，成功地减少了域的差距，提高了检索结果，没有标记的数据或策划的图像集合。我们基于区域的投票和GPU加速的近似最近邻搜索使我们能够在几秒钟内找到并定位大量数据集中的小图案。我们获得国家的最先进的结果Brueghel数据集，并证明其推广到非均匀的集合与大量的干扰。
2021-07-14 cs.CV
Training Vision Transformers for Image Retrieval
Facebook AI（脸书人工智能研究院）；ENS（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）
Transformers已经在自然语言理解和最近的图像分类方面显示出了出色的结果。我们在这里扩展这项工作，并提出了一个基于变换的方法进行图像检索：我们采用视觉Transformer生成图像描述符和训练的度量学习目标，它结合了对比损失与差分熵正则化模型。我们的研究结果表明，与基于卷积的方法相比，Transformers具有一致和显著的改进。特别是，我们的方法优于最先进的几个公共基准的类别级检索，即斯坦福在线产品，店内和CUB-200。此外，我们在ROxford和RParis上的实验还表明，在类似的设置中，Transformers对于特定的对象检索具有竞争力，特别是在短矢量表示和低分辨率图像的情况下。
2021-02-10 cs.CV
Paired Cross-Modal Data Augmentation for Fine-Grained Image-to-Text Retrieval
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Salesforce Research Asia（赛富时亚洲研究院）
本文研究了一个开放的研究问题，生成文本图像对，以改善训练的细粒度图像到文本的跨模态检索任务，并提出了一种新的框架，成对的数据增强通过揭示隐藏的语义信息的StyleGAN 2模型。具体来说，我们首先在给定的数据集上训练StyleGAN 2模型。然后，我们将真实图像投影回StyleGAN 2的潜在空间以获得潜在代码。为了使生成的图像可操作，我们进一步引入了一个潜在空间对齐模块来学习StyleGAN 2潜在代码和相应的文本标题特征之间的对齐。当我们在线进行配对数据增强时，我们首先通过随机令牌替换生成增强文本，然后将增强文本传递到潜在空间对齐模块输出潜在代码，最终将其馈送到StyleGAN 2以生成增强图像。我们在两个公共跨模态检索数据集上评估了我们的增强数据方法的有效性，其中有希望的实验结果表明，增强的文本-图像对数据可以与原始数据一起训练，以提高图像到文本的跨模态检索性能。
2022-07-29 cs.CV
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition
Nankai University（南开大学）；ByteDance（字节跳动）
本文并不试图设计一个国家的最先进的视觉识别方法，但研究了一种更有效的方法，利用卷积编码的空间特征。通过比较最近的卷积神经网络ConvNets和视觉Transformer的设计原理，我们提出通过利用卷积调制操作来简化自注意。我们表明，这种简单的方法可以更好地利用卷积层中嵌套的大内核（>=7x7）。我们使用所提出的卷积调制构建了一系列分层ConvNets，称为Conv2Former。我们的网络是简单和易于遵循。实验表明，我们的Conv2Former在所有ImageNet分类，COCO目标检测和ADE 20k语义分割方面都优于现有的流行ConvNets和视觉Transformer，如Swin Transformer和ConvNeXt。
2022-11-22 cs.CV
StyleDiT: A Unified Framework for Diverse Child and Partner Faces Synthesis with Style Latent Diffusion Transformer
Research Center for Information Technology Innovation, Academia Sinica（中央研究院資訊科技創新研究中心）
针对亲属人脸合成中多样性与保真度难以兼顾的问题，提出融合StyleGAN与扩散模型的StyleDiT框架，并引入关系特征引导机制，实现高质量多样化亲属及伴侣人脸合成。
2024-12-14 cs.CV
User-Controllable Latent Transformer for StyleGAN Image Layout Editing
University of Tsukuba（筑波大学）
潜在空间探索是一种发现可解释的潜在方向并操纵潜在代码以编辑生成对抗网络（GANs）生成的图像中的各种属性的技术。然而，在以前的工作中，空间控制仅限于简单的变换（例如，平移和旋转），并且识别适当的潜在方向并调整它们的参数是费力的。在本文中，我们通过直接注释图像来解决编辑StyleGAN图像布局的问题。要做到这一点，我们提出了一个交互式的框架，根据用户输入操作潜在的代码。在我们的框架中，用户使用他们想要移动或不移动的位置来注释StyleGAN图像，并通过鼠标拖动指定移动方向。根据这些用户输入和初始潜在代码，我们基于Transformer编码器-解码器架构的潜在Transformer估计输出潜在代码，这些代码被馈送到StyleGAN生成器以获得结果图像。为了训练我们的潜在Transformer，我们利用现成的StyleGAN和光流模型生成的合成数据和伪用户输入，而无需人工监督。定量和定性评价表明，我们的方法比现有的方法的有效性。
2022-08-26 cs.CV cs.GR
WAVER: Writing-style Agnostic Text-Video Retrieval via Distilling Vision-Language Models Through Open-Vocabulary Knowledge
FPT Software AI Center（FPT软件人工智能中心）；International University, VNU-HCM（越南胡志明市国家大学国际大学）；RMIT University, Vietnam（澳大利亚皇家墨尔本理工大学越南分校）；University of Liverpool, UK（英国利物浦大学）；University of Arkansas, USA（美国阿肯色大学）
针对视频描述受写作风格影响的问题，提出跨域知识蒸馏框架WAVER，利用预训练视觉语言模型的开放词汇特性将文本知识从教师模型转移至视觉学生模型，在四个基准数据集上实现了最先进的文本-视频检索性能。
2024-01-10 cs.AI cs.CV
PyramidStyler: Transformer-Based Neural Style Transfer with Pyramidal Positional Encoding and Reinforcement Learning
针对现有神经风格迁移模型难适配复杂风格与高分辨率输入的问题，提出搭载金字塔位置编码、融合强化学习的Transformer框架PyramidStyler，在多数据集上实现低损失、近实时的高质量风格化效果。
2025-10-02 cs.AI cs.CV
Puff-Net: Efficient Style Transfer with Pure Content and Style Feature Fusion Network
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
针对现有风格迁移方法计算成本高且易出现风格化不足或内容缺失的问题，提出仅含编码器的Puff-Net，通过纯内容与风格特征提取器实现高效且高质量的风格迁移。
2024-05-30 cs.CV
Vision Transformer Hashing for Image Retrieval
Indian Institute of Information Technology, Allahabad（阿拉哈巴德印度信息技术学院）；National Cheng Kung University（国立成功大学）
深度学习在图像检索的散列技术方面取得了巨大的发展。最近，Transformer作为一种新的架构出现，它利用了自注意力而没有卷积。Transformer还扩展到视觉Transformer（ViT），用于视觉识别，在ImageNet上具有良好的性能。在本文中，我们提出了一个视觉Transformer基于哈希（VTS）的图像检索。我们利用ImageNet上预训练的ViT作为骨干网络，并添加哈希头。所提出的VTS模型在六种不同的图像检索框架下进行了哈希调整，包括深度监督哈希（DSH），HashNet，GreedyHash，改进的深度哈希网络（IDHN），深度极化网络（DPN）和中心相似性量化（CSQ）及其目标函数。我们在CIFAR 10，ImageNet，NUS-Wide和COCO数据集上进行了广泛的实验。建议VTS为基础的图像检索性能优于最近的国家的最先进的散列技术有很大的利润。我们还发现，建议VTS模型作为骨干网络是优于现有的网络，如AlexNet和ResNet。代码在\url{https://github.com/shivram1987/VisionTransformerHashing}发布。
2022-03-22 cs.CV
Text-Guided Synthesis of Artistic Images with Retrieval-Augmented Diffusion Models
Ludwig-Maximilian University Munich（慕尼黑路德维希-马克西米利安大学）
新的架构最近改进了生成图像合成，从而在各种任务中获得出色的视觉质量。特别值得注意的是“人工智能艺术”领域，随着CLIP等强大的多模式模型的出现，该领域出现了前所未有的增长。通过将语音和图像合成模型相结合，所谓的“语音工程”已经建立，其中使用精心选择和编写的句子来实现合成图像中的某种视觉风格。在本说明中，我们提出了一种基于检索增强扩散模型（RDM）的替代方法。在RDM中，在每个训练实例的训练期间从外部数据库检索一组最近邻居，并且扩散模型以这些信息样本为条件。在推理（采样）过程中，我们将检索数据库替换为更专业的数据库，例如，仅包含特定视觉风格的图像。这提供了一种新的方式来在训练后提示一般的训练模型，从而指定特定的视觉风格。实验表明，这种方法优于在文本提示中指定视觉样式。我们在https://github.com/CompVis/latent-diffusion上开源代码和模型权重。
2022-07-26 cs.CV
Style-Adaptive Detection Transformer for Single-Source Domain Generalized Object Detection
School of Information and Electronics, Beijing Institute of Technology（信息与电子学院，北京理工大学）；Beijing Institute of Technology Chongqing Innovation Center（北京理工大学重庆创新中心）；National Key Laboratory for Space-Born Intelligent Information Processing（空间智能信息处理国家级重点实验室）
提出SA-DETR，通过在线风格适配器、动态记忆库和对象感知对比学习，使DETR在仅用单源域数据训练时提升跨天气场景的目标检测泛化性能。
2025-07-25 cs.CV
Style Transformer for Image Inversion and Editing
Shanghai Key Laboratory of Multidimensional Information Processing（上海多维度信息处理重点实验室）；Huazhong University of Science and Technology（华中科技大学）
现有的GAN反演方法不能同时提供用于可靠重建和灵活编辑的潜在代码。本文提出了一种基于transformer的预训练StyleGAN图像反转和编辑模型，该模型不仅具有较少的失真，而且具有高质量和编辑灵活性。该模型采用CNN编码器提供多尺度图像特征作为键和值。同时将生成器各层需要确定的样式代码视为查询。它首先将查询标记作为可学习的参数，并将它们映射到W+空间。然后，利用多阶段交替的自我和交叉注意，更新查询的目的是通过生成器反转输入。此外，基于反转代码，我们通过预训练的潜在分类器研究了基于引用和标签的属性编辑，并实现了灵活的图像到图像的翻译，并获得了高质量的结果。进行了大量的实验，在StyleGAN内的反演和编辑任务上显示出更好的性能。
2022-03-15 cs.AI cs.CV
Multi-modal Transformer for Video Retrieval
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆茨曼实验室）；Google Research（谷歌研究院）
检索与自然语言查询相关的视频内容的任务在有效处理互联网规模的数据集方面起着关键作用。大多数现有的方法，这个标题到视频检索问题没有充分利用跨模态提示存在于视频。此外，他们聚合每帧的视觉功能有限或没有时间信息。在本文中，我们提出了一个多模态的Transformer联合编码的不同形式的视频，这使得他们中的每一个参加其他。还利用Transformer架构对时间信息进行编码和建模。在自然语言方面，我们研究了联合优化语言嵌入和多模态Transformer的最佳实践。这个新的框架使我们能够在三个数据集上建立最先进的视频检索结果。更多详情请访问http://thoth.inrialpes.fr/research/MMT。
2020-07-21 cs.CV
Self-supervised Video Retrieval Transformer Network
Alibaba DAMO Academy（阿里巴巴达摩院）
基于内容的视频检索旨在从大型视频数据库中找到与给定查询视频相似甚至接近重复的视频。视频表示和相似性搜索算法是任何视频检索系统的关键。为了获得有效的视频表示，大多数视频检索系统需要大量的手动标注的数据进行训练，这使得它成本高昂，效率低下。此外，大多数检索系统是基于帧级特征的视频相似性搜索，使其昂贵的存储和搜索明智的。我们提出了一种新的视频检索系统，称为SVRTN，有效地解决了上述缺点。它首先应用自监督训练来有效地从未标记的数据中学习视频表示，以避免手动注释的昂贵成本。然后利用Transformer结构将帧级特征聚合到剪辑级，以减少存储空间和搜索复杂度。它可以从剪辑帧之间的相互作用中学习互补和判别信息，并获得帧排列和丢失不变量的能力，以支持更灵活的检索方式。在FIVR-200 K和SVD两个具有挑战性的视频检索数据集上进行的综合实验验证了本文提出的SVRTN方法的有效性，在准确率和效率上均达到了视频检索的最佳性能。
2021-04-16 cs.CV
Efficient large-scale image retrieval with deep feature orthogonality and Hybrid-Swin-Transformers
NVIDIA（英伟达）
我们提出了一个有效的端到端的管道大规模的地标识别和检索。我们展示了如何结合和增强图像检索的最新研究的概念，并介绍了两种架构，特别适合于大规模的地标识别。讨论了使用EfficientNet骨干以及新型Hybrid-Swin-Transformer的局部和全局特征的深度正交融合（DOLG）模型，并详细说明了如何使用逐步方法和具有动态裕度的子中心弧面损失有效地训练这两种架构。此外，我们阐述了一种新的歧视性的重新排序方法的图像检索。我们的方法的优越性通过赢得2021年Google Landmark竞赛的识别和检索赛道而得到证明。
2021-10-27 cs.CV cs.LG
HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval
Peking University（北京大学）；FAIR；University of Chinese Academy of Sciences（中国科学院大学）；Kuaishou Technology（快手科技）
随着互联网上多媒体数据的增长，视频文本检索已经成为一个热门的研究课题。Transformer由于其良好的性能而受到越来越多的关注。然而，现有的跨模态Transformer方法通常受到两个主要限制：1）对其中不同层具有不同特征特性的Transformer架构的利用是有限的; 2）端到端训练机制限制小批量中的负样本交互。在本文中，我们提出了一种新的方法命名为分层Transformer（HiT）的视频文本检索。HiT在特征级和语义级进行层次化的跨模态对比匹配，实现多视角、综合的检索效果。此外，受MoCo的启发，我们提出了跨模态学习的动量跨模态对比，以实现大规模的负样本交互，这有助于生成更精确和更有区别的表示。在三个主要的视频文本检索基准数据集上的实验结果证明了该方法的优越性。
2021-08-18 cs.AI cs.CV
ICFHR 2020 Competition on Image Retrieval for Historical Handwritten Fragments
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Institut de Recherche et d’Histoire des Textes (Centre National de la Recherche Scientifique - UPR841)（文本研究与历史研究所（法国国家科学研究中心-UPR841））
本次比赛是继历史文献图像的作者和风格分析比赛之后的又一次比赛。特别是，我们调查的历史文件片段的风格和作家识别方面的大规模检索的性能。历史碎片的分析是一个困难的挑战，通常由受过训练的人文主义者解决。与以前的比赛相比，我们通过解决样本粒度问题和从作家到页面片段检索来使结果更有意义。这两种方法，风格和作者识别，提供了信息，什么样的信息，每种方法更好地利用和间接有助于参与方法的可解释性。因此，我们创建了一个由超过120 000个片段组成的大型数据集。尽管大多数团队提交了基于卷积神经网络的方法，但获胜的参赛作品的mAP低于40%。
2020-10-20 cs.CV
Rethink Arbitrary Style Transfer with Transformer and Contrastive Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Computer Science and Technology, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院）
本文提出SCIN和ICL方法优化特征对齐与风格关系理解，并引入PE替代VGG捕捉风格特征，显著提升了任意风格迁移的图像质量并有效减少伪影。
2024-04-21 cs.CV cs.LG
WriteViT: Handwritten Text Generation with Vision Transformer
University of Information Technology, Ho Chi Minh City, Vietnam（胡志明市信息技术大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国立大学胡志明市分校）
针对低数据下手写风格生成难、越南语相关研究少的问题，提出集成ViT书写者识别器、CPE增强的Transformer编解码多尺度生成器和轻量ViT识别器的WriteViT框架，在越英低资源场景下实现了高质量风格一致的手写生成。
2025-05-19 cs.CV cs.LG
ConvFormer: Plug-and-Play CNN-Style Transformers for Improving Medical Image Segmentation
Huazhong University of Science and Technology（华中科技大学）；Union Hospital, Tongji Medical College, Huazhong University of Science and Technology（华中科技大学同济医学院附属协和医院）
本文提出即插即用的CNN风格Transformer（ConvFormer），通过引入池化、CSA和CFFN替代传统分词与注意力机制，有效解决医学图像分割中transformer的注意力坍塌问题并提升性能。
2023-09-09 cs.CV eess.IV
Real-Time Style Transfer With Strength Control
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Plekhanov Russian University of Economics（普列汉诺夫俄罗斯经济大学）
样式转换是以另一样式图像的样式呈现内容图像的问题。在风格转换的应用中，一个自然而常见的实际任务是调整风格化的强度。Gatys等人（2016）的算法通过改变内容和风格损失的权重因子来提供这种能力，但计算效率低下。Johnson et al.（2016）引入的实时风格传输通过将图像传递到预先训练的Transformer网络，实现了任何图像的快速风格化。虽然速度很快，但这种架构无法持续调整风格强度。我们提出了一个扩展的实时风格传输，允许直接控制风格的强度在推理，仍然只需要一个单一的Transformer网络。我们进行定性和定量的实验表明，该方法是能够顺利风格化强度控制，并消除某些风格化文物出现在原来的实时的【形】风格转移方法。与其他实时的【形】风格转换算法的比较，能够调整风格化强度，表明我们的方法再现风格与更多的细节。
2019-04-18 cs.CV
GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer
近年来，非平行语篇风格迁移引起了越来越多的研究兴趣。尽管在基于编码器-解码器框架的风格转换方面取得了成功，但目前的方法仍然缺乏保留原始句子的内容甚至逻辑的能力，这主要是由于大的无约束模型空间或对潜在嵌入空间的过于简化的假设。由于语言本身是人类使用特定语法的智能产品，并且本质上具有有限的基于规则的模型空间，因此缓解这个问题需要协调深层神经网络的模型容量与人类语言规则的内在模型约束。为此，我们提出了一种称为基于图Transformer的自动编码器（GTAE）的方法，该方法将句子建模为语言图，并在图级别上执行特征提取和风格转换，以最大限度地保留原始句子的内容和语言结构。三个非平行文本风格迁移任务的定量实验结果表明，我们的模型优于国家的最先进的方法，在内容保存，同时实现了相当的性能，转移的准确性和句子的自然。
2021-02-01 cs.AI cs.CL cs.CV
Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning
Amazon（亚马逊）
由于食物在人们生活中的重要性，以及大量数字烹饪食谱和食物图像可用于训练机器学习模型，跨模态食谱检索最近获得了大量关注。在这项工作中，我们重新审视了现有的跨模态食谱检索方法，并提出了一个简化的端到端模型，该模型基于完善的高性能文本和图像编码器。我们引入了一个分层的配方Transformer，它专注地编码各个配方组件（标题，成分和说明）。此外，我们提出了一个自我监督的损失函数计算上对个人的配方组件，这是能够利用配方内的语义关系，并使训练使用图像配方和食谱只有样本。我们进行了全面的分析和消融研究，以验证我们的设计选择。因此，我们提出的方法在Recipe1M数据集上的跨模态食谱检索任务中实现了最先进的性能。我们公开代码和模型。
2021-03-24 cs.CV
Unifying Two-Stream Encoders with Transformers for Cross-Modal Retrieval
National University of Singapore（新加坡国立大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出基于双流 Transformer 的层次对齐框架 HAT，通过统一图像与文本编码器架构并建模多层对应关系，在 MSCOCO 和 Flickr30K 上显著提升跨模态检索性能。
2023-08-08 cs.CV cs.IR cs.MM
Transformer Decoders with MultiModal Regularization for Cross-Modal Food Retrieval
Sorbonne University（索邦大学）；Meta AI；Meero（Meero公司）
近年来，跨模态图像配方检索得到了极大的关注。大多数工作都集中在使用单峰编码器改进跨模态嵌入，这允许在大规模数据库中进行有效检索，而不考虑计算成本更高的模态之间的交叉注意。我们提出了一个新的检索框架，T-食品（Transformer解码器与多模态正则化跨模态食品检索），利用模态之间的相互作用，在一个新的正则化方案，而只使用单峰编码器在测试时进行有效的检索。我们还捕捉配方实体之间的内部依赖关系与一个专用的配方编码器，并提出了新的变体的三重损失与动态利润率，适应任务的难度。最后，我们利用最新的视觉和语言预训练（VLP）模型（如CLIP）用于图像编码器。我们的方法在Recipe 1 M数据集上的性能大大优于现有方法。具体而言，我们在1 k和10 k测试集上分别实现了8.1%（72.6 R@1）和+10.9%（44.6 R@1）的绝对改进。代码可以在这里找到：https://github.com/mshukor/TFood
2022-04-20 cs.CV
MDMMT-2: Multidomain Multimodal Transformer for Video Retrieval, One More Step Towards Generalization
Huawei（华为）
在这项工作中，我们提出了一个新的国家的最先进的文本到视频检索任务的MSR-VTT，LSMDC，MSVD，YouCook 2和TGIF获得一个单一的模型。三种不同的数据源相结合：弱监督的视频，人群标记的文本图像对和文本视频对。仔细分析可用的预训练网络有助于选择最佳的先验知识网络。我们引入了三阶段的训练过程，提供了高的知识转移效率，并允许在训练过程中使用噪声数据集，而不会降低先验知识。此外，双位置编码用于更好地融合不同的模态和非方输入处理的一个简单的方法提出。
2022-03-14 cs.CV
Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers
DeepMind；ENS/Inria（巴黎高等师范学院/法国国家信息与自动化研究所）；CIIRC CTU（捷克理工大学工业与机器人计算机中心）；VGG Oxford（牛津大学视觉几何组）
我们的目标是大规模图像和视频数据集的基于语言的搜索。对于这项任务，该方法包括独立地将文本和视觉映射到联合嵌入空间，即双编码器，是有吸引力的检索规模，是有效的数十亿的图像使用近似最近邻搜索。另一种方法是使用视觉文本Transformers与交叉注意力的联合嵌入的准确性得到了相当大的改善，但在实践中往往是不适用于大规模的检索成本的交叉注意力机制所需的每个样本在测试时间。这项工作结合了两个世界的最佳。我们作出以下三项贡献。首先，我们为基于transformer的模型配备了一个新的细粒度交叉注意架构，在保持可扩展性的同时显著提高了检索准确性。其次，我们介绍了一种通用的方法，通过蒸馏和重新排名将快速双编码器模型与我们缓慢但准确的基于变换器的模型相结合。最后，我们验证了我们的方法在Flickr30K图像数据集上，我们显示了几个数量级的推理速度的增加，同时具有竞争力的结果的最先进的状态。我们还扩展了我们的方法到视频域，提高了VATEX数据集的最先进的。
2021-03-30 cs.CV
Region-aware Image-based Human Action Retrieval with Transformers
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）
本文聚焦基于图像的人体动作检索任务，建立基准并设置基线方法，提出端到端模型从锚定人物、上下文区域和全局图像学习动作表示，设计融合Transformer模块融合特征，在Stanford-40和PASCAL VOC 2012 Action数据集上显著优于先前方法。
2024-07-29 cs.CV
MDMMT: Multidomain Multimodal Transformer for Video Retrieval
Lomonosov Moscow State University（莫斯科国立大学）；Huawei Moscow Research Center（华为莫斯科研究中心）
我们在MSRVTT和LSMDC基准测试中提出了一种新的最先进的文本到视频检索任务，我们的模型在很大程度上优于所有以前的解决方案。此外，在两个数据集上使用单个模型实现了最先进的结果，而无需微调。这种多域概括是通过不同视频字幕数据集的适当组合来实现的。我们表明，在不同的数据集上进行训练可以提高彼此的测试结果。此外，我们检查了许多流行的数据集之间的交集，发现MSRVTT在测试和训练部分之间有显著的重叠，并且在ActivityNet中也观察到了同样的情况。
2021-03-19 cs.CV
Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation
The University of Tokyo（东京大学）；CyberAgent（CyberAgent公司）
针对高维布局训练数据有限的问题，提出 RALF，利用基于输入图像检索到的最近邻布局增强自回归 Transformer，在统一架构中完成多种可控布局生成并显著优于基线。
2024-04-15 cs.CV
TransHash: Transformer-based Hamming Hashing for Efficient Image Retrieval
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）；Wuhan University（武汉大学）
深度汉明散列在大规模图像检索的近似最近邻搜索中越来越受欢迎。到目前为止，图像检索社区的深度哈希一直由卷积神经网络架构主导，例如\texttt{Resnet} \cite{he2016deep}。在本文中，受Vision Transformers最新进展的启发，我们提出了\textbf{Transhash}，这是一个纯基于转换器的深度哈希学习框架。具体地说，我们的框架由两个主要模块组成：（1）基于\textit{Vision Transformer}（ViT），我们设计了一个用于图像特征提取的连体Vision Transformer主干。为了学习细粒度特征，我们在Transformer之上创新了双流特征学习，以学习区分性的全局和局部特征。(2)此外，我们采用动态构造相似矩阵的贝叶斯学习方案来学习紧凑的二进制哈希码。整个框架是以端到端的方式联合训练的。~据我们所知，这是第一个在没有卷积神经网络（\textit{CNNs}）的情况下解决深度哈希学习问题的工作。我们在三个广泛研究的数据集上进行了全面的实验：\textbf{CIFAR-10}，\textbf{NUSWIDE}和\textbf{IMAGENET}。实验证明了我们对现有的国家的最先进的深度哈希方法的优越性。具体而言，我们实现了8.2\%，2.6\%，12.7\%的性能增益方面的平均\textit{mAP}不同的哈希位长度的三个公…
2021-05-05 cs.CV
Self-Prompting Diffusion Transformer for Open-Vocabulary Scene Text Editing via In-Context Learning
MT Lab, Meitu Inc., Beijing, China；School of Computer Science \& Technology, Beijing Institute of Technology, Beijing, China
提出一种自提示场景文本编辑方法，通过构建风格和字形提示，利用多模态扩散变压器的上下文学习能力，实现开放词汇和风格一致的文本编辑。
2026-05-27 cs.CV
All You Can Embed: Natural Language based Vehicle Retrieval with Spatio-Temporal Transformers
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Ferrara（费拉拉大学）；University of Parma（帕尔马大学）
将自然语言与视觉相结合是人工智能领域中一个独特而有趣的挑战。人工智能城市挑战赛第5轮基于自然语言的车辆检索侧重于结合视觉和文本信息的问题，应用于智能城市用例。在本文中，我们提出了所有你可以嵌入（AYCE），一个模块化的解决方案，相关的单车辆跟踪序列与自然语言。所提出的架构的主要构建块是（i）BERT以提供文本描述的嵌入，（ii）卷积骨干以及Transformer模型以嵌入视觉信息。对于检索模型的训练，提出了一种三重边际损失的变体来学习视觉和语言嵌入之间的距离度量。该代码可在https://github.com/cscribano/AYCE_2021上公开获取。
2021-06-18 cs.CV
TS2-Net: Token Shift and Selection Transformer for Text-Video Retrieval
Renmin University of China（中国人民大学）；Tencent（腾讯）
文本-视频检索是一项具有重要实用价值的研究课题，受到了越来越多的关注，其中学习时空视频表示是研究的热点之一。现有的视频检索模型中的视频编码器通常直接采用预先训练好的视觉骨干，网络结构固定，无法进一步改进以产生细粒度的时空视频表示。在本文中，我们提出了令牌移位和选择网络（TS 2-Net），一种新的令牌移位和选择Transformer架构，动态调整令牌序列，并选择信息令牌在时间和空间维度从输入视频样本。标记移位模块在相邻帧之间来回地在时间上移位整个标记特征，以保留完整的标记表示并捕获细微的运动。然后标记选择模块选择对局部空间语义贡献最大的标记。基于全面的实验，所提出的TS 2-Net在主要的文本视频检索基准上实现了最先进的性能，包括MSRVTT，VATEX，LSMDC，ActivityNet和DiDeMo的新记录。
2022-07-16 cs.CV
