OrnaStyler: Ornament-Aware Latent Editing for Content-Preserving 3D Stylization
University of Fukui（福井大学）；Toyohashi University of Technology（丰桥技术科学大学）；CyberAgent, Inc.（CyberAgent公司）
OrnaStyler是一种零样本3D风格化框架，通过分阶段恢复几何与外观层面的潜在表示，实现文本引导下兼顾内容保留与风格表达的3D资产装饰编辑，性能优于现有方法
2026-09-01 cs.CV
Pixel-Aware Stable Diffusion for Realistic Image Super-resolution and Personalized Stylization
Bytedance Inc.（字节跳动公司）；The Hong Kong Polytechnic University（香港理工大学）；Alibaba Group（阿里巴巴集团）
针对现有基于稳定扩散的超分辨率与风格化方法像素结构保真度不足的问题，提出像素感知稳定扩散网络，通过像素感知交叉注意力等模块实现鲁棒的真实感超分与个性化风格化，效果经多任务验证。
2024-07-09 cs.CV
HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出HyperStyle3D，利用超网络在单次前向传播中调控3D感知GAN生成器参数，并以CLIP提供文本引导，实现无需3D数据和风格图像的多风格、细粒度3D肖像风格化。
2023-04-19 cs.CV
ArtNeRF: A Stylized Neural Field for 3D-Aware Cartoonized Face Synthesis
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
提出ArtNeRF框架，结合3D感知GAN、对比学习风格编码器与自适应风格混合模块，实现了高质量、任意风格的3D感知卡通人脸合成与实时渲染。
2024-04-26 cs.CV
Text2Scene: Text-driven Indoor Scene Stylization with Part-aware Details
Seoul National University（首尔国立大学）
Text2Scene提出一种基于参考图像和文本描述，通过几何分割与部件级纹理细节添加，为多对象虚拟场景自动生成逼真且保持结构上下文的纹理的实用可扩展方法。
2023-08-31 cs.CV
LogoDiffuser: Training-Free Multilingual Logo Generation and Stylization via Letter-Aware Attention Control
Department of Artificial Intelligence, Hanyang University（翰阳大学人工智能系）；Department of Computer Science, Hanyang University（翰阳大学计算机科学系）
LogoDiffuser通过字母感知注意力控制，无需训练实现多语言标志生成与风格化，通过多模态扩散变换器整合字符结构与视觉设计，提升多语言标志生成效果。
2026-03-10 cs.CV
StyleGallery: Training-free and Semantic-aware Personalized Style Transfer from Arbitrary Image References
StyleGallery通过语义感知和无需训练的框架，实现任意图像参考的个性化风格迁移，提升内容保留与风格化平衡能力。
2026-03-12 cs.CV
Mixture of Style Experts for Diverse Image Stylization
VCIP, CS, Nankai University（南开大学计算机学院视觉与图像处理实验室）；NKIARI, Shenzhen Futian（深圳福田南开大学新一代人工智能研究院）；Tianjin University（天津大学）；vivo BlueImage Lab（vivo蓝心影像实验室）
本文提出StyleExpert框架，基于MoE模型实现语义感知的图像风格化，通过统一编码器和动态门控机制处理多层级语义风格，实验表明其在保持语义和材质细节方面优于现有方法。
2026-03-29 cs.CV
StyleID: A Perception-Aware Dataset and Metric for Stylization-Agnostic Facial Identity Recognition
KAIST（韩国科学技术院）
针对当前身份编码器在风格化下的脆弱性问题，提出StyleID数据集与评估框架，微调语义编码器使其与人类感知对齐，提升了身份识别的相关性与鲁棒性。
2026-04-23 cs.CV cs.GR cs.HC
TSSAT: Two-Stage Statistics-Aware Transformation for Artistic Style Transfer
Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）
针对现有风格迁移方法忽略绘画过程的问题，提出两阶段统计感知变换（TSSAT）模块，通过先对齐全局统计再交换局部统计模拟人类绘画过程，并引入基于注意力的内容损失和基于图块的风格损失，显著提升了风格化效果。
2023-09-12 cs.CV
CleanStyle: Plug-and-Play Style Conditioning Purification for Text-to-Image Stylization
AGI Lab, Westlake University（西lake大学AGI实验室）
CleanStyle通过动态抑制风格嵌入的尾部成分，提升文本到图像风格化任务中提示保真度和视觉质量。
2026-02-24 cs.CV
TFS-ViT: Token-Level Feature Stylization for Domain Generalization
ÉTS Montreal（蒙特利尔高等技术学院）；International Laboratory on Learning Systems (ILLS)（国际学习系统实验室）
本文提出TFS-ViT，一种令牌级特征风格化方法，通过混合不同域图像的归一化统计量并利用CLS令牌注意力图进行风格化，合成新域以提升ViT在未见数据上的泛化性能，在五个基准上达到最先进水平。
2024-03-16 cs.CV
Balanced Image Stylization with Style Matching Score
Show Lab, National University of Singapore（新加坡国立大学Show实验室）；Agency for Science, Technology and Research (A*STAR)（科技研究局）；Nanyang Technological University（南洋理工大学）；Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）
本文提出风格匹配分数（SMS），将图像风格化建模为风格分布匹配问题，并结合渐进频谱正则化与语义感知梯度细化，在保持内容的同时实现高效、高质量的风格迁移。
2025-07-22 cs.CV cs.LG
Cluster-aware Contrastive Learning for Unsupervised Out-of-distribution Detection
Shenzhen Institute of Advanced Study, UESTC（电子科技大学深圳高等研究院）
无监督分布外检测（OOD）的目的是在没有标签信息的情况下分离出落在训练数据分布之外的样本。在众多分支中，对比学习在面向对象检测中显示了其学习区分性表征的优异能力。然而，由于其视野有限，仅关注增强样本之间的实例级关系，缺乏对具有相同语义的样本之间的关系的关注。基于经典的对比学习方法，提出了一种面向对象的无监督对比学习（CCL）框架，该框架同时考虑了实例级和语义级信息。具体而言，本文研究了聚类和对比学习的协同策略，以有效地提取潜在语义，并设计了聚类感知的对比损失函数，以提高面向对象设计的判别能力。损失函数通过将聚类中心和属于同一聚类的样本都视为正样本，可以同时关注全局和局部关系。我们进行了充分的实验，以验证我们的框架的有效性和模型取得了显着的改善各种图像基准。
2023-02-06 cs.CV
CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer
Huazhong University of Science and Technology（华中科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Beijing University of Posts and Telecommunications（北京邮电大学）
在本文中，我们的目标是设计一个通用的风格转移方法，能够执行艺术，照片般逼真，和视频风格转移联合，在训练过程中看不到视频。以前的单帧方法假设对整个图像有很强的约束以保持时间一致性，这在许多情况下可能会被违反。相反，我们做了一个温和的和合理的假设，即全球不一致是由当地的不一致，并设计了一个通用的对比一致性保持损失（CCPL）适用于当地补丁。CCPL可以在风格转换过程中保持内容源的一致性，而不会降低风格化。此外，它拥有一个邻居调节机制，从而大大减少了局部失真和相当大的视觉质量改善。除了在多功能风格转换方面的卓越性能外，它还可以轻松扩展到其他任务，例如图像到图像的翻译。此外，为了更好地融合内容和风格特征，我们提出了简单协方差变换（SCT），以有效地对齐内容特征的二阶统计量与风格特征。实验表明，所得到的模型的有效性，多功能的风格转移时，武装与CCPL。
2022-07-19 cs.CV
Camera-aware Style Separation and Contrastive Learning for Unsupervised Person Re-identification
Beijing JiaoTong University（北京交通大学）
无监督的人再识别（ReID）是一项具有挑战性的任务，没有数据注释来指导区分学习。现有方法试图通过对提取的嵌入进行聚类以生成伪标签来解决这个问题。然而，大多数方法都忽略了摄像机风格变化引起的类内差异，有的方法虽然试图解决摄像机风格对特征分布的负面影响，但相对复杂和间接。针对这一问题，本文提出了一种摄像机感知的风格分离和对比学习方法（CA-UReID），该方法通过设计摄像机感知的注意力模块，直接在特征空间中分离摄像机风格。它可以显式地将可学习的特征划分为相机特定和相机不可知的部分，减少不同相机的影响。此外，为了进一步缩小摄像机之间的差距，我们设计了一个摄像机感知的对比中心损失，以学习每个身份的更多区别性嵌入。大量的实验表明，我们的方法优于国家的最先进的方法在无监督的人ReID任务。
2021-12-19 cs.CV
Lesion-Aware Contrastive Representation Learning for Histopathology Whole Slide Images Analysis
Beihang University（北京航空航天大学）；Hefei University of Technology（合肥工业大学）
局部表示学习一直是提高组织病理学整片图像分析性能的关键挑战。以前的表示学习方法遵循监督学习范式。然而，大规模WSI的手动注释是耗时且劳动密集型的。因此，自监督的对比学习近年来引起了广泛的关注。现有的对比学习方法将每个样本作为一个类来处理，存在类冲突问题，特别是在组织病理学图像分析领域。在本文中，我们提出了一种新的对比表示学习框架命名为病变感知对比学习（LACL）的组织病理学整张幻灯片图像分析。我们建立了一个基于存储体结构的病变队列来存储不同类别的WSI的表示，这允许对比模型在训练期间选择性地定义阴性对。此外，我们设计了一个队列细化策略来净化存储在病变队列中的表示。实验结果表明，LACL在不同数据集上的组织病理学图像表示学习中取得了最佳性能，在不同的WSI分类基准下均优于现有方法。该代码可在https://github.com/junl21/lacl上获得。
2022-06-27 cs.CV
PoseContrast: Class-Agnostic Object Viewpoint Estimation in the Wild with Pose-Aware Contrastive Learning
Ecole des Ponts（巴黎高科路桥学校）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
出于对任意对象的3D姿态估计的需要，我们考虑仅从图像中进行类不可知对象视点估计的挑战性问题，而无需CAD模型知识。这个想法是利用在可见类上学习的特征来估计看不见的类的姿态，但是这些类与可见类共享相似的几何形状和规范框架。我们训练一个直接的姿态估计器在类不可知的方式通过共享所有对象类的权重，我们引入了一个对比学习方法，有三个主要成分：（i）使用预先训练，自我监督，基于对比度的功能;（ii）姿态感知数据增强;（iii）姿态感知对比损失。我们以跨数据集的方式在Pascal 3D+、ObjectNet 3D和Pix 3D上进行了实验，包括可见类和不可见类。我们报告了最先进的结果，包括针对另外使用CAD模型作为输入的方法。
2021-10-27 cs.CV
Global-Supervised Contrastive Loss and View-Aware-Based Post-Processing for Vehicle Re-Identification
Qiannan Normal University for Nationalities（黔南民族师范学院）；Guizhou University（贵州大学）；Peng Cheng Laboratory（鹏城实验室）；Guangxi Normal University（广西师范大学）
在本文中，我们提出了一个全局监督对比损失和基于视图感知的后处理（VABPP）方法的车辆重新识别领域。传统的有监督对比损失算法计算的是批内特征间的距离，具有局部性。虽然提出的全局监督对比损失具有新的性质，具有良好的全局属性，但训练过程中每个锚点的正负特征来自整个训练集。本文提出的VABPP方法是第一次将基于视觉感知的方法作为后处理方法应用于车辆再识别领域。VABPP的优点是，首先，它只在测试过程中使用，不影响训练过程。其次，作为一种后处理方法，它可以很容易地集成到其他训练的re-id模型中。将训练好的模型计算出的视对距离缩放系数矩阵直接应用于另一个训练好的re-id模型，VABPP方法大大提高了其性能，验证了VABPP方法的可行性。
2022-04-17 cs.CV
Unsupervised Gaze-aware Contrastive Learning with Subject-specific Condition
Delft University of Technology（代尔夫特理工大学）
提出基于对比学习的无监督框架ConGaze，通过注视特定数据增强和特定主体条件投影模块学习跨主体通用注视感知表示，在多个公开数据集上显著优于现有无监督及监督学习方法。
2023-09-08 cs.CV
AesFA: An Aesthetic Feature-Aware Arbitrary Neural Style Transfer
Seoul National University（首尔大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出轻量级美学特征感知神经风格迁移模型AesFA，通过频率分解解耦美学风格并以端到端方式训练，引入对比损失提升风格化质量，在质量和推理速度上均优于现有方法。
2024-02-22 cs.AI cs.CV
ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding
Seoul National University（首尔国立大学）；Kakao Brain
提出基于隐式姿态嵌入对比学习的3D感知GAN优化方法ContraNeRF，去除对真实相机姿态的依赖，有效捕捉复杂3D场景结构，在不一致标准相机姿态的数据集上大幅优于现有方法。
2023-07-03 cs.CV
Domain-Aware Universal Style Transfer
Yonsei University（延世大学）；Microsoft Research（微软研究院）
风格转移的目的是从参考图像再现具有风格的内容图像。现有的通用风格转移方法成功地提供任意风格的原始图像，无论是在艺术或照片逼真的方式。然而，现有的作品所定义的“任意风格”的范围是有限的，在特定的领域，由于其结构的限制。具体地，根据预定义的目标域来建立内容保存和风格化的程度。因此，照片级真实感和艺术级模型都难以为另一个域执行所需的风格转换。为了克服这一限制，我们提出了一个统一的架构，域感知风格传输网络（Domain-aware Style Transfer Networks，DSTN），它不仅传输风格，而且传输域的属性（即，域性）。为此，我们设计了一种新的域指示器，从参考图像的纹理和结构特征中捕获域值。此外，我们引入了一个统一的框架与域感知跳过连接自适应地转移的笔画和调色板的输入内容的域指示器的指导下。我们广泛的实验验证了我们的模型产生更好的定性结果，并优于以前的方法在艺术和照片逼真的风格化的代理指标。
2021-08-17 cs.CV eess.IV
DyCON: Dynamic Uncertainty-aware Consistency and Contrastive Learning for Semi-supervised Medical Image Segmentation
C2PS - Khalifa University of Science and Technology（C2PS - 哈利法塔科技大学）
本文提出DyCON框架，通过不确定性感知一致性损失和焦点熵感知对比损失，解决半监督医学图像分割中的类别不平衡与高不确定性问题，在多个数据集上取得优于SOTA的性能。
2025-04-06 cs.CV
ProCo: Prototype-aware Contrastive Learning for Long-tailed Medical Image Classification
Xiaohe Healthcare, ByteDance（字节跳动小荷健康）；The University of Hong Kong（香港大学）
医学图像分类在医学图像分析中得到了广泛的应用。然而，由于在医学领域的数据采集和标记的困难，医学图像数据集通常是高度不平衡的。为了解决这个问题，以前的作品利用类样本作为重新加权或重新采样的先验，但特征表示通常仍然不够有区别。在本文中，我们采用对比学习来解决长尾医疗不平衡问题。具体来说，我们首先提出类别原型和对抗原型实例来生成代表性对比对。然后，原型重校准策略，提出了解决高度不平衡的数据分布。最后，设计了一个统一的原型损失训练我们的框架。整体框架，即原型感知的对比学习（ProCo），以端到端的方式统一为单级流水线，以缓解医学图像分类中的不平衡问题，这也是一个明显的进步，因为它们遵循传统的两级流水线。在两个高度不平衡的医学图像分类数据集上进行的大量实验表明，我们的方法大大优于现有的最先进的方法。
2022-09-01 cs.CV
Masked Video Modeling with Correlation-aware Contrastive Learning for Breast Cancer Diagnosis in Ultrasound
Shenzhen University（深圳大学）；Sun Yat-Sen Memorial Hospital of Sun Yat-Sen University（中山大学孙逸仙纪念医院）
乳腺癌是女性癌症死亡的主要原因之一。作为乳腺筛查的主要输出，乳腺超声（US）视频包含用于癌症诊断的独家动态信息。然而，用于视频分析的训练模型是不平凡的，因为它需要大量的数据集，这也是昂贵的注释。此外，乳腺病变的诊断面临着独特的挑战，如类间的相似性和类内的变化。在本文中，我们提出了一种开创性的方法，直接利用美国的视频在计算机辅助乳腺癌诊断。它利用掩码视频建模作为预训练，以减少对数据集大小和详细注释的依赖。此外，一个相关意识的对比损失的发展，以促进识别良性和恶性病变之间的内部和外部的关系。实验结果表明，我们提出的方法取得了良好的分类性能，可以优于其他国家的最先进的方法。
2022-09-10 cs.CV
Context-Aware Group Captioning via Self-Attention and Contrastive Features
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（奥多比研究院）
虽然图像描述已经迅速发展，但是现有的工作主要集中在描述单个图像。在本文中，我们介绍了一个新的任务，上下文感知的组字幕，其目的是描述一组目标图像的背景下，另一组相关的参考图像。上下文感知的组字幕不仅需要从目标图像组和参考图像组中总结信息，而且还需要在它们之间进行对比。为了解决这个问题，我们提出了一个框架相结合的自我注意力机制与对比特征的建设，有效地总结共同的信息，从每个图像组，同时捕捉它们之间的区别性信息。为了构建这个任务的数据集，我们建议将图像分组，并使用场景图匹配基于单个图像标题生成组标题。我们的数据集构建在公共概念标题数据集和新的股票标题数据集之上。两个数据集上的实验表明，我们的方法在这个新的任务的有效性。相关数据集和代码发布在https://lizw14.github.io/project/groupcap。
2020-04-07 cs.CV
FCL-COD: Weakly Supervised Camouflaged Object Detection with Frequency-aware and Contrastive Learning
Tsinghua University（清华大学）；Soochow University（苏州大学）
提出频率感知低秩适应（FoRA）和梯度感知对比学习，解决弱监督伪装目标检测中非伪装响应、局部/极端响应及边界模糊问题，在三个基准上超越现有弱监督和部分全监督方法。
2026-07-02 cs.CV
Motion-aware Contrastive Learning for Temporal Panoptic Scene Graph Generation
Institute of Data Science (IDS)（数据科学研究所）；National University of Singapore（新加坡国立大学）；Nanyang Technological University (NTU)（南洋理工大学）；Tongji University（同济大学）
本文提出一种面向时间的对比学习框架，通过学习运动模式提升时序全景场景图生成的性能，实验表明在视频和4D数据集上优于现有方法。
2026-04-26 cs.CV
Boundary-aware Contrastive Learning for Semi-supervised Nuclei Instance Segmentation
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；School of Science, Harbin Institute of Technology（哈尔滨工业大学理学院）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部）
针对半监督细胞核分割中伪标签边界噪声问题，提出边界感知对比学习网络，包含低分辨率去噪与跨RoI对比学习模块，有效提升分割性能。
2024-02-07 cs.CV
Scale-Aware Contrastive Reverse Distillation for Unsupervised Medical Anomaly Detection
MedAI Technology (Wuxi) Co. Ltd.（MedAI科技（无锡）有限公司）；Technical University of Munich（慕尼黑工业大学）
针对无监督医学异常检测中反向蒸馏判别性不足且难适应异常尺度变化的问题，提出尺度感知对比反向蒸馏模型，通过对比师生学习与多尺度软加权损失实现最先进性能。
2025-03-18 cs.CV
MaCLR: Motion-aware Contrastive Learning of Representations for Videos
AWS AI Labs（亚马逊云科技人工智能实验室）；Meta AI
我们提出了一种新的方法来显式地执行跨模态自监督视频表示学习视觉和运动模态。与以前的视频表示学习方法主要集中在从RGB输入中隐式地学习运动线索相比，Mastery丰富了RGB视频剪辑的标准对比学习目标，具有运动路径和视觉路径之间的跨模态学习目标。我们表明，用我们的Mastery方法学习的表示更侧重于前景运动区域，从而更好地推广到下游任务。为了证明这一点，我们在五个数据集上评估了Major的动作识别和动作检测，并在所有数据集上展示了最先进的自监督性能。此外，我们还证明了在UCF 101和HMDB 51动作识别上，Mastery表示可以与完全监督学习的表示一样有效，甚至在VidSitu和SSv2上的动作识别以及AVA上的动作检测方面优于监督表示。
2022-07-20 cs.CV
Enhancing cross-domain detection: adaptive class-aware contrastive transformer
Shanghai Jiao Tong University（上海交通大学）
针对跨域目标检测中标签不足与类别不平衡问题，提出结合 mean-teacher、IoU 感知伪标签筛选、动态阈值和类别感知对比学习的 Transformer 方法，性能优于现有方法。
2024-01-24 cs.CV
Dynamic Contrastive Learning for Hierarchical Retrieval: A Case Study of Distance-Aware Cross-View Geo-Localization
School of Internet of Things（物联网学院）；National Engineering Research Center of Communications and Networking（通信与网络国家工程研究中心）
针对距离感知跨视图地理定位问题，构建首个多视图距离标注基准DA-Campus，并提出动态对比学习框架DyCL，通过层次化空间边际逐步对齐特征，显著提升了层次化检索与整体定位准确性。
2025-06-29 cs.CV
Class-Aware Contrastive Semi-Supervised Learning
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）；CATL（宁德时代）
基于伪标记的半监督学习在原始数据利用方面取得了巨大的成功。然而，它的训练过程遭受确认偏差，由于噪声包含在自我生成的人工标签。此外，模型的判断在具有大量分布外数据的现实应用中变得更加嘈杂。为了解决这个问题，我们提出了一个通用的方法命名为类感知的对比半监督学习（CCSSL），这是一个下降的助手，以提高伪标签的质量和增强模型的鲁棒性，在现实世界的设置。我们的方法不是将真实世界的数据作为一个联合集来处理，而是分别处理可靠的分布内数据和类间聚类，以融入下游任务，以及噪声分布外数据和图像对比，以更好地泛化。此外，通过应用目标重新加权，我们成功地强调了干净的标签学习，同时减少了嘈杂的标签学习。尽管它的简单性，我们提出的CCSSL有显着的性能改进的国家的最先进的SSL方法的标准数据集CIFAR 100和STL 10。在真实世界的数据集Semi-iNat 2021上，我们将FixMatch提高了9.80%，CoMatch提高了3.18%。代码可从https://github.com/TencentYoutuResearch/Classification-SemiCLS获得。
2022-09-09 cs.CV
Reproducibility Report: Contrastive Learning of Socially-aware Motion Representations
以下论文是ICCV 2021上发表的“Social NCE：对比学习of Socially-aware Motion Representations”{ \cite{liu2020snce} }的再现性报告，作为ML再现性挑战2021的一部分。原始代码由作者\footnote{\href{https://github.com/vita-epfl/social-nce}{https://github.com/vita-epfl/social-nce}}提供。我们试图验证作者声称的结果，并在PyTorch Lightning中重新实现了他们的代码。
2022-08-18 cs.CV cs.LG
Style-Aware Contrastive Learning for Multi-Style Image Captioning
Australian AI Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
现有的多风格图像描述方法在生成具有准确视觉内容和期望语言风格的字幕方面显示出有希望的结果。然而，现有的方法忽略了语言风格和视觉内容之间的关系。为了克服这个缺点，我们提出了风格感知的对比学习多风格的图像描述。首先，我们提出了一个风格感知的视觉编码器与对比学习挖掘潜在的视觉内容相关的风格。此外，我们提出了一个风格感知的三重对比度目标来区分图像，风格和标题是否匹配。为了给对比学习提供正样本和负样本，本文提出了三种检索方案：基于对象的检索、基于RoI的检索和基于三元组的检索，并设计了一个动态的权衡函数来计算检索得分。实验结果表明，我们的方法达到了最先进的性能。此外，我们进行了广泛的分析，以验证我们的方法的有效性。
2023-01-26 cs.CL cs.CV
Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Jilin University（吉林大学）；Kuaishou Technology（快手科技）；National Cheng-Kung University（国立成功大学）
在这项工作中，我们解决了具有挑战性的问题，任意图像风格转移使用一种新的风格特征表示学习方法。在图像风格化过程中，风格表示是一个重要的组成部分。现有的基于深度神经网络的方法在诸如内容特征的Gram矩阵的二阶统计量的指导下实现了合理的结果。然而，它们没有充分利用样式信息，这导致了诸如局部失真和样式不一致之类的伪像。为了解决这些问题，我们建议通过分析多种风格之间的相似性和差异并考虑风格分布，直接从图像特征而不是其二阶统计量来学习风格表示。具体来说，我们提出了对比任意风格迁移（CAST），这是一种新的风格表示学习和风格迁移方法通过对比学习。我们的框架包括三个主要组成部分，即，用于风格代码编码的多层风格投影器、用于风格分布的有效学习的域增强模块、以及用于图像风格传递的生成网络。我们进行全面的定性和定量评估，以证明我们的方法取得了显着更好的结果相比，通过国家的最先进的方法。代码和模型可在https://github.com/zyxElsa/CAST_pytorch上获得
2022-05-20 cs.CV cs.GR
Object-aware Contrastive Learning for Debiased Scene Representation
KAIST（韩国科学技术院）；Google Cloud AI（谷歌云人工智能）
对比自监督学习通过对不同的数据增强实施不变性，在从未标记图像中学习视觉表示方面表现出令人印象深刻的结果。然而，学习的表示往往在上下文上偏向于不同对象或对象与背景的虚假场景相关性，这可能会损害其在下游任务上的泛化。为了解决这个问题，我们开发了一种新的对象感知的对比学习框架，首先（a）以自我监督的方式定位对象，然后（b）通过考虑推断的对象位置的适当的数据增强来消除场景相关性。对于（a），我们提出了对比类激活图（ContraCAM），它找到了最具区别性的区域（例如，对象）与其他图像进行比较。我们进一步提高了ContraCAM检测多个对象和整个形状通过迭代细化过程。对于（b），我们引入了两种基于ContraCAM的数据增强，对象感知随机裁剪和背景混合，它们分别减少了对比自监督学习期间的上下文和背景偏差。我们的实验证明了我们的表示学习框架的有效性，特别是在多对象图像下训练或在背景（和分布）移动图像下评估时。
2021-10-26 cs.CV cs.LG
CtlGAN: Few-shot Artistic Portraits Generation with Contrastive Transfer Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）
针对少样本艺术肖像生成易过拟合的问题，提出CtlGAN模型，通过对比迁移学习、跨域三元组损失及双路径训练，在1/10样本设置下实现优于现有方法的高质量生成效果。
2024-03-08 cs.CV cs.GR
Structure-Aware Stylized Image Synthesis for Robust Medical Image Segmentation
Huaiyin Institute of Technology（淮阴工学院）；Alpha Benito Research（Alpha Benito研究院）；City University of Hong Kong（香港城市大学）
针对医学图像分割中域偏移及扩散模型结构信息丢失问题，提出结合扩散模型与结构保持网络的结构感知单样本风格化方法，在结肠镜息肉和皮肤病变数据集上提升分割鲁棒性与准确性，优于无风格迁移的基线模型。
2024-12-05 cs.CV cs.LG eess.IV
Boosting COVID-19 Severity Detection with Infection-aware Contrastive Mixup Classification
Fudan University（复旦大学）；Children’s Hospital of Fudan University（复旦大学附属儿科医院）；National Children’s Medical Center（国家儿童医学中心）
本文介绍了我们为第二届COVID-19严重程度检测竞赛提供的解决方案。本任务旨在区分COVID-19胸部CT图像中的轻度、中度、重度和危重级别。在我们的方法中，我们设计了一种新的感染感知3D对比混淆分类网络的严重程度分级。具体来说，我们训练两个分割网络，首先提取肺部区域，然后提取内部病变区域。病变分割掩模用作原始CT切片的补充信息。为了缓解数据分布不均衡的问题，我们进一步改进了先进的对比混淆分类网络的加权交叉熵损失。在COVID-19严重性检测排行榜上，我们的方法以51. 76%的宏观F1得分获得第一名。它显著优于基线方法超过11.46%。
2022-12-01 cs.CV eess.IV
Context-aware TFL: A Universal Context-aware Contrastive Learning Framework for Temporal Forgery Localization
School of Computer Science and Engineering, MoE Key Laboratory of Information Technology, Guangdong Province Key Laboratory of Information Security Technology, Sun Yat-sen University（计算机科学与工程学院、信息科技关键实验室、广东信息安全技术重点实验室、中山大学）；State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）；School of Cyber Science and Technology, Shenzhen Campus, Sun Yat-sen University（网络安全科学与技术学院、深圳校区、中山大学）
针对真实视频中局部伪造视听片段的时序定位难题，本文提出 UniCaCLF 框架，通过上下文感知对比学习和逐样本编码增强真伪特征判别，实验在五个公开数据集上显著优于现有算法。
2025-06-10 cs.CV cs.MM
Context-aware Visual Storytelling with Visual Prefix Tuning and Contrastive Learning
Utrecht University（乌得勒支大学）
针对图像序列故事生成中的上下文与视觉变化挑战，提出基于预训练基础模型的轻量视觉-语言映射框架，并结合上下文建模与多模态对比学习，提升故事连贯性、视觉相关性和信息量。
2024-08-12 cs.CL cs.CV
Feature-Aware Noise Contrastive Learning for Unsupervised Red Panda Re-Identification
College of Computer Science, Sichuan University（四川大学计算机学院）
针对无监督动物再识别中标注数据稀缺的问题，提出特征感知噪声对比学习（FANCL），通过噪声添加与双对比模块提取深层表征，在室内外小熊猫数据集上性能优于现有无监督方法并接近监督方法。
2024-07-18 cs.AI cs.CV
Anatomy-Aware Contrastive Representation Learning for Fetal Ultrasound
University of Oxford（牛津大学）；Tel-Aviv University（特拉维夫大学）
自监督对比表示学习提供了从未标记的医学数据集学习有意义的视觉表示以用于迁移学习的优势。然而，将当前的对比学习方法应用于医学数据而不考虑其特定于域的解剖特征可能导致外观和语义不一致的视觉表示。在本文中，我们提出了通过解剖学感知的对比学习（AWCL），它结合了解剖信息，以增强正/负对采样的对比学习的方式，以改善医学图像的视觉表示。所提出的方法被证明用于自动胎儿超声成像任务，使得来自相同或不同的超声扫描的解剖学上相似的阳性对被拉在一起，从而改善表示学习。我们实证研究了包含粗粒度和细粒度的解剖信息对对比学习的影响，发现保留类内差异的细粒度解剖信息的学习比其对应物更有效。我们还分析了解剖比例对我们的AWCL框架的影响，并发现使用更多不同但解剖相似的样本来组成阳性对会产生更好的质量表示。在大规模胎儿超声数据集上的实验表明，我们的方法对于学习表示是有效的，可以很好地转移到三个临床下游任务，并且与ImageNet监督和当前最先进的对比学习方法相比，具有更好的性能。特别是，AWCL在跨域分割任务上比ImageNet监督方法高出13.8%，比最先进的基于对比的方法高出7.1%。
2022-08-22 cs.CV eess.IV
Camera-Tracklet-Aware Contrastive Learning for Unsupervised Vehicle Re-Identification
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
近年来，基于深度学习的车辆再识别方法取得了显著的成就。然而，这一成就需要大规模和注释良好的数据集。在构建数据集时，为从大量相机捕获的车辆分配全局可用身份（Id）是劳动密集型的，因为它需要考虑它们细微的外观差异或视点变化。在本文中，我们提出了摄像机跟踪感知对比学习（CTACL）使用的多摄像机跟踪信息，没有车辆身份标签。所提出的CTACL划分未标记的域，即，整个车辆图像，进入多个相机级子域，并在子域内和子域外进行对比学习。用于对比学习的正样本和负样本使用每个相机的轨迹片段Id来定义。此外，跨摄像机网络的领域自适应被引入，以提高学习表示的泛化性能，并减轻由子域之间的域间隙导致的性能下降。我们证明了我们的方法对基于视频和基于图像的车辆Re-ID数据集的有效性。实验结果表明，该方法优于最近的国家的最先进的无监督车辆Re-ID方法。本文的源代码可在`https：//github.com/andreYoo/CTAM-CTACL-VVReID.git '上公开获取。
2021-09-14 cs.AI cs.CV
SPARC: SuperPixel-Aware Region Contrastive Learning for Self-Supervised Dense Prediction
University of Waterloo（滑铁卢大学）
SPARC提出一种基于超像素的区域级对比学习框架，通过区域对比分支与全局目标联合优化，在语义分割和检测上显著超越现有方法，提升密集预测性能。
2026-09-23 cs.CV cs.LG
TACo: Token-aware Cascade Contrastive Learning for Video-Text Alignment
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
对比学习已被广泛用于训练基于变换的视觉语言模型，用于视频-文本对齐和多模态表示学习。本文提出了一种新的算法称为令牌感知级联对比学习（TACo），提高了对比学习使用两种新的技术。第一种是标记感知的对比损失，它是通过考虑单词的句法类别来计算的。这是由以下观察所激发的：对于视频-文本对，文本中的内容词（诸如名词和动词）比功能词更可能与视频中的视觉内容对齐。其次，级联采样方法被施加到生成一个小的硬负的例子，多模态融合层的有效损失估计。为了验证TACo的有效性，在我们的实验中，我们对一组下游任务的预训练模型进行了微调，包括文本视频检索（YouCook 2，MSR-VTT和ActivityNet），视频动作步骤定位（CrossTask），视频动作分割（COIN）。结果表明，我们的模型在不同的实验设置中比以前的方法获得了一致的改进，在YouCook 2，MSR-VTT和ActivityNet三个公共文本视频检索基准上设置了新的最先进水平。
2021-08-23 cs.AI cs.CV cs.LG
A Simple Task-aware Contrastive Local Descriptor Selection Strategy for Few-shot Learning between inter class and intra class
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
针对少样本图像分类中现有局部描述符选择方法忽略背景特征任务价值的问题，提出TCDSNet，通过计算对比判别分数选择支持描述符子集，再自适应选查询描述符，在通用和细粒度数据集上性能超SOTA。
2024-08-12 cs.CV cs.MM
MACD: Model-Aware Contrastive Decoding via Counterfactual Data
University of Michigan, Ann Arbor, MI, USA（密歇根大学，安娜堡分校）；University of California San Diego, La Jolla, CA, USA（加州大学圣地亚哥分校）
提出MACD方法，利用视频语言模型自身反馈识别导致幻觉的目标区域，生成目标级反事实输入，结合对比解码减少幻觉，提升多模型在复杂场景下的准确性。
2026-06-05 cs.AI cs.CV cs.LG
LaCViT: A Label-aware Contrastive Fine-tuning Framework for Vision Transformers
The University of Glasgow（格拉斯哥大学）
LaCViT提出标签感知对比微调框架，解决交叉熵损失限制，在八个数据集上将三种ViT的Top-1准确率最高提升10.78%。
2024-02-05 cs.AI cs.CV
HiCLIP: Contrastive Language-Image Pretraining with Hierarchy-aware Attention
Rutgers University（罗格斯大学）；ByteDance Inc.（字节跳动公司）
大规模对比视觉语言预训练（CLIP）的成功使视觉识别和多模态内容理解受益匪浅。简洁的设计使CLIP在推理效率方面优于其他交叉注意融合层较重的视觉语言模型，使其成为广泛的下游任务的热门选择。然而，CLIP并没有明确地捕捉图像和文本中传达的高级和细粒度语义的层次性质，这对视觉语言理解和推理来说是至关重要的。为此，我们在CLIP的视觉和语言分支配备了层次感知注意力，即层次感知CLIP（HiCLIP），以无监督的方式从图像和文本中逐层逐步发现语义层次。因此，这种分层聚合显著改善了跨模态对齐。为了证明HiCLIP的优势，我们进行了定性分析，其无监督的层次归纳推理过程中，以及广泛的定量实验上的视觉识别和视觉语言的下游任务。
2023-03-06 cs.CL cs.CV cs.LG
Semantic-Aware Contrastive Learning for Multi-object Medical Image Segmentation
Vanderbilt University（范德堡大学）
医学图像分割，或计算体素语义掩码，是一个基本的，但具有挑战性的任务，计算体素级语义掩码。为了提高编码器-解码器神经网络在大型临床队列中执行此任务的能力，对比学习提供了稳定模型初始化和增强无标签编码器的机会。然而，多个目标对象（具有不同的语义含义）可能存在于一个单一的图像中，这提出了一个问题，以适应传统的对比学习方法从流行的“图像级分类”到“像素级分割”。在本文中，我们提出了一个简单的语义感知的对比学习方法，利用注意掩模，以推进多对象语义分割。简单地说，我们将不同的语义对象嵌入到不同的集群中，而不是传统的图像级嵌入。我们使用内部数据和MICCAI Challenge 2015 BTCV数据集在多器官医学图像分割任务上评估了我们提出的方法。与当前最先进的训练策略相比，我们提出的管道分别为两个医学图像分割队列的Dice评分带来了5.53%和6.09%的大幅提高（p值<0.01）。通过PASCAL VOC 2012数据集在自然图像上进一步评估了所提出的方法的性能，并在mIoU上实现了2.75%的实质性改善（p值<0.01）。
2021-11-08 cs.AI cs.CV cs.LG
