Attention-Guided Lidar Segmentation and Odometry Using Image-to-Point Cloud Saliency Transfer
University of Tsukuba（筑波大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；CNRS-AIST Joint Robotics Laboratory (JRL)（法国国家科学研究中心-日本产业技术综合研究所联合机器人实验室）
本文提出图像到点云显著性迁移框架，构建FordSaliency伪显著性数据集，并设计SalLiDAR分割模型和SalLONet里程计网络，利用显著性引导注意力提升自动驾驶中激光雷达分割与里程计性能，达到最先进水平。
2024-06-17 cs.CV cs.RO
FastSal: a Computationally Efficient Network for Visual Saliency Prediction
Insight Centre for Data Analytics, Dublin City University（都柏林城市大学Insight数据分析中心）
本文主要研究视觉显著性预测问题，即在有限的计算预算下，预测图像中容易引起人类视觉注意的区域。我们修改和测试了各种最近的高效卷积神经网络架构，如EfficientNet和MobileNetV2，并将它们与现有的最先进的显着性模型（如SalGAN和DeepGaze II）进行了比较，无论是在AUC和NSS等标准准确性指标方面，还是在计算复杂性和模型大小方面。我们发现，MobileNetV2是一个很好的骨干视觉显着性模型，即使没有一个复杂的解码器也可以有效。我们还表明，从计算成本更高的模型（如DeepGaze II）中转移知识可以通过伪标记未标记的数据集来实现，并且这种方法可以与许多最先进的算法相比，计算成本和模型大小只有一小部分。源代码可在https://github.com/feiyanhu/FastSal上获得。
2020-08-25 cs.CV cs.LG
Unified Unsupervised Salient Object Detection via Knowledge Transfer
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对现有无监督显著目标检测方法多聚焦特定任务、忽略迁移潜力的问题，提出含渐进式课程学习蒸馏、自校正伪标签细化和适配器调优的统一框架，在5个代表性任务上验证了有效性。
2024-07-13 cs.CV
Webpage Saliency Prediction with Two-stage Generative Adversarial Networks
Shanghai Jiao Tong University（上海交通大学）
网页显著性预测是图像变换和计算机视觉领域的一个具有挑战性的问题。本文提出了一种结合网页轮廓信息的兴趣区域预测模型。对于每一个网页图像，我们的模型可以生成显着图，指示感兴趣的区域的人。提出了一种两级生成对抗网络，并引入了图像轮廓信息以提高网络的传输性能。在FIWI数据集上的实验结果表明，该模型在显著性预测方面具有更好的性能。
2018-05-29 cs.CV
Center Emphasized Visual Saliency and a Contrast-based Full Reference Image Quality Index
Kyung Hee University（庆熙大学）；University of Dhaka（达卡大学）
客观图像质量评估（IQA）是必要的，在当前的多媒体密集的世界，以评估图像的视觉质量接近人类的能力水平。许多参数，如颜色强度、结构、锐度、对比度、物体的存在等，把人类的注意力吸引到图像上。心理视觉研究表明，人类视觉偏向图像和显示屏的中心区域。因此，如果中心部分包含任何视觉上显著的信息，它会吸引更多的人的注意力，并且该部分中的任何失真都会比其他部分更好地感知。据我们所知，以前的IQA方法没有考虑这一事实。在本文中，我们提出了一个完整的参考图像质量评估（FR-IQA）的方法，使用视觉显着性和对比度，但是，我们给予额外的关注，在该地区的相似性地图的敏感性增加的中心。我们评估了我们的方法在三个大规模的流行的基准数据库使用的大多数当前IQA的研究人员（TID 2008，CSIQ~和LIVE），共有3345失真的图像与28种不同的失真。我们的~方法与13个国家的最先进的方法进行了比较。这种比较揭示了我们的方法与人类评估值的更强相关性。预测的质量分数是一致的失真特定以及失真独立的情况下。此外，更快的处理速度使其适用于任何实时应用程序。MATLAB代码是公开的，可以在http://layek.khu.ac.kr/CEQI上在线找到。
2019-02-26 cs.CV
Few-shot calibration of low-cost air pollution (PM2.5) sensors using meta-learning
IIT Kanpur（印度理工学院坎普尔分校）
低成本颗粒物传感器正在改变空气质量监测，因为与参考监测器相比，它们具有更低的成本和更大的移动性。这些低成本传感器的校准需要来自共同部署的参考监测器的训练数据。基于机器学习的校准提供比传统技术更好的性能，但需要来自传感器的大量训练数据，以与参考监视器共同部署来校准。在这项工作中，我们提出了新的迁移学习方法快速校准的传感器与最小的共同部署与参考监视器。迁移学习利用来自其他传感器的大量数据以及来自目标传感器的有限量的数据。我们广泛的实验发现，所提出的基于模型不可知元学习（MAML）的迁移学习方法是最有效的其他竞争基准。
2021-08-02 cs.LG eess.SP
Autoencoder Node Saliency: Selecting Relevant Latent Representations
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Center for Applied Scientific Computing（应用科学计算中心）
自动编码器是一个人工神经网络模型，它学习未标记数据的隐藏表示。对于线性传递函数，它类似于主成分分析（PCA）。虽然这两种方法都使用权重向量进行线性变换，但自动编码器没有任何类似于PCA中与特征向量配对的特征值的指示。我们提出了一种新的监督节点显着性（SNS）的方法，排名隐藏的节点通过比较类分布的潜在表示对一个固定的参考分布。隐藏节点的潜在表示可以使用一维直方图来描述。我们应用归一化熵差（NED）来衡量直方图的“兴趣度”，并得出一个属性的NED值来识别一个好的分类节点。通过将我们的方法应用于真实数据集，我们证明了SNS解释训练的自动编码器所学到的东西的能力。
2018-03-08 cs.CV cs.LG stat.ML
Spatial Attention-based Non-reference Perceptual Quality Prediction Network for Omnidirectional Images
Beihang University（北京航空航天大学）
由于视觉注意和感知质量之间的强相关性，许多方法试图使用人类显著性信息来进行图像质量评估。虽然这种机制可以获得良好的性能，但网络需要人类显著性标签，这对于全向图像（ODI）来说并不容易获得。为了缓解这个问题，我们提出了一个基于空间注意力的感知质量预测网络ODI（SAP网）的非参考质量评估。为了驱动SAP网络，我们建立了一个大规模的ODI IQA数据集（IQA-ODI），该数据集由200名受试者对1，080个ODI的主观评分组成。在IQA-ODI中，有120个高质量的ODI作为参考，960个ODI在JPEG压缩和地图投影中都有损伤。在没有任何人类显著性标签的情况下，我们的网络可以通过自我注意的方式自适应地估计受损ODI上的人类感知质量，这显著地提高了质量分数的预测性能。此外，我们的方法大大降低了计算复杂性的质量评估任务上的ODI。大量的实验验证了我们的网络优于9个国家的最先进的方法对ODI的质量评估。数据集和代码已在\url{ https://github.com/yanglixiaoshen/SAP-Net}上提供。
2021-03-10 cs.CV cs.MM eess.IV
Fixation Data Analysis for High Resolution Satellite Images
Indian Institute of Technology, Roorkee（印度理工学院鲁尔基分校）
本研究是一个高分辨率卫星影像的眼动追踪实验。所报告的实验探索了基于感兴趣区域（AOI）的复杂HRS图像的眼睛注视数据的分析。该研究反映了自下而上显著性分割对参考数据的需求以及复杂卫星图像眼动追踪数据分析的困难。预期固定数据分析的目的是为高分辨率卫星图像的自下而上的基于显著性的分割创建参考数据。这项实验研究的分析结果提供了一个解决方案，为固定数据在复杂的环境中的卫星图像和参考数据建设的建议，这是一个正在进行的努力AOI为基础的分析。
2018-05-01 cs.CV
Exploring deep learning for Event-Based Saliency Prediction with a Transformer-based model
i3S/CNRS, Université Côte d’Azur（i3S/CNRS，法国国家科学研究中心，埃克塞特大学）
提出SEST模型，利用自监督预训练的事件Swin Transformer和轻量CNN解码器，从事件数据预测动态显著性图，并创建两个新基准数据集，显著优于现有方法。
2026-05-22 cs.CV
RGB-D Salient Object Detection Based on Discriminative Cross-modal Transfer Learning
在这项工作中，我们建议利用卷积神经网络，以提高深度引起的显着目标检测的性能，通过捕捉深度模态的高级代表性特征。我们将深度诱导的显著性检测公式化为基于CNN的跨模态传输问题，以弥合CNN的“数据饥饿”性质与深度模态中无法获得足够的标记训练数据之间的差距。在所提出的方法中，我们通过训练RGB显着性检测网络来有效地利用来自源模态的辅助数据，以获得目标模态的特定于任务的预理解层。同时，我们通过预训练一个模态分类网络来利用深度特定信息，该网络在优化过程中鼓励模态特定的表征。因此，它可以使RGB和深度模态的特征表示尽可能具有区别性。这两个模块独立地进行预训练，然后拼接以初始化和优化最终的深度诱导显著性检测模型。实验证明了所提出的新的预训练策略的有效性，以及所提出的方法比其他国家的最先进的方法显着和一致的改进。
2017-05-31 cs.CV
RatSeizure: A Benchmark and Saliency-Context Transformer for Rat Seizure Localization
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；University of Louisville（路易斯维尔大学）；GE HealthCare（GE医疗）
本文提出RatSeizure基准和RaSeformer变换器，用于大鼠癫痫行为分析，提供高精度的时间标注和标准化评估方法。
2026-03-25 cs.CV
DUT-LFSaliency: Versatile Dataset and Light Field-to-RGB Saliency Detection
Dalian University of Technology（大连理工大学）
光场数据表现出有利于显著性检测的有利特性。基于学习的光场显著性检测的成功在很大程度上取决于如何构建全面的数据集以实现模型的更高概括性，如何有效地利用高维光场数据，以及如何设计灵活的模型以实现台式计算机和移动设备的通用性。为了回答这些问题，我们首先介绍了一个大规模的数据集，以实现RGB，RGB-D和光场显着性检测的多功能应用，包含102个类别和4204个样本。其次，我们提出了一个不对称的双流模型，由焦点流和RGB流。Focal流旨在实现台式计算机的更高性能，并将聚焦知识转移到RGB流，依赖于两个定制的模块。RGB流通过三种蒸馏方案保证了移动设备上的灵活性和内存/计算效率。实验表明，我们的焦点流达到国家的最先进的性能。RGB流在DUTLF-V2上实现了Top-2 F-measure，与性能最佳的方法相比，该方法将模型大小最小化了83%，FPS提高了5倍。此外，我们提出的蒸馏方案适用于RGB显着性模型，在确保灵活性的同时实现了令人印象深刻的性能增益。
2020-12-30 cs.CV
SED:Lightweight Saliency prediction for Event-based data via Distillation
i3S/CNRS, Université Côte d’Azur（法国蔚蓝海岸大学i3S/CNRS实验室）；ETH Zürich（苏黎世联邦理工学院）
提出轻量级网络SED，通过知识蒸馏和深度时空块（DSTconv）实现事件数据显著性预测，模型大小减少562倍，参数减少554倍，性能匹配或超越教师模型。
2026-06-15 cs.CV
Video Saliency Prediction Using Enhanced Spatiotemporal Alignment Network
Nanjing University of Information Science and Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）
由于不同帧之间的各种运动，这是非常具有挑战性的学习一个有效的时空表示准确的视频显著性预测（VSP）。为了解决这个问题，我们开发了一个有效的时空特征对齐网络量身定制的VSP，主要包括两个关键的子网络：多尺度可变形卷积对齐网络（MDAN）和双向卷积长短期记忆（Bi-ConvLSTM）网络。MDAN学习以由粗到精的方式将相邻帧的特征与参考帧对齐，可以很好地处理各种运动。具体而言，MDAN拥有金字塔特征层次结构，该结构首先利用可变形卷积（Dconv）来跨帧对齐较低分辨率的特征，然后聚合对齐的特征来对齐较高分辨率的特征，从上到下逐渐增强特征。MDAN的输出然后被馈送到Bi-ConvLSTM中进行进一步增强，Bi-ConvLSTM沿着前向和后向定时方向捕获有用的长时间信息，以有效地指导复杂场景变换下的注意力方向转移预测。最后，增强的特征被解码以生成预测显著图。所提出的模型是端到端训练的，没有任何复杂的后处理。在四个VSP基准数据集上的广泛评估表明，所提出的方法与最先进的方法相比具有良好的性能。源代码和所有结果将被发布。
2020-01-02 cs.CV
Relevance-guided Audio Visual Fusion for Video Saliency Prediction
School of Computer Science, Nanjing University of Information Science and Technology（南京信息工程大学计算机科学学院）；Jiangsu Collaborative Innovation Center of Atmospheric Environment and Equipment Technology, Nanjing University of Information Science and Technology（南京信息工程大学江苏省大气环境与装备技术协同创新中心）；College of Computer and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
提出相关性引导的视听显著性预测网络AVRSP，通过RAVF模块动态调整音频特征保留，并利用MS和MRG模块优化多尺度视觉特征融合，在六个数据集上取得有竞争力的性能。
2024-11-18 cs.CV
Single Image Action Recognition by Predicting Space-Time Saliency
University of Central Florida（中佛罗里达大学）
我们提出了一种基于深度卷积神经网络（CNN）的新方法，通过预测未来的运动来识别静止图像中的人类动作，并检测图像中显著部分的形状和位置。我们对这一重要的研究领域做出了以下主要贡献：（i）我们使用静态图像中的预测的未来运动（Walker等人，2015）作为补偿缺失的时间信息的手段，同时使用显著性图以被预测为重要的东西的位置和形状的形式来表示空间信息。(ii)我们通过迁移学习将静态图像中的动作分类转化为一个领域自适应问题。我们首先将输入的静态图像映射到一个新的域，我们称之为预测光流-显着性映射域（POF-SM），然后微调在分类ImageNet数据集上训练的深度CNN模型的层，以在POF-SM域中执行动作分类。(iii)我们在流行的Willow数据集上测试了我们的方法。但与现有方法不同的是，我们还测试了一个更现实和更具挑战性的数据集，该数据集包含超过200万张静态图像，我们通过从UCF-101视频数据集中随机提取帧来收集和标记这些图像。我们将我们的数据集称为UCF静态图像数据集或UCFSI-101。我们的结果优于最先进的技术。
2017-05-12 cs.CV
Rectify ViT Shortcut Learning by Visual Saliency
Northwestern Polytechnical University（西北工业大学）；University of Georgia（佐治亚大学）；University of Electronic Science and Technology of China（电子科技大学）；Athens Academy（雅典学院）；ShanghaiTech University（上海科技大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
重复学习是常见的，但对深度学习模型有害，导致退化的特征表示，从而危及模型的泛化性和可解释性。然而，在广泛使用的视觉Transformer框架中的快捷学习在很大程度上是未知的。同时，引入专业知识是纠正由背景相关因素主导的捷径的主要途径。例如，在医学成像领域，来自放射科医师的眼睛注视数据是有效的人类视觉先验知识，其具有引导深度学习模型聚焦于有意义的前景感兴趣区域的巨大潜力。然而，获得眼睛注视数据是耗时的，劳动密集型的，有时甚至是不实际的。在这项工作中，我们提出了一种新的和有效的显着性指导的视觉Transformer（SGT）模型，以纠正快捷学习的ViT与眼睛凝视数据的情况下。具体而言，采用计算视觉显著性模型来预测输入图像样本的显著性图。然后，显着性图被用来隐藏最具信息量的图像块。在所提出的SGT中，图像块之间的自我注意力只集中在提取的信息。考虑到这种提取操作可能会导致全局信息丢失，我们进一步在最后一个编码器层中引入了一个残差连接，该残差连接捕获了所有图像块的自注意力。在四个独立的公共数据集上的实验结果表明，我们的SGT框架可以有效地学习和利用人类的先验知识，而无需眼睛注视数据，并取得了比基线更好的性能。同时，该方法成功地纠正了有害的捷径学习，显著提高了ViT模型的可解释性，证明了在纠正捷径学习中传递人类先验知识的前景
2022-06-17 cs.CV
DiSa: Directional Saliency-Aware Prompt Learning for Generalizable Vision-Language Models
Clemson University（克莱姆森大学）
DiSa提出方向性显著性感知提示学习框架，通过跨交互正则化与方向性正则化增强CLIP泛化，在11个基准上优于现有方法。
2025-05-26 cs.CV
Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt
Northwestern Polytechnical University（西北工业大学）；Zhejiang Lab（之江实验室）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）；NetEase（网易）；Huazhong University of Science and Technology（华中科技大学）
最近，受DETR变体的启发，基于查询的端到端实例分割（QEIS）方法在大规模数据集上的性能优于基于CNN的模型。然而，当只有少量训练数据可用时，它们会失去效率，因为关键查询/内核很难学习本地化和形状先验。为此，这项工作为低数据机制提供了一种新的无监督预训练解决方案。受最近成功的预训练技术的启发，我们引入了一种新的预训练方法，通过为查询/内核提供显着提示来增强QEIS模型。我们的方法包括三个部分：1）显著性掩模建议负责生成伪掩模从未标记的图像的基础上的显着性机制。2)核匹配将伪掩码转移到提示中，并将相应的定位和形状先验注入到最佳匹配的核中。3)核监督用于在内核级提供监督，以实现鲁棒学习。从实践的角度来看，我们的预训练方法可以帮助QEIS模型在低数据状态下实现与基于CNN的模型相似的收敛速度和相当的性能。实验结果表明，我们的方法显着提高几个QEIS模型在三个数据集。代码将提供。
2023-02-02 cs.AI cs.CV
MDS-ViTNet: Improving saliency prediction for Eye-Tracking with Vision Transformer
Sberbank（俄罗斯联邦储蓄银行）；MIPT（莫斯科物理技术学院）
本文提出MDS-ViTNet，利用Vision Transformer和Swin transformer构建编码器-解码器架构，通过双解码器生成注意力图并结合为单一输出，在多个基准测试中取得最先进的眼动追踪显著性预测结果。
2024-05-29 cs.AI cs.CV
$S^{2}$-FracMix: Label-Preserving Self-Saliency Mixup Augmentation
The University of Melbourne（墨尔本大学）；Information Technology University（信息技术大学）；Westlake University（西湖大学）
提出$S^{2}$-FracMix框架，通过自显著性混合和分形模式注入，在单图像内生成标签一致的增强样本，提升视觉模型的泛化性和鲁棒性，在多个任务上达到最优。
2026-06-25 cs.CV
Reference Based Color Transfer for Medical Volume Rendering
University of Central Florida（中佛罗里达大学）
医学成像的好处是巨大的。医学图像提供了大量的解剖信息，这有助于医生进行有效的疾病诊断和决定最佳的医疗过程。从传统的单色医学图像（如CT扫描、X射线或MRI图像）到解剖结构的彩色3D表示的过渡进一步增强了医学专业人员提取有价值的医学信息的能力。我们研究中提出的框架首先通过找到两个医学图像之间的深层语义对应来执行颜色转移：彩色参考图像和单色CT扫描或MRI图像。我们扩展了这种基于参考的彩色化技术的思想，从一堆灰度医学图像中执行彩色体渲染。此外，我们还建议使用一个有效的参考图像推荐系统，以帮助选择好的参考图像。与我们的方法，我们成功地进行彩色医学体可视化，并基本上消除了痛苦的过程中，用户交互的传递函数，以获得颜色和不透明度参数的体渲染。
2022-10-14 cs.CV cs.GR cs.LG
Reference-based Texture transfer for Single Image Super-resolution of Magnetic Resonance images
Indian Institute of Technology Madras (IITM)（印度理工学院马德拉斯分校）；Healthcare Technology Innovation Centre (HTIC), IITM（印度理工学院马德拉斯分校医疗技术创新中心）
磁共振成像（MRI）是一种有价值的临床诊断方法，用于脊柱病理学，对感染、肿瘤、退行性变、骨折和疝有很好的表征。然而，在外科手术中，图像引导的脊柱手术继续依赖于CT和荧光透视，因为MRI切片分辨率通常不足。在最先进的单图像超分辨率的基础上，我们提出了一种基于参考的、不成对的多对比度纹理转移策略，用于基于深度学习的平面内和跨平面MRI超分辨率。我们使用的散射变换的图像补丁的纹理特征相关的不成对的参考图像补丁，并额外的多对比度纹理的损失项。我们将我们的方案应用于不同的超分辨率架构中，在大多数情况下观察到PSNR和SSIM在4倍超分辨率下的改善。
2021-02-10 cs.CV cs.LG eess.IV
Durian: Dual Reference Image-Guided Portrait Animation with Attribute Transfer
Seoul National University（首尔国立大学）
Durian通过双参考图像引导的方法，实现跨身份属性迁移的面部动画生成，利用自重建机制避免显式配对数据，提升模型泛化能力。
2026-04-06 cs.CV
CDST: Color Disentangled Style Transfer for Universal Style Reference Customization
ByteDance（字节跳动）
介绍CDST这种新颖高效的双流风格迁移训练范式，能分离颜色与风格，推理时免调参实现通用风格迁移，首次免调参解决带风格和内容参考的特征保留风格迁移问题，实验证明效果达最优。
2026-07-07 cs.CV
Simplifying Knowledge Transfer in Pretrained Models
Center for Visual Information Technology（视觉信息技术中心）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息科技研究所）；University of Tübingen（图宾根大学）
本文提出利用公开模型库，通过数据划分让预训练模型自主扮演师生角色进行知识迁移，在图像分类、语义分割和视频显著性预测中均显著提升性能。
2025-10-25 cs.CV cs.LG
Reference-Conditioned Super-Resolution by Neural Texture Transfer
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Adobe Research（奥多比研究院）
随着深度学习技术的发展，我们见证了单图像超分辨率的巨大进步。然而，由于图像缩小过程的显著信息损失，进一步推进现有技术变得极具挑战性，特别是对于大的放大因子。本文提出了一种新的超分辨率研究方向，即参考条件下的超分辨率，即在低分辨率图像的基础上，增加一幅包含所需高分辨率纹理细节的参考图像。我们专注于将参考图像的高分辨率纹理转换为超分辨率过程，而不受参考图像和目标图像之间的内容相似性的约束，这是与以前基于示例的方法的关键区别。受最近图像风格化工作的启发，我们通过神经纹理转移来解决这个问题。我们设计了一个端到端的可训练深度模型，该模型通过自适应地融合来自低分辨率图像的内容与来自参考图像的纹理图案来生成细节丰富的结果。我们为基于参考的超分辨率的一般研究创建了一个基准数据集，其中包含与具有不同相似度的低分辨率输入配对的参考图像。客观和主观的评价表明，使用参考图像的巨大潜力，以及我们的结果优于其他国家的最先进的方法。
2018-04-10 cs.CV
Photorealistic Style Transfer for Videos
真实感风格转移是一种通过使用深度学习和优化技术将颜色从一个参考域转移到另一个域的技术。在这里，我们提出了一种技术，我们使用它来转移风格和颜色从参考图像到视频。
2018-07-01 cs.CV
Cross-Domain Underwater Image Enhancement Guided by No-Reference Image Quality Assessment: A Transfer Learning Approach
本文提出Trans-UIE模型，通过预训练和迁移学习解决水下图像增强中的领域偏差和数据稀缺问题，利用无参考图像质量评估指标引导跨域增强，减少过拟合风险。
2026-03-24 cs.CV
RefSTAR: Blind Facial Image Restoration with Reference Selection, Transfer, and Reconstruction
Harbin Institute of Technology（哈尔滨理工大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
本文提出RefSTAR盲人脸图像恢复方法，通过构建参考选择模块、特征融合范式和参考图像重建机制，有效融入高质量参考图像特征，显著提升了身份保持能力和特征迁移质量。
2025-07-14 cs.CV
DiffFashion: Reference-based Fashion Design with Structure-aware Transfer by Diffusion Models
Zhejiang University（浙江大学）；Zhejiang University-University of Illinois Urbana-Champaign Institute（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院）；Donghua University（东华大学）；Hangzhou Dianzi University（杭州电子科技大学）
近年来，基于图像的人工智能服装设计越来越受到关注。我们专注于一个新的时装设计任务，我们的目标是将参考外观图像转移到服装图像，同时保留服装图像的结构。这是一项具有挑战性的任务，因为没有可用于新设计的输出时尚图像的参考图像。虽然基于扩散的图像转换或神经风格转换（NST）实现了灵活的风格转换，但是在反向扩散期间通常难以真实地保持图像的原始结构，特别是当参考外观图像与普通服装外观相差很大时。为了解决这个问题，我们提出了一种新的基于扩散模型的无监督结构感知传输方法，从给定的服装图像和参考外观图像语义生成新的衣服。具体来说，我们解耦的前景服装自动生成的语义面具的条件标签。在去噪过程中，进一步使用掩模作为指导，以保留结构信息。此外，我们使用预训练的视觉Transformer（ViT）进行外观和结构指导。我们的实验结果表明，所提出的方法优于国家的最先进的基线模型，在服装设计任务中生成更逼真的图像。代码和演示可以在https://github.com/Rem105-210/DiffFashion上找到。
2023-02-14 cs.CV
Facial Makeup Transfer Combining Illumination Transfer
Beijing Electronic Science and Technology Institute（北京电子科技学院）；Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
为满足女性的美容需求，提出了一种新颖的面部化妆转移的虚拟体验方法，并开发成windows平台的应用软件。化妆效果可以实时的呈现在用户的输入图像上，而只有单个参考图像。该算法以人脸特征点为标志，将输入图像和参考图像分为三层：人脸结构层、人脸颜色层和人脸细节层。除了对以上各层进行不同的算法处理生成输出图像外，还加入了光照传递，使参考图像的光照效果自动传递到输入图像上。我们的方法具有以下三个优点：（1）通过引入光照转移，可以有效地转移黑色或黑白面部化妆;（2）与基于深度学习框架的方法相比，可以在几秒钟内有效地转移面部化妆;（3）具有空气刘海的参考图像可以完美地转移化妆。
2019-07-08 cs.CV
MRStyle: A Unified Framework for Color Style Transfer with Multi-Modality Reference
Meituan Inc.（美团公司）；Huya Inc.（虎牙公司）
提出统一框架 MRStyle，通过 IRStyle 的风格化三维查找表处理图像参考，并对齐 stable diffusion 文本特征实现 TRStyle，在多模态颜色风格迁移上优于现有方法。
2024-09-09 cs.CV
StyleGallery: Training-free and Semantic-aware Personalized Style Transfer from Arbitrary Image References
StyleGallery通过语义感知和无需训练的框架，实现任意图像参考的个性化风格迁移，提升内容保留与风格化平衡能力。
2026-03-12 cs.CV
Multi-Domain Norm-referenced Encoding Enables Data Efficient Transfer Learning of Facial Expression Recognition
International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究学院）；Eberhard Karls University of Tübingen（图宾根大学）
提出基于范数参考编码的受生物学启发机制，通过结合特定领域参考向量实现跨域面部表情识别的高效迁移学习，仅需12张图像即在FERG数据集上达到92.15%准确率，超越用4.3万张图像训练的基线模型。
2023-04-05 cs.CV
ST360IQ: No-Reference Omnidirectional Image Quality Assessment with Spherical Vision Transformers
Hacettepe University（哈斯特帕大学）；AIST Japan（日本产业技术综合研究所）
全向图像，又名360图像，可以提供身临其境的交互式视觉体验。随着近年来360度图像的普及程度急剧增加，评估360度图像的质量已成为一个令人感兴趣的问题，因为它为捕捉、传输和消费这种新媒体提供了见解。然而，直接适应质量评估方法提出的标准自然图像的全向数据提出了一定的挑战。这些模型需要处理非常高分辨率的数据和由于图像的球形形式而引起的隐式失真。在这项研究中，我们提出了一种无参考360图像质量评估方法。我们提出的ST 360 IQ模型从输入全向图像的显著部分提取切线视口，并采用基于视觉变换器的模块处理显著性选择性补丁/令牌，该模块估计每个视口的质量分数。然后，它汇总这些分数以给出最终的质量分数。我们在两个基准数据集，即OIQA和CVIQ数据集上的实验表明，与最先进的方法相比，我们的方法预测与人类感知的图像质量相关的全向图像的质量。该代码已在https://github.com/Nafiseh-Tofighi/ST360IQ上提供
2023-03-13 cs.CV eess.IV
Video Motion Transfer with Diffusion Transformers
University of Oxford（牛津大学）；Snap Inc.（Snap公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
提出DiTFlow，利用扩散变换器提取注意力运动流，通过优化潜在变量和位置嵌入实现无需训练的视频运动迁移，在多项指标和人工评估中超越现有方法。
2025-03-27 cs.AI cs.CV cs.LG
OmniTransfer: All-in-one Framework for Spatio-temporal Video Transfer
Intelligent Creation Lab, ByteDance（字节跳动智能创作实验室）
OmniTransfer通过统一框架实现灵活的高保真视频生成，结合多视角和时间线索提升转换性能。
2026-01-20 cs.CV
TeleStyle V2: Beyond Content-Preserving Style Transfer with Self-Distillation and Distribution-Matching-Distillation
TeleAI
提出TeleStyle V2，通过自蒸馏数据合成和分布匹配蒸馏，支持四种内容-风格参考组合，解决内容一致性退化问题，性能与Qwen-Image-Edit和Gemini 3 Pro相当。
2026-06-23 cs.CV
MotionShot: Adaptive Motion Transfer across Arbitrary Objects for Text-to-Video Generation
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Shanghai AI Laboratory（上海人工智能实验室）；Tongji University（同济大学）
MotionShot 提出一种无需训练的框架，通过语义特征匹配与形状重定向建立参考与目标对象的细粒度对应，并利用时间注意力编码运动，实现跨外观和结构差异显著对象的连贯运动迁移。
2025-07-22 cs.CV
One-to-All Animation: Alignment-Free Character Animation and Image Pose Transfer
Jiangnan University（江南大学）；University of Science and Technology of China（中国科学技术大学）；Chinese Academy of Sciences（中国科学院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang University（浙江大学）
本文提出了一种统一框架，用于高保真角色动画和图像姿态转换，解决了参考姿态错位问题，通过自监督补全任务和混合参考融合注意力机制提升生成质量。
2026-05-19 cs.CV
SEGA: A Transferable Signed Ensemble Gaussian Black-Box Attack against No-Reference Image Quality Assessment Models
School of Computer Science, the National Key Laboratory for Multimedia Information Processing, National Engineering Research Center of Visual Technology, Peking University（计算机科学学院、多媒体信息处理国家级重点实验室、视觉技术工程研究中心、北京大学）；College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院、南洋理工大学）；Department of Networked Intelligence, Pengcheng Laboratory（网络智能系、鹏城实验室）
SEGA提出了一种可转移的黑盒攻击方法，通过高斯平滑和集成梯度来提升对无参考图像质量评估模型的攻击效果。
2026-01-29 cs.CV
Modernizing Old Photos Using Multiple References via Photorealistic Style Transfer
Adobe Research（奥多比研究院）；Qualcomm（高通公司）；ETRI（韩国电子通信研究院）；KAIST（韩国科学技术院）
本文提出基于多参考的老照片现代化（MROPM）框架，通过逼真风格迁移和增强生成现代图像，并构建CHD基准，实验证明其在真实老照片上优于基线方法。
2023-04-10 cs.CV cs.GR
Disentangling Dual Image References in Frequency Aware Diffusion Models for Personalized Generation
Hefei University of Technology（合肥工业大学）
针对个性化生成中文本与图像不对齐问题，提出Dual-FDM，通过频域掩码解耦双参考，分别处理定制与颜色风格迁移，实验证明其优于现有扩散模型。
2026-11-04 cs.AI cs.CV
mr2NST: Multi-Resolution and Multi-Reference Neural Style Transfer for Mammography
Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能医疗科技有限公司）；Institute for Medical Imaging Technology, School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院医学影像技术研究所）
在许多临床研究中，具有深度学习技术的计算机辅助诊断已被证明有助于乳腺X射线摄影的诊断。然而，不同供应商的图像风格非常独特，并且不同供应商之间可能存在领域差距，这可能会影响深度学习模型的普遍适用性。在这项研究中，我们明确地解决风格多样性的问题，提出了多分辨率和多参考神经风格转移（mr2NST）网络。mr2NST可以将来自不同供应商的样式标准化为具有非常高分辨率的相同样式基线。我们说明，传输的图像的图像质量是可比的原始图像的质量的目标域（供应商）的NIMA分数。同时，mr2NST结果也被证明有助于乳腺X线照片中的病变检测。
2020-05-25 cs.CV eess.IV
MoSAIC: Aligned Intervention Supervision for Part-Local Motion Style Transfer
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
MoSAIC是一种局部部位参考条件动作风格迁移的潜在扩散框架，通过对齐干预监督优化响应与保留的权衡，在评估中降低了误差并提升了选中区域响应与路由影响浓度。
2026-07-30 cs.CV
Pose-Guided High-Resolution Appearance Transfer via Progressive Training
Carnegie Mellon University（卡内基梅隆大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Tencent（腾讯）；HKUST（香港科技大学）
我们提出了一种新型的姿势引导外观转移网络，用于以前所未有的图像分辨率（1024 * 1024）将给定的参考外观转移到目标姿势，分别给出参考人和目标人的图像。没有使用3D模型。相反，我们的网络利用密集的局部描述符，包括局部感知损失和局部判别器来细化细节，以从粗到细的方式逐步训练，以产生高分辨率输出，忠实地保留服装纹理和几何形状的复杂外观，同时无缝地产生幻觉，包括那些具有非遮挡的外观。我们的渐进式编码器-解码器架构可以在多个尺度上学习输入图像中固有的参考外观。在Human3.6M数据集、DeepFashion数据集和我们从YouTube收集的数据集上进行的大量实验结果表明，我们的模型可以生成高质量的图像，这些图像可以进一步用于有用的应用，例如人与人之间的服装转移和姿势引导的人类视频生成。
2022-11-25 cs.CV
BladeYOLO: Wind Turbine Blade Defect Detection with Limited Annotations and Weak-Saliency Awareness
School of Mechanical Engineering, Zhejiang Sci-Tech University（浙江理工大学机械工程学院）；Zhejiang Energy Digital Technology Co., Ltd（浙能数字科技有限公司）；School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；Lingnan University（岭南大学）
针对风机叶片缺陷检测的有限标注与弱显著性挑战，该研究提出BladeYOLO框架，通过集成改进的ViT骨干、Mamba引导增强模块等，在多个数据集上实现了更优的缺陷检测性能。
2026-07-31 cs.CV
3DOT: Texture Transfer for 3DGS Objects from a Single Reference Image
National University of Singapore（新加坡国立大学）；University of Mississippi（密苏里大学）；ASUS Intelligent Cloud Services（ASUS智能云服务）
提出3DSwapping方法，通过渐进式生成、视图一致性梯度引导和提示调优梯度引导，实现从单张参考图像到3D对象的高保真纹理迁移，保持跨视图一致性。
2025-10-16 cs.CV
Deep Identity-aware Transfer of Facial Attributes
Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文提出了一种用于面部属性的身份感知传输（DIAT）的深度卷积网络模型。给定源输入图像和参考属性，DIAT旨在生成具有参考属性并且与输入图像保持相同或相似身份的面部图像。一般来说，我们的模型由一个面具网络和属性转换网络协同工作，以产生一个照片般真实的面部图像与参考属性。考虑到参考属性可能只与图像的某些部分相关，引入掩码网络以避免对属性无关区域的错误编辑。然后采用估计的掩模将输入图像和变换后的图像进行组合，以产生转移结果。对于变换网络和掩码网络的联合训练，我们结合了对抗属性损失，身份感知自适应感知损失和基于VGG-FACE的身份损失。此外，提出了一种去噪网络用于感知正则化以抑制传输结果中的伪影，同时引入属性比率正则化来约束属性相关区域的大小。我们的DIAT可以为几个代表性的面部属性转移任务提供统一的解决方案，例如，表情转移、附件移除、年龄进展和性别转移，并且可以扩展用于其他面部增强任务，例如面部幻觉。实验结果验证了该方法的有效性。即使对于身份相关属性（例如，性别），我们的DIAT可以通过改变属性获得视觉上令人印象深刻的结果，同时保留大多数身份识别功能。
2018-12-06 cs.CV
Face Beautification: Beyond Makeup Transfer
Oben, Inc（奥本公司）；West Virginia University（西弗吉尼亚大学）
面部表情在我们的社会生活中扮演着重要的角色。对女性美丽的主观感知取决于各种与面部相关的（例如，皮肤、形状、毛发）和环境（例如，化妆、照明、角度）因素。与现实世界中的整容手术类似，虚拟面部美容是一个新兴领域，有许多开放的问题需要解决。受基于风格的合成和人脸美容预测的最新进展的启发，我们提出了一种新的人脸美化框架。对于一个给定的具有高美丽分数的参考人脸，我们基于GAN的架构能够将查询人脸转换为具有参考美丽风格和目标美丽分数值的美化人脸图像序列。为了实现这一目标，我们建议将基于风格的美丽表示（从参考人脸中提取）和美丽分数预测（在SCUT-FBP数据库上训练）集成到美化过程中。与化妆转移不同，我们的方法针对多对多（而不是一对一）翻译，其中多个输出可以由不同的引用或不同的美丽分数定义。大量的实验结果表明，建议的人脸美化框架的有效性和灵活性。
2019-12-11 cs.CV
M2StyleGS: Multi-Modality 3D Style Transfer with Gaussian Splatting
Durham University（杜伦大学）；Tsinghua University（清华大学）；Tencent Jarvis Lab（腾讯Jarvis实验室）；Bristol University（布里斯托大学）
M2StyleGS通过高斯点散技术与CLIP多模态知识融合，实现基于文本和图像的实时3D风格迁移，提升视觉质量和一致性表现。
2026-04-04 cs.CV
PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer
Beihang University（北京航空航天大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National University of Singapore（新加坡国立大学）；YITU Tech（依图科技）
在本文中，我们解决的化妆转移任务，其目的是从一个参考图像的化妆源图像。现有的方法在受限场景中取得了可喜的进展，但在具有大姿态和表情差异的图像之间的传输仍然具有挑战性。此外，它们不能实现可定制的转移，允许可控的化妆阴影或指定要转移的部分，这限制了它们的应用。为了解决这些问题，我们提出了姿态和表达鲁棒的空间感知GAN（PS GAN）。首先利用化妆提取网络将参考图像的化妆分解为两个空间感知的化妆矩阵。然后，引入了注意化妆变形模块来指定源图像中的像素的化妆如何从参考图像变形。使用化妆矩阵和源图像，化妆应用网络用于执行化妆转移。我们的PSGAN不仅在存在较大姿势和表情差异的情况下实现了最先进的效果，而且还能够执行局部和阴影可控的化妆转移。我们还收集了一个包含各种姿势和表情的面部图像的数据集进行评估。
2019-11-26 cs.CV
