Cross-Domain Ensemble Distillation for Domain Generalization
POSTECH(浦项科技大学);NALBI Inc.(NALBI公司)
领域泛化是学习模型的任务,这些模型泛化到看不见的目标领域。我们提出了一个简单而有效的方法领域泛化,命名为跨域集成蒸馏(XDED),学习域不变的功能,同时鼓励模型收敛到平坦的最小值,这最近被证明是一个充分条件领域泛化。为此,我们的方法从具有相同标签但来自不同域的训练数据生成输出logits的集合,然后惩罚每个输出与集合的不匹配。此外,我们提出了一种去风格化技术,该技术对特征进行去风格化,以鼓励模型即使在任意目标域中也能产生风格一致的预测。我们的方法大大提高了跨域图像分类、跨数据集人员重新ID和跨数据集语义分割的公共基准测试中的泛化能力。此外,我们表明,通过我们的方法学习的模型对对抗攻击和图像损坏具有鲁棒性。
2022-11-25 cs.AI cs.CV cs.LG
Feature Stylization and Domain-aware Contrastive Learning for Domain Generalization
Yonsei University(延世大学)
领域泛化的目的是在不访问目标域的情况下增强模型对域移位的鲁棒性。由于可用于训练的源域有限,最近的方法集中于生成新域的样本。然而,它们要么在合成丰富域时与优化问题作斗争,要么导致类语义的扭曲。为此,我们提出了一个新的领域泛化框架,利用特征统计将原始特征风格化为具有新领域属性的特征。为了在风格化过程中保留类信息,我们首先将特征分解为高频和低频分量。之后,我们用从操纵统计量中采样的新域风格对低频分量进行风格化,同时保留高频分量中的形状线索。作为最后一步,我们重新合并两个组件,合成新的域功能。为了增强域鲁棒性,我们利用风格化的特征来保持模型在特征和输出方面的一致性。我们实现了与建议的域感知监督对比损失的特征一致性,这确保了域不变性,同时增加了类的可辨别性。实验结果表明,所提出的特征风格化和领域感知的对比度损失的有效性。通过定量比较,我们验证了我们的方法在两个基准,PACS和家庭的领先地位,现有的国家的最先进的方法。
2021-08-19 cs.CV
TFS-ViT: Token-Level Feature Stylization for Domain Generalization
ÉTS Montreal(蒙特利尔高等技术学院);International Laboratory on Learning Systems (ILLS)(国际学习系统实验室)
本文提出TFS-ViT,一种令牌级特征风格化方法,通过混合不同域图像的归一化统计量并利用CLS令牌注意力图进行风格化,合成新域以提升ViT在未见数据上的泛化性能,在五个基准上达到最先进水平。
2024-03-16 cs.CV
Recognizing Instagram Filtered Images with Feature De-stylization
Comcast Applied AI Research(康卡斯特应用人工智能研究院)
深度神经网络已经被证明在添加小扰动(如高斯噪声)时泛化能力较差,但很少有人评估它们对更自然的图像变换(如照片滤波器)的鲁棒性。本文介绍了一项关于流行的预训练模型如何受到常用Instagram过滤器影响的研究。为此,我们引入ImageNet-Instagram,ImageNet的过滤版本,其中20个流行的Instagram过滤器应用于ImageNet中的每个图像。我们的分析表明,简单的结构保留滤波器只会改变图像的全局外观,可能会导致卷积特征空间中的巨大差异。为了提高泛化能力,我们引入了一个轻量级的去风格化模块,该模块预测用于缩放和移动特征图的参数,以“撤销”过滤器所引起的更改,从而反转样式传输任务的过程。我们进一步证明了该模块可以很容易地插入到现代CNN架构与跳过连接。我们对ImageNet-Instagram进行了广泛的研究,并在定量和定性方面表明,所提出的模块可以通过简单地学习归一化参数而无需重新训练整个网络来有效地提高泛化能力,从而恢复由过滤器引起的特征空间的变化。
2019-12-30 cs.CV cs.LG eess.IV
Depth-Sensitive Soft Suppression with RGB-D Inter-Modal Stylization Flow for Domain Generalization Semantic Segmentation
Shenzhen University(深圳大学);Jiangxi Agricultural University(江西农业大学)
针对DG语义分割中深度图噪声、空洞及敏感特征干扰问题,提出DSSS框架,通过RGB-D模态间风格化、类别软空间抑制与软对齐损失学习域不变深度特征。
2025-05-11 cs.CV
SketchPatch: Sketch Stylization via Seamless Patch-level Synthesis
Tel Aviv University(特拉维夫大学)
图像到图像转换的范例被利用,通过几何纹理细节的转移来实现草图风格化。缺乏必要的数据量的标准训练的翻译系统,我们主张在补丁级别的操作,其中一些风格化的草图提供了丰富的挖掘潜力补丁具有基本的几何图元。在面片级别进行操作需要特别考虑完整的草图平移,因为面片的单独平移(不考虑相邻面片)可能会在面片边界处产生可见的接缝和伪影。对齐的样式化和普通图元对被组合以形成包含边界周围的样式化元素和内部的普通元素的输入混合体,并且被作为无缝翻译(ST)生成器的输入给出,无缝翻译(ST)生成器的输出补丁被期望重建完全样式化的补丁。一个对抗性的添加促进了在推理时对不同几何形状的泛化和鲁棒性,形成了一个简单有效的系统,用于任意草图风格化,如在各种样式和草图上所展示的。
2020-09-04 cs.CV cs.GR cs.LG
OmniConsistency: Learning Style-Agnostic Consistency from Paired Stylization Data
Show Lab, National University of Singapore(新加坡国立大学展示实验室)
针对扩散模型风格化中的一致性保持和风格退化问题,提出基于DiT的通用一致性插件OmniConsistency,通过上下文学习和两阶段策略,达到与GPT-4o相当的性能。
2025-05-24 cs.CV
Foreground-Aware Stylization and Consensus Pseudo-Labeling for Domain Adaptation of First-Person Hand Segmentation
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);OMRON SINIC X Corporation(欧姆龙SINIC X公司)
手部分割是第一人称视觉中的一项重要任务。由于第一人称图像在不同的环境中表现出强烈的外观偏差,因此在手部分割中需要将预训练的分割模型适应新的领域。在这里,我们分别关注手部区域和背景的外观间隙。我们提出了(i)前景感知图像风格化和(ii)共识伪标记的领域自适应的手分割。我们使用目标图像作为样式,为前景和背景独立地对源图像进行样式化。为了解决风格化没有解决的领域转移,我们通过在源图像和风格化的源图像上训练的模型之间取得共识来应用谨慎的伪标签。我们验证了我们的方法领域自适应的手分割从真实和模拟图像。我们的方法在这两种情况下都达到了最先进的性能。我们还展示了具有挑战性的多目标领域自适应和领域泛化设置有前途的结果。代码可在https://github.com/ut-vision/FgSty-CPL上获得。
2022-03-27 cs.CV
TAPS : Frustratingly Simple Test Time Active Learning for VLMs
IIT Kharagpur(印度理工学院Kharagpur分校)
针对连续单样本流中的 VLM 测试时适应问题,提出 TAPS 主动查询与动态提示更新框架,在低延迟和内存约束下取得稳定性能提升。
2025-07-26 cs.AI cs.CV
PNeSM: Arbitrary 3D Scene Stylization via Prompt-Based Neural Style Mapping
Zhejiang University(浙江大学);Nanjing University of Science and Technology(南京理工大学)
提出PNeSM框架,通过将3D场景外观映射到2D风格模式空间并利用基于提示的风格化算法,实现无需重新训练的任意风格与任意场景的迁移,在视觉质量和泛化性上超越现有方法。
2024-03-13 cs.CV
Cross-Domain Few-Shot Classification via Inter-Source Stylization
University of Oulu(奥卢大学);National University of Defense Technology(国防科学技术大学)
针对跨域少样本分类中标签稀缺问题,提出源间风格化网络(ISSNet),利用一个完全标注和多个未标注的源领域增强风格化,在8个目标数据集上显著降低领域差距影响。
2023-08-29 cs.CV
CorrMoE: Mixture of Experts with De-stylization Learning for Cross-Scene and Cross-Domain Correspondence Pruning
Nanjing University(南京大学);China Mobile Zijin Innovation Institute(中国移动 zigin 创新院);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出CorrMoE框架,通过去风格化双分支和双融合混合专家模块解决跨域与跨场景下的对应关系剪枝问题,显著提升了准确性和泛化能力。
2025-07-16 cs.CV
LLM-Enabled Style and Content Regularization for Personalized Text-to-Image Generation
School of Software, Shandong University(软件学院,山东大学);Shandong Research Institute of Shandong University(山东大学山东研究院);Inspur Technology(Inspur技术公司)
针对个性化文本到图像生成中风格化不足和内容不准确的问题,本文提出风格细化和内容保持策略,利用视觉推理提示优化风格嵌入并保持模型泛化能力,实验证明该方法生成效果更优。
2025-04-19 cs.CV
Structure-Aware Stylized Image Synthesis for Robust Medical Image Segmentation
Huaiyin Institute of Technology(淮阴工学院);Alpha Benito Research(Alpha Benito研究院);City University of Hong Kong(香港城市大学)
针对医学图像分割中域偏移及扩散模型结构信息丢失问题,提出结合扩散模型与结构保持网络的结构感知单样本风格化方法,在结肠镜息肉和皮肤病变数据集上提升分割鲁棒性与准确性,优于无风格迁移的基线模型。
2024-12-05 cs.CV cs.LG eess.IV
FDS: Feedback-guided Domain Synthesis with Multi-Source Conditional Diffusion Models for Domain Generalization
ÉTS Montreal(蒙特利尔工程学院);International Laboratory on Learning Systems (ILLS)(国际学习系统实验室)
提出FDS策略,利用扩散模型在所有源领域上训练单一模型并基于特征混合生成伪领域,结合具有分类挑战的图像构建广泛分布的训练集,在多个数据集上创下领域泛化新基准。
2024-12-18 cs.CV
On the Fly Neural Style Smoothing for Risk-Averse Domain Generalization
Tulane University(杜兰大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对DG分类器依赖图像风格、在风险敏感场景不可靠的问题,提出TT-NSS黑盒测试时风格平滑与可集成的NSS训练,通过多数共识和弃权机制提升未见域预测的风险规避能力。
2023-07-17 cs.CV
Style Interleaved Learning for Generalizable Person Re-identification
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室);The Hong Kong Polytechnic University(香港理工大学);The University of Melbourne(墨尔本大学)
针对域泛化行人重识别中模型过拟合源域风格的问题,提出风格交错学习框架及特征风格化方法,通过双前向、单反向更新提升泛化与计算效率。
2023-06-08 cs.CV
Gaussian Splatting in Style
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出基于 3D Gaussian splatting、多分辨率哈希网格和风格条件小型 MLP 的实时 3D 场景风格化架构,可跨风格泛化并在真实室内外数据上达到 SOTA。
2024-09-06 cs.CV