A Comprehensive Comparison between Neural Style Transfer and Universal Style Transfer
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
风格转移的目的是将任意视觉风格转移到内容图像。我们探索的算法改编自两篇论文,试图解决风格转移的问题,同时推广看不见的风格或妥协的视觉质量。大部分的改进集中在优化算法的实时风格传输,同时适应新的风格,大大减少资源和约束。我们比较这些策略,并比较它们如何衡量,以产生视觉上吸引人的图像。我们探讨了两种风格迁移的方法:改进的神经风格迁移和通用风格迁移。我们还比较了产生的不同图像以及如何对它们进行定性测量。
2018-06-03 cs.CV
Universal, transferable and targeted adversarial attacks
Harbin Institute of Technology(哈尔滨工业大学)
深度神经网络最近被发现是脆弱的。一种设计良好的输入,称为对抗性样本,可以导致网络做出错误的预测。根据不同的场景、目标和能力,攻击的难度也不同,例如,有针对性攻击比无针对性攻击难,通用攻击比非通用攻击难,可转移攻击比不可转移攻击难。问题是:是否存在一种攻击可以满足所有这些要求?本文通过在这些条件下产生一种攻击来回答这个问题。我们学习了一个通用的映射,将源映射到对抗性示例。这些例子可以欺骗分类网络将它们全部分类到一个目标类中,并且具有很强的可移植性。我们的代码发布在:xxxxx。
2022-06-13 cs.CV cs.LG stat.ML
OmniPatch: A Universal Adversarial Patch for ViT-CNN Cross-Architecture Transfer in Semantic Segmentation
Data Science Group, Indian Institute of Technology Roorkee(数据科学组,印度理工学院罗里克分校)
本文提出OmniPatch,一种能跨图像和ViT-CNN架构通用的对抗补丁训练框架,无需目标模型参数即可提升语义分割的鲁棒性。
2026-03-21 cs.AI cs.CV cs.LG
One to Transfer All: A Universal Transfer Framework for Vision Foundation Model with Few Data
SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室)
基础模型不是模型生产管道的最后一章。将少量的数据以通用的方式传递给成千上万的下游任务,正成为基础模型应用的一个趋势。在本文中,我们提出了一个通用的传输框架:一个转移所有(OTA)的任何视觉基础模型(VFM)转移到任何下游任务,下游数据很少。我们首先通过图像重新表示微调(IRF)将VFM转换为特定于任务的模型,然后利用下游图像引导生成(DIGG)产生的数据将特定于任务的模型中的知识提取到部署的模型中。OTA在传输时不依赖于上游数据、VFM和下游任务。它还为VFM研究人员提供了一种发布上游信息的方式,以便更好地传输数据,但不会因隐私要求而泄露数据。大量的实验验证了该方法在少数据情况下的有效性和优越性。我们的代码将被释放。
2021-11-24 cs.CV
Collaborative Distillation for Ultra-Resolution Universal Style Transfer
Zhejiang University(浙江大学);Notheastern University(东北大学);Adobe Research(奥多比研究院);UC Merced(加州大学默塞德分校);Google Research(谷歌研究院)
通用风格转换方法通常利用来自深度卷积神经网络(CNN)模型(例如,VGG-19)在大量图像集合上进行预训练。尽管其有效性,其应用程序受到很大的模型大小的限制,以处理有限内存的超分辨率图像。在这项工作中,我们提出了一种新的知识蒸馏方法(命名为协同蒸馏)的编码器-解码器为基础的神经风格转移,以减少卷积滤波器。其主要思想是由一个发现,编码器-解码器对构建一个排他性的合作关系,这被认为是一种新的知识风格转移模型的基础。此外,为了克服应用协同蒸馏时的特征大小不匹配,引入线性嵌入损失来驱动学生网络学习教师特征的线性嵌入。大量的实验表明,我们的方法适用于不同的通用风格转移方法(WCT和AdaIN)时,即使模型大小减少了15.5倍的有效性。特别是,在WCT上的压缩模型,我们首次在12 GB GPU上实现了超分辨率(超过4000万像素)的通用风格传输。对基于优化的风格化方案的进一步实验表明了该算法在不同风格化范式下的通用性。我们的代码和训练模型可以在https://github.com/mingsun-tse/collaborative-distillation上找到。
2020-03-24 cs.CV cs.LG eess.IV
CDST: Color Disentangled Style Transfer for Universal Style Reference Customization
ByteDance(字节跳动)
介绍CDST这种新颖高效的双流风格迁移训练范式,能分离颜色与风格,推理时免调参实现通用风格迁移,首次免调参解决带风格和内容参考的特征保留风格迁移问题,实验证明效果达最优。
2026-07-07 cs.CV
StyleNAS: An Empirical Study of Neural Architecture Search to Uncover Surprisingly Fast End-to-End Universal Style Transfer Networks
Peking University(北京大学);Baidu Research(百度研究院);University of Rochester(罗切斯特大学)
神经架构搜索(NAS)已被广泛研究,用于设计有区别的深度学习模型,如图像分类、目标检测和语义分割。由于大量的先验知识是通过人工设计体系结构获得的,NAS通常被认为是一种补充方法。在本文中,我们已经显着扩大了NAS的应用领域进行实证研究的NAS搜索生成模型,或具体地说,自动编码器为基础的通用风格转移,缺乏系统的探索,如果有的话,从架构搜索方面。在我们的工作中,我们首先设计了一个搜索空间,在其中以组合方法搜索图像风格传输的常见运算符,例如基于VGG的编码器,白化和着色变换(WCT),卷积核,实例归一化运算符和跳过连接。通过一个简单而有效的具有多个目标的并行进化NAS算法,我们推导出了第一组用于通用真实感风格传输的端到端深度网络。与最近流行的NAS方法随机搜索相比,我们证明了精心设计的搜索策略可以带来更好的架构设计。最后,与现有的用于真实感渲染的通用样式传输网络(如PhotoWCT)相比,它以非端到端的方式堆叠了多个经过良好训练的自动编码器和WCT变换,StyleNAS设计的架构可以生成更好的样式传输图像,保留细节,使用少量的操作符/参数,并享受大约500倍的推理时间加速。
2019-06-06 cs.CV cs.GR cs.LG
Regional Homogeneity: Towards Learning Transferable Universal Adversarial Perturbations Against Defenses
Johns Hopkins University(约翰斯·霍普金斯大学);University of Oxford(牛津大学);Kuaishou Technology(快手科技);ByteDance Research(字节跳动研究院)
本文的重点是学习可转移的对抗性示例,特别是针对防御模型(防御对抗攻击的模型)。特别是,我们表明,一个简单的普遍扰动可以愚弄一系列国家的最先进的防御。由现有攻击生成的对抗性示例通常很难转移到防御模型中。我们观察到的属性的区域均匀性对抗扰动,并建议防御是不太强大的区域均匀扰动。因此,我们提出了一个有效的转换范式和定制的梯度Transformer模块,将现有的扰动转换为区域均匀的。在没有明确地强制扰动是通用的情况下,我们观察到一个训练有素的梯度Transformer模块倾向于输出与输入无关的梯度(因此是通用的),这得益于欠拟合现象。彻底的实验表明,我们的工作显着优于现有技术的攻击算法(无论是图像相关的或通用的)的平均改善14.0%,当攻击9防御在基于传输的攻击设置。除了跨模型的可移植性,我们还验证了区域均匀扰动可以很好地跨不同的视觉任务(攻击与语义分割任务和测试上的目标检测任务)。代码可以在这里找到:https://github.com/LiYingwei/Regional-Homogeneity。
2020-07-31 cs.CV
AesUST: Towards Aesthetic-Enhanced Universal Style Transfer
Zhejiang University(浙江大学)
最近的研究表明,在通用的风格转移,将任意的视觉风格的内容图像显着的成功。然而,现有的方法遭受的美学不切实际的问题,引入不和谐的模式和明显的文物,使结果很容易从真正的绘画现场。为了解决这一限制,我们提出了AesUST,一种新颖的美学增强的通用风格转移方法,可以为任意风格生成美学上更逼真和令人愉快的结果。具体来说,我们的方法引入了一个美学的学习普遍的人类愉快的美学特征,从一个大语料库的艺术家创作的绘画。然后,美学特征被纳入,以提高风格转移过程中通过一个新的美学感知的风格注意力(AesSA)模块。这样的AesSA模块使我们的AesUST能够根据风格图像的全局审美通道分布和内容图像的局部语义空间分布,高效灵活地整合风格模式。此外,我们还开发了一种新的两阶段转移训练策略,具有两个美学规则,以更有效地训练我们的模型,进一步提高风格化性能。大量的实验和用户研究表明,我们的方法合成美学更和谐和现实的结果比国家的艺术,大大缩小了与真正的艺术家创作的绘画的差距。我们的代码可在https://github.com/EndyWon/AesUST上获得。
2022-08-27 cs.CV
Graphonomy: Universal Human Parsing via Graph Transfer Learning
Sun Yat-sen University(中山大学);ByteDance AI Lab(字节跳动人工智能实验室);Hefei University of Technology(合肥工业大学);DarkMatter AI Research(DarkMatter人工智能研究)
现有的高度调整的人类解析模型往往适合于特定领域中的每个数据集或具有不一致的标签粒度,并且在没有大量重新训练的情况下很难适应其他人类解析任务。在本文中,我们的目标是学习一个通用的人类解析模型,可以通过统一来自不同领域或不同粒度级别的标签注释来解决各种人类解析需求。这提出了许多基本的学习挑战,例如,在不同的标签粒度中发现底层语义结构,在不同的图像域中执行适当的迁移学习,以及在相关任务中识别和利用标签冗余。为了解决这些挑战,我们提出了一个新的通用人类解析代理,命名为“Graphonomy”,它采用分层图迁移学习传统的解析网络编码的底层标签语义结构和传播相关的语义信息。特别是,Graphonomy首先通过图内推理在一个数据集内的标签之间学习和传播紧凑的高级图表示,然后通过图间传输在多个数据集之间传输语义信息。分析和编码不同数据集之间的各种图传输依赖性(\eg、相似性、语言知识)以增强图传输能力。通过将通用语义图表示提取到每个特定任务,Graphonomy能够在一个系统中预测所有级别的解析标签,而不会增加复杂性。实验结果表明,Graphonomy有效地实现了国家的最先进的结果,在三个人类分析基准,以及有利的通用人类分析性能。
2019-04-09 cs.CV
Universal Style Transfer via Feature Transforms
UC Merced(加州大学默塞德分校);Adobe Research(Adobe研究院);NVIDIA Research(NVIDIA研究院)
通用样式转换旨在将任意视觉样式转换为内容图像。现有的基于前馈的方法,虽然享受推理效率,主要是有限的,无法推广到看不见的风格或妥协的视觉质量。在本文中,我们提出了一种简单而有效的方法,可以解决这些限制,而无需对任何预定义的风格进行培训。我们的方法的关键成分是一对特征变换,白化和着色,嵌入到图像重建网络。白化和着色变换反映了内容图像的特征协方差与给定风格图像的直接匹配,这与神经风格传递中基于Gram矩阵的代价优化具有相似的精神。我们证明了我们的算法的有效性,通过生成高质量的风格化图像与最近的一些方法进行比较。我们还分析了我们的方法,通过可视化的白化功能和合成纹理,通过简单的功能着色。
2017-11-17 cs.CV
Real-time Universal Style Transfer on High-resolution Images via Zero-channel Pruning
University of Rochester(罗切斯特大学);Peking University(北京大学);Tencent Inc.(腾讯公司)
提取有效的深层特征来表示内容和风格信息是实现通用风格转换的关键。现有算法大多采用VGG 19作为特征提取器,计算量大,不利于高分辨率图像的实时的【形】风格转换。在这项工作中,我们提出了一个轻量级的替代架构- ArtNet,这是基于GoogLeNet,后来修剪的一种新的通道修剪方法命名为零通道修剪专门设计的风格转移方法。此外,我们提出了一个理论上合理的三明治交换变换(S2)模块来传输深度特征,它可以创建一个令人愉快的整体外观和良好的局部纹理,提高内容保存能力。通过使用ArtNet和S2,我们的方法比最先进的方法快2.3到107.4倍。综合实验表明,ArtNet可以实现通用的、实时的【形】、高质量的高分辨率图像风格转换(512 × 512图像,每秒68.03帧)。
2020-06-23 cs.CV eess.IV
Universal Photorealistic Style Transfer: A Lightweight and Adaptive Approach
University of Southern California(南加州大学);USC Institute for Creative Technologies(南加州大学创意技术研究所)
本文提出通用逼真风格迁移框架UPST,通过轻量级StyleNet和实例自适应优化,无需预训练即可在高分辨率图像和视频上实现色调准确、低内存占用的逼真风格迁移。
2024-11-20 cs.CV eess.IV
ACTIVE: Towards Highly Transferable 3D Physical Camouflage for Universal and Robust Vehicle Evasion
Pusan National University(釜山国立大学);SmartM2M(SmartM2M公司);Agency for Defense Development (ADD)(韩国国防发展局(ADD))
本文提出ACTIVE物理对抗伪装框架,通过改进纹理渲染、隐身损失及平滑与伪装损失,生成可隐藏任意3D车辆的高可迁移、鲁棒伪装。
2023-08-16 cs.CV
CLIPGaussian: Universal and Multimodal Style Transfer Based on Gaussian Splatting
Jagiellonian University(雅盖隆大学);IDEAS Research Institute(IDEAS研究院)
针对高斯溅射表征的复杂风格迁移难题,提出首个支持多模态、文本/图像引导的统一风格迁移框架CLIPGaussian,可插件化集成、无需大模型或重训练,实现色彩几何联合优化与时序一致,风格保真与一致性表现更优。
2025-10-24 cs.CV
Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer
Google Research(谷歌研究院);Boston University(波士顿大学)
真实感风格转移是将图像的艺术风格转移到内容目标上的任务,产生可以用相机拍摄的结果。最近的方法,基于深度神经网络,产生了令人印象深刻的结果,但要么太慢,运行在实际的分辨率,或仍然包含令人反感的文物。我们提出了一个新的端到端模型,用于逼真的风格传输,它既快速又固有地生成逼真的结果。我们的方法的核心是一个前馈神经网络,学习局部边缘感知仿射变换,自动遵守的摄影现实主义的约束。当在一组不同的图像和各种风格上训练时,我们的模型可以将风格转移鲁棒地应用于任意一对输入图像。与现有技术相比,我们的方法产生了视觉上更好的结果,并且速度快了三个数量级,从而在手机上实现了4K的实时的【形】性能。我们通过消融和用户研究验证了我们的方法。
2020-04-27 cs.CV
AdaCM: Adaptive ColorMLP for Real-Time Universal Photo-realistic Style Transfer
Baidu Inc.(百度公司);Zhejiang University(浙江大学);The University of Sydney(悉尼大学)
照片真实感风格转换旨在将艺术风格从样本风格图像迁移到内容图像,产生没有空间失真或不真实伪影的结果图像。最近的深度模型已经取得了令人印象深刻的结果。然而,基于深度神经网络的方法太昂贵而不能实时的【形】运行。同时,双边网格为基础的方法要快得多,但仍然包含文物,如过度。在这项工作中,我们提出了\textbf{Adaptive ColorMLP (AdaCM)},一个有效的和高效的框架,通用的照片般逼真的风格转移。首先,我们发现输入域和目标域之间复杂的非线性颜色映射可以有效地由一个小型的多层感知器(ColorMLP)模型来建模。然后,在\textbf{AdaCM}中,我们采用CNN编码器来自适应地预测以每个输入内容和样式图像对为条件的ColorMLP的所有参数。实验结果表明,AdaCM可以生成生动、高质量的风格化结果。同时,我们的AdaCM速度超快,可以在一个V100 GPU上在6ms内处理4K分辨率的图像。
2022-12-03 cs.CV
OmniStyle-INR: Universal and Multimodal Style Transfer for INRs
Jagiellonian University(雅盖隆大学);IDEAS Research Institute(IDEAS 研究所)
研究针对不同数据模态的风格迁移问题,提出OmniStyle-INR框架,利用基于网络的连续表示作为通用域,实现了在文本提示和视觉示例引导下跨视觉模态的高质量风格迁移。
2026-07-21 cs.CV
Domain-Aware Universal Style Transfer
Yonsei University(延世大学);Microsoft Research(微软研究院)
风格转移的目的是从参考图像再现具有风格的内容图像。现有的通用风格转移方法成功地提供任意风格的原始图像,无论是在艺术或照片逼真的方式。然而,现有的作品所定义的“任意风格”的范围是有限的,在特定的领域,由于其结构的限制。具体地,根据预定义的目标域来建立内容保存和风格化的程度。因此,照片级真实感和艺术级模型都难以为另一个域执行所需的风格转换。为了克服这一限制,我们提出了一个统一的架构,域感知风格传输网络(Domain-aware Style Transfer Networks,DSTN),它不仅传输风格,而且传输域的属性(即,域性)。为此,我们设计了一种新的域指示器,从参考图像的纹理和结构特征中捕获域值。此外,我们引入了一个统一的框架与域感知跳过连接自适应地转移的笔画和调色板的输入内容的域指示器的指导下。我们广泛的实验验证了我们的模型产生更好的定性结果,并优于以前的方法在艺术和照片逼真的风格化的代理指标。
2021-08-17 cs.CV eess.IV
UPST-NeRF: Universal Photorealistic Style Transfer of Neural Radiance Fields for 3D Scene
ChengDu Sobey Digital Technology Co., Ltd(成都索贝数码科技股份有限公司);Southwest Jiaotong University(西南交通大学);Peng Cheng Laboratory(鹏城实验室);Sichuan University(四川大学)
三维场景真实感风格化的目的是根据给定的风格图像,从任意新颖的视图生成真实感图像,同时确保从不同视点绘制时的一致性。现有的一些基于神经辐射场的风格化方法通过将风格图像的特征与多视角图像相结合来训练三维场景,可以有效地预测风格化场景。然而,这些方法生成包含令人讨厌的伪影的新颖视图图像。此外,他们不能实现普遍的真实感风格化的3D场景。因此,造型图像必须重新训练基于神经辐射场的3D场景表示网络。我们提出了一种新的三维场景真实感风格转换框架来解决这些问题。它可以实现真实感的三维场景风格转换与一个2D风格的图像。我们首先预训练了一个二维真实感风格转换网络,该网络可以满足任意给定内容图像和风格图像之间的真实感风格转换。然后利用体素特征对三维场景进行优化,得到场景的几何表示。最后,我们共同优化了一个超网络,实现了任意风格图像的场景真实感风格转换。在传输阶段,我们使用一个预先训练好的二维真实感网络来约束三维场景中不同视图和不同风格图像的真实感风格。实验结果表明,该方法不仅实现了任意风格图像的三维真实感风格转换,而且在视觉质量和一致性方面优于现有方法。项目页面:https://semchan.github.io/UPST_NeRF。
2022-08-21 cs.CV
A Closed-form Solution to Universal Style Transfer
Tsinghua University(清华大学);Intel Labs China(英特尔中国研究院)
通用风格迁移试图显式地最小化特征空间中的损失,因此它不需要在任何预定义的风格上进行训练。它通常使用VGG网络的不同层作为编码器,并训练多个解码器将特征转化为图像。因此,风格转换的效果是通过特征变换来实现的。虽然已经提出了大量的方法,但对特征变换的理论分析仍然缺乏。在本文中,我们首先提出了一个新的解释,将其视为最优运输问题。然后,我们证明了我们的配方与以前的作品,如自适应实例归一化(AdaIN)和白化和着色变换(WCT)的关系。最后,我们推导出一个封闭形式的解决方案,命名为最佳风格转移(OST)根据我们的配方,另外考虑Gatys的内容损失。相比之下,我们的解决方案可以保持更好的结构,并实现视觉上令人愉快的结果。它是简单而有效的,我们证明了它的优点,定量和定性。此外,我们希望我们的理论分析能对未来的神经风格迁移研究有所启发。代码可在https://github.com/lu-m13/OptimalStyleTransfer上获得。
2019-08-14 cs.CV eess.IV
Remove Appearance Shift for Ultrasound Image Segmentation via Fast and Universal Style Transfer
Shenzhen University(深圳大学)
深度神经网络(DNN)在图像外观发生偏移时会出现性能下降,特别是在超声(US)图像分割中。在本文中,我们提出了一种新颖而直观的框架来消除外观变化,从而提高DNN的泛化能力。我们的工作有三个亮点。首先,我们遵循通用风格转移的精神,以消除外观变化,这是以前没有探索过的美国图像。在不牺牲图像结构细节的情况下,它可以实现任意风格内容的传输。其次,通过自适应实例归一化块加速,我们的框架实现了临床US扫描所需的实时速度。第三,提出了一种高效的风格图像选择策略,以确保目标风格图像和测试内容图像能够正确匹配。在两个大型美国数据集上的实验表明,我们的方法在使DNN对各种外观变化具有鲁棒性方面优于最先进的方法。
2020-02-14 cs.CV eess.IV
Texture Reformer: Towards Fast and Universal Interactive Texture Transfer
Zhejiang University(浙江大学)
在本文中,我们提出了纹理改革者,一个快速和通用的基于神经的框架,交互式纹理传输与用户指定的指导。挑战在于三个方面:1)任务的多样性,2)指导地图的简单性,3)执行效率。为了解决这些挑战,我们的关键思想是使用一种新的前馈多视图和多级合成过程,包括I)全局视图结构对齐阶段,II)局部视图纹理细化阶段,和III)整体效果增强阶段,以粗到细的方式合成具有连贯结构和精细纹理细节的高质量结果。此外,我们还引入了一种新的无学习的视图特定的纹理重组(VSTR)操作与一个新的语义地图指导策略,以实现更准确的语义指导和结构保留的纹理转移。在多种应用场景上的实验结果证明了该框架的有效性和优越性。与现有的交互式纹理转换算法相比,该算法不仅获得了更高质量的纹理转换结果,而且速度提高了2-5个数量级。代码可在https://github.com/EndyWon/Texture-Reformer上获得。
2021-12-06 cs.AI cs.CV
Characterizing universal object representations across vision models
Vision and Computational Cognition Group(视觉与计算认知组);Max Planck Institute(马克斯·普朗克研究所);Justus-Liebig-University Giessen(吉森约瑟夫·李贝大学);Machine Learning Core(机器学习核心);Department of Cognitive Science(认知科学系);National Institute of Mental Health(国家心理健康研究所);Johns Hopkins University(约翰霍普金斯大学)
研究通过分解162种不同视觉模型的对象相似性结构,发现通用维度比模型特定维度更可解释,且与概念图像属性相关,表明生物视觉与深度学习模型的对齐。
2026-11-06 cs.CV cs.LG q-bio.NC
Fast Universal Style Transfer for Artistic and Photorealistic Rendering
Peking University(北京大学);Baidu Research(百度研究院);University of Rochester(罗切斯特大学)
通用样式转换是一种图像编辑任务,其使用任意参考图像的视觉样式来渲染输入内容图像,包括艺术风格化和照片真实感风格化两者。给定一对图像作为内容的来源和风格的参考,现有的解决方案通常首先训练自动编码器(AE)以使用深度特征重建图像,然后将预定义的风格转换模块嵌入到AE重建过程中以通过修改深度特征来转换重建图像的风格。虽然现有的方法通常需要多轮耗时的AE重建以获得更好的风格化,但我们的工作旨在在AE之上设计新颖的神经网络架构,以实现快速的风格传输,并且在一次端到端推理中具有更少的伪影和失真。为此,我们提出了两个网络架构名为ArtNet和PhotoNet,以提高艺术和照片逼真的风格化,分别。大量的实验表明,ArtNet生成的图像与最先进的艺术传输算法相比具有更少的伪影和失真,而PhotoNet通过创建清晰的图像来改善真实感风格化结果,忠实地保留输入内容的丰富细节。此外,ArtNet和PhotoNet可以在最先进的算法上实现3倍到100倍的加速,这对于大内容图像来说是一个主要优势。
2019-07-06 cs.CV cs.GR eess.IV
UPGPT: Universal Diffusion Model for Person Image Generation, Editing and Pose Transfer
University of Surrey(萨里大学)
针对 T2I 人物外观不一致问题,本文提出融合文本、姿态与视觉提示的多模态扩散模型 UPGPT,统一支持人物生成、姿态迁移、无遮罩编辑及姿态与相机视角同步插值。
2023-07-26 cs.AI cs.CV
Universal dimensions of visual representation
Johns Hopkins University(约翰斯·霍普金斯大学)
该研究通过分析数十万视觉网络表征维度,发现不同架构和任务的网络会收敛学习到一组通用图像表征,且这些通用维度最能解释其与人脑表征的一致性,揭示了人工与生物视觉相似性的核心来源。
2024-12-26 cs.CV q-bio.NC
Challenging the Universal Representation of Deep Models for 3D Point Cloud Registration
TU Dresden(德累斯顿工业大学)
学习跨应用领域的通用表示是一个开放的研究问题。事实上,在同一个应用程序中,但在不同类型的数据集之间找到通用的架构仍然是一个未解决的问题,特别是在涉及处理3D点云的应用程序中。在这项工作中,我们实验测试了几个国家的最先进的基于学习的方法对所提出的非学习基线配准方法的3D点云配准。所提出的方法要么优于或达到相当的结果w.r.t.基于学习的方法。此外,我们提出了一个基于学习的方法很难推广的数据集。我们提出的方法和数据集,以及提供的实验,可以用于进一步研究,研究通用表示的有效解决方案。我们的源代码可以在github.com/DavidBoja/greedy-grid-search上找到。
2022-11-29 cs.CV
Graphonomy: Universal Image Parsing via Graph Reasoning and Transfer
Sun Yat-sen University(中山大学);Hefei University of Technology(合肥工业大学)
现有的高度调整的图像解析模型通常在具有特定语义标签集合的特定领域中进行研究,并且难以适应其他场景(例如,共享差异标签粒度),无需大量重新训练。通过统一来自不同领域或不同粒度级别的标签注释来学习单个通用解析模型是一个重要但很少涉及的主题。这带来了许多基本的学习挑战,例如,发现不同标签粒度之间的底层语义结构或挖掘相关任务之间的标签相关性。为了解决这些挑战,我们提出了一个图推理和迁移学习框架,命名为“Graphonomy”,它将人类知识和标签分类法融入到超越局部卷积的中间图表示学习中。特别地,图形学通过语义感知的图推理和传递来学习多个域中的全局和结构化语义一致性,从而实现跨域解析的共同利益(例如,不同的数据集或共同相关的任务)。Graphonomy包括两个迭代模块:图内推理和图间传输模块。前者提取每个领域的语义图,通过图传播信息来改进特征表示学习;后者利用不同领域的图之间的依赖关系进行双向知识传递。我们将Graphonomy应用于两个相关但不同的图像理解研究主题:人类解析和全景分割,并显示Graphonomy可以通过标准管道很好地处理这两个问题。此外,我们的框架的一些额外的好处被证明,例如,通过跨不同数据集统一注释来生成各种粒度级别的人工解析。
2021-01-26 cs.CV