ESDiff: Encoding Strategy-inspired Diffusion Model with Few-shot Learning for Color Image Inpainting
本文提出一种基于编码策略启发的扩散模型,利用虚拟掩码和通道间扰动,结合少样本学习实现彩色图像修复,在定量指标和重建质量上优于现有方法。
2025-04-24 cs.CV
DocShaDiffusion: Diffusion Model in Latent Space for Document Image Shadow Removal
School of Software, Northwestern Polytechnical University(软件学院,西北工业大学);School of Computer Science and Engineering, South China University of Technology and Pazhou Lab(计算机科学与工程学院,华南理工大学及琶洲实验室)
本文提出DocShaDiffusion潜空间扩散模型,通过阴影软掩码生成模块和掩码感知引导扩散模块解决文档彩色阴影去除问题,并构建大规模合成数据集,在三个公开数据集上验证了优越性。
2025-07-02 cs.AI cs.CV
On Color Alignment in VAE Latent Spaces and Its Applications
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);City University of Hong Kong (Dongguan)(香港城市大学(东莞));Universitat de València(瓦伦西亚大学)
本文发现文本到图像模型的VAE潜在空间共享与亮度和对立色对齐的颜色子空间,并据此提出ColorTuning、饱和度控制和颜色迁移三种应用,其中ColorTuning在精确颜色生成上达到最先进性能。
2026-10-07 cs.CV cs.LG
ELEGANT: Exchanging Latent Encodings with GAN for Transferring Multiple Face Attributes
Peking University(北京大学)
近年来,人脸属性迁移的研究取得了很大的成功。许多模型能够将人脸属性与输入图像进行转换。然而,它们遭受三个限制:(1)不能通过样本生成图像;(2)不能同时传输多个人脸属性;(3)生成的图像质量低,例如低分辨率或伪影。为了解决这些限制,我们提出了一种新的模型,它接收两个图像的相反属性作为输入。我们的模型可以完全相同类型的属性从一个图像到另一个通过交换它们的编码的某些部分。所有的属性都以一种非纠缠的方式编码在潜在空间中,这使得我们能够同时操纵多个属性。此外,我们的模型学习残差图像,以便在更高分辨率的图像上进行训练。在对抗训练的多尺度鉴别器的帮助下,它甚至可以生成具有更精细细节和更少伪影的高质量图像。我们证明了我们的模型的有效性,克服上述三个限制,通过与其他方法的CelebA人脸数据库进行比较。pytorch的实现可以在https://github.com/Prinsphield/ELEGANT上找到。
2018-07-25 cs.CV
HairDiffusion: Vivid Multi-Colored Hair Editing via Latent Diffusion
School of Computer Science & Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University(深圳大学国家大数据系统计算技术工程实验室);Guangdong Provincial Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室)
本文提出HairDiffusion,利用LDMs和Multi-stage Hairstyle Blend分离头发颜色与发型控制,结合warping模块与微调CLIP,实现高质量多色头发编辑并保留面部属性。
2024-10-29 cs.CV
Blind Image Deconvolution by Generative-based Kernel Prior and Initializer via Latent Encoding
Xi’an Jiaotong University(西安交通大学);Nanyang Technological University(南洋理工大学);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
针对盲图像去卷积中基于深度图像先验的方法对初始化核敏感的问题,提出利用深度生成模型预训练核生成器与初始化器,通过潜在空间编码提供高质量初始化并在紧凑流形内优化,显著提升了性能。
2024-07-20 cs.CV
NaTex: Seamless Texture Generation as Latent Color Diffusion
MMLab, CUHK(CUHK多媒体实验室);Tencent Hunyuan(腾讯文生)
NaTex通过直接在3D空间中预测纹理颜色,提出潜在颜色扩散方法,实现高效且一致的纹理生成与重建。
2025-11-20 cs.CV
BeautyBank: Encoding Facial Makeup in Latent Space
CyberAgent;The University of Tokyo(东京大学)
本文提出BeautyBank妆容编码器,将妆容图案特征解耦并编码到高维潜空间,结合渐进式妆容微调策略,实现妆容注入生成与相似度度量,并构建了32.4万对高清成对数据集BMS。
2024-11-24 cs.CV
Video Colorization with Pre-trained Text-to-Image Diffusion Models
The Chinese University of Hong Kong(香港中文大学);Caritas Institute of Higher Education(明爱专上学院)
提出 ColorDiffuser,将预训练文本到图像潜在扩散模型适配于视频着色,并通过颜色传播注意力与交替采样增强帧间一致性,实现优于现有方法的着色效果。
2023-06-02 cs.AI cs.CV cs.GR
LASERS: LAtent Space Encoding for Representations with Sparsity for Generative Modeling
Rutgers, the State University of New Jersey(罗格斯大学(新泽西州立大学))
该研究提出LASERS稀疏潜在空间编码方法,构建基于字典学习的DL-VAE与DL-GAN模型,在重建质量上优于VQ类方法,同时解决码本崩溃问题,揭示VQ的核心优势源于有损压缩而非离散化。
2024-09-16 cs.CV cs.LG
Y-Autoencoders: disentangling latent representations via sequential-encoding
University of Edinburgh(爱丁堡大学);Snap Inc.(Snap公司)
在过去的几年里,生成模型有了重要的进步,两种主要的方法是生成对抗网络(GANs)和变分自编码器(VAE)。然而,标准的自动编码器(AE)和密切相关的结构仍然很受欢迎,因为它们易于训练并适应不同的任务。一个有趣的问题是,我们是否可以在保持AE良好特性的同时实现最先进的性能。我们提出了一个答案,这个问题通过引入一个新的模型称为Y-自动编码器(Y-AE)。Y-AE的结构和训练过程将表征分为内隐和外显两部分。隐式部分类似于自动编码器的输出,显式部分与训练集中的标签密切相关。在解码和重新编码之前,通过将编码器的输出分成两条路径(形成Y形),在潜在空间中将这两个部分分开。然后,我们施加了一些损失,如重建损失,以及损失的依赖关系之间的隐式和显式的部分。此外,显式流形中的投影由预测器监控,该预测器嵌入在编码器中并进行端到端训练,没有对抗性损失。我们提供了显着的实验结果,在各个领域,如分离的风格和内容,图像到图像的翻译,和逆图形。
2019-07-25 cs.CV cs.LG
Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, using Few Synthetic Samples
Technion - Israel Institute of Technology(以色列理工学院)
理解和控制生成模型的潜在空间是一项复杂的任务。在本文中,我们提出了一种新的方法来学习控制任何所需的属性在一个预先训练的GAN的潜在空间,相应地编辑合成和真实世界的数据样本的目的。我们执行Sim 2 Real学习,依靠最少的样本来实现无限量的连续精确编辑。我们提出了一个基于Autoencoder的模型,该模型学习对图像之间变化的语义进行编码,作为以后编辑新样本的基础,实现精确的预期结果-如图1所示的示例。虽然先前的编辑方法依赖于潜在空间的已知结构(例如,StyleGAN中某些语义的线性),我们的方法本质上不需要任何结构约束。我们在面部图像领域展示了我们的方法:编辑不同的表情,姿势和照明属性,实现最先进的结果。
2021-11-17 cs.CV
ColorwAI: Generative Colorways of Textiles through GAN and Diffusion Disentanglement
Institute for Digital Visual Studies, University of Zurich(苏黎世大学数字视觉研究所);Tilburg University(蒂尔堡大学)
本研究提出生成式纺织品配色创建任务与ColorwAI框架,结合ShapleyVec解耦方法在GAN和扩散模型上实现色彩解耦,验证StyleGAN的W空间更贴合人类色彩认知,构建创意配色系统并通过专家评估验证有效性。
2024-10-07 cs.CV
HDR Video Generation via Latent Alignment with Logarithmic Encoding
Lightricks;Gear Productions;Tel Aviv University(特拉维夫大学)
本文提出通过利用预训练生成模型的视觉先验,采用对数编码实现HDR视频生成,无需重新训练编码器,通过轻量微调即可实现高质量HDR视频生成。
2026-10-08 cs.CV
StrokeFusion: Vector Sketch Generation via Joint Stroke-UDF Encoding and Latent Sequence Diffusion
针对现有草图生成方法存在伪影、整体感知不足、相似特征提取困难的问题,提出两阶段框架StrokeFusion,通过联合笔画-UDF编码与笔画级隐扩散实现高保矢量真草图生成,性能优于现有最优方法。
2025-11-18 cs.CV cs.GR
Orchid: Image Latent Diffusion for Joint Appearance and Geometry Generation
Google DeepMind(谷歌DeepMind);Georgia Institute of Technology(佐治亚理工学院);Waymo
该研究提出统一潜在扩散模型Orchid,通过学习联合外观-几何先验在单一扩散过程中生成颜色、深度和表面法线图像,效率与连贯性优于现有方法,在几何预测任务中表现出色且支持多种应用。
2025-08-23 cs.CV cs.LG
LDM-is-AE: Latent Diffusion Model is an Auto-Encoder for End-to-End Image Generation
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
提出LDM-is-AE,将潜扩散模型视为自编码器,通过拆分DiT为编码和解码组件并施加图像空间监督,实现端到端单阶段训练,在256和512分辨率下FID分别达1.80和1.90。
2026-09-30 cs.CV
Learning Coherent Matrixized Representation in Latent Space for Volumetric 4D Generation
School of Artificial Intelligence(人工智能学院);School of Information Engineering(信息工程学院);School of Electrical and Information Engineering(电气与信息工程学院);Computer Science and Software Engineering(计算机科学与软件工程);The University of Western Australia(西澳大学)
针对现有4D内容生成方法运动多样性和细节连续性不足的问题,提出基于潜在空间矩阵化表示与时空扩散的体素4D生成框架,在多数据集上实现了更优的高质量生成效果。
2025-06-16 cs.CV
Exploring Position Encoding in Diffusion U-Net for Training-free High-resolution Image Generation
Beijing University of Posts and Telecommunications(北京邮电大学)
针对预训练 Diffusion U-Net 生成高分辨率图像时位置编码不一致的问题,提出免训练的 PBC 方法,通过动态虚拟边界增强位置信息传播并提升生成质量。
2025-03-12 cs.CV
Spatial Latent Representations in Generative Adversarial Networks for Image Generation
University of Warsaw(华沙大学)
在大多数GAN架构中,潜在空间被定义为给定维度的向量集合。这种表示不容易解释,并且不直接捕获图像内容的空间信息。在这项工作中,我们为StyleGAN 2定义了一系列空间潜在空间,能够捕捉更多细节并表示在对象部分的数量和排列方面超出样本的图像,例如多张脸的图像或具有两只以上眼睛的脸。我们提出了一种方法,将图像编码到我们的空间中,以及能够在这些空间中执行属性编辑的属性模型。我们表明,我们的空间是有效的图像处理和编码语义信息。我们的方法可以用于预先训练的生成器模型,并且可以使用预先生成的方向向量进行属性编辑,从而使实验和使用的进入障碍非常低。我们提出了一种正则化方法来优化潜在的表示,它均衡潜在空间的部分分布,使表示更接近生成的。我们使用它将图像编码到空间中,以获得质量的显着提高,同时保持语义和使用我们的属性模型进行编辑的能力。总的来说,使用我们的方法,与标准方法相比,在LPIPS得分方面,编码质量甚至提高了30%,同时保持了语义。此外,我们提出了一个StyleGAN2训练程序在我们的空间潜在空间,以及一个自定义的空间潜在表示分布,使空间上更接近的元素在表示更依赖于彼此比更远的元素。这种方法在SpaceNet上将FID分数提高了29%,并且能够在空间均匀的数据集上生成任意大小的一致图像,如卫星图像。
2023-03-25 cs.CV eess.IV
StyleGenes: Discrete and Efficient Latent Distributions for GANs
ETH Zurich(苏黎世联邦理工学院);CSEM(瑞士电子与微技术中心);University of Würzburg(维尔茨堡大学);KU Leuven(鲁汶大学)
本研究提出StyleGenes离散潜在分布,借鉴生物基因编码拆分潜在空间、构建基因变体库,以紧凑参数实现多样本生成,兼具直观潜在空间探索能力,在保持最优真实感的同时优于StyleMapping网络的解耦效果。
2023-04-30 cs.CV cs.LG
Towards Vivid and Diverse Image Colorization with Generative Color Prior
Applied Research Center (ARC), Tencent PCG(腾讯平台与内容事业群应用研究中心)
近年来,彩色化吸引了越来越多的兴趣。经典的基于参考的方法通常依赖于外部彩色图像来获得合理的结果。一个大型的图像数据库或在线搜索引擎是不可避免地需要检索这样的样本。最近基于深度学习的方法可以以低成本自动为图像着色。然而,令人不满意的文物和不相干的颜色总是伴随着。在这项工作中,我们提出了GCP-Colorization,它利用封装在预训练的生成对抗网络(GAN)中的丰富多样的颜色先验进行自动着色。具体来说,我们首先通过GAN编码器“检索”匹配的特征(类似于样本),然后通过特征调制将这些特征纳入彩色化过程中。由于强大的生成色彩先验(GCP)和精致的设计,我们的GCP-Colorization可以通过一次向前传递产生生动的色彩。此外,通过修改GAN潜码可以非常方便地获得不同的结果。GCP-Colorization还继承了GANs的可解释控制的优点,并且可以通过遍历GAN潜在空间来实现可控和平滑的过渡。大量的实验和用户研究表明,GCP-Colorization实现了优于以往的作品。代码可在https://github.com/ToTheBeginning/GCP-Colorization上获得。
2022-08-08 cs.CV
Latent Spatial Memory for Video World Models
Zhejiang University(浙江大学);Microsoft Research(微软研究院);Adelaide University(阿德莱德大学);Monash University(莫纳什大学)
提出潜在空间记忆框架Mirage,通过在扩散潜在空间中直接构建和查询3D缓存,避免像素空间重建,实现高效视频生成,速度提升10.57倍,内存减少55倍。
2026-08-28 cs.CV
PosDiffAE: Position-aware Diffusion Auto-encoder For High-Resolution Brain Tissue Classification Incorporating Artifact Restoration
Department of Electrical Engineering, Indian Institute of Technology Madras (IITM)(电子工程系,印度理工学院Madras(IITM));Sudha Gopalakrishnan Brain Centre (SGBC), IITM(Sudha Gopalakrishnan脑中心(SGBC),IITM)
PosDiffAE将编码器与扩散模型结合,通过位置感知隐空间实现高分辨率脑组织分类,并提出无监督撕裂伪影和JPEG伪影恢复方法。
2025-07-03 cs.CV
Probabilistic Video Generation using Holistic Attribute Control
Simon Fraser University(西蒙弗雷泽大学);Facebook(脸书);California Institute of Technology(加州理工学院);The University of British Columbia(不列颠哥伦比亚大学)
视频表达视觉数据的高度结构化的时空模式。视频可以被认为由两个因素支配:(i)时间不变(例如,个人身份),或者缓慢变化(例如,活动),属性引起的外观,编码每个帧的持久内容,以及(i i)帧间运动或场景动态(例如,执行动作的人的编码进化)。基于这种直觉,我们提出了一个视频生成和未来预测的生成框架。所提出的框架生成一个视频(短剪辑),通过解码样本顺序地从潜在的空间分布到完整的视频帧。变分自编码器(VAE)被用作将帧编码到潜在空间/从潜在空间解码帧的手段,RNN被用作对潜在空间中的动态进行建模的方法。我们通过时间条件采样和质量来提高视频生成的一致性,方法是用属性控制来构造潜在空间;确保在学习/生成过程中可以推断和调节属性。因此,给定属性和/或第一帧,我们的模型能够生成多样化但高度一致的视频序列集,考虑到预测任务中固有的不确定性。在椅子CAD、Weizmann人类行为和MIT-Flickr数据集上的实验结果,以及与最新技术的详细比较,验证了该框架的有效性。
2018-03-21 cs.CV
LoomNet: Enhancing Multi-View Image Generation via Latent Space Weaving
University of Pisa(比萨大学);CNR-ISTI(意大利国家研究委员会-ISTI研究所)
LoomNet通过并行扩散模型构建共享潜在空间,在15秒内生成16个一致多视图,提升图像质量与重建性能。
2025-07-07 cs.CV
Encoding CT Anatomy Knowledge for Unpaired Chest X-ray Image Decomposition
Imperial College London(帝国理工学院);University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, CAS(中国科学院计算技术研究所);Peng Cheng Laboratory(鹏城实验室);Southest University(东南大学);Nankai University(南开大学)
尽管胸部X射线(CXR)提供了具有重叠解剖结构的2D投影,但其广泛用于临床诊断。有临床证据支持将X射线图像分解成不同的分量(例如,骨、肺和软组织)提高了诊断价值。我们在此提出了一种分解生成对抗网络(DecGAN),用于解剖分解CXR图像,但具有未配对的数据。我们利用嵌入在CT中的解剖学知识,其特征在于具有清晰可见的解剖结构的3D体积。我们的核心思想是将CT先验分解知识嵌入到非成对CXR自编码器的潜在空间中。具体来说,我们训练DecGAN分解损失,对抗损失,循环一致性损失和掩模损失,以保证潜在空间的分解结果保持真实的身体结构。大量的实验表明,DecGAN提供了优越的无监督CXR骨抑制结果和潜在的空间解纠缠调制CXR组件的可行性。此外,我们说明了DecGAN的诊断价值,并证明它在预测14种常见肺部疾病中的11种方面优于最先进的方法。
2019-09-16 cs.CV eess.IV
Your Latent Mask is Wrong: Pixel-Equivalent Latent Compositing for Diffusion Models
Bradbury Group(布拉德伯格集团)
本文提出PELC原则,通过DecFormer实现像素等效潜在合成,提升扩散模型在补全任务中的性能与保真度。
2025-12-04 cs.CV cs.GR cs.LG
LARGE: Latent-Based Regression through GAN Semantics
Tel-Aviv University(特拉维夫大学)
我们提出了一种新的方法来解决回归任务使用Few-Shot或弱监督。我们方法的核心是基本观察,即GANs在其潜在空间内编码语义信息方面非常成功,即使在完全无监督的环境中也是如此。对于现代生成框架,这种语义编码表现为平滑的线性方向,以一种不纠缠的方式影响图像属性。这些方向已被广泛用于基于GAN的图像编辑。我们表明,这样的方向不仅是线性的,但在各自的属性上引起的变化的幅度是近似线性的,相对于沿它们行进的距离。通过利用这一观察结果,我们的方法将预训练的GAN转化为回归模型,使用少至两个标记样本。这使得能够解决难以产生质量监督的数据集和属性上的回归任务。此外,我们表明,即使在没有明确的监督,相同的潜在距离可以用来排序集合的图像的强度给定的属性。广泛的实验评估表明,我们的方法可以应用于广泛的领域,利用多个潜在的方向发现框架,并在Few-Shot和低监督设置中实现最先进的结果,即使与设计用于解决单个任务的方法相比。
2021-07-22 cs.CV cs.GR cs.LG
Expressive Talking Head Video Encoding in StyleGAN2 Latent-Space
University of Maryland(马里兰大学)
虽然最近在视频重现研究方面的进展已经取得了可喜的成果,但这些方法在捕捉精细、详细和富有表现力的面部特征(例如,嘴唇按压、嘴部起皱、嘴部张开和皱纹),这在生成逼真的动画面部视频中是至关重要的。为此,我们提出了一种端到端的表情人脸视频编码方法,通过优化单个身份潜在的低维编辑,促进数据高效的高质量视频重新合成。该方法基于StyleGAN 2图像反转和多级非线性潜在空间编辑,以生成与输入视频几乎相当的视频。虽然现有的基于StyleGAN的潜在编辑技术专注于简单地生成静态图像的合理编辑,但我们使用驻留在StyleGAN 2的Style-latent-space(StyleSpace)中的编码来自动化潜在空间编辑,以捕获帧序列中的精细表情面部变形。由此获得的编码可以叠加在单个身份-潜在上,以便于在$1024^2$处重新制定面部视频。所提出的框架经济地捕捉面部身份,头部姿势,和复杂的表情面部运动在精细的水平,从而绕过训练,人建模,依赖于地标/关键点,和低分辨率合成往往会阻碍大多数重演的方法。该方法的设计具有最大的数据效率,其中单个$W+$潜在和每帧35个参数实现高保真视频渲染。该流水线还可以用于操纵(即,运动转移)。
2023-02-14 cs.CV
Joint fMRI Decoding and Encoding with Latent Embedding Alignment
Fudan University(复旦大学)
本文提出 LEA 统一框架,通过构建并对齐 fMRI 与图像的潜在空间,实现双向脑信号解码和编码,并在多个基准数据集上超过现有方法。
2023-06-05 cs.CV
GIFnets: Differentiable GIF Encoding Framework
Google Research(谷歌研究院)
图形交换格式(GIF)是一种广泛使用的图像文件格式。由于调色板颜色的数量有限,GIF编码通常会引入色带伪影。传统上,应用抖动来减少色带,但是引入了点图案伪影。为了减少伪影并提供更好,更高效的GIF编码,我们引入了一个可区分的GIF编码管道,其中包括三个新的神经网络:PaletteNet,DitherNet和BandingNet。这三个网络中的每一个都在GIF编码管道中提供了重要的功能。PaletteNet在给定输入图像的情况下预测接近最佳的调色板。DitherNet操作输入图像以减少色带伪影,并提供传统抖动的替代方案。最后,BandingNet旨在检测色带,并提供专门针对GIF图像的新感知损失。据我们所知,这是第一个基于深度神经网络并兼容现有GIF解码器的完全可区分GIF编码管道。用户实验表明,该算法优于基于Floor-Steinberg的GIF编码。
2020-06-24 cs.CV eess.IV
Deep Episodic Memory: Encoding, Recalling, and Predicting Episodic Experiences for Robot Action Execution
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Halmstad University(哈尔姆斯塔德大学)
我们提出了一种新的深度神经网络架构,用于表示机器人的经验,在一个类似情节的记忆,有利于编码,回忆和预测的行动经验。我们提出的无监督深度情景记忆模型1)在潜在向量空间中对观察到的动作进行编码,并且基于这种潜在编码,2)推断以前经历过的最相似的情节,3)重建原始情节,以及4)以端到端的方式预测未来的帧。结果表明,概念上相似的动作映射到同一区域的潜在向量空间。基于这些结果,我们引入了一个动作匹配和检索机制,基准测试其性能的两个大规模的行动数据集,20 BN的东西和ActivityNet和评估其泛化能力在现实世界中的场景上的人形机器人。
2018-07-14 cs.AI cs.CV cs.RO
Zero-Shot Learning via Latent Space Encoding
零样本学习(Zero-Shot Learning,简称ZRL)通常通过采用类语义嵌入空间将知识从可见的类转移到不可见的类来实现。捕获视觉模态和类语义模态之间的共同语义特征(例如,属性或词向量)是XML成功的关键。在本文中,我们提出了一种新的编码器-解码器的方法,即潜在空间编码(LSE),连接不同的模态的语义关系。LSE不像大多数以前的工作那样需要投影函数来跨不同模态传输信息,而是通过以隐式方式学习的特征感知潜在空间来执行不同模态的交互。具体而言,不同的模态被单独建模,但被联合优化。对于每种模态,执行编码器-解码器框架以通过联合最大化原始空间从潜在空间的可恢复性和潜在空间从原始空间的可预测性来学习特征感知潜在空间。为了将不同的模态联系在一起,它们涉及相同概念的特征被强制共享相同的潜在编码。通过这种方式,不同模态的共同语义特征被概括为潜在表征。所提出的方法的另一个特性是,它很容易扩展到更多的模式。在四个基准数据集(AwA,CUB,aPY和ImageNet)上的大量实验结果清楚地表明了所提出的方法在几个CNOL任务上的优越性,包括传统的CNOL,广义CNOL和zero-shot检索(CNOR)。
2018-04-20 cs.CV
Effects of the retina-inspired light intensity encoding on color discrimination performance
Graduate School of Information Science(信息科学研究生学校);Osaka Institute of Technology(大阪技术学院);Faculty of Information Science(信息科学学院)
本研究探讨了视网膜启发的光照强度编码对颜色恒常性性能的影响,发现N-R函数与双对立色平面结合可提升颜色辨别能力。
2026-01-17 cs.CV
Graph Alignment via Dual-Pass Spectral Encoding and Latent Space Communication
LIX, Ecole Polytechnique, IP Paris(LIX,巴黎高等师范学院,IP巴黎)
提出双通道编码器增强节点区分性,结合几何感知功能映射对齐潜在空间,解决图对齐中节点区分性下降和潜在空间错位问题。
2026-06-23 cs.AI cs.CV cs.LG
Multi-view Alignment and Generation in CCA via Consistent Latent Encoding
Centre for Artificial Intelligence (CAI), University of Technology Sydney(悉尼科技大学人工智能中心(CAI))
多视图对齐,实现多视图输入的一一对应,在许多现实世界的多视图应用中是至关重要的,特别是对于跨视图数据分析问题。近年来,越来越多的研究者利用典型相关分析(CCA)来研究这一对齐问题。然而,现有的CCA模型容易由于忽略不确定性或多个视图的不一致编码而使多个视图不对齐。针对这两个问题,本文从贝叶斯的角度研究了多视图对齐问题。深入研究了不一致编码的损害,我们提出了通过匹配不同形式的因子分解下的多视图随机变量的联合分布的边缘化来恢复多视图输入的对应性。为了实现我们的设计,我们提出了对抗CCA(ACCA),它通过对抗训练范式匹配边缘化的潜在编码来实现一致的潜在编码。基于条件互信息的分析表明,ACCA对处理隐式分布是灵活的。大量的相关性分析和噪声输入设置下的交叉视图生成的实验证明了我们的模型的优越性。
2020-05-24 cs.CV cs.LG stat.ML
Wavelet Latent Diffusion (Wala): Billion-Parameter 3D Generative Model with Compact Wavelet Encodings
本文提出Wavelet Latent Diffusion(WaLa)方法,通过将3D形状编码为紧凑的小波潜在表示实现2427倍压缩,训练出约十亿参数的高效3D生成模型,在生成质量与计算效率上达到SOTA。
2024-11-12 cs.AI cs.CV cs.LG
Color-opponent mechanisms for local hue encoding in a hierarchical framework
介绍了一种生物学上合理的颜色表示计算模型。我们提出了一个机制层次模型的神经元,不仅成功地编码本地色调,但也明确揭示了如何参与的过程中的每个视觉皮层层的贡献,可以导致色调表示。我们提出的模型受益于对视觉皮层的研究,并建立了一个单一对手和色调选择性神经元网络。局部色调编码是通过逐渐增加的非线性锥输入单对手细胞。我们证明,我们的模型的单一对手神经元有广泛的调谐曲线,而在我们的模型V4层的色调选择性神经元表现出较窄的调谐,类似于在V4的灵长类动物视觉系统。我们的模拟实验表明,V4或更高层的神经元具有编码独特色调的能力。此外,通过几个例子,我们提出了通过在我们的模型中结合色调选择神经元来跨越物理色调的无限空间的可能性。
2018-02-20 cs.CV
RoomDesigner: Encoding Anchor-latents for Style-consistent and Shape-compatible Indoor Scene Generation
提出两阶段模型RoomDesigner,通过离散向量量化编码家具为锚点潜变量,结合Transformer自回归生成,实现风格一致且形状兼容的室内场景,支持交互编辑,在3D-Front数据集上优于现有方法。
2023-10-16 cs.CV cs.GR
Degradation-Aware All-in-One Image Restoration via Latent Prior Encoding
本文提出了一种考虑退化因素的统一图像修复方法,通过学习潜在先验推断,实现了自适应特征选择、空间定位和退化语义修复,提升了修复效果和效率。
2025-12-26 cs.CV
Seeing Colors: Learning Semantic Text Encoding for Classification
National University of Sciences and Technology(国立科技大学);University of Insubria(因苏布里亚大学)
我们回答的问题与这项工作是:我们可以将文本文档转换为图像,利用最好的图像分类模型来分类文件?为了回答这个问题,我们提出了一种新的文本分类方法,它将文本文档转换为编码图像,使用词嵌入和卷积神经网络(CNN)的能力,成功地应用于图像分类。我们通过在一些知名的文本分类基准数据集上获得有希望的结果来评估我们的方法。这项工作允许将许多为计算机视觉开发的先进CNN架构应用于自然语言处理。我们在多模态数据集上测试了所提出的方法,证明可以使用单个深度模型在同一特征空间中表示文本和图像。
2018-08-31 cs.CV
Encoding Binary Concepts in the Latent Space of Generative Models for Enhancing Data Representation
University of Southern California(南加州大学)
二元概念被人类经验性地用于有效地概括。它们基于伯努利分布,这是信息的构建块。这些概念涵盖了低级和高级特征,例如“大与小”和“神经元是活跃的还是不活跃的”。二元概念是普遍存在的特征,可以用来传递知识以提高模型的泛化能力。我们提出了一种新的二进制正则化,以促进二进制概念的学习,以提高自动编码器中数据生成的质量。在数据生成过程中引入二值化超参数$r$,对称地解开潜在空间。我们证明,这种方法可以很容易地应用到现有的变分自编码器(VAE)的变种,以鼓励对称解纠缠,提高重建质量,并防止后崩溃,而无需计算开销。我们还证明了这种方法可以提高现有的模型,学习更多的可转移的表示,并产生更多的代表性样本的输入分布,可以减轻灾难性遗忘使用生成重放下持续学习设置。
2023-03-22 cs.CV cs.LG
LIFT: Latent Implicit Functions for Task- and Data-Agnostic Encoding
University of Toronto(多伦多大学);Vector Institute(向量研究所);University Health Network(大学健康网络)
本研究提出用于任务与数据无关编码的LIFT框架及增强版ReLIFT,通过元学习结合多并行局部隐式函数与分层潜在生成器实现多尺度表征,在多类任务中取得SOTA性能并降低计算成本。
2025-03-19 cs.CV cs.LG
Encryption and encoding of facial images into quick response and high capacity color 2d code for biometric passport security system
School of Computer, Information and Mathematical Sciences(计算机、信息与数学科学学院)
本文提出了一种多模态生物特征、安全加密数据和加密生物特征编码到基于QR码的生物特征护照认证方法,用于国家安全应用。首先,采用扩展轮廓-局部二值模式(EP-LBP)、Canny边缘检测器和带图像文件信息的尺度不变特征变换(SIFT)算法(IMFINFO),初步实现了人脸标记尺寸的识别。其次,将主动形状模型(ASM)应用于主动外观模型(AAM)中,对手部进行跟踪,并将手部几何特征注入到验证和识别中,实现手部几何形状的识别。第三,将可公开访问的加密生物特征护照信息编码成QR码并插入电子护照以提高保护。此外,通过应用高级加密标准(AES)和安全散列算法(SHA)256算法对个人信息和生物统计数据进行加密。它将加强生物特征护照安全系统。
2022-03-17 cs.CV
Affine-Equivariant Kernel Space Encoding for NeRF Editing
Poznan University of Technology, Institute of Robotics and Machine Intelligence(波兹南技术大学机器人与机器智能研究所);Jagiellonian University, Faculty of Mathematics and Computer Science(雅盖隆大学数学与计算机科学学院);IDEAS Research Institute(IDEAS研究所)
本文提出仿射等变核空间编码,通过高斯核实现局部化、变形感知的NeRF编辑,无需重新训练即可保持高质量渲染。
2026-01-31 cs.CV
Learned Compression of Encoding Distributions
School of Engineering Science, Simon Fraser University(西蒙菲莎大学工程科学学院)
针对学习式压缩中熵瓶颈静态分布导致的摊销间隙问题,提出动态适配编码分布的方法,通过传输边信息码流实现更优压缩,在Kodak数据集上取得-7.10%的BD率增益且计算复杂度更低。
2024-06-18 cs.CV eess.IV
Spatial Variational Auto-Encoding via Matrix-Variate Normal Distributions
Texas A&M University(得克萨斯农工大学);Washington State University(华盛顿州立大学)
变分自动编码器(VAE)的核心思想类似于传统的自动编码器模型,其中空间信息应该被显式编码在潜在空间中。然而,VAE中的潜变量是向量,可以解释为大小为1x1的多个特征图。这种表示只能在与强大的解码器相结合时隐含地传达空间信息。在这项工作中,我们提出了空间VAE,使用较大尺寸的特征图作为潜在变量,以明确地捕捉空间信息。这是通过允许从矩阵变量正态(MVN)分布(其参数从编码器网络计算)中采样潜变量来实现的。为了增加潜在特征图上位置之间的依赖性并减少参数的数量,我们进一步提出了通过低秩MVN分布的空间VAE。实验结果表明,所提出的空间VAE在捕获丰富的结构和空间信息方面优于原始VAE。
2019-01-22 cs.CV cs.LG cs.NE
Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification
Institut Polytechnique de Paris(巴黎综合理工学院);Université Paris-Saclay(巴黎萨克雷大学);Aix Marseille University(艾克斯-马赛大学)
贝叶斯神经网络(BNN)长期以来一直被认为是用于提高深度神经网络的鲁棒性和预测不确定性的理想但不可扩展的解决方案。虽然它们可以更准确地捕获网络参数的后验分布,但大多数BNN方法要么限于小型网络,要么依赖于参数独立性等约束假设。这些缺点使得简单但计算量大的方法变得突出,例如深度集成,其训练和测试成本随着网络数量的增加而线性增加。在这项工作中,我们的目标是高效的深度BNN,适用于复杂的计算机视觉架构,例如ResNet 50 DeepLabV 3+,以及任务,例如语义分割,对参数的假设较少。我们通过利用变分自编码器(VAE)来学习每个网络层参数的交互和潜在分布来实现这一点。我们的方法,潜在后验BNN(LP-BNN),与最近的BatchEncriminal方法兼容,导致高效(在训练和测试期间的计算和内存方面)集成。LP-BNN在图像分类、语义分割和分布外检测的几个具有挑战性的基准测试中,在多个指标上取得了有竞争力的结果。
2021-03-25 cs.CV cs.LG stat.ML
Color Spike Data Generation via Bio-inspired Neuron-like Encoding with an Artificial Photoreceptor Layer
Fu Jen Catholic University(辅仁大学)
本文提出一种基于生物神经元原理的 Neuron-like Encoding 方法,并结合人工光感受器层生成携带颜色和亮度信息的视觉脉冲信号,在遵循神经形态计算原则的同时提升脉冲神经网络的信息容量与性能。
2025-08-19 cs.CV
3D-Aware Encoding for Style-based Neural Radiance Fields
Carnegie Mellon University(卡内基梅隆大学);Meta Research(Meta研究院)
我们解决了基于样式的神经辐射场的NeRF反演的任务(例如,StyleNeRF)。在这项任务中,我们的目标是学习一个逆函数,将输入图像投影到NeRF发生器的潜在空间,然后基于潜在代码合成原始图像的新视图。与用于2D生成模型的GAN反演相比,NeRF反演不仅需要1)保持输入图像的身份,而且2)确保生成的新视图的3D一致性。这要求从单视图图像获得的潜在代码在多个视图中是不变的。为了解决这个新的挑战,我们提出了一个两阶段的编码器基于风格的NeRF反转。在第一阶段中,我们引入了一个基本编码器,它将输入图像转换为潜码。为了保证潜在编码具有视点不变性,并能够合成三维一致的新视点图像,我们利用身份对比学习来训练基本编码器。其次,为了更好地保留输入图像的身份,我们引入了一个细化编码器来细化潜在代码并向输出图像添加更精细的细节。值得注意的是,该模型的新颖性在于其第一阶段编码器的设计,该编码器产生位于潜在流形上的最接近的潜在代码,因此第二阶段中的细化将接近NeRF流形。通过大量的实验,我们证明了我们提出的两阶段编码器定性和定量表现出优于现有的编码器在图像重建和新颖的视图渲染反转。
2022-11-12 cs.CV cs.LG
Energy-Based Residual Latent Transport for Unsupervised Point Cloud Completion
Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所)
无监督点云补全的目的是推断部分对象观测的整个几何形状,而不需要部分-完全对应。与现有的确定性方法不同,我们提倡基于生成式建模的无监督点云完成,以探索缺失的对应关系。具体而言,我们提出了一种新的框架,通过使用潜在的传输模块将部分形状编码转换为完整的编码来完成,并且它被设计为编码器-解码器架构中的基于潜在空间能量的模型(EBM),旨在学习以部分形状编码为条件的概率分布。为了联合训练潜在代码传输模块和编码器-解码器网络,我们引入了残差采样策略,其中残差捕获部分和完整形状潜在空间之间的域间隙。作为一个基于生成模型的框架,我们的方法可以产生与人类感知一致的不确定性地图,从而实现可解释的无监督点云完成。我们的实验表明,所提出的方法产生高保真的完成结果,优于国家的最先进的模型的显着保证金。
2022-11-13 cs.CV
Unit Region Encoding: A Unified and Compact Geometry-aware Representation for Floorplan Applications
ByteDance(字节跳动);Alibaba(阿里巴巴);Shandong University(山东大学)
提出一种统一紧凑的几何感知户型图编码表示,基于密度图聚类划分单元区域,适用于空间规划、度量学习和生成任务,性能优于现有方法。
2025-01-19 cs.CV
DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks
University of Padova(帕多瓦大学)
大多数用于语义分割的方法仅使用来自彩色相机的信息来解析场景,然而最近的进展表明,使用深度数据允许进一步提高性能。在这项工作中,我们专注于基于transformer的深度学习架构,这些架构在分割任务上实现了最先进的性能,我们建议通过将深度信息嵌入到位置编码中来使用深度信息。有效地,我们将网络扩展到多模态数据,而不添加任何参数,并以一种自然的方式利用Transformers的自我注意力模块的力量。我们还研究了在注意力模块内部执行跨模态操作的想法,在深度和颜色分支之间交换关键输入。我们的方法不断提高Cityscapes基准的性能。
2023-03-27 cs.CV