AET vs. AED: Unsupervised Representation Learning by Auto-Encoding Transformations rather than Data
Laboratory for MAchine Perception and LEarning (MAPLE)(机器感知与学习实验室(MAPLE));Huawei Cloud(华为云);University of Central Florida(中佛罗里达大学);University of Rochester(罗切斯特大学)
深度神经网络的成功通常依赖于大量的标记示例,而这些示例在许多真实场景中可能很难获得。为了应对这一挑战,无监督方法在不使用任何标记数据的情况下训练神经网络是非常可取的。在本文中,我们提出了一种新的范式,无监督的表示学习的自动编码转换(AET)相比,传统的自动编码数据(AED)的方法。给定一个随机采样的变换,AET试图在输出端尽可能准确地仅从编码特征预测它。其思路如下:只要无监督特征成功地编码了关于原始图像和变换图像的视觉结构的基本信息,就可以很好地预测变换。我们将展示这种AET范式允许我们实例化各种各样的转换,从参数化到非参数化和GAN诱导的转换。我们的实验表明,AET大大改善了现有的无监督方法,在CIFAR-10,ImageNet和Places数据集上设置了新的最先进的性能,大大接近其完全监督的上限。
2019-03-23 cs.CV
Auto-Encoding Score Distribution Regression for Action Quality Assessment
Southeast University(东南大学)
视频的动作质量评估(AQA)是一个具有挑战性的视觉任务,因为视频和动作分数之间的关系是很难建模。因此,AQA在文献中得到了广泛的研究。传统上,AQA被视为回归问题,以学习视频和动作得分之间的底层映射。但以往的方法忽略了AQA数据集的不确定性。为了解决任意的不确定性,我们进一步开发了一个即插即用模块分布自动编码器(DAE)。具体来说,它将视频编码成分布,并使用变分自动编码器(VAE)中的重新参数化技巧来采样分数,从而在视频和分数之间建立更准确的映射。同时,使用似然损失来学习不确定性参数。我们将DAE方法插入MUSDL和Core。在公共数据集上的实验结果表明,我们的方法在AQA-7,MTL-AQA和JIGSAWS数据集上达到了最先进的水平。我们的代码可在https://github.com/InfoX-SEU/DAE-AQA上获得。
2022-08-31 cs.CV
Auto-Encoding Progressive Generative Adversarial Networks For 3D Multi Object Scenes
Dwarkadas J. Sanghvi College of Engineering(德瓦卡达斯·J·桑格维工程学院);University of Mumbai(孟买大学)
3D多对象生成模型使我们能够合成大量新颖的3D多对象场景,并识别对象,形状,布局及其位置。但由于数据集的多模态性,多目标场景的创建比较困难。传统的3D生成式对抗模型在生成多目标场景时效率不高,它们通常倾向于生成一个目标或生成多个目标的模糊结果。自动编码器模型在概率空间中使用无监督范式进行特征提取和表示学习方面具有很大的范围。我们试图利用这个属性在我们提出的模型。在本文中,我们提出了一种新的架构,使用渐进式训练范式训练的3DConvNets,能够生成具有各种家具和物体的房间,卧室,办公室等的逼真高分辨率3D场景。我们使用对抗自动编码器以及WGAN-GP损失参数在我们的网络损失函数中。最后,这种新的多对象场景生成方法也能够在每个场景中生成更多数量的对象。
2019-03-08 cs.CV
Auto-Encoding Morph-Tokens for Multimodal LLM
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Skywork AI(智谱AI);Nanyang Technological University(南洋理工大学)
本文提出将图像编码为形态令牌(morph-tokens),以同时兼顾多模态大语言模型在视觉理解中的抽象需求与视觉生成中的信息保留需求,实验表明该方法在理解和生成任务上均达到新的最优性能。
2024-05-03 cs.CV
Unsupervised Representation Learning with Laplacian Pyramid Auto-encoders
China University of Petroleum(East China)(中国石油大学(华东))
尺度空间表示由于其理论基础而在计算机视觉领域受到广泛关注。生成给定数据集的尺度空间表示的动机源于这样一个基本观察,即现实世界的对象是由不同尺度的不同结构组成的。因此,考虑使用通过平滑和下采样操作生成的图像金字塔来学习特征是合理的。在本文中,我们提出了拉普拉斯金字塔自动编码器,这是对深度卷积自动编码器架构的直接修改,用于无监督表示学习。该方法在拉普拉斯金字塔框架内使用多个编解码子网络来重建原始图像和低通滤波图像。每个编码子网络的最后一层也连接到下一层中的子网络的编码层,其目的是逆转拉普拉斯金字塔生成的过程。实验结果表明,拉普拉斯金字塔有利于深度自动编码器方法的分类和重建性能,而批量归一化对于让深度自动编码器方法开始学习至关重要。
2018-05-12 cs.CV
HENet++: Hybrid Encoding and Multi-task Learning for 3D Perception and End-to-end Autonomous Driving
University of California, Merced(加州大学默塞德分校)
HENet++提出混合图像编码与稠密稀疏特征并行提取框架,通过短期大编码器、长期小编码器及多任务特征适配,在nuScenes上实现端到端多任务3D感知最优性能与最低碰撞率。
2026-10-09 cs.CV
O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks
本文提出了正交生成对抗网络(O-GANs)。我们将编码器的网络进行正交分解,并在普通GANs的目标中添加额外的损失,这可以使编码器成为一个有效的编码器。同样的额外损失可以嵌入到任何类型的GANs中,并且几乎没有增加计算量。此外,我们讨论了我们的方法的原则,这是相对于充分利用剩余的自由度的时间。正如我们所知,我们的解决方案是训练一个具有自动编码能力的生成对抗网络的最简单方法。
2019-03-05 cs.CV cs.LG
A Modified Convolutional Network for Auto-encoding based on Pattern Theory Growth Function
Nanyang Technological University(南洋理工大学)
这篇简短的论文报告了卷积神经网络的一个变体的缺点,其组件是基于模式理论框架开发的。
2021-04-04 cs.CV cs.LG eess.IV
An Integrated Representation & Compression Scheme Based on Convolutional Autoencoders with 4D DCT Perceptual Encoding for High Dynamic Range Light Fields
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
新兴的和现有的光场显示器高度能够在自动立体裸眼平台上逼真地呈现3D场景。光场尺寸是利用3D显示器和流传输目的时的主要缺点。当光场具有高动态范围时,大小急剧增加。在本文中,我们提出了一种新的压缩算法的高动态范围的光场,产生一个感知上的无损压缩。该算法通过将HDR光场解释为四维体积来利用HDR光场的视图间和视图内相关性。HDR光场压缩是基于一种新的4DDCT-UCS(4D-DCT均匀颜色空间)算法。通过HEVC对4DDCT-UCS采集的图像的附加编码消除了HDR光场数据中的帧内、帧间和固有冗余。与JPEG-XL和HDR视频编码算法等最先进的编码器相比,该方案对真实世界光场的压缩性能优越。
2022-06-21 cs.CV eess.IV
Convolutional Auto-encoding of Sentence Topics for Image Paragraph Generation
Nanjing University of Science and Technology(南京理工大学);JD AI Research(京东人工智能研究院)
图像段落生成是生成描述图像视觉内容的连贯故事(通常是一个段落)的任务。然而,这个问题并不是微不足道的,特别是当段落生成需要考虑多种描述性和不同的要点时,这经常发生在真实图像中。一个有效的问题是如何从图像中封装这些值得一提的要点/主题,然后从一个主题到另一个主题描述图像,但具有连贯的结构。在本文中,我们提出了一种新的设计-卷积自动编码(CAE),纯粹采用卷积和去卷积自动编码框架的主题建模的区域级特征的图像。此外,我们提出了一个架构,即CAE加上长短期记忆(称为CAE-LSTM),新颖地集成了学习的主题,以支持段落生成。从技术上讲,CAE-LSTM利用了一个两级的基于LSTM的段落生成框架和注意力机制。段落级LSTM捕获段落中的句间依赖性,而段落级LSTM则生成一个以每个学习主题为条件的句子。在斯坦福图像段落数据集上进行了大量的实验,并与最先进的方法相比,获得了更好的结果。更值得注意的是,CAE-LSTM将CIDER性能从20.93%提高到25.15%。
2019-08-01 cs.CL cs.CV
Y-Autoencoders: disentangling latent representations via sequential-encoding
University of Edinburgh(爱丁堡大学);Snap Inc.(Snap公司)
在过去的几年里,生成模型有了重要的进步,两种主要的方法是生成对抗网络(GANs)和变分自编码器(VAE)。然而,标准的自动编码器(AE)和密切相关的结构仍然很受欢迎,因为它们易于训练并适应不同的任务。一个有趣的问题是,我们是否可以在保持AE良好特性的同时实现最先进的性能。我们提出了一个答案,这个问题通过引入一个新的模型称为Y-自动编码器(Y-AE)。Y-AE的结构和训练过程将表征分为内隐和外显两部分。隐式部分类似于自动编码器的输出,显式部分与训练集中的标签密切相关。在解码和重新编码之前,通过将编码器的输出分成两条路径(形成Y形),在潜在空间中将这两个部分分开。然后,我们施加了一些损失,如重建损失,以及损失的依赖关系之间的隐式和显式的部分。此外,显式流形中的投影由预测器监控,该预测器嵌入在编码器中并进行端到端训练,没有对抗性损失。我们提供了显着的实验结果,在各个领域,如分离的风格和内容,图像到图像的翻译,和逆图形。
2019-07-25 cs.CV cs.LG
Self-Supervised Road Layout Parsing with Graph Auto-Encoding
Eindhoven University of Technology(埃因霍温理工大学)
针对更高层次的场景理解,这项工作提出了一种神经网络的方法,以一个道路布局图在鸟瞰图作为输入,并预测一个人类可理解的图形,代表道路的拓扑布局。我们的方法提升了道路布局的理解,从像素级的图形的水平。为了实现这一目标,使用图像-图形-图像自动编码器。该网络被设计为学习在其自动编码器瓶颈处回归图形表示。这种学习是由图像重建损失自我监督的,而不需要任何外部手动注释。我们创建了一个包含常见道路布局模式的合成数据集,并将其用于训练自动编码器以及真实世界的Argoverse数据集。通过使用这个额外的合成数据集,它在概念上捕获了人类对道路布局的知识,并将其提供给网络进行训练,我们能够稳定并进一步提高对真实世界Argoverse数据集的拓扑道路布局理解的性能。评估表明,我们的方法表现出相当的性能,一个强大的完全监督的基线。
2022-04-29 cs.CV cs.RO
Unified Auto-Encoding with Masked Diffusion
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Alberta(阿尔伯塔大学)
提出统一自编码框架UMD,将基于补丁和基于噪声的损坏技术结合,修改DiT训练过程,在无需大量数据增强或额外编码器的情况下,显著提升了下游生成与表示学习任务的性能及计算效率。
2024-06-25 cs.AI cs.CV
Auto-Encoding Twin-Bottleneck Hashing
Inception Institute of Artificial Intelligence (IIAI)(人工智能初创研究院);University of Electronic Science and Technology of China(电子科技大学)
传统的无监督哈希方法通常利用相似图,这些相似图要么是在高维空间中预先计算的,要么是从随机锚点获得的。一方面,现有的方法将散列函数学习和图构造的过程解耦。另一方面,基于原始数据经验构建的图可能会引入有偏见的数据相关性先验知识,导致次优检索性能。在本文中,我们解决了上述问题,提出了一个有效的和自适应的代码驱动图,这是更新的自动编码器的上下文中的解码。具体来说,我们在框架中引入了两个瓶颈(即,潜在变量)协作地交换关键信息。一个瓶颈(即,二进制代码)将由代码驱动图捕获的高级固有数据结构传送到另一个(即,用于低级别细节信息的连续变量),其又传播更新的网络反馈以供编码器学习更多有区别的二进制码。自动编码学习目标从字面上奖励代码驱动图学习最佳编码器。此外,所提出的模型可以简单地优化梯度下降,而不违反二进制约束。在基准数据集上的实验清楚地表明了我们的框架优于最先进的哈希方法。我们的源代码可以在https://github.com/ymcidence/TBH上找到。
2020-03-16 cs.CV cs.LG
Auto-Encoding for Shared Cross Domain Feature Representation and Image-to-Image Translation
Amity University(阿米提大学)
图像到图像的转换是计算机视觉和模式识别问题的一个子集,我们的目标是学习域$\mathbf{X}_1$的输入图像和域$\mathbf{X}_2$的输出图像之间的映射。当前方法使用具有编码器-解码器结构的神经网络来学习映射$G:\mathbf{X}_1 \to\mathbf{X}_2$,使得来自$\mathbf{X}_2$和$G(\mathbf{X}_1)$的图像的分布是相同的,其中$G(\mathbf{X}_1) = d_G (f_G (\mathbf{X}_1))$和$f_G (\cdot)$被称为编码器,而$d_G(\cdot)$被称为解码器。目前,也计算逆映射$F:\mathbf{X}_2 \to \mathbf{X}_1$的这种方法使用单独的编码器-解码器对$d_F (f_F (\mathbf{X}_2))$或至少单独的解码器$d_F (\cdot)$来这样做。在这里,我们介绍了一种方法来执行跨域图像到图像的翻译跨多个域使用一个单一的编码器-解码器架构。我们使用自动编码器网络,其给定输入图像$\mathbf{X}_1$,首先计算潜在域编码$Z_d = f_d (\mathbf{X}_1)$和潜在内容编码$Z_c = f_c (\mathbf{X}_1)$,其中域编码$Z_d$和内容编码$Z_c$是独立的。然后,解码器网络$g(Z_d,Z_c)$创建原始图像$\mathbf{\…
2020-06-11 cs.CV cs.LG eess.IV
Collaborative Auto-encoding for Blind Image Quality Assessment
Shenzhen University(深圳大学);Peng Cheng Laboratory(鹏城实验室);Shenzhen Institute for Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);University of Nottingham(诺丁汉大学)
本文提出一种基于协同自编码器(COAE)的盲图像质量评估方法,通过自监督学习提取内容与失真表征,克服标注数据不足问题,实现最先进性能与优越泛化能力。
2023-05-24 cs.CV eess.IV
Spatial Variational Auto-Encoding via Matrix-Variate Normal Distributions
Texas A&M University(得克萨斯农工大学);Washington State University(华盛顿州立大学)
变分自动编码器(VAE)的核心思想类似于传统的自动编码器模型,其中空间信息应该被显式编码在潜在空间中。然而,VAE中的潜变量是向量,可以解释为大小为1x1的多个特征图。这种表示只能在与强大的解码器相结合时隐含地传达空间信息。在这项工作中,我们提出了空间VAE,使用较大尺寸的特征图作为潜在变量,以明确地捕捉空间信息。这是通过允许从矩阵变量正态(MVN)分布(其参数从编码器网络计算)中采样潜变量来实现的。为了增加潜在特征图上位置之间的依赖性并减少参数的数量,我们进一步提出了通过低秩MVN分布的空间VAE。实验结果表明,所提出的空间VAE在捕获丰富的结构和空间信息方面优于原始VAE。
2019-01-22 cs.CV cs.LG cs.NE
Hierarchical Variational Auto-Encoding for Unsupervised Domain Generalization
LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司)
我们解决领域泛化的任务,目标是训练预测模型,使其能够泛化到一个新的,以前看不见的领域。我们选择了一个分层生成的方法的框架内的变分自编码器,并提出了一个域无监督算法,能够推广到新的领域没有域监督。我们表明,我们的方法能够学习表示,即使在复杂的设置中,在训练过程中没有观察到域结构,也能从类标签特定的信息中分离出特定于域的信息。我们的可解释的方法优于先前提出的生成算法的领域泛化,以及其他非生成国家的最先进的方法,在几个层次域设置,包括连续重叠近连续域移位。与依赖于在训练期间观察特定于域的信息的最先进的方法以及另一种域无监督方法相比,它还在标准领域泛化基准数据集PACS上实现了具有竞争力的性能。此外,我们提出了纯粹基于证据下限(ELBO)的模型选择,还提出了弱域监督,其中隐式域信息可以添加到算法中。
2021-05-14 cs.CV cs.LG stat.ML
Timbre Transfer with Variational Auto Encoding and Cycle-Consistent Adversarial Networks
School of Electronic Engineering and Computer Science(电子工程与计算机科学学院);Queen Mary University of London(伦敦玛丽女王大学);School of Mathematical Sciences(数学科学学院)
本研究项目研究深度学习在音色转换中的应用,其中源音频的音色可以以最小的质量损失转换为目标音频的音色。所采用的方法结合了变分自编码器与生成对抗网络,以构建源音频的有意义的表示,并产生目标音频的现实世代,并应用于Flickr 8k音频数据集,用于在扬声器之间传输声音音色,并应用于URMP数据集,用于在乐器之间传输音乐音色。此外,所采用的方法的变化进行了训练,并使用度量SSIM(结构相似性指数)和FAD(Frechét音频距离)比较了广义性能。有人发现,多对多的方法取代一对一的方法在重建能力方面,并通过一个基本的瓶颈剩余块设计是更适合于丰富的内容信息的潜在空间。还发现,关于循环损失是否采用变分自编码器或香草自编码器方法的决定对模型的重构和对抗翻译方面没有显著影响。
2021-10-10 cs.AI cs.CV cs.LG
Auto-Encoding Knowledge Graph for Unsupervised Medical Report Generation
Peking University(北京大学);Yale University(耶鲁大学);Tencent(腾讯);University of Washington(华盛顿大学)
医学报告生成是针对给定的医学图像自动生成长而连贯的报告的一种方法,已经受到越来越多的研究兴趣。现有的方法主要采用监督的方式,严重依赖于耦合的图像报告对。然而,在医学领域,构建大规模的图像-报告配对数据集既耗时又昂贵。为了放松对配对数据的依赖,我们提出了一个无监督模型知识图谱自动编码器(KGAE),它接受独立的图像和报告集的训练。KGAE由一个预先构造的知识图谱、一个知识驱动的编码器和一个知识驱动的解码器组成。知识图谱作为共享的潜在空间来桥接视觉域和文本域;知识驱动的编码器将医学图像和报告投影到该潜在空间中的相应坐标,并且知识驱动的解码器在该空间中给定坐标的情况下生成医学报告。由于知识驱动的编码器和解码器可以用独立的图像和报告集进行训练,因此KGAE是无监督的。实验表明,无监督KGAE生成理想的医疗报告,而不使用任何图像报告训练对。此外,KGAE还可以在半监督和监督设置下工作,并在训练中接受配对的图像和报告。通过对图像-报告对的进一步微调,KGAE在两个数据集上的表现始终优于当前最先进的模型。
2021-11-15 cs.AI cs.CL cs.CV