Adjoint-based shape optimization of a ship hull using a Conditional Variational Autoencoder (CVAE) assisted propulsion surrogate model
Institute for Fluid Dynamics and Ship Theory, Hamburg University of Technology(流体动力学与船舶理论研究所,汉堡技术大学)
本文提出利用条件变分自编码器构建推进代理模型,通过优化船舶船体形状,实现阻力降低超过8%。
2026-09-29 cs.LG physics.flu-dyn
Autoencoding beyond pixels using a learned similarity metric
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学);Twitter
我们提出了一个自动编码器,它利用学习的表示来更好地测量数据空间中的相似性。通过将变分自编码器与生成对抗网络相结合,我们可以使用GAN中的学习特征表示作为VAE重建目标的基础。因此,我们用特征错误替换元素错误,以更好地捕获数据分布,同时提供对例如翻译的不变性。我们将我们的方法应用于人脸图像,并表明它在视觉保真度方面优于VAE与元素相似性度量。此外,我们表明,该方法学习的嵌入,其中高层次的抽象视觉特征(如戴眼镜)可以使用简单的算法进行修改。
2016-02-10 cs.CV cs.LG stat.ML
Generating Images with Perceptual Similarity Metrics based on Deep Networks
University of Freiburg(弗莱堡大学)
图像生成机器学习模型通常使用基于图像空间中的距离的损失函数来训练。这通常会导致过度平滑的结果。我们提出了一类损失函数,我们称之为深度感知相似性度量(DeePSiM),以减轻这个问题。我们不是计算图像空间中的距离,而是计算由深度神经网络提取的图像特征之间的距离。该度量更好地反映了图像的感知相似性,从而导致更好的结果。我们展示了三个应用:自动编码器训练,变分自编码器的修改,以及深度卷积网络的逆。在所有情况下,生成的图像看起来清晰,类似于自然图像。
2016-02-09 cs.CV cs.LG cs.NE
Generating Data using Monte Carlo Dropout
West University of Timisoara(蒂米什瓦拉西部大学);University of Ljubljana(卢布尔雅那大学)
对于许多分析问题来说,挑战在于处理大量可用数据。然而,存在收集信息困难且成本高的数据科学应用领域,例如,在许多此类情况下,具有与实际数据相同的统计和预测属性的合成数据生成器允许有效的模拟和工具及应用程序的开发。在这项工作中,我们提出了将蒙特卡罗辍学方法内的自动编码器(MCD-AE)和变分自动编码器(MCD-VAE)作为合成数据集的有效生成器。由于变分自动编码器(VAE)是最流行的生成器技术之一,我们探讨了它的相似性和差异所提出的方法。我们比较生成的数据集与原始数据的基础上的统计特性,结构相似性和预测相似性。结果表明,VAE,MCD-VAE和MCD-AE的结果之间有很强的相似性,但是,所提出的方法更快,可以生成类似于特定的初始实例的值。
2019-09-16 cs.LG stat.ML
Conditional Deep Hierarchical Variational Autoencoder for Voice Conversion
DeNA Co., Ltd.(DeNA有限公司);University of Tokyo(东京大学);The University of Electro-Communications(电气通信大学)
基于变分自编码器的语音转换(VAE-VC)具有仅需要成对的语音和说话者标签用于训练的优点。与大多数VAE-VC的研究,重点是利用辅助损失或离散化的潜变量,本文研究了如何增加模型的表现力有好处和影响的VAE-VC。具体来说,我们首先分析VAE-VC从率失真的角度来看,并指出,模型的表现力是重要的VAE-VC,因为率和失真反映的相似性和自然的转换语音。基于分析,我们提出了一种新的VC方法,使用一个深层次的VAE,它具有高的模型表现力,以及由于其非自回归解码器具有快速的转换速度。此外,我们的分析还揭示了另一个问题,即当VAE的潜变量具有冗余信息时,相似性会降低。我们解决这个问题,通过使用$β$ -VAE目标控制包含在潜变量中的信息。在使用VCTK语料库的实验中,所提出的方法在跨性别设置中的自然度和相似度上的平均意见得分均高于3.5,高于现有的基于自动编码器的VC方法的得分。
2021-12-06 cs.LG cs.SD eess.AS
Multiple Imputation for Biomedical Data using Monte Carlo Dropout Autoencoders
West University of Timisoara(蒂米什瓦拉西部大学);University of Ljubljana(卢布尔雅那大学)
由于复杂的实验设置,缺失值在生物医学数据中很常见。为了处理这个问题,已经提出了许多方法,从忽略不完整的实例到各种数据填补方法。随着最近深度神经网络的兴起,缺失数据填补的领域已经面向数据分布的建模。本文提出了一种基于Monte Carlo dropout的方法(变分)Autoencoders,它不仅提供了非常好的适应数据的分布,而且还允许生成新的数据,适应每个特定的实例。实验结果表明,该方法可以有效地提高插补误差和预测相似度。
2020-05-13 cs.LG stat.ML
Quantization-Based Regularization for Autoencoders
KTH Royal Institute of Technology(瑞典皇家理工学院);Research Institutes of Sweden(瑞典研究机构)
自动编码器及其变体提供了无监督模型,用于学习下游任务的低维表示。如果没有适当的正则化,自动编码器模型容易受到过拟合问题和所谓的后验崩溃现象的影响。在本文中,我们在自动编码器模型的瓶颈阶段引入了一个基于量化的正则化器来学习有意义的潜在表示。我们结合了矢量量化-变分自编码器(VQ-VAE)和神经网络的经典去噪正则化方法。我们将量化器解释为正则化器,其约束潜在表示,同时在编码器处促进保持相似性的映射。在量化之前,我们对潜在代码施加噪声,并使用贝叶斯估计器来优化基于量化器的表示。引入的瓶颈贝叶斯估计器输出的后验均值的质心的解码器,因此,正在执行软量化的噪声潜在的代码。我们表明,我们提出的正则化方法相比,使用其他瓶颈结构的自动编码器,在改进的潜在表示的监督学习和集群下游任务。
2020-01-22 cs.LG stat.ML
How good are variational autoencoders at transfer learning?
University of Kent(肯特大学)
本文利用 CKA 分析不同数据集上 VAE 的表征相似性,发现编码器表征通用、解码器表征特定,并据此提出组件重训选择与迁移效果可视化评估方法。
2023-04-21 cs.LG
Variational Autoencoders with a Structural Similarity Loss in Time of Flight MRAs
Image Sciences Institute, University Medical Center Utrecht(乌得勒支大学医学中心影像科学研究所);Department of Radiology, University Medical Center Utrecht(乌得勒支大学医学中心放射科);Department of Neurology and Neurosurgery, UMC Utrecht Brain Center, University Medical Center Utrecht(乌得勒支大学医学中心神经病学与神经外科系,乌得勒支大学医学中心脑中心)
飞行时间磁共振血管造影(TOF-MRA)可实现脑动脉的可视化和分析。这种分析可以指示脑血管系统的配置的正常变化或血管异常,例如动脉瘤。一个模型将是有用的,以代表正常的脑血管结构和变异性在一个健康的人口,并从异常区分。目前使用自动编码卷积神经网络的异常检测通常使用体素平均误差进行优化。我们建议优化变分自动编码器(VAE)与结构相似性损失(SSIM)的TOF-MRA重建。通过比较原始和重建MRA的血管分割,优化了用于TOF-MRA重建的块训练的2D全卷积VAE。该方法在两个数据集上进行了训练和测试:IXI数据集和ADAM挑战的子集。两个训练过的网络都在包括动脉瘤受试者的数据集上进行了测试。我们比较了VAE优化与L2损失和SSIM损失。使用均方误差,平均SSIM,峰值信噪比和切片相似性指数(DSI)的分割血管的原始和重建MRA之间的性能进行了评估。L2优化的VAE优于SSIM,两个数据集的重建指标和DSI都有所改善。使用SSIM优化的视觉图像质量最好,但在定量重建和血管分割的差异。更大、更多样化的IXI数据集具有更好的整体性能。包括动脉瘤在内的MRA的重建指标(包括SSIM)较低。SSIM优化的VAE改善了TOF-MRA重建的视觉感知图像质量。L2优化的VAE对于TOF-MRA重建表现最好,其中血管分割很重要。SSIM是MRA异常检测的潜在度量。
2021-01-20 cs.CV cs.LG eess.IV
Factorized Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院);Warwick University(华威大学)
变分自动编码器通常假设各向同性高斯先验和平均场后验,因此在我们可能期望潜在变量之间的相似性或一致性的情况下不会利用结构。高斯过程变分自编码器通过使用潜在的高斯过程来缓解这个问题,但是导致立方推理时间复杂度。我们提出了一个更可扩展的扩展这些模型,利用独立的辅助功能,这是目前在许多数据集。我们的模型在不同的维度上分解了这些特征的潜在内核,导致了显着的加速(理论和实践),同时根据经验对现有的不可扩展方法进行了改进。此外,我们的方法允许额外的全球潜在信息的建模和更一般的外推到看不见的输入组合。
2020-11-14 cs.CV cs.LG stat.ML
SimVAE: Simulator-Assisted Training forInterpretable Generative Models
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院)
本文提出了一种模拟器辅助训练方法(SimVAE)的变分自动编码器(VAE),导致一个解开和解释的潜在空间。训练SimVAE是一个两步过程,首先训练深度生成器网络(解码器)以近似模拟器。在此步骤中,模拟器充当数据源或教师网络。然后训练推理网络(编码器)来反转解码器。因此,在完成训练时,编码器表示近似倒置的模拟器。通过解耦编码器和解码器的训练,我们绕过了训练生成模型(如VAE和生成对抗网络(GANs))时出现的一些困难。我们展示了我们的方法在各种领域的应用,如电路设计,图形去渲染和其他自然科学问题,涉及通过仿真推理。
2019-11-19 cs.LG stat.ML
AE-Flow: AutoEncoder Normalizing Flow
Amazon Alexa AI(亚马逊 Alexa AI)
本文提出AE-Flow,一种在归一化流训练中引入重构损失监督的范式,无需平行数据,通过结合NLL与重构损失,在语音转换中提升说话人相似度、自然度和可懂度,优于最先进基线。
2023-12-27 cs.LG cs.SD eess.AS
Image Quality Assessment Techniques Show Improved Training and Evaluation of Autoencoder Generative Adversarial Networks
Carleton University(卡尔顿大学)
我们提出了一种自动编码器生成对抗网络(GANs)的训练和评估方法,特别是边界平衡生成对抗网络(BEGAN),基于图像质量评估文献中的方法。我们的方法探讨了一个多维的评价标准,利用三个距离函数:一个$l_1$分数,梯度幅度相似性平均值(GMSM)分数,和色度分数。我们发现,每个不同的距离函数捕捉图像空间中的一组略有不同的属性,因此,需要自己的评估标准,以正确评估相关属性是否已经充分学习。我们证明了使用新距离函数的模型能够以预测的方式产生比原始BEGAN模型更好的图像。
2017-08-06 cs.CV cs.LG
F0-consistent many-to-many non-parallel voice conversion via conditional autoencoder
Adobe Research(Adobe研究院)
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。许多风格转移启发的方法,如生成对抗网络(GANs)和变分自编码器(VAE)已被提出。最近,AutoVC,一个条件自动编码器(CAE)为基础的方法取得了国家的最先进的成果,通过解开使用信息约束瓶颈的说话人身份和语音内容,它实现了zero-shot转换,通过交换在不同的说话人的身份嵌入合成一个新的声音。然而,我们发现,虽然说话人身份从语音内容中解脱出来,但大量的韵律信息,如源F0,通过瓶颈泄漏,导致目标F0不自然地波动。此外,AutoVC无法控制转换后的F0,因此不适用于许多应用。在本文中,我们修改和改进了基于自动编码器的语音转换,以同时解开内容,F0和说话人身份。因此,我们可以控制F0轮廓,生成与目标说话人F0一致的语音,并显着提高质量和相似度。我们通过定量和定性分析来支持我们的改进。
2020-04-15 cs.LG cs.SD eess.AS
Adversarial Images for Variational Autoencoders
University of Campinas (Unicamp)(坎皮纳斯州立大学)
我们研究自动编码器的对抗攻击。我们提出了一个程序,扭曲的输入图像误导自动编码器重建一个完全不同的目标图像。我们攻击内部潜在表征,试图使敌对输入产生与目标尽可能相似的内部表征。我们发现,自编码器比分类器更强大的攻击:虽然有些例子有可容忍的小输入失真,和合理的相似性的目标图像,有一个准线性的权衡这些目标。我们报告了MNIST和SVHN数据集的结果,并测试了常规的确定性自动编码器,在所有情况下都得出了类似的结论。最后,我们表明,通常的对抗攻击的分类器,而更容易,也提出了一个直接的比例失真的输入,和误导的输出。然而,这种比例性被输出的归一化所隐藏,它将线性层映射为非线性概率。
2016-12-01 cs.CV cs.LG cs.NE
Unsupervised Representation Disentanglement using Cross Domain Features and Adversarial Learning in Variational Autoencoder based Voice Conversion
Nagoya University(名古屋大学);Academia Sinica(中央研究院)
语音转换(VC)的一个有效方法是将语言内容从语音信号的其他成分中分离出来。例如,基于变分自动编码器(VAE)的VC(VAE-VC)的有效性强烈依赖于该原理。在我们之前的工作中,我们提出了一个跨域VAE-VC(CDVAE-VC)框架,它利用不同属性的声学特征,以提高VAE-VC的性能。我们相信,成功来自于更清晰的潜在表征。在本文中,我们通过引入对抗学习的概念来扩展CDVAE-VC框架,以进一步提高解纠缠的程度,从而提高转换语音的质量和相似性。更具体地说,我们首先研究了将生成对抗网络(GANs)与CDVAE-VC相结合的有效性。然后,我们考虑域对抗训练的概念,并添加一个显式约束的潜在表示,实现了一个扬声器分类器,明确消除扬声器的信息,驻留在潜在代码。实验结果表明,GANs和说话人分类器都可以提高学习到的潜在表征的解纠缠程度。同时,主观评价结果的质量和相似性分数证明了我们提出的方法的有效性。
2020-02-07 cs.CL cs.LG cs.SD
Many-to-Many Voice Conversion based Feature Disentanglement using Variational Autoencoder
Vinai Research(维奈研究院);Deezer Research and Development(迪泽研发中心)
语音转换是一项具有挑战性的任务,它将源说话人的语音特征转换为目标说话人,而不改变语言内容。近年来,基于变分自编码器(VAE)的多对多语音转换(VC)取得了很好的效果,但这些方法缺乏区分说话人身份和语言内容的能力,无法在说话人不存在的情况下取得良好的性能。本文提出了一种基于特征分解的多对多语音转换方法。该方法具有从话语中分离出说话人身份和语言内容的能力,它可以通过单个自编码器网络从多个源说话人转换为多个目标说话人。此外,它自然地处理看不见的目标说话者场景。我们进行客观和主观的评价,以显示我们提出的方法与其他国家的最先进的模型相比,在自然度和目标说话人相似性的竞争力表现。
2021-07-11 cs.LG cs.SD eess.AS
Adversarially Approximated Autoencoder for Image Generation and Manipulation
正则化自动编码器学习潜在代码,这是一种在分布下具有正则化的结构,这使它们能够在给定观察值的情况下推断潜在代码并在给定代码的情况下生成新样本。然而,它们有时是模糊的,因为它们往往产生不一定是输入的忠实再现的重建。主要原因是在真实分布仍然未知的情况下,强制学习的潜在代码分布与先验分布相匹配。为了提高重构质量和学习潜在空间的流形结构,这项工作提出了一种新的方法,使用对抗近似的自编码器(AAAE)调查潜在代码与对抗近似。AAAE没有通过惩罚模型和目标分布之间的距离来正则化潜在代码,而是灵活地学习自动编码器,并使用更简单的生成器来近似潜在空间。使用生成对抗网络(GAN)来估计该比率,以加强分布的相似性。此外,图像空间用额外的对抗正则化器正则化。所提出的方法统一了潜在空间推理和多样生成的两个深度生成模型。学习方案的实现没有正则化的潜在代码,这也鼓励忠实的重建。在四个真实世界数据集上的广泛验证实验证明了AAAE的优越性能。与最先进的方法相比,AAAE生成的样本质量更好,并具有良好的潜在流形结构,具有正则化自动编码器的特性。
2019-02-14 cs.CV cs.LG eess.IV
Phenotypic Profile-Informed Generation of Drug-Like Molecules via Dual-Channel Variational Autoencoders
College of Computer and Information Engineering, Nanjing Tech University(计算机与信息工程学院,南京科技大学)
本文提出SmilesGEN双通道变分自编码器,联合建模药物扰动与转录响应,利用基因特征生成具有理想表型诱导潜力的类药分子,并在有效性、新颖性和药物相似性等指标上优于现有方法。
2025-06-01 cs.AI cs.LG q-bio.BM
Attention Based Molecule Generation via Hierarchical Variational Autoencoder
本文提出一种分层结合循环神经网络与卷积网络的变分自编码器方法,用于从SMILES字符串生成分子,在保持长程依赖的同时将已知分子重建有效率提升至约95%,并取得平均0.6的Tanimoto相似度,优于此前类似方法。
2024-01-18 cs.LG q-bio.BM
Generative Latent Alignment for Interpretable Radar Based Occupancy Detection in Ambient Assisted Living
本文提出GLA框架,结合变分自编码器和CLIP文本编码器,通过潜在空间对齐实现雷达占用检测的可解释性,通过Grad-CAM可视化决策区域,并验证雷达特定锚点对解释效果的重要性。
2026-01-27 cs.LG eess.SP
Exploring Transformer Placement in Variational Autoencoders for Tabular Data Generation
Faculty of Sciences, University of Porto(科学学院,波尔图大学);Faculty of Engineering, University of Porto(工程学院,波尔图大学)
本文研究了在变分自编码器中部署变换器以生成表格数据的影响,发现变换器的位置会影响保真度与多样性的平衡,并在解码器中观察到线性关系。
2026-01-28 cs.AI cs.LG
Conditional Variational Autoencoder with Balanced Pre-training for Generative Adversarial Networks
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);School of Computer Science, University of Technology Sydney(悉尼科技大学计算机科学学院)
类别不平衡发生在许多现实世界的应用中,包括图像分类,其中每个类别中的图像数量显著不同。对于不平衡的数据,生成对抗网络(GANs)倾向于多数类样本。最近提出的两种方法,平衡GAN(BAGAN)和改进的BAGAN(BAGAN-GP),作为一种增强工具来处理这个问题,并恢复平衡的数据。前者以无监督的方式预训练自动编码器权重。然而,当来自不同类别的图像具有相似的特征时,它是不稳定的。后者是在BAGAN的基础上改进的,通过促进监督自动编码器训练,但预训练偏向于大多数类。在这项工作中,我们提出了一种新的条件变分自编码器与平衡的预训练生成对抗网络(CAPGAN)作为增强工具,以生成逼真的合成图像。特别地,我们利用具有监督和平衡预训练的条件卷积变分自编码器来进行GAN初始化和具有梯度惩罚的训练。我们提出的方法在高度不平衡的MNIST,Fashion-MNIST,CIFAR-10和两个医学成像数据集上表现出其他最先进的方法的优越性能。我们的方法可以合成高质量的少数样本的Fréchet初始距离,结构相似性指标和感知质量。
2022-01-13 cs.CV cs.LG eess.IV
Learning a Representation Map for Robot Navigation using Deep Variational Autoencoder
University of Amsterdam(阿姆斯特丹大学)
这项工作的目的是使用变分自编码器(VAE)学习的室内环境,可用于机器人导航的表示。我们使用从视频中提取的图像,其中摄像机在房屋周围巡视,用于训练具有4维潜在空间的VAE模型。模型训练完成后,每一帧图像在潜空间的流形上都有一个对应的表示点,每个表示点都有对应的重构图像。对于导航问题,我们将起始图像和目的地图像映射到潜在空间,然后在学习的流形上优化连接两点的路径,最后通过解码器将路径映射回图像序列。理想的图像序列应对应于空间上连续的路线,即路线中的相邻图像应对应于物理空间中的相邻位置。这样的路线可以用于利用计算机视觉技术的导航,即机器人可以逐步地在环境中从起始位置到目的地跟随图像序列。我们实现了该算法,但在我们的实验结果中发现,所得到的路由是不令人满意的。该路径由多个沿理想路径的不连续图像帧组成,使得在实际应用中,采用计算机视觉技术的机器人无法跟踪该路径。在我们的评估中,我们提出了两个原因,我们未能自动找到连续的路线:(1)VAE往往捕捉全局结构,但放弃的细节;(2)用于衡量房屋图像之间的连续性的欧几里得相似性度量是次优的。对于进一步的工作,我们建议:尝试其他生成模型,如VAE-GAN,它们可能更好地重建细节以学习表示图,并调整路径选择算法中的相似性度量。
2018-09-13 cs.CV cs.LG cs.RO
SimEx: Express Prediction of Inter-dataset Similarity by a Fleet of Autoencoders
IBM(国际商业机器公司);Yonsei University(延世大学);Oak Ridge National Laboratory(橡树岭国家实验室)
了解数据集之间的相似性在训练有效模型方面具有许多积极的意义,例如帮助从已知数据集中进行明智的选择,以利于模型转移或未知数据集的数据增强问题。估计数据之间相似性的常见做法包括在原始样本空间中进行比较,在嵌入空间中从执行特定任务的模型进行比较,或者用不同的数据集微调预训练模型并评估其性能变化。然而,这些做法会受到肤浅的比较,特定于任务的偏见,或执行比较所需的大量时间和计算的影响。我们提出了SimEx,这是一种使用一组预训练的自编码器来早期预测数据集间相似性的新方法,其中每个自编码器都致力于重建已知数据的特定部分。具体来说,我们的方法将未知的数据样本作为这些预训练的自动编码器的输入,并评估重建的输出样本与其原始输入样本之间的差异。我们的直觉是,未知数据样本与自动编码器训练的已知数据部分之间的相似性越大,自动编码器利用其训练知识重建更接近原始数据的输出样本的机会就越大。我们证明,与常见的相似性估计实践相比,我们的方法在预测数据集间相似性方面实现了10倍以上的速度提升。我们还证明了,通过我们的方法估计的数据集间相似性与常见的实践具有良好的相关性,并且优于在样本或嵌入空间进行比较的基线方法,而无需在比较时进行新的训练。
2020-01-14 cs.CV cs.LG
Mixture-of-Experts Variational Autoencoder for Clustering and Generating from Similarity-Based Representations on Single Cell Data
ETH Zürich(苏黎世联邦理工学院);Life Science Graduate School Zurich(苏黎世生命科学研究生院);Swiss Institute of Bioinformatics(瑞士生物信息学研究所);University of Tübingen(图宾根大学)
聚类高维数据,如图像或生物测量,是一个长期存在的问题,并已被广泛研究。最近,深度聚类由于其在适应复杂数据的特定特性方面的灵活性而受到欢迎。本文介绍了一种新的生成式聚类模型MoE-Sim-VAE(混合专家模型Similarity变分自编码器),该模型能够学习高维数据的多模态分布,并利用这些分布高效地生成真实数据。MoE-Sim-VAE基于变分自编码器(VAE),其中解码器由混合专家模型(MoE)架构组成。这种特定的架构允许通过专家自动学习数据的各种模式。此外,我们鼓励我们模型的低维潜在表示遵循高斯混合分布,并准确表示数据点之间的相似性。我们评估了我们的模型在MNIST基准数据集上的性能,并挑战了从单细胞RNA测序测量中聚类小鼠器官和从数百个不同数据集上的质谱仪(CyTOF)测量中定义细胞亚群的现实任务。与基线以及竞争对手的方法相比,MoE-Sim-VAE在所有这些任务上都表现出卓越的聚类性能。
2020-12-18 cs.LG stat.ML
Autoencoder for Position-Assisted Beam Prediction in mmWave ISAC Systems
Faculty of Engineering and Applied Science(工程与应用科学学院);Faculty of Engineering at Shoubra Benha University(谢布拉本哈大学工程学院)
本文提出轻量级自编码器模型,通过结合位置信息降低计算复杂度,实现毫米波ISAC系统中波束预测的高精度与低开销。
2025-11-23 cs.LG eess.SP
Autoencoder-assisted Feature Ensemble Net for Incipient Faults
Institue of education, Tsinghua University(清华大学教育学院);City University of Hong Kong(香港城市大学);University of Electronic Science and Technology of China(电子科技大学);Department of Automation, Tsinghua University(清华大学自动化系)
针对早期微小故障检测难题,提出基于无监督自编码器的深度特征集成框架AE-FENet,在TEP故障3、9和15上实现超96%的准确率,显著超越现有方法。
2024-04-22 cs.AI cs.LG cs.SY
Joint Utilization of Geospatial and census proxies for Autoencoder-Assisted Downscaling (JUGAAD) of socioeconomic indicators in India
University of Florida(佛罗里达大学);Texas A&M University(德克萨斯农工大学)
针对印度社会经济指标数据尺度不匹配问题,提出JuGAAD深度学习框架,通过三步流程,即数据平均化、自动编码器压缩、回归模型映射,利用人口普查和地理空间数据生成高分辨率预测,且预测准确率高。
2026-07-24 cs.AI cs.LG
Application of Autoencoder-Assisted Recurrent Neural Networks to Prevent Cases of Sudden Infant Death Syndrome
Fayetteville-Manlius High School(费耶特维尔-曼利厄斯高中)
该项目开发和训练了一个循环神经网络(RNN),该网络通过辅助麦克风监测睡眠中的婴儿,以发现婴儿猝死综合征(SIDS)的病例,表现为突然或逐渐的呼吸停止。为了最大限度地减少侵入性并最大限度地提高经济可行性,驻极体麦克风和抛物面聚光器与专门设计和调谐的放大器电路配对,用作非常灵敏的音频监测设备,将数据馈送到RNN模型。该RNN在频域中进行训练和操作,其中呼吸活动与噪声最为独特。在训练和操作中,对原始音频应用傅立叶变换和自动编码器压缩,并且将该变换的音频数据以1/8秒的时间步长馈送到模型中。在操作中,该模型标记每次感知到的呼吸,并通过斜率统计T检验分析呼吸之间的时间,从而检测危险趋势。整个模型在连续数据上达到了92.5%的准确率,并且在模拟完全呼吸骤停的数据上具有11.25秒的响应率。由于训练模型与许多现成设备(如Android手机和Raspberry Pi)的兼容性,独立的处理硬件部署是一个非常可行的未来目标。
2019-08-05 cs.LG
Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders
MVTec Software GmbH(MVTec软件有限公司);University of Amsterdam(阿姆斯特丹大学)
卷积自动编码器已经成为图像数据上无监督缺陷分割的流行方法。最常见的是,通过基于$\ell^p$距离对逐像素重建误差进行阈值化来执行该任务。然而,这个过程会导致大的残差,每当重建包含轻微的定位边缘周围的不准确。当强度值保持大致一致时,它也无法揭示视觉上已经改变的缺陷区域。我们发现,这些问题阻止这些方法被应用到复杂的现实世界的情况下,它不能很容易地避免采用更精细的架构,如变分或功能匹配的自动编码器。我们建议使用一个感知损失函数的基础上,结构相似性,检查局部图像区域之间的相互依赖关系,考虑到亮度,对比度和结构信息,而不是简单地比较单个像素值。它在具有挑战性的纳米纤维材料的真实世界数据集和两种编织织物的新型数据集上实现了显着的性能增益,超过了使用逐像素重建误差度量的无监督缺陷分割的最新方法。
2019-02-01 cs.CV cs.LG
Improving Chemical Autoencoder Latent Space and Molecular De novo Generation Diversity with Heteroencoders
Wildcard Pharmaceutical Consulting(万卡医药咨询公司);Science Data Software LLC(科学数据软件有限责任公司)
化学自动编码器是有吸引力的模型,因为它们将化学空间导航与感兴趣领域的从头分子生成的可能性相结合。这使他们能够围绕单个先导化合物产生集中的化学库,以便在药物发现项目的早期使用。在这里,它表明,选择的化学表示,如SMILES字符串,有很大的影响的潜在空间的属性。进一步探讨了不同化学表征之间的翻译在多大程度上影响了SMILES字符串或圆形指纹的潜在空间相似性。采用SMILES枚举的编码器或解码器,它被发现,解码器具有最大的潜在空间的属性的影响。训练基于具有长短期记忆细胞(LSTM)的递归神经网络(RNN)的序列到序列异源编码器以从相同的规范SMILES串预测不同的枚举SMILES串,给出了潜在空间距离和测量为圆形指纹相似性的分子相似性之间的最大相似性。使用五个分子数据集的QSAR建模中的瓶颈的输出表明,heteroencoder衍生的向量显着优于autoencoder衍生的向量以及使用ECFP 4指纹构建的模型,强调潜在空间的化学相关性增加。然而,在解码器的训练期间使用枚举导致解码到与编码不同的分子的速率显著增加,这一趋势可以用更复杂的网络架构来抵消。
2018-09-17 cs.LG stat.ML
Label Assisted Autoencoder for Anomaly Detection in Power Generation Plants
Rhodes University(罗德斯大学);African Institute for Mathematical Sciences(非洲数学科学研究所);Ghana Space Science and Technology Institute(加纳空间科学技术研究所);Ghana Atomic Energy Commission(加纳原子能委员会);University of Ngaoundéré(恩冈代雷大学);University of Ferrara(费拉拉大学)
推动一个国家经济发展并保证其工业可持续性的关键因素之一是电力的持续供应。这通常由国家电网提供。然而,在包括电信业在内的公司不断涌现的发展中国家,电力供应仍然不稳定。因此,他们必须依靠发电机来保证其全部功能。这些发电机依靠燃料运转,如果没有适当的监测,消耗率通常很高。监控操作通常由(非专家)人员执行。在某些情况下,这可能是一个繁琐的过程,因为一些公司报告了夸大的高消费率。这项工作提出了一个标签辅助自动编码器的异常检测发电厂所消耗的燃料。除了自动编码器模型之外,我们还添加了一个标记辅助模块,用于检查观察是否被标记,该标签用于检查给定阈值的相应异常分类的准确性。然后就是否应该停止训练或是否应该更新阈值或训练是否应该继续搜索超参数达成共识。实验结果表明,该模型能够高效地读取异常,检测精度达到$97.20\%$,优于现有的$96.1\%$模型在相同数据集上训练的检测精度。此外,所提出的模型是能够分类的异常,根据其严重程度。
2023-02-06 cs.AI cs.LG
A CNN-based End-to-End Learning for RIS-assisted Communication System
Center for Wireless Communications, University of Oulu(奥卢大学无线通信中心)
针对RIS辅助通信系统,本文提出基于CNN的自动编码器端到端框架,联合优化收发机与RIS的编码解码、信道估计、相位及调制解调,数值表明其BER优于理论性能。
2025-03-18 cs.LG
Ranking-Enhanced Anomaly Detection Using Active Learning-Assisted Attention Adversarial Dual AutoEncoders
New York University(纽约大学);NYUAD, Division of Science(纽约大学亚当分校,科学学院);The University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
本文提出一种结合主动学习和注意力对抗双自编码器的异常检测方法,通过减少标注成本提升检测精度,适用于APT检测的不平衡数据集。
2025-11-25 cs.AI cs.CR cs.LG
LLM-assisted Vector Similarity Search
Grab(Grab公司)
本文提出一种将向量相似性搜索与LLM相结合的两步混合检索方法,先用向量搜索筛选候选,再用LLM进行上下文感知排序,以提升复杂查询的搜索准确性,同时保持效率。
2024-12-30 cs.AI cs.IR cs.LG
Learning Representations of Event Time Series with Sparse Autoencoders for Anomaly Detection, Similarity Search, and Unsupervised Classification
Stanford University;Center for Astrophysics | Harvard \& Smithsonian
针对事件时间序列不规则、非结构化导致难以提取模式的挑战,提出二维和三维张量表示结合稀疏自编码器学习潜在嵌入,支持异常检测、相似性检索、语义聚类和无监督分类等下游任务,并在X射线天文数据上验证了其有效性与通用性。
2025-10-11 astro-ph.HE astro-ph.IM cs.AI
Preserving Node Distinctness in Graph Autoencoders via Similarity Distillation
University of Chinese Academy of Sciences(中国科学院大学);Renmin University of China(中国人民大学)
针对图自编码器仅依赖单一重构标准导致节点表示坍缩的问题,提出基于知识蒸馏的相似性蒸馏策略,通过KL约束将原始图的独特性迁移至重构图,实验证明其作为即插即用方法能有效提升多类图任务的性能。
2024-06-25 cs.AI cs.LG
Interpretable Company Similarity with Sparse Autoencoders
London School of Economics(伦敦经济学院);Tower Research Capital(塔罗研究资本)
本研究将稀疏自编码器应用于公司描述,提取可解释特征以衡量公司相似性,优于传统分类和嵌入方法,并在协整交易中产生更高夏普比率。
2025-05-24 cs.CL cs.LG econ.GN
Similarity-Based Bike Station Expansion via Hybrid Denoising Autoencoders
Department of Engineering Cybernetics Norwegian University of Science(工程 cybernetics 系 Norwegian 科学大学);Department of Architecture(建筑系);Planning Norwegian University of Science(规划 Norwegian 科学大学)
本文提出利用现有站点模式指导扩展决策的方法,通过混合去噪自编码器学习潜在表示,提升空间聚类和分配效果,验证了在数据受限环境下扩展选址的鲁棒性。
2026-04-17 cs.LG
Application of generative autoencoder in de novo molecular design
AstraZeneca R&D Gothenburg(阿斯利康研发哥德堡);University of Bonn(波恩大学)
计算化学的一个主要挑战是产生具有理想药理学和生理化学性质的新型分子结构。在这项工作中,我们研究了自动编码器,一种深度学习方法,从头分子设计的潜在用途。使用各种生成式自动编码器将分子结构映射到连续的潜在空间中,反之亦然,并评估它们作为结构生成器的性能。我们的研究结果表明,潜在空间保持化学相似性原则,因此可以用于生成类似物结构。此外,系统地搜索由自动编码器创建的潜在空间以产生具有针对多巴胺受体2型的预测活性的新型化合物,并且鉴定了与训练集中未包括的已知活性化合物相似的化合物。
2017-11-21 cs.LG stat.ML
Quantum-Classical Hybrid Molecular Autoencoder for Advancing Classical Decoding
本文提出一种量子-经典混合自编码器用于SMILES字符串重建,通过结合量子编码与经典序列建模,实现约84%量子保真度和60%经典重建相似度,超越现有量子基线,为分子与药物发现中的量子感知序列模型奠定基础。
2025-08-28 cs.LG quant-ph
Beyond a Bag of Features: Set-Level Instability in Sparse Autoencoders
Heidelberg University(海德堡大学)
该研究以稀疏自编码器(SAE)隐集合重叠度为相似度度量,发现SAE特征不通过简单特征袋语义组合,其激活集合与人类概念判断存在显著不匹配。
2026-08-12 cs.CL cs.LG
Physically-Constrained Autoencoder-Assisted Bayesian Optimization for Refinement of High-Dimensional Defect-Sensitive Single Crystalline Structure
Bredesen Center for Interdisciplinary Research, University of Tennessee, Knoxville, USA(跨学科研究中心,田纳西大学);Center for Advanced Material Science and Manufacturing, University of Tennessee, Knoxville, TN 37996, USA(先进材料科学与制造中心,田纳西大学);Department of Physics and Astronomy, University of Tennessee, Knoxville, TN 37996, USA(物理与天文学系,田纳西大学);Georgia Institute of Technology, Atlanta, GA 30332, USA(佐治亚理工学院);Virginia Polytechnic Institute and State University, Blacksburg, VA 24061, USA(弗吉尼亚理工大学);Department of Materials Science and Engineering, University of Tennessee, Knoxville, TN 37996, USA(材料科学与工程系,田纳西大学);Department of Physics and Astronomy, Institute for Quantum Matter, Johns Hopkins University, Baltimore, MD 21218(物理与天文学系,量子物质研究所,约翰霍普金斯大学);Department of Materials Science and Engineering, Johns Hopkins University, Baltimore, MD 21218(材料科学与工程系,约翰霍普金斯大学);The Ralph O’Connor Sustainable Energy Institute, Johns Hopkins University, Baltimore, MD 21218(罗伯特·奥康纳可持续能源研究所,约翰霍普金斯大学);Advanced Photon Source, Argonne National Lab, Lemont, IL 60439, USA(先进光子源,阿贡国家实验室);University of Tennessee-Oak Ridge Innovation Institute, Knoxville, TN 37996, USA(田纳西大学奥本创新研究所)
本文提出结合物理约束变分自编码器与贝叶斯优化的方法,用于高维缺陷敏感单晶结构的精修,以提高精修效率和准确性。
2025-12-29 cond-mat.mtrl-sci cs.LG
EAGER: Embedding-Assisted Entity Resolution for Knowledge Graphs
Leipzig University(莱比锡大学)
实体解析是集成不同知识图谱以识别涉及同一现实世界对象的实体的组成部分。一个有前途的方法是使用图嵌入ER,以确定基于其图形邻域的相似性的实体的相似性。这种嵌入的相似性计算转化为计算它们在嵌入空间中的距离,这是相对简单的。然而,以前的工作表明,单独使用图嵌入是不足以实现高ER质量。因此,我们提出了一个更全面的ER方法称为EAGER(嵌入辅助知识图谱实体解析)的知识图谱,灵活地利用图嵌入和属性值的相似性内的监督机器学习方法。我们在23个具有不同大小和结构的知识图谱的基准数据集上评估我们的方法,并使用假设检验来确保我们的结果的统计显著性。此外,我们比较我们的方法与国家的最先进的ER解决方案,我们的方法产生竞争力的结果表为导向的ER问题和浅知识图谱,但更好的结果更深的知识图谱。
2021-01-15 cs.DB cs.LG
Fast Spectral Clustering Using Autoencoders and Landmarks
University of Waterloo(滑铁卢大学)
在本文中,我们介绍了一种算法进行谱聚类效率。谱聚类是一种功能强大的聚类算法,但由于特征分解而具有高计算复杂性。在这项工作中,我们首先建立数据集对应图的邻接矩阵。为了构建这个矩阵,我们只考虑有限数量的点,称为地标,并计算所有数据点与地标的相似性。然后,我们给出了图的拉普拉斯矩阵的定义,使我们能够使用深度自动编码器有效地执行本征分解。本征分解算法的总体复杂度为$O(np)$,其中$n$是数据点的数量,$p$是界标的数量。最后,通过不同的实验对算法的性能进行了评估.
2017-04-07 cs.LG stat.ML
Surrogate-Assisted Evolutionary Reinforcement Learning Based on Autoencoder and Hyperbolic Neural Network
Shanghai Institute of AI for Education, East China Normal University(上海人工智能教育研究院,华东师范大学);School of Computer Science and Technology, East China Normal University(计算机科学与技术学院,华东师范大学);Shanghai Frontiers Science Center of Molecule Intelligent Syntheses(分子智能合成前沿科学中心);Key Laboratory of Advanced Theory and Application in Statistics and Data Science, Ministry of Education, China(统计与数据科学高级理论及应用重点实验室,中华人民共和国教育部,中国);The Guangdong Key Laboratory of Brain Inspired Intelligent Computation, Department of Computer Science and Engineering, Southern University of Science and Technology(脑启发智能计算广东省重点实验室,计算机科学与工程系,南方科技大学);Department of Statistics and Data Science, Southern University of Science and Technology(统计与数据科学系,南方科技大学)
本文提出一种集成自编码器和双曲神经网络的代理辅助进化强化学习方法,通过压缩高维策略并构建分类代理模型实现准确预选,有效降低了计算成本并提升了搜索效率。
2025-05-29 cs.AI cs.LG
Sentence Embeddings and High-speed Similarity Search for Fast Computer Assisted Annotation of Legal Documents
Université de Montréal(蒙特利尔大学);Carnegie Mellon University(卡内基梅隆大学);Hofstra University(霍夫斯特拉大学);University of Pittsburgh(匹兹堡大学)
对法律文档中的句子进行人工注释是许多基于机器学习的系统支持法律任务的重要前提。通常,注释是逐句顺序完成的,这通常是耗时的,因此是昂贵的。在本文中,我们介绍了一个概念证明系统,用于注释句子的横向。“这种方法是基于这样一种观察,即意义相似的句子在特定的类型系统中通常具有相同的标签。我们使用这种观察,允许注释者快速查看和注释句子,语义上类似于一个给定的句子,在整个语料库的文件。在这里,我们提出了系统的接口和经验评估的方法。实验表明,横向标注有可能使标注过程更快,更一致。
2021-12-21 cs.AI cs.CL cs.LG
ANet: Autoencoder-Based Local Field Potential Feature Extractor for Evaluating An Antidepressant Effect in Mice after Administering Kratom Leaf Extracts
Prince of Songkla University(宋卡王子大学)
Kratom(KT)通常发挥抗抑郁(AD)作用。然而,评估哪种形式的KT提取物具有与标准AD氟西汀(流感)相似的AD特性仍然具有挑战性。在这里,我们采用了一个自动编码器(AE)为基础的异常检测器,称为ANet测量小鼠的局部场电位(LFP)功能,响应KT叶提取物和AD流感的相似性。响应于KT糖浆的特征与响应于AD流感的特征具有最高的相似性,为85.62 $\pm$ 0.29%。这一发现表明,使用KT糖浆作为替代物质的可行性高于KT生物碱和KT水溶液,这是本研究中的其他候选人。除了相似性测量,我们利用ANet作为一个多任务AE和评估的性能,在区分多类LFP响应对应于不同的KT提取物和AD流感的效果同时。此外,我们可视化学习LFP响应之间的潜在功能定性和定量的t-SNE投影和最大平均差异距离,分别。分类结果报告的准确度和F1评分分别为79.78 $\pm$ 0.39%和79.53 $\pm$ 0.00%。总之,这项研究的结果可能有助于治疗设计设备的替代物质分布评估,如Kratom的形式在现实世界中的应用。
2022-09-17 cs.AI cs.LG eess.SP
Quantum Autoencoders for Learning Quantum Channel Codes
Cisco Quantum Lab(思科量子实验室)
本文提出基于参数化量子电路与灵活噪声模型的量子自编码器框架,用于学习和评估经典、纠缠辅助及量子通信场景下的量子信道编码。
2023-07-13 cs.IT cs.LG math.IT
PK-GCN: Prior Knowledge Assisted Image Classification using Graph Convolution Networks
Georgia State University(佐治亚州立大学);Computer Science Department(计算机科学系)
深度学习在各种分类任务中取得了巨大成功。通常,深度学习模型直接从数据中学习底层特征,并且不包括类之间的底层关系。类之间的相似性会影响分类的性能。在这篇文章中,我们提出了一种使用图卷积层将类相似性知识并入卷积神经网络模型的方法。我们在两个基准图像数据集:MNIST和CIFAR10上评估了我们的方法,并分析了不同数据和模型大小的结果。实验结果表明,该模型可以提高分类精度,特别是当可用数据量很小时。
2020-09-24 cs.CV cs.LG eess.IV
Spectral2Spectral: Image-spectral Similarity Assisted Spectral CT Deep Reconstruction without Reference
Department of Electrical and Computer Engineering, University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校电气与计算机工程系)
针对光子计数探测器光谱CT噪声问题,提出无监督迭代深度网络Spectral2Spectral,利用图像-光谱结构相似性先验正则化,在三个临床前数据集上超越现有方法。
2023-11-16 cs.CV cs.LG eess.IV
MILAN: Masked Image Pretraining on Language Assisted Representation
Princeton University(普林斯顿大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
基于自注意的Transformer模型在过去的几年中已经主导了许多计算机视觉任务。它们出色的模型质量在很大程度上依赖于过大的标记图像数据集。为了减少对大型标记数据集的依赖,基于重构的掩码自编码器越来越受欢迎,其从未标记图像中学习高质量的可传递表示。出于同样的目的,最近的弱监督图像预训练方法从伴随图像的文本标题中探索语言监督。在这项工作中,我们提出了对语言辅助表示的掩蔽图像预训练,称为MILAN。我们的预训练目标不是预测原始像素或低级别特征,而是用使用字幕监督获得的大量语义信号重建图像特征。此外,为了适应我们的重建目标,我们提出了一个更有效的提示解码器架构和语义感知掩码采样机制,这进一步提高了预训练模型的传输性能。实验结果表明,MILAN提供了更高的精度比以前的作品。当掩码自编码器在输入分辨率为224 x224的ImageNet-1 K数据集上进行预训练和微调时,MILAN在ViT-Base上实现了85.4%的top-1准确率,超过了之前的最先进水平1%。在下游的语义分割任务中,MILAN在ADE 20 K数据集上使用ViT-Base实现了52.7 mIoU,比之前的掩蔽预训练结果高出4个点。
2022-12-19 cs.CL cs.CV cs.LG
Genetic Algorithms for Evolving Deep Neural Networks
Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学)
近年来,应用无监督学习来训练神经网络深层的深度学习方法在众多领域取得了显著的成果。在过去,许多基于遗传算法的方法已经成功地应用于训练神经网络。在本文中,我们扩展了以前的工作,并提出了一个遗传算法辅助的方法进行深度学习。我们的实验结果表明,这种GA辅助的方法提高了深度自动编码器的性能,产生了更稀疏的神经网络。
2017-11-21 cs.LG cs.NE stat.ML