Symmetry-Aware Generative Modeling through Learned Canonicalization
Mila(米拉);McGill University(麦吉尔大学)
本文提出通过学习规范化网络生成对称密度,避免传统不变先验与等变生成过程的局限,提升分子建模的样本质量和推理速度。
2026-04-12 cs.LG
Fighting Fire with Fire: Contrastive Debiasing without Bias-free Data via Generative Bias-transformation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
本文提出CDvG方法,利用生成式图像变换将一种偏置模式转换为另一种,并通过对比学习学习偏置不变表示,无需偏置标签或无偏置样本即可实现去偏,性能优于现有方法。
2023-07-05 cs.LG
Image Restoration from Parametric Transformations using Generative Models
Rutgers University(罗格斯大学);University of Patras(帕特雷大学)
当图像统计描述的生成模型,我们可以使用这些信息来开发各种图像修复问题的最佳技术,如修补,超分辨率,图像着色,生成模型反演等的生成模型的帮助下,它是可能的制定,在一个自然的方式,这些恢复问题的统计估计问题。我们的方法,通过最大后验概率与最大似然估计相结合,是能够恢复图像的变形,即使当后者包含未知参数。由此产生的优化是完全定义的,没有需要调整的参数。这必须与目前的技术水平进行比较,目前的技术水平需要确切的变换知识,并且包含具有必须正确定义的权重的正则化项。最后,我们必须提到的是,我们扩展了我们的方法,以适应多个图像的混合,其中每个图像都由自己的生成模型描述,我们能够成功地将每个参与图像从单个混合物中分离出来。
2020-06-16 cs.CV cs.LG eess.IV
CDGAN: Cyclic Discriminative Generative Adversarial Networks for Image-to-Image Transformation
Indian Institute of Information Technology, Sri City(印度信息技术学院斯里城校区);Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德校区)
生成对抗网络(GANs)为解决图像到图像转换问题提供了一个新的方向。不同的GANs使用目标函数中具有不同损耗的生成器和卷积网络。在生成图像的质量和接近地面实况图像方面仍然存在差距。在这项工作中,我们介绍了一种新的图像到图像变换网络,称为循环判别生成对抗网络(CDGAN),填补了上述空白。建议的CDGAN生成高质量和更逼真的图像,通过将额外的循环图像,除了原来的架构的CycleGAN的网络。在三个图像到图像转换数据集上测试了所提出的CDGAN。定量和定性的结果进行了分析,并与国家的最先进的方法进行比较。在三个基线图像到图像变换数据集上进行比较时,所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/KishanKancharagunta/CDGAN上获得。
2021-11-27 cs.CV cs.LG eess.IV
Cellular State Transformations using Generative Adversarial Networks
Clemson University(克莱姆森大学)
我们介绍了一种将深度学习与生物学结合起来的新方法,通过该方法生成对抗网络(GANs)产生转录组扰动并揭示条件定义的基因表达模式。我们发现,一个发电机条件扰动任何输入基因表达档案模拟源和目标RNA表达状态之间的现实过渡。扰动样本遵循与数据集原始样本相似的分布,也表明这些是具有生物学意义的扰动。最后,我们表明,它是可能的,以确定最积极和消极的基因扰动的发生器和丰富的生物功能的扰动基因是现实的。我们将该框架称为转录组状态扰动生成器(TSPG),它是可在https://github.com/ctargon/TSPG上获得的开源软件。
2019-06-28 cs.LG q-bio.QM
Unsupervised Generative Feature Transformation via Graph Contrastive Pre-training and Multi-objective Fine-tuning
Arizona State University(亚利桑那州立大学);University of Kansas(堪萨斯大学);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
针对无监督特征变换问题,提出度量-预训练-微调范式,结合图对比学习和生成模型,以捕获复杂特征交互并避免大搜索空间。
2024-05-27 cs.AI cs.LG
3D Topology Transformation with Generative Adversarial Networks
Politecnico di Milano(米兰理工大学);Northeastern University(东北大学);IBM AI Research(IBM人工智能研究院)
使用人工智能生成和转换图像和视频在过去几年中蓬勃发展。然而,只有少数作品旨在产生创造性的3D形状,如雕塑。在这里,我们展示了一种新的3D到3D拓扑转换方法,使用生成对抗网络(GAN)。我们使用修改后的pix 2 pix GAN,我们称之为Vox 2 Vox,在保持原始对象形状的同时转换3D对象的体积样式。特别是,我们将展示如何将3D模型转换为两个新的体积拓扑结构-3D网络和Ghirigoro。我们描述了如何使用我们的方法来构建定制的3D表示。我们相信生成的3D形状是新颖和鼓舞人心的。最后,我们比较了我们的方法和直接转换3D形状的基线算法之间的结果,而不使用我们的GAN。
2020-07-07 cs.CV cs.LG eess.IV
Simplifying Flow Matching Transformations with Low-Rank Mixture Models
Stanford Intelligent Systems Laboratory in the Department of Aeronautics and Astronautics at Stanford University(斯坦福大学航空航天系智能系统实验室);Industrial and Systems Engineering Department at King Fahd University of Petroleum and Minerals(科威特石油矿物大学工业与系统工程系)
提出用概率主成分分析混合模型作为归一化流的潜变量密度,通过KL散度对齐数据分布,简化流变换,加速训练并提升生成质量。
2026-06-29 cs.LG
On the Transformation of Latent Space in Autoencoders
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
注意到隐变量在推理和学习中的重要性,我们提出了一种基于隐变量同胚变换的自动编码器框架,该框架可以减少变换空间中向量之间的距离,同时保持原始空间的拓扑属性,并研究了隐空间变换对学习生成模型和去噪损坏数据的影响。实验结果表明,由于变换,我们基于所提出的框架的生成和去噪模型可以比传统的变分和去噪自动编码器提供更好的性能,其中我们根据训练集之间的豪斯多夫距离来评估生成和去噪模型的性能和处理的,即,生成的图像或去噪的图像,这可以客观地测量它们的差异,以及通过直接比较处理后图像的视觉特征。
2019-06-03 cs.LG stat.ML
Efficient Feature Transformations for Discriminative and Generative Continual Learning
Duke University(杜克大学);Facebook AI(脸书人工智能研究院);IIT Kanpur(坎普尔印度理工学院)
随着神经网络越来越多地应用于现实世界的应用,解决分布转移和顺序任务学习而不遗忘的机制至关重要。结合网络扩展的方法通过自然地增加用于学习新任务的模型容量,同时避免灾难性遗忘而显示出希望。然而,这些类型的方法中的许多方法的附加参数的数量的增长在较大规模上可能在计算上是昂贵的,有时是令人望而却步的。相反,我们提出了一个简单的特定于任务的持续学习,我们称之为有效的特征转换(EFT)的特征映射转换策略。这些EFT为学习新任务提供了强大的灵活性,只需向基础架构添加最少的参数即可实现。我们进一步提出了一个特征距离最大化策略,它显着提高了类增量设置中的任务预测,而不需要昂贵的生成模型。我们通过一组广泛的实验来证明我们的方法在区分性(CIFAR-100和ImageNet-1 K)和生成性(LSUN,CUB-200,Cats)任务序列中的有效性和效率。即使是低个位数的参数增长率,EFT也可以在广泛的设置中胜过许多其他持续学习方法。
2021-03-25 cs.AI cs.CV cs.LG
Latent Space Cartography: Generalised Metric-Inspired Measures and Measure-Based Transformations for Generative Models
Cogent Labs(科进实验室)
深度生成模型是通过映射到低维潜在空间来学习高维数据空间上的数据分布的通用工具。我们提供了一个研究潜在的空间几何形状和扩展和建立在以前的结果黎曼度量。我们展示了一类启发式措施如何在寻找有意义的,特定于问题的距离方面提供更大的灵活性,以及它如何应用于不同的生成器类型,例如语言和其他序列建模中常用的自回归生成器。我们进一步演示了如何使用之前在制图学中研究的扩散启发的变换来平滑潜在空间,并根据所选的度量来拉伸它们。除了直接在潜在空间中提供更有意义的距离外,这还为新型数据可视化提供了独特的工具。我们相信,所提出的方法可以成为一个有价值的工具,用于研究潜在空间的结构和生成模型的学习数据分布。
2019-02-06 cs.AI cs.CL cs.LG
Invertible Generative Modeling using Linear Rational Splines
The University of Melbourne(墨尔本大学)
规范化流试图通过一组可逆映射对任意概率分布进行建模。需要这些变换来实现可用于高维场景的易处理的雅可比行列式。第一个规范化流设计使用建立在仿射变换上的耦合层映射。这种模型的显著优点是其易于计算的逆。然而,利用仿射变换可能会限制这种模型的表达能力。最近,可逆分段多项式函数作为仿射变换的替代引起了人们的注意。然而,这些方法需要求解多项式方程来计算它们的逆。在本文中,我们探讨使用线性有理样条作为替代的仿射变换中使用的耦合层。除了有一个简单的逆,推理和生成有类似的成本和架构,在这种方法中。此外,仿真结果表明,这种方法的性能相比,现有的方法的竞争力。
2020-04-13 cs.LG stat.ML
L-GTA: Latent Generative Modeling for Time Series Augmentation
Faculdade de Engenharia da Universidade do Porto(葡萄牙波尔图大学工程学院);Fraunhofer Portugal AICOS(德国弗劳恩霍夫葡萄牙AICOS研究所);University of Coimbra(科英布拉大学);Dalhousie University(达尔豪斯大学)
研究针对时间序列分析中的数据增强问题,提出基于变分自编码器、双向LSTM和时间自注意力的L-GTA模型,通过定义等变性目标学习潜在表示并应用可控扰动,实验表明该模型在多方面优于其他方法,能有效降低预测误差。
2026-07-09 cs.AI cs.LG
I-vector Transformation Using Conditional Generative Adversarial Networks for Short Utterance Speaker Verification
Tokyo Institute of Technology(东京工业大学)
基于i向量的文本无关说话人确认(SV)系统在短话语下通常具有较差的性能,因为短话语中的有偏语音分布使得提取的i向量不可靠。本文提出了一种使用生成对抗网络(GAN)的i向量补偿方法,其中生成器网络被训练为从短话语i向量生成补偿的i向量,而生成器网络被训练为确定i向量是由生成器生成的还是从长话语中提取的i向量。此外,我们还为GAN分配了另外两个学习任务,以稳定其训练,并使生成的向量更具说话者特定性。在NIST SRE 2008“10 sec-10 sec”条件下的说话人确认实验表明,该方法较传统的i-vector和PLDA系统等误率降低了11.3%.
2018-04-01 cs.LG cs.SD eess.AS
The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability
Radboud University(拉德堡德大学);Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所)
本研究用平衡统计力学工具重构生成扩散模型,发现其存在属于平均场普适类的二阶对称性破缺相变,临界不稳定性是生成能力核心,且生成动力学方程为维持热平衡并最小化自由能的随机绝热变换。
2024-06-20 cs.LG stat.ML
LLM-ML Teaming: Integrated Symbolic Decoding and Gradient Search for Valid and Stable Generative Feature Transformation
Arizona State University(亚利桑那州立大学);The Home Depot(家乐福)
针对生成式特征变换中传统ML有效性低、LLM不稳定的问题,提出结合LLM符号生成与ML梯度优化的四步协作框架,实现下游性能提升5%、错误近减半,兼具效率与鲁棒性。
2025-06-10 cs.AI cs.LG
Generative transformations and patterns in LLM-native approaches for software verification and falsification
Department of Computer Science, The University of Manchester(曼彻斯特大学计算机科学系);Instituto de Computação (ICOMP-UFAM), Universidade Federal do Amazonas(亚马逊联邦大学计算学院(ICOMP-UFAM))
本文通过二次研究百余篇文献,提出生成式变换分类法,识别LLM原生软件验证与反证中的组合模式,为规范工程实践奠定基础。
2025-10-06 cs.AI cs.CL cs.LG
WyckoffDiff -- A Generative Diffusion Model for Crystal Symmetry
Department of Computer and Information Science (IDA), Linköping University, Sweden(计算机与信息科学系(IDA),_linköping大学,瑞典);Department of Physics, Chemistry and Biology (IFM), Linköping University, Sweden(物理、化学与生物学系(IFM),_linköping大学,瑞典)
提出生成模型WyckoffDiff,利用编码对称性的晶体结构表示和新型神经网络架构,在离散生成模型框架内生成尊重对称性的晶体描述,并引入新指标评估生成材料的对称性,成功发现热力学稳定的新材料。
2025-10-10 cond-mat.mtrl-sci cs.AI cs.LG
Explicit Disentanglement of Appearance and Perspective in Generative Models
Technical University of Denmark(丹麦技术大学)
解纠缠表示学习发现数据的紧凑,独立和易于解释的因素。学习这种方法需要一个归纳偏差,我们在图像的生成模型中明确编码。具体来说,我们提出了一个模型,有两个潜在的空间:一个表示空间变换的输入数据,另一个表示变换后的数据。我们发现,后者自然地捕捉到了数据的内在外观。为了实现生成模型,我们提出了一个变分推断变换自动编码器(VITAE),它将一个空间Transformer到一个变分自编码器。我们展示了如何通过仔细设计编码器和限制变换类为同构的来有效地在模型中执行推理。经验上,我们的模型分离的视觉风格从MNIST上的数字类型,分离的形状和姿势的人体和面部特征的图像从CelebA上的面部形状。
2019-11-13 cs.CV cs.LG stat.ML
Learning Latent Representations for Speech Generation and Transformation
Massachusetts Institute of Technology(麻省理工学院)
对生成过程进行建模并以无监督的方式学习语音的潜在表示的能力对于处理大量未标记的语音数据至关重要。最近,诸如变分自编码器(VAE)的深度概率生成模型在对自然图像进行建模方面取得了巨大成功。在本文中,我们应用卷积VAE模型的自然语音的生成过程。我们推导出潜在的空间算术运算来解开学习到的潜在表征。我们证明了我们的模型的能力,修改语音内容或扬声器的身份语音段使用派生的操作,而不需要并行的监督数据。
2017-09-22 cs.CL cs.LG stat.ML
Symmetry Discovery Beyond Affine Transformations
Utah State University(犹他州立大学);University at Albany(奥尔巴尼大学)
本文提出一个在流形假设下发现超越仿射变换的连续及离散对称性的框架,实验证明其在小样本下优于LieGAN且计算更高效。
2024-11-06 cs.LG stat.ML
Generative Adversarial Networks for Unpaired Voice Transformation on Impaired Speech
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院)
本文主要研究如何利用语音转换(VC)来提高切除部分发音器官的手术患者的语音清晰度。由于数据采集的困难,VC中没有并行数据是非常可取的。虽然已经开发了用于非并行VC的技术,例如CycleGAN,但它们通常专注于转换说话者身份,并直接将一个说话者的语音转换为另一个说话者的语音,因此不解决这里的任务。在本文中,我们提出了一种新的方法,非并行VC。该方法将受损语音转换为正常语音,同时保留语言内容和说话人特征。据我们所知,这是第一个应用于受损语音的端到端基于GAN的无监督VC模型。实验结果表明,该方法优于CycleGAN。
2019-08-22 cs.LG cs.SD eess.AS
High-dimensional Assisted Generative Model for Color Image Restoration
Nanchang University(南昌大学)
本文提出了一种无监督的深度学习方案,利用高维辅助的基于分数的生成模型进行彩色图像恢复任务。考虑到分数生成模型中样本数和内部维数对数据分布梯度估计的影响,提出了两种不同的高维方法:通道复制变换增加样本数和像素尺度变换降低可行空间维数。随后,一组由这些变换表示的高维张量被用来通过去噪得分匹配来训练网络。然后,通过退火Langevin动力学和替代数据一致性更新进行采样。此外,为了减轻学习高维表示的困难,提出了一种渐进的策略,以利用性能。与其他数据驱动方法相比,所提出的无监督学习和迭代恢复算法涉及预训练的生成网络以获得先验,具有透明和清晰的解释。去马赛克和修复的实验结果传达了显着的性能和多样性,我们提出的方法。
2021-08-14 cs.CV cs.LG eess.IV
Efficient Symmetry-Aware Materials Generation via Hierarchical Generative Flow Networks
提出对称感知层次生成流网络SHAFT,通过层次化分解材料空间,高效生成具有所需性质且有效、多样、稳定的晶体结构,优于现有迭代生成方法。
2024-11-06 cond-mat.mtrl-sci cs.LG
Representing Closed Transformation Paths in Encoded Network Latent Space
Georgia Institute of Technology(佐治亚理工学院)
深度生成网络已被广泛用于学习从低维潜在空间到高维数据空间的映射。在许多情况下,数据转换由该潜在空间中的线性路径定义。然而,潜在空间的欧几里德结构对于数据中的底层潜在结构来说可能是较差的匹配。在这项工作中,我们将生成流形模型纳入自动编码器的潜在空间,以便从数据中学习低维流形结构,并调整潜在空间以适应这种结构。特别是,我们专注于应用程序中的数据具有封闭的转换路径,从一个起点延伸,并返回到几乎相同的点。通过对具有自然闭合变换路径的数据的实验,我们表明,该模型引入了学习复杂系统的潜在动态、生成变换路径以及对属于同一变换路径的样本进行分类的能力。
2019-12-05 cs.LG stat.ML
PCSGAN: Perceptual Cyclic-Synthesized Generative Adversarial Networks for Thermal and NIR to Visible Image Transformation
Indian Institute of Information Technology, Sri City(印度信息技术学院斯里城校区)
在许多真实世界场景中,由于恶劣的照明条件,难以捕获可见光谱(VIS)中的图像。然而,在这种情况下,可以使用近红外(NIR)和热(THM)相机捕获图像。NIR和THM图像包含有限的细节。因此,需要将图像从THM/NIR转换为VIS以更好地理解。然而,这是不平凡的任务,由于大的域差异和缺乏丰富的数据集。生成对抗网络(GAN)能够将图像从一个域转换到另一个域。大多数可用的基于GAN的方法使用对抗性损失和像素损失(如$L_1$或$L_2$)的组合作为用于训练的目标函数。在THM/NIR到VIS变换的情况下,变换图像的质量仍然没有达到使用这样的目标函数的标准。因此,需要更好的目标函数来提高变换图像的质量、细节和真实感。为了解决这些问题,引入了一种新的THM/NIR到VIS图像转换模型,称为感知循环合成生成对抗网络(PCSGAN)。PCSGAN使用感知(即,基于特征的)损失以及像素方面的损失和对抗性损失。定量和定性的措施被用来判断PCSGAN模型的性能在WHU-IIP人脸和RGB-NIR场景数据集。所提出的PCSGAN在SSIM、MSE、PSNR和LPIPS评估指标方面优于最先进的图像变换模型,包括Pix 2 pix、DualGAN、CycleGAN、PS2 GAN和PAN。该代码可在https://github.com/KishanKancharagunta/PCSGAN上获得。
2020-08-06 cs.CV cs.LG cs.MM
Improving the quality of generative models through Smirnov transformation
Universidad Complutense de Madrid(马德里康普顿斯大学);Instituto de Ciencias Matemáticas (CSIC-UAM-UCM-UC3M)(数学科学研究所(CSIC-UAM-UCM-UC3M));Universidad Politécnica de Madrid(马德里理工大学)
解决生成对抗网络(GANs)的收敛问题是生成模型中最突出的问题之一。在这项工作中,我们提出了一种新的激活函数作为输出的生成器代理。该激活函数基于Smirnov概率变换,并且其被专门设计用于提高所生成的数据的质量。与以前的作品形成鲜明对比,我们的激活函数提供了一个更一般的方法,不仅处理复制的分类变量,但与任何类型的数据分布(连续或离散)。此外,我们的激活函数是可导出的,因此,它可以在GAN训练过程中无缝集成到反向传播计算中。为了验证这种方法,我们针对两个不同的数据集评估了我们的建议:a)包含离散和连续变量混合的人工渲染数据集,以及b)包含正常连接和加密挖矿攻击的基于流的网络流量数据的真实数据集。为了评估生成的数据的保真度,我们分析了他们的结果,在统计性质的质量指标,也关于使用这些合成数据,以饲料嵌套的机器学习为基础的分类。实验结果表明,相对于朴素的基于均值的生成器和标准的GAN,用这种新的激活函数调谐的GAN网络的性能明显优于此。数据的质量是如此之高,以至于生成的数据可以完全替代真实数据来训练嵌套分类器,而不会降低所获得的准确度。这一结果鼓励使用GANs来生成高质量的合成数据,这些数据适用于必须保证数据隐私的场景。
2021-10-29 cs.AI cs.LG
Cycle-Consistent Counterfactuals by Latent Transformations
Collaborative Robotics and Intelligent Systems (CoRIS) Institute(协作机器人与智能系统(CoRIS)研究所);Oregon State University(俄勒冈州立大学)
反事实(CF)视觉解释试图找到与查询图像相似的图像,这些图像将视觉系统的决策改变为指定的结果。现有的方法要么需要推理时间优化,要么需要与生成对抗模型进行联合训练,这使得它们非常耗时,难以在实践中使用。我们提出了一种新的方法,周期一致的反事实的潜在变换(C3LT),它学习一个潜在的转换,自动生成视觉CF转向生成模型的潜在空间。我们的方法使用查询和CF潜在表示之间的循环一致性,这有助于我们的训练找到更好的解决方案。C3LT可以很容易地插入任何最先进的预训练生成网络。这使我们的方法能够以高分辨率生成高质量和可解释的CF图像,例如ImageNet中的图像。除了几个既定的指标,用于评估CF的解释,我们引入了一个新的度量,专门用于评估所生成的CF的例子的质量和验证我们的方法的有效性上一组广泛的实验。
2022-03-28 cs.AI cs.CV cs.LG
Physics Guided Deep Learning for Generative Design of Crystal Materials with Symmetry Constraints
University of South Carolina(南卡罗来纳大学);University of Colombo(科伦坡大学)
发现新材料是材料科学的一项具有挑战性的任务,对人类社会的进步至关重要。传统的基于实验和模拟的方法是劳动密集型的或昂贵的,成功很大程度上取决于专家的启发式知识。在这里,我们提出了一个基于深度学习的物理引导晶体生成模型(PGCGM),用于具有高度结构多样性和对称性的高效晶体材料设计。与最新的结构生成器之一FTCP相比,我们的模型将生成有效性提高了700%以上,与我们以前的CubicGAN模型相比,提高了45%以上。密度泛函理论(DFT)计算用于验证生成的结构,其中2,000种材料中的1,869种材料被成功优化并存入Carolina材料数据库\url{www.carolinamatdb.org},其中39.6%具有负形成能,5.3%具有低于0.25 eV/atom的壳上能量,表明它们的热力学稳定性和潜在的可合成性。
2022-12-13 cond-mat.mtrl-sci cs.LG
Residual Flows for Invertible Generative Modeling
University of Toronto(多伦多大学);University of Bremen(不来梅大学);Vector Institute(向量研究所)
基于流的生成模型通过可逆变换对概率分布进行参数化,并且可以通过极大似然进行训练。可逆残差网络提供了一个灵活的变换族,其中只需要Lipschitz条件而不是严格的结构约束来实现可逆性。然而,以前的工作训练可逆残差网络的密度估计依赖于有偏的对数密度估计,其偏差增加与网络的表达。我们给出了一个易于处理的无偏估计的日志密度使用“俄罗斯轮盘赌”估计,并减少了训练过程中所需的内存使用一个替代的无限系列的梯度。此外,我们提出了使用激活函数,避免导数饱和和推广的Lipschitz条件诱导混合规范,以提高可逆的残留块。由此产生的方法,称为残差流,实现了最先进的性能之间的密度估计基于流的模型,并优于网络,使用耦合块在联合生成和判别建模。
2020-07-24 cs.LG stat.ML
Spontaneous Symmetry Breaking in Generative Diffusion Models
Jheronimus Academy of Data Science(杰罗尼穆斯数据科学学院);Tilburg University(蒂尔堡大学);Radboud University(拉德堡德大学);Donders Institute for Brain, Cognition and Behaviour(唐德斯大脑、认知与行为研究所)
本文揭示扩散模型生成动力学中的自发对称性破缺,将过程分为线性稳态与吸引子动力学两个阶段,并提出高斯晚期初始化方案,在快速采样器上实现最高3倍FID改进并提升样本多样性。
2023-10-26 cs.CV cs.LG
Learning Lie Group Symmetry Transformations with Neural Networks
University of Amsterdam(阿姆斯特丹大学);Imperial College London(帝国理工学院)
本文提出利用神经网络发现并刻画数据集中未知的李群对称变换及其参数分布,无需事先知道对称性类型,并在单参数子群变换场景下验证了方法的有效性。
2023-07-04 cs.CV cs.LG
Towards Data-Centric AI: A Comprehensive Survey of Traditional, Reinforcement, and Generative Approaches for Tabular Data Transformation
University of Kansas(堪萨斯大学);Southwestern University of Finance and Economics(西南财经大学);Arizona State University(亚利桑那州立大学);Portland State University(波特兰州立大学);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Macau(澳门大学);The Hong Kong University of Science and Technology(香港科技大学)
本综述系统梳理以数据为中心的表格数据转换方法,重点涵盖特征选择与特征生成,并分析其应用、优缺点及未来挑战。
2025-01-17 cs.AI cs.LG
Adapting deep generative approaches for getting synthetic data with realistic marginal distributions
University of Freiburg(弗莱堡大学);National Research Council of Italy(意大利国家研究委员会)
合成数据生成在诸如隐私保护的各种应用中具有极大的兴趣。深度生成模型,如变分自动编码器(VAE),是从原始数据创建此类合成数据集的流行方法。尽管VAE取得了成功,但当涉及到双峰和偏斜的边缘分布时,仍存在局限性。这些偏离了单峰对称分布,该分布受到VAE中通常用于潜在表征的正态性假设的鼓励。虽然存在假设潜在空间的其他分布的扩展,但这通常不会增加具有许多不同分布的数据的灵活性。因此,我们提出了一种新的方法,预变换变分自编码器(PTVAE),专门解决双峰和偏斜的数据,通过采用预变换在原始变量的水平。两种类型的转换用于通过对数据集中的每个变量进行单独的参数优化来使数据接近正态分布。我们比较我们的方法与其他国家的最先进的合成数据生成方法的性能。除了视觉上的比较,我们还使用了一个效用测量来进行定量评估。结果表明,PTVAE方法在双峰和偏斜数据生成方面都优于其他方法。此外,该方法的简单性使得它可以与VAE的其他扩展结合使用。
2021-05-14 cs.LG stat.ML
Generative x-vectors for text-independent speaker verification
National University of Singapore(新加坡国立大学)
使用深度神经网络嵌入的说话人确认(SV)系统,即所谓的x向量系统,由于其优于i向量系统的良好性能而变得流行。这些系统的融合提供了改进的性能,受益于区别性训练的x向量和生成的i向量捕获不同的扬声器特性。本文提出了一种新的方法来包含i向量和x向量的互补信息,即生成x向量。生成x向量利用从背景数据的i向量和x向量表示学习的变换模型。应用典型相关分析推导出该转换模型,该模型随后用于将注册和测试段的标准x向量转换为相应的生成x向量。在NIST SRE 2010数据集上进行的SV实验表明,使用生成x向量的系统提供了比基线i向量和x向量系统更好的性能。此外,生成的x-向量优于i-向量和x-向量系统的融合,用于长持续时间的话语,同时产生可比较的结果,用于短持续时间的话语。
2018-09-17 cs.LG cs.SD eess.AS
Group Equivariant Generative Adversarial Networks
New York University(纽约大学);Merck & Co., Inc.(默克公司)
生成对抗视觉合成的最新改进在自我监督的环境中结合了真实和虚假图像变换,从而提高了稳定性和感知保真度。然而,这些方法通常涉及通过GAN目标中的附加正则化器进行图像增强,因此将宝贵的网络容量用于近似变换等方差,而不是其期望的任务。在这项工作中,我们明确地将归纳对称先验通过群等变卷积网络纳入网络架构。群卷积具有更高的表达能力,具有更少的样本,并导致更好的梯度反馈之间的生成器和卷积。我们表明,组等方差无缝集成与最近的技术,GAN训练的正则化,架构和损失函数。我们证明了我们的方法的实用性条件合成,通过改进生成在有限的数据制度在对称成像数据集,甚至发现自然图像的优势与首选方向。
2021-03-30 cs.CV cs.LG eess.IV
The Information Dynamics of Generative Diffusion
Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所);Radboud University(拉德堡德大学)
本文从信息论、动力学和热力学角度探讨生成扩散模型,揭示生成带宽由分数函数发散率决定,通过轨迹分支和生成分岔现象,建立受控噪声诱导对称破缺过程。
2026-03-26 cs.AI cs.LG stat.ML
An attempt to generate new bridge types from latent space of generative flow
Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd(万世先达数字智慧交通科技有限公司)
本文利用 TensorFlow Probability 的 Glow API 训练归一化流,将四类桥梁图像的复杂分布映射到标准正态潜空间,并采样生成训练集中未出现的新型桥梁。
2024-01-18 cs.AI cs.CV cs.LG
Learning to Compose Domain-Specific Transformations for Data Augmentation
Stanford University(斯坦福大学)
数据增强是一种普遍存在的技术,通过利用保留类标签的特定于任务的数据转换来增加标记训练集的大小。虽然领域专家通常很容易指定各个转换,但在实践中,构造和调优通常需要实现最先进结果的更复杂的组合是一项耗时的手动任务。我们提出了一种方法,通过使用生成对抗方法在用户指定的转换函数上学习生成序列模型来自动化这个过程。我们的方法可以利用任意的,非确定性的转换函数,对错误指定的用户输入具有鲁棒性,并且在未标记的数据上进行训练。然后,学习的变换模型可以用于为任何最终判别模型执行数据增强。在我们的实验中,我们展示了我们的方法在图像和文本数据集上的有效性,与标准启发式增强方法相比,在CIFAR-10上实现了4.0个准确点的改进,在ACE关系提取任务上实现了1.4个F1点的改进,在医学成像数据集上使用特定于域的变换操作时实现了3.4个准确点的改进。
2017-09-30 cs.CV cs.LG stat.ML