Variational Autoencoders for Generative Modelling of Water Cherenkov Detectors
University of Manitoba(曼尼托巴大学);TRIUMF;University of British Columbia(不列颠哥伦比亚大学)
物质-反物质不对称性是物理学中尚未解决的主要问题之一,可以通过当前和下一代中微子振荡实验中电荷宇称对称性破坏的精确测量来探索。在这项工作中,我们展示了变分自动编码器和归一化流的能力,以近似这些实验中常用的水切伦科夫探测器的模拟数据的生成分布。我们研究了这些方法的性能及其适用于半监督学习和合成数据生成。
2019-11-01 cs.LG hep-ex physics.ins-det
Generative Modelling With Inverse Heat Dissipation
Aalto University(阿尔托大学)
本文提出一种通过随机逆转热方程生成图像的新模型,利用图像多尺度结构实现由粗到细的生成,并展现出颜色与形状解耦等优于标准扩散模型的特性。
2023-04-12 cs.CV cs.LG stat.ML
Generative modelling powered by room-temperature polariton condensates
School of Mathematical and Physical Sciences, University of Sheffield, Sheffield S10 2TN, United Kingdom(谢菲尔德大学数学与物理科学学院);Department of Physics, City College of New York, New York, NY 10031, USA(纽约城市学院物理系);Physics Doctoral Program, Graduate Center of the City University of New York, New York, NY 10016, USA(纽约城市大学研究生中心物理博士项目);Chemistry Doctoral Program, Graduate Center of the City University of New York, New York, NY 10016, USA(纽约城市大学研究生中心化学博士项目)
利用有机染料微腔中室温激子-极化激元凝聚体的非线性多体动力学和固有随机性,作为生成对抗网络中的物理随机变换层,实现条件数字到图像翻译,优于数字注入扰动方法。
2026-06-16 cond-mat.dis-nn cs.LG physics.optics
An effective potential for generative modelling with active matter
School of Mathematical Sciences, Queen Mary University of London(伦敦女王学院数学科学学院)
本研究提出一种基于有限关联时间活性粒子过程的生成扩散模型实现方法,通过施加含时有效势实现时间反转,经数值实验验证有效,为活性系统涨落用于生成式AI开辟新路径。
2025-09-02 cond-mat.soft cond-mat.stat-mech cs.LG
Beyond Sequential Prediction: Learning Financial Market Dynamics in Volatile and Non-Stationary Environments through Sentiment-Conditioned Generative Modelling
Department of Mechanical Engineering and Aeronautics, University of Patras(帕特拉斯大学机械工程与航空系);FICC Market Risk, BNP Paribas CIB(BNP巴黎银行投行部市场风险部)
本文提出一种集成上下文对抗学习模型,结合生成对抗网络与自然语言处理获取的文本情感信息,提升股票价格预测的可靠性,实验证明其优于传统ARIMA和LSTM模型。
2026-05-04 cs.LG q-fin.ST
ROMS-IMLE: A Minimalist Approach to Competitive Single-Step Generative Modelling
质疑生成模型中逐步变换噪声分布的必要性,采用极简方法,选IMLE为训练目标、卷积网络为模型,经添加关键要素得到单步参数高效生成模型,在ImageNet 256上取得良好效果。
2026-09-04 cs.CV cs.LG
All-atom Diffusion Transformers: Unified generative modelling of molecules and materials
Fundamental AI Research (FAIR) at Meta(Meta 基础人工智能研究);University of Cambridge(剑桥大学);MIT(麻省理工学院)
本文提出全原子扩散Transformer(ADiT),一个统一潜扩散框架,用同一模型联合生成分子和材料,在多个数据集上达到最先进性能,并支持大规模扩展。
2025-05-22 cs.AI cs.LG
Generative modelling with jump-diffusions
本文提出了一种基于跳跃扩散的生成模型,通过引入具有厚尾特征的跳跃噪声,改进了传统扩散模型的性能。
2026-02-06 cs.LG stat.ML
TabPFGen -- Tabular Data Generation with TabPFN
Layer 6 AI
本文提出TabPFGen,将预训练判别模型TabPFN转化为基于能量的生成模型,无需额外训练即可实现表格数据生成,并在数据增强、类别平衡和填补任务上取得优异效果。
2024-06-07 cs.LG
PriorCVAE: scalable MCMC parameter inference with Bayesian deep generative modelling
University of Oxford(牛津大学);Aalto University(阿尔托大学);Institute of Science and Technology Austria(奥地利科学技术研究所);University of Copenhagen(哥本哈根大学);Imperial College London(伦敦帝国学院)
PriorCVAE通过以随机过程超参数为条件编码GP先验,实现超参数联合估计与可扩展MCMC推断,且适用于ODE解等模型,具有广泛实用性。
2023-11-10 cs.LG stat.ML
A Generative Model for Natural Sounds Based on Latent Force Modelling
Queen Mary University of London(伦敦玛丽女王大学)
自然声音的子带振幅包络分析的最新进展已经导致令人信服的合成,显示子带振幅是感知的重要组成部分。概率潜变量分析特别具有启发性,但现有的方法不包含有关振幅包络的物理行为的先验知识,例如指数衰减和反馈。我们使用潜在的力量建模,概率学习范式,将物理知识纳入高斯过程回归,跨频谱子带包络模型的相关性。我们通过明确地对多个时间步长的相关性进行建模来增强标准的潜在力模型方法。对这种先验知识的阐述加强了对潜在函数作为产生信号的源的解释。我们通过一个实验来研究这种解释,该实验表明,从我们的概率模型中采样产生的声音被认为比基于非负矩阵分解的类似模型产生的声音更真实,即使在我们的模型从重建误差的角度来看表现出色的情况下。
2019-03-27 cs.LG cs.SD eess.AS
Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance
Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing, A*STAR(新加坡A*STAR高性能计算研究院)
我们提出了一种基于高斯混合变分自编码器(GM-VAE)的可控神经音频合成器,它可以在音频域中生成逼真的钢琴演奏,该钢琴演奏紧密遵循钢琴演奏的两个基本风格特征的时间条件:清晰度和动态。我们演示了该模型是如何能够在合成音频的过程中应用细粒度的风格变形。这是基于条件,这些条件是可以从先验数据中采样或从其他数据中推断出的潜在变量。设想的用例之一是激发对现有钢琴音乐作品的创造性和全新的诠释。
2020-07-13 cs.LG cs.MM cs.SD
Intra-Day Price Simulation with Generative Adversarial Modelling of the Order Flow
University College London(伦敦大学学院);Department of Computer Science University College London(伦敦大学学院计算机科学系);Department of Computer Science(计算机科学系)
金融市场中的日内价格变动是由交易者以高频率提交的订单序列(称为订单流)驱动的。本文介绍了一种新的应用程序的序列生成对抗网络框架建模的订单流,这样的随机序列的订单流,然后可以生成模拟当天的价格变化。作为基准,从量化金融文献中选择一个著名的参数模型。对模型进行拟合,然后从每个模型中采样订单流序列的多个随机路径。模型的性能,然后通过使用生成的序列来模拟价格变化进行评估,我们比较了由生成的和真实的序列产生的价格变化之间的经验误差。考虑的实证检验包括价格对数收益率的分布,价格波动性和对数收益率分布的重尾。结果表明,从生成模型的订单序列能够更好地再现实际价格变化的统计行为比从基准序列。
2021-09-28 cs.LG q-fin.ST q-fin.TR
Temporarily-Aware Context Modelling using Generative Adversarial Networks for Speech Activity Detection
Queensland University of Technology(昆士兰科技大学);SRI International(SRI国际研究所)
本文提出了一种新的语音活动检测(SAD)框架。受语音处理领域多任务学习方法最近取得的成功的启发,我们提出了一种新的SAD联合学习框架。我们利用生成对抗网络来自动学习损失函数,以联合预测逐帧语音/非语音分类以及下一个音频片段。为了利用输入信号中的时间关系,我们提出了一个时间序列,其目的是确保预测信号在时间上是一致的。我们在多个公共基准上评估了所提出的框架,包括NIST OpenSAT' 17,AMI会议和HAVIC,在这些基准上,我们展示了其优于最先进SAD方法的能力。此外,我们的跨数据库的评估表明,所提出的方法在不同的语言,口音和声学环境的鲁棒性。
2020-04-02 cs.LG cs.SD eess.AS
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China(电子科技大学)
我们研究了基于生成对抗网络(GANs)的图像多模态生成建模问题。尽管现有的方法取得了成功,但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题,我们引入狄利克雷先验的多模态图像生成,这导致了一个新的潜在狄利克雷分配的GAN(LDAGAN)。详细地,对于生成过程建模,LDAGAN为每个样本定义生成模式,确定其属于哪个生成子过程。对于对抗训练,LDAGAN推导出一种变分期望最大化(VEM)算法来估计模型参数。在真实数据集上的实验结果表明,LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Using generative modelling to produce varied intonation for speech synthesis
University of Edinburgh(爱丁堡大学)
与人类说话者不同,典型的文本到语音(TTS)系统无法产生给定句子的多个不同的再现。这一点以前已经通过增加明确的外部控制来解决。相比之下,生成模型能够捕获多个再现的分布,从而使用采样产生不同的再现。典型的神经TTS模型学习数据的平均值,因为它们最小化了均方误差。在韵律学的背景下,取平均值会产生更平淡、更无聊的演讲:一种“平均韵律”。通过设计,可以合成多个韵律的生成模型将不对平均韵律进行建模。我们使用变分自动编码器(VAE),它明确地将最“平均”的数据放置在高斯先验的平均值附近。我们建议,通过向先验分布的尾部移动,该模型将过渡到生成更多的特质,不同的渲染。这里集中在语调,我们调查自然和语调变化之间的权衡,并发现,典型的声学模型可以是自然的,或变化,但不能两者兼而有之。然而,从VAE先验的尾部采样产生比传统方法更多样的语调,同时保持相同的自然度水平。
2019-09-12 cs.CL cs.LG cs.SD
Non-asymptotic Analysis of Diffusion Annealed Langevin Monte Carlo for Generative Modelling
Imperial College London(帝国理工学院);The Alan Turing Institute(阿兰·图灵研究所)
在数据分布弱条件下,研究扩散退火朗之万蒙特卡洛(DALMC)的非渐近误差界,扩展至重尾扩散路径,为插值简单分布与数据分布的得分生成模型提供理论保证,拓宽了标准扩散方法视角。
2025-02-13 cs.LG math.PR stat.CO
Generative Adversarial Networks (GAN) for compact beam source modelling in Monte Carlo simulations
Université de Lyon(里昂大学);CNRS(法国国家科学研究中心);Inserm(法国国家健康与医学研究院);INSA-Lyon(里昂国立应用科学学院);Université Lyon 1(里昂第一大学);Centre Léon Bérard(莱昂·贝拉尔中心);Institute of Nuclear Physics(核物理研究所)
提出了一种方法,并评估了一个紧凑的生成对抗网络(GAN)的蒙特卡罗模拟中使用的大型和不便的相空间文件的模型。基于相空间数据集训练GAN以创建称为Generator(G)的神经网络,从而允许G模仿相空间的多维数据分布。在训练过程结束时,G存储了大约50万个权重,大约10 MB,而不是初始文件的几GB。然后用G生成粒子来替换相空间数据集。这个概念被应用到来自直线加速器(直线加速器)和来自近距离放射治疗种子模型的射束模型。一方面使用来自参考相空间的粒子的模拟和另一方面使用由GAN产生的粒子的模拟进行比较。从GAN产生的源分布获得的沉积能量的3D分布接近参考值,具有小于1%的逐体素相对差异。尖锐的部分,如近距离放射治疗的发射线的能量谱没有完全建模的GAN。GAN生成粒子的详细统计特性和局限性仍需要进一步研究,但所提出的探索性方法已经很有希望,并为广泛的应用铺平了道路。
2019-10-04 cs.LG physics.med-ph
Score-Based Generative Models for Molecule Generation
Julia Computing, Inc(Julia计算公司);Deep Forest Sciences Inc.(深林科学公司);Carnegie Mellon University(卡内基梅隆大学)
生成模型的最新进展使得探索从头分子生成的设计空间变得更加容易。然而,流行的生成模型,如GANs和规范化流,分别面临着由于对抗性训练和架构约束而导致的训练不稳定性等挑战。基于得分的生成模型通过使用分数函数近似对对数概率密度的梯度进行建模来回避这些挑战,而不是直接对密度函数进行建模,并使用退火Langevin动力学对其进行采样。我们相信,基于得分的生成模型可以开辟新的机会,在分子生成由于其架构的灵活性,如取代评分函数与SE(3)等变模型。在这项工作中,我们通过测试基于分数的分子生成模型的有效性奠定了基础。我们对来自ZINC数据集的150万个样本的自引用嵌入字符串(SELFIES)表示进行训练,并使用Moses基准测试框架来评估一套指标上生成的样本。
2022-03-07 cs.LG q-bio.QM
LDMol: A Text-to-Molecule Diffusion Model with Structurally Informative Latent Space Surpasses AR Models
本文提出文本到分子生成的潜在扩散模型 LDMol,通过对比学习构建结构信息潜在空间,在基准上超越自回归模型,并支持分子检索与编辑等下游任务。
2025-06-04 cs.AI cs.LG
On the causality-preservation capabilities of generative modelling
Katholieke Universiteit Leuven(鲁汶大学);Universiteit Gent(根特大学);IMEC(比利时微电子研究中心);Universiteit Antwerpen(安特卫普大学)
建模是金融和保险行业的核心,可用于各种任务。机器学习和深度学习模型的兴起和发展为改进我们的建模工具箱创造了许多机会。这些领域的突破往往伴随着大量数据的需求。在金融和保险领域,这种大型数据集通常不公开,主要是出于隐私和道德方面的考虑。数据的缺乏是目前开发更好模型的主要障碍之一。缓解这个问题的一个可能的选择是生成建模。生成模型能够模拟虚假但看起来真实的数据,也称为合成数据,可以更自由地共享。生成对抗网络(GANs)就是这样一种模型,它提高了我们拟合高维数据分布的能力。虽然对GANs的研究在计算机视觉等领域是一个活跃的话题,但它们在人类科学中的应用有限,如经济学和保险。原因在于,在这些领域中,大多数问题本质上都是关于因果效应的识别,而迄今为止,处于GAN框架中心的神经网络主要关注高维相关性。在本文中,我们研究了GANs的因果关系保持能力,以及所产生的合成数据是否可以可靠地用于回答因果关系问题。这是通过对GAN产生的合成数据进行因果分析来完成的,其中假设越来越宽松。我们考虑横截面的情况下,时间序列的情况下,一个完整的结构模型的情况下。结果表明,在简单的横截面的情况下,相关性等于因果关系的GAN保留因果关系,但更先进的分析出现的挑战。
2023-01-03 cs.LG econ.EM
Lifelong Generative Modelling Using Dynamic Expansion Graph Model
University of York(约克大学)
变分自编码器(VAE)在学习多个连续任务时,性能会退化。这是由灾难性遗忘引起的。为了解决知识丢失问题,VAE正在使用生成重放(GR)机制或扩展网络架构(ENA)。在本文中,我们研究的遗忘行为的VAE使用联合GR和ENA方法,推导出一个上界的负边际对数似然。这一理论分析为VAE如何在终身学习中忘记以前学到的知识提供了新的见解。分析表明,在ENA框架下,考虑模型混合物时达到的最佳性能,其中对组分的数量没有限制。然而,基于ENA的方法可能需要过多的参数。这促使我们提出了一种新的动态扩展图模型(DEGM)。DEGM根据与每个新数据库相关的新颖性,与网络从以前的任务中已经学习的信息相比,扩展了其架构。DEGM训练优化了知识结构,表征了与过去和最近学习的任务相对应的联合概率表示。我们证明,DEGM保证每个任务的最佳性能,同时也最大限度地减少所需的参数数量。补充材料(SM)和源代码可在https://github.com/dtuzi123/Expansion-Graph-Model获得。
2021-12-15 cs.AI cs.CV cs.LG
Combinatorial Complex Score-based Diffusion Modelling through Stochastic Differential Equations
Imperial College London(帝国理工学院)
本论文提出基于随机微分方程的统一框架,将图与超图等复杂对象建模为组合复形进行分数扩散生成,统一了分数匹配与去噪扩散概率模型,并在图和分子生成任务上达到与最先进方法相当的性能。
2024-06-07 cs.LG cs.SI math.AT
Robustly Invertible Nonlinear Dynamics and the BiLipREN: From Inversion-Based Control to Generative Trajectory Modelling
Australian Centre for Robotics (ACFR)(澳大利亚机器人中心);School of Aerospace, Mechanical and Mechatronic Engineering(航空航天、机械与机电工程学院)
该论文提出非线性动力系统鲁棒可逆性概念,通过静态与动态层组合构建鲁棒可逆递归模型及双利普希茨递归平衡网络,经示例展示其在数据驱动控制、学习及流中的应用,可用于鲁棒控制、轨迹优化与复杂轨迹分布建模。
2026-07-14 cs.LG cs.SY eess.SY
Prediction of rare feature combinations in population synthesis: Application of deep generative modelling
Technical University of Denmark(丹麦技术大学)
在群体综合应用中,当考虑具有多个属性的群体时,一个基本问题是估计特征属性的稀有组合。毫不奇怪,要可靠地表示这种多变量分布的稀疏区域,特别是原始样本中不存在的属性组合,是非常困难的。在文献中,这通常被称为采样零点,迄今为止还没有提出系统的解决方案。本文提出了两种来自深度生成模型家族的机器学习算法,用于解决人口合成问题,并特别关注采样零的问题。具体来说,我们引入了Wasserstein生成对抗网络(WGAN)和变分自动编码器(VAE),并将这些算法用于大规模人口合成应用。该模型实现了丹麦旅游调查的功能空间超过60个变量。该模型进行了验证,在交叉验证计划和一组新的指标的抽样零问题的评估。结果表明,这些模型是如何能够恢复采样零点,同时保持真正不可能的组合,结构零点,在一个相对较低的水平估计。特别地,对于低维实验,VAE,边际采样器和完全随机采样器分别产生5%,21%和26%,更多的结构零点由WGAN产生,而对于高维情况下,这些数字分别上升到44%,2217%和170440%。这项研究直接支持基于代理的系统的开发,特别是在需要详细的社会经济或地理代表性的情况下。
2019-09-17 cs.LG stat.AP stat.ML
A Data-driven Market Simulator for Small Data Environments
J.P. Morgan(摩根大通);The Alan Turing Institute(艾伦·图灵研究所);University of Oxford(牛津大学)
基于神经网络的数据驱动的市场模拟揭示了一种新的和灵活的方式来建模金融时间序列,而无需对潜在的随机动态施加假设。虽然从这个意义上说,生成市场模拟是无模型的,但具体的建模选择对模拟路径的特征具有决定性意义。我们给出了一个简要的概述,目前使用的生成建模方法和性能评价指标的金融时间序列,并解决了一些挑战,以实现良好的结果,在后者。我们还对比了一些经典的市场模拟方法与基于生成模型的模拟,并强调了新方法的一些优点和缺陷。虽然大多数生成模型往往依赖于大量的训练数据,但我们在这里提出了一个生成模型,它可以在可用训练数据量非常小的环境中可靠地工作。此外,我们展示了如何结合一个简约的变分自动编码器框架的粗糙路径的角度提供了一个强大的方式编码和评估金融时间序列在这样的环境中,可用的训练数据是稀缺的。最后,我们还提出了一个合适的性能评价指标的金融时间序列,并讨论了我们的市场生成器的深度对冲的一些连接。
2020-06-21 cs.LG q-fin.CP q-fin.MF
Variational Potential Flow: A Novel Probabilistic Framework for Energy-Based Generative Modelling
School of Information Technology, Monash University Malaysia(马来西亚莫纳什大学信息技术学院)
本文提出变分势流(VAPO)框架,通过学习势能函数引导先验样本密度演化逼近数据似然同伦,无需MCMC采样,在CIFAR-10和CelebA上取得有竞争力的FID分数。
2024-07-21 cs.AI cs.LG cs.NE
On generative models as the basis for digital twins
University of Sheffield(谢菲尔德大学)
提出了一个生成模型的框架,作为数字孪生或结构镜像的基础。该建议是基于这样的前提,即确定性模型不能解释大多数结构建模应用中存在的不确定性。这里考虑两种不同类型的生成模型。第一种是基于随机有限元(SFE)方法的物理模型,该方法广泛用于对具有材料和载荷不确定性的结构进行建模。这种模型可以根据结构的数据进行校准,如果建模准确地捕捉到结构的真实基础物理特性,则预计这些模型的性能将优于任何其他模型。SFE模型作为数字镜的潜在用途说明通过应用到具有随机材料特性的线性结构。对于这种模型的物理公式不足以满足的情况,提出了一个数据驱动的框架,使用机器学习和条件生成对抗网络(cGAN)。后一种算法用于学习具有材料非线性和不确定性的结构中感兴趣的量的分布。对于本工作中考虑的示例,数据驱动的cGANs模型优于基于物理的方法。最后,一个例子中,这两种方法耦合,这样的混合模型的方法进行了演示。
2022-03-08 cs.LG cs.SY eess.SY
Generative Modelling of 3D in-silico Spongiosa with Controllable Micro-Structural Parameters
Consejo Nacional de Investigaciones Científicas y Técnicas(阿根廷国家科学技术研究委员会);Universidad Tecnológica Nacional, Facultad Regional Buenos Aires(阿根廷国立技术大学布宜诺斯艾利斯地区学院);Universidad Nacional del Sur(阿根廷国立南方大学)
脊椎骨微结构的研究通常需要昂贵的程序来获得具有正在研究的特定病理的真实骨的物理扫描,因为还没有方法可以在计算机上生成真实的骨结构。在这里,我们建议应用生成对抗网络(GANs)的最新进展来开发这样一种方法。我们采用了风格转移技术,这已被大量用于其他情况下,以转移图像对之间的风格,同时保留其信息内容。在第一步中,我们使用Wasserstein目标和梯度惩罚(PWGAN-GP)以渐进的方式训练了体积生成模型,以在计算机上创建逼真的骨骼结构补丁。训练集包含来自12个人椎骨(T12或L1)的7660个纯脊椎骨样本,各向同性分辨率为164 μ m,并使用高分辨率外周定量CT(ScorioXCT)扫描。在训练之后,我们通过优化学习的潜在空间中的向量z来生成具有定制的微观结构特性的新样本。为了解决这个优化问题,我们制定了一个可微分的目标函数,该函数可以在保证外观(内容)和目标3D属性(样式)的同时获得有效样本。学习的潜在空间的属性有效地匹配了数据分布。此外,我们能够仅基于微观结构参数的预期变化来模拟骨质疏松症治疗的恶化或治疗效果后产生的骨结构。我们的方法允许生成几乎无限数量的真实骨微结构的补丁,从而可能用于开发骨生物标志物并提前模拟骨治疗。
2020-09-23 cs.CV cs.LG eess.IV
Fourier Transformers for Latent Crystallographic Diffusion and Generative Modeling
CRIL UMR 8188, Universit\'e d'Artois, CNRS, France
本文提出一种基于傅里叶变换的生成模型,用于高效生成具有周期性和对称性的晶体结构,通过潜在扩散模型在压缩空间中实现高精度重建和生成。
2026-02-12 cs.AI cs.LG
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University(首尔大学)
具有聚类潜在空间的生成对抗网络(GANs)可以以完全无监督的方式执行条件生成。在现实世界中,未标记数据的显著属性可能是不平衡的。然而,大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性,因为它们假设属性的均匀分布。为了解决这个问题,我们从理论上推导出Stein潜在优化,该优化提供了潜在分布参数的可重新参数化的梯度估计,假设在连续潜在空间中存在高斯混合。在结构上,我们引入了一个编码器网络和新的无监督条件对比损失,以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认,所提出的方法,命名为斯坦潜在优化GANs(SLOGAN),成功地学习平衡或不平衡的属性,并实现了最先进的无监督条件生成性能,即使在没有属性信息的情况下(例如,不平衡度)。此外,我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
GAN-based generative modelling for dermatological applications -- comparative study
Sahlgrenska University Hospital(萨尔格伦斯卡大学医院);AI Sweden(瑞典人工智能研究院)
本文在集中式和去中心化设置下比较了无条件与条件GAN在皮肤病变数据集上的生成效果,评估了保真度、多样性等性能,并通过潜在空间探索验证了模型的真实性与泛化能力。
2022-08-24 cs.AI cs.CV cs.LG
Modelling urban networks using Variational Autoencoders
Alphamoon Ltd(Alphamoon有限公司);University College London(伦敦大学学院)
城市和区域规划者长期面临的一个问题是定量描述城市格局的能力。城市的交通基础设施,特别是街道网络,提供了关于人口流动及其相互作用所产生的城市模式的宝贵信息来源。随着街道网络数据集的可用性越来越高以及深度学习方法的进步,我们面临着前所未有的机会,可以将城市建模的前沿推向更多数据驱动和准确的城市形态模型。在这项研究中,我们提出了我们的初步工作,将深度生成模型应用于城市街道网络数据,以创建空间上明确的城市模型。我们的工作基于变分自编码器(VAE),这是一种深度生成模型,由于能够生成逼真的图像,最近已经获得了普及。初步结果表明,VAE能够使用低维向量捕获关键的高级别城市网络指标,并生成与街道网络数据中捕获的城市相匹配的新的城市复杂形式。
2019-05-14 cs.CY cs.LG stat.ML
Adversarial Training Improves Joint Energy-Based Generative Modelling
MIPT(莫斯科物理技术学院);ITMO(圣光机大学);Artificial Intelligence Research Institute(人工智能研究所)
我们提出了新的框架生成建模使用混合能源为基础的模型。在我们的方法中,我们结合了鲁棒分类器和Langevin动力学的可解释输入梯度进行采样。使用对抗训练,我们不仅提高了训练的稳定性,而且提高了联合能量模型的鲁棒性和生成建模。
2022-07-18 cs.LG
DiffRenderGAN: Addressing Training Data Scarcity in Deep Segmentation Networks for Quantitative Nanomaterial Analysis through Differentiable Rendering and Generative Modelling
Department Artificial Intelligence in Biomedical Engineering(人工智能生物医学工程部门);Friedrich-Alexander-University Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学);Pattern Recognition Lab(模式识别实验室);Institute for Nanotechnology and Correlative Microscopy(纳米技术与相关显微镜研究所);Lucid Concepts AG(Lucid Concepts公司);Fraunhofer Institute for Ceramic Technologies and Systems(弗劳恩霍夫陶瓷技术与系统研究所);Freie Universität Berlin(柏林自由大学);Max Planck Institute for the Science of Light(马克斯·普朗克光科学研究所);Julius-Maximilians-University Würzburg(乌尔姆-马克斯·普朗克大学)
针对定量纳米材料分析中深度分割网络训练数据稀缺问题,提出集成可微分渲染器的DiffRenderGAN生成模型,从无标注真实显微图像生成带标注合成数据,提升分割性能并弥合合成与真实数据差距。
2025-02-13 cond-mat.mtrl-sci cs.CV cs.LG
Supplemental Material: Lifelong Generative Modelling Using Dynamic Expansion Graph Model
University of York(约克大学)
在这篇文章中,我们提供了使用动态扩展图模型的终身生成建模的附录。本附录包括其他视觉结果以及挑战性数据集的数值结果。此外,我们还提供了详细的证明所提出的理论分析框架。源代码可以在https://github.com/dtuzi123/Expansion-Graph-Model上找到。
2022-03-25 cs.LG
Generative Myopia: Why Diffusion Models Fail at Structure
Department of Electrical and Computer Engineering, Northeastern University(电气与计算机工程系,东北大学)
本文提出谱加权扩散模型,通过有效电阻重新对齐变分目标,解决扩散模型在结构上因梯度饥饿导致的生成性短视问题,实现100%的连通性。
2025-11-23 cs.LG cs.SY eess.SY
Discriminating modelling approaches for Point in Time Economic Scenario Generation
ETH Zürich(苏黎世联邦理工学院)
我们引入了时间点经济情景生成(PiT ESG)的概念,并通过明确的数学问题公式来统一和比较以前瞻性市场数据为条件的经济情景生成方法。与仅根据长期历史数据校准的传统ESG相比,此类PiT ESG应能对突发经济变化做出更快、更灵活的反应。我们特别将标准普尔500指数和波动率指数作为经济变量作为前瞻性市场数据,比较非参数过滤历史模拟、联合似然估计(参数)的GARCH模型、限制玻尔兹曼机和条件变分自动编码器(生成网络)作为PiT ESG的适用性。我们的评估包括模型拟合的统计测试和基准的样本预测质量与策略回测使用模型输出作为止损标准。我们发现,在我们的测试中,生成网络的性能优于非参数和经典参数模型,但CVAE似乎特别适合我们的目的:产生更强大的性能和计算量更轻。
2021-08-19 cs.LG q-fin.CP q-fin.RM
Generative Adversarial Training for Text-to-Speech Synthesis Based on Raw Phonetic Input and Explicit Prosody Modelling
Adobe Systems(奥多比系统公司)
本文提出一个基于生成对抗训练的端到端语音合成系统,通过显式韵律建模和离散风格令牌,实现高表现力角色声音匹配。
2023-10-14 cs.LG
Black box behavioural modelling: Predicting human activity schedules with a deep conditional generative approach
Department of Civil, Environmental and Geomatic Engineering, University College London(土木、环境与地理工程系,伦敦大学学院)
研究旨在用深度条件生成方法预测人类活动日程,提出ActVAE方法,将日程建模为依赖多种信息的条件模型,能快速生成多样日程,经评估与基线模型比较,为现有方法提供替代,凸显建模人类行为随机性的价值。
2026-07-24 cs.LG
Modelling Latent Travel Behaviour Characteristics with Generative Machine Learning
Ryerson University(瑞尔森大学)
在本文中,我们实现了一个信息理论的方法,通过引入一个生成建模框架,以确定信息的潜在特征,在旅游决策的旅行行为分析。它涉及使用受限玻尔兹曼机(RBM)生成建模框架开发联合三方贝叶斯图形网络模型。我们将此框架应用于模式选择调查数据,以识别抽象潜变量,并将性能与具有特定潜偏好(安全性、舒适性和环境)的传统潜变量模型进行比较。在加拿大魁北克省的一项联合声明和显示偏好模式选择调查中收集的数据被用来校准RBM模型。结果表明,一个显着的影响模型的似然统计,并建议机器学习工具是非常适合建模复杂的网络条件独立的行为相互作用。
2018-09-15 cs.LG stat.ML
OGGN: A Novel Generalized Oracle Guided Generative Architecture for Modelling Inverse Function of Artificial Neural Networks
IIT Madras(印度理工学院马德拉斯分校)
本文提出了一种新的生成式神经网络结构,用于对人工神经网络(ANN)的反函数进行完全或部分建模。对ANN的完整反函数进行建模涉及生成对应于所需输出的所有特征的值。另一方面,对反函数进行部分建模意味着生成特征子集的值并固定其余特征值。特征集生成是人工神经网络的关键步骤,在工程和科学的一些实际应用中非常有用。建议的Oracle引导生成神经网络,被称为OGGN,是灵活的,以处理各种特征生成问题。通常,ANN能够基于给定的特征向量预测目标值。OGGN架构使得能够在给定ANN的预定目标值的情况下生成特征向量。当生成的特征向量被馈送到前向ANN时,ANN预测的目标值将接近预定目标值。因此,OGGN架构能够映射、反函数的函数表示为前向人工神经网络。除此之外,本工作还有另一个重要贡献。本文还介绍了一类新的函数,定义为约束函数。约束函数使得神经网络能够在较长的时间段内研究给定的局部空间。因此,除了能够找到全局最优之外,还能够找到损失函数的局部最优。OGGN也可以适用于求解多变量的多项式方程组。在合成数据集上的实验验证了OGGN在各种用例上的有效性。
2021-04-08 cs.LG
Challenges of Generating Structurally Diverse Graphs
HSE University(高等经济大学);Yandex Research(Yandex研究中心)
针对生成结构多样图的研究空白,本文定义了图多样性的度量方式,提出并对比了多种优化多样性的算法,证实其可显著提升多样性,还深化了对图距离与结构特性关系的理解。
2024-12-11 cs.LG
Classification via score-based generative modelling
在这项工作中,我们研究了基于分数的梯度学习在判别和生成分类设置中的应用。分数函数可以用来表征数据分布,作为密度的替代。它可以通过分数匹配有效地学习,并用于灵活地生成可信的样本,以提高区分性分类质量,恢复密度和构建生成式分类器。我们分析了涉及基于分数的表示的决策理论,并在模拟和真实世界的数据集上进行了实验,证明了它在实现和提高二进制分类性能方面的有效性,以及对扰动的鲁棒性,特别是在高维和不平衡的情况下。
2022-07-22 cs.AI cs.LG
Generative Modelling for Unsupervised Score Calibration
AGNITIO Research(AGNITIO研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
分数校准使自动说话人识别器能够做出具有成本效益的接受/拒绝决定。传统的校准需要监督数据,这是一种昂贵的资源。我们提出了一个2分量GMM无监督校准,并表现出良好的性能相对于NIST SRE'10和SRE'12的监督基线。贝叶斯分析表明,与无监督校准参数估计值相关的不确定性是令人惊讶的小。
2014-02-14 cs.LG stat.ML
Riemannian Score-Based Generative Modelling
ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL University(巴黎文理研究大学);University of Oxford(牛津大学)
基于得分的生成模型(SGM)是一类功能强大的生成模型,具有显著的经验性能。基于分数的生成建模(SGM)包括一个“噪声”阶段,其中扩散被用来逐渐添加高斯噪声到数据中,以及一个生成模型,它需要一个“去噪”过程,通过近似扩散的时间反演来定义。现有的SGM假设数据支持在欧几里得空间上,即具有平坦几何形状的流形。在许多领域,如机器人,地球科学或蛋白质建模,数据往往是自然描述的分布生活在黎曼流形和目前的SGM技术是不合适的。我们在这里介绍黎曼基于得分的生成模型(RSGMs),一类生成模型扩展SGMs到黎曼流形。我们展示了我们的方法在各种流形上,特别是地球和气候科学球形数据。
2022-11-22 cs.LG math.PR stat.ML
TabFORGE: A Tabular Foundation Model for Generative Modelling
Department of Computer Science and Technology, University of Cambridge, UK(计算机科学与技术系,剑桥大学,英国);SAP SE;Télécom Paris, Institut Polytechnique de Paris, France(巴黎telecom,巴黎理工 institute,法国)
本文提出TabFORGE,一种基于预训练因果感知特征编码器的表格基础生成模型,通过两阶段设计缓解潜在嵌入分布偏移,实现高质量合成表格数据生成。
2026-10-16 cs.LG
Diffusion Generative Modelling for Divide-and-Conquer MCMC
Lancaster University(兰卡斯特大学)
针对分治MCMC中子后验合并难以避免分布假设的问题,本文提出用扩散生成建模拟合子后验密度近似,在挑战性合并任务上优于现有方法,并更适用于高维场景。
2024-06-17 cs.LG stat.CO stat.ML
Equitable modelling of brain imaging by counterfactual augmentation with morphologically constrained 3D deep generative models
University College London(伦敦大学学院)
我们描述了Countersynth,条件生成模型,诱导标签驱动的,生物上合理的变化,体积脑图像的变形。该模型的目的是合成反事实的训练数据增强下游的歧视性建模任务,保真度是有限的数据不平衡,分布不稳定,混杂,或规格不足,并表现出不公平的性能在不同的亚群。集中在人口统计属性,我们评估合成的反事实的质量与基于体素的形态测量,分类和回归的条件属性,和Fréchet的起始距离。在工程人口不平衡和混杂的背景下检查下游辨别性能,我们使用英国生物银行磁共振成像数据来对CounterSynth增强与当前解决这些问题的方案进行基准测试。我们实现了最先进的改进,无论是在整体保真度和公平。CounterSynth的源代码可以在线获得。
2021-11-29 cs.CV cs.LG
F-Divergences and Cost Function Locality in Generative Modelling with Quantum Circuits
Cambridge Quantum Computing Limited(剑桥量子计算有限公司);Imperial College London(伦敦帝国理工学院);University of Edinburgh(爱丁堡大学)
生成式建模是机器学习中一个重要的无监督任务。在这项工作中,我们研究了一个混合量子经典的方法来完成这项任务,基于使用的量子线路玻恩机。特别地,我们考虑使用$f$ -发散训练量子线路玻恩机。我们首先讨论生成建模的对抗框架,它可以在短期内估计任何$f$ -发散。基于这种能力,我们介绍了两种明显提高玻恩机训练的方法。第一种是基于训练过程中的$f$ -发散切换。第二个介绍了当地的分歧,一个战略,已被证明是重要的,在类似的应用程序,在减轻贫瘠的高原。最后,我们讨论了计算$f$发散量子设备的长期影响,包括算法,提供二次加速到他们的估计。特别是,我们推广现有的算法估计的Kullback-Leibler分歧和总的变化距离,以获得一个容错的量子算法估计另一个$f$ -分歧,即皮尔逊分歧。
2021-10-08 cs.LG quant-ph
Graph-based Deep Generative Modelling for Document Layout Generation
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Indian Statistical Institute(印度统计研究所)
任何深度学习方法的主要先决条件之一是大规模训练数据的可用性。当在现实世界中处理扫描的文档图像时,其内容的主要信息存储在布局本身中。在这项工作中,我们提出了一个自动化的深度生成模型,使用图神经网络(GNNs)来生成具有高度可变和合理的文档布局的合成数据,这些文档布局可用于训练文档解释系统,在这种情况下,特别是在数字邮件收发室应用中。这也是第一个基于图形的方法,用于在管理文档图像(在本例中为发票)上进行的文档布局生成任务。
2021-07-09 cs.CV cs.LG
Joint Velocity Slope Diffusion Prior for Structurally Constrained Velocity Model Building
King Abdullah University of Science and Technology(卡布斯大学)
研究利用稀疏测井信息重建结构预处理速度模型,核心方法是结合平面波PDE正则化等,主要贡献是通过联合速度-斜率生成先验提升模型结构连续性等,且保持计算可行性。
2026-07-07 cs.AI cs.LG physics.geo-ph
Estimating friction coefficient using generative modelling
Loughborough University(拉夫堡大学);University of New South Wales(新南威尔士大学);Volvo Group Truck Technology(沃尔沃集团卡车技术公司)
通常利用动态模型来实时测量轮胎-道路摩擦。另外,预测方法估计轮胎-道路摩擦,通过识别环境因素影响it. This工作的目的是制定摩擦估计的问题作为一个视觉感知学习任务。该问题被分解成检测表面特征,通过应用语义分割和使用提取的特征来预测摩擦力。这项工作首次制定了摩擦估计问题作为一个回归的潜在空间的语义分割模型。初步结果表明,该方法可以估计摩擦力。
2023-03-10 cs.CV cs.LG
A Generative Model for Accelerated Inverse Modelling Using a Novel Embedding for Continuous Variables
Faculty of Georesources and Materials Engineering, RWTH Aachen University(亚琛工业大学地质资源与材料工程学院)
针对材料科学中逆建模找目标性能对应微观结构的不适定问题,提出基于浮点数二进制表示的新型连续变量嵌入策略,用于生成模型,无需归一化即可精细调控生成的微观结构,加速材料设计。
2024-05-21 cond-mat.mtrl-sci cs.LG