A Non-Asymptotic Convergent Analysis for Scored-Based Graph Generative Model via a System of Stochastic Differential Equations
School of Computing(计算学院);Data Science, University of Hong Kong(数据科学,香港大学)
针对基于评分的图生成模型(SGGMs)收敛性理论研究不足的问题,首次开展非渐近收敛分析,揭示其耦合SDE系统特有的收敛影响因素,提供超参数选择见解并通过实证验证,深化理论理解并指导模型设计。
2025-08-20 cs.LG stat.ML
Diffusion Generative Modelling for Divide-and-Conquer MCMC
Lancaster University(兰卡斯特大学)
针对分治MCMC中子后验合并难以避免分布假设的问题,本文提出用扩散生成建模拟合子后验密度近似,在挑战性合并任务上优于现有方法,并更适用于高维场景。
2024-06-17 cs.LG stat.CO stat.ML
Generating solution paths of Markovian stochastic differential equations using diffusion models
本文提出利用扩散模型生成未知马尔可夫随机微分方程样本路径的新方法,通过数据驱动方式超越传统蒙特卡洛方法,通过生成合成路径提升连续时间均值-方差投资组合选择的强化学习性能。
2026-03-16 cs.LG stat.ML
Identifying Drift, Diffusion, and Causal Structure from Temporal Snapshots
University of British Columbia(不列颠哥伦比亚大学);University of Melbourne(墨尔本大学)
本文提出了一种从时间边际联合识别SDE漂移和扩散的方法,证明了非识别性仅在初始分布具有广义旋转对称性时发生,并展示了因果图可从SDE参数中恢复。
2026-11-09 cs.LG math.ST stat.ML
Gradient-Free Sampling from Generative Models via Stochastic Bounded Extremum Seeking
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出一种无需梯度评估的生成模型采样方法,通过高频抖动余弦替代分数项,实现能量基和扩散模型的采样,适用于黑盒时变目标的潜空间场景。
2026-10-06 cs.LG math.OC stat.CO
Neural Stochastic Flows: Solver-Free Modelling and Inference for SDE Solutions
Imperial College London(伦敦帝国学院);Canon Inc.(佳能公司)
针对传统SDE数值求解器采样成本高的问题,提出带架构约束的神经随机流及其潜变量变体,直接学习SDE转移律,实现任意状态单次采样,大幅提速且保持分布精度。
2025-10-29 cs.LG stat.ML
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China(电子科技大学)
我们研究了基于生成对抗网络(GANs)的图像多模态生成建模问题。尽管现有的方法取得了成功,但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题,我们引入狄利克雷先验的多模态图像生成,这导致了一个新的潜在狄利克雷分配的GAN(LDAGAN)。详细地,对于生成过程建模,LDAGAN为每个样本定义生成模式,确定其属于哪个生成子过程。对于对抗训练,LDAGAN推导出一种变分期望最大化(VEM)算法来估计模型参数。在真实数据集上的实验结果表明,LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Stochastic Discriminative EM
Norwegian University of Science and Technology(挪威科技大学);University of Granada(格拉纳达大学)
随机判别EM(英语:Stochastic discriminative EM,缩写:sdEM)是一种在线EM型算法,用于判别训练属于指数族的概率生成模型。在这项工作中,我们介绍和证明这个算法作为一个随机的自然梯度下降方法,即一种方法,占统计模型的参数空间中的信息几何。我们展示了如何使用这种学习算法来训练概率生成模型,通过最小化不同的判别损失函数,如负条件对数似然和铰链损失。由sdEM训练得到的模型总是生成的(即它们定义了联合概率分布),因此,无论是在学习还是在进行预测时,都可以以原则性的方式处理缺失数据和潜在变量。该方法的性能说明了几个文本分类问题,其中一个多项式朴素贝叶斯和一个潜在的Dirichlet分配为基础的分类器学习使用不同的判别损失函数。
2014-10-02 cs.LG
Generative modelling of multivariate geometric extremes using normalising flows
本文提出基于归一化流和超球面几何方法的多元极值生成建模框架,实现全方向联合尾部外推和任意风险区域快速概率估计,并在风速极值与风电相关极端事件分析中验证其有效性。
2025-05-05 stat.ME
Neural Stochastic Differential Equations with Change Points: A Generative Adversarial Approach
J.P. Morgan AI Research(摩根大通人工智能研究院);University at Buffalo(布法罗大学)
针对存在分布偏移的时间序列,本文提出在GAN框架下联合学习多个神经SDE及其变点,并以交替优化和判别器前向输出实现检测。
2024-01-22 cs.LG stat.ML
Score-Based Generative Modeling through Stochastic Differential Equations
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
从数据中创建噪声很容易;从噪声中创建数据是生成建模。我们提出了一个随机微分方程(RSDs),通过缓慢注入噪声,将复杂的数据分布平滑地转换为已知的先验分布,以及相应的逆时RSDs,通过缓慢去除噪声,将先验分布转换回数据分布。重要的是,逆时梯度仅取决于扰动数据分布的时间相关梯度场(\aka,分数)。通过利用基于分数的生成建模的进步,我们可以用神经网络准确地估计这些分数,并使用数值解算器来生成样本。我们表明,这个框架封装了以前的方法在基于分数的生成建模和扩散概率建模,允许新的采样程序和新的建模能力。特别是,我们引入了一个预测-校正框架来校正离散逆时模型演化中的错误。我们还推导出一个等价的神经ODE,它从与神经元相同的分布中采样,但另外还可以进行精确的似然计算,并提高采样效率。此外,我们提供了一种新的方法来解决逆问题的分数为基础的模型,类条件生成,图像修补和彩色化的实验证明。结合多个架构改进,我们在CIFAR-10上实现了破纪录的无条件图像生成性能,Inception评分为9.89,FID为2.20,竞争可能性为2.99 bits/dim,并首次从基于得分的生成模型中展示了1024 x 1024图像的高保真生成。
2021-02-10 cs.LG stat.ML
DiffFlow: A Unified SDE Framework for Score-Based Diffusion Models and Generative Adversarial Networks
HKUST(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出统一SDE框架DiffFlow,将SDMs和GANs的学习动力学纳入同一随机微分方程,通过调节分数权重实现两类模型平滑过渡,并给出具有精确似然推断的新算法。
2023-07-05 cs.CV cs.LG math.AP
Time-changed normalizing flows for accurate SDE modeling
Univ Brest(布雷斯特大学);IMT Atlantique(大西洋电信学院)
本文提出时变归一化流TCNF,通过对Brown运动作时间形变来建模传统动态归一化流无法表示的SDE,并推广已有方法、提升推断与预测性能。
2024-01-15 cs.LG stat.ML
SDE Matching: Scalable and Simulation-Free Training of Latent Stochastic Differential Equations
University of Amsterdam(阿姆斯特丹大学);Constructor University, Bremen(布雷梅构造大学)
本文提出SDE Matching,一种免仿真的Latent SDE训练新方法,通过扩展Score-和Flow Matching算法至随机动力学领域,消除了昂贵的数值仿真需求,在保持与伴随灵敏度方法相当性能的同时大幅降低了计算复杂度。
2025-06-26 cs.LG stat.ML
Scalable physics-informed deep generative model for solving forward and inverse stochastic differential equations
Institute of Interdisciplinary Research for Mathematics and Applied Science, School of Mathematics and Statistics, Huazhong University of Science and Technology(华中科技大学数学与统计学院交叉学科数学与应用科学研究所);Department of Mathematics, Shanghai Normal University(上海师范大学数学系)
本文提出了一种可扩展的物理信息深度生成模型,用于高效求解高维随机和空间中的正向和逆向随机微分方程问题。
2026-03-04 physics.comp-ph stat.ML
Restart Sampling for Improving Generative Processes
MIT(麻省理工学院);Google Research(谷歌研究院)
本文提出Restart采样算法,通过在正向加噪与反向ODE之间交替来平衡离散化误差和误差收缩,在扩散模型中显著提升采样速度与样本质量,并改善文本到图像生成中的质量与多样性权衡。
2023-11-01 cs.CV cs.LG stat.CO
Riemannian Score-Based Generative Modelling
ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL University(巴黎文理研究大学);University of Oxford(牛津大学)
基于得分的生成模型(SGM)是一类功能强大的生成模型,具有显著的经验性能。基于分数的生成建模(SGM)包括一个“噪声”阶段,其中扩散被用来逐渐添加高斯噪声到数据中,以及一个生成模型,它需要一个“去噪”过程,通过近似扩散的时间反演来定义。现有的SGM假设数据支持在欧几里得空间上,即具有平坦几何形状的流形。在许多领域,如机器人,地球科学或蛋白质建模,数据往往是自然描述的分布生活在黎曼流形和目前的SGM技术是不合适的。我们在这里介绍黎曼基于得分的生成模型(RSGMs),一类生成模型扩展SGMs到黎曼流形。我们展示了我们的方法在各种流形上,特别是地球和气候科学球形数据。
2022-11-22 cs.LG math.PR stat.ML
Arbitrage-free neural-SDE market models
建立流动性普通期权的联合动力学模型对于非流动性衍生品的无套利定价和期权交易账簿的风险管理至关重要。本文提出了一个非参数模型的欧式期权书尊重潜在的财务约束,而实际上是可执行的。我们推导出一个状态空间的价格是免费的静态(或模型独立)套利和研究的推理问题,其中一个模型是从离散的时间序列数据的股票和期权价格。我们使用神经网络作为函数逼近的漂移和扩散的建模系统,并施加约束的神经网络,使无套利条件被保存。特别是,我们给出的方法来校准\textit{neural SDE}模型,保证满足一组线性不等式。我们验证了我们的方法与数值实验,使用赫斯顿随机局部波动率模型产生的数据。
2021-08-23 math.PR q-fin.CP q-fin.RM
Minimizing Trajectory Curvature of ODE-based Generative Models
Soongsil University(崇实大学);KAIST(韩国科学技术院)
本文提出通过训练前向过程最小化生成轨迹曲率的方法,在无需ODE/SDE模拟的情况下降低采样成本并保持性能。
2023-05-25 cs.AI cs.CV cs.LG
Riemannian Langevin Dynamics: Strong Convergence of Geometric Euler-Maruyama Scheme
The University of Tokyo(东京大学);RIKEN Center for AIP(理化学研究所人工智能研究中心)
本文研究了Riemannian流形上SDEs的几何EM方案,证明其强收敛性,并应用该方案获得流形上采样的Wasserstein界。
2026-03-04 cs.LG cs.NA math.NA
Identifying Latent Stochastic Differential Equations
Duke University(杜克大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出了一种从高维时间序列数据中学习潜随机微分方程的方法。给定一个高维时间序列,从一个低维的潜在的未知伊藤过程中产生的,所提出的方法学习从环境到潜在的空间的映射,和潜在的时间序列系数,通过自监督学习方法。使用变分自编码器的框架,我们考虑了一个条件生成模型的数据的基础上的Euler-Maruyama近似的Euler-Maruyama解决方案。此外,我们使用最近的结果的可识别性的潜变量模型表明,所提出的模型不仅可以恢复潜在的隐变量系数,但也可以恢复原始的潜变量,直到一个等距,在无限的数据的限制。我们通过几个模拟的视频处理任务,其中底层的视频是已知的,并通过真实世界的数据集验证该方法。
2021-11-26 cs.LG stat.ML
Modelling Latent Travel Behaviour Characteristics with Generative Machine Learning
Ryerson University(瑞尔森大学)
在本文中,我们实现了一个信息理论的方法,通过引入一个生成建模框架,以确定信息的潜在特征,在旅游决策的旅行行为分析。它涉及使用受限玻尔兹曼机(RBM)生成建模框架开发联合三方贝叶斯图形网络模型。我们将此框架应用于模式选择调查数据,以识别抽象潜变量,并将性能与具有特定潜偏好(安全性、舒适性和环境)的传统潜变量模型进行比较。在加拿大魁北克省的一项联合声明和显示偏好模式选择调查中收集的数据被用来校准RBM模型。结果表明,一个显着的影响模型的似然统计,并建议机器学习工具是非常适合建模复杂的网络条件独立的行为相互作用。
2018-09-15 cs.LG stat.ML
Schrödinger bridge based deep conditional generative learning
Augusta University(奥古斯塔大学);Medical College of Georgia(佐治亚医学院)
提出一种基于薛定谔桥的深度生成方法,通过随机微分方程和深度神经网络学习条件分布,生成的样本质量优于现有方法,并可用于估计条件密度及统计量。
2024-09-25 cs.LG stat.ML
Gotta Go Fast When Generating Data with Score-Based Models
University of Montreal(蒙特利尔大学);Simon Fraser University(西蒙弗雷泽大学);Radboud University(拉德堡德大学);Donders Institute(唐德斯研究所)
基于分数(去噪扩散)的生成模型最近在生成真实和多样化的数据方面取得了很大的成功。这些方法定义了一个前向扩散过程,用于将数据转换为噪声,并通过反转它来生成数据(从而从噪声到数据)。不幸的是,目前基于分数的模型生成数据非常缓慢,这是由于数值解算器所需的分数网络评估数量庞大。在这项工作中,我们的目标是通过设计一个更有效的求解器来加速这一过程。现有的方法依赖于Euler-Maruyama(EM)求解器,其使用固定的步长。我们发现,天真地将其替换为其他解算器的效果很差-它们要么导致低质量的样本,要么变得比EM慢。为了解决这个问题,我们精心设计了一个具有自适应步长的并行求解器,该步长是针对基于基于得分的生成模型逐块定制的。我们的求解器只需要两个评分函数评估,很少拒绝样本,并导致高质量的样本。我们的方法生成数据的速度比EM快2到10倍,同时实现更好或相等的样本质量。对于高分辨率图像,我们的方法导致比所有其他测试方法更高质量的样本。我们的解算器具有无需步长调整的优点。
2021-05-28 cs.CV cs.LG math.OC
Generative Modelling for Unsupervised Score Calibration
AGNITIO Research(AGNITIO研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
分数校准使自动说话人识别器能够做出具有成本效益的接受/拒绝决定。传统的校准需要监督数据,这是一种昂贵的资源。我们提出了一个2分量GMM无监督校准,并表现出良好的性能相对于NIST SRE'10和SRE'12的监督基线。贝叶斯分析表明,与无监督校准参数估计值相关的不确定性是令人惊讶的小。
2014-02-14 cs.LG stat.ML
Efficient and Accurate Gradients for Neural SDEs
University of Oxford(牛津大学);The Alan Turing Insitute(艾伦图灵研究所);Stanford(斯坦福大学)
神经SDES结合了RNN和SDES的许多最佳品质:记忆高效训练,高容量函数逼近和模型空间上的强大先验。这使得它们成为建模许多类型的时间动态的自然选择。训练一个Neural神经网络(作为VAE或GAN)需要通过一个神经网络求解器进行反向传播。这可以通过求解时间向后的SDE来完成,其解是所需的参数梯度。然而,由于高计算成本和数值截断误差,这在以前遭受了严重的速度和精度问题。在这里,我们通过几项技术创新来克服这些问题。首先,我们介绍\textit{reversible Heun method}。这是一个新的迭代求解器,即\textit{algebraically reversible}:消除数值梯度误差,也是我们所知道的第一个这样的求解器。此外,它需要一半的功能评估可比求解器,放弃了$1.98\times$加速。其次,我们介绍了\textit{Brownian Interval}:一种新的,快速,内存效率,和准确的采样\textit{and reconstructing}布朗运动的方式。有了这个,我们获得了一个$10.6\times$速度提高比以前的技术,相比之下,这是近似和相对缓慢。第三,当专门将神经SDEs训练为GANs(Kidger et al. 2021)时,我们演示了如何通过仔细的权重裁剪和激活函数的选择来训练SDE-GANs。这降低了计算成本(放弃了$1.87\times$加…
2021-10-19 cs.AI cs.LG math.DS
Generative Modelling of Stochastic Rotating Shallow Water Noise
Imperial College London(帝国理工学院)
本文提出用生成式模型替代PCA来校准随机旋转浅水模型中的噪声,避免对增量施加正态分布约束,实验表明噪声非高斯且生成式建模在RMSE、CRPS和秩直方图上表现良好。
2024-03-15 cs.LG cs.NA math.DS
Differentially Private Gradient Flow based on the Sliced Wasserstein Distance
Criteo AI Lab(Criteo人工智能实验室);Université Paris-Dauphine(巴黎多芬大学);PSL University(巴黎文理大学);CNRS(法国国家科学研究中心);LAMSADE(巴黎多芬大学决策实验室);Sigma Nova(西格玛诺瓦公司);ESPCI PSL(巴黎高等物理化工学院(巴黎文理大学))
本文提出一种基于高斯平滑切片 Wasserstein 距离梯度流的差分隐私生成模型,通过数值求解相关 SDE 实现隐私保护,实验表明在低隐私预算下能生成更高保真度数据。
2025-01-20 cs.CR cs.LG stat.ML
Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models
深度生成模型是一类训练深度神经网络以对训练样本的分布进行建模的技术。研究已经分裂成各种相互关联的方法,其中每一种方法都需要权衡包括运行时、多样性和架构限制。特别是,本概要涵盖了基于能量的模型,变分自编码器,生成对抗网络,自回归模型,规范化流,以及许多混合方法。这些技术进行了比较和对比,解释了每个背后的前提以及它们是如何相互关联的,同时回顾了当前最先进的进展和实现。
2022-03-28 cs.CV cs.LG stat.ML
A Novel Variational Autoencoder with Applications to Generative Modelling, Classification, and Ordinal Regression
Aalto University(阿尔托大学)
我们开发了一种新的概率生成模型的基础上变分自动编码器的方法。值得注意的方面,我们的架构是:一种新的方式指定的潜变量之前,并引入了一个序数执行单元。我们描述了如何使用该模型进行监督,无监督和半监督学习,以及名义和顺序分类。我们使用两个基准数据集分析了该方法的生成特性,以及在名义分类和有序分类下的分类有效性。我们的研究结果表明,我们的模型可以在两个分类任务中实现与相关基线相当的结果。
2018-12-19 cs.LG stat.ML
Variational Autoencoders for Generative Modelling of Water Cherenkov Detectors
University of Manitoba(曼尼托巴大学);TRIUMF;University of British Columbia(不列颠哥伦比亚大学)
物质-反物质不对称性是物理学中尚未解决的主要问题之一,可以通过当前和下一代中微子振荡实验中电荷宇称对称性破坏的精确测量来探索。在这项工作中,我们展示了变分自动编码器和归一化流的能力,以近似这些实验中常用的水切伦科夫探测器的模拟数据的生成分布。我们研究了这些方法的性能及其适用于半监督学习和合成数据生成。
2019-11-01 cs.LG hep-ex physics.ins-det
Generative Modelling With Inverse Heat Dissipation
Aalto University(阿尔托大学)
本文提出一种通过随机逆转热方程生成图像的新模型,利用图像多尺度结构实现由粗到细的生成,并展现出颜色与形状解耦等优于标准扩散模型的特性。
2023-04-12 cs.CV cs.LG stat.ML
Information processing constraints in travel behaviour modelling: A generative learning approach
旅行决策往往表现出对不确定性和信息处理约束的敏感性。这些行为条件的特点是生成性学习过程。我们提出了一个数据驱动的生成模型版本的理性疏忽理论,以模仿这些行为表示。我们概述了生成模型的方法和相关的学习过程,以及提供了一个直观的解释,这个过程如何捕捉先验信息的选择效用规范的价值。我们展示了信息异质性对旅游选择的影响,分析了计量经济学解释,并探讨了我们的生成模型的属性。我们的研究结果表明,与理性的注意力不集中行为理论,这表明,个人可能会忽略某些外生变量,并依赖于先验信息评估决策的不确定性。最后,在这项研究中所展示的原则,可以制定为一个广义的熵和效用为基础的多项logit模型。
2019-07-25 econ.EM stat.ML
Fast ABC with joint generative modelling and subset simulation
University of Neuchâtel(纳沙泰尔大学);University of Bern(伯尔尼大学);University of Lausanne(洛桑大学)
我们提出了一种新的方法来解决高维输入和昂贵的前向映射的反问题。它利用联合深度生成建模将原始问题空间转移到低维潜在空间。通过联合建模输入和输出变量,并赋予潜在的先验分布,拟合的概率模型间接地提供了访问的近似条件分布的兴趣。由于模型误差和未知分布的观测噪声在实践中很常见,因此我们采用近似贝叶斯计算(ABC)进行无似然推理。我们的方法调用ABC通过子集模拟来探索潜在空间的区域,所生成的输出和观察到的输出之间的差异低于规定的阈值。我们诊断的多样性,通过监测这些区域的概率内容作为阈值的函数的近似后验解。我们进一步分析所得诊断曲线的曲率,以提出适当的ABC阈值。当应用到一个跨钻孔层析成像的例子,从地球物理学,我们的方法提供了有前途的性能,而不使用先验知识的前也不是噪声分布。
2021-04-16 cs.AI cs.LG stat.ME
A Generative Model for Natural Sounds Based on Latent Force Modelling
Queen Mary University of London(伦敦玛丽女王大学)
自然声音的子带振幅包络分析的最新进展已经导致令人信服的合成,显示子带振幅是感知的重要组成部分。概率潜变量分析特别具有启发性,但现有的方法不包含有关振幅包络的物理行为的先验知识,例如指数衰减和反馈。我们使用潜在的力量建模,概率学习范式,将物理知识纳入高斯过程回归,跨频谱子带包络模型的相关性。我们通过明确地对多个时间步长的相关性进行建模来增强标准的潜在力模型方法。对这种先验知识的阐述加强了对潜在函数作为产生信号的源的解释。我们通过一个实验来研究这种解释,该实验表明,从我们的概率模型中采样产生的声音被认为比基于非负矩阵分解的类似模型产生的声音更真实,即使在我们的模型从重建误差的角度来看表现出色的情况下。
2019-03-27 cs.LG cs.SD eess.AS
not-MIWAE: Deep Generative Modelling with Missing not at Random Data
Technical University of Denmark(丹麦技术大学);Inria(法国国家信息与自动化研究所);Laboratoire J.A. Dieudonné(迪厄多内实验室)
当缺失的过程依赖于缺失值本身时,需要显式建模并在进行基于似然性的推理时将其考虑在内。我们提出了一种方法,用于建立和拟合深度潜变量模型(DLVM)的情况下,缺失的过程是依赖于缺失数据。具体来说,深度神经网络使我们能够灵活地对给定数据的缺失模式的条件分布进行建模。这允许将关于缺失类型的先验信息(例如,自删失)并入模型中。我们的推理技术,基于重要性加权变分推断,涉及最大限度地降低联合可能性。通过在隐空间和数据空间中使用重新参数化技巧,得到了该界的随机梯度。我们在各种数据集和缺失模式上显示,明确地对缺失过程进行建模是非常宝贵的。
2021-03-18 cs.LG stat.ME stat.ML
Semi-Generative Modelling: Covariate-Shift Adaptation with Cause and Effect Features
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Univ. of Cambridge(剑桥大学);Delft Univ. of Technology(代尔夫特理工大学);Univ. of Copenhagen(哥本哈根大学)
目前的协变量移位自适应方法使用未标记的数据来计算重要性权重或域不变特征,而最终模型仅在标记数据上进行训练。在这里,我们考虑协变量移位的一个特殊情况,它允许我们从未标记的数据中学习,也就是说,将自适应与半监督学习相结合。使用因果关系的想法,我们认为,这需要学习的原因,$X_C$,和影响,$X_E$,一个目标变量,$Y$,并显示这种设置如何导致我们所谓的半生成模型,$P(Y,X_E|X_C,θ)$。我们的方法对因果特征分布中的域转移具有鲁棒性,并通过学习从原因到结果的直接映射来利用未标记的数据。在合成数据上的实验表明,在纯监督和重要性加权基线的分类显着改善。
2019-02-26 cs.LG stat.ML
Universal randomised signatures for generative time series modelling
University Munich(慕尼黑大学);Imperial College London(伦敦帝国学院)
本文提出基于离散时间随机签名的新型 Wasserstein 型距离,并以通用逼近结果支撑其用于度量条件分布,进而训练基于储层神经 SDE 的非对抗金融时间序列生成模型。
2024-09-06 cs.LG q-fin.MF stat.ML
Sequential Attend, Infer, Repeat: Generative Modelling of Moving Objects
University of Oxford(牛津大学)
我们提出了顺序参与,推断,重复(SQAIR),这是一种可解释的深度生成模型,用于移动对象的视频。它可以在整个帧序列中可靠地发现和跟踪对象,并且还可以根据当前帧生成未来帧,从而模拟对象的预期运动。这是通过在模型的潜变量中显式编码对象的存在、位置和外观来实现的。SQAIR保留了其前身的所有优势,参加,推断,重复(AIR,Eslami等。例如,2016),包括以无监督的方式学习,并解决其缺点。我们使用一个移动的多MNIST数据集来显示AIR在检测重叠或部分遮挡对象时的局限性,并展示SQAIR如何通过利用对象的时间一致性来克服这些局限性。最后,我们还将SQAIR应用于现实世界的行人CCTV数据,在那里它学会了在没有监督的情况下可靠地检测、跟踪和生成步行行人。
2018-11-21 cs.CV cs.LG stat.ML
Trajectory Flow Matching with Applications to Clinical Time Series Modeling
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Yale School of Medicine(耶鲁医学院);School of Clinical Medicine, University of Cambridge(剑桥大学临床医学院);Université de Montréal(蒙特利尔大学);CIFAR(加拿大高级研究院)
本文提出轨迹流匹配(TFM)方法,以无仿真方式训练神经常微分方程,避免通过动力学反向传播,从而提升训练稳定性和可扩展性,并在三个临床时间序列数据集上取得更优的性能和不确定性预测。
2025-02-04 cs.AI cs.LG stat.ML
Temporarily-Aware Context Modelling using Generative Adversarial Networks for Speech Activity Detection
Queensland University of Technology(昆士兰科技大学);SRI International(SRI国际研究所)
本文提出了一种新的语音活动检测(SAD)框架。受语音处理领域多任务学习方法最近取得的成功的启发,我们提出了一种新的SAD联合学习框架。我们利用生成对抗网络来自动学习损失函数,以联合预测逐帧语音/非语音分类以及下一个音频片段。为了利用输入信号中的时间关系,我们提出了一个时间序列,其目的是确保预测信号在时间上是一致的。我们在多个公共基准上评估了所提出的框架,包括NIST OpenSAT' 17,AMI会议和HAVIC,在这些基准上,我们展示了其优于最先进SAD方法的能力。此外,我们的跨数据库的评估表明,所提出的方法在不同的语言,口音和声学环境的鲁棒性。
2020-04-02 cs.LG cs.SD eess.AS
Using generative modelling to produce varied intonation for speech synthesis
University of Edinburgh(爱丁堡大学)
与人类说话者不同,典型的文本到语音(TTS)系统无法产生给定句子的多个不同的再现。这一点以前已经通过增加明确的外部控制来解决。相比之下,生成模型能够捕获多个再现的分布,从而使用采样产生不同的再现。典型的神经TTS模型学习数据的平均值,因为它们最小化了均方误差。在韵律学的背景下,取平均值会产生更平淡、更无聊的演讲:一种“平均韵律”。通过设计,可以合成多个韵律的生成模型将不对平均韵律进行建模。我们使用变分自动编码器(VAE),它明确地将最“平均”的数据放置在高斯先验的平均值附近。我们建议,通过向先验分布的尾部移动,该模型将过渡到生成更多的特质,不同的渲染。这里集中在语调,我们调查自然和语调变化之间的权衡,并发现,典型的声学模型可以是自然的,或变化,但不能两者兼而有之。然而,从VAE先验的尾部采样产生比传统方法更多样的语调,同时保持相同的自然度水平。
2019-09-12 cs.CL cs.LG cs.SD
Spatiodynamic inference using vision-based generative modelling
针对传统时空动力学推断降维牺牲数据结构的问题,提出结合视觉Transformer变分编码与无似然贝叶斯的模拟推断框架,通过潜在嵌入网格检索参数,保留动力系统丰富性以识别多变量系统的时空模式。
2025-07-29 q-bio.PE q-bio.QM stat.AP