Conditional score-based diffusion models for solving inverse problems in mechanics
University of Southern California(南加州大学);Harry Perkins Institute of Medical Research(哈里·珀金斯医学研究所);The University of Western Australia(西澳大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出条件式基于分数扩散模型的贝叶斯推断框架,仅需仿真黑箱正演模型即可训练分数网络并复用采样后验,可在复杂噪声与非线性条件下高效推断非均质材料属性。
2024-08-29 cs.AI cs.LG stat.ML
An Unconditional Representation of the Conditional Score in Infinite-Dimensional Linear Inverse Problems
School of Engineering Science(工程科学学院);Lappeenranta-Lahti University of Technology(拉普兰塔-拉赫蒂技术大学);Vienna University of Technology (TU Wien)(维也纳技术大学);Department of Mathematics and Statistics(数学与统计学系);University of Helsinki(赫尔辛基大学);Department of Computational and Applied Mathematics(计算与应用数学系);Rice University(里士满大学)
本文提出了一种针对线性逆问题的无条件条件分数表示方法,通过离线训练避免正向模型评估,实现高效且精确的采样。
2025-11-22 cs.LG cs.NA math.AP
SigDiffusions: Score-Based Diffusion Models for Time Series via Log-Signature Embeddings
Imperial College London(帝国理工学院)
本文提出SigDiffusion,一种基于对数签名嵌入的得分扩散模型,用于生成长多元时间序列,并通过闭式反演公式恢复信号,在合成和真实数据上达到最先进性能。
2025-02-26 cs.LG
Score-based Diffusion Models in Function Space
NVIDIA Corporation(英伟达公司)
本文提出去噪扩散算子(DDOs)框架,将扩散模型推广到函数空间,通过高斯过程扰动和函数值退火朗之万动力学生成样本,并以固定成本准确生成纳维-斯托克斯方程解等函数值数据。
2025-01-22 cs.LG math.FA stat.ML
From Score Learning to Discretized Sampling: An End-to-End Generalization Analysis of Diffusion Models
School of Mathematical Sciences, Nankai University(南开大学数学科学学院)
研究基于实际残差网络架构的得分扩散模型,建立统一收敛和泛化框架,分析从得分函数学习到采样过程的特性,将生成误差分解为四个分量,定量刻画训练样本大小等因素对扩散模型样本保真度的控制。
2026-07-28 cs.LG math.ST stat.TH
Optimization-Free Diffusion Model -- A Perturbation Theory Approach
本研究针对传统扩散模型依赖优化与前向SDE的问题,提出将得分估计转化为后向Kolmogorov算子特征基下的线性系统求解的无优化扩散模型,经微扰理论误差分析与实验验证了有效性。
2025-06-14 cs.LG cs.NA math.NA
How Much is Enough? A Study on Diffusion Times in Score-based Generative Models
EURECOM(欧洲通信学院);Huawei Technologies(华为技术有限公司)
本文研究基于分数扩散模型中扩散时间 T 的权衡,提出用辅助模型弥补短时间前向动力学与理想噪声分布间的差距,从而提升训练与采样效率并保持图像生成质量。
2022-06-10 cs.LG stat.ML
Volterra Generative Models via Markovian Lifting
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出Volterra生成模型,通过分数阶核引入路径依赖噪声,利用马尔可夫提升和残差状态学习,解决非马尔可夫动力学下的扩散生成问题,在MNIST和CIFAR-10上验证有效性。
2026-11-06 cs.AI cs.LG
Provably Robust Score-Based Diffusion Posterior Sampling for Plug-and-Play Image Reconstruction
Carnegie Mellon University(卡内基梅隆大学)
针对一般非线性逆问题,本文提出交替调用近端一致性采样器与扩散去噪采样器的DPnP框架,并给出渐近及非渐近鲁棒性保证。
2024-06-12 cs.CV cs.LG eess.IV
A Score-Based Density Formula, with Applications in Diffusion Generative Models
The Chinese University of Hong Kong(香港中文大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文通过建立连续时间扩散过程的密度公式,揭示了目标密度与分数函数的关系,并证明ELBO优化目标与真实目标的最小化点几乎一致,为DDPM等扩散生成模型的训练提供了理论基础。
2024-08-29 cs.AI cs.LG math.PR
Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers
School of Mathematical Science, Peking University(北京大学数学科学学院);Department of Computer Science, University of California, Los Angeles(加利福尼亚大学洛杉矶分校计算机科学系)
本文提出统一的收敛性分析框架,解决确定性采样器在得分扩散模型中缺乏通用分析工具的问题,并给出VP前向过程与DDIM型采样器的迭代复杂度保证。
2024-10-18 cs.LG math.OC stat.ML
Provably adaptive sampling with uniform and remasking discrete diffusion models
University of Pennsylvania(宾夕法尼亚大学);the Wharton School(沃顿商学院);Department of Statistics and Data Science(统计与数据科学系)
该研究针对均匀与重掩蔽离散扩散模型,提出带留一法去噪器的一阶自适应采样器,证明其采样复杂度由目标分布固有依赖结构决定,而非环境维度,实验验证了维度自适应行为。
2026-08-25 cs.IT cs.LG math.IT
Almost Linear Convergence under Minimal Score Assumptions: Quantized Transition Diffusion
University of California San Diego(加州大学圣地亚哥分校);SalesForce AI Research(SalesForce AI研究);The University of Hong Kong(香港大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对连续扩散模型长程转移受限和反向去噪存在偏差的问题,提出量化转移扩散(QTD)方法,通过数据量化和离散扩散动力学结合截断均匀化技术,在最小分数假设下实现无偏生成,并以近线性的分数评估次数达到最先进的推理效率。
2025-05-28 cs.LG stat.ML
Learning Design-Score Manifold to Guide Diffusion Models for Offline Optimization
The Hong Kong University of Science and Technology, Hong Kong, China(香港科学与技术大学(香港));The Hong Kong University of Science and Technology (Guangzhou), Guangzhou, China(香港科学与技术大学(广州));Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出ManGO,一种基于扩散模型的框架,通过学习设计-分数流形指导离线优化,实现超越训练数据的泛化能力,并在多个领域中优于现有方法。
2026-01-12 cs.AI cs.LG
A Connection Between Score Matching and Local Intrinsic Dimension
PNNL(太平洋西北国家实验室);UNC Chapel Hill(北卡罗来纳大学教堂山分校);UC San Diego(圣地亚哥大学)
本文提出利用去噪分数匹配损失作为局部内在维度估计器,通过理论分析和实验验证其在高维数据中的有效性与可扩展性。
2026-10-30 cs.LG stat.ML
Annealed Score-Based Diffusion Model for MR Motion Artifact Reduction
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Chungnam National University Hospital(忠南大学医院);Chungnam National University College of Medicine(忠南大学医学院)
运动伪影的存在降低了图像质量,给诊断带来困难,如何消除运动伪影是磁共振成像领域的重要研究课题之一。最近,已经研究了许多深度学习方法来减少运动伪影。不幸的是,大多数现有的模型都是以监督的方式训练的,需要成对的运动损坏和无运动图像,或者基于严格的运动损坏模型,这限制了它们在现实世界中的使用。为了解决这个问题,在这里,我们提出了一个退火的分数为基础的扩散模型的MRI运动伪影减少。具体来说,我们训练一个基于分数的模型,只使用无运动的图像,然后通过反复应用正向和反向扩散过程来去除运动伪影,以逐渐实现低频数据的一致性。实验结果证明,该方法成功地减少了模拟和体内运动伪影,优于最先进的深度学习方法。
2023-01-08 cs.CV cs.LG eess.IV
A Flexible Diffusion Model
Chinese Academy of Sciences(中国科学院);Xi’an Jiaotong University(西安交通大学);Cornell University(康奈尔大学)
扩散(基于分数)生成模型已广泛用于对各种类型的复杂数据(包括图像、音频和点云)进行建模。最近,前向-后向随机微分方程(SDEs)和基于扩散的模型之间的深层联系已经被揭示,并且提出了几种新的SDEs变体(例如,sub-VP,临界阻尼朗之万)。尽管手工制作的固定的前向随机微分方程的经验成功,大量的适当的前向随机微分方程仍然未被探索。在这项工作中,我们提出了一个一般的框架参数化的扩散模型,特别是空间部分的前向散射。一个抽象的形式主义与理论保证,并与以前的扩散模型连接杠杆。我们从优化的角度证明了我们的方法的理论优势。在MINIST和CIFAR 10数据集上的数值实验验证了该框架的有效性。
2022-06-17 cs.AI cs.CV cs.LG
Score Change of Variables
University of California, Irvine(加利福尼亚大学欧文分校);Department of Mathematics(数学系)
本文推导了得分函数的变量变换公式,并据此提出反向时间Itô引理和广义切片得分匹配,实现跨空间训练与采样,提升高维密度估计灵活性。
2025-02-24 cs.AI cs.LG math.PR
From Score Approximation to Distribution Approximation in Score-Based Diffusion Models
研究基于得分的扩散模型中得分近似与分布近似的关系,利用经典神经网络近似理论等,通过推导显式上界,建立两者定量联系,给出从得分函数近似到反向扩散模型概率分布近似的简单明确保证。
2026-07-27 cs.IT cs.LG math.IT
Beyond Scores: Proximal Diffusion Models
Mathematical Institute for Data Science, Johns Hopkins University(数据科学数学研究所,约翰霍普金斯大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文提出近端扩散模型,通过近端映射替代分数,实现理论和实践上的改进,显著提升收敛速度。
2025-11-26 cs.LG math.ST stat.ML
FlowCPO: A Unified Divergence View of Preference Alignment for Flow Models
Westlake University(西湖大学);Zhejiang University(浙江大学);Kuaishou Technology(快手科技)
FlowCPO提出统一散度框架,通过离线前向KL目标同时利用偏好与非偏好样本,无需在线采样,在域内任务上优于FlowDPO等基线。
2026-09-10 cs.AI cs.CV cs.LG
CoCoGen: Physically-Consistent and Conditioned Score-based Generative Models for Forward and Inverse Problems
University of Michigan(密歇根大学);Michigan Institute for Computational Discovery & Engineering(密歇根计算发现与工程研究所)
本文提出CoCoGen框架,将离散化物理信息融入基于分数的生成模型,实现物理一致的样本生成,并利用条件模型与冻结的无条件模型结合,高效求解PDE正问题和反问题。
2024-10-20 cs.LG
Wiener Chaos Expansion based Neural Operator for Singular Stochastic Partial Differential Equations
University of Cambridge(剑桥大学);University of Sydney(悉尼大学);Chinese Academy of Science(中国科学院)
本文提出基于Wiener混沌展开和FiLM的神经算子,用于高效求解奇异随机偏微分方程,尤其在Φ^4_2和Φ^4_3模型中表现出色。
2026-03-09 cs.LG
Sampling from Energy distributions with Target Concrete Score Identity
Applied AI Institute(应用人工智能研究所)
本文提出目标具体分数恒等式采样器(TCSIS),通过神经网络学习连续时间马尔可夫链的逆动力学,在离散状态空间上无需目标样本或配分函数即可从非归一化密度采样,并在统计物理问题中验证其有效性。
2025-10-27 cs.LG
Rethinking Forward Processes for Score-Based Nonlinear Data Assimilation in High Dimensions
KAIST(韩国科学技术院)
本文提出了一种针对数据同化问题的改进前向过程,用于高维非线性系统的状态估计,通过改进的分数基滤波器在测量空间中转换系统状态,提高了同化性能。
2026-05-21 cs.AI cs.LG stat.ML
Score Accuracy Along the Forward Diffusion Does Not Certify Numerical Stability in Diffusion Sampling
研究正向扩散得分准确性与数值稳定性关系,构造特殊得分场及去噪器族揭示小正向边缘误差不能保证稳定性,对紧支集数据有肯定结果,实验展示数值轨迹增长及投影抑制效果。
2026-07-10 cs.LG cs.NA math.NA
Wasserstein Convergence Guarantees for a General Class of Score-Based Generative Models
The Chinese University of Hong Kong(香港中文大学);Florida State University(佛罗里达州立大学)
本文针对分数生成模型(SGMs),在准确分数估计和平滑对数凹数据分布假设下建立其2-Wasserstein距离收敛保证,推导不同前向过程SGMs的迭代复杂度上下界,实验验证理论并提出更优前向过程模型。
2025-02-15 cs.LG math.PR stat.ML
SCOPED: Score-Curvature Out-of-distribution Proximity Evaluator for Diffusion
Department of Electrical and Computer Engineering(电气与计算机工程系);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Computer Science(计算机科学系);Cornell University(康奈尔大学);Department of Aerospace Engineering and Engineering Mechanics(航空航天工程与工程力学系)
本研究提出面向扩散模型的快速通用OOD检测方法SCOPED,通过整合分数函数的雅可比迹与平方范数,结合核密度估计实现低计算成本的检测,在视觉和机器人控制任务中均取得优异性能。
2025-10-03 cs.LG
Deep numerical schemes for systems of Ergodic BSDEs with applications to regime-switching forward utilities
Laboratoire Manceau de Mathématiques & FR CNRS N o 2962, Institut du Risque et de l’Assurance, Le Mans Université(数学磨坊实验室 & CNRS 2962 号,风险与保险研究所,勒曼大学);Laboratoire Analyse, Géométrie et Applications, UMR CNRS 7539, Université Sorbonne Paris Nord(分析、几何与应用实验室,CNRS 7539 号,巴黎北大学)
提出两种基于神经网络的数值方案求解耦合遍历BSDEs系统,应用于机制转换随机因子模型中的前瞻效用最优策略近似,通过局部加性深度学习方案和深度Galerkin方法实现高效求解。
2026-06-24 cs.LG cs.NA math.NA
Using Intermediate Forward Iterates for Intermediate Generator Optimization
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
基于分数的模型最近被引入作为一个更丰富的框架,以模拟高维分布,通常更适合生成任务。在基于分数的模型中,生成任务使用参数模型(例如神经网络)来制定,以直接学习这种高维分布的梯度,而不是像传统上那样学习密度函数本身。从数学的角度来看,这种梯度信息可以通过随机采样来反向利用,以生成不同的样本。然而,从计算的角度来看,现有的基于分数的模型可以有效地训练,只有当向前或腐败过程可以计算在封闭的形式。通过使用前馈网络中的过程和层之间的关系,我们推导出一个基于反向传播的过程,我们称之为中间生成器优化,以利用过程的中间迭代,计算开销可以忽略不计。IGO的主要优点是,它可以被纳入任何标准的自动编码器流水线的生成任务。我们分析了IGO的样本复杂度特性,以解决生成PCA等下游任务。我们展示了IGO在两个密集预测任务上的应用,图像外推和点云去噪。我们的实验表明,获得一个合奏的发电机在不同的时间点是可能的,使用一阶方法。
2023-02-05 cs.CV cs.LG
Score matching for bridges without learning time-reversals
University of Copenhagen(哥本哈根大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本文提出一种通过直接学习评分项来构建桥接扩散过程的新算法,无需先学习时间反演,实验表明其性能优于基于时间反演的现有方法。
2025-03-13 cs.LG math.PR stat.ML
Variational Schrödinger Momentum Diffusion
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学);Morgan Stanley(摩根士丹利)
提出变分薛定谔动量扩散(VSMD),利用线性化变分得分消除对前向轨迹模拟的依赖,结合临界阻尼变换稳定训练,在保持传输效率与可扩展性的同时,于时间序列和图像生成任务中取得有竞争力的结果。
2025-01-28 cs.LG stat.ML
Markov Cricket: Using Forward and Inverse Reinforcement Learning to Model, Predict And Optimize Batting Performance in One-Day International Cricket
University of Nottingham(诺丁汉大学)
在本文中,我们建模为马尔可夫过程的一天的国际板球比赛,应用正向和反向强化学习(RL)开发三个新的工具的游戏。首先,我们应用蒙特卡罗学习来拟合基于分数的奖励模型的游戏的每个状态的价值函数的非线性近似。我们发现,当作为剩余得分资源的代理时,这种方法比专业比赛中使用的最先进的Duckle-Lewis-Stern方法好3到10倍。接下来,我们使用逆强化学习,特别是指导成本学习的一种变体,来推断基于专家表现的线性奖励模型,这里假设是获胜团队的比赛序列。从这个模型中,我们明确地确定了每个状态的最优策略,并发现这与关于游戏的常见直觉一致。最后,我们使用推断的奖励模型来构建一个游戏模拟器,该模拟器模拟了不同策略下最终得分的后验分布。我们设想我们的预测和模拟技术可以提供一个更公平的替代估计中断游戏的最终分数,而推断的奖励模型可以提供有用的见解,为专业游戏,以优化播放策略。此外,我们预计我们将RL应用于此游戏的方法可能会更广泛地应用于其他具有离散状态的运动,其中球队轮流上场,例如棒球和棒球。
2021-03-07 cs.LG cs.SY eess.SY
Diffusion Schrödinger Bridge with Applications to Score-Based Generative Modeling
University of Oxford(牛津大学);ESSEC Business School(埃塞克高等商学院)
提出Diffusion SB(DSB)方法,通过近似迭代比例拟合过程求解Schrödinger Bridge问题,在有限时间内生成样本,克服了传统前向SDE需长时间运行以逼近高斯分布的局限,并作为一种连续状态空间下的计算最优传输工具。
2023-04-05 cs.LG math.PR stat.ML
Variance-Reduced Diffusion Sampling via Target Score Identity
The Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学研究所)
本文提出通过目标分数身份实现扩散采样中的方差缩减,结合非参数重要性采样和状态依赖的混合规则,提升样本质量。
2026-01-22 cs.LG stat.ML
Geometry of Score Based Generative Models
Northeastern University(东北大学)
在这项工作中,我们从几何角度来看待基于得分的生成模型(也称为扩散生成模型)。从一个新的角度证明了在概率测度空间中,加噪声和由噪声生成的前向过程和后向过程都是Wasserstein梯度流。我们是第一个证明这种联系的人。我们对基于分数(和扩散)的生成模型的理解已经成熟,并通过借鉴贝叶斯推理,控制理论,随机微分方程和薛定谔桥等不同领域的思想变得更加完整。然而,许多悬而未决的问题和挑战依然存在。例如,一个问题是如何减少采样时间?我们证明,从几何的角度来看,使我们能够回答许多这些问题,并提供新的解释,一些已知的结果。此外,几何角度使我们能够设计一个直观的几何解决方案的问题,更快的采样。通过对传统的基于得分的生成模型增加投影步骤,我们证明了我们可以用更少的采样步骤生成高质量的图像。
2023-02-09 cs.AI cs.LG
Beyond Log-Concavity and Score Regularity: Improved Convergence Bounds for Score-Based Generative Models in W2-distance
CMAP, CNRS, École polytechnique, Institut Polytechnique de Paris(CMAP、法国国家科学研究中心、巴黎高等理工学院、巴黎理工 institute)
本文提出了一种新的分析框架,通过放宽传统假设,改进了分数生成模型在W2距离下的收敛界,展示了其在高斯混合模型中的广泛应用性。
2026-10-02 cs.LG stat.ML
Score-based generative models break the curse of dimensionality in learning a family of sub-Gaussian probability distributions
University of Minnesota(明尼苏达大学)
本文研究基于分数的生成模型在学习亚高斯分布时的逼近与泛化,提出以相对密度定义的复杂度概念,并证明经验分数匹配可在总变差意义下以维度无关速率逼近目标分布,从而突破维度灾难。
2024-02-23 cs.LG stat.ML
StochLOB: Heavy-Tailed Score Matching for Robust Limit Order Book Trend Prediction
Sharif University of Technology(谢里夫理工大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);Boston University(波士顿大学);The Alan Turing Institute(艾伦·图灵研究所);Virginia Tech(弗吉尼亚理工大学)
本研究提出STOCHLOB框架,通过采用跳跃-莱维噪声和截断α稳定噪声替代布朗高斯噪声,实现鲁棒的LOB趋势预测,在加密货币数据上表现优异,且经A股转账研究验证其概率输出的可用性。
2026-10-27 cs.LG q-fin.TR stat.ML
Sticky Jump Diffusions: A Unifying View of Masked, Continuous, and Hybrid Diffusion
Purdue University(普渡大学)
研究引入粘性跳跃扩散(SJDs)统一掩码、连续和混合扩散。通过去噪危险匹配从单个去噪分类器估计相关量,SJD能恢复多种扩散类型,其反转解释各类型特征,还拓展了解粘核设计空间,在多数据集上表现优于恒等核混合方法。
2026-10-30 cs.LG stat.ML
Score-Based Generative Models Detect Manifolds
Universität Potsdam(波茨坦大学);Institut für Mathematik(数学研究所)
基于分数的生成模型(SGM)需要近似中间分布的分数$\nabla \log p_t$以及前向过程的最终分布$p_T$。这些近似值的影响的理论基础仍然缺乏。我们找到精确的条件下,SGMs能够产生样本的底层(低维)数据流形$\mathcal{M}$。这保证了SGM能够生成“正确类型的样本”。例如,将$\mathcal{M}$作为面部图像的子集,我们找到SGM稳健地产生面部图像的条件,即使这些图像的相对频率可能不准确地表示真实的数据生成分布。此外,这种分析是理解SGM泛化特性的第一步:将$\mathcal{M}$作为所有训练样本的集合,我们的结果提供了SGM何时记忆其训练数据的精确描述。
2022-10-15 cs.LG cs.NA math.NA
A Malliavin-Gamma calculus approach to Score Based Diffusion Generative models for random fields
Università degli studi di Roma Tor Vergata(罗马大学)
该研究利用Gamma与Malliavin微积分将基于分数的扩散生成模型推广至无限维希尔伯特空间,推导了分数函数的性质,扩展了熵收敛界,并针对球面随机场进行了具体分析。
2025-10-03 cs.LG math.PR stat.ML
LD-EnSF: Synergizing Latent Dynamics with Ensemble Score Filters for Fast Data Assimilation with Sparse Observations
Georgia Institute of Technology(佐治亚理工学院);Yale University(耶鲁大学)
LD-EnSF通过在潜在空间中直接演进动力学,结合改进的LDNets和历史感知LSTM编码器,实现高维稀疏观测下的高效数据同化。
2026-03-01 cs.LG math.DS stat.ML
ProxT2I: Efficient Reward-Guided Text-to-Image Generation via Proximal Diffusion
Johns Hopkins University(约翰霍普金斯大学);Amazon(亚马逊)
ProxT2I通过近端扩散和奖励引导方法,提升文本到图像生成的效率和人类偏好对齐,实现高效且轻量的生成效果。
2025-11-26 cs.AI cs.CV cs.LG
Non-Uniform Interpolation in Integrated Gradients for Low-Latency Explainable-AI
Georgia Institute of Technology(佐治亚理工学院)
可解释人工智能(XAI)方法的激增,为深入了解深度神经网络(DNN)模型的工作提供了见解。集成特征(IG)是一种流行的XAI算法,它将相关性得分与输入特征对模型输出的贡献相称。但是,它需要通过模型进行多次向前/向后传递。因此,与单次前向推理相比,生成解释的计算开销很大,这阻碍了实时XAI。这项工作通过使用硬件感知算法优化来加速IG来解决上述问题。我们提出了一种新的非均匀插值方案来计算IG归因分数,取代基线均匀插值。我们的算法显着减少了所需的总插值步骤,而不会对收敛产生不利影响。使用预训练的InceptionV 3模型在ImageNet数据集上进行的实验证明了\textit{2.6-3.6} $\times$在GPU系统上的等收敛性能加速。这包括由计算非均匀插值步长的预处理阶段引入的最小\textit{0.2-3.2} \%延迟开销。
2023-02-22 cs.AI cs.AR cs.LG