SDE Matching: Scalable and Simulation-Free Training of Latent Stochastic Differential Equations
University of Amsterdam(阿姆斯特丹大学);Constructor University, Bremen(布雷梅构造大学)
本文提出SDE Matching,一种免仿真的Latent SDE训练新方法,通过扩展Score-和Flow Matching算法至随机动力学领域,消除了昂贵的数值仿真需求,在保持与伴随灵敏度方法相当性能的同时大幅降低了计算复杂度。
2025-06-26 cs.LG stat.ML
LiDAM: Semi-Supervised Learning with Localized Domain Adaptation and Iterative Matching
Palo Alto Research Center(帕洛阿尔托研究中心)
虽然数据是丰富的,但数据标签是昂贵的。半监督学习方法将少量标记的样本与大量未标记数据的语料库相结合,以有效地训练模型。本文介绍了我们提出的方法LiDAM,一种植根于领域自适应和自定进度学习的半监督学习方法。LiDAM首先执行局部域移位,为模型提取更好的域不变特征,从而产生更准确的聚类和伪标签。然后,这些伪标签与真正的类标签对齐,在一个自定进度的方式使用一种新的迭代匹配技术,是基于大多数一致性高置信度的预测。同时,训练最终分类器以预测地面实况标签,直到收敛。LiDAM在CIFAR-100数据集上实现了最先进的性能,当使用2500个标签时,性能优于FixMatch(73.50% vs. 71.82%)。
2020-11-23 cs.CV cs.LG
FlowRefiner: Flow Matching-Based Iterative Refinement for 3D Turbulent Flow Simulation
University of Alabama(阿拉巴马大学);University of Pittsburgh(匹兹堡大学)
本文提出FlowRefiner方法,通过确定性ODE修正替代随机去噪,统一回归速度场目标,引入解耦的sigma调度,实现小噪声下的稳定精炼,实验表明在复杂多尺度湍流中取得最佳自回归预测精度和物理一致性。
2026-04-25 cs.LG physics.flu-dyn
Restricted Boltzmann Machine Assignment Algorithm: Application to solve many-to-one matching problems on weighted bipartite graph
Sapienza, University of Rome(罗马大学(萨皮恩扎))
在这项工作中,提出了一种基于无监督学习的迭代算法,特别是在限制玻尔兹曼机(RBM)上解决二分加权图上的完美匹配问题。迭代地计算使能量函数最大化的权重$w_{ij}$和偏置参数$θ= ( a_i, b_j) $,并将元素$i$分配给元素$j$。最后给出了一个实际问题的算例,说明了该算法的有效性.
2019-05-02 cs.LG math.OC stat.ML
Stochastic Matching Bandits with Rare Optimization Updates
Seoul National University(首尔国立大学)
本文提出了一种批量算法,通过限制匹配更新次数来减少计算开销,同时在随机匹配老虎机中实现O(√T)的遗憾界。
2026-10-23 cs.LG stat.ML
Stochastic Process Learning via Operator Flow Matching
California Institute of Technology(加利福尼亚技术研究所);NVIDIA Corporation(英伟达公司)
本文提出算子流匹配(OFM)框架,通过扩展神经算子学习跨任意域的随机过程先验,实现可处理的功能回归与密度估计,并在多项任务中优于现有模型。
2025-10-11 cs.LG
On the Closed-Form of Flow Matching: Generalization Does Not Arise from Target Stochasticity
Université Jean Monnet Saint-Étienne, CNRS, Institut d’Optique Graduate School, Inria, Laboratoire Hubert Curien UMR 5516;ENS de Lyon, CNRS, Université Claude Bernard Lyon 1, Inria, LIP UMR 5668;Inria, ENS de Lyon, CNRS, Université Claude Bernard Lyon 1, LIP UMR 5668;Institut Universitaire de France
本文通过实验证明,流匹配中闭式形式的损失在高维情况下与随机形式效果相近,且可能提升性能,反驳了目标随机性驱动泛化的观点。
2025-12-01 cs.LG stat.ML
Sample Efficient Stochastic Gradient Iterative Hard Thresholding Method for Stochastic Sparse Linear Regression with Limited Attribute Observation
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司);The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们开发了新的随机梯度法,有效地解决稀疏线性回归在部分属性观察设置,学习者只允许观察固定数量的积极选择的属性每个例子在训练和预测时间。结果表明,该方法在特征值约束条件下的误差为$\varepsilon$时,样本复杂度为$O(1/\varepsilon)$,且与现有方法相比,该速率对问题维数有更好的依赖性.特别地,如果最优解的非零分量的最小值不太小,我们提出的{ \it Hybrid}算法的速度可以提高到接近{ \it full information}算法的minimax最优样本复杂度.其核心思想是:(i)通过迭代使用硬阈值算子来配置探索算法,有效地构造无偏梯度估计器;以及(ii)探索和开发算法的自适应组合,用于快速识别最优的支持,并有效地搜索其支持中的最优参数。实验结果验证了我们的理论研究结果和我们提出的方法的优越性。
2018-12-01 cs.LG math.OC stat.ML
Decision-Weighted Flow Matching for Contextual Stochastic Optimization
Hong Kong University of Science and Technology(香港科技大学);Central South University(中南大学);Big Data Institute(大数据研究院)
提出决策加权流匹配(DW-FM)框架,通过重加权速度回归目标对齐下游遗憾,在CVaR基准上优于标准方法。
2026-06-16 cs.AI cs.LG
Discrete Action Matching: Learning Stochastic Dynamics from Samples via State Graphs
Applied AI Institute(应用人工智能研究所)
提出离散动作匹配(DAM),利用状态图和离散Wasserstein几何从样本学习随机动力学,通过估计密度比率与学习动作势实现边际重建与插值。
2026-10-06 cs.AI cs.LG
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning
UCLA(加州大学洛杉矶分校);HKUST(香港科技大学);Google Research(谷歌研究院)
联邦学习~(FL)近年来受到学术界和工业界越来越多的关注,其最终目标是实现隐私和通信约束下的协同训练。现有的基于迭代模型平均的FL算法需要大量的通信回合,以获得一个性能良好的模型,由于非常不平衡和非i.i. d数据划分在不同的客户端之间。因此,我们建议FedDM从多个本地代理函数中构建全局训练目标,这使服务器能够获得更全局的损失情况。详细地说,我们在每个客户端上构建合成数据集,通过分布匹配从原始数据中本地匹配损失情况。与笨重的模型权重相比,FedDM通过传输更多信息和更小的合成数据来减少通信轮次并提高模型质量。我们在三个图像分类数据集上进行了大量的实验,结果表明,我们的方法在效率和模型性能方面优于其他FL同行。此外,我们证明了FedDM可以适用于保持差分隐私高斯机制和训练一个更好的模型在相同的隐私预算。
2022-07-20 cs.CR cs.LG
Stochastic Localization via Iterative Posterior Sampling
CMAP, CNRS, École polytechnique, Institut Polytechnique de Paris(CMAP、法国国家科学研究中心、巴黎高等学院、巴黎理工学院)
本文提出SLIPS方法,通过迭代后验采样实现随机定位,用于从无规范目标密度中采样,适用于多模分布的基准测试。
2026-02-20 cs.LG stat.CO stat.ML
Drift Flow Matching
University of California, Irvine(加州大学伊万斯堡分校);University of Virginia(弗吉尼亚大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Northeastern University(东北大学)
本文提出Drift Flow Matching框架,结合漂移生成模型与基于流的迭代生成方法,实现高效生成与多步细化,提升生成质量与效率适应性。
2026-05-17 cs.AI cs.LG
FedIDM: Achieving Fast and Stable Convergence in Byzantine Federated Learning through Iterative Distribution Matching
FedIDM通过迭代分布匹配生成可信数据并过滤异常客户端,解决联邦学习中拜占庭鲁棒性与模型效用之间的平衡问题,实现快速稳定收敛。
2026-04-16 cs.CR cs.LG
Stochastic Optimal Control Matching
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Meta AI;Flatiron Institute(弗拉蒂伦研究所)
本文提出了一种用于随机最优控制的新型迭代扩散优化技术SOCM,通过路径重参数化技巧将控制学习转化为最小二乘问题并最小化方差,在多数实验中误差显著低于现有方法。
2024-10-11 cs.LG cs.NA math.NA
Stochastic Alignments: Matching an Observed Trace to Stochastic Process Models
RWTH Aachen University, Germany(亚琛RWTH大学);The University of Melbourne, Australia(墨尔本大学);Fraunhofer, Germany(弗劳恩霍夫研究院)
本文针对过程挖掘中随机过程模型与观测轨迹的对齐问题,提出一种启发式路径查找算法,在低编辑距离与高路径可能性间寻求平衡,并开源实现以提供诊断见解。
2025-07-09 cs.FL cs.LG
Improving Molecular Design by Stochastic Iterative Target Augmentation
UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院);University of Cambridge(剑桥大学)
分子设计中的生成模型往往是参数化程度很高的数据饥渴神经模型,因为它们必须创建复杂的结构化对象作为输出。由于缺乏足够的训练数据,从数据估计这样的模型可能是具有挑战性的。在本文中,我们提出了一种令人惊讶的有效的自我训练方法,用于迭代地创建额外的分子靶标。我们首先用一个简单的属性预测器来预训练生成模型。性质预测器接着用作用于从生成模型过滤候选结构的似然模型。在随机EM迭代过程中迭代产生并使用额外的目标,以最大化候选结构被接受的对数似然。一个简单的拒绝(重新加权)采样器足以提取后验样本,因为生成模型在预训练后已经是合理的。我们证明了无条件和有条件的分子设计的强基线的显着收益。特别是,我们的方法优于以前的国家的最先进的条件分子设计超过10%的绝对增益。最后,我们表明,我们的方法是有用的,以及在其他领域,如程序合成。
2021-08-15 cs.LG physics.chem-ph stat.ML
Non-Asymptotic Convergence of Stochastic Iterative Algorithms: A Lyapunov Framework
Purdue IE(普渡大学工业工程);Georgia Tech IE(佐治亚理工学院工业工程)
本文综述了基于李雅普诺夫技术的随机迭代算法(随机逼近)的有限时间分析方法,通过广义Moreau包络作为通用李雅普诺夫函数,给出了均方收敛保证,并应用于随机梯度下降、线性SA及Q学习等强化学习算法,最后讨论了马尔可夫噪声、半范数压缩算子等扩展。
2026-05-29 cs.LG math.PR stat.ML
An iterative clustering algorithm for the Contextual Stochastic Block Model with optimality guarantees
Inria(法国国家信息与自动化研究所);Université de Lille(里尔大学);CNRS(法国国家科学研究中心)
现实世界的网络通常带有辅助信息,可以帮助提高网络分析任务(如聚类)的性能。尽管在过去的十年中进行了大量的网络聚类方法的实证和理论研究,侧信息的附加值和用于将其最佳地在聚类算法的方法是相对较少的理解。我们提出了一个新的迭代算法聚类网络与边信息的节点(协变量的形式),并表明我们的算法是最优的上下文对称随机块模型。我们的算法可以应用于一般的上下文随机块模型,并避免超参数调整,与以前提出的方法相比。我们证实了我们的理论结果的合成数据实验中,我们的算法显着优于其他方法,并表明它也可以应用到有符号的图。最后,我们证明了我们的方法对真实数据的实际兴趣。
2022-07-28 cs.LG math.ST stat.ML
A Regret Minimization Approach to Iterative Learning Control
Google AI Princeton(谷歌人工智能普林斯顿研究院);Princeton University(普林斯顿大学)
我们考虑设置迭代学习控制,或基于模型的策略学习存在的不确定性,时变动态。在这种情况下,我们提出了一个新的性能指标,规划遗憾,它取代了标准的随机不确定性假设与最坏情况下的遗憾。基于非随机控制的最新进展,我们设计了一个新的迭代算法,以最小化规划遗憾,是更强大的模型失配和不确定性。我们提供的理论和经验证据表明,该算法优于现有的方法在几个基准。
2021-02-26 cs.LG math.OC stat.ML
Convergence Analysis of Inexact Randomized Iterative Methods
University of Edinburgh(爱丁堡大学);King Abdullah University of Science and Technology (KAUST)(沙特国王 Abdullah 科技大学 (KAUST));MIPT(莫斯科物理技术学院)
本文给出了几种随机迭代法的不精确变式的收敛速度分析。其中研究的方法有:随机梯度下降,随机牛顿,随机邻近点和随机子空间上升。这些方法的一个共同特点是,在他们的更新规则的某一个子问题需要被精确地解决。我们放宽这一要求,允许子问题得到不精确的解决。特别是,我们提出并分析了不精确随机迭代法解决三个密切相关的问题:凸随机二次最优化问题,一个最佳逼近问题及其对偶,凹二次最大化问题。我们提供迭代复杂性的结果,在几个假设的不精确误差。许多流行的和一些更奇特的方法的不精确变体,包括随机块Kaczmarz,随机高斯Kaczmarz和随机块坐标下降,可以被视为特殊情况。数值实验证明了允许不精确的好处。
2019-03-19 cs.LG cs.NA math.NA
Efficient Algorithms for Exact Graph Matching on Correlated Stochastic Block Models with Constant Correlation
KAIST(韩国科学技术院)
针对常数相关性相关 SBM 的精确图匹配,本文提出基于根顶点划分树与跨社区边统计比较的低阶多项式算法,首次在稠密图上以高概率实现精确匹配。
2023-06-02 cs.DS cs.LG cs.SI
Adjoint Matching: Fine-tuning Flow and Diffusion Generative Models with Memoryless Stochastic Optimal Control
FAIR, Meta(FAIR(Meta公司))
本文将流与扩散模型的奖励微调建模为随机最优控制,证明需采用无记忆噪声调度,并提出 Adjoint Matching 算法,在保持多样性的同时提升一致性、真实性与偏好泛化。
2025-01-07 cs.LG math.OC stat.ML
Flow Priors for Linear Inverse Problems via Iterative Corrupted Trajectory Matching
UCLA(加州大学洛杉矶分校);CMU(卡内基梅隆大学);Amazon(亚马逊公司)
本文提出一种基于迭代损坏轨迹匹配的流先验算法,通过将MAP目标分解为N个局部目标并利用Tweedie公式进行梯度优化,高效求解超分辨率、去模糊等线性逆问题,性能优于现有流匹配方法。
2025-01-03 cs.CV cs.LG
FLARE: Flow Matching with Local Axis-Angle Representations for Stochastic Micromagnetic Evolution
Southern University of Science and Technology(南方科技大学)
FLARE提出一种基于局部轴角表示的流匹配框架,直接生成全场随机磁化端点,无需逐步积分,在精度和速度上显著优于现有基线。
2026-09-29 cond-mat.mes-hall cs.AI cs.LG
A Non-Asymptotic Theory of Seminorm Lyapunov Stability: From Deterministic to Stochastic Iterative Algorithms
Purdue(普渡大学);Amazon Web Services, Inc.(亚马逊网络服务公司);Georgia Tech(佐治亚理工学院)
本文建立半范数压缩算子在确定性与随机迭代下的非渐近稳定性理论,并将其用于统一推导平均奖励强化学习算法的有限样本界。
2025-02-20 cs.LG math.OC stat.ML
Speeding Up Iterative Closest Point Using Stochastic Gradient Descent
The University of Sydney(悉尼大学);NVIDIA(英伟达)
3D激光扫描仪和RGB-D相机等产生3D点云的传感器广泛应用于机器人领域,无论是自动驾驶还是操作。对齐这些传感器产生的点云是此类应用中执行模型配准、姿态估计和SLAM等任务的重要组成部分。迭代最近点(ICP)是最广泛使用的方法,由于其简单和效率。在本文中,我们提出了一种新的方法,解决了ICP使用随机梯度下降(SGD)的优化问题。使用SGD使我们能够在不牺牲解质量的情况下提高ICP的收敛速度。使用Kinect以及Velodyne数据的实验表明,我们提出的方法比现有的方法更快,同时获得与标准ICP相当的解决方案。另一个好处是在处理来自不同传感器的数据时对参数的鲁棒性。
2019-07-22 cs.LG cs.RO
Tangent Schrödinger Bridge Matching: Learning Stochastic Transport with Mechanistic Sensitivities
University of Michigan(密歇根大学)
本文提出切线 Schrödinger 桥匹配(Tangent-SBM),通过传播参数导数监督敏感性,在多个随机系统中提升干预响应预测精度,并降低决策跟踪误差。
2026-10-05 cs.LG
Quantitative Error Bounds for Scaling Limits of Stochastic Iterative Algorithms
Boston University(波士顿大学);ESSEC Business School(埃塞克商学院);University of Waterloo(滑铁卢大学)
本文针对单变量随机迭代算法(如SGD和SGLD),利用Stein方法的无限维交换对版本,推导了样本路径与Ornstein-Uhlenbeck近似之间的非渐近误差界,并证明了弱收敛及方差误差界,为多变量情形奠定基础。
2025-01-21 cs.LG math.PR math.ST
Stochastic Matching via Local Sparsification
Google Research(谷歌研究)
本文提出一种两阶段局部稀疏化框架,解决局部通信带宽限制下的随机匹配问题,通过局部预算限制和全局优化平衡,实验证明在高约束下可实现近最优匹配。
2026-05-13 cs.DS cs.LG
Multi-Marginal Stochastic Flow Matching for High-Dimensional Snapshot Data at Irregular Time Points
School of Data Science, University of Virginia, Charlottesville VA, USA.(数据科学学院,弗吉尼亚大学,弗吉尼亚州夏洛茨维尔)
针对不规则时间点高维快照数据建模难题,提出多边际随机流匹配(MMSFM)方法,无需降维即可对齐数据,并利用测度值样条和得分匹配增强鲁棒性,在基因表达和图像任务上验证了有效性。
2025-08-06 cs.LG cs.NE
Adjoint Matching through the Lens of the Stochastic Maximum Principle in Optimal Control
Microsoft Research New England(微软研究院新英格兰);Flatiron Institute(熨斗研究所)
本文基于随机最优控制问题,重新推广并严谨推导了伴随匹配方法,将其置于随机最大原理基础上,提出通用Hamiltonian伴随匹配目标,并展示其在连续时间下的实现方法,为随机控制问题提供新的可实施目标。
2026-07-03 cs.LG math.OC
First-Order Trajectory Matching: Fast Ensemble Predictions of Chaotic, Turbulent, Stochastic Systems
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
提出一阶轨迹匹配(FTM)方法,通过学习随机系统轨迹的一阶局部概率质量输运,实现低成本的集成预测,并捕捉通量、环流等轨迹量。
2026-06-09 cs.LG cs.NA math.NA
Flow Matching: Markov Kernels, Stochastic Processes and Transport Plans
Institute of Mathematics, Technische Universität Berlin(1 数学研究所,柏林技术大学)
本文从数学角度探讨了学习Wasserstein几何中绝对连续曲线速度场的不同技术,包括运输计划、马尔可夫核和随机过程,并讨论了流匹配在贝叶斯逆问题中的应用。
2026-04-24 cs.LG math.PR
Physics-Informed Generator-Encoder Adversarial Networks with Latent Space Matching for Stochastic Differential Equations
Yantai University(烟台大学);Shandong Normal University(山东师范大学)
针对随机微分方程多类问题且可用数据有限的场景,提出带潜空间间接匹配的物理信息生成器-编码器对抗网络,提升求解精度并缓解训练不稳定。
2023-11-03 cs.LG cs.NA math.NA
Capturing non-Markovian dynamics in non-equilibrium stochastic systems using flow matching
Lawrence Berkeley National Laboratory(伯克利国家实验室);San Jose State University(圣何塞州立大学)
针对粗粒化随机偏微分方程无法准确捕捉短时非马尔可夫效应和低密度非高斯分布的问题,提出生成式流匹配方法直接建模粒子模拟中的概率通量分布,在Kramers首通时间问题中准确捕捉短时行为并改进数密度统计矩预测。
2026-06-04 cond-mat.stat-mech cs.LG physics.comp-ph
Correlated Stochastic Block Models: Exact Graph Matching with Applications to Recovering Communities
Princeton University(普林斯顿大学)
我们考虑从多个相关网络中学习潜在社区结构的任务。首先,我们研究了学习两个边相关随机块模型之间的潜在顶点对应关系的问题,重点是平均度是顶点数对数的制度。我们推导出精确恢复的精确信息理论阈值:在阈值之上存在一个估计器,该估计器输出的真实对应概率接近1,而在阈值之下,没有估计器可以恢复的真实对应概率远离0。作为我们的研究结果的应用程序,我们展示了如何可以准确地恢复潜在的社区使用多个相关的图形在参数制度,它是信息理论上不可能这样做,只使用一个单一的图形。
2021-07-14 cs.IT cs.LG cs.SI