Laplace Matching for fast Approximate Inference in Latent Gaussian Models
University of Tübingen(蒂宾根大学)
非高斯数据上的贝叶斯推断通常是非分析的,并且需要计算上昂贵的近似,例如采样或变分推断。我们提出了一个近似推理框架,主要设计为计算成本低,同时仍然实现高近似质量。这个概念,我们称之为拉普拉斯匹配,涉及封闭形式,近似,指数族的参数空间之间的双向变换。这些是根据定制设计的基础变换从拉普拉斯近似构造的。然后可以利用映射来有效地将潜在高斯分布转换为丰富的可观测变量类别之前的近似共轭。这使我们能够训练潜在的高斯模型,如非高斯数据上的高斯过程,几乎没有额外的成本。该方法可以被认为是一个预处理步骤,可以在不到5行代码中实现,并在不到一秒的时间内运行。此外,拉普拉斯匹配产生了一种简单的方法来将相似的数据点分组在一起,例如为GP产生诱导点。我们经验评估的方法与实验为四个不同的指数分布,即贝塔,伽玛,狄利克雷和逆Wishart,显示近似质量相媲美的最先进的近似推理技术在大幅降低计算成本。
2022-10-11 cs.LG stat.ML
Streaming Sparse Gaussian Process Approximations
高斯过程(GP)模型的稀疏伪点近似提供了一套方法,支持在大数据体系中部署GP,并使分析难题得以回避。然而,该领域缺乏处理流数据的原则性方法,其中函数值上的后验分布和超参数估计都以在线方式更新。少数现有的方法要么使用次优的手工算法进行超参数学习,要么在新数据到达时遭受灾难性的遗忘或缓慢的更新。本文开发了一个新的原则性框架,用于在流媒体环境中部署高斯过程概率模型,提供了学习超参数和优化伪输入位置的方法。建议的框架进行评估,使用合成和真实世界的数据集。
2017-11-12 stat.ML
On the Inverse Flow Matching Problem in the One-Dimensional and Gaussian Cases
Applied AI Institute(应用人工智能研究所);Graz University of Technology(格拉茨技术大学)
本文研究了一维和高斯情况下流匹配的逆问题,建立了解的唯一性,为生成AI中的模型蒸馏提供了理论支持。
2025-12-29 cs.LG
Fast Gaussian Process Based Gradient Matching for Parameter Identification in Systems of Nonlinear ODEs
ETH Zürich(苏黎世联邦理工学院);Max Planck ETH CLS(马克斯·普朗克-苏黎世联邦理工计算与系统神经科学中心);MPI-IS Tübingen(图宾根马克斯·普朗克智能系统研究所)
动态系统的参数辨识与比较在许多领域都是一个具有挑战性的课题。基于时间序列数据的高斯过程回归的贝叶斯方法已经成功地应用于推断动态系统的参数,而无需显式求解它。我们提供了一个新的解释,导致更好地理解和改进的最先进的性能方面的非线性动力系统的准确性。
2019-03-01 cs.LG stat.ML
Schema matching using Gaussian mixture models with Wasserstein distance
University of Warsaw(华沙大学);QED Software(QED软件公司)
高斯混合模型作为一种强大的工具,主要是在聚类问题中,但在特征提取,模式识别,图像分割和一般的机器学习中也有适当的准备。当面临模式匹配问题时,在不同数据块上计算的不同混合模型可以保持关于数据集结构的关键信息。为了测量或比较混合模型的结果,Wasserstein距离可能非常有用,但对于混合分布来说,它并不容易计算。本文导出了高斯混合模型间Wasserstein距离的一种可能的近似,并将其化为线性问题。此外,有关现实世界的数据的应用实例。
2022-03-31 cs.DB cs.LG stat.ML
Heavy-Tailed Flow Matching via Random Clocks
Johns Hopkins University(约翰斯·霍普金斯大学);National University of Singapore(新加坡国立大学)
研究重尾数据匹配问题,提出HTFM框架,将重尾源视为时钟条件高斯源混合,用截断对数签名特征编码时钟。实验显示其在多领域优于高斯流匹配等基线,保留低NFE采样优势,还提供尾部控制接口。
2026-07-16 cs.LG stat.ML
Ensemble of Sparse Gaussian Process Experts for Implicit Surface Mapping with Streaming Data
Örebro University(厄勒布鲁大学)
创建地图是机器人技术中的一项重要任务,为有效的规划和导航提供了基础。在本文中,我们学习一个紧凑的和连续的隐式表面地图的环境从一个流的范围数据与已知的姿态。为此,我们创建并逐步调整近似高斯过程(GP)专家的集合,每个专家负责地图的不同部分。而不是将所有到达的数据插入到GP模型中,我们在模型复杂度和预测误差之间进行了很好的权衡。因此,我们的算法在具有很少几何特征的区域上使用更少的资源,而在环境丰富多样的区域上使用更多的资源。我们在合成和真实世界的数据集上评估我们的方法,并分析对参数和测量噪声的敏感性。结果表明,我们可以学习紧凑和准确的隐式曲面模型在不同的条件下,性能相当或优于精确GP回归与子采样数据。
2020-02-12 cs.LG cs.RO stat.ML
Streaming Gaussian Dirichlet Random Fields for Spatial Predictions of High Dimensional Categorical Observations
Massachusetts Institute of Technology(麻省理工学院);Woods Hole Oceanographic Institution(伍兹霍尔海洋研究所)
本文提出流式高斯狄利克雷随机场(S-GDRF),用于高效建模稀疏高维类别观测流,在有界时间复杂度下实现快速推理,并在浮游生物图像数据上取得优于变分高斯过程的预测精度,为高维类别观测的信息路径规划奠定基础。
2024-02-23 cs.LG cs.RO
Streaming Generated Gaussian Process Experts for Online Learning and Control: Extended Version
针对精确高斯过程处理流式数据时计算与内存复杂度高的问题,本文提出流式渐进生成高斯过程专家框架SkyGP及两个针对性变体,经实验验证其性能优于现有最优方法。
2025-11-14 cs.LG cs.SY eess.SY
Real-Time Streaming Mel Vocoding with Generative Flow Matching
Signal Processing Group, Department of Informatics, University of Hamburg, Hamburg, Germany(信息学院信号处理组,汉堡大学,汉堡,德国)
本文提出MelFlow,一种基于生成流匹配的实时流式梅尔声码器,在16 kHz语音上实现32 ms算法延迟,并在消费级GPU上实际验证实时性能,且PESQ和SI-SDR显著优于HiFi-GAN等非流式基线。
2025-09-18 cs.LG cs.SD eess.AS
STREAM: Stochastic Riemannian Flow Matching with Anisotropic Decoder for Digital Histopathology Image Generation
DEEPNOID Inc.(DEEPNOID公司)
提出STREAM框架,利用组织病理学视觉基础模型的patch-token特征作为潜在空间,通过黎曼流匹配生成高质量组织病理学图像,解决条件崩溃问题,并设计各向异性解码器提升生成质量。
2026-10-15 cs.AI cs.CE cs.CV
What Does a Stream Model Buy You in Flow Matching?
RIKEN(理化学研究所)
本文通过理论约简、实验分析和代码审计,揭示流级流匹配中的GP流模型并未带来实质收益,其设计空间坍缩为两条标量曲线,且发布的代码未实现所述机制。
2026-09-29 cs.LG
Real-Time Streamable Generative Speech Restoration with Flow Matching
Signal Processing Group, Dept. of Informatics, Universität Hamburg(信息学院信号处理组,汉堡大学)
本文提出Stream.FM流式生成模型,通过优化架构和压缩技术实现低延迟的实时语音处理,展示其在语音增强等任务中的高性能表现。
2026-04-21 cs.LG cs.SD eess.SP
The Bayesian Gaussian Process Latent Variable Model for Spatio-Temporal Stream Networks
Stellenbosch University(斯泰伦博斯大学);University of Bath(巴斯大学)
本文提出了一种基于变分推断的框架,用于训练多输出高斯过程隐变量模型,特别针对尾部向上空间时间流网络进行优化,通过梯度优化最大化模型对数边际似然的变分下界,引入了一种新的尾部向上空间时间流网络模型家族,利用稀疏高斯过程诱导变量框架、贝叶斯高斯过程隐变量模型和局部变分方法,采用流距离代替欧几里得距离,并利用自相关/交叉相关和过程卷积捕捉空间和时间依赖性,从而开发出有效的可分离空间时间流网络基协方差函数。模拟案例研究结果表明,该框架在基准比较和多种性能指标下表现良好。
2026-05-20 stat.ME
Mean-Field Variational Inference for Gradient Matching with Gaussian Processes
高斯过程梯度匹配是一种很有前途的学习常微分方程参数的工具。梯度匹配的本质是将状态变量的先验建模为高斯过程,这意味着给定ODE和GP核的联合分布也是高斯分布。由于状态导数被建模为潜在变量,因此它们被解析地积分。然而,状态变量本身也是潜在变量,因为它们被噪声污染了。以前的工作采样的状态变量,因为整合出来的是\textit{not}分析易处理。在本文中,我们使用平均场近似建立紧密的变分下界,解耦状态变量,因此,在对比状态变量的积分,解析听话,甚至凹的一个限制家庭的常微分方程,包括非线性和周期常微分方程。这样的变分下界有利于“爬山”,以确定最大后验估计的常微分方程参数。我们的方法比抽样方法的一个额外的优点是一个代理的确定,以棘手的后验分布的状态变量的观察和ODE的。
2016-10-21 stat.ML
Extracting Predictive Information from Heterogeneous Data Streams using Gaussian Processes
金融市场是出了名的复杂环境,呈现出大量嘈杂但潜在信息丰富的数据。我们考虑的问题预测金融时间序列从广泛的信息源使用在线高斯过程与自动相关性确定(ARD)内核。我们衡量的性能增益,量化的标准化均方根误差(NRMSE),中位数绝对偏差(MAD)和皮尔逊相关性,融合四个独立的数据域:时间序列技术,情绪分析,期权市场数据和经纪人的建议。我们的证据表明,ARD内核产生有意义的功能排名,有助于保留显着的输入和减少输入维度,通过金融复杂性筛选提供了一个框架。我们衡量的性能增益融合到一个单一的概率模型,每个域的异构数据流。特别是,我们的研究结果突出了期权数据在绘制价格空间曲率方面的关键价值,并为金融预测的研究提供了直观,新颖的方向。
2018-07-11 q-fin.ST stat.ML
Gaussian Mixture Flow Matching Models
Stanford University(斯坦福大学);Adobe Research(Adobe研究)
针对扩散与流匹配模型少步采样性能差、CFG下易过饱和的问题,提出高斯混合流匹配模型GMFlow,通过预测动态高斯混合参数学习多模态流速分布,结合GM-SDE/ODE求解器与概率引导方案,在ImageNet上仅6步采样即达0.942精确率,显著提升生成质量。
2025-08-30 cs.CV cs.LG
Correcting Source Mismatch in Flow Matching with Radial-Angular Transport
Université Paris-Saclay, CNRS, ENS Paris-Saclay, Centre Borelli(巴黎萨克雷大学, 法国国家科学研究中心, 巴黎高等师范学校-萨克雷, 博雷利中心);ENSIIE(法国国立信息学与能源技术学校)
本文提出Radial-Angular Flow Matching框架,通过匹配数据径向分布和均匀角分布来纠正源不匹配,从而改进流匹配性能,适用于厚尾和极端事件数据。
2026-04-05 cs.LG
Guidance Without Labels: Flow Matching from Coupled Gaussian Mixtures
EPFL(洛桑联邦理工学院)
本文提出一种无标签引导的流匹配方法,通过耦合高斯混合模型与熵最优传输,复用预训练速度场,在CIFAR-10和CelebA-HQ上提升FID,CelebA-HQ仅需约半数步数即可达到基线质量。
2026-10-14 cs.LG
Multivariate Gaussian Process Incorporated Predictive Model for Stream Turbine Power Plant
蒸汽动力涡轮发电厂约占美国总发电量的90%。汽轮机主要由汽轮机、锅炉、减温器、再热器等多种类型组成,通过汽轮机传导的高压高温蒸汽来发电。考虑到模型中的所有这些元素,电厂的总发电量是高度非线性的。我们进行预测建模的方法来检测发电从这些涡轮机的高斯过程(GP)模型。由于有多个相互连接的涡轮机,我们考虑了多变量高斯过程(MGP)建模来预测这些涡轮机的发电量,该模型可以捕获涡轮机之间的互相关。此外,还对每个涡轮机进行了输入参数的敏感性分析,以找出最重要的参数。
2021-04-10 stat.AP
GPMatch: A Bayesian Doubly Robust Approach to Causal Inference with Gaussian Process Covariance Function As a Matching Tool
在较弱的因果假设下,提出了一种基于完全贝叶斯框架的高斯过程(GP)协方差函数作为GPMatch的匹配工具。利用GP先验协方差函数定义匹配距离实现匹配。我们表明,GPMatch提供了一个双重的平均处理效应(ATE)的鲁棒估计很像G-估计,ATE是正确的估计时,满足以下任一条件:1)GP均值函数正确指定潜在的结果\(Y^{(0)}\) ;或2)GP协方差函数正确指定匹配结构。进行模拟研究,没有假设任何已知的匹配结构,也没有功能形式的结果。结果表明,GPMatch具有良好的校准频率属性,并优于许多广泛使用的方法,包括贝叶斯加性回归树。该案例研究使用从电子病历中提取的数据,比较了早期积极使用生物药物治疗新诊断的青少年特发性关节炎儿童的有效性。
2019-03-14 stat.ME
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP,即使当信号先验是非高斯或未知时,也执行稀疏信号的贝叶斯估计。它是不可知的信号统计,并利用先验统计的加性噪声和稀疏率的信号,这是很容易估计的数据,如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量,找到最主要的稀疏支持,以确定近似的最小均方误差(MMSE)估计的稀疏信号。仿真结果表明,我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT
Learning Mixture of Gaussians with Streaming Data
Stanford University(斯坦福大学);Microsoft Research, India(微软印度研究院)
在本文中,我们研究了学习的混合高斯流数据的问题:给定一个流的$N$点的$d$维生成的一个未知的混合$k$球面高斯,目标是使用一个单一的数据流通过估计模型参数。我们分析了流行的劳埃德启发式的流媒体版本,并表明该算法估计的所有未知的中心的组件高斯准确,如果他们是足够的分离。假设每一对中心是$Cσ$远离$C=Ω((k\log k)^{1/4}σ)$和$σ^2$是任何高斯分量的最大方差,我们表明,渐近算法估计的中心最佳(常数),我们的中心分离要求匹配的最佳已知结果为球形高斯\citep{vempalawang}。对于有限样本,我们表明,基于初始估计的偏差项以$O(1/{\rm poly}(N))$速率减小,而方差以接近最佳速率$σ^2 d/N$减小。我们的分析需要播种的算法与一个很好的初始估计的真正的聚类中心,我们提供了一个在线的基于PCA的聚类算法。事实上,我们的算法的渐近每一步的时间复杂度是最佳的$d\cdot k$,而我们的算法的空间复杂度是$O(dk\log k)$。除了倾向于$0$的偏差和方差项之外,流式劳埃德算法的基于硬阈值的更新对数据分布是不可知的,因此引起无法避免的近似误差。然而,通过使用流版本的经典(软阈值为基础的)EM方法,明确利用高斯分布,我们表明,对于两个高斯的混合物的真实的手段可以估计一致,估计误差以接近最佳的速度下降,并倾向于$0$为$N\rightarrow …
2017-07-08 cs.LG stat.ML
EGFC: Evolving Gaussian Fuzzy Classifier from Never-Ending Semi-Supervised Data Streams -- With Application to Power Quality Disturbance Detection and Classification
Federal University of Lavras(拉夫拉斯联邦大学);University of Bologna(博洛尼亚大学);INFN Bologna(意大利国家核物理研究所博洛尼亚分部);Federal Center for Technological Education CEFET-MG(米纳斯吉拉斯联邦技术教育中心)
电能质量扰动导致若干缺点,例如生产能力的限制、线路和设备电流的增加以及随之而来的欧姆损耗;较高的操作温度、过早故障、机器预期寿命的减少、设备故障以及计划外停机。干扰的实时检测和分类被认为是行业标准的关键。我们提出了一个渐进的高斯模糊分类(EGFC)的半监督扰动检测和分类的框架相结合的混合Hodrick-Prescott和离散傅立叶变换属性提取方法应用于一个标志性窗口的电压波形。被认为是如尖峰,开槽,谐波和振荡瞬态的干扰。不同于其他监测系统,这需要离线训练的模型的基础上,有限的数据量和事件,提出的在线数据流为基础的EGFC方法是能够学习干扰模式自主从永无止境的数据流,通过适应的参数和结构的模糊规则的基础上飞。此外,所得到的模糊模型是语言上可解释的,这提高了模型的可接受性。我们展示了令人鼓舞的分类结果。
2020-04-17 cs.AI cs.LG eess.SP
A polynomial time iterative algorithm for matching Gaussian matrices with non-vanishing correlation
本文针对相关高斯Wigner矩阵匹配问题,提出了一种迭代匹配算法,首次在相关性为任意小常数时实现多项式时间内的图匹配。
2022-12-28 cs.DS math.PR math.ST
Gaussian Database Alignment and Gaussian Planted Matching
Georgia Institute of Technology(佐治亚理工学院);Pennsylvania State University(宾夕法尼亚州立大学);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院)
本文研究高斯特征下的数据库对齐与植入匹配问题,证明高维条件下两者性能阈值收敛,并通过线性规划松弛分析给出可达性与逆界,揭示几乎精确与精确对齐阈值的关系。
2023-07-05 cs.DB cs.DS cs.IT
Gaussian and Bootstrap Approximation for Matching-based Average Treatment Effect Estimators
本文为基于协变量和秩匹配的ATE估计量建立了高斯近似界,采用Malliavin-Stein方法量化匹配数量和处理平衡性的影响,并开发了乘数自助法程序以构建非渐近有效的置信区间。
2024-12-22 econ.EM math.PR math.ST