Laplace approximation and the natural gradient for Gaussian process regression with the heteroscedastic Student-t model
本文考虑用Laplace方法对Student-t概率模型的位置和尺度参数进行高斯过程（GP）回归的近似推断。这允许数据的均值和方差作为协变量的函数而变化，具有吸引人的特征，即学生t模型已被广泛用作鲁棒数据分析的有用工具。对于具有Student-t概率模型的GP回归，近似推断的挑战在于后验分布的分析困难性和对数似然函数的不确定性。我们提出了自然梯度适应的估计过程中，主要依赖于学生-t模型自然具有正交参数化的位置和尺度参数的属性。由于该模型的这一特殊性质，我们还引入了另一种拉普拉斯近似，通过使用费舍尔信息矩阵代替负对数似然函数的Hessian矩阵。根据实验，当与传统的拉普拉斯近似相比时，这种替代近似提供非常相似的后验近似和预测性能。我们还比较了这两种拉普拉斯近似与蒙特卡罗马尔可夫链（MCMC）方法。此外，我们比较了我们的异方差Student-t模型和GP回归与异方差高斯模型。我们还讨论了我们的方法可以提高推理算法的情况下，假设的数据的概率模型不是对数凹的。
2017-12-23 stat.ME
TPLVM: Portfolio Construction by Student's $t$-process Latent Variable Model
MAZIN Inc.（MAZIN公司）；Nomura Asset Management Co., Ltd.（野村资产管理股份有限公司）
最优资产配置是现代金融理论中的一个重要课题。为了实现投资者风险规避下的最优资产配置，人们提出了各种投资组合构造方法。近年来，机器学习在金融领域的应用迅速增长。在本文中，我们提出了学生的$t$ -过程隐变量模型（TPLVM）来描述非高斯波动的金融时间序列的低维潜变量。随后，我们将TPLVM应用于最小方差投资组合，作为现有非线性因子模型的替代。为了检验所提出的投资组合的性能，我们构建了基于TPLVM或高斯过程潜变量模型的全球股票市场指数的最小方差投资组合。通过比较这些投资组合，我们确认建议的投资组合优于现有的高斯过程潜变量模型。
2020-01-29 cs.LG math.ST q-fin.PM
Hypervolume-based Multi-objective Bayesian Optimization with Student-t Processes
IDLab；Ghent University - imec（根特大学 - imec）
Student- $t$过程最近被提出作为一种有吸引力的替代非参数函数先验。它们具有增强的灵活性和预测方差。在这项工作中，学生$t$过程的使用进行了探索多目标贝叶斯优化。特别是，一个分析表达式的超体积为基础的概率改进独立的学生$t$过程先验的目标。它的有效性示出的多目标优化问题，这是已知的是难以与传统的高斯过程。
2016-12-01 cs.LG stat.ML
Robust and Trend-following Kalman Smoothers using Student's t
我们提出了两个非线性卡尔曼平滑依赖于学生的t分布。T-Robust平滑器为高斯过程噪声和Student t观测噪声找到最大后验似然（MAP）解决方案，并且对离群值非常鲁棒，在极端情况下（例如50%或更多离群值）优于最近提出的l1-Laplace平滑器。第二个估计，我们称之为的T-趋势平滑，是能够遵循过程模型的突然变化，并推导出作为一个MAP求解器的模型与学生的t-过程噪声和高斯观测噪声。我们设计专门的方法来解决这两个问题，利用特殊结构的学生的t分布，并提供了一个收敛理论。这两种平滑器只需对现有的L2平滑器实现进行微小修改即可实现。线性和非线性模型说明了鲁棒性和快速跟踪应用的数值结果。
2011-11-11 math.OC stat.AP stat.CO
Student-t Process Quadratures for Filtering of Non-Linear Systems with Heavy-Tailed Noise
本文的目的是设计一个矩变换的学生- t分布的随机变量，这是能够占的误差，在数值计算的平均值。我们采用学生-t过程正交，贝叶斯正交的一个实例，这使我们能够把积分本身作为一个随机变量，其方差提供有关所发生的积分误差的信息。Student-t过程求积相对于传统高斯过程求积的优点在于积分方差也取决于函数值，从而允许对积分误差进行更鲁棒的建模。矩变换应用于非线性西格玛点滤波和评估的两个数值例子，它被证明优于国家的最先进的矩变换。
2017-03-16 stat.ME stat.ML
Conditional Deep Gaussian Processes: empirical Bayes hyperdata learning
Rutgers University（罗格斯大学）；Institute for Advanced Studies（高等研究院）
希望将深度学习的表达能力与高斯过程（GP）结合在一个表达性贝叶斯学习模型中。深度内核学习成功地采用了深度网络进行特征提取，然后将GP用作函数模型。最近，有人建议，虽然训练与边际似然，特征提取器的确定性性质可能会导致过度拟合，而用贝叶斯网络的替代似乎治愈it.Here，我们提出了条件深高斯过程（DGP），其中层次组成的中间GP由超数据支持，暴露的GP保持零均值。受稀疏GP中诱导点的启发，超数据也扮演函数支持的角色，但是超参数而不是随机变量。我们按照我们以前的时刻匹配的方法来近似的边缘先验条件DGP的GP携带一个有效的内核。因此，与经验贝叶斯一样，超数据是通过优化近似边际似然来学习的，近似边际似然经由内核隐式地依赖于超数据。我们将在潜在空间中的稠密超数据的限制下证明与深度核学习的等价性。然而，条件DGP和相应的近似推理比深度内核学习更具有贝叶斯性。初步的外推结果表明，通过利用精确的协方差和超数据学习，与GP内核组成，DGP变分推理和深度内核学习相比，从层次结构的深度表现出强大的表达能力。我们还解决了我们的模型的非高斯方面，以及升级到一个完整的贝叶斯推理的方式。
2021-10-23 cs.LG stat.ML
Online Student-$t$ Processes with an Overall-local Scale Structure for Modelling Non-stationary Data
本文针对非平稳和重尾误差的时间数据建模问题，提出具有整体-局部协方差尺度结构的贝叶斯学生t过程混合模型，并结合序贯蒙特卡洛方法实现在线推断，在真实数据集上验证了其优于高斯过程模型。
2023-11-01 cs.LG stat.ML
Evaluating Gaussian Process Metamodels and Sequential Designs for Noisy Level Set Estimation
University of California UCSB（加利福尼亚大学圣巴巴拉分校）
我们考虑的问题，学习的水平集，其中一个嘈杂的黑盒函数超过一个给定的阈值。为了有效地重建水平集，我们研究了高斯过程（GP）元模型。我们的重点是强随机采样器，特别是重尾模拟噪声和低信噪比。为了防止噪声误指定，我们评估了三种变体的性能：（i）具有Student- $t$观测的GP;（ii）Student- $t$过程（TP）;以及（iii）对响应的符号进行建模的分类GP。结合这些元模型，我们分析了几个采集功能，指导顺序试验设计，扩展现有的逐步减少不确定性的标准，随机轮廓寻找的背景下。这也促使我们开发（近似）更新公式，以有效地计算这样的采集功能。我们的计划是基准使用各种合成实验在1- 6维。我们还考虑了应用水平集估计确定最优的执行政策的金融期权。
2020-03-02 cs.LG stat.ML
An introduction and tutorial to model-based clustering in education via Gaussian mixture modelling
该教育领域教程介绍基于高斯混合建模的模型式聚类方法，结合真实数据集与代码，讲解簇数选择、结果评估等流程，展示其在识别学生投入度异质性子群体上的应用与优势。
2023-06-09 stat.ME
Using Latent Variable Models to Observe Academic Pathways
Stanford University（斯坦福大学）
了解大规模的模式，在学生课程招生是一个非常感兴趣的问题，大学管理者和教育研究人员。然而，重要的决定往往是在没有一个良好的定量框架的过程中，学生的选择。我们提出了一种概率方法建模课程招生决策，从多标签分类和混合模型的灵感。我们使用一所大型大学十年的匿名学生成绩单来构建一个高斯潜变量模型，该模型可以学习课程注册的联合分布。该模型允许一组不同的推理查询和数据稀疏的鲁棒性。我们展示了这种方法与其他方法（包括深度学习架构）相比的有效性，并展示了其推断指导招生决策的潜在学生兴趣的能力。
2019-05-31 cs.LG stat.ML
Robust Bayesian Optimization with Student-t Likelihood
SigOpt Inc.（SigOpt公司）；Centro Universitario de la Defensa, Zaragoza（萨拉戈萨国防大学中心）
贝叶斯优化最近吸引了自动机器学习社区的注意，因为它在超参数调整方面的出色结果。BO的特点是样本效率，它可以优化昂贵的黑盒功能。效率是以类似于学习学习方法的方式实现的：代理模型（通常以高斯过程的形式）学习目标函数并执行智能采样。这种代理模型甚至可以在存在噪声的情况下应用;然而，与大多数回归方法一样，它对离群数据非常敏感。这可能会导致错误的预测，在BO的情况下，会导致有偏见和效率低下的探索。在这项工作中，我们提出了一个GP模型，是强大的离群值，使用学生t似然隔离离群值和强大的贝叶斯优化。我们提出的数值结果评估所提出的方法在人工函数和真正的问题。
2017-07-18 cs.AI cs.LG stat.ML
Single Gaussian Process Method for Arbitrary Tokamak Regimes with a Statistical Analysis
高斯过程回归（GPR）是一种基于输入数据推断轮廓的贝叶斯方法。该技术在融合领域越来越受欢迎，因为它比传统的拟合技术具有许多优点，包括内在的不确定性量化和对过拟合的鲁棒性。这项工作研究了使用一种新的方法，变点法，用于处理不同的托卡马克制度中发现的不同长度的尺度。使用的学生的t-分布的贝叶斯似然概率也进行了研究，并显示出在提供良好的拟合与许多离群值的配置文件是有利的。为了比较不同的方法，使用从分析概况生成的合成数据来创建数据库，从而能够对哪种方法表现最好进行定量统计比较。使用一个完整的贝叶斯方法与变点法，Matérn内核的先验概率，学生的t-分布的可能性，给出了最好的结果。
2022-02-23 physics.plasm-ph stat.ME
Knowledge Distillation of Uncertainty using Deep Latent Factor Model
Samsung Research（三星研究院）；Seoul National University（首尔大学）；Inha University（仁荷大学）
针对深度集成不确定性量化计算成本高的问题，提出高斯蒸馏方法，利用深度潜在因子模型压缩教师集成为学生分布，在多个基准上优于现有方法，并适用于语言模型微调和分布偏移。
2025-10-24 cs.LG stat.ME
Kernel Distillation for Fast Gaussian Processes Prediction
Cornell Tech（康奈尔科技学院）；Cornell University（康奈尔大学）
高斯过程（GP）是一种灵活的模型，由于其非参数性质，可以捕获大规模数据集中的复杂结构。然而，在现实世界中的应用是有限的，由于他们的高计算成本在推理时间的GP。在本文中，我们介绍了一个新的框架，\textit{kernel distillation}，近似一个完全训练的教师GP模型的大小为$n\times n$为$n$训练点的核矩阵。在蒸馏过程中，我们将诱导点方法与稀疏低秩近似相结合。提取的学生GP模型只消耗$m$诱导点的$O(m^2)$存储，其中$m \ll n$，并提高了推理时间复杂度。我们的经验表明，内核蒸馏提供了更好的权衡之间的预测时间和测试性能相比，替代品。
2018-11-05 cs.LG stat.ML
Robust Gaussian Process Regression with Huber Likelihood
最简化形式的高斯过程回归假设正态同方差噪声，并利用高斯条件下预测后验分布的分析易处理的均值协方差函数。它的超参数是通过最大化证据来估计的，通常称为II型极大似然估计。不幸的是，基于高斯似然的贝叶斯推断对观测训练数据集中经常存在的离群值不鲁棒。为了克服这个问题，我们提出了一个强大的过程模型，在高斯过程框架与观察数据的似然表示为Huber概率分布。该模型采用基于投影统计的权重来缩放残差，并限制垂直离群值和不良杠杆点对潜在函数估计的影响，同时在高斯和厚尾噪声分布下表现出较高的统计效率。所提出的方法证明了两个现实世界的问题和两个数值例子，使用数据集的加性误差厚尾分布，如学生t，拉普拉斯，和柯西分布。
2023-01-19 stat.AP stat.ML
Incorporating priors in learning: a random matrix study under a teacher-student framework
Huawei Noah’s Ark Lab, Huawei Technologies, Paris, France（华为诺亚实验室，华为技术，巴黎）；Department of Computer Science, Aalto University, Espoo, Finland（计算机科学系，艾尔沃斯大学，埃斯波）
本文通过随机矩阵理论，在教师-学生框架下研究了带信息性先验的正则化线性回归，揭示了偏差-方差-先验权衡，并提供了最优正则化参数的闭合形式解。
2026-01-27 cs.LG stat.ML
Hands-on Experience with Gaussian Processes (GPs): Implementing GPs in Python - I
Aalto University（阿尔托大学）
本文件旨在补充我们的网站，该网站旨在让学生接触高斯过程（GP）。GPS是统计学家和地理空间数据科学家主要用于空间数据建模的非参数贝叶斯回归模型。几个开源库，包括Matlab [1]，Python [2]，R [3]等，已经可以简单地即插即用了。这个讲义和网站的目的是允许用户通过依赖最小的外部依赖来开发Python中的独立GP。为此，我们只使用默认的python模块，并帮助用户从头开始开发自己的GP，让他们深入了解引擎盖下发生的事情。该模块涵盖了使用最大似然估计（MLE）的GP推理，并给出了1D（虚拟）空间数据的示例。
2018-09-06 cs.LG stat.ML
The Elliptical Processes: a Family of Fat-tailed Stochastic Processes
RISE Research Institutes of Sweden AB（瑞典RISE研究院）；Elekta（医科达）
我们提出了椭圆过程-一个家庭的非参数概率模型，包括高斯过程和学生t过程。这种推广包括一系列新的厚尾行为，但保留了计算的易处理性。我们的椭圆过程的基础上表示的椭圆分布作为一个连续的混合高斯分布，并获得封闭形式的表达的边缘和条件分布。我们使用分段常数混合分布定义的椭圆过程对稳健回归进行了数值实验，并与高斯过程进行了比较。椭圆过程可能在几种情况下取代高斯过程，包括当可能性不是高斯或精确的尾部建模至关重要时。
2020-12-02 cs.LG stat.ME stat.ML
Robust Real-Time Delay Predictions in a Network of High-Frequency Urban Buses
由于高度随机的交通环境，为交通用户和运营商提供准确的出行时间预测具有挑战性。公共交通用户对意外的等待时间特别敏感，这对他们对系统可靠性的看法产生了负面影响。在本文中，我们开发了一个强大的实时公交车旅行时间预测模型，离开高斯假设，使用学生- $t$错误。所提出的方法使用时空特征的路线和以前的巴士旅行模型的短期影响，和日期/时间变量和高斯过程的长期预测。该模型允许灵活的建模均值，方差和峰度空间。我们提出了贝叶斯推断和计算概率预测分布的算法。实验使用的数据，从高频巴士在瑞典斯德哥尔摩。结果表明，Student- $t$模型对特定站点公交车延误的对数后验预测能力优于高斯模型，揭示了在模型选择中考虑预测不确定性的重要性.估计的Student- $t$回归捕获了日内小时数和不同工作日之间的典型时间变异性。强烈的时空效应检测到从前一站，这是符合许多最近开发的模型的传入巴士。最后，我们展示了贝叶斯推断如何自然地允许预测不确定性量化，例如，通过返回传入总线的延迟超过给定阈值的预测概率。
2022-02-24 stat.AP
Scale Mixtures of Neural Network Gaussian Processes
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院）；School of Computing, KAIST（韩国科学技术院计算机学院）；Institute for Basic Science (IBS)（基础科学研究院）；AITRICS
最近的工作已经揭示，任何架构的无限宽前馈或递归神经网络对应于称为神经网络高斯过程（NNGP）的高斯过程。虽然这些工作已经扩展了类的神经网络收敛到高斯过程显着，然而，一直很少关注拓宽类的随机过程，这样的神经网络收敛。在这项工作中，受高斯随机变量的尺度混合的启发，我们提出了尺度混合的NNGP，我们引入了一个先验分布的规模上的最后一层参数。我们表明，简单地引入一个规模前的最后一层参数可以把无限宽的神经网络的任何架构到一个更丰富的随机过程。在一定的尺度先验下，我们得到了重尾随机过程，在逆伽玛先验的情况下，我们恢复了学生的$t$过程。我们进一步分析了神经网络的分布，初始化与我们的先验设置和训练梯度下降，并获得类似的结果为NNGP。我们提出了一个实用的后验推理算法的NNGP的规模混合，并实证证明其有用的回归和分类任务。特别是，我们表明，在这两个任务中，从我们的框架获得的重尾随机过程是强大的分布数据。
2022-03-07 cs.LG stat.ML
Variational Elliptical Processes
RISE Research Institutes of Sweden（瑞典RISE研究机构）；Uppsala University（乌普萨拉大学）；Ericsson Research（爱立信研究部）
本文提出 elliptical processes，一种包含 Gaussian 和 Student's t processes 的非参数概率模型，通过 spline normalizing flow 和变分推断实现，适用于大规模问题并在回归和分类中展现优势。
2023-11-21 cs.LG stat.ML
Robust Bayesian Filtering and Smoothing Using Student's t Distribution
Linköping University（林雪平大学）；Cambridge University（剑桥大学）；Middle East Technical University（中东理工大学）
本文提出基于学生t分布的鲁棒滤波与平滑算法，以应对厚尾过程和测量噪声，改进卡尔曼滤波在非高斯环境下的性能。
2017-03-07 cs.SY eess.SY stat.CO
Bayesian Calibration using Different Prior Distributions: an Iterative Maximum A Posteriori Approach for Radio Interferometers
在本文中，我们的目标是设计稳健估计技术的基础上的复合高斯（CG）过程和适用于无线电干涉仪的校准。除此之外的动机是由于离群值的存在导致不切实际的传统高斯噪声假设。因此，为了实现鲁棒性，我们采用了最大后验概率（MAP）的方法，利用贝叶斯统计，并遵循顺序更新程序在这里。该算法被应用在一个多频率的情况下，以提高估计和校正的扰动影响。数值模拟评估不同的噪声模型，学生的t，K，拉普拉斯，柯西和逆高斯复合高斯分布w.r.t.算法的性能。经典的非鲁棒高斯噪声假设。
2018-07-30 astro-ph.IM eess.SP stat.AP
Causal Inference using Gaussian Processes with Structured Latent Confounders
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
潜在混杂因素-影响治疗和结果的未观察到的变量-可以使因果效应的估计产生偏差。在某些情况下，这些混杂因素在观察中是共享的，例如，除了他们单独接受的任何教育干预外，所有参加课程的学生都受到课程难度的影响。本文介绍了如何半参数模型的潜在混杂因素，具有这种结构，从而提高因果效应的估计。关键的创新是一个分层贝叶斯模型，高斯过程与结构化的潜在混杂因素（GP-SLC），和一个蒙特卡罗推理算法，该模型的基础上，椭圆切片采样。GP-SLC提供了个体处理效应的原则性贝叶斯不确定性估计，对与混杂因素、协变量、治疗和结局相关的函数形式进行了最小假设。最后，本文表明，GP-SLC是竞争力或更准确的比广泛使用的因果推断技术的三个基准数据集，包括婴儿健康与发展计划和数据集显示的影响，不断变化的温度对全州的能源消耗在新英格兰。
2020-07-14 cs.LG stat.ME stat.ML
Gaussian Process Regression with a Student-t Likelihood
本文研究了具有Student-t观测模型的高斯过程回归的鲁棒有效实现。Student-t模型的挑战是分析上难以推理，这就是为什么已经提出了几种近似方法。期望传播（EP）已被发现是一个非常准确的方法，在许多实证研究，但EP的收敛是已知的问题与模型包含非对数凹的网站功能，如学生- t分布。在本文中，我们说明的情况下，标准的EP无法收敛，并审查不同的修改和替代算法，以提高收敛性。我们表明，收敛问题可能会发生在第二类最大后验概率（MAP）估计的超参数，并表明，标准的EP可能不会收敛在MAP值在一些困难的情况下。我们提出了一个强大的实现，它主要依赖于并行EP更新，并利用一个时刻匹配为基础的双循环算法，自适应选择的步长在困难的情况下。EP的预测性能进行比较拉普拉斯，变分贝叶斯，和马尔可夫链蒙特卡罗近似。
2011-06-22 stat.ME stat.ML
Transport Gaussian Processes for Regression
University of Chile（智利大学）
高斯过程（GP）先验是非参数生成模型，具有贝叶斯推断的吸引人的建模特性：它们可以通过噪声观测来建模非线性关系，具有用于训练和推理的封闭形式表达式，并且由可解释的超参数控制。然而，GP模型依赖于高斯性，这是一个在几个现实世界场景中不成立的假设，例如，当观测值有界或具有极值依赖性时，这是物理学，金融和社会科学中的自然现象。虽然超高斯随机过程已经引起了GP社区的注意，但仍然缺乏原则性的定义和严格的处理。在这方面，我们提出了一种方法来构建随机过程，其中包括GP，翘曲GP，学生t过程和其他几个在一个统一的方法。我们还提供了在回归问题中训练和推断所提出的模型的公式和算法。我们的方法受到基于层的模型的启发，其中每个提议的层在生成的随机过程上改变特定的属性。反过来，这使我们能够将标准高斯白噪声推向其他更具表现力的随机过程，对于这些随机过程，边缘和Copula不需要是高斯的，同时保留GP的吸引人的属性。我们通过实验验证了所提出的模型与现实世界的数据。
2020-01-30 cs.LG cs.NE math.ST
Stochastic Neighbor Embedding with Gaussian and Student-t Distributions: Tutorial and Survey
University of Waterloo（滑铁卢大学）
随机邻域嵌入（SNE）是一种基于概率的流形学习和降维方法。在SNE中，每个点都被认为是所有其他点的邻居，并试图在嵌入空间中保持这种概率。SNE在输入空间和嵌入空间中都考虑了概率的高斯分布。然而，t-SNE在这些空间中分别使用Student-t和高斯分布。在本教程和综述论文中，我们将解释SNE、对称SNE、t-SNE（或Cauchy-SNE）和具有一般自由度的t-SNE。我们还介绍了这些方法的样本外扩展和加速。
2022-08-03 cs.CV cs.LG stat.ML
Robust Gaussian Process Regression Based on Iterative Trimming
Shanghai Jiao Tong University（上海交通大学）；Shanghai Astronomical Observatory, Chinese Academy of Sciences（中国科学院上海天文台）；University of the Chinese Academy of Sciences（中国科学院大学）；Key Lab for Astrophysics（天体物理重点实验室）
高斯过程（GP）回归可以严重偏差时，数据被污染的离群值。本文提出了一种新的鲁棒GP回归算法，迭代修剪最极端的数据点。虽然新算法保留了标准GP作为非参数和灵活的回归方法的吸引人的特性，但即使在存在极端或大量离群值的情况下，它也可以大大提高污染数据的模型精度。与依赖于近似推理的先前鲁棒GP变体相比，它也更容易实现。应用到广泛的实验与不同的污染水平，所提出的方法显着优于标准GP和流行的鲁棒GP变体与学生t似然在大多数测试情况下。此外，作为天体物理研究中的一个实例，我们表明该方法可以精确地确定星团色星等图中的主序星脊线。
2021-06-13 astro-ph.IM cs.LG stat.ML
Generalized Splines and Gaussian Processes
该研究将有限维线性逆问题中最小均方误差估计与正则化最小二乘的等价性扩展至无限维场景，提出含白化/正则化算子的广义形式体系，可恢复已知等价实例并覆盖通用贝叶斯方法。
2026-08-31 cs.LG math.FA math.ST
Bayesian heterogeneous copula mixtures with nonparametric margins: consistency, identifiability and tail asymmetry in physical fitness data
Shanghai University of Sport（上海体育大学）
本研究提出两阶段贝叶斯伪后验方法估计copula混合模型，证明其一致性与可识别性，并在体能数据中发现尾部不对称模式，优于高斯copula。
2026-10-07 stat.AP stat.CO stat.ME
A Bayesian GED-Gamma stochastic volatility model for return data: a marginal likelihood approach
几项研究探讨了基于随机波动率（SV）模型的推断，同时考虑到回报数据的程式化事实。常见的问题是，许多波动率模型的潜在参数是高维的，并且在分析上难以处理，这意味着推断需要使用例如马尔可夫链蒙特卡罗或拉普拉斯方法进行近似。一些SV模型被表示为线性高斯状态空间模型，其导致边际似然，从而降低问题的维度。其他的不线性化，并且潜在参数被整合出来。然而，这些提出了一个相当严格的演化方程。因此，我们提出了一个贝叶斯GED-Gamma SV模型，其直接边际似然是广义学生t分布的产物，其中潜在状态通过平稳高斯演化方程随时间变化。然后，对对数精度/波动率的先验分布进行近似，而不需要模型线性化。这也允许计算边缘似然函数，其中高维潜在状态被整合出来，并且使用平滑过程容易地在块中采样。此外，我们的GED伽马模型的扩展很容易将斜重尾分布。我们使用贝叶斯估计的静态参数的推断，并进行了模拟研究的估计的几个性质。我们的结果表明，所提出的模型可以合理地估计。此外，我们还提供了巴西资产和英镑/美元汇率的案例研究，以显示我们的方法在拟合和预测方面的性能。关键词：SV模型，新的序列和平滑程序，广义学生t分布，非高斯误差，重尾，偏度
2018-08-23 q-fin.ST stat.OT
Variational auto-encoders with Student's t-prior
Lund University（隆德大学）；Halmstad University（哈尔姆斯塔德大学）
我们提出了一个新的结构变分自动编码器（VAE）的先验，弱信息的多元学生的t分布。在所提出的模型中，所有分布参数都经过训练，从而允许对底层数据分布进行更鲁棒的近似。我们在两个实验中使用Fashion-MNIST数据来比较所提出的VAE与标准高斯先验。这两个实验都表明，使用学生的t先验分布的VAE图像的更好的重建。
2020-04-06 cs.LG stat.ML
Robust Covariance Estimation for Entry-wise Contaminated and Partially Observed Data via Expectation Maximization Algorithm
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Paris Saclay University（巴黎萨克雷大学）
本文针对逐元素污染与部分观测数据的鲁棒协方差估计问题，提出基于SAEM算法的Student-$t^*$模型推理方法，实验显示其在中高异常率下的Fisher-Rao误差低于多种基准方法。
2026-10-16 cs.LG stat.ML
Learning curves of generic features maps for realistic datasets with a teacher-student model
École Fédérale Polytechnique de Lausanne (EPFL)（洛桑联邦理工学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris-Diderot（巴黎第七大学）；International School of Advanced Studies (SISSA)（国际高等研究院）
教师-学生模型提供了一个框架，在这个框架中，高维监督学习的典型案例表现可以以封闭的形式描述。高斯i.i.d.然而，作为规范教师-学生模型基础的输入数据可能被认为限制性太大，无法捕捉实际数据集的行为。在本文中，我们介绍了一个高斯协变量推广的模型，教师和学生可以在不同的空间，产生固定的，但通用的特征映射。虽然在封闭形式中仍然是可解的，但这种泛化能够捕获广泛的现实数据集的学习曲线，从而弥补了教师-学生框架的潜力。我们的贡献是双重的：首先，我们证明了渐近训练损失和泛化误差的严格公式。其次，我们提出了一些情况，其中模型的学习曲线捕获了通过内核回归和分类学习的现实数据集，具有开箱即用的特征映射，如随机投影或散射变换，或预先学习的特征-例如通过训练多层神经网络学习的特征。我们讨论的权力和框架的局限性。
2021-12-14 cond-mat.dis-nn cs.LG math.PR
Finite mixture of skewed sub-Gaussian stable distributions
Gonbad Kavous University（贡巴德卡武斯大学）
我们提出了有限混合偏亚高斯稳定分布。利用期望最大化算法计算有限混合模型参数的极大似然估计。所提出的模型包含正态和偏态正态分布的有限混合。由于所提出的模型的尾部甚至比学生的t分布，它可以被用来作为一个强大的模型，鲁棒的基于模型的聚类。通过对仿真数据和两组真实数据的聚类分析，验证了该模型的有效性。
2022-05-27 cs.LG stat.ME stat.ML
Generalized Fast Multichannel Nonnegative Matrix Factorization Based on Gaussian Scale Mixtures for Blind Source Separation
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信巴黎）；RIKEN（理化学研究所）；Kyoto University（京都大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
本文从统一的角度描述了一种称为快速多通道非负矩阵分解（FastMNMF）的最先进的通用盲声源分离方法的重尾扩展。导出这种扩展的常见方式是用其重尾推广来替换似然函数中的多变量复高斯分布，例如，多元复Student t分布和尖峰广义高斯分布，并量身定制了相应的参数优化算法。使用更广泛的一类称为高斯尺度混合（GSM）的重尾分布，即，混合高斯分布的方差扰动的正随机标量称为脉冲变量，我们提出了GSM-FastMNMF和开发的expectationmaximization算法，即使当脉冲变量的概率密度函数没有解析表达式。我们表明，现有的重尾FastMNMF扩展的GSM-FastMNMF的实例，并推导出一个新的实例的基础上的广义双曲分布，包括正常逆高斯，学生的t，高斯分布的特殊情况。实验结果表明，在语音增强和分离方面，正态逆高斯FastMNMF的信失真比优于FastMNMF扩展和ILRMA模型。
2022-05-11 cs.SD eess.AS eess.SP
Asymptotic learning curves of kernel methods: empirical data v.s. Teacher-Student paradigm
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
学习一个有监督的任务需要多少训练数据？通常观察到泛化误差随着$n^{-β}$而减小，其中$n$是训练示例的数量，$β$是取决于数据和算法的指数。在这项工作中，我们测量$β$时，将核方法应用到真实的数据集。对于MNIST，我们找到了$β\approx 0.4$，对于CIFAR 10 $β\approx 0.1$，对于回归和分类任务，以及高斯或拉普拉斯内核。为了合理化存在的非平凡指数，可以独立于特定的内核使用，我们研究了教师-学生框架内核。在该方案中，教师根据高斯随机场生成数据，学生通过核回归学习数据。一个简化的假设-即数据是从一个规则的晶格采样-我们推导出解析$β$的平移不变内核，使用以前的结果从克里金文献。假设Student对高频不太敏感，则$β$仅取决于训练数据的平滑度和维数。我们确认数值，这些预测举行时，训练点随机采样的超球体。总的来说，测试误差被发现是由真实功能的核特征向量的秩大于$n$的投影的大小控制。使用这个想法，我们预测相关的指数$β$到一个指数$a$描述如何在内核的本征基的真函数的系数随秩衰减。我们从实际数据中提取$a$通过执行核PCA，导致$β\approx0.36$的MNIST和$β\approx0.07$的CIFAR 10，在良好的协议与观察。我们认为，这些相当大的指数是可能的，由于小的有效尺寸的数据。
2020-08-18 cond-mat.dis-nn cs.LG stat.ML
A Monotone Single-Index Modal Regression Powered by Deep Neural Networks for Non-Gaussian Periodontal Data
Wake Forest University（维克森林大学）；Gauss Labs（高斯实验室）；George Mason University（乔治梅森大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）
本文提出一种基于深度神经网络的单调单指标模态回归框架，结合两段尺度Student-t分布与单调性约束神经网络，用于分析偏态重尾的牙周探诊深度数据，实现稳健估计并保持临床可解释性。
2026-09-09 stat.ME stat.ML
Heavy-Tailed Diffusion Models
NVIDIA（英伟达）；University of California Irvine（加州大学欧文分校）
针对标准高斯先验的扩散模型无法捕捉重尾分布稀有极端事件的问题，研究提出基于多元Student-t分布的重尾扩散框架，推出t-EDM与t-Flow模型，仅需少量代码修改即可兼容标准模型，在高分辨率天气数据集重尾估计上表现更优。
2024-10-29 cs.LG stat.ML
$t^3$-Variational Autoencoder: Learning Heavy-tailed Data with Student's t and Power Divergence
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Seoul National University（首尔大学）
针对高斯先验 VAE 难以建模重尾数据的问题，提出基于 Student's t 分布和 $γ$-幂散度的 $t^3$VAE，并在合成及 CelebA、不平衡 CIFAR-100 数据集上验证其优势。
2024-03-03 cs.LG stat.ML
Non-asymptotic Analysis of Diffusion Annealed Langevin Monte Carlo for Generative Modelling
Imperial College London（帝国理工学院）；The Alan Turing Institute（阿兰·图灵研究所）
在数据分布弱条件下，研究扩散退火朗之万蒙特卡洛（DALMC）的非渐近误差界，扩展至重尾扩散路径，为插值简单分布与数据分布的得分生成模型提供理论保证，拓宽了标准扩散方法视角。
2025-02-13 cs.LG math.PR stat.CO
