Bayesian linear regression with Student-t assumptions
贝叶斯线性回归作为一种仅使用训练数据自动确定模型复杂度的方法，为我们提供了一种选择超参数的原则性方法。但当分布假设超出高斯分布时，往往需要近似推理。本文提出了一个具有学生t假设的贝叶斯线性回归模型（BLRS），它可以被精确地推断。在这个框架下，共轭先验和期望最大化（EM）算法进行了推广。同时，我们证明了最大似然解等价于高斯假设下的标准贝叶斯线性回归（BLRG）。BLRS的$q$ -EM算法与BLRG的EM算法几乎相同。实验结果表明，在预测网络新闻流行度的任务中，BLRS的$q$ -EM比BLRG的EM能更快地收敛。
2016-04-15 cs.LG stat.ML
Bayesian inversion with Student's t priors based on Gaussian scale mixtures
针对贝叶斯反问题的结构先验建模需求，提出结合马尔可夫随机场与Student's t分布的先验类，借助高斯尺度混合表示实现高效后验计算，经信号去卷积和图像去模糊算例验证有效性。
2024-07-15 stat.CO
TPLVM: Portfolio Construction by Student's $t$-process Latent Variable Model
MAZIN Inc.（MAZIN公司）；Nomura Asset Management Co., Ltd.（野村资产管理股份有限公司）
最优资产配置是现代金融理论中的一个重要课题。为了实现投资者风险规避下的最优资产配置，人们提出了各种投资组合构造方法。近年来，机器学习在金融领域的应用迅速增长。在本文中，我们提出了学生的$t$ -过程隐变量模型（TPLVM）来描述非高斯波动的金融时间序列的低维潜变量。随后，我们将TPLVM应用于最小方差投资组合，作为现有非线性因子模型的替代。为了检验所提出的投资组合的性能，我们构建了基于TPLVM或高斯过程潜变量模型的全球股票市场指数的最小方差投资组合。通过比较这些投资组合，我们确认建议的投资组合优于现有的高斯过程潜变量模型。
2020-01-29 cs.LG math.ST q-fin.PM
Hypervolume-based Multi-objective Bayesian Optimization with Student-t Processes
IDLab；Ghent University - imec（根特大学 - imec）
Student- $t$过程最近被提出作为一种有吸引力的替代非参数函数先验。它们具有增强的灵活性和预测方差。在这项工作中，学生$t$过程的使用进行了探索多目标贝叶斯优化。特别是，一个分析表达式的超体积为基础的概率改进独立的学生$t$过程先验的目标。它的有效性示出的多目标优化问题，这是已知的是难以与传统的高斯过程。
2016-12-01 cs.LG stat.ML
Variational auto-encoders with Student's t-prior
Lund University（隆德大学）；Halmstad University（哈尔姆斯塔德大学）
我们提出了一个新的结构变分自动编码器（VAE）的先验，弱信息的多元学生的t分布。在所提出的模型中，所有分布参数都经过训练，从而允许对底层数据分布进行更鲁棒的近似。我们在两个实验中使用Fashion-MNIST数据来比较所提出的VAE与标准高斯先验。这两个实验都表明，使用学生的t先验分布的VAE图像的更好的重建。
2020-04-06 cs.LG stat.ML
Theoretical properties of Bayesian Student-$t$ linear regression
Bayesian Student- $t$线性回归是正态模型的一种常见的稳健替代模型，但其理论特性还不是很好地理解。我们的目标是通过提供两种不同的渐近情景分析来填补一些空白。结果允许精确地表征通过自由度（至少渐近地）控制的鲁棒性和效率之间的权衡。
2023-02-07 math.ST stat.ME stat.TH
Robust and Trend-following Kalman Smoothers using Student's t
我们提出了两个非线性卡尔曼平滑依赖于学生的t分布。T-Robust平滑器为高斯过程噪声和Student t观测噪声找到最大后验似然（MAP）解决方案，并且对离群值非常鲁棒，在极端情况下（例如50%或更多离群值）优于最近提出的l1-Laplace平滑器。第二个估计，我们称之为的T-趋势平滑，是能够遵循过程模型的突然变化，并推导出作为一个MAP求解器的模型与学生的t-过程噪声和高斯观测噪声。我们设计专门的方法来解决这两个问题，利用特殊结构的学生的t分布，并提供了一个收敛理论。这两种平滑器只需对现有的L2平滑器实现进行微小修改即可实现。线性和非线性模型说明了鲁棒性和快速跟踪应用的数值结果。
2011-11-11 math.OC stat.AP stat.CO
Knowledge Distillation of Uncertainty using Deep Latent Factor Model
Samsung Research（三星研究院）；Seoul National University（首尔大学）；Inha University（仁荷大学）
针对深度集成不确定性量化计算成本高的问题，提出高斯蒸馏方法，利用深度潜在因子模型压缩教师集成为学生分布，在多个基准上优于现有方法，并适用于语言模型微调和分布偏移。
2025-10-24 cs.LG stat.ME
Student-t Process Quadratures for Filtering of Non-Linear Systems with Heavy-Tailed Noise
本文的目的是设计一个矩变换的学生- t分布的随机变量，这是能够占的误差，在数值计算的平均值。我们采用学生-t过程正交，贝叶斯正交的一个实例，这使我们能够把积分本身作为一个随机变量，其方差提供有关所发生的积分误差的信息。Student-t过程求积相对于传统高斯过程求积的优点在于积分方差也取决于函数值，从而允许对积分误差进行更鲁棒的建模。矩变换应用于非线性西格玛点滤波和评估的两个数值例子，它被证明优于国家的最先进的矩变换。
2017-03-16 stat.ME stat.ML
An introduction and tutorial to model-based clustering in education via Gaussian mixture modelling
该教育领域教程介绍基于高斯混合建模的模型式聚类方法，结合真实数据集与代码，讲解簇数选择、结果评估等流程，展示其在识别学生投入度异质性子群体上的应用与优势。
2023-06-09 stat.ME
Robust Bayesian Optimization with Student-t Likelihood
SigOpt Inc.（SigOpt公司）；Centro Universitario de la Defensa, Zaragoza（萨拉戈萨国防大学中心）
贝叶斯优化最近吸引了自动机器学习社区的注意，因为它在超参数调整方面的出色结果。BO的特点是样本效率，它可以优化昂贵的黑盒功能。效率是以类似于学习学习方法的方式实现的：代理模型（通常以高斯过程的形式）学习目标函数并执行智能采样。这种代理模型甚至可以在存在噪声的情况下应用;然而，与大多数回归方法一样，它对离群数据非常敏感。这可能会导致错误的预测，在BO的情况下，会导致有偏见和效率低下的探索。在这项工作中，我们提出了一个GP模型，是强大的离群值，使用学生t似然隔离离群值和强大的贝叶斯优化。我们提出的数值结果评估所提出的方法在人工函数和真正的问题。
2017-07-18 cs.AI cs.LG stat.ML
Online Student-$t$ Processes with an Overall-local Scale Structure for Modelling Non-stationary Data
本文针对非平稳和重尾误差的时间数据建模问题，提出具有整体-局部协方差尺度结构的贝叶斯学生t过程混合模型，并结合序贯蒙特卡洛方法实现在线推断，在真实数据集上验证了其优于高斯过程模型。
2023-11-01 cs.LG stat.ML
Evaluating Gaussian Process Metamodels and Sequential Designs for Noisy Level Set Estimation
University of California UCSB（加利福尼亚大学圣巴巴拉分校）
我们考虑的问题，学习的水平集，其中一个嘈杂的黑盒函数超过一个给定的阈值。为了有效地重建水平集，我们研究了高斯过程（GP）元模型。我们的重点是强随机采样器，特别是重尾模拟噪声和低信噪比。为了防止噪声误指定，我们评估了三种变体的性能：（i）具有Student- $t$观测的GP;（ii）Student- $t$过程（TP）;以及（iii）对响应的符号进行建模的分类GP。结合这些元模型，我们分析了几个采集功能，指导顺序试验设计，扩展现有的逐步减少不确定性的标准，随机轮廓寻找的背景下。这也促使我们开发（近似）更新公式，以有效地计算这样的采集功能。我们的计划是基准使用各种合成实验在1- 6维。我们还考虑了应用水平集估计确定最优的执行政策的金融期权。
2020-03-02 cs.LG stat.ML
Sparse Variational Student-t Processes for Heavy-tailed Modeling
SVTP通过稀疏变分方法改进学生t过程，有效处理厚尾数据中的异常值，提升模型收敛速度和预测精度。
2026-03-10 cs.AI cs.LG
Single Gaussian Process Method for Arbitrary Tokamak Regimes with a Statistical Analysis
高斯过程回归（GPR）是一种基于输入数据推断轮廓的贝叶斯方法。该技术在融合领域越来越受欢迎，因为它比传统的拟合技术具有许多优点，包括内在的不确定性量化和对过拟合的鲁棒性。这项工作研究了使用一种新的方法，变点法，用于处理不同的托卡马克制度中发现的不同长度的尺度。使用的学生的t-分布的贝叶斯似然概率也进行了研究，并显示出在提供良好的拟合与许多离群值的配置文件是有利的。为了比较不同的方法，使用从分析概况生成的合成数据来创建数据库，从而能够对哪种方法表现最好进行定量统计比较。使用一个完整的贝叶斯方法与变点法，Matérn内核的先验概率，学生的t-分布的可能性，给出了最好的结果。
2022-02-23 physics.plasm-ph stat.ME
Using Latent Variable Models to Observe Academic Pathways
Stanford University（斯坦福大学）
了解大规模的模式，在学生课程招生是一个非常感兴趣的问题，大学管理者和教育研究人员。然而，重要的决定往往是在没有一个良好的定量框架的过程中，学生的选择。我们提出了一种概率方法建模课程招生决策，从多标签分类和混合模型的灵感。我们使用一所大型大学十年的匿名学生成绩单来构建一个高斯潜变量模型，该模型可以学习课程注册的联合分布。该模型允许一组不同的推理查询和数据稀疏的鲁棒性。我们展示了这种方法与其他方法（包括深度学习架构）相比的有效性，并展示了其推断指导招生决策的潜在学生兴趣的能力。
2019-05-31 cs.LG stat.ML
An Alternative to EM for Gaussian Mixture Models: Batch and Stochastic Riemannian Optimization
University of Tehran（德黑兰大学）；Massachusetts Institute of Technology（麻省理工学院）；School of ECE, College of Engineering, University of Tehran（德黑兰大学工程学院电子与计算机工程系）
本文研究高斯混合模型的极大似然估计。这个任务几乎总是通过期望最大化（EM）算法来解决（在理论和实践中）。EM的成功得益于多方面的因素，其中以封闭形式满足正定性约束的能力至关重要。我们提出了一种替代EM呼吁丰富的黎曼几何正定矩阵，使用它，我们铸造Gmm参数估计作为一个黎曼优化问题。令人惊讶的是，这样一个开箱即用的黎曼公式完全失败，并证明比EM差得多。这促使我们更仔细地研究问题的几何形状，并推导出更适合黎曼优化的更好的公式。然后，我们开发（黎曼）批处理和随机梯度算法，优于EM，往往大幅。我们提供了一个非渐近收敛分析我们的随机方法，这也是第一个（据我们所知）这样的整体分析黎曼随机梯度。大量的实证结果证明了我们的方法的有效性。
2017-06-10 cs.LG stat.ML
Molecular Energy Learning Using Alternative Blackbox Matrix-Matrix Multiplication Algorithm for Exact Gaussian Process
California Institute of Technology（加州理工学院）
我们提出了一个应用程序的黑盒矩阵矩阵乘法（BBMM）算法，以扩大高斯过程（GP）的分子能量训练的分子轨道为基础的机器学习（MOB-ML）框架。BBMM（AltBBMM）的替代实现也提出了训练更有效地（超过四倍的加速），具有相同的准确性和可转移性的原始BBMM实现。MOB-ML的训练限于220个分子，BBMM和AltBBMM将MOB-ML的训练扩展了30倍以上，达到6500个分子（超过一百万对能量）。两种算法的准确性和可移植性检查的基准数据集上的有机分子与7和13个重原子。GP的这些低尺度实现在低数据状态下保持了最先进的学习效率，同时将其扩展到大数据状态，比其他可用的分子能量机器学习工作具有更好的准确性。
2021-09-20 cs.LG physics.chem-ph physics.comp-ph
Robust Real-Time Delay Predictions in a Network of High-Frequency Urban Buses
由于高度随机的交通环境，为交通用户和运营商提供准确的出行时间预测具有挑战性。公共交通用户对意外的等待时间特别敏感，这对他们对系统可靠性的看法产生了负面影响。在本文中，我们开发了一个强大的实时公交车旅行时间预测模型，离开高斯假设，使用学生- $t$错误。所提出的方法使用时空特征的路线和以前的巴士旅行模型的短期影响，和日期/时间变量和高斯过程的长期预测。该模型允许灵活的建模均值，方差和峰度空间。我们提出了贝叶斯推断和计算概率预测分布的算法。实验使用的数据，从高频巴士在瑞典斯德哥尔摩。结果表明，Student- $t$模型对特定站点公交车延误的对数后验预测能力优于高斯模型，揭示了在模型选择中考虑预测不确定性的重要性.估计的Student- $t$回归捕获了日内小时数和不同工作日之间的典型时间变异性。强烈的时空效应检测到从前一站，这是符合许多最近开发的模型的传入巴士。最后，我们展示了贝叶斯推断如何自然地允许预测不确定性量化，例如，通过返回传入总线的延迟超过给定阈值的预测概率。
2022-02-24 stat.AP
Combine Statistical Thinking With Open Scientific Practice: A Protocol of a Bayesian Research Project
统计界目前的发展情况表明，现代统计教育应该从整体上进行，即允许学生使用真实数据并回答具体的统计问题，但也要教育他们了解其他框架，如贝叶斯推断。在这篇文章中，我们描述了我们如何将这样一个整体的结构在有序二项概率的贝叶斯研究项目。该项目由三名心理学本科生组成，他们具有贝叶斯统计和编程的基础知识，但缺乏正式的数学训练。该研究项目旨在（1）传达贝叶斯推断的基本数学概念;（2）让学生体验整个经验周期，包括数据的收集，分析和解释;（3）教学生开放科学实践。
2022-01-06 stat.AP
Stochastic Neighbor Embedding with Gaussian and Student-t Distributions: Tutorial and Survey
University of Waterloo（滑铁卢大学）
随机邻域嵌入（SNE）是一种基于概率的流形学习和降维方法。在SNE中，每个点都被认为是所有其他点的邻居，并试图在嵌入空间中保持这种概率。SNE在输入空间和嵌入空间中都考虑了概率的高斯分布。然而，t-SNE在这些空间中分别使用Student-t和高斯分布。在本教程和综述论文中，我们将解释SNE、对称SNE、t-SNE（或Cauchy-SNE）和具有一般自由度的t-SNE。我们还介绍了这些方法的样本外扩展和加速。
2022-08-03 cs.CV cs.LG stat.ML
Gaussian Process Regression with a Student-t Likelihood
本文研究了具有Student-t观测模型的高斯过程回归的鲁棒有效实现。Student-t模型的挑战是分析上难以推理，这就是为什么已经提出了几种近似方法。期望传播（EP）已被发现是一个非常准确的方法，在许多实证研究，但EP的收敛是已知的问题与模型包含非对数凹的网站功能，如学生- t分布。在本文中，我们说明的情况下，标准的EP无法收敛，并审查不同的修改和替代算法，以提高收敛性。我们表明，收敛问题可能会发生在第二类最大后验概率（MAP）估计的超参数，并表明，标准的EP可能不会收敛在MAP值在一些困难的情况下。我们提出了一个强大的实现，它主要依赖于并行EP更新，并利用一个时刻匹配为基础的双循环算法，自适应选择的步长在困难的情况下。EP的预测性能进行比较拉普拉斯，变分贝叶斯，和马尔可夫链蒙特卡罗近似。
2011-06-22 stat.ME stat.ML
Robust Covariance Estimation for Entry-wise Contaminated and Partially Observed Data via Expectation Maximization Algorithm
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Paris Saclay University（巴黎萨克雷大学）
本文针对逐元素污染与部分观测数据的鲁棒协方差估计问题，提出基于SAEM算法的Student-$t^*$模型推理方法，实验显示其在中高异常率下的Fisher-Rao误差低于多种基准方法。
2026-10-16 cs.LG stat.ML
On the Optimality of Gaussian Kernel Based Nonparametric Tests against Smooth Alternatives
近年来，通过分布的核嵌入的非参数检验已经取得了大量的实际成功。然而，这些测试的统计特性在很大程度上是未知的，超出了对固定替代品的一致性。为了填补这一空白，我们在这里研究的拟合优度，同质性和独立性测试使用高斯内核，可以说是最流行和成功的此类测试的渐近性质。我们的研究结果提供了理论上的理由，这种常见的做法表明，使用高斯核与适当选择的缩放参数的测试是最小最大的光滑的替代品在所有三个设置。此外，我们的分析还指出了在使用高斯内核时选择发散缩放参数的重要性，并建议在广泛的平滑替代方案中选择数据驱动的缩放参数，以获得最佳的测试，直到迭代对数因子。数值实验也进一步证明了该方法的实用价值。
2019-09-07 math.ST stat.ME stat.ML
