Empirical Bayes PCA in high dimensions
当数据的维数与数据样本的数量相当或大于数据样本的数量时,主成分分析(PCA)可能会表现出有问题的高维噪声。在这项工作中,我们提出了一个经验贝叶斯PCA方法,通过估计联合先验分布的主成分,以减少这种噪声。EB-PCA是基于经典的Kiefer-Wolfowitz非参数MLE的经验贝叶斯估计,来自随机矩阵理论的样本PC的分布结果,并使用近似消息传递(AMP)算法的迭代细化。在理论上的“尖峰”模型中,EB-PCA在与知道真实先验的Oracle Bayes AMP过程相同的设置中实现Bayes最优估计精度。经验上,EB-PCA显着改善PCA时,有很强的先验结构,无论是在模拟和定量基准构建的1000个基因组计划和国际HapMap项目。提供了用于分析通过单细胞RNA-seq获得的基因表达数据的说明。
2021-09-05 math.ST stat.ME stat.ML
BVSIMC: Bayesian Variable Selection-Guided Inductive Matrix Completion for Improved and Interpretable Drug Discovery
Department of Statistics University of South Carolina(统计学系南卡罗来纳大学);Department of Biostatistics University of South Carolina(生物统计学系南卡罗来纳大学);Department of Biostatistics University of Florida(生物统计学系佛罗里达大学);Department of Surgery University of Florida(外科医学系佛罗里达大学);Department of Statistics George Mason University(统计学系乔治·梅森大学)
本文提出BVSIMC模型,通过学习稀疏潜在嵌入提升药物发现预测精度和可解释性,并在模拟研究和两个真实应用中优于其他方法,揭示了临床意义最大的侧信息特征。
2026-03-19 cs.LG stat.ME
Matrix Completion Survey: Theory, Algorithms, and Empirical Evaluation
Cornell University(康奈尔大学)
本文综述了矩阵补全的理论与算法,并通过实验评估了自适应采样方案的效果。
2025-12-09 stat.CO
Bayes and empirical-Bayes multiplicity adjustment in the variable-selection problem
研究了标准贝叶斯变量选择先验在线性回归中的多重校正效应。我们的第一个目标是澄清何时,以及如何,多重校正自动发生在贝叶斯分析,并区分这种校正贝叶斯奥卡姆剃刀效应。我们的第二个目标是通过实例、理论结果和模拟来对比概率贝叶斯和完全贝叶斯变量选择方法。特别是,我们证明了一个定理,它描述了完全贝叶斯和经验贝叶斯之间令人惊讶的渐近差异。这种差异产生于与未能在经验贝叶斯估计中考虑超参数不确定性不同的来源。事实上,即使在极端情况下,当经验贝叶斯估计渐近收敛于真实的变量包含概率时,仍然存在严重差异的可能性。
2010-11-10 math.ST stat.TH
Truncated Matrix Completion - An Empirical Study
University of Michigan(密歇根大学)
本文针对实际应用中采样掩码常依赖基础数据值的问题,通过实验研究并比较了原本适用于数据独立采样模式的多种低秩矩阵补全(LRMC)算法在该类场景下的性能。
2025-04-14 cs.AI cs.LG cs.NA
Intelligent Initialization and Adaptive Thresholding for Iterative Matrix Completion; Some Statistical and Algorithmic Theory for Adaptive-Impute
在过去的十年中,已经开发了各种矩阵完成算法。奇异值分解(SVD)是一种流行的技术,在实现其中的许多。大量的研究已经表明了它的理论和实证优势,但选择正确的阈值水平仍然是一个关键的实证困难。本文提出了一种新的矩阵完备化算法,该算法迭代阈值SVD与理论证明和数据依赖的阈值参数的值。所提出的算法的估计享有极大极小错误率,并显示出突出的经验性能。我们使用的阈值方案可以被看作是一个非凸优化问题的解决方案,其理论收敛保证的理解是有限的。我们研究这个问题,通过引入一个更简单的算法,广义- \SI,分析其收敛行为,并将其连接到所提出的算法。
2016-05-07 stat.ME
Concentration properties of fractional posterior in 1-bit matrix completion
Norwegian University of Science and Technology(挪威科技大学)
本文针对1比特矩阵补全问题,提出分数后验的集中性质理论,使用两种先验分布恢复参数矩阵,无需先验秩信息,且假设条件少于频率派方法。
2024-04-13 cs.LG stat.ML
Learning Parameters for Weighted Matrix Completion via Empirical Estimation
最近,理论上的保证已经获得了矩阵完成在非均匀采样制度。特别是,如果抽样分布与底层矩阵的杠杆分数一致,那么核范数最小化将以高概率精确地恢复低秩矩阵。在本文中,我们分析了非均匀抽样分布可能与基础矩阵的杠杆分数一致或不一致的情况。在这里,我们探索学习加权核范数最小化的经验抽样分布的参数。我们为这些学习的权重提供了一个充分条件,为加权核范数最小化提供了一个精确的恢复保证。它已经建立了一个具体的选择的权重,在真实的采样分布不仅允许加权核范数最小化,以准确地恢复低秩矩阵,但也允许在精确的恢复条件的量化放松。在这篇文章中,我们扩展了这种可量化的放松,在确切的恢复条件下,定义类似的经验分布,而不是真正的抽样分布的权重的具体选择。为了实现这一点,我们采用了浓度的测量界和大偏差界。我们还提出了健康的鲁棒性的加权核范数最小化算法的经验学习的权重的选择的数值证据。这些数值实验表明,对于各种易于计算的经验权重,加权核范数最小化优于非加权核范数最小化在非均匀采样制度。
2015-04-02 stat.ML
Empirical Bayes for Data Integration
Pompeu Fabra University(庞培法布拉大学)
本文提出了一种基于经验贝叶斯的数据整合方法,用于高维回归问题,在稀疏性和betamin假设下实现更有效的变量选择和更快的收敛速率。
2026-02-05 stat.ME
Missing Not at Random in Matrix Completion: The Effectiveness of Estimating Missingness Probabilities Under a Low Nuclear Norm Assumption
Carnegie Mellon University(卡内基梅隆大学)
矩阵补全通常应用于具有非随机非随机缺失项(MNAR)的数据。例如,考虑一个推荐系统,其中用户倾向于只显示他们喜欢的项目的评级。在这种情况下,依赖于在均匀采样的行和列索引处显示的条目的矩阵完成方法可能会对看不见的用户评级产生过于乐观的预测。最近,各种各样的论文表明,如果我们知道不同矩阵项丢失的概率,我们可以减少MNAR矩阵完成中的这种偏差。这些概率通常使用逻辑斯谛回归或朴素贝叶斯进行建模,这些方法进行强假设,并且缺乏对估计概率准确性的保证。在本文中,我们提出了一个简单的方法来估计这些概率,避免这些缺点。我们的方法遵循的观察,在真实数据中的缺失模式往往表现出较低的核范数结构。然后,我们可以通过将(总是完全观察到的)二进制矩阵指定哪些条目被揭示或缺失到Davenport等人的现有核范数约束矩阵完成算法来估计缺失概率。[2014]。因此,我们通过首先解决不同的矩阵完成问题来解决MNAR矩阵完成问题,该矩阵完成问题恢复缺失概率。我们建立有限样本误差界如何准确这些概率估计和如何以及这些估计debias标准矩阵完成损失的原始矩阵完成。实验结果表明,所提出的去偏策略可以改善现有的各种矩阵补全算法,并使下游矩阵补全精度至少与需要额外辅助信息的逻辑斯谛回归和朴素贝叶斯去偏基线一样好.
2019-10-29 cs.LG stat.ML
Median Matrix Completion: from Embarrassment to Optimality
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Texas A&M University(德州农工大学)
本文考虑了具有绝对偏差损失的矩阵完备化问题,得到了中位矩阵的一个估计。尽管中位数有几个吸引人的属性,非光滑的绝对偏差损失导致大规模数据集的计算挑战,这是越来越常见的矩阵完成问题。大规模问题的一个简单解决方案是并行计算。然而,过分并行的方式往往会导致低效的估计。基于伪数据的思想,我们提出了一种新的细化步骤,它把这种效率低下的估计到率(近)最优矩阵完成过程。精化估计是正则化最小中值估计的近似,因此不是普通的正则化经验风险估计。这导致了对渐近行为的非标准分析。实验结果也证实了所提出的方法的有效性。
2020-06-18 cs.LG stat.ML
Scalable Bayesian Non-linear Matrix Completion
Institute for Molecular Medicine Finland (FIMM), University of Helsinki(赫尔辛基大学芬兰分子医学研究所(FIMM));Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
矩阵补全的目标是预测部分观测数据矩阵中的缺失元素,在典型的应用中,如协同过滤,数据矩阵很大,观测非常稀疏。一个标准的解决方案是矩阵分解,它将未观察到的条目预测为潜在变量的线性组合。我们推广到非线性组合的双尺度矩阵。贝叶斯方法已被证明是有益的线性矩阵完成,但不适用于更一般的非线性情况下,由于有限的可扩展性。我们介绍了贝叶斯非线性矩阵完成算法,这是基于最近的贝叶斯公式的高斯过程潜变量模型。为了解决有关的可扩展性和计算的挑战,我们提出了一个数据并行分布式计算方法与限制通信方案。我们使用模拟和真实世界的数据来评估我们的方法对具有挑战性的矩阵外预测任务的影响。
2019-07-31 cs.DC cs.LG cs.NA
Low-rank Bayesian matrix completion via geodesic Hamiltonian Monte Carlo on Stiefel manifolds
School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院);Department of Aerospace Engineering, University of Michigan(密歇根大学航空航天工程系)
本文提出基于 SVD 先验与 Stiefel 流形测地线 HMC 的低秩贝叶斯矩阵补全方法,支持一般似然并在蛋白质与 MovieLens 基准上提升采样和预测性能。
2024-10-27 cs.LG cs.NA math.NA
Simulation comparisons between Bayesian and de-biased estimators in low-rank matrix completion
Norwegian University of Science and Technology(挪威科技大学)
本文通过模拟比较了低秩矩阵补全中贝叶斯估计与去偏估计的性能,发现两者相当,但贝叶斯方法更稳定且在小样本下更优,并指出去偏置信区间覆盖率较低,需进一步理论研究。
2023-09-01 cs.LG stat.ML
Variational Bayesian Inference for Robust Streaming Tensor Factorization and Completion
Department of Mathematics, UC Santa Barbara(加州大学圣巴巴拉分校数学系);Department of ECE, UC Santa Barbara(加州大学圣巴巴拉分校电气工程与计算机科学系)
流张量分解是一个强大的工具,用于处理互联网网络,推荐系统和图像/视频数据分析中的大容量和多路时态数据。现有的流式张量分解算法依赖于最小二乘数据拟合,并且它们不具有用于张量秩确定的机制。这使得它们容易受到离群值的影响,并且容易过度拟合。本文提出了一种贝叶斯鲁棒流张量分解模型,用于识别稀疏离群点,自动确定底层张量秩,精确拟合低秩结构。我们在Matlab中实现了我们的模型,并将其与动态MRI和互联网流量生成的张量数据集上的现有算法进行了比较。
2018-12-31 cs.LG eess.SP stat.ML
Nuclear Norm-Regularized Bayesian Matrix Completion
Cornell University(康奈尔大学)
针对核范数正则化贝叶斯矩阵补全,提出首个具有非渐近保证的多项式时间采样器,通过离散化噪声精度并利用热力学积分构建后验,证明了可行性。
2026-10-28 cs.LG stat.ML
Convergence Rates of Empirical Bayes Posterior Distributions: A Variational Perspective
本文研究了经验贝叶斯后验分布在非参数和高维推断下的收敛速度。证明了只要超参数集是离散的,由极大边际似然估计量导出的经验Bayes后验分布可以看作是分层Bayes后验分布的变分逼近.经验贝叶斯和变分贝叶斯之间的这种联系使我们能够利用变分贝叶斯文献中的最新结果,并从变分的角度直接获得经验贝叶斯后验分布的收敛速度。对于一个更一般的超参数集,不一定是离散的,我们引入了一种新的技术,称为“先验分解”来处理先验分布,可以写为凸组合的概率测度,其支持是低维子空间。这导致了经验贝叶斯的收敛速度的经典“先验质量和检验”条件的广义版本。我们的理论被应用到一些统计估计问题,包括非参数密度估计和稀疏线性回归。
2020-09-08 math.ST stat.ML stat.TH
Variational approximations of empirical Bayes posteriors in high-dimensional linear models
在高维情形下,先验尾部对后验计算和渐近集中率都有显著影响。为了在保持后验计算相对简单的同时实现最优速率,最近提出了一种经验贝叶斯方法,其特征在于具有数据驱动中心的薄尾共轭先验。虽然共轭先验减轻了一些计算负担,但仍然需要马尔可夫链蒙特卡罗方法,当维数很高时,这种方法可能是昂贵的。在本文中,我们开发了一个变分近似的经验贝叶斯后验,是快速计算,并保留了原来的最佳浓度率属性。在模拟中,我们的方法被证明具有优越的性能相比,现有的变分近似在文献中在广泛的高维设置。
2020-07-31 math.ST stat.ME stat.ML
A Mean Field Approach to Empirical Bayes Estimation in High-dimensional Linear Regression
Department of Statistics, Columbia University(哥伦比亚大学统计系)
针对高维线性回归,采用变分经验贝叶斯方法,证明了非参数最大似然估计及其平均场近似的渐近一致性,并开发了计算高效的贝叶斯推断方法。
2026-07-03 math.ST stat.ME stat.ML
Parametric Mean-Field empirical Bayes in high-dimensional linear regression
Columbia University(哥伦比亚大学);University of Chicago(芝加哥大学)
本文提出了一种在高维线性回归中参数化均场经验贝叶斯估计方法,通过变分下界最大化实现最优估计,并在不同维度下提出去偏差技术以提升性能。
2026-02-24 math.ST stat.ML stat.TH
Quasi-Bayes empirical Bayes: a sequential approach to the Poisson compound decision problem
University of Torino(都灵大学);Collegio Carlo Alberto(卡罗阿尔贝托学院);Bocconi University(博科尼大学)
针对流式数据中的泊松复合决策问题,提出基于牛顿算法的拟贝叶斯序贯估计,具有常数计算成本,并证明了其一致性和渐近最优性。
2026-06-12 stat.ME stat.ML
Bayesian Empirical Bayes: Simultaneous Inference from Probabilistic Symmetries
Columbia University(哥伦比亚大学);Technical University of Denmark(丹麦技术大学)
本文提出贝叶斯经验贝斯方法,通过概率对称性扩展经验贝斯,应用于数组、空间数据和协变量辅助的推断问题。
2026-08-20 stat.ME stat.ML
An Empirical Bayes Approach for High Dimensional Classification
提出了一种基于Dirichlet过程混合模型的经验Bayes估计,用于估计稀疏归一化均值差,可直接应用于高维线性分类.在理论上,我们建立了一个连接平均差的估计误差和误分类误差的桥梁,并给出了次优分类器和最优分类器的充分条件。在实现上,提出了一种变分贝叶斯算法来有效地计算后验,并可并行化以处理超高维情况。
2017-02-16 stat.ME stat.ML
An Empirical-Bayes Score for Discrete Bayesian Networks
贝叶斯网络结构学习通常在贝叶斯设置中执行,通过使用给定数据集的后验概率评估候选结构。然后,基于分数的算法使用这些后验概率作为目标函数,并返回最大后验网络作为学习模型。对于离散贝叶斯网络,后验得分的规范选择是具有均匀(U)图先验的贝叶斯狄利克雷等效均匀(BDeu)边缘似然(Heckerman等人,1995年)。它的有利的理论性质下降,从假设一个统一的网络结构的空间和网络的参数的空间上的先验。在本文中,我们重新审视这些假设的局限性,我们引入了一组替代的假设和所得的分数:贝叶斯Dirichlet稀疏(BD)经验贝叶斯边际似然与边际均匀(MU)图先验。我们在一个广泛的模拟研究中评估了它的性能,结果表明MU+ BD在学习网络结构和预测新观测结果方面都比U+BDeu更准确,而在计算上估计起来并不复杂。
2017-03-13 stat.ME stat.ML
Covariate-Powered Empirical Bayes Estimation
我们研究的方法,同时分析许多嘈杂的实验中存在丰富的协变量信息。分析师的目标是最佳估计每个实验的真实效果。噪声实验结果和辅助协变量都可用于此目的,但两个数据源本身都不能捕获分析人员可用的所有信息。在本文中,我们提出了一个灵活的插件经验贝叶斯估计,综合两个来源的信息,并可能利用任何黑盒预测模型。我们表明,我们的方法是在一个简单的数据生成模型的极大极小的常数因子。此外,我们建立了强大的收敛保证,我们的方法,在相当大的一般性,并表现出良好的经验表现在真实和模拟数据。
2020-01-13 stat.ME stat.ML
Population Empirical Bayes
Columbia University(哥伦比亚大学)
贝叶斯预测推理分析数据集以预测新的观察结果。当模型与数据不匹配时,预测准确性就会受到影响。我们开发了人口经验贝叶斯(POP-EB),一个分层框架,明确建模的经验总体分布的贝叶斯分析的一部分。我们引入了一个新概念,即潜在数据集,作为分层变量,并将经验总体设置为其先验。这导致了新的预测密度,减轻了模型失配。我们有效地将这种方法应用到复杂的模型,提出了一种随机变分推断算法,称为碰撞变分推断(BUMP-VI)。我们证明了改进的预测精度超过经典的贝叶斯推断在三个模型:健康数据的线性回归模型,自然图像的贝叶斯混合模型,和潜在的Dirichlet分配主题模型的科学文献。
2015-06-08 cs.LG stat.ML
PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime
Google Research(谷歌研究院)
贝叶斯后验最小化“推断风险”,其本身限制了“预测风险”。当可能性和先验信息明确指定时,该界限很紧。然而,由于误设定导致间隙,贝叶斯后验预测分布可能具有较差的泛化性能。这项工作开发了一个多样本损失(PAC $^m$),它可以通过跨越两个风险之间的权衡来缩小差距。损失是计算上有利的,并提供PAC泛化保证。实证研究表明,改善的预测分布。
2022-05-23 cs.LG stat.ML
Bayesian Ensembling: Insights from Online Optimization and Empirical Bayes
Stony Brook University(石溪大学);Brookhaven National Laboratory(布鲁赫斯国家实验室);Basis Research Institute(基础研究机构)
本文提出在线贝叶斯堆叠(OBS)方法,通过优化预测分布的对数得分来适应性地组合贝叶斯模型,并将其与投资组合选择理论联系起来,提供了一种新的理论框架和高效算法。
2026-01-22 cs.LG stat.CO stat.ME
Specifying Weight Priors in Bayesian Deep Neural Networks with Empirical Bayes
Intel Labs(英特尔实验室)
贝叶斯深度神经网络(DNN)的随机变分推理需要指定神经网络权重的先验和近似后验分布。有意义的权重先验是一个具有挑战性的问题,特别是对于将变分推理扩展到涉及高维权重空间的更深体系结构。提出了一种基于DNN的经验贝叶斯先验模型(MOPED)方法,用于贝叶斯神经网络中先验权重的选择。我们制定了一个两阶段的分层建模,首先找到最大似然估计的权重DNN,然后设置权重先验经验贝叶斯方法推断后验变分推理。我们经验评估所提出的方法对现实世界的任务,包括图像分类,视频活动识别和音频分类与不同的复杂神经网络架构。我们还评估了我们提出的糖尿病视网膜病变诊断任务的方法和最先进的贝叶斯深度学习技术的基准。我们证明了MOPED方法可以实现可扩展的变分推理,并提供可靠的不确定性量化。
2019-12-28 cs.LG cs.NE stat.ML
Empirical Bayes Method for Boltzmann Machines
Yamagata University(山形大学);Tokyo Institute of Technology(东京工业大学)
在这项研究中,我们考虑了一个经验贝叶斯方法的玻尔兹曼机,并提出了一个算法。经验贝叶斯方法允许估计的超参数的玻尔兹曼机的值最大化一个特定的似然函数称为经验贝叶斯似然函数在这项研究中。然而,最大化在计算上是困难的,因为经验贝叶斯似然函数涉及配分函数的难处理的积分。该算法通过使用副本方法和Plefka展开避免了这个计算问题。我们的方法不需要任何迭代过程,并且非常简单和快速,尽管它引入了估计偏差,这表现出相对于数据集大小的不自然行为。这种特殊的行为被认为是由于Plefka展开的近似处理。一个可能的扩展,以克服这种行为也进行了讨论。
2019-09-07 cond-mat.dis-nn cs.LG stat.ML
Bayes and Biased Estimators Without Hyper-parameter Estimation: Comparable Performance to the Empirical-Bayes-Based Regularized Estimator
KTH Royal Institute of Technology(瑞典皇家理工学院);Competence Centre for Advanced BioProduction by Continuous Processing, AdBIOPRO(连续加工先进生物生产能力中心(AdBIOPRO))
本文针对岭回归中经验 Bayes 正则化估计依赖超参数估计的问题,利用大样本超额 MSE 构造无需调参的广义 Bayes 与闭式有偏估计量,实现相当性能且更高计算效率。
2025-03-14 cs.LG cs.SY eess.SY
Empirical PAC-Bayes Bounds for Markov Chains
本文提出了一种基于马尔可夫链伪谱间隙的经验PAC-Bayes界,解决了传统界中依赖未知常数的问题,并通过实验验证了其有效性。
2026-03-11 cs.LG stat.ML
Neural Empirical Bayes: Source Distribution Estimation and its Applications to Simulation-Based Inference
SLAC National Accelerator Laboratory(SLAC国家加速器实验室);ULiège(列日大学)
我们重新审视经验贝叶斯的情况下,一个听话的似然函数,是典型的科学领域依赖于计算机模拟。我们研究了经验贝叶斯如何利用神经密度估计器,首先使用所有噪声损坏的观测来估计未损坏样本的先验或源分布,然后使用拟合的源分布进行单观测后验推断。我们提出了一种方法的基础上直接最大化的对数边际似然观测,检查有偏和去偏估计,并比较变分方法。我们发现,直到对称性,神经经验贝叶斯方法恢复地面真相源分布。随着学习的源分布在手,我们展示了适用于似然自由推理,并检查由此产生的后验估计的质量。最后,我们证明了神经经验贝叶斯对对撞机物理逆问题的适用性。
2021-02-26 cs.LG hep-ex hep-ph
A case study of Empirical Bayes in User-Movie Recommendation system
IIT Guwahati(印度理工学院古瓦哈提分校);Microsoft Research India(微软研究院印度分院)
在这篇文章中,我们提供了Atchade(2011)描述的经验贝叶斯公式,以调整用于协作过滤器的贝叶斯设置的先验超参数。我们在MovieLens小数据集中实现了相同的功能。我们看到,它可以用来得到一个很好的初始参数选择。它也可以用来猜测网格搜索过程中的超参数的初始选择,即使是MCMC在真值附近振荡或需要很长时间才能收敛的数据集。
2017-07-07 cs.LG stat.CO stat.ML
A novel Empirical Bayes with Reversible Jump Markov Chain in User-Movie Recommendation system
IIT Guwahati(印度理工学院古瓦哈提分校)
在本文中,我们选择的未知维的特征,通过可逆跳MCMC内的模拟退火在协同过滤器的贝叶斯建立。我们在MovieLens小数据集中实现了相同的功能。我们还调整超参数,使用修改后的经验贝叶斯。它也可以用来猜测网格搜索过程中的超参数的初始选择,即使是MCMC在真值附近振荡或需要很长时间才能收敛的数据集。
2018-08-15 cs.IR cs.LG stat.CO
Universal priors: solving empirical Bayes via Bayesian inference and pretraining
Courant Institute of Mathematical Sciences, NYU(纽约大学Courant数学科学研究所);Center for Data Science, NYU(纽约大学数据科学中心);Department of EECS, MIT(麻省理工学院电子工程与计算机科学系)
本文从理论上证明,在合成数据上预训练的Transformer能通过后验收缩自适应未知测试分布,实现经验贝叶斯问题的近最优遗憾界。
2026-06-23 cs.LG stat.ML
Empirical Bayes Regret Minimization
Google Research(谷歌研究院);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
大多数的强盗算法设计都是纯理论的。因此,他们有很强的后悔保证,但在实践中也往往过于保守。在这项工作中,我们开创了算法设计的想法,最大限度地减少经验贝叶斯遗憾,平均遗憾的问题实例从一个已知的分布。我们重点讨论了这个问题的一个易处理的例子,置信区间和后验宽度调整,并提出了一个有效的算法来解决它。调整算法进行了分析和评估多臂,线性和广义线性土匪。我们报告了几倍减少贝叶斯遗憾的国家的最先进的强盗算法,简单地通过优化一个小样本的分布。
2020-06-10 cs.LG stat.ML
Bayesian Meta-Prior Learning Using Empirical Bayes
Foster School of Business, University of Washington(华盛顿大学福斯特商学院);Amazon(亚马逊);Graduate School of Business, Stanford University(斯坦福大学商学院)
将领域知识添加到学习系统中可以提高结果。在多参数贝叶斯框架中,这种知识被合并为先验知识。另一方面,在现实世界的问题中,不同的模型参数可能具有不同的学习率,特别是对于偏斜数据。在运营管理和管理科学应用中经常面临的两个挑战是缺乏信息先验和无法控制参数学习率。在这项研究中,我们提出了一个分层的经验贝叶斯方法,解决这两个挑战,并可以推广到任何贝叶斯框架。我们的方法从数据本身学习经验元先验,并使用它们来解耦广义线性模型中一阶和二阶特征(或任何其他给定特征分组)的学习率。由于一阶特征可能对结果产生更明显的影响,因此首先专注于学习一阶权重可能会提高性能和收敛时间。我们的经验贝叶斯方法将每组中的特征夹在一起,并使用部署模型的观察数据来经验性地计算事后的分层先验。我们报告的无偏性,强一致性,和最佳的频率累积后悔属性的元先验方差估计的理论结果。我们将我们的方法应用到一个标准的监督学习优化问题,以及在亚马逊生产系统中实现的上下文强盗设置中的在线组合优化问题。无论是在模拟和现场实验中,我们的方法显示出显着的改善,特别是在小流量的情况下。我们的发现是有希望的,因为在稀疏数据上进行优化通常是一个挑战。
2021-07-12 cs.LG stat.ML
Tensor Completion via Gaussian Process Based Initialization
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在本文中,我们考虑张量完成问题的解决方案,在张量训练(TT)格式。假设张量是高维的,张量值由未知的光滑函数生成。这个假设使我们能够开发一个有效的初始化方案的基础上高斯过程回归和TT交叉近似技术。所提出的方法可以与通常用于张量完备问题的任何优化算法结合使用。我们凭经验证明,在这种情况下,重建误差改善与随机初始化的张量完成。作为一个额外的好处,我们的技术自动选择排名感谢使用TT交叉近似技术。
2020-08-26 cs.LG cs.NA math.NA