Consistency of objective Bayes factors as the model dimension grows
在具有有限数量回归变量的正态回归模型类中,并且对于广泛的一类先验分布,基于贝叶斯因子的贝叶斯模型选择过程是一致的[Casella和Moreno J. Amer. Statist. 104(2009)1261- 1271]。然而,在模型中,参数的数量随着样本量的增加而增加,贝叶斯因子的属性并不完全清楚。本文研究了当回归变量个数随样本量增加时,嵌套正态线性模型的Bayes因子的相合性。我们注意到两个成功的工具模型选择[施瓦茨安。6(1978)461- 464]近似的贝叶斯因子,以及内在先验的贝叶斯因子[Berger和Pericchi J. Amer. Statist. Assoc.91(1996)109- 122,Moreno,Bertolino和Lacugno J. Amer. Statistist. Assoc.93(1998)1451- 1460]。我们发现当大模型的维数增长率为$O(n^b)$时,Schwarz近似和内在先验的Bayes因子是一致的,其中对$b<1$ .当$b=1$的Schwarz近似总是不一致的替代下,而贝叶斯因子的内在先验是一致的,除了一小部分替代模型的特点。
2010-10-19 math.ST stat.TH
On Reparameterization Invariant Bayesian Point Estimates and Credible Regions
本文考虑了用于科学推理和交流的模型参数的重参数化不变贝叶斯点估计和可信区域。研究了贝叶斯内在估计和区域中内在损失函数选择的影响,发现如下。使用从完整模型到限制模型的库尔贝克-莱布勒散度的特定固有损失函数与贝叶斯预测准则有很强的联系,贝叶斯预测准则产生具有最佳预测性能的点估计。另一种内在损失函数,使用从限制模型到完整模型的库尔贝克-莱布勒散度,产生至少一些常用分布的具有有趣频率特性的估计,即位置和尺度参数的无偏最小方差估计。
2021-09-22 stat.ME
Intrinsic Bayesian Optimisation on Complex Constrained Domain
贝叶斯优化算法在欧氏空间中的成功的动机,我们提出了一种新的方法来构建内在贝叶斯优化(在BO)流形上的主要重点是复杂的约束域或不规则形状的空间产生的R2,R3及以后的子流形。数据可以在空间域中收集,但限于与地理特征相对应的复杂或结构复杂的区域,例如湖泊。传统的贝叶斯优化(Tra-BO)定义的径向基函数(RBF)内核不能适应这些复杂的约束条件。In-BO使用稀疏固有高斯过程(SIn-GP)代理模型来考虑流形的几何结构。利用流形的热核构造了SInGP,热核被估计为流形上布朗运动的转移密度。通过对U形域、Bitten环面和咸海真实数据集的模拟研究,证明了In-BO的效率。它的性能相比,传统的BO,这是定义在欧氏空间。
2023-01-29 cs.LG stat.ML
Spectral Bayesian Regression on the Sphere
Sapienza University of Rome(罗马第一大学)
本文提出了一种球面上非参数回归的贝叶斯方法,利用球谐基函数和各向同性高斯场先验,推导出后验分布和收缩速率,实现精确的几何内在惩罚最小二乘估计。
2026-01-28 math.PR math.ST stat.ML
Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation
CNRS(法国国家科学研究中心);CentraleSupélec(中央高等电力学院);Université Paris-Saclay(巴黎萨克雷大学);University Savoie Mont Blanc(萨瓦勃朗峰大学);CNAM(法国国立工艺学院)
本文提出适用于 Riemannian 流形参数与先验分布的内蕴贝叶斯 Cramér-Rao 界,并用于 Gaussian 数据、逆 Wishart 先验下的协方差矩阵估计。
2024-09-09 cs.LG math.ST stat.AP
BICNet: A Bayesian Approach for Estimating Task Effects on Intrinsic Connectivity Networks in fMRI Data
内在连接网络(ICN)是在包括休息和任务在内的各种条件下一致发现的特定动态功能脑网络。研究表明,一些刺激实际上通过抑制、激发、调节或修改来激活内在连接。然而,ICN的结构和任务相关的影响ICN尚未完全理解。在本文中,我们提出了一个贝叶斯内在连接网络(BICNet)模型来识别ICN和量化的任务相关的影响ICN的动态。BICNet使用扩展的贝叶斯动态稀疏潜在因子模型,具有以下优点:(1)它同时识别个体ICN和组级ICN空间图:(2)它通过联合建模静息态功能磁共振成像(rfMRI)和任务相关功能磁共振成像(tfMRI)来鲁棒地识别ICN;(3)与基于独立成分分析(ICA)的方法相比,它可以量化不同状态下ICN幅度的差异;(4)它通过ICN的稀疏性而不是ad-hoc阈值来自动执行特征选择。建议的BICNet被应用到人类连接组计划(HCP)的rfMRI和语言tfMRI数据和分析确定了几个ICN相关的不同的语言处理功能。
2021-07-19 stat.AP
Diffusion Models for High-Dimensional Clustered Data: Intrinsic-Dimension Adaptivity via Bayesian Classification
Lancaster University(兰卡斯特大学)
该研究将扩散模型理论与多模态高维聚类数据几何结合,通过K混合高斯框架证明其去噪可作为动态贝叶斯分类器,KL误差界线性依赖聚类最大本征维度,实现了本征维度适应性。
2026-08-20 cs.LG math.ST stat.ML
Universal priors: solving empirical Bayes via Bayesian inference and pretraining
Courant Institute of Mathematical Sciences, NYU(纽约大学Courant数学科学研究所);Center for Data Science, NYU(纽约大学数据科学中心);Department of EECS, MIT(麻省理工学院电子工程与计算机科学系)
本文从理论上证明,在合成数据上预训练的Transformer能通过后验收缩自适应未知测试分布,实现经验贝叶斯问题的近最优遗憾界。
2026-06-23 cs.LG stat.ML
Detecting Renewal States in Chains of Variable Length via Intrinsic Bayes Factors
University of Campinas(坎皮纳斯大学)
变长马尔可夫链是一种非常有用的简约随机模型,能够产生最平稳的离散符号序列。这个想法是识别过去的后缀,称为上下文,与预测未来符号相关。有时,一个单一的状态就是一个背景,回顾过去并找到这个特定的状态会使更远的过去变得无关紧要。具有这种属性的状态被称为更新状态,它们可以用来将链分裂成独立和相同分布的块。为了确定具有可变长度的链的更新状态,我们提出使用固有贝叶斯因子来评估某些特定状态是更新状态的假设。在这种情况下,困难在于将背景树空间上的一般先验分布的随机背景树的边缘后验分布与转移概率的Dirichlet先验相结合,并应用Monte Carlo方法。为了展示我们的方法的强度,我们分析了从不同的二进制模型模型生成的人工数据集和一个来自语言学领域的例子。
2022-01-06 cs.LG stat.CO stat.ME
Intrinsic Bayesian Analysis for Occupancy Models
占据模型通常用于确定物种存在于给定地点的概率,同时考虑不完美的检测。这些模型所依据的调查数据往往包括关于几个预测因素的信息,这些预测因素可能表征生境适宜性和物种可探测性。由于这些变量可能并不都是相关的,因此模型选择技术在这方面是必要的。在实践中,模型选择是使用赤池信息准则(AIC)进行的,因为很少有其他替代方案可用。本文通过内在先验方法,建立了一个客观的贝叶斯变量选择框架的占用模型。该程序将先验模型空间,占测试的多重性,并尊重多项式层次的预测时,考虑高阶项。该方法是使用随机搜索算法,能够彻底探索大空间的占用模型。所提出的策略是完全自动的,并提供假阳性的控制,而不会牺牲真正有意义的协变量的发现。该方法的性能进行了评估,并通过仿真研究AIC相比。该方法说明了在文献中以前研究的两个数据集。
2016-05-05 stat.ME
On the Foundations of Universal Sequence Prediction
Solomonoff通过为模型类和先验提供严格、唯一、正式和通用的选择,完成了贝叶斯框架。我们讨论的广度如何和在何种意义上普遍(非i.i.d.)序列预测解决了传统贝叶斯序列预测的各种(哲学)问题。我们发现Solomonoff模型具有许多理想的性质:快速收敛和强界,与大多数经典的连续先验密度相比,它没有零p(oste)rior问题,即可以确认普遍的假设,是reparametrization和重组不变,并避免了旧的证据和更新问题。它甚至在不可计算的环境中表现良好(实际上更好)。
2006-05-03 cs.IT cs.LG math.IT
Low-Complexity Nonparametric Bayesian Online Prediction with Universal Guarantees
Amadeus SAS(艾玛迪斯公司);Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所)
我们提出了一种新的非参数在线预测的离散标签条件下的多变量连续功能。该预测器基于由具有随机选择的方向和递归贝叶斯分布的完整k-d树引起的特征空间离散化,其允许自动学习表征条件分布的最相关特征尺度。我们证明了它的逐点普适性,即,它实现了标准化的对数损失性能,其渐近地与给定特征的标签的真实条件熵一样好。处理第$n$个样本点的时间复杂度是相对于生成数据点的分布的概率的$O(\log n)$,而其他精确的非参数方法需要处理所有过去的观测。在具有挑战性的数据集上的实验表明,与标准和最先进的方法相比,我们的算法的计算和统计效率。
2020-01-31 cs.IT cs.LG math.IT
PHOENICS: A universal deep Bayesian optimizer
在这项工作中,我们介绍了PHOENICS,概率全局优化算法结合的思想,从贝叶斯优化与贝叶斯核密度估计的概念。我们提出了一个廉价的采集功能平衡的探索和剥削行为的算法。该采集功能可实现直观的采样策略,以实现高效的全局最小值并行搜索。PHOENICS的性能是通过对一组15个离散、准离散和连续多维函数进行详尽的基准研究来评估的。与基于高斯过程(GP)和随机森林(RF)的优化方法不同,我们表明PHOENICS对共域的性质不太敏感,并且优于GP和RF优化。我们说明了性能的PHOENICS的Oregonator,一个困难的案例研究描述了一个复杂的化学反应网络。我们证明,只有PHOENICS能够定性和定量地再现这种非线性反应动力学的目标动力学行为。我们推荐PHOENICS用于标量、可能非凸、黑盒未知目标函数的快速优化。
2018-01-04 physics.chem-ph stat.ML
Recurrent Neural Networks and Universal Approximation of Bayesian Filters
University of Technology Sydney(悉尼科技大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61研究所)
我们考虑贝叶斯最优滤波问题:即从观测序列估计潜在时间序列信号的某些条件统计量。传统的方法往往依赖于使用假设或估计的过渡和观察模型。相反,我们制定了一个通用的递归神经网络框架,并寻求直接学习从观测输入到所需的估计统计的递归映射。本文的主要焦点是这个框架的近似能力。我们提供了一般非紧域上滤波的近似误差界。我们还考虑了强时间一致逼近误差界,保证良好的长期性能。我们讨论并说明了一些实际问题和这些结果的影响。
2023-03-15 cs.LG eess.SP math.OC
Type Ia Supernova Colors and Ejecta Velocities: Hierarchical Bayesian Regression with Non-Gaussian Distributions
我们调查的统计依赖性的峰值固有颜色的Ia型超新星(SN Ia)在最大光的膨胀速度,测量从Si II 6355光谱功能。我们构建了一个新的分层贝叶斯回归模型,占随机效应的内在散射,测量误差,并由主机星系尘埃变红,并实施吉布斯采样器和偏差信息标准来估计的相关性。该方法应用于附近79个超新星Ia的BVRI光变曲线和Si II速度数据的表观颜色。高速度(HV)和正常速度(NV)超新星的表观颜色分布在B-V和B-R上表现出明显的差异,但在其他颜色上没有差异。因此,它们可能是由于B波段的固有色差,而不是尘埃变红。HV和NV组之间的平均固有B-V和B-R色差分别为0.06 +/- 0.02和0.09 +/- 0.02 mag。线性模型发现,本征B-V和B-R颜色与速度的显著斜率分别为-0.021 +/- 0.006和-0.030 +/- 0.009 mag/(1000 km/s)。由于喷出物的速度分布偏向高速度,这些影响意味着非高斯固有的颜色分布与偏度高达+0.3。考虑到固有的色-速度相关性,对A_V消光估计的修正值对于HV SNe Ia可达-0.12等,对于NV事件可达+0.06等。从超新星Ia光谱的速度测量有可能减少系统误差的内在颜色和尘埃红化影响超新星距离的混淆。
2014-11-27 astro-ph.CO stat.AP
Posterior Contraction for Sparse Neural Networks in Besov Spaces with Intrinsic Dimensionality
University of Maryland(马里兰大学);Yonsei University(延世大学)
本文证明稀疏贝叶斯神经网络在贝索夫空间上达到依赖内在维数的最优后验收缩率,缓解维数灾难,并实现速率自适应,为高维结构化估计提供理论依据。
2025-10-24 cs.LG stat.ML
MCMC with Adaptive Principal-Component Transformation: Rotation-Invariant Universal Samplers for Bayesian Structural System Identification
Harbin Institute of Technology(哈尔滨工业大学);California Institute of Technology(加州理工学院)
本文提出APM-SGHMC算法,通过自适应旋转坐标轴对齐当前后验样本的主成分方向,实现旋转不变的采样性能,提升贝叶斯结构系统识别的通用性和效率。
2026-04-25 stat.AP stat.ME stat.ML
Fast Bayesian parameter estimation for stochastic logistic growth models
带乘性内噪声的随机Logistic种群增长模型的转移密度是解析上难以解决的。因此,通过将这样的随机微分方程(CFD)模型拟合到数据来推断模型参数值需要相对较慢的数值模拟。如果这种模拟速度太慢,另一种方法是使用模型近似,它确实具有分析上易于处理的转换密度,从而实现快速推理。我们介绍了两个这样的近似,无论是乘法或加性的固有噪声,每个来自线性噪声近似的逻辑增长模型。贝叶斯推断后,我们发现,我们的快速LNA模型,使用卡尔曼滤波器递归计算的边缘似然,给类似的后验分布缓慢任意精确的模型。我们还表明,从我们的LNA模型的模拟更好地描述了随机逻辑增长模型的特性比相关的方法。最后,我们证明了我们的LNA模型与加性固有噪声和测量误差最好地描述了一个典型的,全基因组筛选实验的微生物种群大小的纵向观察的一组例子。
2013-10-26 stat.AP
Intrinsic posterior regret gamma-minimax estimation for the exponential family of distributions
在实践中,期望具有在重新参数化下不变的估计。估计量的不变性有助于制定一个统一的解决方案的基本估计问题。在鲁棒贝叶斯分析中,一个常见的批评是最优估计在光滑重参数化下不是不变的。本文研究了内在损失函数下指数型分布族自然参数的后验遗憾gamma-minimax(PRGM)估计问题.我们证明了在Jeffrey共轭先验(JCP)分布下,PRGM估计对光滑的一对一重参数化是不变的。我们将我们的结果应用到几个分布和不同类别的JCP,以及通常的共轭先验分布。我们观察到,在许多情况下,不变的PRGM估计类的JCP分布可以得到一些修改的PRGM估计在通常的共轭先验类。此外,当先验类是凸的或依赖于一个属于连通集的超参数时,我们证明了在内在损失函数下的PRGM估计对于原先验类中的一个先验分布是Bayes的.理论结果补充了几个例子和插图。
2013-01-20 math.ST stat.ME stat.OT
HyperBO+: Pre-training a universal prior for Bayesian optimization with hierarchical Gaussian processes
Harvard University(哈佛大学);Google Research(谷歌研究院)
本文提出 HyperBO+,通过分层高斯过程的两步预训练获得可跨不同输入域和搜索空间复用的通用 BO 先验,并在理论与多搜索空间超参数调优实验中验证其泛化能力和更低遗憾。
2023-09-28 cs.LG stat.ML
A Bayesian Semiparametric Jolly-Seber Model with Individual Heterogeneity: An Application to Migratory Mallards at Stopover
我们提出了一个贝叶斯分层Jolly-Seber模型,可以解释个体异质性的出发和协变量的到达时间的依赖。此外,我们的模型提供了一个半参数函数形式建模捕获概率。该模型具有灵活性,可用于估计中途停留时间和中途停留人口规模,这是中途停留时间分析的关键。从建模的角度来看,我们的模型允许个人异质性的出发,由于一个连续的内在因素,随时间和个人而变化。一个随机过程被认为是模拟这个内在因素随时间的变化。此外,我们的模型将外部因素与捕获概率和到达时间联系起来。因此,我们提出的模型使我们能够推断出内在因素对出发的影响,以及外在因素对捕获结果和到达时间的影响。通过使用一个半参数模型的捕获概率,我们允许的数据,以建议外部因素和捕获概率之间的函数关系,而不是依赖于一个强加的参数模型。通过使用数据增强,我们开发了一个很好的定制马尔可夫链蒙特卡罗算法,是免费的调整。我们证明了我们的模型的有效性,通过一个激励性的例子,停留时间分析绿头鸭(阿纳斯platyrhynchos)在秋季迁移在瑞典的研究。
2018-11-05 stat.ME
A warped kernel improving robustness in Bayesian optimization via random embeddings
该工作扩展了随机嵌入贝叶斯优化方法,通过在协方差核内集成高维子空间的翘曲。所提出的翘曲,依赖于基本的几何考虑,允许减轻高外在维度的缺点,同时避免算法评估点给出多余信息。它还简化了嵌入域的边界选择约束,从而提高了鲁棒性,如具有25个变量和内在维度6的测试用例所示。
2015-03-18 math.OC stat.ML
Bounds on Intrinsic Bayes Factors and Least Favorable Intrinsic Priors for General Statistical Hypothesis Testing
University of Puerto Rico(波多黎各大学);Infinite Trading LLC(无限交易有限责任公司)
研究一般统计假设检验中内在贝叶斯因子和最不利内在先验的界,通过得出随样本量自动调整的内在贝叶斯因子下界及引入新思想,在内在贝叶斯因子与相关方法间架桥,解决假设检验中P值和贝叶斯因子的问题。
2026-07-14 math.ST stat.TH
Objective Bayesian Comparison of Order-Constrained Models in Contingency Tables
在社会和生物医学科学中,列联表中的测试通常涉及对单元概率参数的顺序限制。我们开发了客观的贝叶斯方法,用于在产品二项或多项抽样下观察时的顺序约束检验和模型比较。具体来说,我们考虑测试的单调顺序的参数对所有参数的平等。我们的策略以统一的方式结合了内在先验方法和包含先验方法,以计算贝叶斯因子和后验模型概率。我们的方法的性能进行了评估几个模拟研究和真实的数据集。
2018-10-23 stat.ME
The enrichment history of the intracluster medium: a Bayesian approach
本文通过对130个星系团在0.1<z<1.3时的数据进行严格分析,测量了星系团中铁含量的演化。由于a)丰度测量的低信噪比和上限,b)可能的选择效应,c)参数空间的边界,d)非高斯误差,e)研究对象的内在多样性,以及f)丰度系统学,使得这项任务变得困难。我们引入贝叶斯模型来同时解决所有这些问题,从而允许串扰(协方差)。在模拟数据上,贝叶斯拟合恢复了输入富集历史,这与标准分析不同。在考虑了可能依赖于X射线温度、金属丰度系统学和研究对象的内在多样性之后,我们发现,无论是在高红移还是低红移,都没有达到现今的金属含量,而是随着时间的推移逐渐增加:在数据采样的7 Gyr中,铁丰度增加了1.5倍。因此,金属丰度的反馈不会在高红移处结束。进化是建立在中等数量的证据,19比1的赔率对更快或更慢的金属富集的历史。我们第一次量化了金属丰度的内在分布,18+/-3%,在校正了演化,X射线温度和金属丰度系统学的影响之后。最后,我们还提出了一个解析近似的X射线温度和金属丰度的似然函数,这是有用的其他回归拟合涉及这些参数。文中提供了130个聚类的数据和随机计算的代码。
2012-09-04 astro-ph.CO astro-ph.HE physics.data-an
The Type Ia Supernova Color-Magnitude Relation and Host Galaxy Dust: A Simple Hierarchical Bayesian Model
传统的Ia型超新星(SN Ia)宇宙学分析目前使用的是简单的亮度与颜色和光变曲线形状的线性回归,它没有将内在的SN Ia变化和宿主星系尘埃建模为物理上不同的影响,导致颜色-亮度斜率较低。我们构建了一个概率生成模型的尘埃分布熄灭的绝对星等和视颜色的卷积的内在的超新星Ia色星等分布和宿主星系尘埃红消光分布。如果内禀色星等($M_B$ vs. $B-V$)的斜率$β_{int}$不同于宿主星系尘埃定律$R_B$,则这种卷积会产生一条特定的平均消光绝对星等vs.表观色曲线。该曲线的导数从表观颜色分布的蓝尾中的$β_{int}$平滑过渡到红尾中的$R_B$。常规线性拟合在平均表观颜色附近近似该有效曲线,导致在$β_{int}$和$R_B$之间的表观斜率$β_{app}$。我们将这些影响纳入到一个分层贝叶斯统计模型的超新星Ia光变曲线测量,并分析了一个数据集的SALT 2光学光变曲线拟合248附近的超新星Ia在z < 0.10。常规线性拟合获得$β_{app} \approx 3$。我们的模型发现了一个$β_{int} = 2.3 \pm 0.3$和一个独特的尘埃规律$R_B = 3.8 \pm 0.3$,与银河系尘埃的平均值一致,同时纠正了系统的距离偏差$\sim 0.10$等的尾部的表观颜色分布。最后,我们扩展我们的模型来研究超新星Ia的亮度主机质量的内在和尘埃成分的依赖。
2017-02-04 astro-ph.CO stat.AP
Penalized complexity priors for degrees of freedom in Bayesian P-splines
贝叶斯P-样条假设一个内在的高斯马尔可夫随机场之前的样条系数,条件是一个精确的超参数$τ$。$τ$的既往诱导是困难的。为了克服这个问题,我们的目标是建立先验模型的可解释的属性,表明平滑函数的复杂性估计。根据这个想法,我们提出了惩罚复杂性(PC)先验的有效自由度的数量。我们提出了这些新的PC先验的建设背后的一般思想,描述他们的属性,并显示如何实现它们在P-样条高斯数据。
2016-04-27 stat.ME
Bayesian feature selection with strongly-regularizing priors maps to the Ising Model
Boston University(波士顿大学)
识别与预测和/或分类任务相关的小特征子集是机器学习和统计中的一个核心问题。特征选择任务对于现代数据集尤其重要,并且在计算上很困难,因为现代数据集的特征数量可以与样本数量相当,甚至超过样本数量。在这里,我们表明,贝叶斯推断的特征选择具有普遍的形式,并减少到计算磁化的伊辛模型,在一些温和的条件下。我们的研究结果利用观察到的证据采取了普遍的形式强正规化先验-先验,即使在无限的数据限制后验概率有很大的影响。我们推导出广义线性模型的特征选择的显式表达式,广义线性模型是一大类统计技术,包括线性和逻辑回归。我们通过分析基于逻辑回归的分类器中的特征选择来说明我们方法的强大功能,该分类器经过训练以区分notMNIST数据集中的字母B和D。
2014-11-03 cond-mat.stat-mech cs.LG stat.ML
RKL: a general, invariant Bayes solution for Neyman-Scott
Neyman-Scott是具有部分一致后验的估计问题的经典例子,对于该估计问题,标准估计方法往往产生不一致的结果。过去试图创建相合估计量的内曼-斯科特导致特设的解决方案,估计不满足表示不变性,限制选择先验等。我们提出了一个简单的构造一个通用的贝叶斯估计,不变的表示,满足一致性的内曼-斯科特在任何非退化的先验。我们认为,良好的属性的估计是由于其内在的属性,并推广超越奈曼斯科特以及。
2017-07-20 stat.ML
Scaling priors in two dimensions for Intrinsic Gaussian MarkovRandom Fields
内禀高斯马尔可夫随机场(IGMRF)可以用来诱导贝叶斯分层模型中的条件依赖。IGMRF既有一个精度矩阵,它定义了模型的邻域结构,也有一个精度或缩放参数。以前的研究表明,选择适当的缩放参数的不同类型的IGMRF的重要性,因为它可以有一个实质性的影响后验结果。在这里,我们专注于二维的情况下,调整的参数是通过将其映射到一个二维IGMRF的边际标准差。我们比较了缩放不同类别的IGMRF的影响,包括使用MCMC方法的血压数据的应用程序。
2021-11-17 stat.CO
Universal Bayes consistency in metric spaces
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学);Ariel University(阿里埃勒大学)
我们扩展了最近提出的基于1-最近邻的多类学习算法,并证明了我们的修改是普遍强贝叶斯一致的所有度量空间承认任何这样的学习者,使其成为一个“乐观普遍”贝叶斯一致的学习者。这是第一个已知的学习算法享有此属性;相比之下,$k$ -NN分类器及其变体通常不是普遍贝叶斯一致的,除非在额外的结构假设下,例如内积,范数,有限维或贝西科维奇类型属性。在度量空间中,普遍贝叶斯一致性是可能的是“本质上可分”的-我们定义的一个概念,它比标准的可分性更一般。非本质可分的度量空间的存在性被广泛认为与集合论的ZFC公理无关。我们证明了本质可分性恰好刻画了在给定度量空间上存在一个普遍贝叶斯一致学习器。特别是,这产生了普遍贝叶斯一致性的第一个不可能结果。总之,我们的结果完全刻画了度量空间中的强和弱泛贝叶斯一致性。
2021-01-06 cs.LG math.ST stat.ML
Adaptive Bayes exactly tracks information over intrinsic time
研究贝叶斯和乘法权重更新的遗憾问题,提出基于信息核算恒等式的方法,给出累积遗憾的精确自适应分解,该演算涵盖多种学习和博弈场景,揭示有利情况的自界属性。
2026-08-27 cs.IT cs.LG math.IT
Intrinsic Random Functions on the sphere
在整个地球表面上建模的空间随机过程需要直接考虑球面域的统计方法。在这里,我们扩展的概念,内在的随机函数(IRF)的非平稳过程的球体上的模型,低频截断起着至关重要的作用。在此基础上,推导出了球面上的泛克立格公式。我们表明,所有这些发展可以通过再生核希尔伯特空间的理论。此外,通用克里金法和样条之间的联系进行了仔细研究,从而我们表明,薄板样条是不适用于球面上的曲面拟合。
2016-06-06 math.ST stat.TH
Universal coding, intrinsic volumes, and metric complexity
本研究在高斯设定下研究序列预测的极小极大遗憾,将其与凸集的内蕴体积和Wills泛函关联,并推广了比较原理,为非凸情形提供了度量性质的精确估计。
2025-04-07 cs.IT math.IT math.MG