On the Equivalence between Bayesian and Classical Hypothesis Testing
对于H_0：theta=theta_0与H_1：theta ne theta_0类型的假设，我们证明了使用贝叶斯因子的贝叶斯假设检验与相应的经典检验对于一大类模型的等价性，这在本文中有详细说明。特别是，我们表明，贝叶斯因子检验的先验和关键区域的作用是只指定的第一类错误。这是他们唯一的作用，因为，正如我们所示，功率函数的贝叶斯因子检验正好与经典的测试，一旦第一类错误已被修复。对于更复杂的测试，涉及滋扰参数，我们恢复了经典的测试，通过使用Jeffreys先验的滋扰参数，而先验的假设参数可以是任意的一个大类。另一方面，我们表明，使用适当的先验的滋扰参数的结果，在一个测试，均匀的功率比经典的测试。
2013-12-02 stat.ME
The expected demise of the Bayes factor
本说明是对Ly等人的论文“Harold Jeffreys的默认贝叶斯因子假设检验：解释，扩展和在心理学中的应用”以及经典贝叶斯方法测试的感知缺点的讨论，同时报告Kamary，Mengersen，Robert和Rousseau（2014）提出的替代方法。arxiv：1412.2044）作为这个典型推理问题的解决方案。
2015-07-27 stat.ME
Harold Jeffreys's Theory of Probability Revisited
Jeffreys的《概率论》（Theory of Probability，1939）发表于70年前，对贝叶斯社会产生了独特的影响，现在被认为是贝叶斯统计学的主要经典之一，也是客观贝叶斯学派的创始人。特别是，它在推导无信息先验以及贝叶斯因子缩放方面的进展对该领域产生了持久的影响。然而，这本书反映了当时的特点，特别是在数学严谨性方面。在本文中，我们指出了这个参考工作的基本方面，特别是彻底覆盖测试问题和建设的估计和测试noninformative先验函数分歧的基础上。我们在这里的主要目的是帮助现代读者在这个困难的文本中导航，并集中在今天仍然相关的段落。
2010-01-18 math.HO math.ST stat.TH
Reference Bayesian analysis for hierarchical models
本文提出了另一种方法来构建不变的Jeffreys先验分布适合分层或多层模型。特别是，我们的提议基于分层模型的Fisher信息的灵活分解，克服了模型参数似然性的边缘化步骤。分层模型的Fisher信息矩阵是从感兴趣的参数值的邻域中的模型的Kullback-Liebler（KL）散度的Hessian导出的。KL发散的性质被用来证明所提出的分解。我们的建议利用层次结构，并导致另一种方法计算Jeffreys先验的超参数和先验信息的上界。虽然Jeffreys先验给出了关于参数的最小信息，但所提出的界给出了任何先验分布中的信息的上极限。具有高于该限制的信息的先验可能被认为信息量太大。从实际的角度来看，所提出的先验可以作为MCMC算法的一部分进行计算评估。这个属性对于具有许多层次的建模设置可能是必不可少的，在这些层次中，分析边缘化是不可行的。我们说明了我们的建议的有用性与混合模型中的例子，在模型选择先验，如套索和学生t模型。
2019-04-25 math.ST stat.TH
Objective Priors: An Introduction for Frequentists
贝叶斯方法在统计学的理论和实践中得到越来越多的应用。任何贝叶斯推断都依赖于可能性和先验。理想情况下，人们希望从相关的信息源或过去的数据中得出先验。然而，在没有它的情况下，贝叶斯方法需要依赖于一些“客观”或“默认”的先验，由此产生的后验推理仍然是相当有价值的。毫不奇怪，多年来，客观先验的目录也变得非常庞大，人们必须为选择这些先验设定一些特定的标准。我们的目的是回顾其中的一些标准，比较它们的性能，并用一些简单的例子来说明它们。虽然对于非常大的样本量，它不可能是重要的客观先验的使用，这样的先验的选择确实影响小或中等样本的推断。对于渐近正态性成立的正则模型，Jeffreys的一般规则先验，即费舍尔信息矩阵行列式的正平方根，在没有多余参数的情况下具有许多最优性性质。然而，在滋扰参数的存在下，有许多其他的先验出现作为最佳的取决于所选择的标准。在这篇文章中的一个新的特点是，一个不同于Jeffreys的先验被证明是最佳的卡方发散准则下，即使在没有滋扰参数。后者在一对一重新参数化下也是不变的。
2011-08-10 stat.ME
Closed-Form Power and Sample Size Calculations for Bayes Factors
本文提出了无需蒙特卡洛模拟即可计算贝叶斯因子假设检验中功效与样本量的方法，在近似正态性假设下推导出闭式解公式，并开发了R包bfpwr以支持复杂先验下的研究设计。
2024-11-13 stat.ME
The Bayes Factor Reversal Paradox
Radford University（拉德福德大学）
该研究揭示了贝叶斯推断中因先验选择不同而导致的矛盾，证明在正态模型中，相同数据可能得出相反结论。
2025-11-27 stat.ME
History and Nature of the Jeffreys-Lindley Paradox
杰弗里斯-林德利悖论暴露了贝叶斯假设检验和频率论假设检验之间的裂痕，这一裂痕击中了统计推断的核心。与当前大多数文献所表明的相反，这个悖论是哈罗德·杰弗里斯爵士在20世纪30年代末开发的贝叶斯检验方法的核心。Jeffreys表明，反对点原假设$\mathcal{H}_0$的证据与$\mathcal{H}_0$具有比例关系，并反复论证，因此将拒绝$\mathcal{H}_0$的阈值设置为标准误的恒定倍数是错误的。在这里，我们总结杰弗里斯的早期工作的悖论，并澄清他的理由，包括$\sqrt{n}$长期。先验分布被认为起着至关重要的作用;通过隐式校正选择，小参数值被确定为相对令人惊讶的$\mathcal{H}_1$。我们突出的悖论的一般性质，提出了一个完全的频率论和完全贝叶斯的版本。我们还表明，悖论并不依赖于分配前质量的一个点假设，因为通常认为。
2022-07-20 math.ST stat.ME stat.OT
Asymptotically minimax Bayesian predictive densities for multinomial models
考虑了多项模型的一步预测。预测密度的性能通过从真实密度到预测密度的平均Kullback-Leibler散度来评估。得到了基于Dirichlet先验的贝叶斯预测密度的风险函数的渐近逼近。证明了基于特定Dirichlet先验的贝叶斯预测密度是渐近极小极大的。渐近极大极小先验不同于已知的客观先验，如Jeffreys先验或一致先验。
2011-12-05 math.ST stat.TH
Simultaneous prediction for independent Poisson processes with different durations
研究了独立泊松观测量的同时预测密度。观测数据和待预测的目标变量根据由相同参数参数化的不同泊松分布独立地分布。预测密度的性能由Kullback-Leibler散度进行评估。引入了一类依赖于预测目标的先验分布。基于此类先验的贝叶斯预测密度优于基于Jeffreys先验的贝叶斯预测密度。
2014-02-03 math.ST stat.TH
A Parsimonious Tour of Bayesian Model Uncertainty
现代统计软件和机器学习库正在实现半自动统计推断。在这种情况下，尝试将许多模型与手头的数据相拟合似乎越来越容易，从而扭转了费雪的科学方法，即在科学假设（以及模型）确定之后收集数据。统计学家的新目标是帮助从业者在如此庞大且异质的模型家族中进行选择，这一任务被称为模型选择。贝叶斯范式提供了一种评估这一问题的系统化方法。这种方法由哈罗德·杰弗里斯在他1935年的著作《概率论》中提出，在过去的几十年里经历了一个显着的演变，带来了一些新的理论和方法上的进步。最近的一些事态发展是本次调查的重点，调查试图对不同社区开展的工作提出一个统一的观点。特别是，我们专注于非渐近的贝叶斯模型选择和平均技术的样本外性能，并与惩罚极大似然。我们还描述了最近扩展到更广泛的类别的概率框架，包括高维，无法识别，或无可能性模型。
2020-09-25 stat.ME
Implications of uniformly distributed, empirically informed priors for phylogeographical model selection: A reply to Hickerson et al
确定一组种群分裂事件同时发生，可能是一个有说服力的论点，即一个共同的过程影响了种群。Oaks et al.（2013）评估了近似贝叶斯方法（msBayes）估计分类群间同时分歧模式的能力，Hickerson et al.（2014）对此做出了回应。这两篇论文都认为该方法对先前的假设很敏感，并且经常错误地支持共享的分歧;论文的解释和解决方案不同。Oaks等人（2013）认为该方法的行为是由发散时间上的均匀先验的强权重引起的，导致具有更多发散时间参数的模型的边际似然较小（假设1）;他们提出了替代先验以避免强加权后验。Hickerson et al.（2014）建议数值近似误差导致msBayes分析偏向于聚类分歧模型（假设2）;他们建议使用狭窄的经验一致先验。在这里，我们证明了Hickerson等人的方法。（2014）并没有减轻该方法错误地支持聚类分歧模型的倾向，并且经常排除真实的参数值。我们的研究结果还表明，msBayes分析支持共享分歧模型的趋势主要是由于假设1。这一系列的论文表明，如果我们的先验假设在参数空间的不太可能的区域中放置了太多的权重，使得精确的后验支持错误的进化历史模型，那么无论多少计算都无法挽救我们的推理。幸运的是，更灵活的分布，适应有关参数的先验不确定性，而不放置过多的权重在参数空间的巨大区域与低可能性增加了该方法的鲁棒性和功率，以检测时间变化的分歧。
2014-11-24 q-bio.PE stat.ME
Generalized mutual information and their reference priors under Csizar f-divergence
本文揭示了参考先验理论与全局敏感性分析的类比，基于 f-散度提出广义互信息并构建广义参考先验框架，证明其极限简化了先验定义，且无约束时 Jeffreys 先验最大化广义互信息。
2024-04-25 math.ST stat.TH
Bayesian Shrinkage Approaches to Unbalanced Problems of Estimation and Prediction on the Basis of Negative Multinomial Samples
在本文中，我们处理负多项式变量的估计和预测问题，特别是考虑不平衡的设置。首先，在标准化平方误差损失下，讨论了多个负多项式参数向量的估计问题，在适当的条件下，得到了一个新的优于UMVU估计的经验Bayes估计。其次，我们考虑了Kullback-Leibler发散下多个多项式表的联合预测密度的估计，得到了关于分层收缩先验的贝叶斯预测密度优于关于Jeffreys先验的贝叶斯预测密度的一个充分条件.第三，我们提出的贝叶斯估计和预测密度在模拟中提供了风险改善。最后讨论了负多项式变量的联合预测密度的估计问题。
2021-11-19 math.ST stat.ME stat.TH
Shrinkage priors for Bayesian prediction
我们研究收缩先验构造贝叶斯预测分布。证明了当模型流形满足一定的微分几何条件时，基于Jeffreys先验或其它Vague先验，存在收缩预测分布渐近优于贝叶斯预测分布.从真实分布到预测分布的Kullback-Leibler偏差被采用作为损失函数。引入了模型流形对应于Vague先验的共形变换。我们展示了几个例子，收缩预测分布占主导地位的贝叶斯预测分布的基础上模糊的先验。
2006-07-01 math.ST stat.TH
Multiscale Invertible Generative Networks for High-Dimensional Bayesian Inference
Caltech（加州理工学院）；MSR AI Lab（微软研究院人工智能实验室）
我们提出了一个多尺度可逆生成网络（MsIGN）和相关的训练算法，利用多尺度结构来解决高维贝叶斯推断。为了解决维数灾难，MsIGN利用后验的低维性质，并通过迭代上采样和细化样本来生成从粗到细（低到高维）的样本。MsIGN以多阶段的方式进行训练，以最大限度地减少Jeffreys发散，从而避免在高维情况下的模式下降。在两个高维贝叶斯逆问题上，我们在后验近似和多模式捕获方面表现出了比以前方法更好的性能。在自然图像合成任务中，MsIGN在每维比特数方面优于基线模型，并在中间层产生了很好的神经元解释能力。
2021-05-12 cs.CV cs.LG stat.CO
Application of Kähler manifold to signal processing and Bayesian inference
我们回顾了线性系的信息几何及其在贝叶斯推理中的应用，以及在Kähler流形情况下的简化。我们找到了线性系的信息几何是Kähler的条件，以及Kähler势与信息几何量如$α$ -散度、信息距离和对偶$α$ -连接结构的关系. Kähler结构简化了度量张量、联络、Ricci张量和数量曲率的计算，以及几何对象的$α$ -推广。Laplace-Beltrami算子也在Kähler几何中得到简化。信息几何的目标之一是贝叶斯先验优于杰弗里斯先验的构造，我们用它来证明凯勒结构的实用性。
2015-01-14 cs.IT math.DG math.IT
Testing Composite Hypothesis based on the Density Power Divergence
在任何参数推断问题中，过程的鲁棒性是一个真正的问题。在模型下保持高度效率并同时在数据污染下提供稳定推断的过程在任何实际情况下都优于以鲁棒性为代价实现其效率的另一过程，反之亦然。Basu等人（1998）的密度幂发散族提供了一类灵活的发散，其中效率和鲁棒性之间的调整由单个参数$β$控制。在本文中，我们考虑一般的测试参数假设的基础上的密度功率发散。建立了检验统计量的渐近零分布，并探讨了其渐近幂函数。数值结果说明了性能的理论发展。
2015-12-26 stat.ME
Asymptotic Properties of Bayesian Predictive Densities When the Distributions of Data and Target Variables are Different
利用信息几何框架，研究了观测数据$x$和待预测目标变量$y$具有不同分布时的贝叶斯预测密度.预测密度的性能由Kullback-Leibler散度进行评估。参数化模型用黎曼流形表示。在$x$和$y$具有相同分布的常规设置中，Fisher-Rao度量和Jeffreys先验起着重要作用。在其中$x$和$y$具有不同分布的本设置中，通过使用$x$和$y$的Fisher信息矩阵构造的我们称为预测度量的新度量以及基于预测度量的体积元起相应的作用。结果表明，基于非常数正上调和函数的贝叶斯预测密度渐近优于基于预测度量的体积元先验的贝叶斯预测密度.
2015-03-26 math.ST stat.TH
Testing Composite Null Hypothesis Based on $S$-Divergences
我们提出了一个强大的测试复合原假设的基础上，一般$S$发散家庭。这需要Ghosh等人的结果的非平凡推广。（2015年）。我们得到的渐近和理论的鲁棒性测试的最小$S$发散估计的性能下施加的原假设的参数限制。在正常模式的上下文中的说明也被提出。
2015-04-16 math.ST stat.ME stat.TH
On divergences tests for composite hypotheses under composite likelihood
众所周知，在某些情况下，计算似然函数并不容易，因为数据集可能很大或者模型太复杂。在这种情况下，通过乘以变量的受试者的似然性得到的复合似然性可能是有用的。将经典的似然比检验统计量推广到复合似然框架中，作为解决复合似然背景下检验问题的一个过程。本文引入并研究了一类新的复合似然检验统计量：复合发散检验统计量，用于解决简单原假设或复合原假设的检验问题。为此，我们介绍和研究的限制最大合成似然估计的渐近分布。
2016-03-01 stat.ME
A New Wald Test for Hypothesis Testing Based on MCMC outputs
提出了一种新的基于MCMC输出的$χ^2$ wald检验方法。新的统计量可以解释为Wald检验的MCMC版本，并且具有几个重要的优点，使得它在实际应用中非常方便。首先，它在不适当的先验分布下定义良好，避免了Jeffrey-Lindley悖论。其次，它的渐近分布可以被证明遵循$χ^2$分布，以便可以容易地从该分布校准阈值。第三，它的统计误差可以使用马尔可夫链蒙特卡罗（MCMC）方法来推导。第四，最重要的是，它是仅根据MCMC随机样本的后验分布得出的。因此，它只是后验输出的副产品，非常容易计算。此外，当先验信息是可用的，有限样本理论推导出建议的测试统计量。最后，通过对经济学和金融学中广泛使用的潜变量模型的几个应用，说明了检验的有用性。
2018-01-03 econ.EM stat.ME
Empirical phi-divergence test statistics for testing simple null hypotheses based on exponentially tilted empirical likelihood estimators
在计量经济学中，在不假设潜在分布的情况下施加限制来模拟复杂的现实是一种有价值的方法论工具。然而，如果一个子集的限制是不正确的指定，通常的测试统计量正确指定的模型往往拒绝一个简单的原假设。在这种情况下，我们可以说模型存在误设定。我们研究了Balakrishnan et al.（2015）中引入的经验φ-发散检验统计量的行为，通过使用Schennach（2007）的指数倾斜经验似然估计量，作为小样本量的显著性水平的效率和错误指定下的鲁棒性之间的良好折衷。
2015-10-27 stat.ME
Robust Wald-type tests for non-homogeneous observations based on minimum density power divergence estimator
研究了非同分布数据下的稳健假设检验问题。我们提出了Wald型检验的简单和复合假设的独立，但非齐次观测的基础上强大的最小密度功率发散估计的共同的基础参数。渐近和理论的鲁棒性所提出的测试进行了讨论。本文详细讨论了它在固定设计广义线性模型中一般线性假设检验问题中的应用，并对正态分布和泊松分布下的特殊情况作了具体的说明。
2017-07-07 math.ST stat.ME stat.TH
Statistical Hypothesis Testing for Information Value (IV)
Imperial College London（帝国理工学院）
本文提出了一种基于Jeffreys散度的非参数检验方法，用于改进信息价值在特征选择中的应用，尤其在处理高维或不平衡数据时更具可靠性。
2026-01-27 math.ST stat.ME stat.ML
Generalized Wald-type Tests based on Minimum Density Power Divergence Estimators
在假设检验中，检验的稳健性是一个重要问题。通常，基于极大似然的测试在标准正则条件下是最有效的，但是即使在与假设条件的小偏差下，它们也是高度非鲁棒的。在本文中，我们提出了广义Wald型测试的基础上最小密度功率发散估计参数假设。该方法避免了非参数密度估计的使用和带宽的选择。效率和鲁棒性之间的权衡由调谐参数$β$控制。检验统计量的渐近分布是具有适当自由度的卡方分布。所提出的测试的性能进行了探讨，通过模拟和实际数据分析。
2015-03-07 stat.ME
On the Robustness of a Divergence based Test of Simple Statistical Hypotheses
最流行的假设检验程序，似然比检验，是众所周知的，在许多实际情况下是高度非鲁棒的。Basu等人（2013 a）提供了一种基于密度功率发散的假设检验的替代稳健程序;然而，尽管作者直观地论证了后一种检验的稳健性，并对其进行了广泛的经验证实，但在这项工作中没有提出理论稳健性。在本文中，我们将考虑一类更一般的检验，它们形成了Basu等人（2013 a）描述的程序的超族。该超家族来源于Basu等人最近提出的$S$ -分歧类（2013 a）。在这方面，我们从理论上证明了新的一类测试的鲁棒性结果，并说明他们在正常的模型。Basu等人（2013 a）提议的所有理论鲁棒性都是我们结果的特例。
2014-11-28 math.ST stat.ME stat.TH
Empirical phi-divergence test statistics for testing simple and composite null hypotheses
本文的主要目的是首先介绍一个新的家庭的经验检验统计量测试一个简单的原假设时，通过一组特定的无偏估计函数定义的参数向量。该检验统计量族基于两个概率向量之间的距离，其中第一概率向量通过使参数向量上的经验似然最大化而获得，并且第二向量在简单的原假设下从参数的固定向量定义。为此目的所考虑的距离是φ-发散度量。然后推导出该族检验统计量的渐进分布。所提出的方法是说明通过著名的数据Newcomb的测量光的通过时间。模拟研究进行比较其性能与经验的似然比检验时，置信区间构造的基础上，小样本量。结果表明，“经验修正的似然比检验统计量”是经验似然比检验统计量的一种有竞争力的替代方法，并且在数据中存在污染的情况下比经验似然比检验统计量更稳健.最后，我们提出了经验的Φ发散检验统计量测试复合原假设，并提出了一些渐近以及模拟结果，这些测试程序的性能进行评估。
2014-08-17 math.ST stat.ME stat.TH
Generalization Bounds with Minimal Dependency on Hypothesis Class via Distributionally Robust Optimization
Columbia University（哥伦比亚大学）
在数据驱动优化和机器学习中获得泛化边界的既定方法主要建立在经验风险最小化（ERM）的解决方案上，这在很大程度上取决于假设类的函数复杂性。在本文中，我们提出了一种替代路线，以获得这些边界的解决方案，从分布鲁棒优化（DRO），最近的数据驱动的优化框架的基础上，最坏情况下的分析和模糊集的概念，以捕捉统计不确定性。与ERM中的假设类复杂性相反，我们的DRO界限取决于模糊集几何及其与真实损失函数的兼容性。值得注意的是，当使用统计距离，如最大平均差异，Wasserstein距离，或$ϕ$ -DRO中的分歧，我们的分析意味着泛化边界的依赖性的假设类似乎是最小的可能性：边界仅取决于真正的损失函数，独立于任何其他候选人的假设类。据我们所知，这是文献中第一个这种类型的推广界，我们希望我们的发现可以为更好地理解DRO打开大门，特别是它在损失最小化和其他机器学习应用方面的好处。
2022-10-12 cs.LG math.OC stat.ME
