Quasi-Monte Carlo with one categorical variable
Stanford University(斯坦福大学);Zhejiang University(浙江大学)
本文研究了在存在一个分类变量时,如何通过优化样本分配和结构来提高准蒙特卡洛方法的收敛速度和精度。
2026-01-16 cs.NA math.NA stat.CO
Convergence diagnostics for MCMC draws of a categorical variable
马尔可夫链蒙特卡罗(MCMC)是一类流行的统计方法,用于模拟来自目标分布的自相关绘制,包括贝叶斯分析中的后验分布。使用模拟MCMC绘制进行推理的一个重要考虑因素是采样算法已收敛到感兴趣的分布。由于分布通常是非标准形式,收敛性通常无法证明,而是通过收敛性诊断进行评估。虽然MCMC框架中使用的参数通常是连续的,但在许多情况下需要模拟分类变量。示例包括贝叶斯变量选择中的模型包含指标和混合建模中的潜在分类成分变量。传统的收敛诊断是为连续变量设计的,可能不适合分类变量。本文考虑了两种适用于MCMC数据的收敛性诊断方法。本文中讨论的诊断利用卡方检验统计量的相关数据。收敛诊断的性能进行评估,根据各种模拟。最后,诊断应用到一个真实的数据集,其中可逆跳MCMC是用来从有限的混合模型进行采样。
2017-06-15 stat.ME
An Optimal Test for the Additive Model with Discrete or Categorical Predictors
在多元非参数回归中,当难以找到合适的参数模型时,可加性模型是非常有用的。后拟合算法是估计可加分量的有力工具。然而,由于估计量的复杂性,在没有蒙特卡罗模拟的情况下,难以计算相关检验的渐近$p$值。此外,传统的测试假设预测变量是严格连续的。本文对具有离散或分类预测变量的可加成分模型,提出了一种新的检验方法,其中模型可能包含连续协变量。将该方法应用于半参数回归,检验模型的拟合优度。这些测试在收敛速度方面是渐进最优的,因为它们可以以$n^{-1/2}$的速度检测特定类别的连续替代方案。一个广泛的模拟研究,以支持本文得出的理论结果。最后,该方法被应用到一个真实的数据,其质量属性和物理测量的基础上建立钻石价格模型。
2019-06-17 stat.ME
Asymptotic Independence of the Quadratic form and Maximum of Independent Random Variables with Applications to High-Dimensional Tests
本文证明了独立随机变量二次型与最大值的渐近独立性,据此提出结合 sum-type 与 max-type 的 Fisher 组合检验用于高维均值检验,放宽了现有假设并在模拟中对稀疏与密集数据均表现出强稳健性。
2023-08-02 stat.ME
Testing conditional independence via Rosenblatt transforms
本文提出了两个随机变量在含有未知有限维参数的单指标下条件独立性的新检验。测试采用Rosenblatt变换,并被证明是分布免费的,同时保留计算方便。从Monte Carlo模拟的一些结果,并进行了讨论。
2009-11-19 math.ST stat.TH
Estimations of Extreme CoVaR and CoES under Asymptotic Independence
School of Data Science, Fudan University(复旦大学数据科学学院)
本文提出两种方法估计渐近独立但正相关情况下极端CoVaR和CoES,通过蒙特卡洛模拟和实证分析验证了方法的有效性。
2026-01-17 stat.ME
Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
深度学习模型遭受一种称为对抗攻击的现象:我们可以对模型输入进行微小的更改,以欺骗特定示例的分类器。文献主要考虑对具有图像和其他结构化输入的模型的对抗攻击。然而,对分类序列的对抗攻击也可能是有害的。对分类序列形式的输入的成功攻击应该解决以下挑战:(1)目标函数的不可微性,(2)对初始序列变换的约束,以及(3)可能问题的多样性。我们使用两种黑盒对抗攻击来处理这些挑战。第一种方法采用蒙特卡罗方法,并允许在任何情况下使用,第二种方法使用模型和目标度量的连续松弛,从而允许使用最先进的方法进行对抗攻击,而无需额外的努力。货币交易、医疗欺诈和NLP数据集的结果表明,所提出的方法生成了合理的对抗序列,这些序列接近原始序列,但欺骗了机器学习模型。
2020-10-12 cs.LG stat.ML
Sketching for Latent Dirichlet-Categorical Models
Carnegie Mellon University(卡内基梅隆大学);Oracle Labs(甲骨文实验室)
最近的工作探索了将数据集转换为更小的近似摘要,以扩展贝叶斯推理。我们研究了一个相关的问题,其中贝叶斯模型的参数是非常大的和昂贵的存储在内存中,并提出了更紧凑的表示参数值,可以在推理过程中使用。我们专注于一类图形模型,我们称之为潜在的Dirichlet分类模型,并显示如何结合两个草图算法称为计数最小草图和近似计数器提供了一个有效的表示。我们表明,这种草图组合-尽管已经在NLP应用程序中使用过,但以前没有分析过-具有理想的特性。我们证明了对于这类模型,当草图被用于马尔可夫链蒙特卡罗推理过程中,草图MCMC的平衡收敛到精确链的草图参数进行调整,以减少出错率。
2018-10-02 cs.LG stat.ML
Markov basis and Groebner basis of Segre-Veronese configuration for testing independence in group-wise selections
我们考虑在选择组合有一些限制的情况下,在分组选择中检验独立性。我们提出的选择,这是很容易进行条件测试的马尔可夫链蒙特卡罗(MCMC)方法的频率数据模型。当对组合的限制可以用Segre-Veronese配置来描述时,由二次移动组成的Gröbner基的显式形式很容易用于执行马尔可夫链。我们以日本大学入学考试的国家中心考试为例说明我们的设置。我们还应用我们的方法来测试独立的假设,涉及在一个以上的基因座或单倍型的等位基因在同一条染色体上的基因型。
2008-02-06 math.AC math.ST stat.AP
Modified Cholesky Riemann Manifold Hamiltonian Monte Carlo: Exploiting Sparsity for Fast Sampling of High-dimensional Targets
黎曼流形哈密顿蒙特卡罗(RMHMC)有可能产生高质量的马尔可夫链蒙特卡罗输出,即使是非常具有挑战性的目标分布。为此,一个对称正定的缩放矩阵RMHMC,它来自,通过修改的Cholesky分解,从潜在的不确定的负Hessian的目标对数密度提出。该方法是能够利用稀疏的Hessian,源于条件独立建模假设,从而承认快速实施RMHMC,即使是高维目标分布。此外,该方法可以利用对数凹条件目标密度,经常遇到贝叶斯分层模型,更快的采样和更直接的调整。所提出的方法相比,一些具有挑战性的目标的替代品,并说明了应用状态空间模型的真实数据。
2017-05-16 stat.CO stat.ME
A categorical account of the Metropolis-Hastings algorithm
Nanyang Technological University(南洋理工大学);University of Warwick(华威大学)
研究能否用范畴概率构建和分析Metropolis-Hastings算法,通过马尔可夫范畴和CD范畴等工具表述相关概念,研究交换幺半群上CD范畴的丰富化,给出MH类采样器可逆的充要条件。
2026-07-14 math.CT math.PR stat.CO
Conditional-Independence-Regularized Distributional Autoencoders for Mixed-Type Data
University of Michigan(密歇根大学)
本研究提出Conditional-Independence-Regularized Distributional Autoencoders框架,通过结合不同类型变量的目标函数与条件独立性正则化项,实现混合类型数据的表征学习,在多类数据集上提升了分布恢复性能并保留了变量依赖结构。
2026-08-24 cs.LG stat.ME stat.ML
Bayesian inference with Monte Carlo approximation: Measuring regional differentiation in ceramic and glass vessel assemblages in Republican Italy, ca. 200 BCE - 20 CE
测量考古学组合差异的方法长期以来一直基于组合的属性水平分析。本文认为,通过Hellinger距离的概率分布比较组合的方法,通过Dirichlet分类模型的推断使用蒙特卡罗方法的近似计算。这种方法在考古学的实践-理论传统中得到应用,这种方法试图测量和关联构成社会惯习的不同因素。它在这里实施的重点是在过去两个世纪的共和国意大利的区域食品消费习惯的问题,对大规模社会变革的角度提供信息。
2017-02-18 stat.AP
gcor: A Python Implementation of Categorical Gini Correlation and Its Inference
West Liberty University(西弗吉尼亚州立大学)
本文提出一种基于分类Gini相关性(CGC)的Python实现,用于计算相关性、构建置信区间及进行独立性检验,通过高效算法和并行化提升计算效率。
2026-05-11 stat.CO stat.ME
Markov chain random fields, spatial Bayesian networks, and optimal neighborhoods for simulation of categorical fields
马尔可夫链随机场(MCRF)模型/理论提供了用于模拟分类空间变量的在邻域最近数据水平上的非线性空间贝叶斯更新解决方案。在MCRF解决方案中,最近的数据和中心随机变量之间的空间依赖关系是一个概率有向无环图,符合基于邻域的贝叶斯网络的空间数据。通过选择不同的邻域大小和结构,将空间条件独立性假设应用于最近的邻域,或者结合辅助信息,可以基于MCRF通用解构建特定的MCRF模型以用于各种应用目的。简化的MCRF模型基于假设最近数据的空间条件独立性,仅涉及空间转移概率,并且可以在顺序模拟中容易地实现它们。在本文中,我们证明了MCRF的空间贝叶斯网络特性,并测试了空间条件独立性假设下的最佳邻域。测试结果表明,象限(即,每个象限一个最近的数据)邻域通常是简化MCRF解的最佳选择,在仿真精度和模式合理性方面比其它扇区化邻域和非扇区化邻域表现得更好。
2018-11-08 stat.ME
Consensus Monte Carlo for Random Subsets using Shared Anchors
我们提出了一种共识蒙特卡罗算法,该算法可以扩展现有的贝叶斯非参数模型,用于大数据的聚类和特征分配。该算法是有效的任何先验的随机子集,如分区和潜在的功能分配,在基本上任何采样模型。出于三个案例研究,我们专注于聚类诱导的Dirichlet过程混合物抽样模型,推理下的印度自助餐过程之前,与二项式抽样模型,并与分类抽样模型。我们通过模拟研究评估了所提出的算法,并显示了三个数据集的推理结果:MNIST图像数据集,胰腺癌突变数据集和大量电子健康记录(EHR)。本文的补充材料可在网上查阅。
2020-02-25 stat.CO stat.ML
Mixed effects models for healthcare longitudinal data with an informative visiting process: a Monte Carlo simulation study
电子健康记录越来越多地用于医学研究,以回答更相关和更详细的临床问题;然而,它们提出了新的和重大的方法学挑战。例如,观察时间可能与基础疾病的严重程度相关:病情更严重的患者更多地使用医疗保健,并且可能记录更差的生物标志物值。分析纵向数据的传统方法假设观察时间和疾病严重程度之间是独立的;然而,对于医疗保健数据,这样的假设不太可能成立。通过蒙特卡罗模拟,我们比较了不同的分析方法,提出了一个信息访问过程,以评估他们是否会导致无偏的结果。此外,我们正式的联合模型的观察过程和纵向的结果在一个扩展的联合建模框架。我们说明我们的研究结果使用的数据,从一个务实的试验,对个人的慢性肾脏疾病的加强护理,我们介绍了用户友好的软件,可用于适应联合模型的观察过程和纵向结果。
2019-07-25 stat.ME
An adaptive independence sampler MCMC algorithm for infinite dimensional Bayesian inferences
Shanghai Jiao Tong University(上海交通大学)
本文提出一种自适应独立采样MCMC算法,用于处理无限维贝叶斯推断问题,通过混合有限个特殊参数化的高斯测度作为建议分布,实现维度无关的高效采样,且在多模态后验分布中表现稳健。
2016-04-10 cs.NA math.NA math.ST
The conditional permutation test for independence while controlling for confounders
我们提出了一个通用的新方法,条件置换测试,用于测试条件独立的变量$X$和$Y$给定一个潜在的高维随机向量$Z$,可能包含混杂因素。所提出的测试不均匀地置换$X$的条目,以便尊重$X$和$Z$之间的现有依赖性,从而解释这些混杂因素的存在。与Candès等人(2018)的条件随机化检验一样,我们的检验依赖于$X \mid Z$分布近似值的可用性。虽然Candès等人(2018)的测试使用此估计值来绘制新的$X$值,但对于我们的测试,我们使用此近似值来设计真实数据中已经看到的$X$值排列的适当非均匀分布。我们提供了一个有效的马尔可夫链蒙特卡罗采样器的实施我们的方法,并建立在$X\mid Z$的条件分布的近似误差方面的第一类错误的界限,发现,对于最坏的情况下的检验统计量,通货膨胀的第一类错误的条件置换测试是不大于条件随机化测试。我们验证了这些理论结果与模拟数据和Capital Bikeshare数据集上的实验。
2019-05-07 math.ST stat.ME stat.TH
Markov Chain Monte Carlo Significance Tests
本文回顾了Besag和Clifford提出的两种马尔可夫链蒙特卡洛(MCMC)显著性检验方法,提出一种统一现有流程的新方法,通过示例对比其与标准蒙特卡洛检验的差异,并调研了相关当代应用。
2024-06-19 math.ST stat.ME stat.TH
Error Bounds for Sequential Monte Carlo Samplers for Multimodal Distributions
本文给出了一类用于逼近多峰分布的序贯蒙特卡罗(SMC)采样器的渐近方差的界。这种方法结合了标准SMC方法和马尔可夫链蒙特卡罗(MCMC)核。我们的边界改进了以前的结果,与一些早期的工作不同,它们也适用于MCMC内核可以在模式之间移动的情况。我们将我们的结果应用到统计物理的Potts模型。在这种情况下,会遇到尖峰的问题。早期的方法,如平行回火,只能以指数(模型的一个重要参数)成本从中采样。我们提出了一个序列的插值分布称为插值独立,并表明,SMC采样器基于它是能够从这个目标分布在一个多项式的成本进行采样。我们相信我们的方法也适用于许多其他分布。
2018-01-24 math.PR stat.CO stat.ME
On the dependence structure of the trade/no trade sequence of illiquid assets
在本文中,我们建议考虑的依赖结构的贸易/没有贸易分类序列的个别非流动性股票收益。这里考虑的框架是广泛的恒定和随时间变化的零收益概率是允许的。我们的方法在突出非流动性股票的功能的能力,强调了各种情况。更具体地说,我们表明,长期的贸易/无贸易分类序列的影响可能会被虚假地检测到存在一个非恒定的零收益概率。蒙特卡罗实验,并从智利金融市场的股票分析,说明了本文中开发的工具的实用性。
2022-02-21 math.ST q-fin.ST stat.TH
Parallel Stochastic Gradient Markov Chain Monte Carlo for Matrix Factorisation Models
对于大型矩阵分解问题,我们开发了一个分布式的马尔可夫链蒙特卡罗(MCMC)方法的基础上随机梯度朗之万动力学(SGLD),我们称之为并行SGLD(PSGLD)。随着数据量的增加,PSGLD具有非常有利的缩放特性,并且在计算要求方面与基于随机梯度下降的优化方法相当。PSGLD通过利用MF模型的条件独立结构以系统的方式对数据进行子采样以允许并行化和分布式计算来实现高性能。我们提供了一个收敛性证明的算法,并验证其优越的性能在各种架构,如图形处理单元,共享内存多核系统和多计算机集群。
2015-09-28 stat.ML
A Distribution-Free Test of Independence and Its Application to Variable Selection
基于高维数据中响应变量与预测变量之间关联性的重要性,本文提出了一种基于均值方差指标的分类随机变量与连续变量之间独立性的均值方差检验.当且仅当两个变量独立时,均值方差指数为零。在独立性条件下,我们得到了它的渐近零分布的一个显式形式,这为我们在实际中计算经验p值提供了一种有效而快速的方法。允许分类变量的类数缓慢发散到无穷大。它本质上是一个秩检验,因此是无分布的。不需要对两个随机变量的分布作任何假设,而且检验统计量在一一变换下是不变的。它是抵抗重尾分布和极端值。我们通过蒙特卡罗模拟评估其性能,并证明所提出的测试与现有的测试相比,实现了更高的功率。我们将建议的MV测试应用于高维结肠癌基因表达数据,以检测与组织综合征相关的显著基因。
2018-01-31 stat.ME
Efficient subsampling-rate selection for practical Multilevel Markov chain Monte Carlo
KU Leuven(荷语鲁汶大学)
本研究提出一种基于误差预算的成本误差准则,用于选择多层马尔可夫链蒙特卡洛中的高效子采样率,平衡多层采样误差而非强制独立性,显著降低计算成本。
2026-10-07 cs.NA math.NA stat.CO
Synchronized step multilevel Markov chain Monte Carlo
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
SYNCE通过同步步相关增强方法,在多级马尔可夫链蒙特卡罗中实现更高效的样本耦合,提升计算效率和可扩展性。
2026-02-02 stat.AP stat.CO
A new Gini correlation between quantitative and qualitative variables
我们提出了一个新的基尼系数来衡量分类变量和数值变量之间的依赖关系。类似于方差分析模型中的Pearson $R^2$,基尼相关被解释为组间变异与总变异的比值,但它具有独立性(零基尼相关相互暗示独立)。基尼系数与距离相关密切相关,考虑到分类变量的性质,具有简单的公式。因此,建议的基尼相关性比距离相关性具有更低的计算成本,并且更直接地执行推断。仿真和实际应用证明了这种方法的优越性。
2019-07-09 stat.ME
A Shift Test for Independence in Generic Time Series
我们描述了两个自相关时间序列独立性的保守统计检验。级数可以取任何集合中的值,其中一个必须是平稳的。将量化两个系列的一个片段的关联的用户指定的函数与通过将固定系列时移N到N步而获得的系综进行比较。如果序列是独立的,则未移位的值以最多m/(N+1)的概率位于前m个移位值中。对于大N,概率接近m/(2N+1)。如果未移动的值在α(N+1)的顶部,则保守检验在显著性α处拒绝独立性,并且具有在大N限制下有效的近似检验的一半功效。我们说明了这个框架的自相关分类时间序列的相关性测试。
2020-12-12 stat.ME
Jackknife Empirical Likelihood Approach for K-sample Tests
分类基尼相关性是分类变量和数值变量之间依赖性的另一种衡量标准,它表征了变量的独立性。基于分类基尼系数,本文提出了一种K分布等同性的非参数检验方法。应用Jackknife经验似然法,建立了标准极限自由度χ 2分布$K-1$,并用于确定检验的临界值和$p$ -值。仿真研究表明,所提出的方法是有竞争力的现有方法在功率的测试在大多数情况下。所提出的方法说明在一个实际数据集上的应用。
2019-08-01 stat.ME
Graphical tests of independence for general distributions
我们提出了两个无模型的,基于排列的测试之间的独立性一对随机变量。该测试可以应用于任何二元分布的样本:连续的,离散的或混合的,轻尾或重尾,\ldots该测试利用了最近发展的全局包络测试的背景下,空间统计学。除了广泛的适用性的测试,其主要的好处是在图形解释的测试结果:在拒绝独立性的原假设的情况下,在两个边缘的分位数的组合表示,从独立性的偏差是显着的。这些信息可用于更深入地了解观测数据的属性,并作为提出更复杂模型和假设的指导。我们在模拟研究中评估了所提出的测试的性能,并将其与几个成熟的独立性测试进行了比较。此外,我们说明了使用的测试和解释的测试结果在两个真实的数据集组成的气象报告(日平均温度和总日降水量,原子成分在0毫米)和道路事故报告(道路和天气条件的类型,两个变量具有分类分布)。
2020-08-14 stat.ME
Bayesian nonparametric tests via sliced inverse modeling
我们研究了分类协变量和连续响应变量之间的独立性和条件独立性检验问题,这在遗传学中有直接的应用。我们不是在给定协变量值的情况下估计响应的条件分布,而是在给定离散化响应(又名“切片”)的情况下对协变量的条件分布进行建模。通过为每个可能的离散化方案分配先验概率,我们可以使用动态规划算法有效地计算用于独立性(或条件独立性)检验的贝叶斯因子(BF)统计量。研究了BF统计量的幂和零分布等渐近性质和有限样本性质,并进一步提出了一种基于BF统计量的逐步变量选择方法。我们比较了BF统计与一些现有的经典方法,并通过广泛的模拟研究证明其统计功效。我们将所提出的方法应用于小鼠遗传学数据集,旨在检测数量性状位点(QTL),并取得了可喜的成果。
2015-05-02 stat.ME
Revisiting Differentially Private Hypothesis Tests for Categorical Data
在本文中,我们考虑的方法进行假设检验的数据保护的统计披露控制技术被称为差分隐私。以前的差异私有假设检验方法要么用具有大方差的随机噪声干扰检验统计量(并导致显著的功效损失),要么直接向数据添加少量噪声,但未能响应于添加的噪声调整检验(导致有偏差的、不可靠的$p$值)。在本文中,我们开发了各种实用的假设检验来解决这些问题。使用不同的渐近制度,更适合于假设检验与隐私,我们显示了修改后的卡方检验和似然比检验之间的等价性。然后,我们为表格数据的各种应用开发了差分私有似然比和卡方检验(即,独立性、样本比例和拟合优度检验)。使用各种各样的隐私设置的小型和大型数据集的实验评估证明了我们的方法的实用性和可靠性。
2017-03-18 cs.CR stat.ME
Causal Discovery via Conditional Independence Testing with Proxy Variables
Peking University(北京大学);Fudan University(复旦大学)
本文针对连续变量因果发现中未观测混杂导致的偏差问题,提出一种基于离散化和代理变量的非参数条件独立性检验方法,并证明其渐近性质,在合成与真实数据上验证了有效性。
2024-05-02 cs.LG stat.ME
JEL ratio test for independence of time to failure and cause of failure in competing risks
在本文中,我们提出了刀切经验似然(JEL)比检验的时间失效和失效原因的独立性在竞争风险数据。我们使用U-统计量理论推导出JEL比率检验。检验统计量的渐近分布为单自由度的χ 2分布。进行了蒙特卡罗模拟研究,以评估有限样本的行为,建议的测试。建议的JEL测试的性能进行了比较,在Dewan等人(2004)给出的测试。最后,我们说明我们的测试过程中使用各种真实的数据集。
2021-10-17 stat.ME
A non-parametric test for testing independence between time to failure and cause of failure of discrete competing risks data
在实际应用中会遇到寿命离散的竞争风险数据。然而,只有有限的文献存在这样的数据。本文提出了一种基于U-统计量的非参数检验方法,用于检验当寿命为离散随机变量时,竞争风险数据的失效时间与失效原因的独立性。导出了该检验统计量的渐近分布。进行了广泛的蒙特卡罗模拟研究,以评估有限样本的性能,所提出的测试。使用口腔癌患者和药物暴露妊娠的真实数据集说明了测试程序的灵活性。
2021-05-26 stat.ME
Exact and Approximate MCMC for Doubly-intractable Probabilistic Graphical Models Leveraging the Underlying Independence Model
Department of Statistics Purdue University(普渡大学统计系)
本文提出了一种无需完美或顺序采样器的MCMC方法,用于双重不可计算概率图模型,通过利用底层可计算的独立模型构建无偏蒙特卡洛估计,提升高维下的可扩展性。
2026-03-27 stat.CO stat.ME stat.ML
A Markov Basis for Conditional Test of Common Diagonal Effect in Quasi-Independence Model for Square Contingency Tables
在双向列联表中,我们有时会发现,与非对角单元格相比,对角单元格的频率相对较大(或较小),特别是在行和列具有共同类别的方形表中。在这种情况下,每个对角单元都有一个附加参数的准独立模型通常适合于数据。一个比准独立模型更简单的模型是假设所有对角单元都有一个共同的附加参数。考虑用马尔可夫链蒙特卡罗(MCMC)方法检验共对角效应的拟合优度。我们推导出一个显式形式的马尔可夫基础进行条件检验的共同对角效应。一旦给出了马尔可夫基,MCMC过程可以很容易地实现代数统计技术。我们用一些真实的数据集来说明这个过程。
2008-07-22 stat.ME
Tests for categorical data beyond Pearson: A distance covariance and energy distance approach
University of Santiago de Compostela(圣地亚哥德孔波斯特拉大学);Santiago Health Research Institute (IDIS)(圣地亚哥健康研究所);German Cancer Research Center (DKFZ)(德国癌症研究中心)
针对分类变量独立性检验,提出基于距离协方差和能量距离的方法,克服Pearson卡方检验和G检验的缺陷,无需重采样即可校准零分布。
2026-06-17 math.ST stat.AP stat.ME
Testing the independence of two random vectors where only one dimension is large
为了检验维数分别为$p_1$和$p_2$的两个向量的独立性,现有的高维统计文献都假设维数$p_1$和$p_2$随着样本量增长到无穷大。然而,正如在论文中讨论的RNA测序数据分析中所证明的,与样本量相比,经常发生一个维度相当小而另一个维度相当大的情况。在本文中,我们解决这个新的渐近框架的独立性测试。本文提出了一种新的检验方法,并在向量服从正态分布时证明了其渐近正态性。一个蒙特卡罗研究表明的程序的一致性,并表现出其优越性,一些现有的高维程序。应用于上述RNA测序数据,我们获得了非常令人信服的结果,成对的独立性/基因亚型表达的依赖性,证明了在该领域建立的先验知识。最后,Monte-Carlo实验表明,该方法对总体向量的正态性假设具有鲁棒性。
2015-04-20 stat.ME
Testing Independence of Bivariate Censored Data using Random Walk on Restricted Permutation Graph
在本文中,我们提出了一个程序来测试的二元删失数据的独立性,这是通用的,适用于任何类型的删失文献。为了检验这个假设,我们考虑一个基于秩的统计量,肯德尔的tau统计量。删失数据定义了所有可能的观测值秩的受限置换空间。我们提出的统计量,在限制置换空间的秩的Kendall的tau的平均值。为了评估统计量及其参考分布,我们开发了一个马尔可夫链蒙特卡罗(MCMC)程序,以获得均匀的样本的限制置换空间和数值近似的零分布的平均肯德尔的τ。我们将该方法应用于三个不同删失类型的真实数据实例,并将结果与现有方法进行了比较。我们结束了一些额外的讨论没有给出的文件的主体文件。
2022-07-11 stat.CO stat.ME
Nonparametric likelihood-free inference with Jensen-Shannon divergence for simulator-based models with categorical output
Helsinki Institute of Information Technology (HIIT)(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学);University of Oslo(奥斯陆大学);Wellcome Sanger Institute(惠康桑格研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
基于模拟器的统计模型的无可能性推理最近在机器学习和统计社区都引起了极大的兴趣。这些研究领域的主要焦点是通过各种类型的蒙特卡罗采样算法或基于深度神经网络的代理模型来近似模型参数的后验分布。迄今为止,基于模拟器的模型的频率论推理受到的关注要少得多,尽管它特别适用于大数据应用,其中可能性的隐式渐近近似预计是准确的,并且可以利用计算效率高的策略。在这里,我们得出了一组理论结果,使估计,假设检验和置信区间的模型参数使用渐近性质的詹森-香农发散的建设。这样的渐近近似提供了一个快速的替代计算密集型的方法,可以是基于模拟器的模型的各种应用程序的吸引力。61
2022-05-26 cs.LG stat.ME
Conditional Independence Testing for Discrete Distributions: Beyond $χ^2$- and $G$-tests
本文针对离散数据条件独立性检验,去除Poissonization并利用蒙特卡洛置换校准检验以弥合理论与实践的差距,同时证明经典 $χ^2$- 和 $G$-检验在高维下次优,并提供R包UCI实现。
2023-10-28 math.ST stat.CO stat.ME
QR-Adjustment for Clustering Tests Based on Nearest Neighbor Contingency Tables
两类或多类点之间的空间相互作用可能会导致空间聚类模式,如分离或关联,这可以使用最近邻列联表(NNCT)进行测试。一个NNCT构造使用最近邻(NN)对中的点的类类型的频率。对于NNCT测试,空模式是来自两个或更多个类的点的完全空间随机性(CSR)(称为CSR独立性)或随机标记(RL)。NNCT检验统计量的分布取决于自反NN的数量(用$R$表示)和共享NN的数量(用$Q$表示),这两者都取决于点的分配。因此,$Q$和$R$在RL下是固定量,但在CSR独立下是随机变量。在NNCT分析中使用它们的观测值,使得在CSR独立性下,NNCT检验统计量的分布以$Q$和$R$为条件。在这篇文章中,我使用CSR独立模式下$Q$和$R$的经验估计期望值来去除NNCT检验的条件(这样的校正称为\emph{QR-adjustment},此后)。我提出了一个蒙特卡罗模拟研究比较条件NNCT测试和QR调整测试下CSR独立和隔离和协会的替代品。我证明,QR调整并没有显着改善的经验规模估计下CSR的独立性和权力估计下隔离或关联的替代品。为了说明的目的,我应用条件和经验校正的测试两个示例数据集。
2008-07-26 stat.CO stat.ME
Differentially Private Nonparametric Hypothesis Testing
假设检验是数据挖掘的重要统计工具,也是许多领域科学研究的主力。在这里,我们研究分类变量和连续变量之间独立性的差异私人测试。我们以传统的非参数检验为起点,它不需要分布假设(例如,正态性(normality)。我们提出了私人类似物的Kruskal-Wallis,Mann-Whitney和Wilcoxon符号秩检验,以及参数单样本t检验。这些测试使用专门为私人设置开发的新颖的检验统计量。我们将我们的测试与先前的工作进行比较,包括参数和非参数测试。我们发现,在所有情况下,我们的新的非参数检验实现了大的改进,在统计功效,即使当参数检验的假设得到满足。
2019-03-22 cs.CR stat.ME