Estimating high-resolution Red Sea surface temperature hotspots, using a low-rank semiparametric spatial model
在这项工作中,我们估计极端海表温度(SST)热点,即,红海是一个生物多样性高的重要区域。我们分析了1985-2015年期间红海16703个网格单元的高分辨率卫星SST数据。我们提出了一个半参数贝叶斯空间混合效应线性模型,具有灵活的平均结构,以捕捉空间变化的趋势和季节性,而剩余的空间变异性是通过一个Dirichlet过程的混合(Dirichlet)的低秩空间学生- $t$过程(LTP)建模。通过为每个LTP混合成分指定特定于集群的参数,SST残差的大部分只会适度影响尾部推断和热点估计。我们提出的模型具有非平稳的均值、协方差和尾部相关性,并且通过吉布斯抽样可以有效地进行后验推断。在我们的应用中,我们表明,所提出的方法优于一些自然的参数和半参数的替代品。此外,我们还展示了如何识别热点,并根据代表性浓度路径4.5和8.5估计了整个红海的极端SST热点,预计到2100年。估计95%可信的联合高阈值区域包括覆盖红海南部主要濒危珊瑚礁的大片区域。
2020-10-18 stat.AP stat.ME
Spatial Modeling for Correlated Cancers Using Bivariate Directed Graphs
疾病地图是癌症流行病学的一个重要工具,用于分析疾病率的地理差异和调查空间模式背后的环境风险因素。癌症地图帮助流行病学家突出显示癌症患病率、发病率或死亡率高和低的地理区域,以及这些比率在空间域上的变化。当不止一种癌症感兴趣时,除了空间关联之外,模型还必须捕获疾病之间的固有或地方性关联。本文开发了两种或多种癌症的可解释和易于实现的空间自相关模型。这篇文章建立在单变量疾病映射的最新发展基础上,这些发展表明使用数学结构(如有向无环图)来捕获单个癌症的空间关联,估计两种癌症的固有或地方性关联,以及每种癌症的空间关联(聚类)。该方法构建了一个贝叶斯分层模型,其中空间效应被引入作为每种癌症的潜在随机效应。我们分析了从监测、流行病学和最终结果(SEER)项目中提取的食管癌和肺癌发病率之间的关系。我们的分析显示,加州各县肺癌和食道癌发病率之间存在统计学显著相关性。二元有向无环图模型的性能优于现有文献中的竞争二元空间模型。
2019-11-26 stat.AP
Estimation and uncertainty quantification for extreme quantile regions
极端分位数区域的估计是极端分析中的一项重要任务,极端分位数区域是未来极端事件可能以给定的低概率发生的空间,甚至超出了观测数据的范围。现有的方法来估计这些区域是可用的,但不提供任何估计不确定性的措施。我们开发了单变量和双变量方案估计极端分位数区域下的贝叶斯范式,优于现有的方法,并提供自然的措施分位数区域估计的不确定性。我们检查的方法的性能在控制模拟研究。我们说明了所提出的方法的适用性,通过分析高双变量分位数对污染物,有条件地在不同的温度梯度,记录在意大利米兰。
2020-10-27 stat.ME
Bayesian Analysis of Extreme Precipitation Events and Forecasting Return Levels
在这项研究中,我们研究了贝叶斯方法来分析极端日降雨量和预测回报水平。估计未来极端事件的发生概率和分位数在许多应用中非常重要,包括土木工程和公共基础设施的设计。与使用点估计来实现这一目标的传统分析相比,贝叶斯方法利用了从观测值导出的完整后验密度。贝叶斯方法提供了良好定义的可信(置信)区间,改进的预测,并能够捍卫严格的概率评估的好处。我们说明了贝叶斯方法,使用极端降水数据从长岛,纽约州,美国和显示,目前的回报水平,或降水风险,可能被低估。
2022-08-25 stat.AP
Model selection in extreme value regression for estimation of changes in return values over time applied to extreme annual regional CMIP6 desert temperatures
Lancaster University(兰卡斯特大学);MetOcean Research Ltd(MetOcean研究有限公司)
本文基于五个CMIP6模型输出,利用广义极值分布回归方法,评估五个沙漠地区100年一遇极值温度的变化趋势,发现极端最大值和最小值在更严重的强迫情景下均显著增加。
2026-08-26 physics.ao-ph stat.AP
Penalized Likelihood Methods for Estimation of Sparse High Dimensional Directed Acyclic Graphs
有向无环图(DAG)通常用于表示图形模型中随机变量之间的因果关系。这些模型的应用出现在物理和生物系统的研究中,其中节点之间的有向边表示系统组件对彼此的影响。从观测数据估计DAG的一般问题在计算上是NP困难的,而且两个有向图在观测上可能是等价的。当节点表现出自然排序时,估计有向图的问题就归结为估计网络结构的问题。在本文中,我们提出了一种惩罚似然方法,直接估计的DAG的邻接矩阵。同时考虑了套索和自适应套索惩罚,提出了一种有效的高维DAG估计算法。本文研究了当变量数随样本量增长到无穷大时,两种惩罚的变量选择一致性。我们表明,虽然套索只能一致地估计真实的网络在严格的假设下,自适应套索实现这一任务在温和的正则条件。所提出的方法的性能进行比较,替代方法在模拟,以及真实的,数据的例子。
2009-11-28 math.ST stat.ME stat.ML
Directed Time Series Regression for Control
Stanford University(斯坦福大学)
提出定向时间序列回归方法,结合最小二乘回归与经验优化的优点,用于确定性等价模型预测控制中的时间序列模型参数估计,在随机倒立摆平衡问题中显著提升控制器性能。
2012-06-26 cs.LG cs.SY eess.SY
Sequential Computer Experimental Design for Estimating an Extreme Probability or Quantile
University of British Columbia(不列颠哥伦比亚大学)
计算机代码可以模拟系统从随机输入到输出质量度量的变化传播。我们的目标是在没有大型蒙特卡罗实验的情况下估计临界输出尾部概率或分位数。相反,我们为输入-输出关系建立了一个统计代理,并进行了适度的评估,然后在标准的指导下依次添加更多的运行,以改善估计。我们比较了文献中的两个标准。此外,我们调查两个实际问题:如何设计初始代码运行和如何建模的输入分布。因此,我们缩小了序贯设计理论与其应用之间的差距。
2019-08-14 cs.LG stat.ML
Kernel Optimal Orthogonality Weighting: A Balancing Approach to Estimating Effects of Continuous Treatments
许多科学问题需要估计连续治疗的效果。结果建模和基于广义倾向得分的加权回归是评价连续效应最常用的方法。然而,这些技术可能对模型错误指定、极端权重或两者敏感。在本文中,我们提出了核最优连续性加权(KOOW),凸优化为基础的方法,估计连续治疗的效果。KOOW找到使连续治疗和混杂因素之间的最差情况惩罚函数协方差最小化的权重。通过最小化该数量,KOOW成功地提供了使混杂因素和连续治疗正交化的权重,从而提供了最佳协变量平衡,同时控制了极端权重。我们评估其比较性能的模拟研究。使用来自妇女健康倡议观察性研究的数据,我们应用KOOW来评估红肉消费对血压的影响。
2019-10-26 stat.AP stat.ME stat.ML
Exact Estimation of Multiple Directed Acyclic Graphs
研究了多个相关有向无环图模型的结构估计问题。基于最近的发展,在精确估计的DAG使用整数线性规划(ILP),我们提出了一个ILP方法联合估计多个DAG,不需要在每个DAG中的顶点共享一个共同的顺序。此外,我们还允许DAG之间的(可能未知的)依赖结构。模拟数据和fMRI数据从多个科目的结果。
2014-11-12 stat.ML
Embedded Polygon Symbolic Transfer Entropy (EPSTE): A Geometric Token and Deep Learning Approach to Estimating Transfer Entropy in Neuroimaging Time Series
提出EPSTE框架,将传递熵估计转化为基于局部时间形态几何符号表示的可学习问题,结合循环神经网络与注意力多实例学习,在MEG数据上实现稳定有向依赖估计。
2026-06-23 cs.IT math.IT stat.ML
Large-scale nonlinear Granger causality: A data-driven, multivariate approach to recovering directed networks from short time-series data
University of Rochester(罗切斯特大学)
为了深入了解复杂系统,从观测的时间序列数据中推断非线性因果方向关系是一个关键挑战。具体而言,估计因果关系的相互作用的组件在大型系统中只有很短的记录在几个时间的观察仍然是一个重要的,但尚未解决的问题。在这里,我们介绍了一个大规模的非线性格兰杰因果关系(lsNGC)的方法来推断方向,非线性,多变量因果关系的系统组件之间的相互作用,从短的高维时间序列记录。通过从有限的观测数据与非线性状态空间变换的相互作用建模,lsNGC确定的因果关系,没有明确的先验假设组件的时间序列之间的功能相互依赖的计算效率的方式。此外,我们的方法提供了一个数学公式,揭示推断的因果关系的统计意义。我们广泛地研究了lsNGC从2节点到34节点混沌时间序列系统恢复网络结构的能力。我们的研究结果表明,lsNGC从有限的观测数据中捕获有意义的相互作用,与传统方法相比,它表现良好。最后,我们证明了lsNGC的适用性,估计因果关系在大型,现实世界的系统中,通过推断方向的非线性,多变量的因果关系之间的大量的相对较短的时间序列获得的功能性磁共振成像(fMRI)数据的人脑。
2020-09-10 cs.IT cs.LG math.IT
p-value peeking and estimating extrema
统计假设检验中的一个普遍问题是,报告的$p$值因数据“窥视”而向下偏置--这种做法是随着收集更多的数据样本,只报告检验统计量的渐进极值。我们开发了原则性的机制来估计这种运行极值的检验统计量,直接解决在一些一般情况下的偷窥效果。
2020-11-02 math.ST stat.ME stat.ML
Estimating and Controlling the False Discovery Rate for the PC Algorithm Using Edge-Specific P-Values
PC算法允许研究人员从有限数据集估计一个完整的部分有向无环图(CPDAG),但很少有研究小组研究用于估计和控制CPDAG中边的错误发现率(FDR)的策略。在本文中,我们介绍了PC与p值(PC-p),一个快速算法,鲁棒地计算边缘特定的p值,然后估计和控制FDR的边缘。PC-p专门使用许多条件独立性检验返回的p值来上限更复杂的边缘特定假设检验的p值。然后,该算法使用有界p值和Benjamini-Yekutieli FDR程序来估计和控制FDR。对原始PC算法的修改也有助于PC-p准确地计算上界,尽管非零第二类错误率。实验表明,与其他方法相比,PC-p在各种CPDAG中产生更准确的FDR估计和边缘控制。
2017-05-10 stat.ME stat.ML
Decentralized Hyper-Gradient Computation over Time-Varying Directed Networks
Osaka University(大阪大学);Hitachi, Ltd.(日立制作所)
针对去中心化联邦学习中超梯度估计通信成本高、无法适配时变有向网络的问题,提出基于Push-Sum平均的最优性条件,推导得到低通信成本、适配时变有向网络的超梯度估计器,验证其收敛性并拓展了新应用场景。
2023-06-13 cs.LG stat.ML
How many asymmetric communities are there in multi-layer directed networks?
School of Economics and Finance, Chongqing University of Technology(经济与金融学院,重庆理工大学)
本文提出了一种新的检验方法,用于确定多层有向网络中发送者和接收者社区的数量,通过分析最大奇异值的偏差来实现。
2026-02-25 cs.LG math.ST stat.ME
On Estimating Many Means, Selection Bias, and the Bootstrap
随着高通量技术的最新进展,研究人员经常发现自己运行大量的假设检验(数千+)和估计大量的效应量。一般来说,人们特别关注那些估计最极端的影响。不幸的是,这些效应量的天真估计(即使在测试程序中可能考虑多重性之后)可能会严重偏倚。在这篇手稿中,我们从频率论的角度探讨了这种偏差:我们给出了一个正式的定义,并表明使用这种偏差的甲骨文估计占主导地位的天真最大似然估计。我们给出了一个估计近似这个预言,并表明它可以很好地工作在模拟数据。我们还将其与经验贝叶斯的思想联系起来。
2013-11-15 stat.ME stat.ML
Extreme value statistics for censored data with heavy tails under competing risks
本文讨论了在随机截尾和竞争风险存在的情况下,在重尾情形下,与一个特定原因相关的(子)分布函数的极值指数的估计问题。所提出的估计(具有Aalen-Johansen积分的形式,并且是在此上下文中提出的第一个估计)的渐近正态性被建立。一个小的模拟研究显示其性能有限的样本。本文还讨论了累积发生率函数的极值分位数的估计问题。
2017-01-19 math.ST stat.ML stat.TH
Directed Information Graphs
University of Illinois(伊利诺伊大学);Purdue University(普渡大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个图形模型表示网络的随机过程,最小生成模型图。它基于联合分布随时间的简化因子分解。我们表明,在适当的条件下,它是唯一的和一致的另一种类型的图形模型,有向信息图,这是基于一个推广的格兰杰因果关系。我们演示了如何有向信息量化格兰杰因果关系在一个特定的顺序预测设置。我们还开发了有效的方法来估计的拓扑结构的数据,估计联合统计。一种算法假设度的上界,并使用必要的最小维统计。在上界无效的情况下,所得到的图仍然是最佳近似。另一种算法使用接近最小维统计时,没有边界是已知的,但分布满足一定的标准。类似于无向图模型的结构学习算法如何使用互信息估计,这些算法使用有向信息估计。我们刻画了两个插入式有向信息估计量的样本复杂性,并得到了置信区间。对于点估计不可靠的情况,我们提出了一种算法,它使用置信区间来确定对估计误差具有鲁棒性的最佳近似。最后,我们通过对Twitter网络的合成数据和真实数据的分析,证明了所提出的算法的有效性。在后一种情况下,我们仅通过分析推文次数来确定哪些新闻来源影响网络中的用户。
2015-03-11 cs.AI cs.IT math.IT
Causal Compression
我们提出了一种新的方法来发现因果关系的时态数据的因果压缩的概念的基础上。为此,我们采用Pearlian图设置和有向信息作为量化因果关系的信息论工具。我们引入链规则的有向信息,并使用它来激励因果稀疏。我们展示了所提出的方法的两个应用:因果时间序列分割,选择时间点捕获的传入和传出的因果流之间的时间点属于不同的信号,因果二分图恢复。我们证明,在所采用的设置中的因果关系建模只需要估计数据分布的Copula密度,因此不依赖于它的边际。我们评估时间分辨基因表达数据的方法。
2016-11-01 stat.ML
Extreme Compressive Sampling for Covariance Estimation
本文研究了仅使用每个向量的高度压缩的测量值来估计向量集合的协方差的问题。提出了一种基于这些压缩样本的反投影估计器,并进行了分析。无分布分析表明,通过观察每个向量的单个线性测量,可以在无穷大和谱范数下一致地估计协方差阵,并且这种相同的分析导致在两个范数下的精确收敛率。通过信息论技术,下界表明该估计是极小极大最优的无穷和谱范数估计问题。这些结果也专门提供匹配的上限和下限估计的人口协方差的高斯向量的集合,再次在压缩测量模型。在本文中进行的分析表明,该问题的有效样本的复杂性是由$m^2/d^2$的一个因素,其中$m$是压缩尺寸和$d$是环境尺寸缩放。应用子空间学习(主成分分析)和分布式传感器网络的学习也进行了讨论。
2019-01-15 cs.IT math.IT stat.ML