Scalable nonparametric Bayesian learning for heterogeneous and dynamic velocity fields
University of Michigan(密歇根大学);Duke University(杜克大学)
对复杂时空数据中的异构模式的分析在应用科学和工程的各个领域都有应用,包括训练自动驾驶汽车在复杂的交通场景中导航。在交通领域中出现的应用程序的动机,在本文中,我们开发了一个模型,用于学习异构和动态模式的速度场数据。我们从基本的非参数贝叶斯建模元素,如分层Dirichlet过程和无限隐马尔可夫模型,而每个均匀的速度场元素的光滑度是捕获的高斯过程前。特别关注的是所提出的模型的可扩展的近似推理方法,这是通过采用顺序MAP估计从无限HMM模型和一个有效的顺序GP后验计算技术,这是有效地工作在模拟数据集。最后,我们证明了我们的技术的NGSIM数据集的复杂的多车辆交互的有效性。
2021-02-15 cs.LG stat.ME stat.ML
Nonparametric Bayesian Factor Analysis for Dynamic Count Matrices
提出了一种伽玛过程动态泊松因子分析模型,用于对动态计数矩阵进行因子分解,该矩阵的列是顺序观测的计数向量。该模型建立了一个新的马尔可夫链,发送潜在的伽马随机变量在时间$(t-1)$的形状参数的那些在时间$t$,这是链接到观察到的或潜在的计数下的泊松似然。推断伽马形状参数的重大挑战得到充分解决,使用独特的数据增强和边缘化技术的负二项分布。相同的非参数贝叶斯模型也适用于动态二进制矩阵的因式分解,通过Bernoulli-Poisson链接将二进制观测连接到潜在计数,具有潜在计数的封闭形式条件后验和稀疏观测的有效计算。我们将该模型应用于文本和音乐分析,并获得了最先进的结果。
2015-12-30 stat.AP stat.ME stat.ML
Bayesian Nonparametric Hidden Semi-Markov Models
层次狄利克雷过程隐马尔可夫模型(HDP-HMM)作为无处不在的隐马尔可夫模型的自然贝叶斯非参数扩展,用于从序列和时间序列数据中学习,引起了人们的极大兴趣。然而,在许多设置中,HDP-HMM的严格马尔可夫约束是不可取的,特别是如果我们希望学习或编码非几何状态持续时间。我们可以扩展的HDP-HMM捕捉这样的结构,利用显式持续时间的半马尔可夫,这主要是在参数频率论的设置,允许建设高度可解释的模型,承认自然的先验信息状态持续时间。在本文中,我们介绍了显式持续时间层次狄利克雷过程隐半马尔可夫模型(HDP-HSMM),并开发了有效的后验推理的采样算法。我们介绍的方法也提供了新的方法在有限贝叶斯HSMM抽样推断。我们的模块化吉布斯抽样方法可以嵌入到更大的分层贝叶斯模型的采样器中,在贝叶斯推断工具箱中添加半马尔可夫链建模作为另一种工具。我们证明了HDP-HSMM和我们的推理方法在合成和真实实验上的实用性。
2012-09-07 stat.AP stat.ME stat.ML
Nonparametric Bayesian Sparse Graph Linear Dynamical Systems
提出了一种非参数贝叶斯稀疏图线性动力系统(SGLDS),用于对序列观测的多元数据进行建模。SGLDS使用Bernoulli-Poisson链接和伽马过程来生成一个无限维稀疏随机图来模拟状态转换。根据图亲和矩阵的相应行和列的稀疏模式,SGLDS的潜在状态可以被分类为非动态状态或动态状态。一个正常的伽玛结构被用来缩小非动态状态所捕获的能量,而动态状态可以被进一步分类为活的,吸收,或噪声注入状态,其捕获的基础时间序列的不同类型的动态分量。SGLDS的国家的最先进的性能证明与合成和真实数据的实验。
2018-02-21 stat.ME stat.ML
Bayesian nonparametric analysis for a species sampling model with finitely many types
本文对Gnedin(2009)提出的一类具有多种Gibbs形式的种群抽样模型进行了显式贝叶斯非参数分析,该模型具有$α= -1$型.我们的结果补充了Lijoi等人(2008)提出的$α\in [0, 1)$型Gibbs先验下的现有分析。计算依赖于Cerquetti(2008)中引入的Gibbs分区的组顺序构造。
2010-01-01 math.PR math.ST stat.TH
Bayesian Nonparametric Thompson Sampling for Multi-Armed Bandits
Columbia University(哥伦比亚大学)
该研究针对多臂老虎机问题,提出贝叶斯非参数汤普森采样算法,无需指定奖励模型参数形式,实验表明其后悔性能与Oracle TS相当,且在多种奖励分布场景下优于现有算法。
2026-10-14 cs.LG stat.CO stat.ML
Bayesian nonparametric multivariate convex regression
在经济学、运筹学和强化学习等许多应用中,经常需要估计受凸性约束的多元回归函数f。例如,在顺序决策过程中,在最优后续决策下的状态值可以已知为凸或凹。我们提出了一种新的贝叶斯非参数多元方法的基础上表征未知的回归函数的最大值的随机收集的未知超平面。该规范在凸函数空间上诱导了具有Kullback-Leibler意义上的大支持的先验,同时也导致了强后验一致性。虽然我们假设f定义在R^p上,但我们证明了当f实际上是一个d维线性子空间映射到R时,该模型在经验L2范数下的收敛速度为log(n)^{-1} n^{-1/(d+2)}.我们设计了一个有效的可逆跳MCMC算法的后验计算,并通过应用价值函数逼近的方法来证明。
2011-09-01 math.OC stat.ME stat.ML
Model specification via sequential coherence and backward induction
本文描述了如何通过逆向归纳过程指定数据分析的概率模型。新的方法产生一致的,先验的不确定性评估。在给出一些直观的例子后,将新方法应用于核密度估计,从而得到了一种计算非参数密度估计中逐点可信区间的新方法.新的方法有两个额外的优点:1)后验平均密度可以准确地近似,而不诉诸蒙特卡罗模拟和2)浓度范围很容易建立作为样本量的函数。
2015-02-21 stat.ME
Truncated Random Measures
完全随机测度(CRM)及其归一化是贝叶斯非参数先验的丰富来源。例子包括beta、gamma和Dirichlet过程。在本文中,我们详细介绍了两个主要类别的顺序CRM表示-系列表示和叠加表示-在其中,我们组织新的和现有的顺序表示,可用于模拟和后验推理。这两个类和它们的组成表示从属于先前以特定方式为特定过程开发的现有表示。由于一个完整的无限维CRM不能显式地用于计算,序列表示往往被截断的易处理性。我们提供了截断误差分析每一种类型的顺序表示,以及他们的规范化版本,从而推广和改进现有的截断误差界在文献中。我们分析了顺序表示的计算复杂性,结合我们的误差界,使我们能够直接比较表示,并讨论其相对效率。我们包括我们的理论结果,以常用的(归一化)标准物质的许多应用程序,表明我们的研究结果,使一个简单的表示和分析标准物质,以前没有在贝叶斯非参数上下文中。
2019-02-18 math.ST stat.ME stat.TH
Robust Particle Filtering via Bayesian Nonparametric Outlier Modeling
本文研究了一个非线性动态系统的在线估计问题。重点是异常值存在于正常噪声之间的情况。我们假设异常值遵循一个未知的产生机制,偏离正常的噪音,然后使用贝叶斯非参数模型称为狄利克雷过程混合(Dirichlet process mixture,简称EMM)的模型。一个顺序的粒子为基础的算法推导出后验推断的离群模型,以及系统的状态估计。由此产生的算法被称为基于鲁棒PF(DPM-RPF)。非参数特征使该算法允许数据“自己说话”,以确定离群值模型的复杂性和结构。仿真结果表明,它的性能显着优于两个国家的最先进的方法,特别是当离群值出现频繁沿时间。
2019-05-11 stat.CO
Trend Filtering -- I. A Modern Statistical Tool for Time-Domain Astronomy and Astronomical Spectroscopy
对具有不同平滑度的一维信号进行去噪的问题在时域天文学和天文光谱学中是普遍存在的。例如,在时域中,天体可能表现出平滑变化的强度,偶尔会被突然的下降或尖峰打断。同样,在光谱设置中,无噪声光谱通常包含与局部较高频率分量(诸如发射峰和吸收线)混合的相对平滑的间隔。在这项工作中,我们提出了趋势滤波,一个现代的非参数统计工具,产生显着的改善,在这个广泛的问题空间去噪$spatially$ $heterogeneous$信号。当潜在信号在空间上是不均匀的时,趋势滤波优于任何作为观测数据的线性组合的统计估计-包括核平滑器、LOESS、平滑样条、高斯过程回归和许多其他流行的方法。此外,可以经由专门的凸优化算法以实际和可扩展的效率计算趋势过滤估计,例如,在几分钟内处理$n\gtrsim10^7$的样本大小。在一个配套文件中,我们明确地证明了广泛的效用的趋势过滤观测天文学进行了一系列不同的光谱和时域分析。
2020-01-10 astro-ph.CO astro-ph.EP astro-ph.IM
A Metalearned Neural Circuit for Nonparametric Bayesian Inference
Princeton University(普林斯顿大学)
提出从非参数贝叶斯模型提取归纳偏置并转移至人工神经网络的方法,通过元学习序列模型实现开放类别集合上的快速序列推断,性能优于粒子滤波器等基线方法。
2023-11-24 cs.LG cs.NE stat.ML
An adaptive truncation method for inference in Bayesian nonparametric models
对于含有无穷维先验信息的贝叶斯非参数模型的后验推理,已有许多精确的马尔可夫链蒙特卡罗算法。然而,这些方法不是通用的,必须为不同类别的先验或不同的模型开发特殊的方法。或者,可以截断无限维先验,并使用标准的马尔可夫链蒙特卡罗方法进行推断。然而,对于许多模型来说,近似无限维后验的误差可能难以控制。本文提出了一种自适应截断方法,它允许截断的水平由算法决定,从而可以避免在逼近后验时出现较大的误差。截断先验序列的构建是使用嵌入在序贯蒙特卡罗算法中的马尔可夫链蒙特卡罗方法进行采样。讨论了具有棒断裂先验和具有独立增量先验的归一化随机测度的无限混合模型的实现细节。无限混合模型,半参数线性混合模型和非参数时间序列模型的方法进行了说明。
2014-05-21 stat.CO
Conditional distributions for the nested Dirichlet process via sequential imputation
针对嵌套狄利克雷过程后验分布计算复杂的问题,提出基于序贯插补的新方法,以高效确定条件分布。
2025-10-09 math.PR math.ST stat.TH
Bayesian Nonparametric Estimation of a Unimodal Density via two $\mathbf{S}$-paths
通过考虑一类含有单峰且不一定对称的随机密度的物种抽样混合模型,给出了实直线上单峰密度的贝叶斯非参数方法.这类密度推广了Brunner(1992,Statistist.可能吧Lett.),其中Dirichlet过程被更一般的一类物种抽样模型所取代。通过两个依赖的$\mathbf{S}$ -路径的有限混合物的后验分布的一种新的和明确的表征。这导致在封闭形式和听话的贝叶斯估计的任何单峰密度在两个$\mathbf{S}$路径的有限和。为了近似这类估计,我们提出了一个顺序重要性抽样算法,利用加速路径采样器的想法,一个有效的路径采样马尔可夫链蒙特卡罗方法。数值模拟证明了我们的方法的实用性和有效性。
2006-09-02 math.ST stat.TH
Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors
Duke University(杜克大学);Facebook AI
经过简单训练的神经网络往往会在顺序任务设置中经历灾难性遗忘,其中先前任务的数据不可用。一些方法,使用各种模型扩展策略,最近已经提出了可能的解决方案。然而,确定扩展模型的程度是留给实践者的,并且通常为了简单而选择恒定的时间表,而不管传入的任务有多复杂。相反,我们提出了一种基于印度自助过程(IBP)先验的原则性贝叶斯非参数方法,让数据决定模型复杂性的扩展程度。我们将其与神经网络权重矩阵的因子分解配对。这种方法允许每个权重矩阵的因子数量随任务的复杂性而缩放,而IBP先验鼓励稀疏权重因子选择和因子重用,促进任务之间的积极知识转移。我们在一些持续学习基准测试中证明了我们的方法的有效性,并分析了在整个训练过程中如何分配和重用权重因子。
2021-04-27 cs.LG stat.ML
A Bayesian Nonparametric Approach for Estimating Individualized Treatment-Response Curves
Johns Hopkins University(约翰霍普金斯大学)
我们研究的问题,估计随着时间的推移,使用观测时间序列的干预措施的连续反应-一个回顾性的数据集,其中的政策,数据生成是未知的学习者。我们的动机是响应因个人而异的应用程序,因此,在个人层面上估计响应对于个性化决策是有价值的。我们称之为估计个体化治疗反应(ITR)曲线的问题。在统计学中,G计算公式(Robins,1986)通常用于根据包含序贯治疗分配的观察数据估计治疗应答。然而,过去的研究主要集中在获得人口一级的时间点估计数。我们利用G-计算公式,并开发了一种新的贝叶斯非参数(BNP)方法,可以灵活地模拟功能数据,并提供后验推理的治疗反应曲线在个人和群体水平。在一个包含住院患者时间序列的具有挑战性的数据集上,我们估计了对用于管理肾功能的治疗的反应,并表明所得到的拟合比其他方法更准确。从观察数据中获得ITR的准确方法可以大大加快个性化治疗计划的步伐。
2016-12-10 cs.LG stat.ML
Small-Variance Nonparametric Clustering on the Hypersphere
Massachusetts Institute of Technology(麻省理工学院)
人造环境中的结构变形反映在其表面法线的分布上。描述这些表面正态分布在许多计算机视觉应用中是重要的,例如场景理解、平面分割和3D重建的正则化。基于贝叶斯非参数von-Mises-Fisher(vMF)混合分布的小方差极限,提出了两种新的面向曲面法线等方向数据的灵活高效的类k-means聚类算法.第一,DP-vMF-means,是一个批量聚类算法来自狄利克雷过程(DP)vMF混合。认识到在许多应用程序中的顺序性质的数据汇集,我们将此算法扩展到DDP-vMF-means,推断时间上不断演变的集群结构从流数据。这两种算法自然尊重方向数据的几何形状,它位于单位球面上。我们展示了他们的性能合成方向数据和真正的3D表面法线从RGB-D传感器。虽然我们的实验集中在3D数据,这两种算法推广到高维方向数据,如蛋白质骨架配置和语义词向量。
2016-07-21 cs.CV math.ST stat.AP
Sequential Embedding Induced Text Clustering, a Non-parametric Bayesian Approach
State University of New York at Buffalo(纽约州立大学布法罗分校);University of California, Irvine(加州大学欧文分校)
当前最先进的非参数贝叶斯文本聚类方法通过词袋上的多项分布对文档进行建模。虽然这些方法可以有效地利用文档的单词突发性表示,并取得不错的性能,但它们没有探索文本的顺序信息和同义词之间的关系。本文将文档建模为词袋、序列特征和词嵌入的结合点。我们提出了顺序嵌入诱导狄利克雷过程混合模型(SiDPMM),有效地利用这种联合文档表示文本聚类。序列特征由编码器-解码器组件提取。通过连续词袋模型(CBOW)产生的词嵌入来处理同义词。实验结果表明,我们的模型在两个主要方面的好处:1)提高了性能在多个不同的文本数据集的归一化互信息(NMI); 2)更准确的推理地面真理的聚类数与正则化效果的微小离群聚类。
2018-11-29 cs.IR cs.LG stat.ML
Nonparametric sequential prediction of time series
时间序列预测涵盖了医学、环境和经济等领域的日常统计应用。在本文中,我们开发的非参数预测策略的基础上组合的一组“专家”,并显示这些策略的普遍一致性的最低条件下。我们对现实世界的数据集进行了深入的分析,结果表明,这些非参数策略更灵活,更快,在归一化累积预测误差方面通常优于ARMA方法。
2008-01-02 math.PR stat.ME
Studies in Astronomical Time Series Analysis. VI. Bayesian Block Representations
本文讨论了时间序列和其他形式的序列数据中的局部变异性的检测和表征问题。目标是识别和表征统计上显著的变化,同时抑制不可避免的破坏性观测误差。我们提出了一个简单的非参数建模技术和实现它的算法-贝叶斯块(Scargle 1998年)的改进和推广版本-发现最佳分割的数据在观察区间。该算法的结构允许其用于实时触发模式或回顾模式。极大似然或边际后验函数来衡量模型的适应性提出了事件,装箱计数,并在任意时间与已知的误差分布的测量。所解决的问题包括那些与数据缺口,变量暴露,分段线性和分段指数表示,多变量时间序列数据,方差分析,数据上的循环,其他数据模式,分散的数据。仿真结果表明,弱信号的检测效率接近理论渐近极限(Arias-Castro,Donoho和Huo 2003)。本着可再现研究的精神(Donoho et al. 2008),本文中再现所有图形所需的所有代码和数据都作为辅助材料包括在内。
2012-08-06 astro-ph.IM math.ST stat.TH
Nonparametric Sequential Change-point Detection on High Order Compositional Time Series Models with Exogenous Variables
本文研究带外生变量的高阶成分时间序列模型,提出一种非参数序贯变点检测方法,证明了其渐近性质,并成功应用于汽车碰撞率数据的变点检测。
2025-03-04 stat.ME
Sequential Nonparametric Regression
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学)
我们提出的算法非参数回归的设置中的数据是连续获得的。虽然传统的估计器选择的带宽取决于样本量,对于连续数据的有效样本量是动态变化的。我们提出了一个线性时间算法,调整每个新的数据点的带宽,并显示估计达到最佳的极小极大收敛速度。我们还提出了使用在线专家混合算法来适应未知的光滑的回归函数。我们提供的模拟证实了理论结果,并证明了方法的有效性。
2012-06-27 astro-ph.IM cs.LG stat.ME
Sequential nonparametric tests for a change in distribution: an application to detecting radiological anomalies
我们提出了一个序贯非参数检验检测分布的变化,基于窗口Kolmogorov-Smirnov统计。该方法简单、鲁棒、计算效率高、易于校准,并且不需要对潜在的零分布和替代分布进行参数假设。我们表明,无论是误报率和权力,我们的程序是经得起严格的分析,该方法优于现有的顺序测试程序在实践中。然后,我们将该方法应用于检测放射性异常的问题,使用从测量的背景伽马辐射光谱在一个大型大学校园收集的数据。在这种情况下,所提出的方法导致执法和边境安全应用中感兴趣的放射性异常的检测时间的大幅改善。
2016-12-23 stat.ME
Sequential Data-Adaptive Bandwidth Selection by Cross-Validation for Nonparametric Prediction
本文从序贯的观点考虑了非参数回归模型中交叉验证的带宽选择问题。考虑到在应用程序中,人们经常同时针对估计,预测和变化检测,我们研究了顺序内核平滑器的方法,以便将这些任务基于单个统计数据。我们提供了统一的弱大数定律和弱一致性结果的交叉验证的带宽。弱相关误差项的扩展也进行了讨论。误差可以是α-混合或L2-近历元相关的,这保证了交叉验证和的一致收敛性和交叉验证带宽的一致性对于大类时间序列成立。通过分析光伏数据说明了该方法。
2010-10-29 math.PR math.ST stat.AP
Enhancing Scalability in Bayesian Nonparametric Factor Analysis of Spatiotemporal Data
针对中大型时空数据的贝叶斯非参数因子分析计算瓶颈,提出切片采样、最近邻高斯过程先验和顺序更新算法,提升可扩展性、存储效率及预测聚类性能。
2025-02-16 stat.CO stat.ME
Stochastic blockmodels for exchangeable collections of networks
我们使用贝叶斯非参数混合构造了一类新的随机块模型。这些模型允许我们联合估计多个网络的结构,并明确地比较它们背后的社区结构,同时允许我们捕捉底层网络的真实属性。使用MCMC算法进行推理,该算法采用顺序分配的拆分-合并步骤来改善混合。使用模拟研究和各种现实生活中的例子来说明模型。
2016-06-16 stat.ME
Using sequential drift detection to test the API economy
IBM Research(IBM研究院)
API经济是指API(高级编程接口)微服务的广泛集成,其中软件应用程序可以相互通信,作为业务模型和功能的关键要素。使用这种系统的可能方式是巨大的。因此,期望监控使用模式并识别系统何时以以前从未使用过的方式使用。这向系统分析员提供了警告,他们可以确保系统的不间断运行。在这项工作中,我们分析直方图和API使用的调用图,以确定系统的使用模式是否发生了变化。我们比较了应用非参数统计和贝叶斯序贯分析的问题。这样做的方式克服了重复统计测试的问题,并确保警报的统计意义。该技术进行了模拟和测试,并证明有效地检测在各种情况下的漂移。我们还提到了对该技术的修改,以减少其内存,以便在监测开始时延迟发生分布漂移时,它可以更快地响应。
2021-11-25 cs.LG stat.AP
Nonparametric iterated-logarithm extensions of the sequential generalized likelihood ratio test
本文对一元分布均值的序贯广义似然比(GLR)检验和相应的时间一致置信序列进行了非参数推广。通过利用几何解释的GLR统计量,我们推导出一个简单的分析上界的概率,它超过任何预先指定的边界,这些是难以近似通过模拟由于无限地平线的测试和复合非参数零值考虑。使用时间一致的边界穿越不等式,我们进行了一个统一的非渐近分析的预期样本量的单侧和开放式测试的非参数类的分布(包括次高斯,次指数,次伽玛,指数家庭)。最后,我们提出了一个灵活而实用的方法来构建时间均匀的置信序列,很容易调整到均匀接近逐点的Bubloff界在任何目标时间间隔。
2021-05-14 math.ST stat.ME stat.TH
Sequential Nonparametric Testing with the Law of the Iterated Logarithm
University of California, San Diego(加州大学圣地亚哥分校);University of California, Berkeley(加州大学伯克利分校)
我们提出了一个新的算法框架,顺序假设检验与i.i.d.数据,其中包括A/B检验,非参数两样本检验,独立性检验作为特例。它在几个方面是新颖的:(a)它需要线性时间和恒定的空间来计算,(b)它具有与非顺序版本的测试相同的功率保证,具有相同的计算约束,直到一个小的因子,(c)它只访问所需的样本-它的停止时间适应未知的问题难度。所有的检验统计量都是在原假设下的零均值鞅,并且拒绝阈值由一致的非渐近重对数律(LIL)决定。对于非参数两样本均值检验的情形,我们也给出了有限样本的功效分析,以及这类问题的第一非渐近停时的计算。我们验证了我们的预测I型和II型错误和停止时间使用模拟。
2016-03-02 cs.LG math.ST stat.ME
Nonparametric sequential change-point detection for multivariate time series based on empirical distribution functions
序贯变点检测的目的是当被监测的观测值的某些概率属性发生变化时发出警报。这项工作是关注的非参数,闭端检验程序的基础上的经验分布函数,旨在特别敏感的变化,在当代的多元时间序列分布的差异。建议的检测器是适应的统计数据中使用的后验(离线)变点测试,并涉及加权允许给予更多的重要性,最近的观察。由此产生的顺序变化点检测程序进行比较的检测器,通过估计的阈值函数,使假警报的概率保持近似恒定的监测期间。一个通用的结果的渐近有效性,这样一种方法估计的阈值函数的陈述。作为一个推论,渐进有效性的研究序贯检验的基础上,经验分布函数证明了这些进行时,使用一个依赖的乘数引导多变量时间序列。大规模的蒙特卡罗实验表明,所得到的程序具有良好的有限样本性质。衍生的序贯检验的应用说明了金融数据。
2020-10-25 stat.ME
E-detectors: a nonparametric framework for sequential change detection
本文提出基于e-过程的非参数序贯变化检测框架,通过Shiryaev-Roberts和CUSUM型e-检测器及其混合设计,在无独立同分布假设下实现有界随机变量均值变化检测,并提供虚警频率和检测延迟的非渐近及近最优界限。
2023-10-29 math.ST stat.ME stat.ML
Bayesian test of normality versus a Dirichlet process mixture alternative
本文提出基于狄利克雷过程混合备择模型的贝叶斯正态性检验方法,利用潜在聚类标量参数化和序贯重要性采样计算贝叶斯因子,在保持正态性成立时不误判的同时有效检测非正态性。
2019-11-14 math.ST stat.CO stat.ME
Non-partitioned e-detectors for nonparametric sequential change detection
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
针对变化前后分布均未知的非参数序贯变化检测问题,提出一类非分区电子检测器,证明其可达到一阶渐近最优检测延迟,适用于多种具体变化场景。
2026-07-31 math.ST stat.ME stat.ML
Sequential Dirichlet Process Mixtures of Multivariate Skew t-distributions for Model-based Clustering of Flow Cytometry Data
流式细胞术是一种高通量技术,用于在单细胞水平上定量多种表面和细胞内标志物。这使得能够识别细胞亚型,并确定它们的相对比例。该技术的改进允许使用多种标记物描述来自血液样品的数百万个单个细胞。这导致高维数据集,其手动分析非常耗时且可重复性差。虽然已经开发了几种方法来执行细胞群的自动识别,但它们中的大多数独立地处理和分析每个样品。然而,在实践中,单个样本很少是独立的(例如纵向研究)。在这里,我们建议使用贝叶斯非参数方法与Dirichlet过程混合物(dirichlet)的多变量斜$t$-分布进行基于模型的流式细胞术数据的聚类。$t$模型直接从数据中估计细胞群体的数量,避免了模型选择问题,并且偏斜$t$分布提供了对细胞群体的离群值和非椭圆形状的鲁棒性。为了适应重复测量,我们提出了一个顺序的策略依赖于参数近似的后验。我们说明了我们的方法在模拟数据上的良好性能,在实验基准数据集上,以及在DALIA-1试验的新纵向数据上,该试验评估了针对HIV的治疗性疫苗。在基准数据集上,顺序策略的性能优于所有其他评估方法,同样,DALIA-1数据的性能也有所提高。我们已经在R包NPflow中为社区提供了该方法。
2017-09-11 stat.ML
Peeking with PEAK: Sequential, Nonparametric Composite Hypothesis Tests for Means of Multiple Data Streams
Cornell Tech(康奈尔理工学院)
提出基于赌博框架的非参数序贯检验方法PEAK,用于多数据流均值复合假设检验,在保证第一类错误控制的同时显著减少样本量并降低计算复杂度。
2024-06-02 cs.LG stat.ME stat.ML
Open-end nonparametric sequential change-point detection based on the retrospective CUSUM statistic
在线监测的目的是,一旦收集到的观察结果中有重要证据表明基本数据生成机制发生了变化,就发出警报。这项工作是开放式的,非参数的程序,可以解释为统计检验。所提出的监测方案包括在每个新观测到达后计算所谓的回顾性统计量(或其微小变化)。提出合适的门限函数为所选的检测器后,渐近有效性的程序进行了调查的特殊情况下,监测的平均值的变化,无论是在平稳性和相关的替代品的原假设。为了在实际中进行序贯检验,采用了一种基于渐近回归模型的方法来估计相关极限分布的高分位数。Monte Carlo实验表明,良好的有限样本行为的建议的监测计划,并建议他们优于现有的竞争对手,只要变化不发生在一开始的监测。扩展到统计表现出的渐近平均行为进行了简要讨论。最后,推导出的顺序变点检测测试的应用程序简洁地说明了温度异常数据。
2020-07-20 math.ST stat.ME stat.TH
Nonparametric causal inference for optogenetics: sequential excursion effects for dynamic regimes
本文提出一种非参数因果推断框架,通过扩展序列偏移效应方法分析光遗传学实验中的动态治疗机制,解决了正定性违规下的因果效应估计问题,并提供了可识别性条件和渐近统计保证。
2025-07-01 stat.AP stat.ME
Reward Maximization for Pure Exploration: Minimax Optimal Good Arm Identification for Nonparametric Multi-Armed Bandits
Cornell Tech(康奈尔科技学院)
本文针对非参数多臂老虎机中的好臂识别问题,提出将奖励最大化采样与新型任意时刻有效序贯检验相结合的方法,在错误概率约束下实现最小最大最优停止时间,并在实验中显著减少样本量。
2024-10-21 cs.LG stat.ME stat.ML
Nonparametric covariance estimation for mixed longitudinal studies, with applications in midlife women's health
在混合纵向研究中,一组受试者在不同年龄进入研究(横断面),并连续几年(纵向)进行随访。在这样的研究背景下,我们考虑非参数协方差估计与噪声和部分观察到的功能轨迹的样本。该算法是基于一个非迭代的顺序聚合计划,只有基本的矩阵运算和封闭形式的解决方案,在每一步。理论和数值实验都证明了该方法的有效性。我们还提出了一个程序的中年妇女的工作记忆的研究,根据全国妇女健康研究(SWAN)的数据。
2020-12-01 math.ST stat.AP stat.CO
Inference procedures in sequential trial emulation with survival outcomes: comparing confidence intervals based on the sandwich variance estimator, bootstrap and jackknife
本研究通过模拟比较了序贯试验模拟中生存结局的多种置信区间构建方法,发现LEF自助法在小样本、低事件率场景下覆盖率最佳且计算高效,而三明治方差估计器在大样本、中高事件率时最优。
2024-07-12 stat.ME
A Conversation with Pranab Kumar Sen
Pranab Kumar Sen于1937年11月7日出生于印度加尔各答。他的父亲在Pranab 10岁时去世,因此他的母亲抚养了七个孩子的家庭。鉴于他在考试中的优异表现,Pranab差点进入医学院,但因为他未成年而没有。他于1955年获得加尔各答大学统计学学士学位,1957年获得硕士学位,两次都是全班第一。森博士的论文顺序统计量和nonparametrics下,教授哈里Kinkar南迪的指导下,完成于1961年。1961- 1964年在加尔各答大学任教三年后,森教授于1964年来到伯克利担任客座助理教授。1965年,他加入了北卡罗来纳大学教堂山分校的统计学和生物统计学系,并一直留在那里。森教授的开创性贡献几乎涉及统计学的每一个领域。他是第一个与S. K. Chatterjee,开发了多变量秩检验以及时间序列非参数方法。他也是第一个人谁进行了深入的研究,在顺序nonparametrics最终在他现在著名的威利书顺序Nonparametrics:不变性原则和统计推断和SIAM专着。森教授发表了600多篇研究论文。此外,他还撰写或合著了11本书和专著,并编辑或共同编辑了11卷。他已经指导了80多个博士学位。学生,其中许多人取得了国内和国际上的区别。Sen教授是两个国际期刊的创始共同编辑:序贯分析和统计与决策。
2009-06-23 stat.ME
Sequential changepoint detection in classification data under label shift
分类器预测通常依赖于假设新的观测值来自与训练数据相同的分布。当底层分布发生变化时,最优分类规则也会发生变化,性能可能会降低。我们考虑的问题,检测这种变化的分布在顺序观察,未标记的分类数据。我们专注于标签转移的变化,类先验转移,但类条件分布保持不变。我们把这个问题归结为一维分类器得分变化的检测问题,从而得到简单的非参数连续变点检测程序。我们的程序利用分类器训练数据来估计检测统计量,并收敛到训练数据大小的参数对应值。在模拟中,我们表明,我们的方法优于其他检测程序在这个标签移位设置。
2021-08-31 stat.ME stat.ML
Sequential Predictive Two-Sample and Independence Testing
Carnegie Mellon University(卡内基梅隆大学)
针对核方法在结构化数据序贯两样本与独立性检验中核选择困难的问题,提出基于预测的博弈检验策略,在结构化场景下效果更优且适用于分布漂移的非独立同分布数据。
2023-07-19 cs.LG math.ST stat.ME
A Predictive Approach to Bayesian Nonparametric Survival Analysis
贝叶斯非参数方法是分析生存数据的流行选择,因为它们能够灵活地模拟生存时间的分布。这些方法通常采用非参数先验的生存函数,这是共轭相对于右删失数据。得出这些先验,特别是在存在协变量的情况下,可能具有挑战性,并且推断通常依赖于计算密集型的马尔可夫链蒙特卡罗方案。在本文中,我们建立在最近的工作,改写贝叶斯推断分配一个预测分布的人口条件的观察样本的看不见的值,从而避免了需要指定一个复杂的先验。我们描述了一个基于Copula的预测更新,它允许一个可扩展的顺序重要性抽样算法来执行推理,正确地考虑右删失。我们提供了理论上的理由,通过扩展Doob的一致性定理,并说明了一些模拟和真实的数据集,包括一个例子与协变量的方法。我们的方法使分析师能够执行贝叶斯非参数推断,通过只有规范的预测分布。
2022-02-21 stat.CO stat.ME
Nonparametric Identification and Inference for Counterfactual Distributions with Confounding
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出非参数识别和半参数估计联合潜在分布的方法,通过条件Copula推导边界并引入因果表示学习框架,解决混杂因素问题,提供稳健的因果推断基础。
2026-02-17 stat.ME stat.ML
Nonparametric Two-Sample Testing by Betting
本文将序贯双样本检验重构为投注博弈,通过预测策略选择收益函数最大化投注者财富,并以核MMD实例化实现自适应检验,同时扩展至时间变化和不变性检验问题。
2025-08-22 cs.IT math.IT math.ST
ecp: An R Package for Nonparametric Multiple Change Point Analysis of Multivariate Data
有许多不同的方法可以执行变点分析,从纯参数方法到无分布方法。ecp软件包被设计用来执行多个变化点分析,同时尽可能少地做假设。虽然许多其他变点方法仅适用于单变量数据,但此R包适用于单变量和多变量观测。估计可以基于分层分裂或凝聚算法。分割估计通过二分算法顺序地识别变化点。凝聚算法通过确定最佳分割来估计变化点位置。这两种方法都能够检测数据中任何类型的分布变化。这提供了优于仅能够检测边缘分布内的变化的许多现有变化点算法的优点。
2013-11-23 stat.CO stat.ME
Exact Multivariate Two-Sample Density-Based Empirical Likelihood Ratio Tests Applicable to Retrospective and Group Sequential Studies
多元分布的非参数检验是研究中经常需要的。通常要求基于相对小的向量样本的测试程序精确地控制相应的第一类错误(TIE)率。通常,在多变量检验中,无零分布单变量方法的扩展,例如,Kolmogorov-Smirnov和Cramer-von Mises类型的方案是不精确的,因为它们的零分布取决于底层数据分布。本文扩展了基于密度的经验似然技术,以非参数近似的最强大的多元两样本(MTS)问题的测试,产生一个确切的有限样本检验统计量。我们严格地建立和应用一对一映射之间的平等的向量分布和相关的一元线性投影的分布的平等。在这个框架中,我们证明了一个算法,简化了投影寻踪的使用,只采用了几个无限多的线性组合观测向量分量。所显示的无分布策略以回顾和分组顺序的方式被采用。所提出的技术的渐近一致性。蒙特卡罗研究表明,所提出的程序在各种设置中表现出极高和稳定的功率特性。本文的补充材料可在网上查阅。
2021-01-12 math.ST stat.CO stat.ME
Anytime-valid sequential testing for elicitable functionals via supermartingales
本文利用评分与识别函数构造原假设下的非负超鞅,并结合 Ville 不等式及在线凸优化遗憾界,为可引出、可识别泛函的非参数序贯检验提供随时有效性与渐近功效保证。
2023-06-04 math.ST q-fin.RM stat.ME
Reducing sequential change detection to sequential estimation
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种使用置信序列将序贯变点检测归约为序贯估计的简单方法,在每个时间步开始新的置信序列并在交集为空时宣告变化,在最小结构假设下实现了强保证。
2023-11-25 cs.LG math.ST stat.ME
Discrete Sequential Barycenter Arrays: Representation, Approximation, and Modeling of Probability Measures
本文提出了一种基于离散顺序重心数组的概率测度表示方法,能够有效约束均值等关键函数值,同时保持建模灵活性,并通过混合模型应用展示了其在非参数建模中的有效性。
2025-12-01 math.ST stat.ME stat.TH
Simultaneous Nonparametric Confidence Bands for Load-Sharing Systems
本文研究了负荷分担系统的基准分布函数非参数置信带构造问题,针对参数已知和未知情况分别提出了基于Kolmogorov-Smirnov统计量的精确置信带和渐近置信带,并扩展了半参数估计的渐近理论。
2025-04-29 stat.ME
Nonparametric extensions of randomized response for private confidence sets
本研究在本地差分隐私约束下,通过泛化“随机响应”机制,提出了针对总体均值的非参数置信区间和时间一致置信序列,并将其扩展至时变均值,应用于私有在线 A/B 测试。
2024-07-24 cs.CR math.ST stat.ME