Unbounded Density Ratio Estimation and Its Application to Covariate Shift Adaptation
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Department of Mathematics, Hong Kong Baptist University(香港浸会大学数学系)
本文研究无界密度比估计及其在协变量移位适应中的应用,提出三步估计方法,通过截断操作控制无界性,并建立非渐近收敛性保证。
2026-03-31 cs.LG stat.ML
Posterior Ratio Estimation of Latent Variables
University of Bristol(布里斯托大学)
密度比估计由于其比较两个数据集的底层分布的能力而引起了机器学习社区的关注。然而,在某些应用中,我们希望比较来自观测值的\emph{inferred}随机变量的分布。本文研究潜变量的两个后验概率密度函数之比的估计问题。特别是,我们假设后验比函数可以很好地近似的参数模型,然后估计使用观察到的信息和先验样本。证明了当先验样本数趋于无穷大时,估计量的相合性和估计参数的渐近正态性。最后,我们使用数值实验验证我们的理论,并通过一些实际应用证明了所提出的方法的实用性。
2020-06-25 cs.LG stat.ML
BORE: Bayesian Optimization by Density-Ratio Estimation
University of Sydney(悉尼大学);CSIRO’s Data61(联邦科学与工业研究组织Data61);Amazon(亚马逊);NVIDIA(英伟达)
贝叶斯优化(BO)是最有效和最广泛使用的黑盒优化方法之一。BO提出的解决方案,根据探索利用权衡标准编码的采集功能,其中许多是计算从后验预测的概率代理模型。其中普遍存在的是预期改善(EI)功能。确保预测的分析易处理性的需求通常会带来限制,这些限制可能会阻碍BO的效率和适用性。在本文中,我们投EI的计算作为一个二元分类问题,建立在类概率估计和密度比估计之间的联系,以及密度比和EI之间的鲜为人知的联系。通过规避易处理性约束,这种重构提供了许多优点,尤其是在表达性、多功能性和可伸缩性方面。
2021-02-17 cs.LG stat.ML
Quickest Change-point Detection in Generalized Linear Models with Variational Estimation
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(乔治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学校)
针对广义线性模型变后参数未知的最快变点检测问题,提出窗口受限的CUSUM程序,采用变分不等式估计,经理论分析和数值实验验证其检测性能与最优性。
2026-10-14 stat.ME stat.ML
Mode-Seeking Clustering and Density Ridge Estimation via Direct Estimation of Density-Derivative-Ratios
观测数据背后的概率密度函数的模和脊是有用的几何特征。模式搜索聚类通过将数据样本与最近的模式相关联来分配聚类标签,并且密度脊的估计使我们能够找到隐藏在数据中的低维结构。在模式搜索聚类和密度岭估计中的一个关键技术挑战是精确估计一阶和二阶密度导数与密度的比率。一种简单的方法采用三步方法,首先估计数据密度,然后计算其导数,最后计算它们的比率。然而,这种三步方法可能是不可靠的,因为好的密度估计器不一定意味着好的密度导数估计器,并且除以估计的密度可能显著放大估计误差。为了解决这些问题,我们提出了一种新的估计的\emph{density-derivative-ratios}。建议的估计不涉及密度估计,而是\emph{directly}近似的任何顺序的密度导数的比率。此外,我们建立了一个收敛速度的估计。基于所提出的估计器,新的方法,无论是模式搜索聚类和密度脊估计,并建立各自的收敛速度的模式和脊的基础密度。最后,我们的实验表明,开发的方法显着优于现有的方法,特别是对于相对高维的数据。
2018-03-30 stat.ML
Retrospective change-point detection and estimation in multivariate linear models
本文研究了多元线性模型的回溯变点检测与估计问题。证明了在不同情况下(一个变点:确定性和随机预报,多个变点)变点点估计误差的下界。提出了一种新的回溯性变点检测与估计方法,并研究了在确定性和随机性预报变量以及未知变点情况下,回溯性变点检测与估计方法的主要性能特征(第1类和第2类误差,估计误差)。当样本量趋于无穷大时,我们通过变点估计收敛到其真值的阶证明了该方法是渐近最优的。所提出的方法的主要性能特点的仿真研究结果与其他知名的方法的回顾性变点检测和估计。
2011-10-26 math.ST stat.TH
Riesz Regression As Direct Density Ratio Estimation
本文阐明了里斯Z回归与因果推断中密度比估计的关系,证明了里斯回归与重要性拟合准则等价,为密度比估计提供了新方法。
2026-03-24 cs.LG econ.EM math.ST
Representation learning for maximization of MI, nonlinear ICA and nonlinear subspaces with robust density ratio estimation
Future University Hakodate(函馆未来大学);National Graduate Institute for Policy Studies(政策研究大学院大学);RIKEN AIP(理化学研究所先进智能项目中心)
对比学习是无监督表示学习中一种很有前途的方法,其中数据的特征表示是通过解决来自未标记数据的伪分类问题来学习的。然而,理解对比学习产生什么并不简单。另外,对比学习通常基于最大似然估计,这往往容易受到离群值的污染。为了加深对对比学习的理解,本文首先从理论上揭示了互信息(MI)最大化的联系。我们的结果表明,在一定条件下,密度比估计是极大化MI的充分必要条件。因此,与密度比估计相关的对比学习,如在流行的目标函数中所做的,可以被解释为最大化MI。其次,利用密度比,我们建立了非线性独立分量分析(ICA)中潜在源分量的新恢复条件。与现有的工作相比,所建立的条件包括一个新的洞察数据的维数,这是明确的支持数值实验。此外,受非线性ICA的启发,我们提出了一种新的框架来估计低维潜在源分量的非线性子空间,并建立了一些理论条件的子空间估计的密度比。然后,我们提出了一种实用的方法,通过离群鲁棒密度比估计,它可以看作是执行最大化的MI,非线性ICA或非线性子空间估计。此外,还提出了一种样本有效的非线性ICA方法。我们从理论上研究了所提出的方法的离群鲁棒性。最后,所提出的方法的有用性数值证明在非线性ICA和通过应用到线性分类。
2022-08-08 cs.LG eess.SP stat.ML
Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation
极大似然估计训练的自回归序列生成模型在实际有限样本情况下存在暴露偏差问题。问题的关键在于极大似然估计的训练样本数通常是有限的,而且在训练和推理阶段输入数据的分布是不同的。已经提出了许多方法来解决上述问题(Yu等人,2017; Lu等人,2018年),它依赖于非平稳模型分布的采样,并遭受高方差或有偏估计。在本文中,我们提出了一种新的自回归序列生成模型的训练方案,它是有效的和稳定的,当运行在文本生成中遇到的大样本空间。我们得到我们的算法从一个新的角度来看,自我增强和密度比估计引入偏差校正。在合成数据和真实文本生成任务上的大量实验结果表明,我们的方法在质量和多样性方面稳定地优于极大似然估计和其他最先进的序列生成模型。
2020-07-12 cs.CL cs.LG stat.ML
Estimation in a change-point nonlinear quantile model
本文研究了一类具有变点的非线性分位数模型。分位数估计方法作为一种特殊情况,包括中位数模型,相对于其他传统的方法更强大的模型误差包含离群值。在较弱的假设下,得到了变点估计和回归参数估计的收敛速度和渐近分布。通过Monte Carlo模拟的数值研究表明,所提出的方法的性能的非线性模型与变点。
2015-02-27 math.ST stat.TH
Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
CyberAgent, Inc.(赛博代理公司);The University of Tokyo(东京大学)
密度比估计(DRE)是异常检测和领域自适应等各种机器学习任务的核心。在现有的DRE研究中,基于Bregman散度(BD)最小化的方法得到了广泛的研究。然而,当BD最小化应用于高度灵活的模型(如深度神经网络)时,往往会遭受我们所说的训练损失黑客攻击,这是由经验BD估计量的典型特征引起的过拟合的来源。在本文中,为了减轻列车损失黑客攻击,我们提出了一个非负校正的经验BD估计。理论上,我们通过一个泛化误差界证实了所提出方法的合理性。通过实验,我们提出的方法表现出良好的性能,在基于内点的离群点检测。
2021-07-17 cs.CV cs.LG stat.ML
Projection Pursuit Density Ratio Estimation
Renmin University of China(中国人民大学)
本文提出基于投影寻踪近似的密度比估计方法,以缓解高维数据下的维度灾难并保持模型灵活性,同时证明其一致性与收敛速率,实验表明该方法在多种应用中优于现有方法。
2025-06-01 cs.LG stat.ME stat.ML
f-divergence estimation and two-sample homogeneity test under semiparametric density-ratio models
密度比由两个概率密度的比定义。研究了密度比的推断问题,并将半参数密度比估计应用于两样本齐性检验。在建议的测试程序中,两个概率密度之间的f-发散估计使用密度比估计。然后利用f-散度估计进行双样本齐性检验。在渐近方差意义下,我们得到了f-散度的最优估计,并研究了所提出的检验方法与现有的基于经验似然估计的score检验方法之间的关系.通过数值研究,我们说明了有限样本推理的渐近理论的充分性。
2010-10-24 stat.ML
Detection and Estimation of Multiple Transient Changes
变点检测方法提出的情况下,暂时的故障,或瞬态变化,当一个意想不到的障碍,最终由一个重新调整,并返回到初态。“控制中”状态的基本分布在未知的时间段内变为“失控”分布。基于似然法的顺序和回顾性的工具,提出了每对变化点的检测和估计。获得的变点估计的准确性进行了评估。建议的方法提供同时控制familywise误报率和错误的重新调整率在预先选定的水平。
2021-12-12 math.ST stat.TH
Element-wise estimation error of a total variation regularized estimator for change point detection
本文研究了变点检测问题中的全变差正则化$\ell_2$估计(融合套索)。与现有的集中在平方估计误差和的工作相比,我们给出了按元素估计误差的界。我们的界限是接近最优的意义上,平方误差的总和匹配现有的最佳结果,对数因子。这种逐元素估计误差的分析允许可以近似检测所有变化点的筛选方法。我们还将此方法推广到多变量设置,即,来解决群体融合套索的问题。
2019-01-03 math.ST stat.TH
Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation
Mizuho-DL Financial Technology Co., Ltd.(瑞穗DL金融科技有限公司);Nagoya University Graduate School of Medicine(名古屋大学医学部)
针对协变量偏移下重要性加权依赖密度比估计并引入偏差的问题,提出结合回归函数与 double machine learning 的双重稳健估计量,证明其渐近性质与一致性,并通过模拟验证有效性。
2024-10-26 cs.LG econ.EM stat.ME
Distribution estimation and change-point estimation for time series via DNN-based GANs
University of Essex(埃塞克斯大学);University of Macau(澳门大学);Boston College(波士顿学院)
生成对抗网络(GANs)近年来被应用于独立同分布数据的分布估计,并引起了广泛的研究关注。在本文中,我们使用分块技术来证明GANs估计平稳时间序列分布的有效性。从理论上讲,我们推导出基于深度神经网络(DNN)的GANs估计器对时间序列平稳分布的非渐近误差界。在理论分析的基础上,提出了一种估计时间序列分布变点的算法。两个主要结果分别用两个Monte Carlo实验进行了验证,一个是估计20维AR(3)模型的$5$ -元组样本的联合平稳分布,另一个是估计两个不同平稳时间序列组合时的变点。人类活动识别数据集的真实世界经验应用突出了所提出的方法的潜力。
2023-02-07 cs.LG math.ST stat.TH
Quickest Change Detection with Post-Change Density Estimation
针对变点后分布未知的最速变点检测问题,提出NGLR和NWLA两种CuSum检验,无需变点后训练样本,在误报率趋于零时证明其一阶渐近最优性并通过数值验证。
2023-11-25 eess.SP math.ST stat.TH
Estimation of multiple change points under a generalised Ornstein-Uhlenbeck framework
Ornstein-Uhlenbeck过程的使用在商业、经济和金融中无处不在,以捕获各种价格过程和表现出均值回复特性的经济指标的演变。当结构性变化发生时,经济动态会发生急剧变化,这些变化发生的时间对决策者、投资者和金融产品提供者特别重要。本文讨论了一个推广的非线性模型下的变点问题,并研究了相关的统计推断。我们提出了两种估计方法来定位多个变点,并显示估计的渐近性质。在检测变点时采用了信息化方法,并从理论上证明了方法的一致性。在变点的数量和位置都未知的情况下考虑估计。三个计算算法进一步开发的实施。我们的方法的实际适用性说明使用模拟和观察的金融市场数据。
2017-05-29 stat.ME
Change point estimation for the telegraph process observed at discrete times
电报过程模拟了有限速度的随机运动,它通常被提议作为扩散模型的替代。该过程描述了在实数线上以恒定速度$+ v$或$-v$移动的粒子的位置。方向的变化是由一个具有速率$λ>0.$的齐次Poisson过程控制的。本文利用最小二乘法研究了泊松过程速率的变化点估计问题。得到了变点估计的相合性和收敛速率,并导出了变点估计的渐近分布。实际数据的应用也被提出。
2007-05-03 math.PR math.ST q-fin.ST
Estimation for the change point of the volatility in a stochastic differential equation
考虑多维Itô过程$Y=(Y_t)_{t\in[0,T]}$,其中漂移系数过程$b_t$和波动系数过程$σ(X_t,θ)$均为未知,协变量过程$X=(X_t)_{t\in[0,T]}$为未知,其中函数$σ(x,θ)$直到$θ\inΘ$都是已知的.对于这个模型,我们考虑的变点问题的参数$θ$的波动性组件。这种变化应该发生在$t^*\in (0,T)$的某个点。给出了过程$(X,Y)$的离散时间观测值,提出了变点的拟极大似然估计.给出了变点估计的收敛速度和渐近混合型极限定理。
2009-06-17 math.PR math.ST stat.AP
Change-point problem: Direct estimation using a geometry inspired identifiable reparameterization
针对变点均值偏移估计中的过度参数化问题,提出基于修改角环面参数空间和黎曼度量的新估计方法,其性能优于MLE并在比特币数据上得到验证。
2025-07-11 stat.ME
Estimation of weak ARMA models with regime changes
本文在误差不相关但不一定独立的假设下,得到了具有状态变化的自回归滑动平均(ARMA)模型的最小二乘估计(LSE)的渐近性质。放松独立性假设,大大扩展了一类政权变化的ARMA模型的应用范围。给出了最小二乘估计的相合性和渐近正态性的条件。一个特别注意的渐近协方差阵,这可能是非常不同的标准框架中获得的估计。通过Monte Carlo实验说明了理论结果。
2019-07-10 math.ST stat.TH
Continuous Optimization for Offline Change Point Detection and Estimation
本文将最佳子集选择的连续优化框架COMBSS适配于单变量高斯序列的离线变点检测,通过稀疏正则化逆问题建模,并在模拟数据上验证了不同惩罚参数选择策略的有效性。
2024-07-03 stat.CO stat.ME stat.ML
Equivariant Variance Estimation for Multiple Change-point Model
本文针对多变点模型提出等变方差估计框架,刻画了等变无偏二次方差估计器的集合,并建立了相应的极小极大理论。
2023-11-16 math.ST stat.ME stat.TH
Quickest Change Detection with Leave-one-out Density Estimation
考虑了独立观测序列中的最快变化检测问题。假设变更前分布已知,而变更后分布完全未知。一个窗口有限的留一法(LOO)CuSum测试,它不假设任何知识的变化后的分布,并且不需要任何变化后的训练样本。结果表明,在一定的收敛条件下的密度估计,LOO-CuSum测试是一阶渐近最优的,虚警率为零。分析通过数值结果进行验证,其中LOO-CuSum测试与具有分布知识的基线测试进行比较。
2022-11-04 eess.SP math.ST stat.TH
Condition Number Analysis of Kernel-based Density Ratio Estimation
两个概率密度的比率可以用于解决各种机器学习任务,例如协变量移位自适应(重要性抽样),离群值检测(似然比检验)和特征选择(互信息)。最近,已经开发了几种直接估计密度比的方法,例如,核均值匹配、极大似然密度比估计和最小二乘密度比拟合。在本文中,我们考虑一个核化的最小二乘方法的变体,并从条件数的角度使用平滑分析技术研究其理论性质--Hessian矩阵的条件数决定了优化的收敛速度和数值稳定性。我们表明,核最小二乘方法有一个更小的条件数比核均值匹配和其他M-估计的版本,这意味着核最小二乘方法具有更好的数值特性。我们进一步给出了另一种形式的核最小二乘估计,这是具有更小的条件数。我们表明,数值研究符合我们的理论分析。
2009-12-15 math.ST stat.ML stat.TH
Local estimation of the Hurst index of multifractional Brownian motion by Increment Ratio Statistic method
本文研究了多重分数布朗运动的增量比统计量的中心极限定理,从而得到了时变Hurst指数的CLT。证明是相当简单的依赖布鲁尔主要定理和原来的冻结时间的战略。仿真研究表明了该估计量的拟合优度。
2010-10-23 math.PR math.ST stat.TH
Alternating Pruned Dynamic Programming for Multiple Epidemic Change-Point Estimation
本文研究了流行病背景下单变量序列的多个变点检测问题,其中序列的行为在一个共同的正常状态和不同的流行病状态之间交替.这是经典(单一)流行病变点测试问题的非平凡推广。为了明确地将交替结构的问题,我们提出了一种新的模型选择为基础的方法,同时推理的变点和交替状态。利用与轮廓似然相同的精神,我们开发了一种两阶段交替修剪动态规划算法,该算法对模型选择标准进行了有效和精确的优化,并将$O(n^2)$作为最坏情况的计算成本。大量的数值实验表明,与经典的通用多变点检测方法相比,该方法提高了变点估计和模型参数估计的精度。我们进一步展示了所提出的算法的应用前景多重检验与局部聚类信号,并证明了其优势,在大规模的多重检验,在DNA拷贝数变异检测,并在海洋学研究的现有方法。
2021-01-05 stat.ME
Generalized Direct Change Estimation in Ising Model Structure
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
我们考虑的问题,估计两个$p$ -维伊辛模型之间的依赖结构的变化,分别基于$n_1$和$n_2$从模型中提取的样本。假设变更是结构化的,例如,稀疏、块稀疏、节点扰动稀疏等,使得它可以由合适的(原子)范数来表征。我们提出并分析了一个范数正则化估计直接估计的结构变化,而不必估计的个别伊辛模型的结构。该估计器可以使用任何范数,并且可以在温和的假设下推广到其他图形模型。我们表明,只有一组样本,说$n_2$,需要满足的估计工作的样本复杂度要求,估计误差减少为$\frac{c}{\sqrt{\min(n_1,n_2)}}$,其中$c$取决于高斯宽度的单位范数球。例如,对于应用于$s$ -稀疏变化的$\ell_1$范数,可以利用比现有结果$n_1= O(s^2 \log p)$和$n_2 = O(n_1^2)$更尖锐的$\min(n_1,n_2)=O(s \log p)$来准确地估计变化。实验结果表明所提出的估计的有效性。
2016-06-16 cs.LG math.ST stat.TH
Change-point detection in dynamic networks via graphon estimation
我们提出了一种通用的方法在动态网络中的变点检测。所提出的方法是无模型的,并涵盖了广泛的动态网络。我们的方法背后的关键思想是有效地利用网络结构设计变点检测算法。这是通过图子估计的初始步骤来完成的,在这里我们提出了一个改进的邻域平滑算法来估计动态网络的链路概率矩阵。在初始图子估计的基础上,提出了一种动态网络多变点检测的筛选和阈值算法。的收敛速度和一致性的变化点检测过程中,以及MMBS。当节点的数量很大时~(例如,超过时间点的数量),我们的方法产生更快的收敛速度,在检测变化点相比,简单地采用平均信息的动态网络在整个时间的算法。数值实验表明,所提出的算法的鲁棒性能的变化点检测在各种类型的动态网络,并观察到优于现有的方法。一个真实的数据例子来说明该程序的有效性和实际影响。
2019-08-05 math.ST stat.ME stat.TH
Seeded intervals and noise level estimation in change point detection: A discussion of Fryzlewicz (2020)
ETH Zurich(苏黎世联邦理工学院);University of Göttingen(哥廷根大学)
本文比较了种子区间与随机区间在变化点分割中的选择,探讨了新的噪声水平估计器,提升了模型选择方法,尤其在低信噪比下的频繁变化点场景中表现更优。
2020-06-23 stat.CO stat.ME
Improving the estimation of the odds-ratio using auxiliary information
比值比测量用于健康和社会调查,其中某个事件的几率在两个人群之间进行比较。它是使用逻辑斯谛回归定义的,并且要求来自调查的数据伴随着它们的权重。结合调查权重和辅助信息的非参数估计方法可以提高优势比估计量的精度。它包括$B$ -样条校准,可以处理参数的非线性结构。通过线性化估计方差。可以通过标准调查软件实施。如两个示例所示,精度增益取决于数据。
2014-06-30 stat.ME
Change Rate Estimation and Optimal Freshness in Web Page Crawling
INRIA Sophia Antipolis(法国国立信息学及其应用研究院索菲亚·安提波利斯中心);Indian Institute of Science(印度科学学院)
为了提供快速和准确的结果,搜索引擎维护整个网络的本地快照。而且,为了保持本地缓存的新鲜度,它使用了一个爬虫来跟踪各个网页的变化。然而,有限的带宽可用性和服务器的限制强加了一些约束的爬行频率。因此,理想的爬行速率是最大化本地缓存的新鲜度并且还遵守上述约束的速率。Azar et al. 2018最近提出了一种易于处理的算法来解决这个优化问题。然而,它们假定知道确切的页面变化率,这在实践中是不现实的。我们在这里讨论这个问题。具体来说,我们提供了两个新的计划,在线估计页面更改率。两种方案都只需要关于页面改变过程的部分信息,即,他们只需要知道自从上次抓取的实例以来页面是否已经改变。对于这两个计划,我们证明了收敛性,并得出其收敛速度。最后,我们提供了一些数值实验来比较我们提出的估计器与现有估计器的性能(例如,MLE)。
2020-04-05 cs.IR cs.LG cs.SI
Evaluation for moments of a ratio with application to regression estimation
随机变量的比率经常出现在概率和统计应用中。我们的目标是在几个相关性假设下近似这些比率的矩。推广了Collomb [C. R. Acad. Sci. Paris 285(1977)289- 292]中,当中心极限定理成立时,我们给出了随机加权和的矩和$L^p$ -偏离渐近正态律的更精确的界.我们指出适当的应用在金融和删失数据分析,并专注于在函数估计领域的应用。
2010-01-14 math.ST stat.TH
Statistical inference for time-changed Lévy processes via composite characteristic function estimation
本文研究了基于时变Lévy过程$L_{\mathcal{T}(t)}$的低频观测值的具有独立分量的多维Lévy过程$L_t$参数的半参数推断问题,其中$\mathcal{T}$是独立于$L_t$的非负非减实值过程.我们发现,这个问题是密切相关的问题,最近得到了很多关注的统计文献中的复合函数估计。在适当的可识别性条件下,我们给出了$L_t$的Lévy密度的一个相合估计,并给出了该估计的一致收敛速度和逐点收敛速度.此外,我们证明了所获得的速率是最优的在一个极大极小意义下的适当类的时变Lévy模型。最后,我们提出了一个模拟研究,显示我们的估计算法的性能的情况下,随时间变化的正常逆高斯(NIG)Lévy过程。
2012-01-30 math.ST stat.AP stat.ME
Analysis of order book flows using a nonparametric estimation of the branching ratio matrix
本文介绍了一种新的非参数方法,它可以直接、快速、有效地估计多变量Hawkes过程的核范数矩阵,也称为分支比矩阵。我们证明了这种方法的能力,将其应用到高频订单簿数据从EUREX交易所。我们表明,它是能够发现(或恢复)与一些资产相关联的所有第一级订单簿事件之间的各种关系时,映射到一个12维的过程。然后,我们扩大模型,以便同时考虑两种资产上的事件,我们讨论了联合高频动态。
2017-06-11 q-fin.TR stat.ME
Estimation of high-dimensional change-points under a group sparsity structure
变点是以高维数据流的形式观察到的“大数据”的常规特征。在许多这样的数据流中,组件系列具有组结构,并且很自然地假设变化仅发生在所有组中的少数中。我们提出了一个新的变点过程,称为“groupInspect”,它利用组稀疏结构来估计投影方向,以便聚合整个组件系列的信息,以成功地估计该系列的平均结构中的变点。我们证明了估计的投影方向是最小最大最优的,对数因子,当所有组的大小是可比的顺序。此外,我们的理论提供了强有力的保证变点位置估计的收敛速度。数值研究表明,groupInspect在广泛的设置和一个真实的数据的例子证实了我们的程序的实用性的竞争力的表现。
2021-07-19 math.ST stat.ME stat.TH
A change-point problem and inference for segment signals
本文研究了一系列随机变量均值中一个或两个变点的检测和估计问题。我们在回归中使用集合估计的形式主义:对设计的每个点附加一个二进制标签,指示该点是否属于未知段,并且该标签被噪声污染。未知线段的端点是变点。我们研究了允许在不同情况下进行统计检测的段的最小尺寸,包括当端点与设计域的边界分离时,或者当它们彼此分离时。我们比较这个最小的大小与极小极大收敛率估计的段在相同的情况下。这个广泛的研究的一个简单而又基本的版本的变点问题的目的是双重的:了解的位置和分离的变化点的影响,检测和估计,并带来的见解估计和检测的凸体在更高的维度。
2018-09-05 math.ST stat.TH
Estimation and Inference for Change Points in Functional Regression Time Series
University of Notre Dame(圣母大学);University of Warwick(华威大学);University of Bristol(布里斯托大学)
本文提出了一种高效的函数回归二分段算法,用于在具有斜率函数变化的回归模型中估计和推断变化点,并通过模拟和实际数据验证了其有效性。
2024-05-08 math.ST stat.ME stat.TH
IV estimation of causal hazard ratio
Cox比例风险模型是评价暴露与删失失效时间结果之间关联的最流行的统计模型之一。当未完全观察到混杂因素时,使用Cox模型估计的暴露风险比存在未测量的混杂偏倚。为了解决这一问题,我们提出了一种新的方法来识别和估计的因果风险比存在不可测量的混杂因素。我们的方法是基于一个二进制工具变量,和一个额外的无相互作用的假设,在第一阶段回归的治疗IV和未测量的混杂因素。我们建议,据我们所知,第一个相合估计量(人口)的因果风险比内的工具变量的框架。我们的估计的一个版本承认一个封闭形式的表示。我们导出了估计量的渐近分布,并给出了其渐近方差的相合估计量。我们的方法是通过模拟研究和数据应用程序说明。
2022-01-02 stat.ME
Template Matching and Change Point Detection by M-estimation
我们考虑的基本问题匹配的模板信号。我们通过M估计来这样做,M估计包括对疏失误差具有鲁棒性的程序(即,离群值)。利用经验过程理论的标准结果,在相对较弱的假设下,我们得到了M-估计的收敛速度和渐近分布.我们还讨论了估计的最优性,无论是在有限样本的极大极小意义下,并在大样本限制的局部极大极小和相对效率。虽然本文的大部分内容都致力于在随机设计的背景下研究基本的移位模型,但我们在论文的最后考虑了许多扩展,包括更灵活的模板,固定设计,不可知论设置等等。
2020-09-09 eess.SP math.ST stat.TH
Efficient Change Point Detection and Estimation in High-Dimensional Correlation Matrices
针对高维向量序列相关矩阵的变点检测与位置估计问题,提出基于符号翻转平行分析的突变检验及结合符号翻转置换降维与CUSUM统计量的两步法,在非高斯数据、尾部变点场景下性能更优且随维度提升精度更高。
2023-11-04 stat.ME
Multi-sample estimation of centered log-ratio matrix in microbiome studies
在微生物组研究中,研究细菌丰度的方法之一是基于测序读段计数来估计细菌组成。然后将各种变换应用于这些组成数据以用于下游统计分析,其中居中对数比(clr)变换是最常用的。由于有限的测序深度和DNA缺失,许多罕见的细菌分类群可能无法在最终的测序读数中捕获,这导致许多零计数。使用计数规范化的简单组成估计导致许多零比例,这使得clr转换不可行。本文提出了一种多样本的方法来直接估计clr矩阵,以借用跨样本和跨物种的信息。真实数据集的实证结果表明,多个样本上的clr矩阵近似为低秩,这激发了具有核范数惩罚的正则化极大似然估计。提出了一种基于广义加速邻近梯度的优化算法。理论上的估计误差和相应的奇异子空间误差的上限。仿真研究表明,所提出的估计优于朴素估计。该方法在肠道微生物组数据集和美国肠道项目上进行了分析。
2021-06-15 stat.ME
Integration of external predictions for efficient estimation of the risk ratio
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);Heidelberg University, Department of Mathematics(海德堡大学);Brigham and Women’s Hospital(布莱根妇女医院)
本文扩展增强逆概率加权框架至风险比估计,整合外部基础模型预测,所得估计器渐近方差不劣于仅用实验数据的默认估计器。
2026-10-02 math.ST stat.TH
Fast estimation of the ICL criterion for change-point detection problems with applications to Next-Generation Sequencing data
在本文中,我们认为综合完成的似然函数(ICL)作为一个有用的标准,估计的数量变化的数据的基本分布的问题,检测这些变化的精确位置是主要目标。ICL的精确计算需要O(Kn2)操作(K是段的数量,n是数据点的数量),这在许多具有大数据序列的实际情况下是禁止的。我们描述了一个框架来估计ICL与O(Kn)的复杂性。我们的方法是通用的,因为它可以适应任何给定的模型分布。我们在模拟数据上检查了我们的方法的运行时间和有效性,并在使用负二项模型分析真实的下一代测序(NGS)数据时证明了其良好的性能。
2013-07-01 stat.AP stat.CO
Estimation of Change Points for Non-linear (auto-)regressive processes using Neural Network Functions
本文利用单隐藏层神经网络近似非线性(自)回归函数,提出变点检验与估计方法,证明估计量以最优速率OP(1/n)收敛并推导渐近分布,通过模拟和金融数据验证其有效性。
2025-04-11 math.ST stat.TH
Joint Structural Break Detection and Parameter Estimation in High-Dimensional Non-Stationary VAR Models
假设平稳性在许多时间序列应用中是不现实的。更现实的替代方案是允许分段平稳性,其中允许模型在给定时间点改变。本文提出了一个三阶段的方法来估计高维分段向量自回归(VAR)模型的结构变点和参数。在第一步中,我们将变点检测问题转化为一个高维变量选择问题,并提出了一个使用总变差惩罚的惩罚最小二乘估计器。我们发现,建议的惩罚估计方法高估了变化点的数量。然后,我们提出了一个后向选择标准结合惩罚最小二乘估计来解决这个问题。在我们过程的最后一步,我们估计每个部分的VAR参数。我们证明,所提出的程序始终检测的变化点的数量和它们的位置。我们还表明,该程序一致估计VAR参数。通过几个仿真场景和实际数据的例子说明了该方法的性能。
2018-05-30 stat.ME
Oracle Estimation of a Change Point in High Dimensional Quantile Regression
本文考虑了一个高维分位数回归模型,其中两个子总体之间的稀疏结构可能不同。我们开发了回归系数和阈值参数的$\ell_1$惩罚估计。我们的惩罚估计不仅选择协变量,而且还区分具有齐次稀疏性的模型和具有变点的模型。因此,不需要知道或预先测试变化点是否存在或发生在哪里。我们的估计的变点实现了一个预言性质的意义上说,它的渐近分布是相同的,如果未知的活动集的回归系数是已知的。重要的是,我们建立这个预言属性没有一个完美的协变量的选择,从而避免了需要的最低水平条件的信号,积极的协变量。由于分位数损失函数是非光滑的,而且相应的目标函数关于变点是非凸的,因此需要一种新的证明方法来处理变点未知的高维分位数回归。在本文中开发的技术是适用于一个一般的M-估计框架的变化点,这可能是独立的利益。所提出的方法,然后说明通过蒙特卡罗实验和应用程序的种族隔离的动态小费。
2016-12-16 econ.EM stat.ME
Telescoping Density-Ratio Estimation
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
通过分类进行密度比估计是无监督学习的基石。它为表示学习和生成建模的最先进方法提供了基础,用例的数量继续激增。然而,它有一个关键的限制:它不能准确地估计两个密度显著不同的p/q比。根据经验,我们发现,每当p和q之间的库尔贝克-莱布勒散度超过数十nat时,就会发生这种情况。为了解决这个问题,我们引入了一个新的框架,伸缩密度比估计(TRE),使高度不相似的密度在高维空间之间的比率估计。我们的实验表明,TRE可以产生实质性的改进,现有的单比方法的互信息估计,表示学习和基于能量的建模。
2020-11-24 cs.LG stat.ML
Robust and Sparse Estimation of Unbounded Density Ratio under Heavy Contamination
Panasonic Holdings Corporation(松下电器控股公司);The Institute of Statistical Mathematics(统计数学研究所);The Graduate University for Advanced Studies (SOKENDAI)(高级研究大学(SOKENDAI))
本文提出了一种在重污染环境下实现鲁棒且稀疏估计无界密度比的方法,通过非渐近框架分析解决了密度比估计和鲁棒估计中的关键挑战。
2025-12-10 cs.LG stat.ML
Featurized Density Ratio Estimation
Stanford University(斯坦福大学)
密度比估计是无监督机器学习工具箱中的一项重要技术。然而,这样的比率是难以估计的复杂,高维数据,特别是当感兴趣的密度是足够的不同。在我们的工作中,我们建议利用一个可逆的生成模型来将这两个分布映射到一个共同的特征空间,然后进行估计。这种特征化使潜在空间中的密度更接近,避开了病态的情况,在这种情况下,输入空间中的学习密度比可能任意不准确。同时,我们的特征映射的可逆性保证了在特征空间中计算的比率与在输入空间中计算的比率是等价的。从经验上讲,我们证明了我们的方法在各种下游任务中的有效性,这些任务需要获得准确的密度比,例如互信息估计,深度生成模型中的目标采样以及数据增强分类。
2021-07-05 cs.LG stat.ML
Novel Change of Measure Inequalities with Applications to PAC-Bayesian Bounds and Monte Carlo Estimation
Purdue University(普渡大学)
本文针对两类发散性:$f$ -发散性和$α$ -发散性,引入了几个新的测度变化不等式.我们展示了如何变分表示$f$ -分歧导致新的变化的措施不等式。给出了$α$ -分歧的乘性测度变换不等式和Hammersley-Chapman-Robbins不等式的推广.最后,我们提出了几个应用程序,我们的测量不等式的变化,包括PAC贝叶斯界的各种损失和非渐近区间的Monte Carlo估计。
2020-06-25 cs.LG stat.ML
Density Ratio Estimation via Sampling along Generalized Geodesics on Statistical Manifolds
School of Mathematics and Statistics(数学与统计学院);The University of Melbourne(墨尔本大学)
针对分布相距较远时密度比估计不稳定的问题,提出沿统计流形上的广义测地线进行蒙特卡洛采样的增量密度比估计方法,实验证明其优于未利用流形几何特性的现有方法。
2024-06-27 cs.LG stat.ML