Gradient density estimation in arbitrary finite dimensions using the method of stationary phase
我们证明了一个充分光滑的函数$S : Ω\subset \mathbb{R}^d \rightarrow \mathbb{R}$,通过一个均匀分布的随机变量的随机变量变换得到的梯度的密度函数,是越来越接近的归一化功率谱的$ϕ=\exp\left(\frac{iS}τ\right)$作为自由参数$τ\rightarrow 0$。结果显示使用固定相近似和标准的集成技术,并需要适当的顺序的限制。我们强调与著名的特征函数方法的密度估计的关系,并详细说明为什么我们的结果是不同于这种方法。
2014-09-04 stat.ML
Poisson intensity parameter estimation for stationary Gibbs point processes of finite interaction range
本文给出了空间平稳Gibbs点过程的Poisson强度参数的半参数估计。在一类Gibbs模型所满足的非常温和的假设下,我们建立了它的强相合性和渐近正态性。我们还考虑其有限样本性质的模拟研究。
2013-02-23 math.ST stat.TH
Standard and robust intensity parameter estimation for stationary determinantal point processes
本文研究了平稳行列式点过程的强度参数估计问题。我们认为标准估计,对应于每单位体积的观测点的数量和最近推出的中位数为基础的估计更强大的离群值。在较弱的假设下,得到了行列式点过程估计的相合性和渐近正态性。我们说明了在模拟研究中的程序的效率。
2016-04-25 math.ST stat.TH
Higher-Order Equilibrium Tracking for EM-Compressible Online Estimation
School of Computer Science and Technology(计算机科学与技术学院);College of AI(人工智能学院)
本文研究了潜在变量模型中的在线估计问题,提出通过跟踪移动经验均衡来实现高阶均衡跟踪,证明了从批量到在线的转移定理,并展示了在潜在线性高斯协方差估计中的应用。
2026-05-09 cs.LG math.ST stat.TH
Controlled Mean-Reverting Estimation for The AR(1) Model with Stationary Gaussian Noise
本文研究了一类具有平稳高斯噪声(有色噪声)的一阶自回归模型的均值回复参数的极大似然估计。利用拉普拉斯变换的方法,研究了极大似然估计的渐近性质和渐近设计问题。数值模拟结果证实了理论分析的正确性,并表明所提出的极大似然估计在有限样本下具有良好的性能。
2020-11-18 math.ST stat.TH
Problem of Estimation of Fractional Derivative for a Spectral Function of Gaussian Stationary Processes
研究了高斯平稳序列(时间序列)未知谱函数分数阶导数的非参数估计问题,证明了当导数阶数小于小于0.5时,该问题是适定性的,且具有经典的收敛速度。我们还证明了所提供的估计的渐近无偏性和正态性,并具有最佳收敛速度。为了构造函数范数下的置信区域,我们建立了连续函数相应空间中的中心极限定理。
2015-04-16 math.ST stat.TH
Locally stationary long memory estimation
有广泛的文献建模强相关的时间序列使用longmemory参数d,包括最近的工作半参数小波估计。作为后者的方法的推广,在这项工作中,我们允许长记忆参数d随时间变化。我们将我们的方法嵌入到局部平稳过程的框架中。我们证明了弱一致性和中心极限定理我们的对数回归小波估计的时间依赖的d在高斯背景下。模拟和一个真实的数据例子完成了我们的工作,提供了一个相当普遍的方法。
2010-05-31 math.ST stat.TH
Parameter Estimation of Gaussian Stationary Processes using the Generalized Method of Moments
本文考虑一类具有显参数谱密度的平稳高斯过程。在自协方差函数满足一定条件的情况下,利用Breuer-Major定理和前人关于遍历性的结果,定义了一个满足相合性和渐近正态性的GMM估计.这一结果被应用到由分数布朗运动驱动的平稳Ornstein-Uhlenbeck(festival)过程的三个参数的联合估计。其GMM估计量的渐近正态性适用于(0,1)中的任何H,并且对其余参数有一定的限制。数值研究是在第四种情况下进行的,以说明估计的实际性能时,数据点的数量是温和的。
2017-01-16 math.ST stat.TH
Nonparametric M-estimation for right censored regression model with stationary ergodic data
研究了平稳遍历右删失回归模型的非参数M-估计。定义为隐函数,当协变量取值于R^d(d >= 1)且数据来自平稳遍历过程时,考虑了稳健回归族的核型估计.在较弱的假设下,证明了估计量的强相合性(含率)和渐近分布。此外,提供了一个可用的置信区间,它不依赖于任何未知量。我们的结果在没有任何混合条件下成立,并且不需要存在边缘密度。还提供了基于模拟数据的比较研究。
2016-04-29 stat.ME
Kernel density estimation for stationary random fields
本文在自然和易于验证的条件下,证明了平稳随机场的Parzen-Rosenblatt密度估计的$\mathbb{L}^1$ -收敛性和渐近正态性,其中$X_k = g\left(\varepsilon_{k-s}, s \in \Z^d \right)$,$k\in\Z^d$,其中$(\varepsilon_i)_{i\in\Z^d}$是独立同分布的实随机变量,$g$是定义在$\R^{\Z^d}$上的可测函数.这类过程为平稳遍历随机场提供了一个一般框架。Berry-Esseen型中心极限定理也考虑估计。
2014-05-01 math.ST stat.TH
Contrast estimation of general locally stationary processes using coupling
本文的目的是提供基于核的时变参数估计的统计保证,驱动本地平稳过程的动态。我们扩展了Dahlhaus等人的结果。(2018)考虑Doukhan和Winenberger(2008)的无限记忆过程的局部平稳版本。的估计计算为本地化的M-估计的任何对比度,满足适当的收缩条件。我们证明了这种核估计的一致相合性和逐点渐近正态性。我们将我们的结果通常的对比,如最小二乘,最小绝对值,或准最大似然对比。各种局部平稳过程,如ARMA、AR(infty)、GARMA、GARMA(infty)、ARMA-GARMA、LARMA(\infty)、.和整数值过程也被考虑。数值实验表明,模拟和真实数据集上的估计的效率。
2020-10-21 math.ST stat.TH
Estimation in semi-parametric regression with non-stationary regressors
本文考虑了一类部分线性模型,其形式为$Y_t=X_t^τθ_0+g(V_t)+ε_t$,$t=1,...,n$,其中$\{V_t\}$是$β$零回归马氏链,$\{X_t\}$是严格平稳或非平稳回归序列,$\{ε_t\}$是平稳序列.我们建议估计$θ_0$和$g(\cdot)$的半参数最小二乘(SLS)估计方法。在一定的条件下,我们然后表明,建议的SLS估计的$θ_0$仍然是渐近正态的平稳时间序列的情况下,具有相同的速度。此外,我们还建立了函数$g(\cdot)$的非参数估计的渐近分布。数值算例表明,本文的理论和估计方法在实际中是有效的。
2012-05-15 math.ST stat.TH
Adaptive density estimation for stationary processes
提出了一种估计平稳过程$X_1,...,X_n$的公共密度$s$的算法。我们假设该过程是$β$或$τ$ -混合过程。我们提供了一个模型选择过程的基础上的推广Mallow的$C_p$,我们证明了预言不等式的选择估计的集合模型和混合系数的一些事先假设下。我们证明了我们的估计是自适应的一类Besov空间,即,我们证明了它达到相同的收敛速度,在i.i.d框架。
2009-09-05 math.ST stat.TH
Nonparametric quasi-maximum likelihood estimation for Gaussian locally stationary processes
本文讨论高斯局部平稳过程的非参数极大似然估计。我们的非参数极大似然估计是通过最小化一类函数的频域似然来构造的。研究了所得估计量的渐近性质。结果取决于丰富的功能类。筛估计和整体估计。我们的研究结果适用于,特别是形状约束下的估计。作为一个例子,自回归模型拟合单调方差函数进行了详细讨论,包括算法的考虑。一个关键的技术工具是由函数索引的时变经验谱过程。对于这一过程,得到了一个Bernstein型指数不等式和一个中心极限定理.经验谱过程的这些结果是独立的利益。
2007-08-01 math.ST stat.TH
Contrast estimation for parametric stationary determinantal point processes
本文研究了参数平稳定点过程的最小对比度估计。这些过程形成了一类有用的模型排斥(或定期,或抑制)点模式,并已应用于许多统计应用。我们的主要重点是基于Ripley的K-函数或对相关函数的最小对比度方法。在只考虑过程存在性及其关于参数的正则性的一般条件下,证明了这些过程的强相合性和渐近正态性。证明的一个关键成分是最近建立的Brillinger混合性质的平稳行列式点过程。本文的工作可以看作是对Y. Guan和M. Sherman等人为一大类Cox过程建立了同样的渐近性质,而这类Cox过程又是聚类(或聚集)的模型。
2015-10-14 math.ST stat.TH
Statistical estimation of quadratic Rényi entropy for a stationary m-dependent sequence
雷尼熵是香农熵的推广,广泛应用于数学统计和应用科学中,用于量化概率分布中的不确定性。本文研究了平稳m相依序列的边缘分布的二次Rényi熵及其相关泛函的估计. U-统计量的估计是基于相应样本中ε-接近向量观测值的数量。获得了这些估计量的各种渐近性质(例如,一致性、渐近正态性、Poisson收敛)。结果可以用于各种统计和计算机科学问题,只要传统的独立性假设太强(例如,时间序列数据库中的ε-键、相关样本的分布识别问题)。
2013-03-07 math.ST stat.TH
Estimation of Space Deformation Model for Non-stationary Random Functions
平稳随机函数在地质统计学中的应用已有几十年的历史。在某些情况下,跨整个感兴趣域的同质空间依赖结构的假设是不现实的。一个实用的方法建模和估计非平稳空间相关结构被认为是。这包括通过指数空间的双射连续变形将非平稳随机函数变换为平稳且各向同性的随机函数。到目前为止,这种方法已经成功地应用于数据的上下文中,从几个独立的实现的随机函数。在这项工作中,我们提出了一种在可能具有不规则间隔数据的单一实现背景下使用空间变形进行非平稳地统计建模的方法。该估计方法是基于非平稳变差函数核估计,作为一个地理空间中的两个位置之间的相异性测量。所提出的方法结合了核平滑,加权非度量多维尺度和薄板样条径向基函数方面。在模拟数据上,该方法能够恢复真实的变形。在合成和真实数据集上评估性能。它特别表明,我们的方法优于固定的方法。除了预测之外,所提出的方法还可以作为探索性分析非平稳性的工具。
2014-12-03 stat.AP stat.ME
Nonparametric estimation of the stationary density and the transition density of a Markov chain
本文首先研究离散时间马尔可夫链$(X_i)$的平稳密度$f$的非参数估计问题。考虑有限维线性空间上的投影估计的集合。我们通过最小化惩罚对比度来选择集合中的估计量。相同的技术能够估计$(X_i, X_{i+1})$的密度$g$,从而提供转变密度$π=g/f$的自适应估计器。我们给这些估计的$L^2$规范的界限,我们表明,他们是自适应的极大极小意义上的一大类Besov空间。文中还提供了一些实例和仿真。
2008-01-09 math.ST stat.TH
Optimal model selection for density estimation of stationary data under various mixing conditions
本文提出了一种不需要独立观测的边缘密度估计的分块恢复惩罚方法。当数据是$β$或$τ$ -混合时,所选估计量满足首常数渐近等于1的oracle不等式.我们还证明了在这种设置的斜率启发式,这是一个数据驱动的方法来优化的领先常数的惩罚。
2011-12-13 math.ST stat.TH
Rate of estimation for the stationary distribution of jump-processes over anisotropic Holder classes
研究了当维数d大于3时,多元跳随机微分方程(Xt)平稳分布密度的非参数估计问题。通过对[0,T ]上采样路径的连续观测,我们证明了在各向异性Holder光滑约束下,基于核的估计器可以实现快速的收敛速度。特别是,它们与Dalalyan和Reiss [9]在各向同性Holder光滑约束下没有跳跃的情况下估计不变密度的方法一样快。此外,它们比Strauch [29]在各向异性Holder光滑约束下连续随机微分方程的不变密度估计更快。此外,我们得到了点态估计的L2-风险的Minimax下界,直到log(T)项具有相同的速率。这意味着,在一类扩散的不变密度属于各向异性的持有人类,我们正在考虑,这是不可能找到一个估计速度比我们提出的估计。
2021-09-14 math.ST stat.TH
On the estimation of locally stationary functional time series
本研究发展了局部平稳函数时间序列时变特征的渐近理论,提出基于核的方法估计时变协方差算子与均值函数,推导收敛速度并建立中心极限定理,应用于检验两个函数样本的时变均值函数相等性。
2023-05-22 math.ST stat.ME stat.TH
Real-Time Regression Analysis of Streaming Clustered Data With Possible Abnormal Data Batches
本文提出了一种基于二次推理函数(QIF)的增量学习算法,用于分析具有相关结果的流数据集,如纵向数据和聚类数据。我们提出了一个可再生的QIF(RenewQIF)方法的可再生估计和增量推理的范式内,其中参数估计递归更新与当前数据和历史数据的汇总统计,但没有使用任何历史主题级的原始数据。我们比较我们的可再生估计方法与离线QIF和离线广义估计方程(GEE)的方法,处理整个累积的主题级数据,并从理论上和数值上表明,我们的可再生程序具有统计和计算效率。我们还提出了一种方法来诊断的同质性假设的回归系数通过序贯拟合优度测试作为筛选程序的异常数据批次的出现。我们通过扩展现有的Spark的Lambda架构来实现所提出的方法,用于统计推断和数据质量诊断。我们说明了所提出的方法,通过广泛的模拟研究和分析流汽车碰撞数据集从国家汽车抽样系统耐撞性数据系统(NASS CDS)。
2021-06-30 stat.ME
Time-frequency and time-scale analysis of deformed stationary processes, with application to non-stationary sound modeling
介绍并研究了一类随机非平稳信号--音色x动力学。这些信号是通过平稳随机高斯信号的非线性变换获得的,以这种方式,该变换可以通过在适当的表示域中的平移来近似。在这种情况下,近似的最大似然估计技术可以被导出,该技术产生对潜在平稳信号的变换和功率谱的同时估计。本文针对平稳信号的调制和时间弯曲问题,提出并研究了基于时频和时标表示的估计算法。所提出的方法进行了验证的合成信号的数值模拟,并在现实生活中的汽车发动机声音的例子。
2015-10-28 cs.IT math.IT math.ST
Nonparametric estimation in functional linear models with second order stationary regressors
考虑函数线性回归中斜率参数的估计问题,其中标量响应Y1,.,Yn依赖于二阶平稳随机函数X1,.,Xn.一个正交系列估计的功能斜率参数与额外的阈值在傅立叶域中的建议和其性能的测量相对于广泛的加权风险覆盖作为示例的均方预测误差和平均积分平方误差的衍生估计。本文在斜率参数的不同正则性空间和协方差算子的不同连接条件下,导出了估计量在一大类正则性空间上的极小极大最优收敛速率。这些一般结果通过著名的周期函数的索伯列夫空间作为斜率参数的正则性空间以及有限或无限平滑协方差算子的情况的具体例子来说明。
2009-01-27 math.ST stat.TH
Model adaptation and unsupervised learning with non-stationary batch data under smooth concept drift
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Robert Bosch LLC(罗伯特·博世有限责任公司)
大多数预测模型假设训练和测试数据是从一个平稳的过程中生成的。然而,这一假设在实践中并不成立。在本文中,我们考虑的情况下,逐渐的概念漂移由于潜在的非平稳的数据源。虽然以前的工作已经在监督学习和适应条件下研究了这种情况,但很少有人解决标签仅在训练期间可用的常见现实情况。我们提出了一种新的,迭代算法的预测模型的无监督适应。我们表明,我们的批适应预测算法的性能优于其相应的非适应版本。所提出的算法提供了类似的(或更好的,在大多数情况下)的性能显着更少的运行时间相比,其他国家的最先进的方法。我们验证了我们的主张,通过广泛的数值模拟的合成和真实数据。
2020-02-10 cs.LG stat.AP stat.ML
Batch Bayesian optimisation via density-ratio estimation with guarantees
the University of Sydney(悉尼大学);NVIDIA(英伟达)
贝叶斯优化(BO)算法在涉及昂贵的黑盒函数的应用中取得了显着的成功。传统上,BO被设置为一个顺序决策过程,该过程通过获取函数和先验函数(如高斯过程)来估计查询点的效用。然而,最近,通过密度比估计(BORE)重新制定BO允许重新解释的采集功能作为一个概率的二元分类器,消除了需要一个明确的先验函数和增加可扩展性。在本文中,我们提出了一个理论分析孔的遗憾和改进的不确定性估计算法的扩展。我们还表明,孔可以自然地扩展到一个批量优化设置,通过重铸的问题近似贝叶斯推理。由此产生的算法配备了理论性能保证,并在一系列实验中对其他批次和顺序BO基线进行评估。
2022-10-22 cs.AI cs.LG stat.ML
Uncertainty Estimation via Stochastic Batch Normalization
National Research University Higher School of Economics(国立研究型大学高等经济学院);University of Amsterdam(阿姆斯特丹大学);Yandex(扬戴克斯)
在这项工作中,我们研究批量归一化技术,并提出其概率解释。我们提出了一个概率模型,并表明批量归一化极大化了其边缘化对数似然的下限。然后,根据新的概率模型,我们设计了一个算法,该算法在训练和测试过程中的行为一致。然而,推理在计算上变得低效。为了减少内存和计算成本,我们提出了随机批量归一化-一个有效的近似适当的推理过程。该方法为我们提供了一种可扩展的不确定性估计技术。我们在MNIST和CIFAR-10数据集的流行架构(包括深度卷积架构:VGG类和ResNets)上演示了随机批量归一化的性能。
2018-03-20 cs.LG stat.ML
Adaptive Batching for Gaussian Process Surrogates with Application in Noisy Level Set Estimation
University of California at Santa Barbara(加州大学圣巴巴拉分校)
我们发展了随机试验的高斯过程元模型的自适应复制设计。自适应优化是顺序设计优化的自然扩展,随着响应特性的学习、输入的集中和元建模开销的增加,复制的好处也会增加。针对模拟器平均响应水平集的学习问题,我们提出了四种新的方法:多级批处理(MLB)、棘轮批处理(RB)、自适应批处理逐步不确定性降低(ABSUR)、自适应设计逐步分配(ADSA)和确定性设计逐步分配(DDSA)。我们的算法同时(MLB,RB和ABSUR)或顺序(ADSA和DDSA)确定顺序设计输入和相应的重复次数。使用合成的例子和定量金融中的应用(通过回归蒙特卡罗的期权定价)的插图表明,自适应的递归带来了显着的计算速度与建模保真度的损失最小。
2021-07-13 cs.LG stat.ML
Delving into the Estimation Shift of Batch Normalization in a Network
Beihang University(北京航空航天大学);Southeast University(东南大学)
批量归一化(BN)是深度学习中的里程碑式技术。它在训练过程中使用小批量统计数据,但在推理过程中使用估计的总体统计数据来规范化激活。本文主要研究人口统计的估计问题。我们定义了BN的估计偏移量,以定量衡量其估计的人口统计数据与预期人口统计数据之间的差异。我们的主要观察结果是,由于BN在网络中的堆叠,估计偏移可以累积,这对测试性能有不利影响。我们进一步发现无批次归一化(BFN)可以阻止这种估计偏移的累积。这些观察激发了我们设计XBNBlock的动机,在残差式网络的瓶颈块中用BFN替换一个BN。在ImageNet和COCO基准测试上的实验表明,XBNBlock一致地提高了不同架构的性能,包括ResNet和ResNeXt,并且似乎对分布偏移更鲁棒。
2022-03-21 cs.AI cs.CV cs.LG
Adaptive Batch Size for Privately Finding Second-Order Stationary Points
University of Washington(华盛顿大学);Apple(苹果公司)
针对差分隐私下寻找二阶驻点的问题,提出基于SpiderBoost框架的自适应批量大小方法,结合二叉树机制,纠正了现有方法的缺陷,并达到与一阶驻点相同的精度界。
2025-02-26 cs.CR cs.DS cs.LG
Evaluating Prediction Uncertainty Estimates from BatchEnsemble
Department of Informatics, University of Bergen(卑尔根大学信息学院);IBM(国际商业机器公司)
本文提出GRUBE作为改进的BatchEnsemble,展示了其在不确定性估计和预测方面优于传统方法的性能。
2026-01-29 cs.LG
Expected Similarity Estimation for Large-Scale Batch and Streaming Anomaly Detection
University of Ulm(乌尔姆大学);Ravensburg-Weingarten University of Applied Sciences(拉芬斯堡-魏恩加腾应用科学大学);The University of Sydney(悉尼大学)
我们提出了一种新的算法异常检测非常大的数据集和数据流。该方法称为期望相似性估计(EXPoSE),是基于核的,能够有效地计算新数据点和规则数据分布之间的相似性。该估计被制定为一个再生核希尔伯特空间嵌入的内积,并没有假设的类型或形状的基础数据分布。我们证明了使用EXPoSE的离线(批量)学习可以在线性时间内完成,而在线(增量)学习每个实例和模型更新需要恒定的时间。此外,EXPoSE可以在恒定的时间内进行预测,而它只需要恒定的内存。此外,我们提出了不同的方法,概念漂移适应不断变化的数据流。在几个真实的数据集上,我们证明了我们的方法可以与最先进的异常检测算法竞争,同时比大多数其他方法快一个数量级。
2016-06-06 cs.AI cs.LG
Learning Manifolds from Non-stationary Streaming Data
University at Buffalo(布法罗大学)
基于流形学习的降维方法(例如Isomap)的流改编基于以下假设:小的初始批次的观察足以用于流形的精确学习,而剩余的流数据实例可以廉价地映射到该流形。然而,没有理论结果表明这一核心假设是有效的。此外,这样的方法通常假设底层数据分布是固定的。这样的方法不被装备成检测或处理在数据流传输时可能发生的分布中的突然变化或逐渐漂移。我们提出的理论结果表明,流形的质量渐近收敛的数据的大小增加。然后,我们表明,一个高斯过程回归(GPR)模型,该模型使用流形特定的核函数,并在足够大的初始批次上进行训练,可以接近最先进的流Isomap算法。从探地雷达预测得到的预测方差,然后被证明是一个有效的检测器的基础数据分布的变化。几个合成和真实数据集上的结果表明,所得到的算法可以有效地学习流设置中的高维数据的低维表示,同时识别生成分布中的变化。
2020-07-16 cs.AI cs.LG stat.ML
Budget-Constrained Bounds for Mini-Batch Estimation of Optimal Transport
Microsoft Research(微软研究院);Amazon(亚马逊)
最优传输(OT)是比较概率分布的基本工具,但其精确计算对于大型数据集仍然是禁止的。在这项工作中,我们引入了新的家庭的上界和下界的OT问题的聚合解决方案的小批量OT问题。上限家庭包含传统的小批量平均在一个极端和一个紧密的界限,发现最佳耦合的小批量在其他。在这些极端之间,我们提出了各种方法来构建边界的基础上一个固定的计算预算。通过各种实验,我们探索了计算预算和边界紧密性之间的权衡,并显示了这些边界在计算机视觉应用中的有用性。
2022-10-24 cs.IT cs.LG math.IT
Mini-batch Estimation for Deep Cox Models: Statistical Foundations and Practical Guidance
Department of Biostatistics and Health Data Science, University of Pittsburgh(生物统计与健康数据科学系,匹兹堡大学);Department of Statistics and Data Science, Carnegie Mellon University(统计与数据科学系,卡内基梅隆大学);Department of Statistics, University of Pittsburgh(统计系,匹兹堡大学)
本文探讨了小批量梯度下降在深度Cox模型中的应用,建立了小批量最大偏似然估计器的统计性质,并通过理论分析和模拟验证了其一致性与最优收敛率,同时提供了实践指导和实际应用案例。
2026-04-15 cs.LG stat.ML
Offline EEG-Based Driver Drowsiness Estimation Using Enhanced Batch-Mode Active Learning (EBMAL) for Regression
DataNova;U.S. Army Research Laboratory(美国陆军研究实验室);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);DCS Corp(DCS公司);National Chiao-Tung University(国立交通大学);University of Technology, Sydney(悉尼科技大学)
在现实世界的脑机接口(BCI)应用中存在许多重要的回归问题,例如,从EEG信号估计驾驶员困倦。本文考虑离线分析:给定一个在驾驶过程中记录的未标记的EEG epoch池,我们如何最佳地选择其中的一小部分进行标记,以便可以从它们中构建准确的回归模型来标记其余部分?主动学习是解决这个问题的一个很有前途的方法,但有趣的是,据我们所知,到目前为止,它还没有被用于脑机接口中的回归问题。本文提出了一种新的增强型批量模式主动学习(EBMAL)回归方法,该方法通过提高所选样本的可靠性、代表性和多样性来改进基线主动学习算法,以获得更好的回归性能。我们验证了其有效性,驾驶员的困倦估计从脑电信号。然而,EBMAL是一种通用方法,也可以应用于BCI之外的许多其他离线回归问题。
2018-05-12 cs.HC cs.LG stat.ML
Update Rules for Parameter Estimation in Bayesian Networks
Stanford University(斯坦福大学);AT&T Labs(AT&T实验室)
本文从在线学习的角度重新研究了具有缺失值和隐变量的贝叶斯网络中的参数估计问题。我们提供了一个统一的参数估计框架,包括在线学习,其中模型不断适应新的数据情况,因为他们到达,和更传统的批量学习,其中一个预先积累的样本集用于一次性模型选择过程。在批处理的情况下,我们的框架包括贝叶斯网络的梯度投影算法和EM算法。该框架还导致新的在线和批量参数更新计划,包括EM的参数化版本。我们提供的经验和理论结果表明,参数化EM允许更快的收敛到最大似然参数比标准EM。
2013-02-06 cs.LG stat.ML
High-Dimensional Robust Mean Estimation from Doubly Corrupted and Heterogeneous Batches
Rice University(莱斯大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出两种基于平方和的算法,解决了高维环境下存在不可信批次的鲁棒均值估计问题,实现了最小最大最优误差率。
2026-11-05 cs.LG
Existence and Estimation of Critical Batch Size for Training Generative Adversarial Networks with Two Time-Scale Update Rule
Meiji University(明治大学)
本文研究常数学习率 TTUR 训练 GAN 时批量大小与训练步数的关系,证明存在使 SFO 复杂度最小的临界批量大小,并用 FID 实验验证理论估计。
2023-06-05 cs.LG math.OC
Unsupervised Model Drift Estimation with Batch Normalization Statistics for Dataset Shift Detection and Model Selection
Intel Corp.(英特尔公司);Seoul National University(首尔国立大学)
虽然许多现实世界的数据流意味着它们以非平稳的方式频繁变化,但大多数深度学习方法都是在训练数据上优化神经网络,这会导致数据集发生变化时严重的性能下降。然而,不太可能由人类注释或检查新流式传输的数据,因此期望以无监督的方式在推断时测量模型漂移。本文提出了一种新的基于无标记测试数据的批量归一化层统计量的模型漂移估计方法。为了弥补输入数据流可能出现的采样误差,我们对每个代表层采用了低秩近似。我们证明了我们的方法的有效性,不仅对数据集的移动检测,但也对模型选择时,有多个候选模型之间的模型动物园或训练轨迹在一个无监督的方式。我们通过比较不同网络架构之间的模型漂移分数进一步证明了我们方法的一致性。
2021-07-01 cs.CV cs.LG
GenDICE: Generalized Offline Estimation of Stationary Values
Duke University(杜克大学);Google Research, Brain Team(谷歌研究院大脑团队)
强化学习和蒙特卡罗方法中出现的一个重要问题是估计由马尔可夫链的平稳分布定义的量。在许多现实世界的应用程序中,对底层转换操作符的访问仅限于已经收集的固定数据集,而不需要与环境进行额外的交互。我们表明,一致的估计仍然是可能的,在这种具有挑战性的情况下,有效的估计仍然可以在重要的应用程序中实现。我们的方法是基于估计的比率,纠正固定和经验分布之间的差异,来自固定分布的基本属性,并利用约束的变分发散最小化的基础上重新制定。由此产生的算法,GenDICE,是直接和有效的。我们证明了它的一致性,在一般条件下,提供了一个错误分析,并展示了强大的实证性能的基准问题,包括离线PageRank和关闭政策的政策评估。
2020-02-21 cs.LG stat.ML
Noisy Batch Active Learning with Deterministic Annealing
University of Southern California(南加州大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们研究的问题,训练机器学习模型增量与批量的样本注释有噪声的预言机。我们通过聚类和重要性采样选择每批重要且多样的样本。更重要的是,我们将模型的不确定性纳入抽样概率,以弥补当训练数据太小而无法建立有意义的模型时对重要性分数的估计不足。在基准图像分类数据集(MNIST,SVHN,CIFAR10和EMNIST)上的实验表明,与现有的主动学习策略相比,该方法有了改进。我们在深度网络中引入了一个额外的去噪层,使主动学习对标签噪声具有鲁棒性,并显示出显著的改进。
2020-10-28 cs.LG stat.ML
Trustworthy Method Comparison with AI Judges: Estimation and Design under Order, Batch, and Aggregation Effects
University of Minnesota(明尼苏达大学)
本研究提出用马尔可夫广义线性混合模型近似LLM评审机制,分析排行榜排名与组间比较的统计性质,并验证了模型在多种设置下的有效性。
2026-10-07 cs.LG stat.AP stat.ME
Unraveling Batch Normalization for Realistic Test-Time Adaptation
University of Liverpool(利物浦大学);Duke Kunshan University(昆山杜克大学)
针对真实小批量下测试时自适应因目标估计不准性能下降的问题,本文解构批归一化发现批次类别多样性不足是核心原因,提出TEMA工具与逐层校正策略,无需训练调参即可提升域偏移鲁棒性,在多基准上达SOTA。
2024-04-13 cs.CV cs.LG
Mini-batch Metropolis-Hastings MCMC with Reversible SGLD Proposal
Stanford University(斯坦福大学);University of Sydney(悉尼大学)
传统的MCMC算法是计算密集型的,并且不能很好地扩展到大数据。特别地,Metropolis-Hastings(MH)算法需要遍历整个数据集以在每次迭代中评估似然比。我们提出了一个通用的框架,用于执行MH-MCMC使用小批量的整个数据集,并表明,这会产生大约一个缓和的平稳分布。我们证明了该算法保留了原始目标分布的模式,并推导出一个近似的误差界,并对似然性做了温和的假设。为了进一步扩展该算法的效用,高维设置,我们构建了一个建议,使用随机梯度的向前和向后移动,并表明该建设导致合理的接受概率。我们证明了我们的算法在低维模型和高维神经网络应用的性能。特别是在后一种情况下,与流行的优化方法相比,我们的方法对学习率的选择更鲁棒,并提高了测试准确性。
2019-08-28 cs.LG stat.ML
An Alternative to EM for Gaussian Mixture Models: Batch and Stochastic Riemannian Optimization
University of Tehran(德黑兰大学);Massachusetts Institute of Technology(麻省理工学院);School of ECE, College of Engineering, University of Tehran(德黑兰大学工程学院电子与计算机工程系)
本文研究高斯混合模型的极大似然估计。这个任务几乎总是通过期望最大化(EM)算法来解决(在理论和实践中)。EM的成功得益于多方面的因素,其中以封闭形式满足正定性约束的能力至关重要。我们提出了一种替代EM呼吁丰富的黎曼几何正定矩阵,使用它,我们铸造Gmm参数估计作为一个黎曼优化问题。令人惊讶的是,这样一个开箱即用的黎曼公式完全失败,并证明比EM差得多。这促使我们更仔细地研究问题的几何形状,并推导出更适合黎曼优化的更好的公式。然后,我们开发(黎曼)批处理和随机梯度算法,优于EM,往往大幅。我们提供了一个非渐近收敛分析我们的随机方法,这也是第一个(据我们所知)这样的整体分析黎曼随机梯度。大量的实证结果证明了我们的方法的有效性。
2017-06-10 cs.LG stat.ML
Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression
H. Milton Stewart School of Industrial;Systems Engineering, Georgia Institute of Technology e1,e2
本文研究了Polyak-Ruppert平均随机梯度下降的在线协方差矩阵估计,改进了批量均值收敛速率并实现了最小最大最优性,通过轨迹回归方法分解误差并建立下限。
2026-04-12 cs.LG math.ST stat.TH
Renewable Lasso without Batch-Number Constraints: A Gradient-Enhanced Approach
Department of Mathematics, City University of Hong Kong(香港城市大学数学系);School of Statistics and Data Science, Jiangxi University of Finance and Economics(江西财经大学统计与数据科学学院);Philosophy and Social Sciences Laboratory of Data Science in Finance and Economics at the Ministry of Education, Jiangxi University of Finance and Economics(教育部金融与经济数据科学哲学与社会科学实验室,江西财经大学);School of Statistics, Beijing Normal University(北京师范大学统计学院);CityUHK Shenzhen Research Institute(城大深圳研究院)
针对高维广义线性模型的流数据在线估计,提出梯度增强替代损失函数,消除批次数量约束,并扩展到分布式流数据场景,理论推导非渐近误差界,实验验证精度提升。
2026-06-11 cs.LG stat.ML
Robust Batch Policy Learning in Markov Decision Processes
George Washington University(乔治华盛顿大学);Harvard University(哈佛大学)
在马尔可夫决策过程(MDP)框架下研究了离线数据驱动的序贯决策问题。为了提高学习策略的泛化能力和自适应能力,我们建议通过一组平均奖励来评估每个策略,这些平均奖励相对于以策略诱导的平稳分布为中心的分布。给定一个预先收集的由某种行为策略生成的多个轨迹的数据集,我们的目标是在预先指定的策略类中学习一个鲁棒的策略,该策略类可以最大化这个集合的最小值。利用半参数统计理论,我们开发了一个统计上有效的策略学习方法来估计所定义的鲁棒最优策略。一个率最优的遗憾绑定到一个对数因子建立在数据集中的总决策点。
2021-11-10 cs.LG math.ST stat.ML
Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们引入有偏梯度预言机来捕获一个设置,其中函数测量具有可以通过批量大小参数控制的估计误差。我们提出的预言是有吸引力的,在几个实际情况下,例如,风险度量估计从一批独立同分布(i.i.d.)样本或模拟优化,其中函数测量由于计算约束而“有偏”。在任何一种情况下,增加批量大小都会减少估计误差。我们强调了我们的有偏梯度预言在风险敏感的强化学习环境中的适用性。在随机非凸优化的背景下,我们分析了一个变种的随机梯度(RSG)算法与有偏梯度预言。我们量化该算法的收敛速度,通过推导其性能的非渐近界。接下来,在随机凸优化设置,我们推导出非渐近界的随机梯度下降(SGD)算法的最后一个有偏梯度预言。
2021-05-16 cs.LG math.OC stat.ML
Stationary Diffusion State Neural Estimation for Multiview Clustering
School of Information Science and Engineering, Lanzhou University(兰州大学信息科学与工程学院)
虽然许多基于图的聚类方法试图在其目标中对稳态扩散状态进行建模,但它们的性能限制于使用预定义的图。我们认为,稳态扩散状态的估计可以通过梯度下降在神经网络。我们专门设计了稳态扩散状态神经估计(SDSNE),以利用多视图结构图信息进行协同监督学习。我们探索如何设计一个专门用于无监督多视图学习的图神经网络,并通过一个共享的自我注意模块将多个图集成为一个统一的共识图。视图共享的自我注意模块利用图结构来学习视图一致的全局图。同时,SDSNE采用一种带结构信息的协同监督策略来监督模型的学习,而不是大多数无监督学习图神经网络中的自动编码器。作为损失函数的协同监督策略引导SDSNE达到稳态。在损失和自我注意模块的帮助下,我们学习获得一个图,其中每个连接组件中的节点都以相同的权重完全连接。多个多视图数据集上的实验证明了SDSNE在六个聚类评价指标方面的有效性。
2021-12-02 cs.LG
SEMDICE: Off-policy State Entropy Maximization via Stationary Distribution Correction Estimation
UC Berkeley(加州大学伯克利分校);Yonsei University(延世大学)
SEMDICE通过平稳分布校正估计,从非策略数据集中学习状态熵最大化策略,实现更高效的无监督强化学习预训练。
2025-12-10 cs.LG
STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization
Technion(以色列理工学院);EPFL(洛桑联邦理工学院)
本文研究了随机非凸优化问题,其中目标函数是光滑损失函数上的期望,目标是找到一个近似的稳定点。处理此类问题的最流行的方法是方差缩减技术,该技术也被称为获得紧收敛速度,在这种情况下匹配下界。然而,这些技术需要结合适当选择的“超大批量”仔细维护锚点。这导致了一个具有挑战性的超参数调整问题,削弱了它们的实用性。最近,[Cutkosky和Orabona,2019]已经表明,可以使用递归动量来避免使用锚点和大批量,并且仍然获得此设置的最佳速率。然而,他们称为STORM的方法关键依赖于光滑性的知识,以及梯度范数的界限。在这项工作中,我们提出了风暴+,一个新的方法,是完全无参数,不需要大批量,并获得最佳的$O(1/T^{1/3})$率找到一个近似的稳定点。我们的工作建立在STORM算法的基础上,结合一种新的方法来自适应地设置学习率和动量参数。
2021-11-01 cs.LG math.OC