On the validity of resampling methods under long memory
对于长记忆时间序列，基于时间序列的推断是至关重要的，因为渐近分布通常是非高斯的，并且很难在统计上确定。然而，由于强相关性，建立的渐近有效性的reservation方法是不平凡的。在本文中，我们推导出一个有效的界限之间的典型相关的两个有限块的长记忆时间序列。我们展示了如何使用这个界来建立长记忆下一般统计量的子采样过程的渐近一致性。它允许子样本量$b$为$o(n)$，其中$n$为样本量，与记忆强度无关。然后，我们能够改善文献中发现的许多结果。我们还考虑了长记忆下的子抽样方法在样本协方差、M-估计和经验过程中的应用。
2016-11-09 math.PR math.ST stat.TH
Falsifying Discriminant Validity of Predictive Algorithms
本文提出一种框架，通过非参数假设检验方法评估算法是否能更准确预测预期结果而非不可接受的结果，展示了其在招生和司法领域中的应用与局限。
2026-06-27 cs.CY cs.LG stat.ME
Bootstrap Consistency for Empirical Likelihood in Density Ratio Models
本文证明了密度比模型下经验似然Bootstrap估计量的极限分布与总体一致，将逐点收敛推广至弱收敛，为分位数和支配指数的重采样推断奠定理论基础，并通过模拟验证其准确性。
2025-10-23 math.ST stat.TH
Coverage-Guaranteed Prediction Sets for Out-of-Distribution Data
Wuhan University（武汉大学）
本文针对分布外场景中分裂共形预测因可交换性假设失效而无法保证覆盖的问题，提出一种新的置信预测集构造方法，并给出理论证明和模拟实验验证。
2024-03-29 cs.LG
From predictions to confidence intervals: an empirical study of conformal prediction methods for in-context learning
PSL Research University（PSL研究大学）；EURECOM；Stellantis
本研究提出基于上下文学习的保形预测方法，在单次前向传播中构建具有保证覆盖率的预测区间，实现高效且稳健的不确定性估计，并建立缩放定律指导模型训练。
2025-04-22 cs.LG stat.ML
Nonparametric sequential change-point detection for multivariate time series based on empirical distribution functions
序贯变点检测的目的是当被监测的观测值的某些概率属性发生变化时发出警报。这项工作是关注的非参数，闭端检验程序的基础上的经验分布函数，旨在特别敏感的变化，在当代的多元时间序列分布的差异。建议的检测器是适应的统计数据中使用的后验（离线）变点测试，并涉及加权允许给予更多的重要性，最近的观察。由此产生的顺序变化点检测程序进行比较的检测器，通过估计的阈值函数，使假警报的概率保持近似恒定的监测期间。一个通用的结果的渐近有效性，这样一种方法估计的阈值函数的陈述。作为一个推论，渐进有效性的研究序贯检验的基础上，经验分布函数证明了这些进行时，使用一个依赖的乘数引导多变量时间序列。大规模的蒙特卡罗实验表明，所得到的程序具有良好的有限样本性质。衍生的序贯检验的应用说明了金融数据。
2020-10-25 stat.ME
On the uniform asymptotic validity of subsampling and the bootstrap
本文提供了条件下，子抽样和自助可以用来构建估计的分位数分布的根，表现良好的均匀分布$\mathbf{P}$的一大类。然后应用这些结果（i）构造在$\mathbf{P}$上均匀表现良好的置信区域，在这个意义上，覆盖概率在$\mathbf{P}$上均匀地倾向于至少标称水平，以及（ii）构造在$\mathbf{P}$上均匀表现良好的检验，在这个意义上，大小在$\mathbf{P}$上均匀地倾向于不大于标称水平。如果没有这些更强的收敛概念，覆盖概率或大小的渐近近似可能很差，即使在非常大的样本中。具体应用包括多元均值、检验矩不等式、多重检验、经验过程和U统计量。
2013-02-18 math.ST stat.ME stat.TH
Maximum empirical likelihood estimation of the spectral measure of an extreme-value distribution
考虑来自极值分布函数$G$的最大吸引区域中的二元分布函数$F$的随机样本。这个$G$的特点是由两个极值指数和一个谱测度，后者确定的尾部依赖结构的$F$。多元极值理论中的一个主要问题是关于$L_p$范数的谱测度$Φ_p$的估计。对于每一个$p\in[1,\infty]$，提出了一个非参数最大经验似然估计$Φ_p$。主要的新颖性是，这些估计量保证满足矩约束谱措施的特点。在允许尾部独立的条件下证明了估计量的渐近正态性。此外，条件是很容易验证的，因为我们证明通过一些理论的例子。仿真研究表明，新的估计性能大大提高。两个案例研究说明了如何在实践中实施这些方法。
2009-09-01 math.PR math.ST stat.TH
Semiparametric empirical likelihood inference with estimating equations under density ratio models
密度比模型（DRM）为组合来自多信源的信息提供了一个灵活而有用的平台。在本文中，我们考虑的统计推断下的两个样本DRM的额外的参数定义通过和/或额外的辅助信息表示为估计方程。研究了DRMs中未知参数的最大经验似然估计（MELE）的渐近性质，并建立了经验似然比（ELR）统计量的卡方极限分布.我们表明，渐近方差的MELE的未知参数不减少，如果一个估计方程下降。获得类似的性质的推断的累积分布函数和分位数的每个涉及的人口。我们还提出了一个ELR测试的有效性和有用性的辅助信息。仿真研究表明，正确指定的估计方程的辅助信息的结果更有效的估计和更短的置信区间。两个真实数据的例子被用来说明。
2021-02-25 math.ST stat.ME stat.TH
Network Weighted Functional Regression: a method for modeling dependencies between functional data in a network
本文提出网络加权函数回归（NWFR）模型，通过显式建模网络结构来处理网络设定下的函数数据，并开发了函数保形预测程序生成免分布预测区间，显著提升了点预测准确度及预测区间的有效性与精确度。
2025-05-30 stat.ME
Empirical non-parametric estimation of the Fisher Information
费舍尔信息矩阵是统计信号处理中的一个基本概念。该函数依赖于概率分布，假设它属于一个光滑的参数族。传统的估计概率密度的方法需要估计概率分布函数（PDF）或其参数以及其梯度或Hessian。然而，在许多实际情况下，数据的PDF是未知的，但统计人员可以访问任何参数值的观察样本。在这里，我们提出了一种方法，估计直接从采样数据，不需要知识的基础PDF的。该方法基于参数空间局部邻域上的$f$ -散度的非参数估计以及$f$ -散度的曲率与散度之间的关系。因此，我们获得了FIM的经验估计量，该估计量不需要密度估计并且是渐进一致的。我们经验评估我们的方法使用两个实验的有效性。
2014-11-16 cs.IT math.IT stat.CO
A Conformalized Empirical Bayes Method for Multiple Testing with Side Information
本文提出共形化局部自适应加权（CLAW）方法，结合经验贝叶斯与共形推断，在有限样本下控制FDR，并利用辅助信息提升多重检验性能。
2025-02-27 stat.ME
High-dimensional empirical likelihood inference
使用一般估计方程的高维统计推断具有挑战性，并且仍然较少探索。本文主要研究了这一领域的两个问题：模型参数多分量的置信集估计和模型规格检验。对于第一个，我们建议构造一组新的估计方程，使得估计高维滋扰参数的影响变得渐近可忽略不计。新的结构使我们能够估计一个有效的置信区域的经验似然比。对于第二个，我们提出了一个检验统计量作为最大的边际经验似然比，以量化数据证据对模型的规格。我们的理论建立了建议的经验似然方法的有效性，适应过度识别和指数增长的数据维度。数值研究表明，有前途的性能和潜在的实用价值的新方法。
2019-11-06 stat.ME
Guaranteed Recovery of One-Hidden-Layer Neural Networks via Cross Entropy
The Ohio State University（俄亥俄州立大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了数据分类的模型恢复，其中训练标签是从具有sigmoid激活的一个隐藏层神经网络（也称为单层前馈网络）生成的，目标是恢复神经网络的权重。我们考虑两种网络模型，全连接网络（FCN）和非重叠卷积神经网络（CNN）。我们证明了高斯输入，经验风险的交叉熵的基础上表现出很强的凸性和光滑性{ \em uniformly}在一个局部邻域的地面真理，只要样本的复杂性是足够大的。这意味着如果在这个邻域中初始化，梯度下降线性收敛到一个临界点，该临界点可证明接近地面真理。此外，我们表明这样的初始化可以通过张量方法获得。这为经验风险最小化建立了全局收敛保证，使用交叉熵通过梯度下降来学习一隐藏层神经网络，相对于网络输入维度具有接近最佳的样本和计算复杂性，而没有不切实际的假设，例如需要一组新的样本每次迭代。
2020-05-06 cs.LG stat.ML
Stay Within Your Bounds: Distance-Guided Decoding for Guaranteed Context-Free Grammar Compliance
University of Luxembourg（卢森堡大学）；Imperial College London（伦敦帝国学院）
本研究提出基于下推自动机的距离引导解码框架，解决文法约束解码中前缀无法接受的问题，在JSON、SQL、LTL任务上实现稳定句法有效性与更优完成质量。
2026-08-31 cs.AI cs.CL cs.FL
Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
尽管图神经网络（GNNs）在实际应用中从图结构数据中学习方面取得了很大的进展，但其泛化能力的理论保证在文献中仍然是模糊的。在本文中，我们为回归和二进制分类问题提供了一个具有一个隐藏层的GNN的理论基础的概化分析。在假设存在真实GNN模型（具有零泛化误差）的情况下，GNN学习的目标是从训练数据估计真实GNN参数。为了实现这一目标，我们提出了一个学习算法，是建立在张量初始化和加速梯度下降。然后，我们表明，所提出的学习算法收敛到地面真相GNN模型的回归问题，并充分接近地面真相的二进制分类问题的模型。此外，对于这两种情况下，所提出的学习算法的收敛速度被证明是线性的，比香草梯度下降算法更快。我们进一步探索GNN的样本复杂度与其底层图形属性之间的关系。最后，我们提供了数值实验，以证明我们的分析的有效性和建议的学习算法的GNNs的有效性。
2020-06-25 cs.LG eess.SP math.OC
Quantifying Local Model Validity using Active Learning
Center of Expertise ZF Friedrichshafen AG（采埃孚集团专家中心）；Institute of Modelling and High-Performance Computing Niederrhein University of Applied Sciences（下莱茵应用科学大学建模与高性能计算研究所）；Zalando SE（扎兰多股份公司）；auxmoney GmbH（奥克斯曼尼有限责任公司）；Ruhr West University of Applied Sciences（鲁尔西应用科学大学）
针对局部模型有效性评估需额外数据且全局指标不敏感的问题，本文提出用主动学习学习模型误差，以较少数据获得具有判别力的局部有效性估计。
2024-06-17 cs.LG stat.ML
Rethinking Empirical Evaluation of Adversarial Robustness Using First-Order Attack Methods
Massachusetts Institute of Technology（麻省理工学院）
我们确定了三种常见的情况下，导致高估的对抗精度对有界一阶攻击方法，这是普遍使用的对抗鲁棒性在实证研究中的代理。对于每种情况下，我们提出的补偿方法，要么解决不准确的梯度计算的来源，如数值不稳定性接近零和不可微性，或通过近似二阶信息减少迭代攻击的反向传播的总数。这些补偿方法可以与现有的攻击方法相结合，以获得更精确的经验评估度量。我们通过具有实际意义的示例来说明这三种情况的影响，例如基准模型容量和鲁棒性正则化技术。总的来说，我们的工作表明，即使对于传统训练的深度神经网络，高估的对抗准确性也不代表鲁棒性，并强调了使用没有保证界限的经验评估的警告。
2020-06-01 cs.AI cs.LG stat.ML
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
Model-Based Offline Reinforcement Learning with Reliability-Guaranteed Sequence Modeling
Shenghong He（谢圣红）；Chao Yu（岳超）；Qian Lin（林倩）；Yile Liang（梁毅）；Donghui Li（李东辉）；Xuetao Ding（丁旭涛）
本文提出可靠性保障Transformer（RT）算法，通过计算轨迹累积可靠性消除不可靠轨迹并采样高奖励动作，在离线强化学习中实现高效策略学习。
2025-05-03 cs.AI cs.LG
Coverage-Guaranteed Speech Emotion Recognition via Calibrated Uncertainty-Adaptive Prediction Sets
Beihang University（北航大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出一种风险控制预测框架，通过校准集和数据驱动阈值优化联合损失函数，为语音情感识别提供覆盖保证，并在多个基线和数据集上验证了其鲁棒性与在线校准能力。
2025-05-07 cs.LG cs.SD eess.AS
Generalization Error Guaranteed Auto-Encoder-Based Nonlinear Model Reduction for Operator Learning
Hong Kong Baptist University（香港浸会大学）；Purdue University（普渡大学）
提出基于自编码器神经网络AENet的非线性模型降维方法以学习算子，通过非线性PDE实验验证其精度，并建立泛化误差理论，揭示样本复杂度与内蕴维度的关系及抗噪性。
2024-01-19 cs.LG
An Empirical Comparison of Sampling Quality Metrics: A Case Study for Bayesian Nonnegative Matrix Factorization
Harvard University（哈佛大学）
在这项工作中，我们经验性地探索的问题：我们如何才能评估一些目标分布的样本的质量？我们假设样本是由一些有效的蒙特卡罗程序提供的，所以我们保证样本的集合将渐近逼近真实分布。目前大多数评价方法都集中在两个问题上：（1）链是否混合，即是否从分布中抽样？以及（2）样本的独立性如何（因为MCMC程序产生相关样本）？专注于贝叶斯非负矩阵分解的情况下，我们经验性地评估采样质量的标准指标，以及提出新的指标来捕捉这些措施未能暴露的方面。我们特别感兴趣的采样方面是采样方法在NMF问题中在多个最优之间移动的能力（或能力）。作为一个代理，我们提出并研究了一些指标，可以量化的多样性的一组NMF因子分解采样器通过量化后验分布的覆盖范围。我们比较了一些标准的NMF抽样方法的性能，在这些新的指标。
2016-06-20 cs.LG stat.ML
Differentially Private Empirical Risk Minimization with Input Perturbation
University of Tsukuba（筑波大学）；Secom Co., Ltd.（西科姆有限公司）；JST CREST（日本科学技术振兴机构 CREST）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
我们提出了一个新的框架，差分私人ERM，输入扰动。现有的差异化私有ERM隐含地假设数据贡献者将其私有数据提交给数据库，期望数据库调用差异化私有机制来发布所学习的模型。在输入扰动中，每个数据贡献者独立地随机化她/他的数据，并将扰动后的数据提交给数据库。我们表明，输入扰动框架理论上保证了与随机数据学习的模型最终满足规定的隐私参数的差分隐私。同时，输入扰动保证了服务器的局部差分隐私。我们还证明了在一定条件下，输入扰动学习的模型的超额风险界为$O(1/n)$，其中$n$为样本量.这与最新技术水平的超额风险界限相同。
2017-10-20 cs.LG stat.ML
Causal Machine Learning Methods for Estimating Personalised Treatment Effects -- Insights on validity from two large trials
University of Zurich（苏黎世大学）；Epidemiology, Biostatistics and Prevention Institute（流行病学、生物统计学与预防研究所）
本文基于两项大型卒中随机对照试验评估17种因果异质性机器学习方法，发现其个体化治疗效应估计在内部和外部验证中均无法可靠泛化，凸显加强稳健验证的必要性。
2025-01-07 cs.LG stat.ML
A First Empirical Study of Emphatic Temporal Difference Learning
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了第一个实证研究的时间差分学习算法（ETD），比较它与传统的时间差分学习，特别是，与线性TD（0），对政策和政策外的变化的山地车问题。开发ETD的最初动机是它在非策略训练下具有良好的收敛特性（Sutton，Mahmood和White 2016），但它也是一种适用于策略情况的新算法。在我们的on-policy和off-policy实验中，我们发现每种方法都收敛到一个特征渐近误差水平，ETD优于TD（0）。TD（0）在回落到其较高的渐近线之前暂时达到了更低的误差水平，而ETD从未显示出这种“反弹”。在非策略情况下（TD（0）不保证收敛），ETD明显较慢。
2017-05-12 cs.AI cs.LG
OrderDP: A Theoretically Guaranteed Lossless Dynamic Data Pruning Framework
The Chinese University of Hong Kong（香港中文大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学）；Guangzhou Nanfang College（广州南方学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Xiangtan University（湘潭大学）；University of Utah（犹他大学）
提出OrderDP框架，通过随机子集选取与top-q样本选择实现无偏梯度估计，提供收敛性和泛化性理论保证，在CIFAR和ImageNet上降低40%训练成本且保持精度。
2026-06-07 cs.CV cs.LG
First-Order Adaptive Sample Size Methods to Reduce Complexity of Empirical Risk Minimization
University of Pennsylvania（宾夕法尼亚大学）
本文研究了大规模数据集的经验风险最小化（ERM）问题，并引入了自适应样本容量方法的思想，以提高一阶随机和确定性方法的保证收敛界。与试图直接解决与完整数据集相对应的ERM问题的传统方法相比，自适应样本量方案从少量样本开始，并解决相应的ERM问题，以达到其统计精度。然后，样本大小按几何级数增长--例如，将规模扩大一倍-并将以前机构风险管理的解决方案作为新机构风险管理的热启动。理论分析表明，使用自适应样本量的方法降低了整体的计算成本，实现了广泛的确定性和随机一阶方法的整个数据集的统计精度。收益具体取决于方法的选择。当具体到，例如，加速梯度下降和随机方差降低梯度，计算成本优势是训练样本数量的对数。在不同数据集上的数值实验证实了理论主张，并展示了使用所提出的自适应样本大小方案的收益。
2017-09-02 cs.LG math.OC
