Penalty parameter selection and asymmetry corrections to Laplace approximations in Bayesian P-splines models
本文提出改进的LPS方法,通过将潜空间二分以分别处理潜变量和未惩罚参数,结合非高斯不对称近似与Laplace近似,在保持无采样快速计算的同时显著提升了后验估计精度。
2022-10-04 stat.ME
Efficient model exploration with the integrated nested Laplace approximation
Universidad de Castilla-La Mancha(卡斯蒂利亚-拉曼恰大学)
本文提出利用INLA结合MCMC在模型空间采样,实现分层贝叶斯模型的变量选择与模型探索,并展示于变点模型和对数高斯Cox过程。
2026-09-09 stat.CO stat.ME
Rebuilding Factorized Information Criterion: Asymptotically Accurate Marginal Likelihood
National Institute of Informatics(国立信息学研究所);Kyoto University(京都大学);NEC Knowledge Discovery Laboratories(NEC知识发现实验室)
因子化信息准则(FIC)是近年来发展起来的一种边缘对数似然的近似方法,它提供了一个自动的模型选择框架,并具有易于处理的推理算法。本文对FIC进行了重新思考,填补了以往FIC研究的理论空白。首先,我们揭示了FIC的核心思想,它允许推广更广泛的LVMs类,包括连续LVMs,与以前的FIC相比,它只适用于二进制LVMs。其次,我们研究了广义FIC的模型选择机制。我们的分析提供了一个正式的理由FIC作为模型选择标准的LVMs,也修剪冗余的潜变量,已被删除在以前的研究中的系统程序。第三,我们提供了一个解释FIC作为一个变分自由能,并揭示了一些以前未知的它们之间的关系。对贝叶斯主成分分析进行了实证研究,数值实验支持了我们的理论结果。
2015-04-22 cs.LG stat.ML
Maximum Likelihood Criterion for Non-nested Model Selection
Department of Mathematics & Statistics, University of Victoria(维多利亚大学数学与统计系)
针对非嵌套候选模型,提出基于最大似然值的模型选择准则,该准则不惩罚参数数量,并证明其一致性。
2026-06-23 stat.ME
The variational Laplace approach to approximate Bayesian inference
近似贝叶斯推断的变分方法提供了执行参数估计和模型选择的非常有效的手段。其中,所谓的变分拉普拉斯或VL计划依赖于高斯近似模型参数的后验密度。在这篇文章中,我们回顾了VL方法的主要变体,这些变体来自于考虑连续和/或分类数据的非线性模型。恩passant,我们还得出了一些新的理论成果,完成现有的变分贝叶斯方法的分析组合,包括调查其渐近收敛。我们还提出了将现有VL方法扩展到分层生成模型的实用方法,包括(例如,精度)超参数。
2018-01-16 q-bio.NC stat.ME stat.ML
Semiparametric Bayesian Information Criterion for Model Selection in Ultra-high Dimensional Additive Models
对于参数个数不同的线性模型,最近的研究表明,改进的贝叶斯信息准则(BIC)可以一致地识别真实模型。然而,在许多情况下,几乎没有理由证明协变量的效应实际上是线性的。因此,一个半参数模型,如添加剂模型研究这里,是一个可行的替代。我们证明了BIC型标准的一致性的理论结果可以扩展到这个更具挑战性的情况下,与维度发散指数快速与样本量。此外,在我们的理论研究中,噪声假设是放松的。这些努力显着扩大了适用性的标准,更一般的一类模型。
2011-07-25 stat.ME
On the Equivalence of Factorized Information Criterion Regularization and the Chinese Restaurant Process Prior
因子信息准则(FIC)是近年来发展起来的一种新的信息准则,基于FIC提出了一种新的模型选择方法--因子渐近贝叶斯(FAB)推理,并成功地应用于各种层次贝叶斯模型。狄利克雷过程(DP)先验,以及它的一个著名的表示,中国餐馆过程(CRP),派生出另一行的模型选择方法。FIC可以被看作是潜变量配置上的先验分布。在这种观点下,我们证明了当参数维数为$D_{c}=2$时,FIC等价于CRP.我们认为,当$D_{c}>2$,FIC避免了DP/CRP的一个固有的问题,即数据的似然性将主导的影响,先验,因此模型选择能力将削弱$D_{c}$增加。然而,FIC高估了数据的可能性。因此,FIC可能会过度偏向组件较少的模型。我们提出了FIC的自然推广,它在CRP和FIC之间找到了一个中间地带,并且可能产生比FIC更准确的模型选择结果。
2015-07-01 stat.ML
Estimating the marginal likelihood with Integrated nested Laplace approximation (INLA)
边际似然是贝叶斯统计学中一个公认的模型选择准则。它还允许有效地计算边缘后验模型概率,该概率可用于对感兴趣的量进行贝叶斯模型平均。然而,对于许多复杂的模型,包括潜在建模方法,边缘似然性难以计算。最近一个有前途的方法近似的边缘可能性是集成嵌套拉普拉斯近似(INLA),设计的模型与潜在的高斯结构。在这项研究中,我们比较了近似与INLA获得一些不同复杂性的例子上的替代方法。特别是,我们讨论了简单的线性潜在模型、贝叶斯线性回归模型、具有probit和logit链接的逻辑贝叶斯回归模型以及Poisson纵向广义线性混合模型。
2016-11-04 stat.CO
A Model-Free Selection Criterion For The Mixing Coefficient Of Spatial Max-Mixture Models
极值理论的一个主要问题是量化联合尾部之间的相关性。使用在联合尾部缺乏灵活性的随机过程可能会导致严重低估或高估与同时发生的极端事件相关的概率。根据最近的进展,在文献中,一个灵活的模型称为最大混合模型已被引入建模的情况下,极值依赖结构可能会随着距离而变化。在本文中,我们提出了一个非参数模型的混合系数的选择标准,我们的标准是来自一个madogram,一个概念,经典的地质统计学捕捉空间结构。该过程是基于一个非线性最小二乘法之间的理论madogram和经验之一。我们进行了模拟研究,并将我们的标准应用于澳大利亚东部的每日降水量。
2018-01-03 math.PR math.ST stat.TH
A Modified Bayesian Criterion for Model Selection in Mixed and Hierarchical Frameworks
National University of Colombia(哥伦比亚国立大学);University of Bologna(博洛尼亚大学);University of Puerto Rico, Río Piedras Campus(波多黎各大学里奥彼德拉斯校区)
本文提出一种改进的贝叶斯准则,通过引入似然曲率信息提升混合与分层框架中模型选择的鲁棒性和准确性。
2026-01-03 math.PR stat.ME
Kernel-based Information Criterion
本文介绍了用于回归分析模型选择的核信息准则。KIC中新的基于内核的复杂性度量使用变量方差有效地计算模型参数之间的相互依赖性,并选择更好,更鲁棒的回归量。实验结果表明,与留一交叉验证(LOOCV)、基于核的信息复杂度(ICOMP)和高斯过程回归(GPR)中的最大边缘似然对数相比,该方法在模拟和真实数据集上都具有更好的性能。
2014-12-15 stat.ML
Hidden Gibbs random fields model selection using Block Likelihood Information Criterion
在吉布斯随机场之间进行模型选择是一项非常具有挑战性的任务。事实上,由于马尔可夫依赖结构,场的归一化常数不能使用标准的分析或数值方法计算。此外,这种不可观测的场不能被积分出去,似然估计是一个加倍棘手的问题。这就形成了一个核心问题,即选择最适合观测数据的模型。我们介绍了一个新的近似版本的贝叶斯信息准则。我们将格划分成连续的矩形块,我们近似的概率测度的隐藏吉布斯场的产品的吉布斯分布在块。在此基础上,我们估计的可能性,并推导出块似然信息准则(BLIC),回答模型选择问题,如依赖结构的选择或潜在状态的数量。针对这些问题,我们研究了BLIC的性能。此外,我们提出了与ABC算法的比较,指出新的标准提供了一个更好的时间效率和可靠的结果之间的权衡。
2016-02-08 stat.CO
Constrained Bayesian Hierarchical Models for Gaussian Data: A Model Selection Criterion Approach
考虑存在B>1个候选统计模型的设置,并且对模型选择感兴趣。解决这个问题的两种常用方法是选择单个模型或通过模型平均来组合候选模型。相反,我们选择与模型相关联的组合参数空间的子集。具体地,使用模型平均视角来增加参数空间,并且使用模型选择准则来选择该扩展的参数空间的子集。我们通过将Yekutieli(2012)的方法应用于贝叶斯模型平均(BMA)来解释标准的可变性。Yekutieli(2012)的方法将模型选择视为截断问题。我们截断联合支持的数据和参数空间,只包括小的值的协方差惩罚误差(CPE)标准。CPE是一个通用表达式,包含几个作为特殊情况的信息标准。仿真结果表明,只要截断集不具有近零概率,我们往往会获得比BMA更低的均方误差。额外的理论结果提供了这些意见的基础。我们将我们的方法应用于由美国社区调查(ACS)期间估计组成的数据集,以说明这种观点可以导致单个模型的改进。
2021-04-20 stat.ME
Marginal likelihood and model selection for Gaussian latent tree and forest models
高斯潜在树模型,或更一般地说,高斯潜在森林模型具有费舍尔信息矩阵,该矩阵沿着有趣的子模型(即对应于子森林的模型)变得奇异。对于这些奇异点,我们计算真实的对数正则阈值(也称为随机复杂度或学习系数),这些阈值量化了贝叶斯推理中边际似然的大样本行为。这提供了所需的信息,最近推出的推广贝叶斯信息标准。我们的数学发展对待拉普拉斯积分的相位函数是单项式和常数之间的平方差的总和的一般设置。我们澄清如何在这种情况下,真正的对数正则阈值可以使用多面体几何计算,我们展示了如何将一般理论与高斯潜在树和森林模型的拉普拉斯积分。在模拟和数据示例中,我们演示了如何将数学知识应用于模型选择。
2015-12-23 math.ST stat.ME stat.ML
Consistency of the Bayesian Information Criterion for Model Selection in Exploratory Factor Analysis
Institute of Mathematics for Industry, Kyushu University(九州大学产业数学研究所);Department of Mathematical and Physical Sciences, La Trobe University(拉筹伯大学数理科学院)
本文研究了在固定维度的探索性因子分析中,贝叶斯信息准则(BIC)在固定有限协方差类中的模型选择一致性,证明了在参数不规范情况下,BIC在伪真实因子顺序下强一致。
2026-04-09 math.ST stat.TH
Continuous Record Laplace-based Inference about the Break Date in Structural Change Models
基于Casini和Perron(2018a)最近引入的用于结构变化模型推断的连续记录渐近框架,我们提出了一种基于拉普拉斯(准贝叶斯)的方法来构建结构变化日期的估计和置信集。它是由积分而不是基于优化的方法定义的。的最小二乘准则函数的变换进行评估,以获得一个适当的分布,称为准后验。对于给定的损失函数的选择,拉普拉斯型估计量是期望风险的最小化者,期望在拟后验下进行。除了提供一个更精确的替代估计之外,|下平均绝对误差(MAE)和下均方根误差(RMSE)|与通常的最小二乘分布相比,拟后验分布可以利用最高密度区域的概念来构造渐进有效的推理。由此产生的拉普拉斯为基础的推理过程被证明有较低的MAE和RMSE,和置信集之间的经验覆盖率和平均长度的置信集相对于传统的长跨度方法,无论是小的或大的最佳平衡的突破。
2020-05-11 econ.EM math.ST stat.TH
Parameter selection in Gaussian process interpolation: an empirical study of selection criteria
本文基于评分规则和扩展似然准则,实证研究高斯过程插值中的参数选择问题,发现模型族的选择通常比具体选择准则更重要,且大多数准则都能有效选取Matérn协方差的正则性参数。
2023-08-08 stat.ME stat.ML
Model Selection for Gaussian Process Regression by Approximation Set Coding
高斯过程是强大的,但易于分析的监督学习模型。高斯过程由均值函数协方差函数(核)表征,它们由模型选择准则确定。要比较的函数不仅在参数化方面不同,而且在基本结构方面也不同。通常不清楚选择哪种函数结构,例如在平方指数核和有理二次核之间进行选择。基于近似集编码的原理,我们提出了一个模型选择框架,用于高斯过程回归的核排序。在我们的实验中,近似集编码有望成为一种模型选择标准,与最大证据(也称为边际似然)和留一交叉验证竞争。
2016-10-04 stat.ML
A Minimum Message Length Criterion for Robust Linear Regression
本文将最小信息长度原理应用于具有Student-t误差的线性回归模型的推断。提出了一种新的Student-t回归变量选择和参数估计准则。通过利用回归模型的性质,我们得到了一个合适的无信息的适当的均匀先验分布的回归系数,导致一个简单和易于应用的标准。我们提出的准则不需要指定超参数,并且在设计矩阵的满秩变换和结果的线性变换下都是不变的。我们比较了建议的标准与几个标准的模型选择标准,如赤池信息标准和贝叶斯信息标准,模拟和实际数据与有希望的结果。
2018-02-20 stat.ME
A subsampling approach for Bayesian model selection
在广义线性模型(GLM)的贝叶斯版本中,通常使用拉普拉斯近似来计算边际似然。边缘似然结合模型先验,然后在不同的搜索算法中使用,以计算模型和个体协变量的后验边缘概率。这允许执行贝叶斯模型选择和模型平均。对于大样本量,即使是拉普拉斯近似在计算上也变得具有挑战性,因为所涉及的优化例程需要在多次迭代中评估完整数据集的可能性。因此,该算法对于大型数据集是不可扩展的。为了解决这个问题,我们建议使用一个版本的流行的批量随机梯度下降(BSGD)算法估计的GLM的边际似然从数据的二次抽样。我们进一步结合该算法与马尔可夫链蒙特卡罗(MCMC)为基础的贝叶斯模型选择的方法,并提供了一些理论结果的收敛性估计。最后,我们报告的实验结果说明所提出的算法的性能。
2022-01-31 math.ST stat.CO stat.ME
Consistent Bayesian Information Criterion Based on a Mixture Prior for Possibly High-Dimensional Multivariate Linear Regression Models
在多元线性回归模型的变量选择问题中,我们基于光滑分布和δ分布的混合先验,导出了新的贝叶斯信息准则。每一个都可以解释为赤池信息准则(AIC)和贝叶斯信息准则(BIC)的融合。继承了它们的渐近性质,我们的信息准则在大样本和高维渐近框架下的变量选择是一致的。在数值模拟中,基于我们的信息准则的变量选择方法在大多数情况下以高概率选择真实的变量集。
2022-08-19 math.ST stat.TH
Asymmetric Laplace distribution regression model for fitting heterogeneous longitudinal response
Univ. Bordeaux, Bordeaux Population Health center, Inserm U1219(波尔多大学,波尔多人口健康中心,Inserm U1219);Univ Bretagne Sud, CNRS UMR 6205, LMBA(南布列塔尼大学,法国国家科学研究中心 UMR 6205,LMBA);Anesthesiology and Critical Care Department, Bordeaux University Hospital(波尔多大学医院麻醉与重症监护科)
本文提出基于非对称拉普拉斯分布的混合效应分布回归模型,以处理纵向数据中的异质性、异常值和不对称性,并更全面地评估协变量对响应分布的影响。
2025-12-13 stat.ME
On the overestimation of widely applicable Bayesian information criterion
广泛适用的贝叶斯信息准则(Watanabe,2013)适用于模型选择问题中的正则和奇异模型。这个标准往往会高估对数边际似然。我们确定了一个广泛适用的贝叶斯信息标准的高估。调整的长期提供了一个渐进的无偏估计量的领先的两项渐近展开的对数边际似然。在规则和奇异模式的数值试验中,调整导致比原来的标准更小的偏差。
2019-08-28 math.ST stat.ME stat.ML
Using Integrated Nested Laplace Approximation for Modeling Spatial Healthcare Utilization
近年来,空间和时空建模已成为许多领域(流行病学,环境研究,疾病地图)的重要研究领域。在这项工作中,我们提出了不同的空间模型来研究医院招聘,包括一些潜在的解释变量。感兴趣的是每个地理单元的分布,即居住在该地理单元的患者人数与同一地理单元的人口之间的比例。模型考虑的框架内的贝叶斯潜在高斯模型。我们的响应变量假设遵循具有logit链接的二项分布,其参数是地理单元中的人群和相应的相对风险。结构化加性预测因子以加性方式解释各种协变量的效应,包括协变量的平滑函数(例如空间效应),协变量的线性效应。为了近似后边缘,这不是在封闭的形式,我们使用集成嵌套拉普拉斯近似(INLA),最近提出的近似贝叶斯推断在潜在的高斯模型。INLA的优点是给出非常精确的近似值,并且当参数的数量不超过6时(就像我们的情况一样),比McMC方法更快。使用DIC标准评估模型比较。
2010-06-18 stat.AP stat.ME
A Model Selection Criterion for Multidimensional Gaussian Processes: Application to Radial Velocities
University of Warwick(华威大学);University of Oxford(牛津大学)
针对多维高斯过程回归中联合建模辅助活动指标以分离恒星和行星信号的问题,提出一种基于条件径向速度似然和有效参数计数的信息准则MGIC_rv,用于比较不同多GP模型并识别最有效约束RV信号的活动指标。
2026-06-08 astro-ph.EP astro-ph.IM astro-ph.SR
Model selection via Bayesian information capacity designs for generalised linear models
第一次调查是由筛选实验的响应变量近似的广义线性模型的设计。一个贝叶斯信息容量标准定义的设计是稳健的线性预测的形式的选择。对于二项数据和逻辑斯谛回归,通过模拟研究使用所有子集回归和模型选择(通过最大惩罚似然和广义信息标准)评估这些筛选设计的有效性。对于泊松数据和对数线性回归,使用极大似然和Akaike信息准则对分析构建的最小支持设计进行类似评估。结果表明,通过选择合适的设计支持点数目和实验规模,可以实现有效的筛选,即具有较高的功效和适中的第一类错误率和错误发现率。逻辑斯谛回归是一个更具挑战性的问题比对数线性回归。还指出了今后工作的一些领域。
2016-10-26 stat.ME
Bayesian Model Selection for Misspecified Models in Linear Regression
虽然贝叶斯信息准则(BIC)和赤池信息准则(AIC)是线性回归中模型选择的强大工具,但它们建立在不同的先验假设上,因此适用于不同的数据生成场景。我们表明,在有限维的情况下,他们各自的假设可以统一在一个增广的模型加噪声空间,并在这个空间中构建一个先验继承了AIC和BIC的有益特性。这使我们能够调整BIC,使其对信噪比较低的错误指定模型具有鲁棒性。
2017-12-14 stat.ME
The Effective Sample Size in Bayesian Information Criterion for Level-Specific Fixed and Random Effects Selection in a Two-Level Nested Model
流行的统计软件为多水平模型或线性混合模型提供贝叶斯信息准则(BIC)。然而,已经观察到,统计文献和软件文档的组合导致BIC公式的差异以及在选择多水平模型时正确使用BIC的不确定性,其中涉及特定水平的固定效应和随机效应。这些差异和不确定性是由多水平模型BIC惩罚项中样本量的不同规格造成的。在这项研究中,我们推导出BIC的惩罚项的水平特定的固定和随机效应选择在两个水平的嵌套设计。在BIC的这个新版本(称为BIC_E)中,如果随机效应方差-协方差阵具有满秩,则该惩罚项被分解为两个部分:(a)每个聚类平均样本量的对数项,其乘数涉及随机和固定效应设计矩阵列空间之间的重叠维数,以及(b)参数总数乘以聚类总数的对数。此外,我们研究了BIC_E在冗余随机效应存在下的行为。用一个教科书的例子数据集说明了BIC_E的使用,数值演示表明,导出的公式符合经验值。
2022-06-23 stat.ME
Model selection in sparse high-dimensional vine copula models with application to portfolio risk
藤连接允许仅使用二元构建块为任意数量的变量构建灵活的依赖模型。藤copula模型中的参数数目随着维数的增加而呈二次方增加,这给高维应用带来了新的挑战。为了减轻计算负担和过拟合的风险,我们提出了一个修改的贝叶斯信息准则(BIC)适合稀疏藤蔓Copula模型。我们表明,该标准可以始终区分真正的和替代模型的严格条件下,比经典BIC。新准则可用于选择稀疏模型类的超参数,如截断和阈值vine copula。我们提出了一个计算效率的实现,并说明了新概念的好处与案例研究,我们在一个大型股票股票投资组合的依赖模型。
2018-11-19 stat.CO stat.ME
A Symmetric Random Scan Collapsed Gibbs Sampler for Fully Bayesian Variable Selection with Spike-and-Slab Priors
Tamkang University(淡江大学)
本文提出了一种对称随机扫描坍缩Gibbs采样器,用于高效贝叶斯变量选择,结合尖峰-夹层先验和自适应正则化,实现高灵敏度和特异性。
2026-01-10 stat.AP stat.ME
Criteria for Bayesian model choice with application to variable selection
在客观贝叶斯模型选择中,没有一个单一的标准在定义客观先验分布时占主导地位。事实上,许多标准已经被单独提出并用于提出不同的优先选择。我们首先正式提出了各种标准中最普遍和最令人信服的标准,以及一个新的标准。然后,我们说明了这些标准在确定目标模型选择先验的潜力,考虑他们的应用程序的问题,在正常的线性模型的变量选择。这导致了一个新的模型选择目标,具有许多令人信服的属性。
2012-09-24 math.ST stat.TH
Bayesian data selection
通过发现与感兴趣的模型匹配或不匹配的数据特征,可以深入了解复杂的高维数据。为了使这一任务形式化,我们引入了“数据选择”问题:找到一个低维的统计数据-例如变量的子集-这是很好地适合一个给定的参数模型的兴趣。一个完全的贝叶斯数据选择方法是对统计量的值进行参数化建模,对数据的其余“背景”分量进行非参数化建模,并对统计量的选择执行标准贝叶斯模型选择。然而,将非参数模型拟合到高维数据在统计和计算上往往是非常低效的。我们提出了一种新的分数进行数据选择和模型选择,“斯坦体积标准”,它采取的形式是广义边缘似然与内核化斯坦差异的地方的库尔贝克-莱布勒散度。Stein体积准则不需要拟合或甚至指定非参数背景模型,使得计算简单-在许多情况下,它与用替代目标函数拟合感兴趣的参数模型一样简单。我们证明了Stein体积准则对于数据选择和模型选择都是一致的,并且我们建立了相应的广义后验参数的一致性和渐近正态性(Bernstein-von Mises)。我们验证我们的方法在模拟和应用它的单细胞RNA测序数据集的分析,使用概率主成分分析和自旋玻璃模型的基因调控。
2021-09-08 stat.ME
Optimality of Sub-network Laplace Approximations: New Results and Methods
Linkedin Inc.(LinkedIn公司)
本文研究子网络拉普拉斯近似法的最优性,提出两种新方法并证明其理论保证,展示其优于现有启发式方法。
2026-07-30 cs.LG stat.ML
The Mean and Median Criterion for Automatic Kernel Bandwidth Selection for Support Vector Data Description
SAS Institute Inc.(SAS研究所公司)
支持向量数据描述(SVDD)是一种流行的异常检测技术。SVDD分类器将整个空间划分为内点区域和离群点区域,内点区域由靠近训练数据的区域组成,离群点区域由远离训练数据的点组成。SVDD分类器的计算需要核函数,高斯核是核函数的常见选择。高斯核有一个带宽参数,其值对于良好的结果很重要。小的带宽导致过拟合,并且所得到的SVDD分类器高估了异常的数量。大的带宽导致欠拟合,并且分类器无法检测到许多异常。在本文中,我们提出了一种新的自动,无监督的方法来选择高斯核带宽。所选的值可以快速计算,并且与现有的带宽选择方法具有竞争力。
2017-08-21 cs.AI cs.LG stat.ML
Oneshot Differentially Private Top-k Selection
University of Michigan(密歇根大学);University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
能够高效准确地选择具有差分隐私的顶级$k$元素是各种隐私数据分析任务的组成部分。在本文中,我们提出了oneshot拉普拉斯机制,它概括了著名的报告噪声最大的机制,以报告嘈杂的顶部$k$元素。我们发现,oneshot拉普拉斯机制的噪音水平为$\widetilde{O}(\sqrt{k}/\eps)$近似差分私人。与之前运行Report Noisy Max $k$次的剥离方法相比,oneshot Laplace机制仅添加噪声并计算顶部$k$元素一次,因此对于大型$k$更有效。此外,我们的隐私证明依赖于一种新的耦合技术,绕过使用的组合定理。最后,我们提出了一个新的应用程序,有效的顶部$k$选择的经典问题,从成对比较排名。
2021-06-23 cs.CR cs.LG stat.ML
Active Feature Selection for the Mutual Information Criterion
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
我们研究了主动特征选择,一种新的特征选择设置,其中未标记的数据是可用的,但标签的预算是有限的,和标签的例子可以主动选择的算法。我们专注于使用经典的互信息标准,选择最大的互信息与标签的$k$功能的特征选择。在活动特征选择设置中,目标是使用比数据集大小少得多的标签,并且仍然找到其与基于\emph{entire}数据集的标签的互信息大的$k$特征。我们解释和实验研究的选择,我们在算法中,并表明,他们导致一个成功的算法,相比其他更天真的方法。我们的设计借鉴了将主动特征选择的问题与纯探索多臂强盗设置的研究相关联的见解。虽然我们在这里关注的是互信息,但我们的一般方法也可以适用于其他特征质量度量。该代码可在以下网址获得:https://github.com/ShacharSchnapp/ActiveFeatureSelection。
2020-12-13 cs.LG stat.ML
StackFeat RL: Reinforcement Learning over Iterative Dual Criterion Feature Selection for Stable Biomarker Discovery
CEA List;Université Grenoble Alpes(格勒诺布尔大学)
本文提出StackFeat-RL框架,通过REINFORCE策略梯度优化迭代双准则特征选择算法的超参数,提升高维基因组数据中生物标志物发现的准确性、稀疏性和稳定性。
2026-04-24 cs.LG
Efficient Bayesian Updates for Deep Active Learning via Laplace Approximations
University of Kassel(卡塞尔大学)
本文提出通过拉普拉斯近似实现高效的贝叶斯更新,用于深度主动学习中的批次选择,提高计算效率并改进模型更新性能。
2026-03-11 cs.LG
A Bayesian Model Selection Criterion for Selecting Pretraining Checkpoints
Google Research(谷歌研究院)
本文提出一种名为下游自由能的贝叶斯模型选择准则,通过测量下游任务附近有利参数的集中度来量化预训练检查点的适应性,无需下游数据即可有效预测模型的微调性能。
2025-05-29 cs.LG
laplax -- Laplace Approximations with JAX
Tübingen AI center, University of Tübingen, Tübingen, Germany(图宾根人工智能中心,图宾根大学)
本文介绍开源 Python 包 laplax,它基于 jax 实现 Laplace 近似,以模块化、纯函数式和低依赖架构支持深度神经网络权重不确定性量化及相关贝叶斯研究。
2025-07-22 cs.AI cs.LG
Parallel feature selection based on the trace ratio criterion
SimulaMet;AISIA Research Lab(AISIA研究实验室);University of Science(科学大学);Vietnam National University(越南国家大学);University of Connecticut(康涅狄格大学)
当今数据的增长对管理和推理提出了挑战。虽然特征提取方法能够减少用于推断的数据的大小,但是它们无助于最小化数据存储的成本。另一方面,特征选择有助于去除冗余特征,因此不仅有助于推理,而且有助于降低管理成本。本文提出了一种新的并行特征选择分类方法--基于迹准则的并行特征选择方法(PFST),该方法可以扩展到非常大的数据集。我们的方法使用跟踪标准,一种用于Fisher判别分析的类可分性度量,来评估特征的有用性。从理论上分析了该准则的理想性质。基于该准则,PFST通过首先进行前向选择并提前去除看似冗余的特征,快速地从大数据集的一组特征中找到重要特征。在模型中包含最重要的特征之后,我们检查它们的贡献,以确定可能改善拟合的可能相互作用。最后,我们做了一个向后选择,以检查回可能的冗余添加的前向步骤。我们评估我们的方法,通过各种实验使用线性判别分析作为分类器上选定的功能。实验表明,我们的方法可以产生一个小的功能集在一小部分的时间量的其他方法进行比较。此外,在PFST选择的特征上训练的分类器不仅比其他方法选择的分类器具有更好的准确性,而且比所有可用特征的分类器具有更好的准确性。
2022-03-03 cs.LG
Don't stop me now: How Validation Criteria Affect Checkpoint Selection and Early Stopping
University of Naples Federico II(那不勒斯费德里科二世大学);University of Salerno(萨莱诺大学)
本文研究了模型参数选择中验证标准的影响,发现基于损失的验证比基于准确率的更稳定,建议避免使用早停策略选择参数。
2026-09-29 cs.AI cs.LG
Kernel Bandwidth Selection for SVDD: Peak Criterion Approach for Large Data
SAS Institute Inc.(赛仕软件研究所)
支持向量数据描述(SVDD)为多变量数据的单类分类和离群点检测提供了一种有效的描述方法,具有广泛的实际应用。在SVDD公式中使用的高斯核允许由指定为支持向量的观测定义的灵活的数据描述。这种描述的数据边界是非球形的,并且符合数据的几何特征。通过改变高斯核带宽参数,SVDD生成的边界可以变得更平滑(更球形)或更紧密/锯齿状。前者可能导致欠拟合,而后者可能导致过拟合。峰值准则已被提出来选择一个最佳值的核带宽之间的数据边界的平滑性和它的能力,以捕捉数据的一般几何形状的平衡。峰值准则涉及在核带宽参数的各种值下训练SVDD。当训练数据集很大时,根据Peak方法获得高斯核带宽参数的最佳值所需的时间可能会变得非常大。本文提出了一种扩展的峰值方法的情况下,大数据。当应用于多个数据集时,所提出的方法给出了良好的结果。两个现有的替代方法计算高斯核带宽参数(变异系数和距离的Faradian邻居)进行了修改,以便与所提出的方法的收敛性进行比较。实证比较表明了该方法的优越性。
2017-05-19 cs.LG stat.ML
A simple application of FIC to model selection
University of Washington(华盛顿大学)
我们最近提出了一种新的基于信息的方法来选择模型,频率信息准则(FIC),调和基于信息和频率推理。本文的目的是提供一个简单的例子,这个标准的应用和示范的自然出现的模型复杂性与AIC样($N^0$)和BIC样($\log N$)缩放与观察数$N$。开发的应用程序是故意简化,使分析易于处理。
2015-06-19 cs.LG physics.data-an stat.ML
Cross-Correlation Based Discriminant Criterion for Channel Selection in Motor Imagery BCI Systems
Objective.许多基于脑电(EEG)的脑机接口(BCI)系统为了获得更高的性能而使用大量的通道,这是建立耗时且不便于实际应用的。找到一个最佳的子集的通道,而不损害性能是一个必要的和具有挑战性的任务。Approach.在这篇文章中,我们提出了一个基于互相关的判别准则(XCDC),它评估的重要性,区分不同的运动想象(MI)任务的心理状态的通道。根据所提出的标准对信道进行排序和选择。在两个运动想象脑电数据集上评估了XCDC的功效。主要结果。在这两个数据集中,与全通道设置相比,XCDC显着减少了通道数量,而不会影响分类准确性。在相同的精度约束下,该方法比现有的基于皮尔逊相关系数和共同空间模式的信道选择方法需要更少的信道。XCDC的可视化显示与神经生理学原理一致的结果。意义本文提出了一种量化的脑电通道在MI任务中的重要性评估和排序标准,并为MI BCI系统校准阶段的通道选择提供了一种实用的方法,从而降低了后续步骤的计算复杂度和配置难度,使BCI系统实时性和使用方便性得到提高。
2021-03-03 cs.LG eess.SP
High-Dimensional Gaussian Graphical Model Selection: Walk Summability and Local Separation Criterion
Center for Pervasive Communications and Computing(普适通信与计算中心);University of California, Irvine(加利福尼亚大学欧文分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Laboratory for Information and Decision Systems(信息与决策系统实验室);Massachusetts Institute of Technology(麻省理工学院)
我们考虑高维高斯图模型选择问题。我们确定了一组图,其中存在一个有效的估计算法,该算法是基于阈值的经验条件协方差。在一组透明条件下,当样本数n=omega(J_{min} ^{-2} log p)时,我们建立了算法的结构一致性(或稀疏性),其中p是变量数,J_{min}是图形模型的最小(绝对)边势.稀疏性的充分条件是基于模型的行走可求和性的概念和基础图中稀疏的局部顶点分离器的存在。我们还得到了新的非渐近的必要条件所需的稀疏样本的数量。
2012-03-04 cs.LG math.ST stat.TH
Data driven estimation of Laplace-Beltrami operator
Inria Saclay(法国国家信息与自动化研究所萨克雷中心);Ecole Centrale de Nantes(南特中央理工学校);Laboratoire de Mathématiques Jean Leray (UMR 6629 CNRS)(让·勒雷数学实验室(法国国家科学研究中心联合单元6629))
利用图Laplace-Beltrami逼近流形上的Laplace-Beltrami算子已成为数据分析和机器学习中的常用工具。这些离散化的运营商通常依赖于带宽参数的调整仍然是一个理论和实际问题。在本文中,我们解决这个问题的非规范化图拉普拉斯通过建立一个预言不等式,打开了一个良好的数据驱动的过程中的带宽选择的大门。我们的方法依赖于拉库尔和马萨特[LM 15]在所谓的Lepski方法上的最新结果。
2016-12-30 cs.CG cs.LG math.ST
TERC: A Transfer Entropy Redundancy Criterion for State Variable Selection in Reinforcement Learning
UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心)
本文提出TERC准则,用于选择强化学习中的最优状态变量,通过信息理论方法排除冗余变量,提升推理效率,适用于多种算法和环境。
2026-07-07 cs.AI cs.IT cs.LG
Feature Selection for multi-labeled variables via Dependency Maximization
University of Michigan(密歇根大学)
特征选择和数据降维是数据分析中必不可少的步骤。在这项工作中,我们提出了一个新的标准,制定为特征之间的条件信息的标记变量的特征选择。而不是使用基于库尔贝克-莱布勒散度的标准互信息度量,我们使用我们提出的标准来过滤掉冗余的功能,用于多类分类。这种方法的结果在一个有效的和快速的非参数实现的功能选择,因为它可以直接估计使用的几何措施的依赖性,全球弗里德曼-拉夫斯基(FR)的多元运行检验统计量构造的全球最小生成树(MST)。我们通过仿真证明了我们提出的特征选择方法的优点。此外,所提出的特征选择方法适用于MNIST数据集。
2019-05-16 cs.IT cs.LG math.IT
Instrument Space Selection for Kernel Maximum Moment Restriction
Australian National University(澳大利亚国立大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tokyo(东京大学)
核最大矩约束(KMMR)是最近出现的一种基于工具变量(IV)的条件矩约束(CMR)模型的流行框架,在IV回归和近因学习的条件矩(CM)检验和参数估计中具有重要应用。然而,这个框架的有效性,关键取决于选择一个再生核希尔伯特空间(RKHS)选择作为一个空间的工具。在这项工作中,我们提出了一个系统的方法来选择仪器空间的参数估计的最小可识别的仪器空间(LIIS)的原则的基础上,确定模型参数与最小的空间复杂度。我们的选择标准结合了两个不同的目标,以确定这样的最优空间:(i)一个测试标准,以检查可识别性;(ii)一个信息标准的基础上的有效尺寸的RKHS的复杂性措施。我们分析了我们的方法在确定LIIS的一致性,并通过仿真证明了其有效性的参数估计。
2021-06-07 cs.LG
Advances in Feature Selection with Mutual Information
Université catholique de Louvain(鲁汶天主教大学);INRIA Rocquencourt(法国国家信息与自动化研究所罗克库尔分部)
在涉及高维数据的许多领域中,与预测或分类问题相关的特征的选择是一个重要的问题。选择特征有助于对抗维数灾难,提高预测或分类方法的性能,并解释应用程序。在非线性背景下,互信息被广泛用作特征和特征集的相关性准则。然而,它至少有三个主要的局限性:互信息估计依赖于平滑参数,有没有理论上合理的停止准则,在特征选择贪婪的过程中,估计本身遭受的灾难的维数。本章将介绍如何处理这些问题。前两个是通过使用resception技术,提供了一个统计基础,以选择估计参数,并停止搜索过程。第三个问题是通过修改互信息标准来解决的,该标准衡量的是特征对于当前问题的互补性(而不仅仅是信息性)。
2009-09-03 cs.IT cs.LG math.IT