Bayesian Conditional Gaussian Network Classifiers with Applications to Mass Spectra Classification
IIIA-CSIC(西班牙国家研究委员会人工智能研究所);Martin-Luther-Universität(马丁·路德大学)
基于概率图模型的分类器是非常有效的。在连续域中,最大似然通常用于评估这些分类器的预测。当数据稀缺时,这很容易导致过度拟合。在任何概率设置中,贝叶斯平均(BA)提供理论上的最佳预测,并且已知对过拟合具有鲁棒性。在这项工作中,我们引入贝叶斯条件高斯网络分类器,它有效地执行精确的贝叶斯平均参数。我们评估建议的分类器对最大似然替代品提出迄今为止在标准UCI数据集,得出的结论是,执行BA提高了质量的评估概率(条件对数似然),同时保持出错率。过度拟合更可能发生在数据项数量少而变量数量大的域中。这两个条件在生物信息学领域得到满足,其中从质谱早期诊断癌症是一项相关的任务。我们提供了一个应用程序,我们的分类框架的问题,比较它与标准的最大似然替代,在评估概率的质量的提高得到证实。
2013-08-28 cs.LG stat.ML
Ensemble-Conditional Gaussian Processes (Ens-CGP): Representation, Geometry, and Inference
Earth Signals and Systems Group(地球信号与系统组);Earth, Atmospheric and Planetary Sciences(地球、大气与行星科学);Massachusetts Institute of Technology(麻省理工学院)
本文提出Ens-CGP,一种基于集成的条件高斯过程方法,通过将经验集成矩作为高斯先验进行精确条件化,为卡尔曼滤波等方法提供概率基础,并明确其与变分和集成视角的关系。
2026-02-14 cs.IT cs.LG math.IT
Conditional Deep Gaussian Processes: empirical Bayes hyperdata learning
Rutgers University(罗格斯大学);Institute for Advanced Studies(高等研究院)
希望将深度学习的表达能力与高斯过程(GP)结合在一个表达性贝叶斯学习模型中。深度内核学习成功地采用了深度网络进行特征提取,然后将GP用作函数模型。最近,有人建议,虽然训练与边际似然,特征提取器的确定性性质可能会导致过度拟合,而用贝叶斯网络的替代似乎治愈it.Here,我们提出了条件深高斯过程(DGP),其中层次组成的中间GP由超数据支持,暴露的GP保持零均值。受稀疏GP中诱导点的启发,超数据也扮演函数支持的角色,但是超参数而不是随机变量。我们按照我们以前的时刻匹配的方法来近似的边缘先验条件DGP的GP携带一个有效的内核。因此,与经验贝叶斯一样,超数据是通过优化近似边际似然来学习的,近似边际似然经由内核隐式地依赖于超数据。我们将在潜在空间中的稠密超数据的限制下证明与深度核学习的等价性。然而,条件DGP和相应的近似推理比深度内核学习更具有贝叶斯性。初步的外推结果表明,通过利用精确的协方差和超数据学习,与GP内核组成,DGP变分推理和深度内核学习相比,从层次结构的深度表现出强大的表达能力。我们还解决了我们的模型的非高斯方面,以及升级到一个完整的贝叶斯推理的方式。
2021-10-23 cs.LG stat.ML
Varying-coefficient models with isotropic Gaussian process priors
University College London(伦敦大学学院);SoundCloud Ltd.(SoundCloud有限公司);University of Potsdam(波茨坦大学)
我们研究的学习问题,其中的条件分布的输出给定的输入变化作为一个功能的额外的任务变量。在具有高斯过程先验的变系数模型中,高斯过程生成任务变量与该条件的参数之间的函数关系。变系数模型继承了分层贝叶斯多任务模型,但也是条件连续变化的推广,例如,在时间或空间上。然而,在变系数模型中的贝叶斯推断通常是棘手的。我们发现,推理变系数模型与各向同性高斯过程先验解决标准的高斯过程,可以有效地解决的推断。该模型中的MAP推理归结为使用任务核和实例核的多任务学习,使用图-拉普拉斯核可以有效地进行分层贝叶斯多任务模型的推理。我们报告的地理空间预测的实验。
2015-10-14 cs.LG stat.ML
A Conditional Density Estimation Partition Model Using Logistic Gaussian Processes
条件密度估计(密度回归)估计以协变量x为条件的响应变量y的分布。利用划分模型框架,提出了一种基于Logistic高斯过程的条件密度估计方法。分区是使用Voronoi曲面细分创建的,并使用可逆跳跃马尔可夫链蒙特卡罗算法从数据中学习。通过对逻辑高斯过程模型的潜变量进行拉普拉斯近似,使得马尔可夫链蒙特卡罗算法成为可能。这种近似使每个分区元素中的参数边缘化,从而允许有效搜索曲面细分的后验分布。该方法具有理想的稠度特性。在模拟和应用中,该模型成功地估计了y的分区结构和条件分布。
2017-03-20 stat.ME
Conditionally Independent Multiresolution Gaussian Processes
多分辨率高斯过程(GP)作为一种有效的提高GP近似质量的方法,在大规模数据中得到了越来越多的关注。目前的大多数结构都假定决议之间完全独立。这个假设简化了推理,但它低估了从一个分辨率转换到另一个分辨率的不确定性。这反过来又会导致模型在对所选分辨率过度敏感的意义上倾向于过拟合,以及在边界处不平滑的预测。我们的贡献是一个新的建设,而不是假设条件的独立性GP之间的决议。我们表明,放松完全独立的假设,使鲁棒性对过拟合,它提供的预测是平滑的边界。我们的新模型在2个合成数据集和9个真实数据集上与当前最先进的模型进行了比较。在大多数情况下,与基于完全独立假设的模型相比,我们的新条件独立构造表现良好。特别是,它几乎没有过度拟合的迹象。
2019-02-24 stat.ML
Conditional simulation of extremal Gaussian processes
最近,极大无限可分过程的正则条件分布由\citet{Dombry2011}得到,虽然这些条件分布具有复杂的封闭形式,但\citet{Dombry2011b}给出了一个算法来得到Brown-Resnick过程的条件实现。在本文中,我们推导出正则条件分布的最大稳定过程引入的\citet{Schlather2002}和适应的框架\citet{Dombry2011b},以这个特定的过程。我们测试模拟数据的方法,并在瑞士极端温度的应用。结果表明,所提出的抽样方案提供了准确的条件模拟,可以处理实际规模的问题。
2012-08-27 math.ST stat.TH
Gaussian Process Conditional Copulas with Applications to Financial Time Series
多个变量之间的相关性估计是金融时间序列分析中的一个核心问题。一种常见的方法是用Copula函数来表示这些依赖关系。通常,Copula函数被假设为常数,但当协变量可能对数据的依赖结构产生很大影响时,这可能不准确。为了说明这一点,贝叶斯框架的条件Copula的估计。在这个框架中,Copula的参数与一些任意的条件变量非线性相关。我们评估我们的方法来预测随时间变化的依赖于几个股票和货币的能力,并观察到一致的性能收益相比,静态copula模型和其他随时间变化的copula方法。
2013-07-01 stat.ML
Gaussian Experts Selection using Graphical Models
University of Tuebingen(图宾根大学)
局部近似是将高斯过程(GP)扩展到大数据的流行方法。局部近似通过将原始数据集划分为子集并在每个子集上训练局部专家来降低时间复杂度。假设专家之间的条件依赖性或独立性,聚合专家的预测。在专家之间施加\emph{conditional independence assumption}(CI)使得不同专家预测的聚合具有时间效率,但代价是不确定性量化较差。另一方面,建模依赖专家可以提供精确的预测和不确定性量化的代价不切实际的高计算成本。通过消除弱专家通过理论指导的专家选择步骤,我们大大降低了计算成本的聚集依赖的专家,同时确保校准的不确定性量化。我们利用无向图模型的文献中的技术,使用稀疏精度矩阵编码专家之间的条件依赖关系,以选择最重要的专家。莫列奥夫
2021-08-31 cs.LG stat.ML
Conditional Deep Gaussian Processes: multi-fidelity kernel learning
Rutgers University(罗格斯大学);Institute for Advanced Study(普林斯顿高等研究院)
深度高斯过程(DGPs)被提出作为一个表达贝叶斯模型能够数学接地估计的不确定性。DPG的表现力不仅来自于其组成特征,还来自于其在层次结构中的分布传播。最近,文献[1]指出DGP的层次结构非常适合于多保真度回归建模,其中一个模型提供了高精度的稀疏观测值和大量的低保真度观测值。我们提出了条件DGP模型,其中潜在的GP直接支持的固定的较低的保真度数据。然后利用文献[2]中的矩匹配方法,用一个GP来逼近条件DGP的边缘先验。所获得的有效核是较低保真度数据的隐函数,体现了层次结构内分布传播所带来的表现力。通过优化近似边缘似然来学习超参数。合成和高维数据的实验显示出与其他多保真度回归方法,变分推理和多输出GP相当的性能。我们得出结论,在低保真度数据和分层DGP结构的情况下,有效内核对真函数的归纳偏差进行编码,从而允许[3,4]中讨论的组合自由度。
2021-10-01 cond-mat.dis-nn cs.LG stat.ML
Aggregating Dependent Gaussian Experts in Local Approximation
University of Tuebingen(图宾根大学)
分布式高斯过程(DGP)是将高斯过程(GP)扩展到大型数据集的重要局部逼近方法。代替全局估计,他们通过将训练集划分为子集来训练本地专家,从而降低了时间复杂度。该策略基于条件独立性假设,这基本上意味着本地专家之间存在完美的多样性。然而,在实践中,这一假设往往被违反,专家的聚集导致次优和不一致的解决方案。在本文中,我们提出了一种通过检测条件独立性的强烈违反来聚合高斯专家的新方法。专家之间的依赖性是通过使用高斯图形模型,产生的精度矩阵。精度矩阵编码专家之间的条件依赖,并用于检测强依赖的专家和构造一个改进的聚集。使用合成数据集和真实数据集,我们的实验评估表明,我们的新方法优于其他最先进的(SOTA)DGP方法,同时比基于独立专家的SOTA方法更具时间效率。
2020-10-17 cs.LG stat.ML
High-Dimensional Conditionally Gaussian State Space Models with Missing Data
我们开发了一种有效的采样方法,用于处理条件高斯状态空间模型中的复杂缺失数据模式和大量缺失观测。两个重要的例子是具有不平衡数据集的动态因子模型和具有多个频率变量的大型贝叶斯VAR。所提出的方法的一个关键见解是,在观测数据的条件下,缺失数据的联合分布是高斯分布。此外,该条件分布的逆协方差或精度矩阵是稀疏的,并且可以利用这种特殊结构来大大加快计算。我们说明了使用两个实证应用程序的方法。第一个应用程序使用大型贝叶斯VAR将季度,月度和每周数据结合起来,以产生每周GDP估计值。在第二个应用程序中,我们提取潜在的因素,从不平衡的数据集,涉及超过100个月的变量,通过一个动态因子模型与随机波动。
2023-02-07 econ.EM stat.CO stat.ME
Where Bayes tweaks Gauss: Conditionally Gaussian priors for stable multi-dipole estimation
我们提出了一个非常简单但功能强大的推广先前描述的模型和算法估计多个偶极子从磁/脑电图数据。具体而言,推广包括在一组条件线性/高斯变量的标准差上引入对数均匀超先验。我们使用数值模拟和实验数据集表明,近似的后验分布保持非常稳定的超参数的值范围很广,几乎消除了对超参数的依赖。
2020-06-07 q-bio.QM stat.AP stat.ME
Gaussian Process Single Index Models for Conditional Copulas
参数条件Copula模型允许Copula参数根据未知的校准函数随一组协变量而变化。基于单指数模型(SIM)的光滑校准函数集,通过稀疏高斯过程(GP)先验分布,提出了二元条件Copula校准函数的灵活贝叶斯推断.通过从全后验分布进行马尔可夫链蒙特卡罗采样,联合完成来自边缘分布和校准函数的参数估计。一个新的条件交叉验证伪边际(CCVML)标准,以执行copula选择,并修改使用基于置换的程序来评估数据支持的简化假设。估计方法和模型选择标准的性能进行了研究,通过一系列的模拟使用正确的和错误指定的模型与克莱顿,弗兰克和高斯copula和涉及红葡萄酒的功能的数值应用。
2017-05-25 stat.ME
Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians
Air Force Institute of Technology(空军理工学院);Duke University(杜克大学)
本文研究攻击者通过破坏证据变量来扰乱多元高斯模型条件推断的问题,将攻击建模为二次规划或随机二次规划,并在房地产评估、利率估计和信号处理等场景中验证了白盒与灰盒攻击的有效性及行为差异。
2024-11-21 cs.CR cs.LG stat.AP
Gaussian Process Vine Copulas for Multivariate Dependence
Copula允许学习边缘分布独立于多元依赖结构(copula),多元依赖结构将它们连接到一个密度函数中。藤因子分解通过构造条件二元copula的层次结构来简化高维copula的学习。然而,为了简化推理,通常假设这些条件二元Copula中的每一个都独立于其条件变量。在本文中,我们放松了这一假设,发现潜在的功能,指定的形状的条件Copula给定其条件变量我们学习这些功能的贝叶斯方法的基础上稀疏高斯过程的期望传播可扩展的,近似的推理。在真实世界数据集上的实验表明,当对所有条件依赖进行建模时,我们可以更好地估计数据的底层copula。
2013-02-16 stat.ME stat.ML
Efficient sampling of Gaussian graphical models using conditional Bayes factors
高斯图形模型的贝叶斯估计已被证明是具有挑战性的,因为高斯精度矩阵上的共轭先验分布,G-Wishart分布,具有双重难以处理的分区函数。最近的发展提供了一种直接从G-Wishart分布中采样的方法,这使得模型选择算法比以前更有效。尽管如此,估计高斯图形模型与少数几个变量仍然是一个几乎不可行的任务。在这里,我们提出了两种新的算法,使用直接采样器更有效地近似高斯图形模型的后验分布。第一种算法使用条件贝叶斯因子在Metropolis-Hastings框架中比较模型。第二种算法是基于连续时间马尔可夫过程。我们表明,这两种算法都大大快于国家的最先进的替代品。最后,我们展示了如何使用算法可以同时估计结构和功能连接之间的皮层下的大脑区域,使用静息态功能磁共振成像。
2014-09-09 q-bio.NC stat.ME
Semiparametric Imputation Using Conditional Gaussian Mixture Models under Item Nonresponse
插补是调查抽样中处理项目无应答的常用技术。参数插补基于插补的参数模型,对插补模型的失效不太稳健。非参数插补是完全稳健的,但由于维数灾难,当协变量的维数很大时不适用。半参数插补是另一种基于灵活模型的稳健插补,其中模型参数的数量可以随着样本量的增加而增加。在本文中,我们提出了另一种半参数插补的基础上更灵活的模型假设比高斯混合模型。在建议的混合模型中,我们假设一个条件高斯模型的研究变量给定的辅助变量,但边缘分布的辅助变量不一定是高斯。我们表明,建议的混合模型实现了较低的近似误差绑定到任何未知的目标密度比高斯混合模型的库尔贝克-莱布勒散度。通过在条件对数似然函数中引入惩罚函数,该方法适用于高维协变量问题。该方法适用于韩国统计局进行的2017年韩国家庭收入和支出调查。补充材料可在线查阅。
2019-09-19 stat.ME
Semiparametric imputation using latent sparse conditional Gaussian mixtures for multivariate mixed outcomes
本文提出了一种灵活的贝叶斯方法,多重插补使用条件高斯混合。我们引入了新的收缩先验的协变量依赖的混合比例的混合模型,自动选择合适的数量的组件中使用的插补步骤。我们通过马尔可夫链蒙特卡罗方法开发了一种用于后验计算和多重插补的高效采样算法。所提出的方法可以很容易地扩展到的情况下,数据不仅包含连续变量,但也离散变量,如二进制和计数值。我们还提出了近似贝叶斯推断的损失函数定义的参数的基础上的后验预测分布的缺失观测,通过扩展基于Bootstrap的贝叶斯推断的完整数据。所提出的方法是通过模拟和真实数据的数值研究证明。
2022-08-16 stat.ME
Latent variable model selection for Gaussian conditional random fields
我们考虑的问题,学习条件高斯图模型中存在的潜变量。基于这一领域的最新进展,我们提出了一种方法,将条件马尔可夫随机场的参数分解为稀疏矩阵和低秩矩阵的和。我们推导出此估计的收敛界,并表明它是良好的行为,在高维制度以及“稀疏”(即能够恢复的图形结构)。然后,我们将展示如何使用近端梯度算法和半定规划技术来拟合数千个变量的模型。通过大量的模拟,我们说明了可识别性所需的条件,并表明,有广泛的情况下,该模型的表现明显优于其同行,例如,通过容纳更多的潜变量。最后,建议的方法被应用到两个数据集,包括遗传变异和代谢物水平的个人水平的数据。我们表明,我们的结果比其他方法更好地复制,并显示丰富的生物信号。
2017-03-04 math.ST stat.CO stat.ME
A General Derivative Identity for the Conditional Mean Estimator in Gaussian Noise and Some Applications
考虑信道${\bf Y}={\bf X}+ {\bf N}$,其中${\bf X}$是$n$维随机向量,${\bf N}$是具有协方差矩阵${\bf \mathsf{K}}_{\bf N}$的高斯向量.本文考虑的对象是${\bf X}$在给定${\bf Y}={\bf y}$的条件下的条件均值,即${\bf y} \to E[{\bf X}|{\bf Y}={\bf y}]$ .文献中的几个恒等式将$E[{\bf X}|{\bf Y}={\bf y}]$与条件方差、得分函数和高阶条件矩等其他量联系起来。本文的目的是提供一个统一的观点,这些身份。在本文的第一部分中,导出了条件均值的一个一般导数恒等式。具体地说,对于马尔可夫链${\bf U} \leftrightarrow {\bf X} \leftrightarrow {\bf Y}$,它表明,由${\bf \mathsf{K}}_{\bf N}^{-1} {\bf Cov} ( {\bf X}, {\bf U} | {\bf Y}={\bf y})$给出的雅可比矩阵$E[{\bf U}|{\bf Y}={\bf y}]$。在本文的第二部分中,通过对${\bf U}$的各种选择,新恒等式被用来推广许多已知的恒等式,并得到一些新的恒等式。首先,一个简单的证明Hatsel和诺尔特身份的条件方差。其次,由于Jaffer递归恒等式的一个简单…
2021-04-05 cs.IT math.IT math.ST
ANOVA decomposition of conditional Gaussian processes for sensitivity analysis with dependent inputs
复杂的计算机代码在科学中被广泛用于模拟物理系统。灵敏度分析旨在衡量输入数据对代码输出可变性的贡献。一个有效的工具来执行这样的分析是方差为基础的方法,最近已经在相关输入的框架内进行了研究。他们的问题之一是,他们需要大量的游程数的复杂模拟器。为了处理它,可以使用高斯过程回归模型来近似复杂代码。在这项工作中,我们建议将高斯过程分解为高维表示。这导致了一个基于方差的敏感性度量的定义,以及为非独立输入量身定制。我们给出了一种方法来估计这些指数,并量化其不确定性。最后,玩具功能和河流洪水模型的方法进行了说明。
2013-10-14 math.ST stat.TH
Bayesian Conditional Tensor Factorizations for High-Dimensional Classification
在许多应用领域中,收集分类响应和高维分类预测因子的数据,目标是在对重要预测因子进行推断的同时构建用于分类的简约模型。在基因组学等环境中,预测因子之间可能存在复杂的相互作用。通过使用一个精心构造的塔克分解,我们定义了一个模型,可以描述任何条件概率,同时促进变量的选择和建模的高阶相互作用。贝叶斯方法之后,我们提出了一个马尔可夫链蒙特卡罗算法的后验计算容纳不确定性的预测要包括在内。在近稀疏假设下,后验分布的条件概率实现接近参数率的收缩,即使在超高维设置。使用模拟的例子和生物医学应用程序的方法进行说明。
2013-01-21 stat.ME
Learning Functional Graphs with Nonlinear Sufficient Dimension Reduction
Yonsei University(延世大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种基于非线性充分维度缩减的非参数函数图模型,通过避免维度灾难提高估计精度,并保留概率条件独立性作为边不存在的标准。
2026-01-22 stat.ME stat.ML
Classification Accuracy and Parameter Estimation in Multilevel Contexts: A Study of Conditional Nonparametric Multilevel Latent Class Analysis
目前的研究有两个目的。首先,使用一个经验数据集来演示多站点项目评估的效用条件非参数多级潜在类分析(NP-MLCA)。其次,研究了潜在类别指标的质量、潜在类别指标的数量、水平1协变量效应、水平间协变量效应、水平2单位的数量和水平2单位的大小等六个研究因素对条件NP-MLCA分类精度和参数估计的影响。使用模拟研究检查了总共96个条件。分类准确率、跨水平协变量效应和背景效应的功效和第一类错误表明非参数多水平潜在类别模型可以广泛应用于多水平背景。
2020-10-30 stat.AP stat.ME
High-dimensional modeling of spatial and spatio-temporal conditional extremes using INLA and Gaussian Markov random fields
本文提出基于 INLA 和高斯马尔可夫随机场的条件极值模型,用于高效处理大型空间与时空数据集的贝叶斯推断,并应用于红海温度极值分析。
2022-05-13 stat.CO stat.ME
Gaussian graphical models reveal inter-modal and inter-regional conditional dependencies of brain alterations in Alzheimer's disease
阿尔茨海默病(AD)的特征在于一系列病理变化,通常使用MRI和PET在体内评估。目前,大多数分析大脑区域之间统计关联的方法依赖于Pearson相关性。然而,这些都是容易产生虚假的相关性所产生的无信息的共享方差。值得注意的是,没有适当的多元统计模型可以很容易地整合从这些数据中得出的数十个变量,能够使用从数据源组合中提供的额外信息。高斯图模型(GGM)可以从给定的数据中估计出条件依赖性,这有望反映潜在的因果关系。我们应用GGM评估AD的多模式区域脑改变。我们从阿尔茨海默病神经影像学倡议中获得了N=972名受试者的数据。计算平均淀粉样蛋白负荷(AV 45-PET)、葡萄糖代谢(FDG-PET)和灰质体积(MRI)。GGM估计使用贝叶斯框架的组合多模态数据,以获得条件依赖网络。条件依赖矩阵比Pearson相关矩阵(50%密度)稀疏得多(10%密度)。在模态内,条件依赖网络产生了连接解剖学相邻区域的集群。至于不同模式之间的关联,只剩下很少的区域特定联系。两组之间的图论网络统计数据显著改变,具有双相u形轨迹。GGM去除了MCI和AD中区域脑改变的多模态测量之间的共享方差,并产生了比Pearson相关网络更稀疏的矩阵。因此,GGM可以用作阈值方法的替代方法,通常应用于相关网络,以获得变量之间最具信息性的关系。
2020-03-27 q-bio.NC stat.AP
Nearest-Neighbor Non-Gaussian Processes for Geostatistical Modeling
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究提出NNnGP模型,通过扩展NNGP并结合正则化同质性条件与归一化流变分推断,有效捕捉空间数据的非高斯特征,缓解极端事件低估问题,在合成与真实降水数据上验证了其有效性。
2026-08-25 stat.ME
Estimation and Model Selection for Model-Based Clustering with the Conditional Classification Likelihood
Biernacki et al.(2000)在基于模型的聚类框架中提出了综合完全似然(ICL)标准,以选择相关数量的类,并已被统计学家用于各种应用领域。提出了一个理论研究这个标准。引入了一个与聚类目标相关的对比:条件分类似然。这将产生一个估计量和一个模型选择标准类。这些新的程序的性质进行了研究和ICL被证明是这些标准之一的近似。我们反对这些结果,以目前领先的观点,关于ICL,这将是不一致的。此外,这些结果提供了深入了解ICL的类概念和饲料的聚类类概念的反射。惩罚的最小对比度准则和混合模型的一般结果,这是有趣的,在自己的权利。
2012-05-31 math.ST stat.TH
Graphical Gaussian models associated to a homogeneous graph with permutation symmetries
我们考虑随机向量$(Z^1,\ldots, Z^p)$的多元中心高斯模型,其条件结构由齐次图描述,并且在置换子群的作用下是不变的。下面的文章关注的是当底层的条件依赖图已知时,有色图形高斯模型中的模型选择。我们推导出的精度参数的Diaconis-Ylvisaker共轭先验的归一化常数的解析表达式,并进行贝叶斯模型选择类的图形高斯模型不变的置换子群的行动。我们说明我们的结果与玩具的尺寸$5$的例子。
2022-09-21 math.RT math.ST stat.TH
Universality of Gaussian-Mixture Reverse Kernels in Conditional Diffusion
Center for Mathematics and Interdisciplinary Sciences, Fudan University(复旦大学数学与交叉科学中心);Shanghai Institute for Mathematics and Interdisciplinary Sciences (SIMIS)(上海数学与交叉科学研究院(SIMIS));Northeastern University(东北大学);Infectious Diseases Division, icddr,b(icddr,b传染病部门);Rutgers University(罗格斯大学)
研究证明,具有ReLU网络对数的有限高斯混合反向核的条件扩散模型可近似任意正则目标分布,误差随扩散时间增加而减小。
2026-04-15 cs.LG stat.ML
Learning Non-Gaussian SEMs with Conditional Risk, and Why the Direction of Recursion Matters
University of Colorado Boulder(科罗拉多大学博尔德分校);Heriot-Watt University(赫瑞瓦特大学)
该研究提出用条件风险替代条件方差,将SEM学习的方差方法扩展至非高斯噪声场景,发现递归方向在非高斯噪声下会影响方法有效性,模拟验证了相关结论。
2026-10-14 cs.LG stat.ML
Conditional Independence Estimates for the Generalized Nonparanormal
Department of Computer Science University of Colorado Boulder(计算机科学系科罗拉多大学博尔德分校)
本文研究广义非参数正态分布下的条件独立性估计,提出一种简单高效的算法,利用精度矩阵从非高斯数据中恢复条件独立性结构,并通过合成与真实数据验证了其有效性。
2025-08-14 cs.LG stat.ML
Distribution-Specific Agnostic Conditional Classification With Halfspaces
本文研究不可知设定下由半空间定义子集的条件分类问题,提出首个误差保证为$\bigO*{\sqrt{\mathrm{opt}}}$的齐次半空间选择器PAC学习算法,并证明在密码学假设下逼近条件分类损失在计算上至少与不可知分类一样困难。
2025-01-31 cs.CC cs.LG stat.ML
Estimating conditional density of missing values using deep Gaussian mixture model
Jagiellonian University(雅盖隆大学)
我们考虑的问题估计的条件概率分布的缺失值的观察。我们提出了一种方法,它结合了深度神经网络的灵活性和高斯混合模型(GARCH)的简单性。给定一个不完整的数据点,我们的神经网络返回代表相应条件密度的高斯分布参数(以因子分析模型的形式)。我们通过实验验证了我们的模型比以典型方式训练的条件GMM提供了更好的对数似然。此外,通过使用我们模型的均值向量替换缺失值获得的插补在视觉上看起来似乎是合理的。
2020-10-06 cs.LG
Conditionally Gaussian PAC-Bayes
University of Oxford(牛津大学)
最近的研究经验调查不同的方法来训练随机神经网络的分类任务,通过优化PAC贝叶斯约束通过随机梯度下降。这些程序中的大多数都需要用替代损失来替换误分类错误,从而导致优化目标与实际泛化范围之间的不匹配。本文提出了一种新的训练算法,优化PAC贝叶斯界,而不依赖于任何代理损失。实验结果表明,该方法优于目前可用的PAC-Bayesian训练方法。
2022-02-24 cs.LG stat.ML
Iterative Conditional Fitting for Gaussian Ancestral Graph Models
University of Washington(华盛顿大学)
由Richardson和Spirtes(2002)引入的祖先图模型将马尔可夫随机场和贝叶斯网络推广到一类具有全局马尔可夫性的图,该全局马尔可夫性在条件和边缘化下是封闭的。通过设计,祖先图精确地编码了条件独立结构,这些结构可以从具有选择和未观察到的(隐藏/潜在)变量的贝叶斯网络中产生。因此,祖先图模型提供了一个潜在的非常有用的框架,探索性的模型选择时,未观察到的变量可能会参与数据生成过程,但没有特定的隐藏结构可以指定。本文提出了高斯祖先图模型中极大似然估计的迭代条件拟合(ICF)算法。该名称反映了在该过程的每一步中,在受到约束的情况下估计条件分布,而边缘分布保持固定。这种方法与著名的迭代比例拟合算法是对偶的,在迭代比例拟合算法中,边缘分布被拟合,而条件分布保持固定。
2012-07-11 cs.LG stat.ME stat.ML
Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings
SZTAKI: Institute for Computer Science and Control(SZTAKI:计算机科学与控制研究所);Eötvös Loránd Research Network(厄特沃什·罗兰研究网络)
本文提出了两种基于条件核均值嵌入的二分类回归函数的统计假设检验方法。回归函数是分类中的基本对象,因为它决定了贝叶斯最优分类器和误分类概率。提出了一个基于回归的框架,并结合条件核均值映射的一致点估计,以构造分布自由的假设检验。这些测试以灵活的方式引入,使我们能够控制任何样本量的第一类错误的确切概率。我们还证明了这两种方法在弱统计假设下是一致的,即,第二类错误概率逐点收敛到零。
2021-06-07 cs.LG stat.ML
Ising Models with Latent Conditional Gaussian Variables
Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学)
伊辛模型描述了二元特征变量向量的联合概率分布。通常情况下,并非所有的变量都相互作用,人们对学习相互作用变量的稀疏网络结构感兴趣。然而,在潜在变量的存在下,学习稀疏模型的传统方法可能会失败。这是因为潜变量引起了观测变量的间接相互作用。在只有几个潜在的条件高斯变量的情况下,这些虚假的相互作用有助于一个额外的低秩分量的观察到的伊辛模型的相互作用参数。因此,我们建议使用凸正则化似然问题来学习伊辛模型参数的稀疏+低秩分解。我们表明,同样的问题可以得到一个最大熵的问题与一种新类型的放松,其中样本的手段共同需要匹配的预期值只有一个给定的公差的对偶。凸优化问题的解决方案在高维环境中具有一致性,其中允许观察到的二进制变量的数量和潜在条件高斯变量的数量随着训练样本的数量而增长。
2019-07-08 cs.LG stat.ML
Predicting Conditional Quantiles via Reduction to Classification
Toyota Technological Institute(丰田技术学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Universidade Federal Fluminense(弗鲁米嫩塞联邦大学)
我们展示了如何减少预测一般顺序统计量(特别是中位数)的过程来解决分类问题。附带的理论陈述表明,在分位数损失下,分类器的遗憾限制了分位数回归的遗憾。我们还在大型现实数据集上对现有的分位数回归方法进行了经验测试,发现它提供了最先进的性能。
2012-06-27 cs.LG stat.ML
Conditional Classification: A Solution for Computational Energy Reduction
George Mason University(乔治梅森大学);University of California, Davis(加州大学戴维斯分校)
深度卷积神经网络已经在计算机视觉和其他应用中显示出高效率。然而,随着网络深度的增加,计算复杂性呈指数增长。在本文中,我们提出了一种新的解决方案,以减少计算复杂性的卷积神经网络模型用于多类图像分类。我们提出的技术将分类任务分为两个步骤:1)粗粒度分类,其中输入样本在一组超类中分类,2)细粒度分类,其中最终标签在第一步检测到的超类中预测。我们说明,我们提出的分类器可以达到最好的类分类模型报告的准确性水平,具有较低的计算复杂性(浮点数),只激活部分的模型,需要的图像分类。
2021-01-07 cs.LG stat.ML
Conditional Gaussian Distribution Learning for Open Set Recognition
Nanyang Technological University(南洋理工大学)
深度神经网络已经在广泛的识别/分类任务中实现了最先进的性能。然而,当将深度学习应用于现实世界的应用时,仍然存在多重挑战。一个典型的挑战是,在测试阶段可能会将未知样本输入系统,传统的深度神经网络会错误地将未知样本识别为已知类别之一。开集识别是克服这个问题的一个潜在的解决方案,其中开集分类器应该具有拒绝未知样本的能力,以及在已知类别上保持高的分类精度。变分自动编码器(VAE)是一种流行的模型来检测未知数,但它不能提供判别表示已知的分类。在本文中,我们提出了一种新的方法,条件高斯分布学习(CGDL),开集识别。除了检测未知样本外,该方法还可以通过迫使不同的潜在特征近似不同的高斯模型来分类已知样本。同时,为了避免隐藏在输入中的信息在中间层消失,我们还采用了概率阶梯结构来提取高层抽象特征。在几个标准图像数据集上的实验表明,该方法明显优于基线方法,并取得了新的最先进的结果。
2021-02-09 cs.LG stat.ML
Conditionally-Conjugate Gaussian Process Factor Analysis for Spike Count Data via Data Augmentation
Iowa State University(爱荷华州立大学);Macquarie University(麦考瑞大学)
针对脉冲计数数据中GPFA似然非共轭导致推断困难的问题,提出ccGPFA,利用数据增强实现条件共轭、变分EM闭式更新,并支持稀疏GP扩展与自然梯度加速。
2024-05-19 cs.LG
Classification with unknown class-conditional label noise on non-compact feature spaces
University of Birmingham(伯明翰大学)
我们研究了存在未知类条件标签噪声的分类问题,其中学习者观察到的标签已被损坏,具有一些未知的类相关概率。为了获得有限的采样率,以前的分类方法与未知的类条件标签噪声要求的回归函数是接近其极值集的大措施。我们将在非紧度量空间中考虑这个问题,其中回归函数不需要达到它的极值。在这种情况下,我们确定最小最大最优学习率(直到对数因子)。速率显示有趣的阈值行为:当回归函数以足够的速率接近其极值时,最佳学习速率与在无标签噪声设置中获得的学习速率具有相同的顺序。如果回归函数更逐渐地接近其极值,则分类性能必然降低。此外,我们提出了一种自适应算法,达到这些速率没有先验知识的分布参数或局部密度。这是第一次识别出在标签噪声设置中可以实现有限采样率的情况,但它们不同于没有标签噪声的最佳速率。
2019-06-09 cs.LG stat.ML
Music Genre Classification using Masked Conditional Neural Networks
University of York(约克大学)
条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)利用多维时间信号的性质。CLNN捕获窗口中的帧之间的条件时间影响,并且MCLNN中的掩码在网络链路上执行遵循滤波器组样模式的系统稀疏性。该掩码诱导网络学习频带中的时频表示,从而允许网络维持频率偏移。此外,MCLNN中的掩码自动探索一系列特征组合,通常通过详尽的手动搜索完成。我们已经使用Ballroom和Homburg音乐流派数据集评估了MCLNN的性能。除了基于卷积神经网络的模型之外,MCLNN已经实现了与最先进的手工尝试相竞争的准确性。
2019-04-10 cs.LG stat.ML
Classification with Abstention Under Class-Conditional Error Constraints
Univ Rennes(雷恩大学);Ensai(国立统计与信息分析学校);CNRS(法国国家科学研究中心);CREST–UMR 9194;Columbia University(哥伦比亚大学)
本文研究在类条件误差约束下最小化弃权率的二元分类问题,刻画了分布无关的极小极大收敛速率,提出替代损失与约束优化框架,并在多个数据集上验证了其有效性。
2026-09-22 cs.LG stat.ML
A competitive baseline for deep learning enhanced data assimilation using conditional Gaussian ensemble Kalman filtering
University of Colorado Boulder(科罗拉多大学博尔德分校);Pennsylvania State University(宾夕法尼亚州立大学)
本文研究了EnKF的两种非线性扩展(CG-EnKF和NS-EnKF),通过条件高斯更新公式构建Kalman增益矩阵,在Lorenz-96系统中显著优于基于深度学习的分数滤波器(SF),并能处理高度非高斯噪声扰动。
2024-09-22 cs.LG math.DS physics.ao-ph
RagGAD: Rationale-Aware Conditional Gaussian Mixture Normalizing Flow for Unsupervised Graph Anomaly Detection
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);State Key Laboratory of Submarine Geoscience, School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学海洋地质国家重点实验室、自动化与智能传感学院)
针对现有图异常检测方法依赖同质性假设、鲁棒性不足的问题,提出RagGAD框架,通过依据解缠与混合建模提升性能,在多基准数据集上优于现有方法。
2026-08-18 cs.AI cs.LG
Conditional Supervised Contrastive Learning for Fair Text Classification
University of Virginia(弗吉尼亚大学);UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
对比表示学习由于其在图像和序列数据表示学习方面的优越性能而受到广泛关注。然而,学习的表示可能会导致下游任务的性能差异,例如在毒性评论分类中代表性不足的群体的沉默增加。鉴于这一挑战,在这项工作中,我们研究了通过对比学习学习满足公平性概念的公平表示,即文本分类的均衡化几率。具体来说,我们首先从理论上分析了公平约束的学习表示和条件监督对比目标之间的联系,然后提出使用条件监督对比目标来学习文本分类的公平表示。我们在两个文本数据集上进行实验,以证明我们的方法在平衡现有文本分类基线之间的任务性能和偏见缓解之间的权衡方面的有效性。此外,我们还表明,所提出的方法是稳定的,在不同的超参数设置。
2022-10-31 cs.AI cs.CL cs.CY
Exact Evaluation of the Accuracy of Diffusion Models for Inverse Problems with Gaussian Data Distributions
Université d’Orléans, Université de Tours, CNRS, IDP, UMR 7013(奥尔良大学、图尔大学、国家科学研究中心、IDP、UMR 7013);Institut universitaire de France (IUF)(法国国家科学院(IUF))
研究高斯数据分布反问题中扩散模型精度,通过刻画迭代高斯过程及计算瓦瑟斯坦距离分析差异,比较两种算法,引入更精确的条件高斯扩散模型新范式。
2026-07-28 cs.LG
Hyperspectral Image Classification with Deep Metric Learning and Conditional Random Field
Tianjin University(天津大学)
为了提高高光谱图像处理中的分类性能,基于空间-光谱信息融合和神经网络的利用这两种常用策略,已经开展了许多工作。然而,这两种策略通常需要比经典算法更多的训练数据,从而聚集了标记样本的短缺。在这封信中,我们提出了一种新的框架,将基于频谱的深度度量学习模型和条件随机场算法有机结合起来。深度度量学习模型由中心损失监督,以产生基于频谱的特征,这些特征在类内的欧几里得空间中聚集得更紧密。首先提出了用于图像分割任务的具有高斯边缘势的条件随机场,通过利用深度度量学习模型产生的像素之间的地理距离和特征之间的欧氏距离,对高光谱图像进行逐像素分类。所提出的框架在深度度量学习阶段由光谱像素训练,并在条件随机场阶段利用半手工空间特征。这在一定程度上解决了训练数据不足的问题。两个真实的高光谱图像的实验表明,该方法的分类精度和计算成本方面的优势。
2019-07-16 cs.CV cs.LG stat.ML
Guidance with Spherical Gaussian Constraint for Conditional Diffusion
ShanghaiTech University(上海科技大学)
本文针对条件扩散模型中损失引导导致的流形偏差问题,提出球面高斯约束扩散(DSG),通过约束引导步骤在数据流形内实现更大步长和更高样本质量,并可作为即插即用模块提升现有免训练方法性能。
2024-07-04 cs.LG
Informative Gene Selection for Microarray Classification via Adaptive Elastic Net with Conditional Mutual Information
Virginia State University(弗吉尼亚州立大学);Henan Normal University(河南师范大学)
由于弹性网具有在弱正则化条件下获得更好性能的优点,在统计学、机器学习、生物信息学等领域引起了广泛的关注。特别地,弹性网的变型,自适应弹性网(AEN),集成了自适应分组效应。在本文中,我们的目标是开发一种新的算法:自适应弹性网与条件互信息(AEN-CMI),进一步提高AEN将条件互信息到基因选择过程。我们应用这种新算法来筛选两种癌症的重要基因:结肠癌和白血病。与支持向量机、经典弹性网和自适应弹性网等算法相比,AEN-CMI算法以最少的基因数获得了最好的分类性能。
2018-06-13 cs.IT cs.LG math.IT
Recursively Conditional Gaussian for Ordinal Unsupervised Domain Adaptation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Harvard University(哈佛大学);The Hong Kong Polytechnic University(香港理工大学);Beth Israel Deaconess Medical Center, Harvard Medical School(贝斯以色列女执事医疗中心,哈佛医学院);Carnegie Mellon University(卡内基梅隆大学)
无监督的领域自适应(UDA)算法被广泛应用于解决数据可扩展性问题,而现有的算法主要集中在对离散标签的独立分类上。然而,在许多任务中(例如,医学诊断),标签是离散的并且连续分布。有序分类的UDA需要在潜在空间之前引入非平凡的有序分布。为此,定义了偏序集(poset)来约束隐向量。而不是典型的i.i.d.高斯潜在先验,在这项工作中,递归条件高斯(RCG)集适用于有序约束建模,它允许一个易处理的联合分布先验。此外,我们能够通过一个简单的“三西格玛规则”来控制违反偏序集约束的内容向量的密度。我们明确地将跨域图像分解为一个共享的有序先验诱导有序内容空间和两个独立的源/目标有序无关空间,并且在共享空间上进行自训练,专门用于有序感知域对齐。UDA医学诊断和面部年龄估计的大量实验证明了其有效性。
2021-08-17 cs.AI cs.CV cs.LG