QWO: Speeding Up Permutation-Based Causal Discovery in LiGAMs
College of Management of Technology(技术管理学院);EPFL(洛桑联邦理工学院);School of Computer and Communication Sciences(计算机与通信科学学院)
针对LiGAMs中基于排列的因果发现方法计算复杂度高、不可扩展的问题,提出QWO方法将给定排列下的DAG计算效率提升O(n²),理论可靠且可集成到现有搜索策略中优化性能。
2024-10-30 cs.LG stat.ME stat.ML
Variable noise and dimensionality reduction for sparse Gaussian processes
稀疏伪输入高斯过程(SPGP)是一种新的逼近方法,用于在数据点数目N较大的情况下加速GP回归。该近似由M个“伪输入”的小集合的梯度优化控制,从而将复杂度从N^3降低到NM ^2。SPGP的一个局限性是,这种优化空间变得不切实际的高维数据集大。本文通过执行自动降维来解决这个限制。输入空间到低维空间的投影是以监督的方式学习的,与伪输入一起,伪输入现在存在于这个缩减的空间中。本文还研究了适合的SPGP建模数据与输入相关的噪声。对模型进行了进一步的扩展,使其在这方面更加强大-我们为每个伪输入学习一个不确定性参数。稀疏性、降维和依赖于输入的噪声的组合使得将GP应用于比以前实际的更大和更复杂的数据集成为可能。我们证明了这些方法在几个合成和现实世界的问题的好处。
2012-06-27 cs.LG stat.ML
Fast methods for training Gaussian processes on large data sets
高斯过程回归(GPR)是一种用于插值或拟合数据的非参数贝叶斯技术。进一步利用这一强大工具的主要障碍在于与处理大型数据集时出现的矩阵相关的计算成本。在这里,我们得出了一些简单的结果,我们发现有用的加快GPR算法的学习阶段,特别是进行贝叶斯模型比较不同的协方差函数。我们将我们的技术应用于合成数据和真实数据,并量化了相对于使用嵌套采样来数值评估模型证据的速度。
2016-05-13 stat.CO stat.ME stat.ML
Large-scale magnetic field maps using structured kernel interpolation for Gaussian process regression
Delft University of Technology(代尔夫特理工大学)
本文提出将带导数的结构化核插值(D-SKI)引入标量势磁场模型,以线性复杂度实现大规模室内磁场地图的高效构建,在精度和速度上均优于现有方法。
2023-10-25 cs.LG stat.ML
Causal Clustering for 1-Factor Measurement Models on Data with Various Types
Carnegie Mellon University(卡内基梅隆大学)
四元组约束是一个条件,其满足信号的协方差子矩阵的秩减少,并用于设计因果发现算法,检测潜在的(不可测量的)变量的存在,如FOFC。最初,这样的算法只适用于测量变量和潜在变量都是高斯的并且具有线性关系的情况(高斯-高斯情况)。它已被证明,一个一维潜变量模型意味着四元约束时,测量和潜变量都是二进制(Binary-Binary的情况下)。本文证明了当测量变量是混合数据类型和测量变量是离散的和潜在的共同原因是连续的,这意味着任何聚类算法依赖于此约束也可以工作在这些情况下,四元组约束。每个案例都有一个例子和一个证明。通过仿真研究表明了FOFC在混合数据上的性能,并与具有类似功能的一些算法进行了比较。
2020-09-18 cs.LG stat.ML
Log-Linear-Time Gaussian Processes Using Binary Tree Kernels
University of Oxford(牛津大学);Meta
提出一种“二叉树”核,将数据点置于二叉树叶子上,仅依赖最深共同祖先深度,实现 $O((n+m)\log(n+m))$ 时间的高斯过程回归,在多数任务中预测精度和速度优于稀疏及Matérn方法。
2022-10-04 cs.LG
A generalized Gaussian process model for computer experiments with binary time series
非高斯观测,如二进制响应,在一些计算机实验中很常见。基于对一类细胞粘附实验的分析,我们引入了一个广义的二值响应的高斯过程模型,它与标准的GP模型具有一些共同的特征。此外,所提出的模型采用了灵活的均值函数,可以捕捉不同类型的时间序列结构。导出了估计量的渐近性质,构造了最优预测量及其预测分布。他们的表现是通过两个模拟研究。该方法适用于研究细胞粘附实验的计算机模拟。拟合模型揭示了重复细胞结合中的重要生物信息,这在实验室实验中无法直接观察到。
2018-09-24 stat.ME
Warped Gradient-Enhanced Gaussian Process Surrogate Models for Exponential Family Likelihoods with Intractable Normalizing Constants
对于具有难以处理的归一化常数的指数族模型,例如交换算法,马尔可夫链蒙特卡罗方法需要在马尔可夫链的每次迭代中模拟充分统计量,这通常导致昂贵的计算。代理模型的似然函数已经开发,以加速推理算法在这种情况下。然而,这些替代模型往往是相对不灵活的,并且经常提供对真实似然函数的差的近似。在这篇文章中,我们提出了使用一个扭曲的,梯度增强,高斯过程代理模型的似然函数,联合模型的样本均值和方差的充分统计量,并使用翘曲函数捕获协方差非平稳性的输入参数空间。我们表明,考虑非平稳性和梯度信息的列入可以利用获得一个代理模型,优于传统的平稳高斯过程代理模型进行推断时,特别是在区域中的似然函数表现出相变。我们还表明,所提出的代理模型可以用来提高有效的样本量每单位时间嵌入精确推理算法时。我们的方法在加快推理算法的效用证明了模拟和真实世界的数据。
2023-02-20 stat.CO
Directional Gaussian hypergeometric beta distributions and their uses in contaminated binary sampling
该研究对高斯超几何β分布进行重参数化并分为左右定向变体,明确其为特定受污染二元模型的合适后验分布,推导了相关性质与计算方法,可用于受污染二元抽样的贝叶斯推断。
2025-09-06 math.ST stat.AP stat.CO
Modeling Binary Time Series Using Gaussian Processes with Application to Predicting Sleep States
受睡眠状态预测问题的启发,我们建立了一个二进制时间序列的混合效应模型,其中随机成分由高斯过程表示。固定分量捕获协变量对二进制值响应的影响。高斯过程捕获二进制响应中未被协变量和过去实现解释的残差变化。我们开发了一个频率建模框架,提供有效的推理和更准确的预测。结果表明,改进的预测率比现有的方法,如逻辑斯谛回归,广义加法混合模型,有序数据模型,梯度提升,决策树和随机森林的优势。使用我们提出的模型,我们表明,以前的睡眠状态和心率是未来睡眠状态的重要预测因素。仿真研究也表明,我们提出的方法是有前途的和强大的。为了处理计算复杂度,我们利用拉普拉斯近似,黄金分割搜索和逐次抛物线插值。在本文中,我们还提交了一个R-包(HIBITS),实现了所提出的程序。
2018-10-21 stat.ME
Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);University of British Columbia(不列颠哥伦比亚大学)
尽管深度神经网络过度参数化,并且在没有显式正则化的情况下进行训练,但它的泛化能力很好。这个奇怪的现象激发了广泛的研究活动,以建立其统计原则:在什么条件下观察?这些如何依赖于数据和训练算法?什么时候正则化有利于泛化?虽然这些问题对于深度神经网络仍然是开放的,但最近的研究试图通过研究更简单的,通常是线性的模型来获得见解。我们的论文有助于这一不断增长的工作线,通过检查生成高斯混合模型下的二进制线性分类。最近的结果的启发梯度下降的隐式偏差,我们研究了最大利润SVM分类器(对应于逻辑损失)和最小范数插值分类器(对应于最小二乘损失)。首先,我们利用在[V. Muthukumar et al.,arXiv:2005.08054,(2020)]以将SVM解与最小范数内插解相关联。其次,我们推导出后者的分类误差的新的非渐近界。结合这两个,我们提出了新的充分条件的协方差谱和信号噪声比(SNR)下,插值估计实现渐近最优性能overparameterization增加。有趣的是,我们的结果扩展到一个噪声模型与恒定概率噪声翻转。与以前研究的判别数据模型相反,我们的研究结果强调了SNR的关键作用及其与数据协方差的相互作用。最后,通过结合分析参数和数值演示,我们确定的条件下,插值估计比相应的正则化估计表现更好。
2021-09-15 cs.LG math.ST stat.ML
Mean Estimation in High-Dimensional Binary Markov Gaussian Mixture Models
Institute of Science and Technology, Austria(奥地利科学技术研究所);Technion - Israel Institute of Technology(以色列理工学院)
我们考虑一个高维均值估计问题的二进制隐马尔可夫模型,它阐明了记忆数据,样本大小,尺寸和信号强度之间的相互作用,在统计推断。在该模型中,估计器观测$d$维参数向量$θ_{*}\in\mathbb{R}^{d}$的$n$样本,乘以随机符号$ S_i $($1\le i\le n$),并被各向同性标准高斯噪声破坏.符号序列$\{S_{i}\}_{i\in[n]}\in\{-1,1\}^{n}$是从具有翻转概率$δ\in[0,1/2]$的平稳齐次马尔可夫链中得出的。当$δ$变化时,该模型平滑地内插两个充分研究的模型:$δ=0$的高斯位置模型和$δ=1/2$的高斯混合模型。假设估计器知道$δ$,我们建立了一个近似极小极大最优(对数因子)估计误差率,作为$\|θ_{*}\|,δ,d,n$的函数。然后,我们提供了一个上限的情况下估计$δ$,假设(可能不准确)的知识$θ_{*}$。当$θ_{*}$是一个精确已知的常数时,证明了该界是紧的.这些结果,然后结合到一个算法,估计$θ_{*}$与$δ$未知的先验,其误差的理论保证。
2022-10-12 cs.IT cs.LG math.IT
Posterior consistency of Gaussian process prior for nonparametric binary regression
考虑响应概率是一组协变量的未知光滑函数的二元观测。假设响应概率函数上的先验是由高斯过程通过链接函数映射到单位区间引起的。在本文中,我们研究的一致性所产生的后验分布。如果协方差内核的衍生工具,以所需的顺序和内核的带宽参数被允许采取任意小的值,我们表明,后验分布是一致的$L_1$距离。作为我们的证明的辅助结果,我们表明,在一定的条件下,高斯过程分配给一个连续函数的均匀邻域的正概率。这个结果可能是独立的兴趣在文献中的小球概率的高斯过程。
2007-02-23 math.ST stat.TH
Prediction of Acoustic Communication Performance for AUVs using Gaussian Process Classification
Virginia Tech(弗吉尼亚理工大学);Bartin University(巴尔滕大学);US Naval Research Laboratory(美国海军研究实验室)
针对协作AUVs因声学通信可靠性下降而采取保守通信距离假设的问题,提出基于高斯过程二分类学习概率通信地图的方法,并实验验证其优于SNR回归地图的预测性能。
2024-11-12 cs.LG cs.RO
Data-Driven Abstractions via Binary-Tree Gaussian Processes for Formal Verification
School of Computing, Newcastle University(纽卡斯尔大学计算学院);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文利用二叉树高斯过程的自然抽象特性进行形式化验证,构建未知系统的区间马尔可夫链模型,在抽象规模上实现多项式加速,并提供鲁棒的误差量化与概率边界计算。
2024-07-15 cs.FL cs.LG cs.LO
A factor mixture analysis model for multivariate binary data
本文提出了一个潜在变量模型的二进制数据来自一个不可观测的异质人口。考虑到异质性,取代传统的假设高斯分布的因素,多元高斯的有限混合。该模型的目的是双重的:它允许实现降维时的数据是二分法,同时,它执行基于模型的聚类在潜在空间。通过期望最大化算法的广义版本,通过极大似然方法获得模型估计。为了评估该模型的性能的仿真研究和两个实际应用程序进行了说明。
2010-10-12 stat.ME
Scalable computation of predictive probabilities in probit models with Gaussian process priors
二进制数据的预测模型是各个领域的基础,并且现代应用的日益复杂性激发了几种灵活的规范来建模所观察到的预测因子和二进制响应之间的关系。一个广泛实施的解决方案是通过预测指标索引的高斯过程的概率比特映射来表达概率参数。然而,与连续设置不同,在具有高斯过程先验的二元模型中,缺乏预测分布的封闭形式结果。马尔可夫链蒙特卡罗方法和近似策略为这个问题提供了常见的解决方案,但最先进的算法要么计算上难以处理,要么在中高维中不准确。在这篇文章中,我们的目标是通过推导概率单位高斯过程中的预测概率的封闭形式表达式来弥补这一差距,该过程依赖于多元高斯的累积分布函数或多元截断法线的泛函。为了评估这些数量,我们开发了新的可扩展的解决方案的基础上瓷砖低秩蒙特卡罗方法计算多元高斯概率,和平均场变分近似的多元截断法线。封闭形式的表达式的边缘似然和后验分布的高斯过程进行了讨论。如模拟和真实世界的实证研究所示,所提出的方法可扩展到最先进的解决方案不切实际的维度。
2022-01-27 stat.CO
A Bayesian binary classification approach to pure tone audiometry
纯音听阈通常是根据对一组标准频率的刺激的反应来估计的。本文描述了一种概率方法的估计问题,其中的听力阈值建模为一个平滑的连续函数的频率使用高斯过程。这允许在任何频率下采样,并减少了所需的测量次数。将高斯过程与概率响应模型相结合,以考虑响应中的不确定性。由此产生的完整模型可以被解释为一个二维的二元分类器的刺激,并提供不确定性带的估计阈值曲线。最佳的下一个刺激的基础上确定的信息理论的标准。这导致了一种鲁棒的自适应估计方法,该方法可以应用于完全自动化的听力阈值估计过程。
2016-03-16 stat.AP
Multiple Jump MCMC: A Scalable Algorithm for Bayesian Inference on Binary Model Spaces
University of Amsterdam(阿姆斯特丹大学);Sabanci University(萨贝里大学)
本文提出多重跳跃MCMC算法,用于二元模型空间的贝叶斯推断,该算法简单、无拒绝机制且速度快,适用于高斯图模型、异或模型和变量选择等场景。
2026-04-02 stat.ME
An Extension of the Unified Skew-Normal Family of Distributions and Application to Bayesian Binary Regression
针对贝叶斯二元回归模型,提出扰动统一偏正态(pSUN)分布族以推广SUN分布,证明其在链接函数为高斯CDF尺度混合时与二元回归模型共轭,在logit情形下简化后验计算且p>n时性能更优。
2025-02-12 math.ST stat.ME stat.TH
Gaussian-binary Restricted Boltzmann Machines on Modeling Natural Image Statistics
Ruhr-Universität Bochum(波鸿鲁尔大学)
本文从密度模型的角度对高斯-二元限制玻尔兹曼机进行了理论分析。该分析的关键方面是表明GRBM可以被制定为高斯的约束混合,这使得更好地了解模型的能力和局限性。我们表明,GRBM能够学习有意义的功能,在一个二维的盲声源分离任务和自然图像建模。此外,我们发现,在训练GRBM报告的困难是由于训练算法的失败,而不是模型本身。基于我们的分析,我们能够提出几个训练配方,这使得我们的实验中成功和快速的训练。最后,我们讨论了GRBMs的关系,已提出了几个修改,以改善模型。
2014-01-23 cs.LG cs.NE stat.ML
Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
Stel - Computer Systems Ltd.(Stel计算机系统有限公司)
提出了一种基于高斯-二元限制玻尔兹曼机(GRBM)的说话人子空间建模方法。该模型基于概率线性判别分析(PLDA)中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子,其中扬声器因子在扬声器的所有向量上共享。然后,最大似然参数估计(MLE)的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
2015-03-18 cs.LG cs.NE cs.SD
Fastfood: Approximate Kernel Expansions in Loglinear Time
Google Research(谷歌研究院);Google Strategic Technologies(谷歌战略技术部);Carnegie Mellon University(卡内基梅隆大学)
尽管核方法取得了成功,但在许多大规模问题中难以使用的原因是,存储和计算决策函数通常是昂贵的,特别是在预测时。在本文中,我们克服了这个困难,提出快餐,近似加速这种计算显着。快餐的关键是观察阿达玛矩阵,当与对角高斯矩阵结合时,表现出类似于稠密高斯随机矩阵的性质。然而,与后者不同的是,阿达玛矩阵和对角矩阵的乘法和存储成本都很低。这两个矩阵可以用来代替Rahimi和Recht(2009)提出的随机厨房水槽中的高斯矩阵,从而加快了大范围核函数的计算。具体来说,Fastfood需要O(n log d)时间和O(n)存储来计算d维中的n个非线性基函数,这是O(nd)计算和存储的显着改进,而不会牺牲精度。我们的方法适用于任何平移不变量和任何点积核,如流行的RBF核和多项式核。我们证明了近似是无偏的,并具有低方差。实验表明,我们实现了与完整内核扩展和随机厨房水槽相似的准确性,同时速度快100倍,内存少1000倍。这些改进,特别是在内存使用方面,使得内核方法对于具有大型训练集和/或需要实时预测的应用程序更加实用。
2014-08-13 cs.LG stat.ML
Fundamental limits of distributed multiclass classification from simple binary decisions
University of Bristol(布里斯托大学);Indian Institute of Science(印度科学学院)
研究从\(O(\log K)\)个简单二元分类器组合构建\(K\)类分类器的问题,当二元分类器为超平面时,在高斯设置下得出性能界限,并通过模拟实验验证理论结果。
2026-07-22 cs.IT cs.LG math.IT
Stable Recovery Of Sparse Vectors From Random Sinusoidal Feature Maps
随机正弦特征是在大型数据集中加速基于核的推理的流行方法。在推理阶段之前,该方法建议通过首先将每个数据向量乘以随机高斯矩阵来执行降维,然后计算逐元素正弦曲线。理论分析表明,收集足够数量的这样的特征可以可靠地用于核分类和回归的后续推理。在这项工作中,我们证明,随着嵌入维数的轻微增加,也可以从这种随机正弦特征中重建数据向量,前提是底层数据足够稀疏。特别是,我们提出了一个数值稳定的算法重建给定的非线性特征的数据向量,并分析其样本的复杂性。我们的算法可以扩展到其他类型的结构化反问题,如分离一对稀疏(但不相干)的向量。我们通过数值实验支持我们的方法的有效性。
2017-07-11 stat.ML
Binary Expansion Group Intersection Network
Massachusetts Institute of Technology(麻省理工学院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出二进制展开群交网络(BEGIN),一种用于多变量二进制数据和位编码多项式变量的分布无关图表示。通过证明条件独立性与稀疏线性表示、块分解交互协方差矩阵和块对角化广义Schur补的等价性,拓展了高斯图模型的应用范围。
2026-03-27 cs.LG math.ST stat.ML
Learning binary or real-valued time-series via spike-timing dependent plasticity
动态Boltzmann机(DyBM)是脉冲神经网络的一种模型,其最大化给定时间序列对数似然的学习规则表现出脉冲时间依赖可塑性(STDP)的关键特性,而STDP是神经科学领域对Hebbian规则的一种改进.在这里,我们放松了DyBM中的一些约束,使其更适合计算和学习。我们证明了学习DyBM可以被认为是二值时间序列的逻辑回归。我们还展示了DyBM如何以高斯DyBM的形式学习实值数据,并讨论了它与向量自回归(VAR)模型的关系。高斯DyBM通过使用额外的解释变量来扩展VAR,这些解释变量对应于DyBM的资格迹线并捕获时间序列的长期依赖性。数值实验表明,高斯DyBM显着提高预测精度比VAR。
2016-12-15 cs.NE stat.ML