Variational Auto-Regressive Gaussian Processes for Continual Learning
New York University(纽约大学);Facebook Inc.(脸书公司);University of Sydney(悉尼大学)
通过在线观察数据的后验序列构造,贝叶斯定理为持续学习提供了一个自然的框架。我们开发了变分自回归高斯过程(VAR-GPs),这是一种原则性的后验更新机制,用于解决连续学习中的顺序任务。通过依赖于稀疏诱导点近似的可扩展后验,我们提出了一种新的自回归变分分布,揭示了两个富有成效的连接到现有的结果在贝叶斯推断,期望传播和正交诱导点。平均预测熵估计表明VAR-GP可以防止灾难性遗忘,这在经验上得到了现代持续学习基准对竞争基线的强劲表现的支持。一项彻底的消融研究证明了我们的建模选择的有效性。
2021-06-12 cs.LG stat.ML
Variational Proximal Policy Optimization
University of California, Berkeley(加州大学伯克利分校)
提出变分近端策略优化(VP₂O),利用粒子变分推理和专家混合架构,通过几何近端控制机制解决强化学习中的策略模式崩溃和分布漂移问题,在复杂推理任务上取得显著提升。
2026-06-06 cs.LG stat.ML
Variational Autoencoder with Arbitrary Conditioning
Samsung AI Center Moscow(三星莫斯科人工智能中心);Samsung-HSE Laboratory(三星-高等经济学院实验室)
我们提出了一个单一的神经概率模型的基础上变分自动编码器,可以条件的观察到的功能的任意子集,然后在“一枪”的其余功能的采样。特征可以是实值的和分类的。模型的训练由随机变分贝叶斯进行。对合成数据、特征填充和图像修复问题的实验评价表明了该方法的有效性和生成样本的多样性。
2019-06-27 cs.LG stat.ML
Harmonizable mixture kernels with variational Fourier features
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所 HIIT);Aalto University(阿尔托大学)
高斯过程的表达能力很大程度上取决于核的选择。在这项工作中,我们提出了新的协调混合内核(HMK),一个家庭的表现力,可解释的,非平稳的内核来自混合模型的广义谱表示。作为非平稳核的理论上合理的处理,HMK支持协调协方差,包括所有平稳和许多非平稳协方差的广泛的核子集。我们还提出了变分傅立叶特征,一个域间稀疏GP推理框架,提供了一组代表性的“诱导频率”。我们表明,调和混合内核插值局部模式之间,变分傅立叶特征提供了一个强大的内核学习框架的新的内核家庭。
2019-03-11 cs.LG stat.ML
Tighter sparse variational Gaussian processes
Australian National University(澳大利亚国立大学);University of Cambridge(剑桥大学)
本文针对稀疏变分高斯过程(GP)近似,通过放宽条件近似后验需匹配先验的假设,提出了一种更紧致的近似方法,在回归、分类等任务中保持计算成本不变的同时提升性能。
2025-02-13 cs.LG stat.ML
Slow Feature Analysis as Variational Inference Objective
Institute for Neural Computation, Faculty of Computer Science, Ruhr University Bochum(神经计算研究所,计算机科学学院,博尔塔伦大学)
本文提出用变分推断重新解释慢特征分析,放宽线性约束并将慢度目标作为重构损失的正则化项,同时论证了重构损失在慢度优化中起到确保信息性的约束作用。
2025-05-31 cs.LG stat.ML
A Variational Time Series Feature Extractor for Action Prediction
Université de Technologie de Compiègne (UTC)(贡比涅技术大学);Inria Nancy - Grand Est(法国国家信息与自动化研究所南锡-大东部研究中心)
我们提出了一个变分时间序列特征提取器(VTSFE),受陈等人的VAE-ESTAR模型的启发,用于动作识别和预测。我们的方法是基于变分自编码器。它改进了VAE-SVM,因为它具有更好的噪声推理模型,更简单的转换模型约束的加速度在潜空间的轨迹,和更严格的下限变分推理。我们将该方法应用于具有7个任务和每个任务10个演示的数据集上的全身运动的分类和预测,该数据集用可穿戴动捕服记录。与VAE和VAE-SVM的比较表明,我们的特征提取方法的性能更好。还提供了使用TensorFlow的每种方法的开源软件实现。此外,可以在指定的代码库中找到这项工作的更详细版本。虽然VTSFE的本意是这样的,但由于在INRIA的Maxime Chaveroche的硕士论文中缺乏时间,VTSFE还没有进行动作预测的测试。
2018-09-26 cs.LG stat.ML
Integrated Variational Fourier Features for Fast Spatial Modelling with Gaussian Processes
University of Cambridge(剑桥大学)
针对现有低复杂度高斯过程空间建模方法适用核函数有限的问题,提出集成傅里叶特征方法,将O(M³)复杂度优势扩展到广泛的平稳协方差函数,经理论与实验验证有效提升空间回归任务速度。
2024-04-12 cs.LG stat.ML
Spherical Inducing Features for Orthogonally-Decoupled Gaussian Processes
University of Sydney(悉尼大学);University of Cambridge(剑桥大学);Secondmind
针对域间变分高斯过程的实际问题,提出基于球面诱导特征的正交解耦扩展方法,构建灵活的数据依赖基函数,兼具性能与可扩展性,经多基准数据集验证有效。
2023-06-15 cs.LG stat.ML
Towards Deeper Understanding of Variational Autoencoding Models
Stanford University(斯坦福大学)
我们提出了一个新的家庭变分自动编码模型的优化标准,推广了标准的证据下限。我们提供的条件下,他们恢复的数据分布和学习潜在的功能,并正式显示,常见的问题,如模糊的样本和无信息的潜在功能时,这些条件不满足。基于这些新的见解,我们提出了一个新的顺序VAE模型,可以在LSUN图像数据集上生成基于像素级重建损失的清晰样本,并提出了一个优化标准,鼓励信息潜在特征的无监督学习。
2017-02-28 cs.LG stat.ML
Know Your Boundaries: Constraining Gaussian Processes by Variational Harmonic Features
Aalto University(阿尔托大学);Delft University of Technology(代尔夫特理工大学)
高斯过程(GP)为回归和分类中的外推、内插和噪声去除提供了一个强大的框架。本文考虑将GP约束到具有边界条件的任意形状的域。我们解决了一个傅立叶般的广义谐波特征表示的GP之前在感兴趣的领域,既约束了GP,并获得了一个低秩表示,用于加快推理。该方法在预测中缩放为$\mathcal{O}(nm^2)$,在回归的超参数学习中缩放为$\mathcal{O}(m^3)$,其中$n$是数据点的数量,$m$是特征的数量。此外,我们利用变分方法,使该方法处理非高斯似然。实验涵盖了模拟和经验数据,其中边界条件允许包含额外的物理信息。
2019-04-10 cs.LG stat.ML
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中,我们提出了一个自然图像的生成模型,该模型由深层的潜在随机变量层组成,每个变量都遵循一种新的分布类型,我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏,同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数,我们用变分自动编码器近似隐变量的后验。然而,编码器参数化了一种新型的结构化变分近似,而不是进行通常的平均场假设,该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似,我们能够对具有多层潜在随机变量的深度模型进行联合训练,而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
Variational Autoencoders for Feature Detection of Magnetic Resonance Imaging Data
University of New Mexico(新墨西哥大学);The MIND Research Network(MIND研究网络)
独立分量分析(ICA)作为一种解决盲源分离(BSS)问题的方法,已成为许多医学成像领域的事实标准。尽管取得了成功,并正在进行大量的研究工作,ICA的平方线性变换的限制还没有被克服,所以一般的INFOMAX仍然是远远没有实现。作为替代方案,我们提出了医学成像中的特征分析作为亥姆霍兹机解决的问题,亥姆霍兹机包括在同一目标下的原始数据的降维和重建,并且最近已经克服了深度和非线性配置的推理和学习中的主要困难。我们展示了一种训练亥姆霍兹机器的方法,变分自动编码器(VAE),作为一种可行的方法对磁共振成像(MRI)数据的特征提取。
2016-03-21 cs.LG cs.NE stat.ML
$β$-Variational autoencoders and transformers for reduced-order modelling of fluid flows
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Spanish National Institute for Aerospace Technology (INTA)(西班牙国家航空航天技术研究院);Illinois Institute of Technology(伊利诺伊理工学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出结合$β$-VAE与Transformer的方法,为混沌流体流动学习紧凑且近似正交的降阶模型,在二维粘性流动数据上验证,能更高效地捕捉动态,优于其他预测模型。
2023-11-15 cs.LG physics.flu-dyn
BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所);University of Birmingham(伯明翰大学);University of Manchester(曼彻斯特大学)
变分自动编码器(VAE)为非线性降维提供了一个灵活且可扩展的框架。然而,在应用领域,如基因组学的数据集通常是表格和高维的,黑盒方法降维不能提供足够的见解。常见的数据分析工作流还使用聚类技术来识别相似特征的组。这通常会导致一个两阶段的过程,但是,这将是可取的,以建立一个联合建模框架,同时降维和聚类的功能。在本文中,我们建议通过BasisVAE来实现这一点:VAE和概率聚类先验的组合,它让我们学习一个独热基函数表示作为解码器网络的一部分。此外,对于不是所有特征都对齐的情况,我们开发了一个扩展来处理双线性不变基函数。我们展示了如何崩溃的变分推断计划导致可扩展的和有效的推理BasisVAE,演示各种玩具的例子,以及单细胞基因表达数据。
2020-03-06 cs.LG q-bio.GN stat.ML
Learning and controlling the source-filter representation of speech with a variational autoencoder
CentraleSupélec(巴黎中央理工-高等电力学院);IETR UMR CNRS 6164(法国国家科学研究中心电子与电信研究所(UMR 6164));Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔国立理工学院);GIPSA-lab(格勒诺布尔图像、语音、信号与自动化实验室);Inria(法国国家信息与自动化研究所);LJK(让·昆塞曼实验室)
理解和控制深度生成模型中的潜在表示对于分析、转换和生成各种类型的数据来说是一个具有挑战性且重要的问题。在语音处理中,源滤波器模型从发声的解剖机制出发,认为语音信号是由几个独立的、有物理意义的连续潜在因素产生的,其中基频$f_0$和共振峰是最重要的。在这项工作中,我们从一个变分自编码器(VAE)在一个大的数据集上的未标记的自然语音信号的无监督的方式训练,我们表明,语音生产的源过滤器模型自然产生的VAE潜在空间的正交子空间。利用人工语音合成器产生的标记语音信号,我们提出了一种方法来识别编码$f_0$和前三个共振峰频率的潜在子空间,我们证明了这些子空间是正交的,并基于这种正交性,我们开发了一种方法来精确和独立地控制潜在子空间内的源滤波器语音因子。在不需要诸如文本或人类标记的数据之类的附加信息的情况下,这导致以$f_0$和共振峰频率为条件的语音频谱图的深度生成模型,并且该深度生成模型被应用于变换语音信号。最后,我们还提出了一个强大的$f_0$估计方法,利用投影的语音信号到学习的潜在子空间与$f_0$。
2023-03-21 cs.LG cs.SD eess.AS
Self-Reflective Variational Autoencoder
Carnegie Mellon University(卡内基梅隆大学)
变分自编码器(VAE)是一个学习概率潜变量生成模型的强大框架。然而,编码器和/或先验的近似后验分布的典型假设严重限制了其推理和生成建模的能力。基于神经自回归模型的变分推理尊重精确后验的条件依赖性,但这种灵活性是有代价的:这种模型在高维状态下进行训练是昂贵的,并且产生样本的速度可能很慢。在这项工作中,我们引入了一个正交的解决方案,我们称之为自反射推理。通过重新设计现有VAE架构的分层结构,自反射确保随机流保留精确后验的因式分解,以与生成模型一致的递归方式顺序更新潜在代码。我们经验性地证明了将变分后验与精确后验匹配的明显优势--在二值化MNIST上,自反射推理实现了最先进的性能,而无需求助于复杂的、计算上昂贵的组件,如自回归层。此外,我们设计了一个变分规范化流程,采用所提出的架构,产生预测的好处相比,其纯粹的生成对应。我们提出的修改是相当普遍的,并补充了现有的文献;自反射推理可以自然地利用分布估计和生成建模的进步,以提高层次结构中每一层的能力。
2020-07-10 cs.CV cs.LG stat.ML
Jigsaw-VAE: Towards Balancing Features in Variational Autoencoders
Autodesk AI Research(欧特克人工智能研究院);Imagia(Imagia公司);MILA(蒙特利尔学习算法研究所)
VAE学习的潜变量作为一种无监督的特征提取方式已经引起了相当大的兴趣,这些特征可以用于下游任务。人们越来越感兴趣的问题是,在一个环境中学习的特征是否会在不同的环境中推广。我们在这里证明,VAE潜变量往往集中在一些因素的变化,在其他的牺牲-在这种情况下,我们称为“不平衡”的功能。当潜变量用于特征存在变化的环境中时,特征不平衡导致泛化能力差。类似地,用不平衡特征训练的潜在变量会导致VAE生成不太多样化(即偏向主导特征)的样本。为了解决这个问题,我们提出了一个正则化方案的VAE,我们表明,基本上解决了特征不平衡的问题。我们还引入了一个简单的度量来衡量生成的图像中的功能的平衡。
2020-05-12 cs.CV cs.LG stat.ML
Electrocardiogram Generation and Feature Extraction Using a Variational Autoencoder
Lobachevsky State University of Nizhni Novgorod(下诺夫哥罗德国立洛巴切夫斯基大学)
我们提出了一种方法,用于产生一个心动周期的心电图(ECG)信号,使用变分自动编码器。使用这种方法,我们提取了一个新的25个特征的向量,在许多情况下可以解释。所生成的ECG具有相当自然的外观。最大平均离散度量的低值0.00383也表明ECG生成的质量良好。提取的新特征将有助于提高心血管疾病自动诊断的质量。此外,生成新的合成ECG将使我们能够解决缺乏标记ECG的问题,以便在监督学习中使用它们。
2020-02-01 cs.LG eess.SP q-bio.QM
Variational Gaussian Processes: A Functional Analysis View
University of Oxford(牛津大学);Imperial College London(帝国理工学院)
变分高斯过程(GP)近似已经成为快速GP推断的标准工具。这种技术要求用户选择变分特征以提高效率。到目前为止,文献中的共同选择是不同的,缺乏普遍性。我们建议将GP看作是位于Banach空间中,从而便于统一的视角。这用于理解现有特征之间的关系,并在核岭回归和变分GP近似之间建立联系。
2021-10-25 cs.LG math.ST stat.ML
Denoising and feature extraction in photoemission spectra with variational auto-encoder neural networks
University of Virginia(弗吉尼亚大学)
近年来,不同的机器学习(ML)模型已分别用于从原始角分辨光电子能谱(ARPES)数据获得的能量-动量色散强度图的特征提取和降噪。在这项工作中,我们采用了一个浅层变分自动编码器(VAE)神经网络来展示使用ML进行ARPES色散图去噪和特征提取的前景。
2022-03-14 cond-mat.str-el cs.LG physics.ins-det
Orthogonalized Design Matrices Speed-ups of Bayesian Semiparametric Regression
University of Technology Sydney(悉尼科技大学)
研究如何用正交设计矩阵加速贝叶斯半参数回归,通过预循环重新表述模型,在列维度上使计算量大幅减少,实现约5到60倍加速。
2026-07-13 stat.ME
Functional Bias and Tangent-Space Geometry in Variational Inference
本文提出了一种几何框架,用于分析变分近似中后验函数的偏差,揭示了切空间与相互作用成分对偏差的影响,解释了均值场变分推断中跨块依赖性的系统性扭曲。
2026-03-09 math.ST stat.ML stat.TH
Sampling in Constrained Domains with Orthogonal-Space Variational Gradient Descent
Purdue University(普渡大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);National University of Singapore(新加坡国立大学)
抽样方法是一种重要的推理和学习技术,通常是针对无约束领域设计的。然而,在机器学习问题中,约束是普遍存在的,例如关于安全性、公平性、鲁棒性和许多其他属性的约束,这些约束必须满足才能将采样结果应用于现实生活中的应用。强制执行这些约束通常会导致隐式定义的流形,使得具有约束的有效采样非常具有挑战性。在本文中,我们提出了一个新的变分框架与设计的正交空间梯度流(O-梯度)采样流形$\mathcal{G}_0$定义的一般等式约束。O-Gradient将梯度分解为两部分:一部分减小到$\mathcal{G}_0$的距离,另一部分减小正交空间中的KL散度。虽然大多数现有的流形采样方法需要在$\mathcal{G}_0$上进行初始化,但O-梯度不需要这样的先验知识。证明了在较弱的条件下,O-梯度以速率$\widetilde{O}(1/\text{the number of iterations})$收敛于目标约束分布.我们的证明依赖于一个新的条件测度的Stein特征,这可能是独立的利益。我们通过Langevin动力学和Stein变分梯度下降实现O-梯度,并在各种实验中证明了其有效性,包括贝叶斯深度神经网络。
2022-10-12 cs.LG stat.ML
3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch Feature Swapping for Bodies and Faces
University College London(伦敦大学学院)
在面部和身体的3D生成模型中学习一个解纠缠的、可解释的和结构化的潜在表示仍然是一个悬而未决的问题。当需要对身份特征进行控制时,这个问题尤其严重。在本文中,我们提出了一个直观而有效的自我监督的方法来训练三维形状变分自编码器(VAE),鼓励解开身份特征的潜在表示。通过在不同形状之间交换任意特征来管理小批量生成允许定义利用潜在表示中的已知差异和相似性的损失函数。三维网格上进行的实验结果表明,国家的最先进的方法,潜在的解开是不能解开的身份特征的脸和身体。我们所提出的方法适当地简化了这些功能的生成,同时保持良好的表示和重建能力。
2022-03-23 cs.CV cs.GR cs.LG
Variational approximation for heteroscedastic linear models and matching pursuit algorithms
涉及大数据集的现代统计应用已经将注意力集中在统计方法学上,这些方法在计算上是有效的并且能够处理大量不同候选模型的筛选。在这里,我们考虑计算效率变分贝叶斯方法在高维异方差线性回归,其中的均值和方差的预测变量的线性函数和预测变量的数量可以大于样本量的推断。我们推导出一个封闭形式的变分下限的对数边际似然有用的模型选择,并提出了一种新的快速贪婪搜索算法的模型空间,利用一步优化更新的变分下限在当前模型筛选大量的候选预测变量的包含/排除在计算上节俭的方式。我们表明,我们建议的模型搜索策略与广泛使用的正交匹配追踪算法的模型搜索,但产生一个框架,这些算法可能扩展到更复杂的模型。该方法被应用在模拟和两个真实的例子,涉及使用近红外技术预测食品成分和糖尿病疾病进展的预测。
2011-03-02 stat.ME stat.ML
Modeling Melodic Feature Dependency with Modularized Variational Auto-Encoder
National Taiwan University(台湾大学)
自动旋律生成一直是人工智能研究人员和音乐家的长期愿望。然而,学习产生悦耳的旋律已被证明是非常具有挑战性的。介绍了一种新的变分自编码器(VAE),它采用模块化的结构设计,能够对具有领域知识的复调音乐和动态音乐进行建模;介绍了一种层次化的编解码策略,能够对旋律特征之间的依赖关系进行显式建模。所提出的框架是能够产生不同的旋律,听起来自然,和用于评估生成的音乐片段的实验表明,所提出的模型优于人类评价的基线。
2018-10-31 cs.AI cs.LG cs.MM
Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters
School of Electrical and Computer Engineering, University of Georgia(佐治亚大学电气与计算机工程学院);Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系)
本文提出PoLAR-VBLL框架,通过正交化低秩适配器与变分推断结合,实现大规模语言模型的可扩展贝叶斯微调,提升不确定性量化能力。
2026-04-03 cs.LG stat.ML
Variational Semi-blind Sparse Deconvolution with Orthogonal Kernel Bases and its Application to MRFM
当成像器件的点扩散函数(点扩散函数)部分已知时,提出了一种联合图像重建和点扩散函数估计的变分贝叶斯方法。为了解决这个半盲反卷积问题,为PSF和3D图像指定先验分布。联合图像重建和PSF估计,然后在贝叶斯框架内进行,使用变分算法来估计后验分布。图像先验分布施加了一个明确的原子措施,对应于图像稀疏。重要的是,所提出的贝叶斯反卷积算法不需要手动调整。仿真结果清楚地表明,半盲反卷积算法相比,毫不逊色于以前的马尔可夫链蒙特卡罗(MCMC)版本的近视稀疏重建。它显著优于依赖于PSF的完美知识的假设的失配非盲算法。该算法说明了从磁共振力显微镜(MRFM)的实际数据。
2013-03-15 physics.data-an stat.ML
Orthogonal Random Features
Google Research(谷歌研究院)
我们提出了一个有趣的发现与随机傅立叶特征:在高斯核近似中,用适当缩放的随机正交矩阵代替随机高斯矩阵显着降低核近似误差。我们称这种技术为正交随机特征(ORF),并为这种行为提供理论和经验的理由。基于这一发现,我们进一步提出了结构化正交随机特征(SORF),它使用一类结构化离散正交矩阵来加快计算速度。该方法减少了从$\mathcal{O}(d^2)$到$\mathcal{O}(d \log d)$的时间成本,其中$d$是数据维数,与ORF相比,在核近似质量上几乎没有妥协。在多个数据集上的实验验证了ORF和SORF方法的有效性。我们还提供了讨论使用相同类型的离散正交结构的更广泛的应用。
2016-10-28 cs.LG stat.ML
Supervised feature selection with orthogonal regression and feature weighting
有效的特征可以提高模型的性能,从而帮助我们理解复杂数据的特征和底层结构。以往的特征选择方法通常不能保留更多的局部结构信息。为了解决上述缺陷,我们提出了一种新的监督正交最小二乘回归模型与特征加权特征选择。目标函数的优化问题可以通过广义幂迭代(GPI)和增广拉格朗日乘子(ALM)方法求解。实验结果表明,与传统的特征选择方法相比,该方法能更有效地降低特征维数,获得更好的分类结果。证明了该迭代法的收敛性。理论和实验验证了该方法的有效性和优越性。
2019-10-09 cs.LG stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research(VinAI研究院);University of Texas, Austin(德克萨斯大学奥斯汀分校);Hanoi University of Science and Technology(河内科技大学)
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战,该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说,我们重点研究了Dropout后验模型中因子分解结构的可分解性,并提出了一种改进的方法,称为变分结构Dropout(VSD)。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示,从而在近似后验中引入统计依赖性。从理论上讲,VSD成功地解决了以前的变差丢弃方法的病理,从而提供了一个标准的贝叶斯理由。我们进一步表明,VSD诱导自适应正则化项与几个理想的属性,有助于更好的推广。最后,我们进行了广泛的实验,标准的基准测试,以证明VSD的有效性超过国家的最先进的变分方法的预测精度,不确定性估计,和分布外检测。
2021-10-29 cs.LG stat.ML
Variational Information Maximization for Feature Selection
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
特征选择是机器学习中最基本的问题之一。信息理论特征选择的基础是最大化特征子集和类标签之间的互信息,这是一个广泛的工作机构。由于难以估计互信息,实际方法被迫依赖于近似。我们表明,现有方法的近似是基于不切实际的假设。我们制定了一个更灵活和一般类的假设变分分布的基础上,并使用它们来生成易处理的互信息的下界。这些界限定义了一个新的信息理论框架的特征选择,我们证明是最佳的树图形模型与适当的选择变分分布。我们的实验表明,该方法大大优于现有的信息理论特征选择方法。
2016-06-09 cs.LG stat.ML
Orthogonal Least Squares Based Fast Feature Selection for Linear Classification
The University of Sheffield(谢菲尔德大学)
提出了一种基于正交最小二乘(OLS)的特征选择方法。基于OLS中的误差减少比(ERR)定义了一种新的平方正交相关系数(SOCC),并将其作为特征排序准则。揭示了典型相关系数、Fisher准则和SOCC之和之间的等价性,首次揭示了OLS中ERR的统计含义。它还表明,基于OLS的特征选择方法具有速度优势时,适用于贪婪搜索。该方法与基于互信息的特征选择方法和嵌入式方法进行了比较。结果表明,该方法在12种候选方法中始终排在前5位。此外,所提出的方法可以直接应用于连续的功能,而无需离散化,这是另一个显着的优势,基于互信息的方法。
2021-10-02 cs.LG stat.ML
Orthogonal variance decomposition based feature selection
Canadian University Dubai(迪拜加拿大大学)
现有的特征选择方法在评估特征子集时不能正确地考虑特征之间的相互作用。在本文中,我们试图通过使用正交方差分解来评估功能来解决这个问题。分解的正交性允许我们直接计算特征对输出方差的总贡献。因此,我们得到一个有效的算法,考虑到功能之间的相互作用的功能评估。数值实验表明,我们的方法准确地识别相关功能,提高了数值模型的精度。
2019-10-22 cs.LG stat.ME stat.ML
Orthogonal Random Features: Explicit Forms and Sharp Inequalities
Aix-Marseille University(艾克斯-马赛大学);CNRS(法国国家科学研究中心);LIS(信息科学与系统实验室)
本文分析了基于Haar正交矩阵的正交随机特征对高斯核近似的偏差与方差,给出基于归一化贝塞尔函数的显式表达式,证明其实际近似贝塞尔核,并推导出锐利指数界表明其分散性低于随机傅里叶特征。
2024-10-19 cs.LG math.PR stat.ML
Iterative Orthogonal Feature Projection for Diagnosing Bias in Black-Box Models
MIT(麻省理工学院)
越来越多地部署预测模型来确定信贷、保险和就业等服务的获取情况。尽管生产力和效率有可能提高,但一些潜在的问题尚未得到解决,特别是无意歧视的可能性。我们提出了一个迭代过程,基于正交投影的输入属性,使黑箱预测模型的可解释性。通过我们的迭代过程,可以量化黑箱模型对输入属性的相对依赖性,然后可以使用输入对预测模型的相对重要性来评估这种模型的公平性(或歧视程度)。
2016-11-15 cs.LG stat.ML
VFDS: Variational Foresight Dynamic Selection in Bayesian Neural Networks for Efficient Human Activity Recognition
Texas A&M University(德克萨斯农工大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Washington(华盛顿大学)
在许多机器学习任务中,以不同的成本获得具有不同程度的预测能力的输入特征。为了优化性能-成本权衡,人们将选择先验观察的特征。然而,给定具有先前观察的变化的上下文,要选择的预测特征的子集可以动态地变化。因此,我们面临着具有挑战性的前瞻性动态选择(FDS)的新问题:找到一个动态的和轻量级的政策,以决定哪些功能观察下一步,在实际观察他们之前,整体性能成本权衡。为了解决FDS问题,本文提出了一个贝叶斯学习框架的变分模糊动态选择(VFDS)。VFDS学习的政策,选择下一个功能子集观察,通过优化变分贝叶斯目标,模型性能和功能成本之间的权衡的特点。它的核心是二进制门上的隐式变分分布,它依赖于以前的观察,它将选择下一个要观察的特征子集。我们将VFDS应用于人类活动识别(HAR)任务,其中性能-成本权衡在其实践中至关重要。大量的结果表明,VFDS选择不同的功能在不断变化的情况下,显着节省感官成本,同时保持或提高HAR的准确性。此外,VFDS动态选择的功能被证明是可解释的,并与不同的活动类型。我们将发布代码。
2022-03-31 cs.LG stat.ML
Diversifying Sparsity Using Variational Determinantal Point Processes
Massachusetts Institute of Technology(麻省理工学院);University of Michigan(密歇根大学);Harvard University(哈佛大学)
提出了一种新的基于决定点过程(DPPs)的多样性特征选择方法。我们的模型使人们能够灵活地定义多样性的基础上的协方差的功能(类似于正交匹配追求),或者基于边信息。我们介绍我们的方法在贝叶斯稀疏回归的背景下,采用DPP作为变分近似的真实尖峰和板后验分布。随后,我们展示了这种变分DPP近似如何推广和扩展平均场近似,并且可以通过利用DPP的快速采样特性来有效地学习。我们的激励应用程序来自生物信息学,我们的目标是确定一组不同的基因,其表达谱预测肿瘤类型,其中的多样性是相对于基因-基因相互作用网络定义的。我们还探讨了在空间统计中的应用。在这两种情况下,我们证明了所提出的方法产生显着更多样化的功能集比经典的稀疏方法,而不影响精度。
2014-11-23 cs.AI cs.LG stat.ML
VUSFA:Variational Universal Successor Features Approximator to Improve Transfer DRL for Target Driven Visual Navigation
Auckland Bioengineering Institute, The University of Auckland(奥克兰大学生物工程研究所);Augmented Human Lab(增强人类实验室)
在本文中,我们展示了如何新的转移强化学习技术可以应用到目标驱动的导航使用逼真的AI2THOR模拟器的复杂任务。具体来说,我们建立在通用后继功能的概念与A3C代理。我们介绍了新的建筑贡献的继任者功能依赖政策(SFDP),并采用变信息瓶颈的概念,以实现最先进的性能。VUSFA是我们的最终架构,是一种可以使用我们的开源存储库实现的简单方法。我们的方法是可推广的,在训练中表现出更大的稳定性,并且在迁移学习能力方面优于最近的方法。
2019-08-18 cs.AI cs.LG cs.NE
Variational Fourier features for Gaussian processes
这项工作汇集了高斯过程中的两个强大的概念:变分方法稀疏近似和高斯过程的谱表示。这就产生了一个近似,继承了变分方法的好处,但与频谱表示的代表性和计算的可扩展性。本文的工作基于一个关键的结果,即存在与有限域的高斯过程相关的谱特征,这些谱特征表现出几乎独立的协方差。我们推导出这些表达式的Matern内核在一个维度上,并推广到更多的维度,使用特定结构的内核。在加性高斯噪声的假设下,我们的方法只需要一次通过数据集,从而实现非常快速和准确的计算。我们在标准笔记本电脑上仅用几分钟就能将模型拟合到400万个训练点。使用非共轭似然,我们的MCMC方案将每次迭代的计算成本从O(NM 2)(对于稀疏高斯过程)降低到O(NM),其中N是数据的数量,M是特征的数量。
2017-11-08 stat.ML