Adaptive and Safe Bayesian Optimization in High Dimensions via One-Dimensional Subspaces
ETH Zurich（苏黎世联邦理工学院）；Paul Scherrer Institut（保罗·谢勒研究所）
已知贝叶斯优化难以扩展到高维，因为获取步骤需要在相同的搜索空间中求解非凸优化问题。为了扩展该方法并保持其优势，我们提出了一种算法（LineBO），该算法将问题限制为一系列迭代选择的一维子问题，可以有效地解决。我们表明，我们的算法全局收敛，并获得一个快速的局部速度时，函数是强凸的。此外，如果目标有一个不变的子空间，我们的方法自动适应有效的尺寸，而不改变算法。当与SafeOpt算法相结合来解决子问题时，我们获得了第一个安全的贝叶斯优化算法，该算法具有适用于高维设置的理论保证。我们在多个合成基准上评估我们的方法，在那里我们获得了有竞争力的性能。此外，我们部署我们的算法，以优化瑞士自由电子激光器的光束强度与多达40个参数，同时满足安全操作的限制。
2019-05-28 cs.LG stat.ML
Leveraging Axis-Aligned Subspaces for High-Dimensional Bayesian Optimization with Group Testing
Lund University（隆德大学）；DBtune
本文提出群组测试贝叶斯优化（GTBO），通过群组测试识别高维黑盒函数中的活跃变量，并重点利用轴对齐子空间假设指导优化，在相关基准上优于现有方法且更具可解释性。
2025-04-08 cs.LG stat.ML
Increasing the Scope as You Learn: Adaptive Bayesian Optimization in Nested Subspaces
Lund University（吕勒欧大学）；Stanford University（斯坦福大学）；DBtune；Amazon（亚马逊）
本文提出BAxUS方法，通过嵌套随机子空间自适应优化空间，提升高维贝叶斯优化性能，理论保证其鲁棒性并在多种应用中表现更优。
2023-04-22 cs.LG stat.ML
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory（布鲁克海文国家实验室）；Texas A&M University（德克萨斯A&M大学）；Argonne National Laboratory（阿贡国家实验室）
针对活性子空间方法在大模型中存储梯度内存过大的问题，提出压缩活性子空间（CAS），通过结构化等距嵌入降维后构建子空间，大幅降低内存需求，实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
Bayesian Subspace HMM for the Zerospeech 2020 Challenge
Bogazici University（博阿齐奇大学）；Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在本文中，我们描述了我们提交的Zerospeech 2020挑战，其中要求参与者从未注释的语音中发现潜在的表示，并使用这些表示来执行语音合成，合成质量作为单位质量的代理度量。在我们的系统中，我们使用贝叶斯子空间隐马尔可夫模型（SHMM）的单位发现。SHMM将每个单元建模为HMM，HMM的参数被约束为位于总参数空间的低维子空间中，该总参数空间被训练以对语音变异性建模。我们的系统与人类评估的字符错误率的基线相比，同时保持显着较低的单位比特率。
2020-07-27 cs.CL cs.LG eess.AS
Joint Bayesian estimation of close subspaces from noisy measurements
在这封信中，我们考虑两组定义为嵌入在噪声中的子空间信号的观测，我们希望分析这两个子空间之间的距离。后者需要评估子空间之间的角度，这个问题让人想起著名的Procrustes问题。贝叶斯方法的研究，其中感兴趣的子空间被认为是随机的联合先验分布（即宾汉分布），这使得两个子空间的接近程度进行调整。在这个框架内，最小均方距离估计的两个子空间制定和实施通过吉布斯采样器。本文还提出了一种基于交替最大后验估计的简单方案。新的计划，以提供更准确的估计的角度之间的子空间，相比基于奇异值分解的独立估计的两个子空间。
2013-10-01 stat.ME stat.ML
Robust Bayesian Subspace Identification for Small Data Sets
从传统的子空间识别方法获得的模型估计可能会受到显着的方差。在大型模型或样本量有限的情况下，这种升高的方差会加剧。减少方差影响的常见解决方案是正则化估计，收缩估计和贝叶斯估计。在目前的工作中，我们调查后两种解决方案，尚未被应用于子空间识别。我们的实验结果表明，我们提出的估计可以减少估计风险的传统子空间方法的$40\%$。
2022-12-29 cs.SY eess.SY stat.ML
Online Low-Rank Subspace Learning from Incomplete Data: A Bayesian View
在过去的几十年里，提取高维信号经常驻留的底层低维空间一直是信号处理和机器学习文献中众多算法的中心。与此同时，由于各种原因，使用不完整（部分观察到的）大规模数据集最近已经司空见惯。这个所谓的{ \it大数据时代}，我们目前生活的要求设计在线子空间学习算法，可以适当地处理不完整的数据。他们设想的目标是{ \it递归地}通过顺序地处理流数据来估计未知子空间，从而降低计算复杂度，同时避免将整个数据集存储在存储器中的需要。本文提出了一种基于部分观测值的在线变分贝叶斯子空间学习算法。考虑到子空间的真实秩的未知性，通常在实践中遇到，低秩是明确施加在所寻求的子空间数据矩阵，通过利用稀疏贝叶斯学习原理。此外，稀疏性，{ \it同时}低秩，有利于子空间矩阵的复杂的层次贝叶斯方案，采用。在这样做时，所提出的算法变得善于处理应用，由此底层子空间也可以是稀疏的，例如，稀疏字典学习问题。如图所示，在对模拟和真实数据进行的各种实验中，新的子空间跟踪方案在估计精度方面优于其最先进的同行。
2016-02-12 stat.ML
Bayesian Subspace Hidden Markov Model for Acoustic Unit Discovery
Brno University of Technology（布尔诺理工大学）
这项工作解决的问题，学习一组语言特定的声学单位从未标记的语音记录给定的一组标记的录音从其他语言。我们的方法可以描述为以下两个步骤的过程：首先，模型学习的概念的声学单位从标记的数据，然后模型使用它的知识，以找到新的声学单位的目标语言。我们用贝叶斯子空间隐马尔可夫模型（SHMM）实现这个过程，这是一种类似于子空间高斯混合模型（SGMM）的模型，其中每个低维嵌入表示一个声学单元，而不仅仅是HMM的状态。子空间在来自GlobalPhone语料库的3种语言（德语、波兰语和西班牙语）上训练，AU在TIMIT语料库上发现。以等效电话出错率测量的结果表明，该方法明显优于以前的基于HMM的声学单元发现系统，并且与变分自动编码器HMM相比毫不逊色。
2019-07-02 cs.LG cs.SD eess.AS
High dimensional Bayesian Optimization via Condensing-Expansion Projection
ISTBI, Fudan University（复旦大学ISTBI）
针对高维贝叶斯优化中随机嵌入依赖有效子空间假设的问题，提出CEPBO随机投影方法及高斯、哈希两种算法，实验表明其性能更优。
2024-08-09 cs.LG
Scalable Batch Bayesian Optimization Via Subspace Acquisition Functions
School of Computing and Artificial Intelligence（计算与人工智能学院）
提出通过从原始问题的轴对齐子空间中各选一点来扩展贝叶斯优化至大规模批量评估，显著加速收敛，与十种批量算法相比极具竞争力。
2026-06-18 cs.AI cs.LG cs.NE
Bayesian Subspace Identification in the MIMO Case
FEDERAL UNIVERSITY OF MINAS GERAIS（米纳斯吉拉斯联邦大学）
本文提出了一种适用于多输入多输出系统的贝叶斯子空间识别方法，并通过实验验证其有效性。
2025-12-30 cs.SY eess.SY stat.AP
Bayesian one-mode projection for dynamic bipartite graphs
University of Oxford（牛津大学）
我们提出了一种贝叶斯方法，用于单模式投影一个二分网络，该网络在一系列离散的时间步长中被观察到。所得到的单模式网络捕获每个链路的存在/不存在的不确定性，并提供其可能的权重值的概率分布。此外，结合先前状态的先验知识使所得网络对数据收集过程中通常发生的噪声和缺失观测不太敏感。该方法包括计算成本低廉的更新规则，并可扩展到大的问题，通过适当的分布式实现。
2012-12-12 cond-mat.stat-mech cs.LG stat.ML
LinEasyBO: Scalable Bayesian Optimization Approach for Analog Circuit Synthesis via One-Dimensional Subspaces
Fudan University（复旦大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
大量的文献已经证明贝叶斯优化框架在模拟电路综合中特别有效。然而，以往的研究工作大多集中在设计信息代理模型或有效的获取功能。即使在采集函数表面上搜索全局最优值本身是一项困难的任务，但它在很大程度上被忽略了。在本文中，我们提出了一个快速和强大的贝叶斯优化方法，通过一维子空间的模拟电路综合。通过在每次迭代中只关注优化一维子空间，我们大大降低了贝叶斯优化框架的计算开销，同时安全地最大化了获取函数。通过结合不同维度选择策略的优点，我们自适应地在全局搜索和局部搜索之间取得平衡。通过利用批贝叶斯优化框架，我们进一步加快优化过程，充分利用硬件资源。实验结果定量地表明，我们提出的算法可以加速优化过程高达9倍和38倍相比，LP-EI和REMBOpBO分别当批量大小为15。
2021-09-01 cs.LG cs.SY eess.SY
Automated Random Embedding for Practical Bayesian Optimization with Unknown Effective Dimension
Shanghai Institute of AI for Education, and School of Computer Science and Technology, East China Normal University（上海人工智能教育研究院，东华大学计算机科学与技术学院）；Ant Group（蚂蚁集团）；Nanjing University（南京大学）
提出动态共享嵌入贝叶斯优化（DSEBO）方法，通过自动调整子空间维度并共享查询解，平衡近似与优化误差，在高维优化中显著降低遗憾和时间成本。
2026-05-25 cs.AI cs.LG
Model Unlearning via Sparse Autoencoder Subspace Guided Projections
The University of Hong Kong（香港大学）；New Jersey Institute of Technology（新泽西理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对大型语言模型选择性知识移除中缺乏可解释性与对抗稳健性的问题，提出 SSPU 框架，利用稀疏自编码器特征构建子空间并引导参数更新，实现了精确可控的模型遗忘，有效降低有害知识准确率并提升对抗稳健性。
2025-05-30 cs.CL cs.LG
A Metropolized adaptive subspace algorithm for high-dimensional Bayesian variable selection
提出了一种简单有效的自适应马尔可夫链蒙特卡罗（MCMC）方法--Metropolized Adaptive Subspace（MAdaSub）算法，用于贝叶斯变量选择中的高维后验模型分布采样. MAdaSub算法基于独立的Metropolis-Hastings采样器，其中解释变量的个体建议概率在每次迭代后使用贝叶斯自适应学习的形式进行更新，以最终收敛到各自协变量的后验包含概率的方式。我们证明了算法的遍历性，并提出了一个并行版本的MAdaSub的适应计划的建议概率的基础上，从多个链的信息组合。该算法的有效性通过各种模拟和真实数据的例子，包括一个高维问题，超过20,000协变量证明。
2022-07-07 stat.CO stat.ME
Subspace Shrinkage in Conjugate Bayesian Vector Autoregressions
使用大型数据集的宏观经济学家经常面临使用大型向量自回归（VAR）或因子模型的选择。在本文中，我们开发的方法结合使用子空间收缩前两者。子空间先验朝着一类函数收缩，而不是直接迫使模型的参数朝着某个预先指定的位置。我们开发了一种共轭VAR先验，它向因子模型定义的子空间收缩。我们的方法允许估计收缩的强度以及因子的数量。在建立了我们提出的先验的理论属性后，我们进行了模拟，并将其应用于美国宏观经济数据。使用模拟，我们表明，我们的框架成功地检测到的因素的数量。在涉及大型宏观经济数据集的预测实践中，我们发现将VAR与使用我们的先验知识的因子模型相结合可以改善预测。
2021-07-16 econ.EM stat.AP
Bayesian Projection Pursuit Regression
在投影寻踪回归（PPR）中，未知响应函数由M个“脊函数”的和来近似，所述脊函数是多变量输入空间的一维投影的灵活函数。传统上，优化例程用于经由顺序算法来估计投影方向和脊函数，并且M通常经由交叉验证来选择。我们介绍了第一个贝叶斯版本的PPR，它具有准确的不确定性量化的好处。为了学习投影方向和脊函数，我们应用了用于单脊函数情况（M=1）的新方法，称为单指数模型，贝叶斯实现确实存在;然后使用可逆跳MCMC来学习脊函数M的数量。我们评估了我们的模型在20个模拟场景和23个真实数据集中的预测能力，并与一系列最先进的回归方法进行了对比。它的有效性能表明贝叶斯投影寻踪回归是对现有回归工具箱的一个有价值的补充。
2022-10-17 stat.ME
Bayesian analysis of multivariate stable distributions using one-dimensional projections
本文研究一般多元稳定分布的贝叶斯推断。我们利用Matsui和Takemura（2009）的单变量投影表示，以及分布的谱测度表示。我们提出了有效的MCMC计划进行计算时，离散近似的频谱测量，或者，我们建议，由一个正态分布。引入适当的隐变量实现MCMC。在离散近似方面，我们提出了基于特征函数的高效计算方案。
2015-07-27 stat.ME
A Bayesian Update Method for Exponential Family Projection Filters with Non-Conjugate Likelihoods
针对非共轭先验下连续-离散指数族投影滤波器的贝叶斯更新难题，提出将更新表述为 $\alpha$-Rényi 散度的黎曼优化，并在高度非高斯问题中验证有效性。
2025-08-26 math.OC stat.AP
Bayesian Monotone Regression using Gaussian Process Projection
形状约束回归分析在剂量-反应模型、环境风险评估、疾病筛查等领域有着广泛的应用。简化形状约束可以提高估计效率并避免不可信的结果。我们提出了两种新的方法，侧重于贝叶斯单调曲线和曲面估计使用高斯过程投影。第一个项目的样本从一个无约束的前，而第二个项目的样本从高斯过程后。理论发展的连续性的投影，后验一致性和收缩率。第二种方法被证明有一个经验贝叶斯理由，并导致在有限的样本具有良好的性能简单的计算。我们的投影方法可以应用于其他约束函数估计问题，包括在多变量设置。
2013-06-17 stat.ME
A Bayesian Fisher-EM algorithm for discriminative Gaussian subspace clustering
高维数据聚类已经成为现代统计学和机器学习的一个具有挑战性的课题，并有着广泛的应用。在这项工作中，我们认为强大的歧视性潜在的混合模型，我们将其扩展到贝叶斯框架。将数据建模为低维判别子空间中的高斯混合模型，在潜在组均值上引入高斯先验分布，并考虑不同的协方差结构导出了一组12个子模型.模型推理是用变分期望最大化算法完成的，而判别子空间是通过Fisher步骤最大化无监督Fisher准则来估计的。提出了一个经验贝叶斯过程的先验超参数的估计，并得出一个综合的分类似然准则选择的集群和子模型的数量。所得到的贝叶斯Fisher-期望最大化算法的性能进行了研究，在两个彻底的模拟情况下，关于两个维度以及噪声和评估其优越性相对于国家的最先进的高斯子空间聚类模型。除了标准的真实数据基准测试外，还提出了一个单图像去噪的应用程序，并显示了相关结果。这项工作附带了本文附带的FisherEM包中R软件的参考实现。
2020-12-08 stat.ME
Bayesian Population Projections for the United Nations
联合国定期发布按年龄和性别分列的世界各国人口预测。这些预测是事实上的标准，被国际组织、政府和研究人员广泛使用。与几乎所有其他人口预测一样，这些预测是使用标准的确定性队列分量预测方法进行的，不产生不确定性陈述。我们描述了一个贝叶斯方法，为大多数国家的概率人口预测，这是联合国可以使用的预测。它的核心是总生育率和出生时预期寿命的贝叶斯分层模型。我们说明的方法，并显示它如何可以扩展到解决有关联合国目前的假设生育率的长期分布的关注。该方法在R包bayesTFR，bayesLife，bayesPop和bayesDem中实现。
2014-05-19 stat.ME
Projection-pursuit Bayesian regression for symmetric matrix predictors
本文提出一种针对对称矩阵预测变量的贝叶斯多指标回归方法，利用投影寻踪结构并施加稀疏先验，通过贝叶斯回拟进行推断，在模拟和脑连接数据案例中验证了有效性。
2024-07-18 stat.ME
Bayesian Inference of Local Projections with Roughness Penalty Priors
局部预测是一个统计框架，说明在不同时间点测量的外生变量和内生变量之间的关系。在脉冲响应分析和直接预报中，常常采用局部预测。虽然局部预测由于其对错误指定的鲁棒性和灵活性而变得越来越受欢迎，但它们在统计上不如标准方法（如向量自回归）有效。在这项研究中，我们试图提高统计效率的局部预测，通过开发一个完全贝叶斯方法，可用于估计局部预测粗糙度惩罚先验。通过结合这种先验诱导的平滑性，我们可以使用连续观测中包含的信息来提高推理的统计效率。我们应用所提出的方法在美国的货币政策分析，粗糙惩罚先验成功地估计脉冲响应函数，提高预测精度的本地预测。
2019-07-13 stat.ME
Bayesian calibration and sensitivity analysis for a karst aquifer model using active subspaces
本文对新近发展起来的岩溶水文模型进行了参数研究。该研究包括一个高维贝叶斯逆问题和一个全局敏感性分析。在岩溶水文学中，我们首次采用主动子空间方法，从先验分布到后验分布，在参数空间中寻找主导贝叶斯更新的方向，以有效地降低问题的维数，提高计算效率。此外，计算出的活动子空间可以用来构建对每个单独参数的灵敏度度量，并用于构建自然模型代理。该模型由21个参数，以重现位于Kerschbaum泉补给区在奥地利Waidhofen a.d. Ybbs岩溶含水层的泉水流量的水文行为。实验的空间和时间序列数据的推理过程中收集的自来水厂在Waidhofen。我们表明，这种情况下的研究具有隐含的低维，我们运行一个调整后的马尔可夫链蒙特卡罗算法在低维子空间构建样本的后验分布。通过后推分布图对结果进行可视化和验证，后推分布图显示了由于数据中的实验噪声而导致的预测排放值的不确定性。最后，讨论提供了这些结果的Kerschbaum地区的水文解释。
2019-07-16 cs.NA math.NA stat.CO
Bayesian Probabilistic Projection of International Migration Rates
我们提出了一种方法，用于获得所有国家按年龄和性别分列的移民率的联合概率预测。所有国家的共同轨迹都受到限制，以满足全球净移民为零的要求。我们使用样本外验证来评估我们的模型，并将点预测与持久性模型中的预测迁移率进行比较，该持久性模型类似于联合国世界人口展望中使用的方法，并且还与最先进的重力模型进行比较。我们还解决了世界人口移徙比例的增长趋势与各国平均绝对移徙率之间的明显矛盾。
2013-10-26 q-bio.PE stat.AP
A gradient-free subspace-adjusting ensemble sampler for infinite-dimensional Bayesian inverse problems
在高维空间中对尖锐后验样本进行采样是一个具有挑战性的问题，特别是当似然函数的梯度不可用时。在低到中等尺寸，仿射不变的方法，一类基于集成的无梯度的方法，已发现在采样集中后验的成功。然而，系综成员的数量必须超过未知状态的维度，以便正确的分布成为目标。相反，预处理Crank-Nicolson（pCN）算法在高维采样时成功，但当后验与前验显著不同时，样本变得高度相关。在这篇文章中，我们将上述方法以两种不同的方式结合起来，试图找到一种折衷的方法。第一种方法涉及用当前集合的协方差来膨胀pCN中的建议协方差，而第二种方法在不断适应的低维子空间上执行近似仿射不变的步骤，同时在其正交补上使用pCN。
2022-02-22 cs.NA math.NA stat.CO
Bayesian Projection of Life Expectancy Accounting for the HIV/AIDS Epidemic
虽然存在预测预期寿命的概率预测方法，但很少考虑到与预期寿命有关的协变量。艾滋病毒/艾滋病的普遍流行对一个国家的预期寿命有很大的直接负面影响，但这种影响可以通过广泛使用抗逆转录病毒疗法来减轻。因此，预测方法与普遍的艾滋病毒/艾滋病流行的国家可以改善会计艾滋病毒的流行，未来的流行过程和覆盖率的ART。我们提出了一种方法，使预期寿命的概率预测到2100年，在世界上所有国家会计艾滋病毒的流行，未来的流行过程及其不确定性，成人ART覆盖率。我们扩展了Raftery等人（2013）目前的贝叶斯概率预期寿命预测方法，以考虑艾滋病毒流行率和成人ART覆盖率。我们使用样本外验证来评估我们的方法。我们发现，所提出的方法比不考虑艾滋病毒流行率或ART覆盖率的方法更好地预测普遍流行的国家的预期寿命，而对没有流行病的国家的预测基本保持不变。
2016-09-27 stat.AP
Random projections for Bayesian regression
本文讨论随机投影作为贝叶斯回归分析的数据简化技术。我们证明了充分的条件下，整个$d$维分布是近似保存随机投影下减少数据点的数量从$n$到$k\in O(\operatorname{poly}(d/\varepsilon))$的情况下$n\gg d$。在温和的假设下，我们证明，评估高斯似然函数的基础上，而不是原始数据的预测数据产生一个$(1+O(\varepsilon))$ -近似的$\ell_2$ Wasserstein距离。我们的主要结果表明，贝叶斯线性回归的后验分布近似到一个小的误差，仅依赖于其定义参数的$\varepsilon$ -分数。当使用任意高斯先验或$β$的$\mathbb{R}^d$上均匀分布的退化情况时，这是成立的。我们的经验评估涉及不同的模拟设置贝叶斯线性回归。我们的实验强调，所提出的方法是能够恢复的回归模型，以小的误差，同时大大减少了总的运行时间。
2015-11-30 cs.DS stat.CO
Covariance-Informed Subspace: an Adaptive Gradient-Free Input Dimension Reduction Method for Bayesian Inference
CEA DAM DIF（法国原子能及替代能源委员会达姆达夫研究所）；Geosciences center, Mines Paris PSL（巴黎高等矿业学校PSL地球科学中心）；CMAP, CNRS, Ecole Polytechnique（法兰西学院国家科学研究中心数学与计算物理中心）；Autorité de Radioprotection et de Sureté Nucléaire (ASNR), PSE-ENV/SCAN（核安全与辐射防护管理局）
本文提出一种适应性梯度-free 输入维度约简方法，用于高分辨率二维或三维场的贝叶斯推断，通过协方差比指标确定数据驱动方向，提升后验近似精度。
2026-04-15 cs.NA math.NA math.ST
Probabilistic projections of HIV prevalence using Bayesian melding
联合国艾滋病毒/艾滋病联合规划署（艾滋病规划署）制定了一套估计和预测资料，以便根据产前诊所观察到的流行趋势，对艾滋病毒流行情况进行国家估计和短期预测。评估其估计和预测的不确定性是重要的知情的政策决策，我们建议使用贝叶斯融合。流行率数据和关于EPP模型的输入参数的其他信息用于导出概率HIV流行率预测，即在一组未来流行率轨迹上的概率分布。我们将产前诊所患病率与人口患病率联系起来，并使用随机效应模型解释诊所之间的变异性。临床患病率的预测区间推导出检查模型。我们讨论了EPP模型的预测结果和贝叶斯融合程序的乌干达，在那里的患病率在1990年达到峰值约28%，2010年的95%的预测区间范围从2%到7%。
2007-09-04 stat.AP
Bayesian Poisson Log-normal Model with Regularized Time Structure for Mortality Projection of Multi-population
死亡率预测的改进是与保险，人口统计学和公共政策相关的各个分支的关键主题。受Lee-Carter相关模型的启发，我们提出了一个贝叶斯模型来估计和预测多人口的死亡率。该模型具有群体间信息借用和数据变异性反映的特点。它还提供了一个长期被忽视的问题的解决方案：特定于人口的时间参数的依赖结构的模型选择。通过引入Dirac尖峰函数，可以在不增加太多计算量的情况下同时实现群体时间效应的模型选择和估计.我们使用日本的人类死亡率数据库的死亡率数据来说明我们的模型所需的属性。
2020-10-09 stat.AP
Data-Free Likelihood-Informed Dimension Reduction of Bayesian Inverse Problems
识别一个低维的知情参数子空间提供了一个可行的路径，以减轻在基于采样的解决方案的大规模贝叶斯逆问题的维数挑战。本文提出了一种新的基于梯度的降维方法，该方法的信息子空间不依赖于数据。这允许在线-离线计算策略，其中在离线阶段检测问题的昂贵的低维结构，这意味着在观察数据之前。这种策略对于多个反演问题特别相关，因为可以重复使用相同的信息子空间。所提出的方法允许控制近似误差（在预期的数据）的后验分布。我们还提出了采样策略，利用知情子空间有效地绘制样本的确切后验分布。该方法成功地说明了两个数值例子：一个基于偏微分方程的反问题与高斯过程的先验和层析成像问题与泊松数据和Besov- $\mathcal{B}^2_{11}$先验。
2021-02-26 cs.NA math.NA stat.CO
Bayesian Uncertainty Quantification for Low-Rank Matrix Completion
我们考虑未知低秩矩阵$\mathbf{X}$的不确定性量化问题，给出了其条目的部分和噪声观测。这种不确定性的量化对于许多现实问题至关重要，包括图像处理，卫星成像和地震学，为验证科学结论和指导决策提供了原则性框架。然而，现有的文献主要集中在完成（即，点估计）的矩阵$\mathbf{X}$，几乎没有工作调查其不确定性。为此，我们在这项工作中提出了一个新的贝叶斯建模框架，称为BayeSMG，参数化未知的$\mathbf{X}$通过其底层的行和列子空间。这种贝叶斯子空间参数化使得能够在矩阵子空间上进行有效的后验推理，这在许多应用中代表了可解释的现象。然后可以利用这一点来改善基质回收。我们证明了BayeSMG的有效性，现有的贝叶斯矩阵恢复方法在数值实验中，图像修复，和地震传感器网络应用。
2022-03-25 stat.ME
On Projections to Linear Subspaces
TU Dortmund University（多特蒙德工业大学）
将数据投影到线性子空间上的优点是众所周知的，例如，降维子空间投影的一个关键方面，方差的最大保持（主成分分析），已经被彻底研究，随机线性投影对内在维度等测量的影响仍然是一个持续的努力。在本文中，我们探讨了探索深度的线性投影到显式子空间的不同维度和期望的方差随之而来。其结果是一个新的家庭的界限的欧氏距离和内积。我们展示了这些界限的质量，以及调查的内在维度估计的密切关系。
2022-09-26 cs.LG stat.ML
A Fast deflation Method for Sparse Principal Component Analysis via Subspace Projections
School of Mathematics and Information Sciences, Yantai University（烟台大学数学与信息科学学院）；Department of Mathematics, Shandong Normal University（山东师范大学数学学院）
在高维数据集上实现传统的稀疏主成分分析（SPCA）已成为一项耗时的工作。本文利用Household QR分解有效地构造了一系列子空间投影。利用这些子空间投影，提出了一种快速收缩的SPCA方法，称为SPCA-SP。该方法在稀疏性、正交性、解释方差、稀疏性平衡和计算成本等各种标准之间保持了良好的权衡。在基准数据集上的对比实验证实了该方法的有效性。
2019-12-06 cs.LG stat.ML
Anti-drift in electronic nose via dimensionality reduction: a discriminative subspace projection approach
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
传感器漂移是传感器和测量领域的一个众所周知的问题，并且多年来一直困扰着传感器社区。在本文中，我们提出了一种传感器漂移校正方法来处理传感器漂移问题。具体来说，我们提出了一个歧视性的子空间投影方法的传感器漂移减少电子鼻。该方法继承了子空间投影方法的优点，称为域正则化分量分析。此外，该方法考虑了源数据的标签信息，使得投影源样本的类内方差最小，同时类间方差最大.标签信息被用来避免子空间中具有不同标签的样本的重叠。两个传感器漂移数据集上的实验表明了该方法的有效性。
2018-12-14 cs.LG stat.ML
A Perturbation Bound on the Subspace Estimator from Canonical Projections
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Wisconsin Institute for Discovery（威斯康星发现研究所）
本文导出了由受噪声污染的正则投影子集得到的最优子空间估计的扰动界。这一基本结果在矩阵完备化、子空间聚类及相关问题中具有重要意义。
2022-06-28 cs.IT cs.LG math.IT
Latent Space Factorisation and Manipulation via Matrix Subspace Projection
University of Aberdeen（阿伯丁大学）；University of Sheffield（谢菲尔德大学）；University of Surrey（萨里大学）
我们解决的问题解开的潜在空间的自动编码器，以分离标记的属性信息从其他特征信息。这允许我们在保留其他信息的同时更改选定的属性。我们的方法，矩阵子空间投影，是比以前的方法更简单的潜在空间分解，例如，不需要多个鉴别器或仔细加权之间的损失函数。此外，我们的新模型可以作为插件应用于自动编码器，并在不同的领域，如图像或文本。我们展示了我们的方法的实用性，属性操作在不同领域的自动编码器训练，使用人类评估和自动化的方法。我们的新模型的生成质量（例如重建，条件生成）与许多强基线相比具有很强的竞争力。
2020-08-14 cs.LG stat.ML
Training Bayesian Neural Networks with Sparse Subspace Variational Inference
Purdue University（普渡大学）
提出首个完全稀疏的贝叶斯神经网络框架SSVI，通过交替优化稀疏子空间基选择与参数，在训练和推断全程保持高稀疏性，大幅降低训练成本并实现10-20倍模型压缩且性能损失极小。
2024-02-16 cs.LG stat.ML
Discriminant analysis based on projection onto generalized difference subspace
University of Tsukuba（筑波大学）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））；University College London（伦敦大学学院）；Royal Institute of Technology (KTH)（皇家理工学院（KTH））
本文讨论了一种新的基于数据到广义差子空间（GDS）的正交投影的判别分析方法。在我们以前的工作中，我们已经证明了GDS投影作为类子空间的准正交化，这是一种有效的基于子空间的分类器的特征提取。有趣的是，GDS投影也可以通过与Fisher判别分析（FDA）类似的机制作为判别特征提取。GDS预测和FDA之间的联系很难直接证明，因为它们的表述存在显着差异。为了避免这个困难，我们首先介绍了几何Fisher判别分析（gFDA）的基础上简化的Fisher准则。我们的简化Fisher准则是来自一个启发式的，但实际上似乎合理的原则：在大多数情况下，一类的样本平均向量的方向几乎等于类的第一个主成分向量，在主成分向量的条件下，通过应用主成分分析（PCA）计算没有数据中心。gFDA即使在少量样本下也能稳定工作，绕过了FDA的小样本问题。接下来，我们证明了gFDA等价于具有小的校正项的GDS投影。这种等价性确保了GDS投影通过gFDA从FDA继承判别能力。此外，为了提高gFDA和GDS投影的性能，我们在判别空间上对投影向量进行归一化。使用扩展的Yale B+数据库和CMU人脸数据库进行的大量实验表明，gFDA和GDS投影具有与原始FDA及其扩展相当或更好的性能。
2019-10-30 cs.CV cs.LG stat.ML
An Analysis of Random Projections in Cancelable Biometrics
SUNY Buffalo（纽约州立大学布法罗分校）；Samsung（三星）
随着对安全性的日益关注，对利用\emph{cancelable biometric}技术的高度安全的基于物理生物特征的认证系统的需求正在增加。由于可取消模板生成的问题涉及模板安全性和匹配性能之间的权衡，因此许多成功生成高质量可取消生物特征的最新算法都将随机投影作为其早期处理步骤之一。因此，本文提出了一个正式的分析，为什么随机预测是一个必不可少的步骤，在可取消的生物识别。通过正式定义数据集的\textit{Independent Subspace Structure}的概念，可以证明随机投影保留了从独立线性子空间的并集生成的数据向量的子空间结构。上的最小数量的随机向量所需的约束，这也是派生和所示的依赖于数据样本的数量，不仅在独立的子空间，但在不相交的子空间设置以及。在真实世界的人脸识别数据集的实证结果详细支持的理论分析。
2014-11-14 cs.CV cs.LG stat.ML
Low Rank Based Subspace Inference for the Laplace Approximation of Bayesian Neural Networks
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）
本文通过低秩技术验证了神经网络子空间推断的有效性，提出了一种基于拉普拉斯近似的子空间模型，并展示了其在实际应用中的优越性。
2026-04-10 cs.LG
Restricted Isometry Property of Gaussian Random Projection for Finite Set of Subspaces
Tsinghua University（清华大学）
降维在降低求解大规模问题的复杂性方面起着至关重要的作用。著名的Johnson-Lindenstrauss（JL）引理和限制性等距性质（RIP）允许在保持欧氏距离的情况下使用随机投影来降低维数，这导致了压缩感知和稀疏相关信号处理领域的繁荣。最近，稀疏模型在计算机视觉和机器学习中的成功应用越来越多地暗示，高维数据的底层结构看起来更像是子空间的联合（UoS）。本文在JL引理和压缩子空间聚类（CSC）这一新兴领域的启发下，首次研究了基于广义投影$F$-范数距离的高斯随机矩阵压缩子空间的RIP问题。我们从理论上证明，以高概率的亲和力或两个投影子空间之间的距离集中在他们的估计。当投影后的环境维数足够大时，两个子空间之间的亲和力和距离在随机投影后几乎保持不变。数值实验验证了理论工作。
2017-12-05 cs.IT cs.LG math.IT
Subspace Projection Methods for Fast Spectral Embeddings of Evolving Graphs
Department of Electrical and Computer Engineering, Michigan State University（密歇根州立大学电气与计算机工程系）；IBM Research（IBM研究院）
本文提出一种子空间投影方法，用于动态图谱的快速谱嵌入，通过降低计算和内存复杂度，提升动态图中主特征值的更新效率和下游任务的准确性。
2026-03-19 cs.LG eess.SP stat.ML
Implicit Multidimensional Projection of Local Subspaces
Shandong University（山东大学）；Peking University（北京大学）；CNIC, CAS（中国科学院计算机网络信息中心）；University of Utah（犹他大学）；University of Stuttgart（斯图加特大学）
本研究提出一种基于隐函数微分的可视化方法，通过拟合多维椭圆分析局部子空间的形状与方向，结合网页可视化工具的交互功能，借助多类基准数据集验证了其在理解多维投影对局部子空间影响方面的有效性。
2023-07-20 cs.CV cs.GR cs.LG
Learning Active Subspaces for Effective and Scalable Uncertainty Quantification in Deep Neural Networks
Brookhaven National Laboratory（布鲁克海文国家实验室）
提出构建神经网络参数低维主动子空间的新方案，通过识别对输出影响最大的参数方向，结合蒙特卡洛采样或变分推断实现有效且可扩展的贝叶斯推断，为回归任务提供可靠的预测和不确定性估计。
2023-09-06 cs.LG stat.ME stat.ML
Enhanced Random Subspace Local Projections for High-Dimensional Time Series Analysis
Department of Computer Science（计算机科学系）；National University of Computer and Emerging Sciences（国家计算机与新兴科学大学）
本文提出增强型随机子空间局部投影框架，通过改进方法提升高维时间序列预测的稳健性和准确性，减少估计器变异性并提供更可靠的有限样本推断。
2026-03-08 cs.LG
Efficient Gaussian process learning via subspace projections
本文提出了一种通过子空间投影优化高斯过程学习的方法，提升了计算效率和模型准确性。
2026-01-26 cs.LG eess.SP
CoQuant: Joint Weight-Activation Subspace Projection for Mixed-Precision LLMs
School of Internet of Things, Nanjing University of Posts and Telecommunications（南京邮电大学物联网学院）；Amazon AGI（亚马逊人工智能）
CoQuant通过联合建模权重和激活的子空间，提升混合精度LLM的量化效果，在WikiText perplexity和零样本常识推理准确率上优于现有方法。
2026-04-29 cs.LG
Analysis of Sparse Subspace Clustering: Experiments and Random Projection
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；DePaul University（德保罗大学）
聚类可以定义为将对象组合成若干组的过程，这些组的元素以某种方式彼此相似。聚类作为一种广泛应用于人脸聚类、植物分类、图像分割、文档分类等领域的技术，被认为是无监督学习中最重要的问题之一。多年来，科学家们一直在研究这个问题，并开发了不同的技术来解决这个问题，例如k-means聚类。我们分析这些技术之一：一个强大的聚类算法称为稀疏子空间聚类。我们使用这种方法演示了几个实验，然后介绍了一种新的方法，可以减少执行稀疏子空间聚类所需的计算时间。
2022-04-01 cs.LG math.OC
Wasserstein Projection Pursuit of Non-Gaussian Signals
Technical University of Munich（慕尼黑工业大学）
我们认为一般的降维问题定位在高维数据云，一个$k$维非高斯子空间的有趣的功能。我们使用投影寻踪的方法-我们搜索相互正交的单位方向，最大限度地提高2-Wasserstein距离的经验分布的数据投影沿这些方向从一个标准的高斯。生成模型下，有一个潜在的（未知的）低维非高斯子空间，我们证明严格的统计保证近似这个未知的子空间的准确性，我们的投影寻踪方法发现的方向。我们的研究结果在该制度的数据维数是可比的样本量，从而补充了最近的文献上的不可行性，通过投影追踪定位感兴趣的方向在互补制度的数据维数是远远大于样本量。
2023-02-24 cs.LG math.ST stat.ML
