Rank-based Bayesian variable selection for genome-wide transcriptomic analyses
变量选择在基于高维组学的分析中至关重要，因为假设只有一个非噪声特征的子集对数据结构有贡献在生物学上是合理的。然而，任务是特别困难的，在一个无监督的设置，和先验的特设变量选择仍然是一个非常频繁的方法，尽管有明显的缺点和缺乏可重复性。我们提出了一个贝叶斯变量选择方法，基于排名的无监督转录组分析。与经典统计方法相比，使用数据排名而不是实际的连续测量增加了结论的鲁棒性，并且将变量选择嵌入到推理任务中可以实现完全的再现性。具体来说，我们开发了一种新的扩展的贝叶斯马洛斯模型的变量选择，允许一个完整的概率分析，导致一致的量化的不确定性。仿真研究表明，所提出的方法在各种情况下的通用性和鲁棒性，以及它的优越性相对于几个竞争对手时，不同的数据维度或数据生成过程。我们使用这种新方法来分析来自卵巢癌患者的全基因组RNAseq基因表达数据：以完全无监督的方式正确检测到影响癌症发展的几个基因，显示了该方法在癌症基因组学特征发现方面的有用性。此外，进行不确定性量化的可能性在随后的生物学研究中起着关键作用。
2022-03-20 stat.ME
A Bayesian Approach for Noisy Matrix Completion: Optimal Rate under General Sampling Distribution
贝叶斯方法的低秩矩阵完成噪声已被证明是非常有效的计算。虽然惩罚最小化方法的行为是很好地理解从理论和计算的角度来看，在这个问题上，贝叶斯估计的理论最优性尚未探讨。本文提出了一般抽样分布下矩阵完备化的贝叶斯估计。我们还提供了一个预言不等式的估计。这个不等式证明，无论矩阵的秩估计，我们的估计达到最小最大最优的收敛速率（对数因子）。最后，我们进行了一个简短的模拟研究。
2015-01-21 math.ST stat.TH
A Bayesian Approach to Sparse plus Low rank Network Identification
研究了用稀疏动态贝叶斯网络模型对多元时间序列进行建模的问题。这种结构转化为稀疏加低秩模型。在本文中，我们提出了一个高斯回归方法来识别这样的模型。
2015-09-26 math.OC stat.ML
Online Low-Rank Subspace Learning from Incomplete Data: A Bayesian View
在过去的几十年里，提取高维信号经常驻留的底层低维空间一直是信号处理和机器学习文献中众多算法的中心。与此同时，由于各种原因，使用不完整（部分观察到的）大规模数据集最近已经司空见惯。这个所谓的{ \it大数据时代}，我们目前生活的要求设计在线子空间学习算法，可以适当地处理不完整的数据。他们设想的目标是{ \it递归地}通过顺序地处理流数据来估计未知子空间，从而降低计算复杂度，同时避免将整个数据集存储在存储器中的需要。本文提出了一种基于部分观测值的在线变分贝叶斯子空间学习算法。考虑到子空间的真实秩的未知性，通常在实践中遇到，低秩是明确施加在所寻求的子空间数据矩阵，通过利用稀疏贝叶斯学习原理。此外，稀疏性，{ \it同时}低秩，有利于子空间矩阵的复杂的层次贝叶斯方案，采用。在这样做时，所提出的算法变得善于处理应用，由此底层子空间也可以是稀疏的，例如，稀疏字典学习问题。如图所示，在对模拟和真实数据进行的各种实验中，新的子空间跟踪方案在估计精度方面优于其最先进的同行。
2016-02-12 stat.ML
Learning Bayesian Networks with Low Rank Conditional Probability Tables
Purdue University（普渡大学）
在本文中，我们提供了一种方法来学习贝叶斯网络的有向结构使用数据。通过对黑盒模型进行条件概率查询来访问数据。我们引入了一个简单的概念表示的条件概率表的节点在贝叶斯网络中，我们称之为“低秩”。我们将这一概念连接到实值集函数的傅立叶变换，并提出了一种方法，该方法使用很少的查询来学习“低秩”贝叶斯网络的精确定向结构。我们正式证明，我们的方法正确地恢复真正的有向结构，运行在多项式时间，只需要多项式样本的节点数。如果我们能够获得一些观测数据，我们还可以进一步提高效率。
2019-05-29 cs.LG stat.ML
Bayesian Tensorized Neural Networks with Automatic Rank Selection
University of California, Santa Barbara（加州大学圣巴巴拉分校）
张量分解是压缩过参数化神经网络并使其能够部署在资源受限的硬件平台上的有效方法。然而，在训练过程中直接应用张量压缩是一项具有挑战性的任务，因为很难选择合适的张量秩。为了实现这一目标，本文提出了一种贝叶斯张量化神经网络。我们的贝叶斯方法执行自动模型压缩通过自适应张量秩的确定。我们还提出了后验密度计算和最大后验（MAP）估计的方法，我们的张量神经网络的端到端的训练。我们提供了一个完全连接的神经网络，一个CNN和一个残差神经网络的实验验证，我们的工作产生$7.4\times$ $137\times$更紧凑的神经网络直接从训练。
2019-05-24 cs.LG stat.ML
Bayesian Low Rank Tensor Ring Model for Image Completion
低秩张量环模型是一种很好的图像补齐方法，它可以恢复数据采集和转换过程中丢失的条目。最近提出的基于张量环（TR）的完备化算法通常通过预先定义秩的交替最小二乘方法来解决低秩优化问题，当未知秩设置得太大且只有少数测量可用时，这可能容易导致过拟合。本文通过自动学习数据的低秩结构，提出了一种贝叶斯低秩张量环模型用于图像补全。提出了一种适用于低秩张量环分解的乘性相互作用模型，通过假设核心因子的项服从Student- T分布，使核心因子具有稀疏性.与现有方法相比，该方法无需参数调整，TR秩可以通过贝叶斯推断得到。数值实验，包括合成数据，不同大小的彩色图像和YaleFace数据集B相对于一个姿势，表明所提出的方法优于国家的最先进的，特别是在恢复精度方面。
2020-06-29 cs.LG cs.MM stat.ML
PAC-Bayesian High Dimensional Bipartite Ranking
本文研究了高维环境下的经典统计学习任务--二分排序问题。我们提出了一个基于PAC-Bayesian方法的评分和排名策略。我们考虑非线性加性评分函数，我们推导出非渐近风险界下的稀疏性假设。特别地，在保证金条件下概率保持的预言不等式评估了我们的程序的性能，并证明了它的极大极小最优性。提出了一种MCMC风格的算法来实现我们的方法，以及它在合成和现实数据集上的行为。
2019-05-16 math.ST stat.ML stat.TH
Low-Rank Phase Retrieval via Variational Bayesian Learning
University of Electronic Science and Technology of China（电子科技大学）；China Academy of Engineering Physics（中国工程物理研究院）
在本文中，我们考虑的问题，低秩相位恢复的目标是估计一个复杂的低秩矩阵的幅度只有测量。我们提出了一种用于低秩相位恢复的分层先验模型，在该模型中，将高斯-威沙特分层先验放置在底层低秩矩阵上，以促进矩阵的低秩性。基于所提出的分层模型，变分期望最大化（EM）算法的发展。所提出的方法是不敏感的初始化点的选择，并与随机初始化。仿真结果验证了该算法的有效性。
2018-11-05 cs.LG eess.SP stat.ML
Bayesian inference for bivariate ranks
Université du Québec à Montréal（蒙特利尔魁北克大学）；Université de Montréal（蒙特利尔大学）；Université catholique de Louvain（天主教鲁汶大学）
提出了一种基于排名的推荐系统，其中专家对一组对象的排名和用户对这些对象的子集的排名相结合，以预测用户对所有对象的排名。排名被认为是由潜在的连续变量对应的专家和用户的对象分配的等级诱导。专家和用户的等级之间的依赖关系是由一个Copula在一些参数的家庭。给定copula参数的先验分布，在专家完全排序和用户不完全排序的条件下，通过用户完全排序的后验预测分布模型预测用户的完全排序.提出了各种马尔可夫链蒙特卡罗算法来近似预测分布或仅近似其模式。通过对Farlie-Gumbel-Morgenstern Copula函数族的分析，得到了精确的预测分布，为算法的逼近精度提供了一个基准。该方法应用于MovieLens 100 k数据集，专家和用户的等级之间具有高斯copula建模依赖性。
2018-02-09 cs.LG stat.ML
Training-Free Bayesianization for Low-Rank Adapters of Large Language Models
Rutgers University（新泽西罗格斯大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Red Hat AI Innovation（红帽AI创新）
本文提出免训练贝叶斯化（TFB）框架，无需额外训练即可将低秩适配器转为贝叶斯形式，通过搜索最优方差实现不确定性估计与泛化提升。
2025-09-26 cs.AI cs.CL cs.LG
Constrained Bayesian Inference for Low Rank Multitask Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一种新的方法约束贝叶斯推理。与目前的方法不同，我们的方法不需要凸的约束集。我们减少了约束变分推理的可行的密度集的参数优化，并提出了这样的问题的一般配方。我们提出的约束贝叶斯推理方法的多任务学习的权重矩阵的排名约束。此外，约束参数估计被应用于恢复由先验精度矩阵编码的稀疏条件独立结构。我们的方法是由高维功能神经成像，一个域的高维和少量的例子需要使用的约束，以确保有意义和有效的模型的反向推理的动机。对于这个应用程序，我们提出了一个模型，联合学习权重矩阵和不同任务之间的先验逆协方差结构。我们目前的实验验证表明，所提出的方法优于强基线模型的预测性能和结构恢复。
2013-09-26 cs.LG stat.ML
Non-Gaussian Discriminative Factor Models via the Max-Margin Rank-Likelihood
我们考虑一般非高斯数据的判别因子分析问题。提出了一种基于数据秩的贝叶斯模型。我们首先引入秩似然的新版本{ \em max-margin}。一个判别因素模型，然后开发，集成的最大利润率秩似然和（线性）贝叶斯支持向量机，这也是建立在最大利润率原则。判别因子模型进一步扩展到{ \em非线性}的情况下，通过混合的局部线性分类器，通过Dirichlet过程。完全局部共轭的模型产生有效的推理与马尔可夫链蒙特卡罗和变分贝叶斯方法。在基准数据和真实数据上的大量实验证明了该模型的优越性能及其在计算生物学中的应用潜力。
2015-05-19 stat.ML
Simulation comparisons between Bayesian and de-biased estimators in low-rank matrix completion
Norwegian University of Science and Technology（挪威科技大学）
本文通过模拟比较了低秩矩阵补全中贝叶斯估计与去偏估计的性能，发现两者相当，但贝叶斯方法更稳定且在小样本下更优，并指出去偏置信区间覆盖率较低，需进一步理论研究。
2023-09-01 cs.LG stat.ML
A Bayesian Interpretation of Adaptive Low-Rank Adaptation
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本研究针对AdaLoRA的敏感度重要性评分问题，提出结合SNR指标与IVON优化器的贝叶斯版自适应低秩适配方法，性能更优且速度更快，还揭示了两类指标的关联及参数重要性的主导因素。
2025-01-11 cs.CL cs.LG stat.ML
Bayesian CP Factorization of Incomplete Tensors with Automatic Rank Determination
RIKEN Brain Science Institute（理化学研究所脑科学综合研究中心）；Shanghai Jiao Tong University（上海交通大学）
不完全数据的CANDECOMP/PARAFAC（CP）张量因子分解是一种通过显式捕获多线性潜在因子来实现张量完备化的强大技术。现有的CP算法需要手动指定张量秩，然而，张量秩的确定仍然是一个具有挑战性的问题，特别是对于CP秩。此外，现有的方法没有考虑潜在因素的不确定性信息，以及缺失的条目。为了解决这些问题，我们使用分层概率模型来制定CP因子分解，并通过在多个潜在因素上引入稀疏诱导先验和在所有超参数上引入适当的超先验来采用完全贝叶斯处理，从而实现自动排名确定。为了学习模型，我们开发了一个有效的确定性贝叶斯推理算法，该算法随数据大小线性扩展。我们的方法的特点是作为一个调整参数的方法，它可以有效地推断潜在的多线性因素与低秩约束，同时也提供了预测分布缺失的条目。对合成数据的大量模拟说明了我们的方法的内在能力，以恢复CP秩的地面真相，并防止过拟合问题，即使大量的条目丢失。此外，从现实世界的应用，包括图像修补和面部图像合成的结果表明，我们的方法优于最先进的方法，张量因式分解和张量完成方面的预测性能。
2014-10-09 cs.CV cs.LG stat.ML
Bayesian Robust Tensor Ring Model for Incomplete Multiway Data
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
鲁棒张量完备化（RTC）的目的是恢复一个低秩张量从其不完整的观察与离群腐败。最近提出的张量环（TR）模型已被证明在解决RTC问题的优越性。然而，现有的方法要么需要预先分配的TR秩，要么积极追求最小TR秩，从而经常导致在存在噪声的情况下有偏的解决方案。本文提出了一种贝叶斯鲁棒张量环分解（BRTR）方法，该方法可以避免对TR秩和惩罚参数的严格选择，从而更精确地求解RTC问题。提出了一种变分贝叶斯算法来推断后验概率分布。在学习过程中，BRTR可以修剪掉具有边缘分量的核心张量切片，从而实现自动TR秩检测。大量的实验表明，BRTR可以实现显着提高性能比其他国家的最先进的方法。
2023-02-15 cs.AI cs.LG stat.ML
Bayesian Decision Process for Cost-Efficient Dynamic Ranking via Crowdsourcing
New York University（纽约大学）；University of Iowa（爱荷华大学）
基于两两比较的排序聚合有着广泛的应用。虽然相当多的研究已经致力于发展的排名聚合算法，一个基本的问题是如何有效地收集大量的高质量的成对比较的排名的目的。由于许多众包服务的出现，一群工人经常被雇佣来进行成对比较，每对他们比较一个小的金钱奖励。由于不同的工作者具有不同的可靠性水平，并且不同的对具有不同的模糊性水平，因此希望明智地分配有限的预算用于在项目和工作者对之间进行比较，使得可以从比较结果准确地推断全局排名。为此，我们将众包排名中的主动抽样问题建模为贝叶斯马尔可夫决策过程，该过程在预算约束下动态选择项目对和工人以提高排名精度。我们进一步开发了一个计算效率高的采样政策的基础上的知识梯度以及矩匹配技术的后验近似。在合成数据和真实数据上的实验结果表明，该策略以较低的标记代价实现了较高的排序精度。
2016-12-21 cs.LG stat.ME stat.ML
Interpretable Bayesian Tensor Network Kernel Machines with Automatic Rank and Feature Selection
Delft Center for Systems and Control（德雷夫特系统与控制中心）；Delft University of Technology（德雷夫特理工大学）
提出贝叶斯张量网络核机框架，通过诱导稀疏的分层先验自动推断张量秩和特征维度，在无额外计算成本下实现不确定性量化与特征选择，提升模型可解释性。
2025-07-15 cs.LG stat.ML
BPR: Bayesian Personalized Ranking from Implicit Feedback
University of Hildesheim（希尔德斯海姆大学）
项目推荐是预测一组项目（例如网站，电影，产品）的个性化排名的任务。在本文中，我们调查了最常见的情况下，隐式反馈（例如，点击，购买）。基于隐式反馈的项目推荐方法有很多，如矩阵分解（MF）和自适应knearest-neighbor（kNN）。尽管这些方法是为个性化排名的项目预测任务而设计的，但它们都没有直接针对排名进行优化。在本文中，我们提出了一个通用的优化标准BPR-Opt的个性化排名，这是来自贝叶斯分析的问题的最大后验估计。我们还提供了一个通用的学习算法优化模型的BPR-Opt。学习方法是基于自举抽样的随机梯度下降。我们展示了如何将我们的方法应用于两个最先进的推荐模型：矩阵分解和自适应kNN。我们的实验表明，对于个性化排名的任务，我们的优化方法优于MF和kNN的标准学习技术。结果表明，优化模型的正确标准的重要性。
2012-05-09 cs.IR cs.LG stat.ML
Joint Bayesian Parameter and Model Order Estimation for Low-Rank Probability Mass Tensors
Communications Research Laboratory, Ilmenau University of Technology（伊门瑙技术大学通讯研究实验室）；School of Electrical and Computer Engineering, Tel Aviv University（特拉维夫大学电气与计算机工程学院）
本文针对从观测数据估计联合PMF张量低秩分量及推断其秩的问题，提出贝叶斯框架，指定模型并采用先验分布，基于变分推断得出确定性解，经实验验证该方法在多方面具有优势。
2026-07-10 cs.LG eess.SP stat.ML
Rank regularization and Bayesian inference for tensor completion and extrapolation
University of Minnesota（明尼苏达大学）
本文提出了一种新的正则化的PARAFAC分解因子捕获张量的秩，作为完成的三路数据阵列的缺失条目的关键使能器。在贝叶斯框架中，张量完成方法结合了先验信息，以增强其平滑和预测能力。这种概率方法可以自然地适应数据分布的一般模型，从而适应各种拟合标准，从而在最大后验意义上产生最佳估计。特别是，两个算法的高斯分布和泊松分布的数据，最小化秩正则化最小二乘误差和Kullback-Leibler发散，分别设计。所提出的技术是能够恢复“地面实况”的张量秩测试时，合成数据，并完成脑成像和酵母基因表达数据集分别与50%和15%的缺失条目，导致在-10 dB和-15 dB的恢复误差。
2013-01-31 cs.IT cs.LG math.IT
BLoB: Bayesian Low-Rank Adaptation by Backpropagation for Large Language Models
Rutgers University（罗格斯大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对LLMs在有限数据微调时过度自信的问题，提出BLoB算法，通过反向传播在整个微调过程中持续联合调整参数的均值和协方差，有效提升了模型的泛化能力和不确定性估计。
2025-01-27 cs.AI cs.CL cs.LG
Quantile-Scaled Bayesian Optimization Using Rank-Only Feedback
African Institute for Mathematical Sciences, Ghana（非洲数学科学研究所，加纳）
针对标准贝叶斯优化依赖精确目标值、不适用于仅排序反馈场景的问题，提出分位数缩放贝叶斯优化框架，将排序转换为异方差高斯目标以适配标准BO流程，实验证明其在合成基准上显著优于随机搜索，可应用于偏好学习等场景。
2025-09-28 cs.LG math.ST stat.ML
The Bayesian Low-Rank Determinantal Point Process Mixture Model
Google DeepMind（谷歌DeepMind）；Microsoft（微软）
确定性点过程（DPPs）是一个优雅的模型，用于编码基集（如商品目录）的子集（如购物篮）上的概率。它们对许多机器学习任务都很有用，包括产品推荐。DPP由半正定核矩阵参数化。最近的工作表明，使用该内核的低秩因子分解提供了显着的可扩展性改进，为在大规模数据集上进行训练和计算在线推荐打开了大门，这两者对于使用满秩内核的标准DPP模型都是不可行的。在本文中，我们提出了一个低秩DPP混合模型，使我们能够表示潜在的结构中存在的观察到的子集作为一个混合物的一些组件低秩DPP，其中每个组件DPP负责代表一部分的观察到的数据。混合模型使我们能够有效地解决低秩DPP模型的容量约束。我们提出了一个有效的和可扩展的马尔可夫链蒙特卡罗（MCMC）学习算法，我们的模型，使用吉布斯抽样和随机梯度哈密顿蒙特卡罗（SGHMC）。使用几个真实世界的产品推荐数据集的评估，我们表明，我们的低秩DPP混合模型提供了更好的预测性能比可能与一个单一的低秩或全秩DPP，并显着更好的性能比其他几个竞争的推荐方法在许多情况下。
2016-08-16 cs.LG stat.ML
Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters
School of Electrical and Computer Engineering, University of Georgia（佐治亚大学电气与计算机工程学院）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
本文提出PoLAR-VBLL框架，通过正交化低秩适配器与变分推断结合，实现大规模语言模型的可扩展贝叶斯微调，提升不确定性量化能力。
2026-04-03 cs.LG stat.ML
Convergence rate of Bayesian tensor estimator: Optimal rate without restricted strong convexity
Tokyo Institute of Technology（东京工业大学）
本文研究了贝叶斯低秩张量估计的统计收敛速度。我们的问题设置是回归问题，其中估计数据的张量结构。这种问题设置在许多实际应用中出现，例如协同过滤、多任务学习和时空数据分析。的收敛速度进行了分析，在样本内和样本外的预测精度。它示出了一个接近最优的速率实现没有任何强凸性的观察。此外，我们表明，该方法具有自适应的真实张量的未知秩，也就是说，接近最优的速度取决于真实的秩，即使它是不知道的先验。
2014-08-13 cs.LG stat.ML
Towards Compact Neural Networks via End-to-End Training: A Bayesian Tensor Approach with Automatic Rank Determination
University of California Santa Barbara（加州大学圣巴巴拉分校）；Department of Mathematics, University of California Santa Barbara（加州大学圣巴巴拉分校数学系）；Department of Electrical and Computer Engineering, University of California Santa Barbara（加州大学圣巴巴拉分校电气与计算机工程系）；Facebook AI Systems Hardware/Software Co-design（Facebook人工智能系统硬件/软件协同设计）
虽然后训练模型压缩可以大大降低深度神经网络的推理成本，但未压缩的训练仍然会消耗大量的硬件资源、运行时间和能量。非常希望以低存储器和低计算成本从头开始直接训练紧凑的神经网络。低秩张量分解是降低大规模神经网络存储和计算需求的有效方法之一。然而，直接训练一个低秩张量化神经网络是一个非常具有挑战性的任务，因为很难确定一个合适的张量秩{ \it a priori}，它控制着训练过程中模型的复杂度和压缩比。本文提出了一种新的端到端的框架低秩张量训练的神经网络。我们首先开发了一个灵活的贝叶斯模型，可以处理各种低秩张量格式（例如，CP、Tucker、张量训练和张量-训练矩阵），其在训练中压缩神经网络参数。该模型可以自动确定非线性正演模型中张量的秩，这是现有贝叶斯张量方法无法实现的。我们进一步开发了一个可扩展的随机变分推理求解器来估计训练中大规模问题的后验密度。我们的工作为端到端张量化训练提供了第一个通用的秩自适应框架。我们对各种神经网络架构的数值结果表明，在训练过程中，参数的数量级减少和精度损失很小（甚至更好的精度）。具体来说，在具有超过$4.2\times 10^9$模型参数的非常大的深度学习推荐系统上，我们的方法可以在训练过程中自动将变量减少到只有$1.6\times 10^5$（即，$2.6\times 10^4$倍），同时达到几乎相同的精度。
2021-10-01 cs.LG stat.ML
LR-GLM: High-Dimensional Bayesian Inference Using Low-Rank Data Approximations
Massachusetts Institute of Technology（麻省理工学院）
由于现代数据收集的便利性，应用统计学家通常可以获得大量的协变量，他们希望将这些协变量与一些观察到的结果联系起来。广义线性模型（GLM）为这种分析提供了一个特别可解释的框架。在这些高维问题中，协变量的数量通常相对于观测值的数量很大，因此我们面临着非平凡的推理不确定性;贝叶斯方法允许对这种不确定性进行一致量化。不幸的是，现有的GLM中的贝叶斯推断方法需要运行时间在参数维度上大致为三次方，因此仅限于具有至多数万个参数的设置。我们建议减少时间和内存成本与低秩近似的数据的方法，我们称之为LR-GLM。当使用拉普拉斯近似或马尔可夫链蒙特卡罗，LR-GLM提供了一个完整的贝叶斯后验近似，并承认运行时间减少了一个完整的参数维度的因素。我们严格建立我们的近似质量，并显示如何选择秩允许可调的计算统计权衡。实验结果支持了我们的理论，并证明了LR-GLM在实际大规模数据集上的有效性。
2019-05-17 cs.LG stat.CO stat.ME
BoRA: Bayesian Hierarchical Low-Rank Adaption for Multi-Task Large Language Models
University of Oslo（奥斯陆大学）；Schibsted（谢布斯泰德公司）
提出贝叶斯分层低秩适配BoRA，通过全局分层先验实现多任务信息共享与任务专业化，实验表明其困惑度更低、跨任务泛化更好。
2025-01-07 cs.CL cs.LG stat.ML
Efficient and Scalable Bayesian Neural Nets with Rank-1 Factors
Google Brain（谷歌大脑）；Duke University（杜克大学）；University of Toronto（多伦多大学）；University of California, San Diego（加州大学圣迭戈分校）
贝叶斯神经网络（BNN）在提高现代深度学习的鲁棒性和不确定性量化方面取得了可喜的成功。然而，它们通常在规模和参数效率方面与欠拟合作斗争。另一方面，深度集成已经成为不确定性量化的替代方案，虽然在某些问题上优于BNN，但也存在效率问题。目前尚不清楚如何结合这两种方法的优势并解决其共同问题。为了解决这一挑战，我们提出了一个秩1参数化的BNN，其中每个权重矩阵只涉及一个秩1子空间上的分布。我们还重新审视了使用混合近似后验来捕获多个模式，与典型的混合不同，这种方法允许显着较小的内存增加（例如，对于尺寸10的ResNet-50混合物仅增加0.4%）。我们进行了系统的实证研究的先验，变分后验的选择，并提高培训的方法。对于ImageNet上的ResNet-50，CIFAR-10/100上的Wide ResNet 28-10和MIMIC-III上的RNN，rank-1 BNN在测试集和分布外变量的对数似然，准确性和校准方面实现了最先进的性能。
2020-08-14 cs.LG stat.ML
BOtied: Multi-objective Bayesian optimization with tied multivariate ranks
Prescient Design（普雷赛特设计公司）；Genentech（基因泰克公司）；New York University（纽约大学）；Center for Data Science（数据科学中心）
本文提出BOtied，利用非支配解与联合CDF极端分位数的联系构建符合帕累托的采集函数，并通过copula实现高效扩展，在多目标贝叶斯优化中优于现有方法。
2024-06-07 cs.LG stat.ML
Bayesian and regularization approaches to multivariable linear system identification: the role of rank penalties
University of Padova（帕多瓦大学）
本文提出一种基于ℓ2正则化和秩惩罚的冲击响应估计器，用于处理多输入多输出系统中输入输出通道的耦合问题，通过优化边际似然估计超参数，实现闭式解。
2014-09-29 cs.LG cs.SY eess.SY
Variational Bayesian Inference for Robust Streaming Tensor Factorization and Completion
Department of Mathematics, UC Santa Barbara（加州大学圣巴巴拉分校数学系）；Department of ECE, UC Santa Barbara（加州大学圣巴巴拉分校电气工程与计算机科学系）
流张量分解是一个强大的工具，用于处理互联网网络，推荐系统和图像/视频数据分析中的大容量和多路时态数据。现有的流式张量分解算法依赖于最小二乘数据拟合，并且它们不具有用于张量秩确定的机制。这使得它们容易受到离群值的影响，并且容易过度拟合。本文提出了一种贝叶斯鲁棒流张量分解模型，用于识别稀疏离群点，自动确定底层张量秩，精确拟合低秩结构。我们在Matlab中实现了我们的模型，并将其与动态MRI和互联网流量生成的张量数据集上的现有算法进行了比较。
2018-12-31 cs.LG eess.SP stat.ML
A Bayesian Vertical Federated Learning Framework for Multivariate Reduced-Rank High-Dimensional Regression
Texas A&M University（德克萨斯农工大学）
提出BayesVFLReg，一种用于多元高维降秩回归的贝叶斯纵向联邦学习框架，通过随机草图保护隐私，实现精确系数估计与特征选择，并具有理论保证和实证有效性。
2026-09-29 cs.LG stat.CO stat.ML
An Approximate Bayesian Long Short-Term Memory Algorithm for Outlier Detection
University of South Carolina（南卡罗来纳大学）
采用梯度下降和反向传播训练的长短期记忆网络在各种应用中获得了巨大的成功。然而，网络权重的点估计容易出现过拟合问题，并且缺乏与估计相关的重要不确定性信息。然而，精确贝叶斯神经网络方法是棘手的，不适用于现实世界的应用。在这项研究中，我们提出了一个近似估计的权重的不确定性，使用Entrance卡尔曼滤波器，这是很容易扩展到大量的权重。此外，我们优化的协方差的噪声分布在合奏更新步骤中使用最大似然估计。为了评估所提出的算法，我们将其应用于从Twitter平台检索的五个真实事件中的离群值检测。
2019-06-04 cs.LG stat.ML
Meta-Learning at Scale for Large Language Models via Low-Rank Amortized Bayesian Meta-Learning
本文提出ABMLL方法，通过低秩放大贝叶斯元学习实现大规模语言模型对多分布的适应，提升跨数据集泛化能力，并在CrossFit和Unified-QA数据集上优于现有方法。
2026-04-01 cs.AI cs.LG stat.ML
Rapid Bayesian optimisation for synthesis of short polymer fiber materials
新材料合成工艺的发现涉及到工艺设计、操作和材料性能等诸多方面的决策。实验是至关重要的，但随着复杂性的增加，使用传统的组合方法探索变量可能变得不切实际。我们描述了一种迭代方法，它使用机器学习来优化过程开发，将多个定性和定量目标。我们展示了一种新的流体加工平台的方法，用于合成短聚合物纤维，并显示了如何合成过程可以有效地实现材料和工艺目标。
2018-02-16 physics.comp-ph stat.ML
Low-rank Bayesian matrix completion via geodesic Hamiltonian Monte Carlo on Stiefel manifolds
School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学院）；Department of Aerospace Engineering, University of Michigan（密歇根大学航空航天工程系）
本文提出基于 SVD 先验与 Stiefel 流形测地线 HMC 的低秩贝叶斯矩阵补全方法，支持一般似然并在蛋白质与 MovieLens 基准上提升采样和预测性能。
2024-10-27 cs.LG cs.NA math.NA
A Bayesian Long Short-Term Memory Model for Value at Risk and Expected Shortfall Joint Forecasting
The University of Sydney（悉尼大学）
在险价值（Value-at-Risk，简称VaR）和预期缺口（ExpectedShortfall，简称ES）被广泛应用于金融领域来度量市场风险和管理极端的市场波动。最近分位数得分函数和非对称拉普拉斯密度之间的联系，导致了一个灵活的似然为基础的框架，联合建模的风险值和ES。在金融应用中，能够捕获这两个量的潜在联合动态是非常重要的。我们通过开发一个基于非对称拉普拉斯准似然的混合模型来解决这个问题，该模型采用了机器学习的长短期记忆（LSTM）时间序列建模技术，以有效地捕捉VaR和ES的潜在动态。在LSTM-AL模型中，采用自适应马尔可夫链蒙特卡罗（MCMC）算法进行贝叶斯推断。实证结果表明，所提出的LSTM-AL模型可以提高风险价值和ES预测精度的一系列成熟的竞争模型。
2021-05-13 cs.LG q-fin.RM stat.ML
Discriminative calibration: Check Bayesian computation from simulations and flexible classifier
Flatiron Institute（熨斗研究所）；University of Massachusetts（马萨诸塞大学）
本文提出判别式校准方法，用灵活分类器替代 SBC 秩检验，从数据中学习检验统计量，以获得更高统计功效和可解释的误校准散度度量，适用于无似然推断及 MCMC、变分推断等贝叶斯计算方法。
2023-10-27 cs.LG stat.CO stat.ML
Incremental Bayesian tensor learning for structural monitoring data imputation and response forecasting
Northeastern University（东北大学）；McGill University（麦吉尔大学）；MIT（麻省理工学院）
由于传感器故障引起的传感不连续性，缺失传感器数据填补在结构健康监测（SHM）领域中普遍存在。为了解决这个基本问题，本文提出了一种增量贝叶斯张量学习方法，用于SHM中时空缺失数据的重建和结构响应的预测。特别是，首先构建时空张量，然后进行贝叶斯张量因子分解，提取潜在的功能缺失数据填补。为了使结构响应预测的基础上不完整的传感数据，张量分解进一步集成与向量自回归增量学习计划。所提出的方法的性能进行了验证连续的现场传感数据（包括应变和温度记录）的混凝土桥梁，应变时间历程是高度相关的温度记录的假设的基础上。结果表明，所提出的概率张量学习方法是准确的和强大的，即使在存在较大的随机缺失率，结构化缺失和它们的组合。秩的选择的插补和预测性能的影响进行了研究。结果表明，对于随机缺失，秩越高，估计精度越高;对于结构性缺失，秩越低，估计精度越高。
2020-07-17 cs.LG cs.NA math.NA
