Multi-Variable Stellar Parameter Estimation Using Residual Multitask Neural Networks
Escola Politécnica, Universidade de São Paulo, SP（圣保罗大学理工学院）
提出一种端到端流水线，利用带残差块的全连接多任务神经网络，通过贝叶斯优化调参，从SDSS光谱中估计有效温度、金属丰度和表面重力，在低复杂度下达到1%-3%的归一化误差。
2026-06-15 astro-ph.IM cs.LG
Multivariate Information Bottleneck
Hebrew University（希伯来大学）
信息瓶颈方法是一种无监督的非参数数据组织技术。给定一个联合分布P（A，B），该方法构造一个新的变量T，该变量T提取关于B的信息的A值上的分区或聚类。信息瓶颈已经应用于文档分类、基因表达、神经编码和频谱分析。在本文中，我们介绍了信息瓶颈方法多元扩展的一般原则框架。这允许我们考虑相互关联的数据分区的多个系统。我们的方法利用贝叶斯网络指定系统的集群和每个捕获的信息。我们表明，这种结构提供了有关瓶颈变化的见解，使我们能够表征这些变化的解决方案。我们还提出了一个一般的框架，迭代算法构造的解决方案，并将其应用到几个例子。
2013-01-10 cs.AI cs.LG stat.ML
Constrained Bayesian Inference for Low Rank Multitask Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一种新的方法约束贝叶斯推理。与目前的方法不同，我们的方法不需要凸的约束集。我们减少了约束变分推理的可行的密度集的参数优化，并提出了这样的问题的一般配方。我们提出的约束贝叶斯推理方法的多任务学习的权重矩阵的排名约束。此外，约束参数估计被应用于恢复由先验精度矩阵编码的稀疏条件独立结构。我们的方法是由高维功能神经成像，一个域的高维和少量的例子需要使用的约束，以确保有意义和有效的模型的反向推理的动机。对于这个应用程序，我们提出了一个模型，联合学习权重矩阵和不同任务之间的先验逆协方差结构。我们目前的实验验证表明，所提出的方法优于强基线模型的预测性能和结构恢复。
2013-09-26 cs.LG stat.ML
Learning What to Evaluate: Correlation-Aware Decoupling for Multiobjective Bayesian Optimization
Pennsylvania State University（宾夕法尼亚州立大学）
本研究提出一种相关性感知的解耦多目标贝叶斯优化方法，利用多任务高斯过程联合建模并选择最优子集评估，在理论上保证一致性并实证超越现有基线。
2026-09-29 cs.LG stat.ML
Accounting for Variations in Speech Emotion Recognition with Nonparametric Hierarchical Neural Network
University of Michigan（密歇根大学）
近年来，基于深度学习的语音情感识别模型已经超过了经典的机器学习模型。以前，神经网络设计，如多任务学习，已经考虑到由于人口统计和上下文因素引起的情感表达的变化。然而，现有的模型面临一些限制：1）它们依赖于域的明确定义（例如，性别、噪声条件等）。和领域标签的可用性; 2）他们经常尝试学习领域不变的特征，而情感表达可以是领域特定的。在本研究中，我们提出了非参数分层神经网络（NHNN），一个轻量级的分层神经网络模型的基础上贝叶斯非参数聚类。与多任务学习方法相比，该模型不需要域/任务标签。在我们的实验中，NHNN模型在语料库内和跨语料库测试中通常优于具有相似复杂性水平的模型和最先进的模型。通过聚类分析，我们表明，NHNN模型能够学习特定于组的特征，并弥合组之间的性能差距。
2021-09-09 cs.AI cs.HC cs.LG
On the relationship between multitask neural networks and multitask Gaussian Processes
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
尽管多任务深度神经网络（MTDNN）的有效性，但对MTDNN中不同任务之间如何共享信息的理论理解有限。在这项工作中，我们建立了一个正式的MTDNN与无限宽的隐藏层和多任务高斯过程（GP）之间的连接。我们推导出对应于单层和深层多任务贝叶斯神经网络（MTBNN）的多任务GP内核，并表明不同任务之间的信息共享主要是由于MTBNN的最后一层权重和共享超参数之间的相关性，这与流行的假设相反，即信息共享是因为共享的中间层权重。我们的建设，使使用多任务GP进行有效的贝叶斯推理的等效MTDNN无限宽的隐藏层。之前关于深度神经网络和单个任务设置的GP之间的连接的工作可以被视为我们构建的特殊情况。我们还提出了一个自适应多任务神经网络架构，对应于一个多任务GP更灵活的内核，如线性模型的协区域化（LMC）和交叉协区域化（CC）内核。我们提供了实验结果，以进一步说明这些想法的合成和真实的数据集。
2019-12-12 cs.LG stat.ML
A Knowledge Acquisition Tool for Bayesian-Network Troubleshooters
Hewlett-Packard Customer Support R&D（惠普客户支持研发部）；Hewlett-Packard Company（惠普公司）
本文描述了一种基于贝叶斯网络的智能自动推理机领域知识获取工具。使用该工具不需要贝叶斯网络知识，并且可以尽可能自然和直观地指定故障排除信息。概率可以在领域专家最自然的方向上指定。因此，知识获取有效地消除了传统的知识获取贝叶斯网络的瓶颈。
2013-01-16 cs.AI
Bayesian learning of feature spaces for multitasks problems
Aalto University（阿尔托大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
该研究提出RFF-BLR贝叶斯多任务回归模型，通过RFF近似关联KM与ELM，同时优化核参数、模型复杂度并实现跨任务知识迁移，性能优于现有多任务非线性回归方法。
2023-11-03 cs.LG stat.ML
Bayesian multitask inverse reinforcement learning
EPFL（洛桑联邦理工学院）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）
我们从多个演示中将逆强化学习的问题推广到多个任务。每一个都可以代表一个试图解决不同任务的专家，或者是试图解决相同任务的不同专家。我们的主要贡献是通过一些结构化的先验知识，将问题正式化为统计偏好诱导，其形式捕捉了我们对不同任务或专家政策相关性的偏见。在这样做时，我们引入了一个先验的政策最优性，这是更自然的指定。我们表明，我们的框架使我们不仅能够有效地从多个专家那里学习，而且还可以有效地区分每个专家的目标。可能的应用包括分析行为实验中受试者的内在动机和从多个教师那里学习。
2011-11-17 cs.AI stat.ML
Learning Multitask Gaussian Bayesian Networks
Xi'an Jiaotong University（西安交通大学）；Shanghai University of Finance and Economics（上海财经大学）；Fourth Military Medical University（第四军医大学）；Air Force Medical University（空军军医大学）；Xijing Hospital（西京医院）
重度抑郁症（MDD）需要研究患者的脑功能连接改变，这可以通过静息态功能磁共振成像（rs-fMRI）数据来揭示。我们考虑的问题，确定一个单一的MDD患者的脑功能连接的改变。这是特别困难的，因为在fMRI扫描过程中收集的数据量太有限，无法为个体分析提供足够的信息。此外，rs-fMRI数据通常具有不完整性、稀疏性、变异性、高维数和高噪声等特点。为了解决这些问题，我们提出了一个多任务高斯贝叶斯网络（MTGBN）的框架，能够识别个别疾病引起的MDD患者的变化。我们假设这种疾病引起的改变与从观察到理解系统如何从相关任务中联合构建的工具学习这种网络结构显示出一定程度的相似性。首先，我们将一类观察中的每个患者视为一个任务，然后通过从共享编码先验知识的默认协方差阵的所有任务中学习来学习该数据类的高斯贝叶斯网络（GBN）。此设置可以帮助我们从有限的数据中了解更多信息。其次，我们推导出完整的似然函数的封闭形式的公式，并使用蒙特卡罗期望最大化（MCEM）算法来搜索近似最好的贝叶斯网络结构有效。最后，我们评估我们的方法与模拟和真实世界的rs-fMRI数据的性能。
2022-06-09 cs.LG stat.ML
Bayesian Compressed Regression
作为高维回归中变量选择或收缩的替代方案，我们建议在分析之前随机压缩预测因子。这极大地减少了存储和计算瓶颈，当预测器可以投影到低维线性子空间时表现良好，并且关于响应的信息损失最小。与现有的贝叶斯降维方法相反，压缩数据的精确后验分布条件是分析可用的，加速了许多数量级的计算，同时还绕过了由于MCMC的收敛和混合问题而引起的鲁棒性问题。模型平均用于降低对随机投影矩阵的敏感性，同时适应子空间维度中的不确定性。强有力的理论支持的方法显示近参数收敛速度的预测密度在大p小n渐近范例。在模拟和实际数据应用中说明了相对于竞争对手的实际性能。
2013-03-22 cs.LG stat.ML
Fast Parallel Exact Inference on Bayesian Networks: Poster
The University of Western Australia（西澳大利亚大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）
贝叶斯网络是一种图形化的、可解释的机器学习模型，因此具有很大的吸引力。然而，精确的推理BN是耗时的，特别是对于复杂的问题。为了提高效率，我们提出了一个快速BN精确推理解决方案命名为Fast-BNI多核CPU。Fast-BNI通过紧密集成粗粒度并行和细粒度并行的混合并行来提高精确推理的效率。我们还提出了进一步简化BN精确推理的瓶颈操作的技术。Fast-BNI源代码可在https://github.com/jjiantong/FastBN上免费获得。
2022-12-08 cs.AI cs.DC
B3O: Scalable Boltzmann Batch Bayesian Optimization
Imperial College London（帝国理工学院伦敦分校）；Secondmind
提出B3O框架，将批量生成重构为从采集函数定义的玻尔兹曼分布中直接采样，理论证明其额外遗憾可忽略，实验表明在合成基准和复杂应用任务中优于现有方法。
2026-06-29 cs.LG
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Epistemic Errors of Imperfect Multitask Learners When Distributions Shift
University of Manchester（曼彻斯特大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；Aalto University（阿尔托大学）
本文研究了不完美多任务学习者在分布转移时的知识性误差，提出了一种框架来表征和消除可减少的知识性不确定性误差，为贝叶斯迁移学习和分布转移内的ε-邻域提供了专门的误差界。
2026-03-31 cs.LG stat.ML
Varying-coefficient models with isotropic Gaussian process priors
University College London（伦敦大学学院）；SoundCloud Ltd.（SoundCloud有限公司）；University of Potsdam（波茨坦大学）
我们研究的学习问题，其中的条件分布的输出给定的输入变化作为一个功能的额外的任务变量。在具有高斯过程先验的变系数模型中，高斯过程生成任务变量与该条件的参数之间的函数关系。变系数模型继承了分层贝叶斯多任务模型，但也是条件连续变化的推广，例如，在时间或空间上。然而，在变系数模型中的贝叶斯推断通常是棘手的。我们发现，推理变系数模型与各向同性高斯过程先验解决标准的高斯过程，可以有效地解决的推断。该模型中的MAP推理归结为使用任务核和实例核的多任务学习，使用图-拉普拉斯核可以有效地进行分层贝叶斯多任务模型的推理。我们报告的地理空间预测的实验。
2015-10-14 cs.LG stat.ML
Batch Acquisition Function Evaluations and Decouple Optimizer Updates for Faster Bayesian Optimization
本文提出通过解耦QN更新和批量调用获取函数，以提高贝叶斯优化的效率，减少计算开销。
2025-12-09 cs.AI cs.LG
Hierarchical Bayesian Modelling for Knowledge Transfer Across Engineering Fleets via Multitask Learning
The Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）；Scania CV（斯堪尼亚商用车公司）；Scania AB (publ)（斯堪尼亚公司（上市））；Stockholm University（斯德哥尔摩大学）；Imperial College London（伦敦帝国理工学院）
提出层次贝叶斯多任务学习方法，通过共享领域知识解决工程车队数据稀疏问题，提升卡车生存分析与风电场功率预测性能。
2023-05-12 cs.LG eess.SP stat.AP
AI4BayesCode: From Natural Language Descriptions to Validated Modular Stateful Bayesian Samplers
Department of Biostatistics, Columbia University（哥伦比亚大学生物统计学系）
该研究提出AI4BayesCode系统，通过自然语言描述生成可运行且验证过的MCMC采样器，采用模块化设计和递归状态性编码范式，提升了贝叶斯模型的可靠性和扩展性。
2026-08-03 cs.AI cs.LG stat.CO
Amortized Acquisition Optimization for Bayesian Optimization with Variational Mutual Information
VBO-MI通过变分互信息估计提出一种完全梯度型贝叶斯优化框架，有效解决传统BNN-BO框架的后验采样和获取函数优化瓶颈，提升优化性能和计算效率。
2026-10-06 cs.IT cs.LG math.IT
Contrasting random and learned features in deep Bayesian linear regression
Harvard University（哈佛大学）
了解特征学习如何影响泛化是现代深度学习理论的首要目标之一。在这里，我们研究了学习表示的能力如何影响一类简单模型的泛化性能：在非结构化高斯数据上训练的深度贝叶斯线性神经网络。通过将深度随机特征模型与所有层都经过训练的深度网络进行比较，我们详细描述了宽度、深度、数据密度和先验失配之间的相互作用。我们发现，这两个模型显示样本明智的双下降行为的标签噪声的存在下。如果存在狭窄的瓶颈层，随机特征模型也可以显示模型双向下降，而深度网络则不会显示这些分歧。随机特征模型可以具有特定的宽度，这些宽度对于给定数据密度下的泛化是最佳的，而使神经网络尽可能宽或尽可能窄总是最佳的。此外，我们还证明了对核极限学习曲线的引导顺序校正无法区分随机特征模型和所有层都经过训练的深度网络。总之，我们的研究结果开始阐明架构细节如何影响这类简单的深度回归模型的泛化性能。
2022-06-16 cond-mat.dis-nn cs.LG stat.ML
Sample-Efficient and Surrogate-Based Design Optimization of Underwater Vehicle Hulls
Vanderbilt University（范德堡大学）；Institute for Software Integrated Systems（软件集成系统研究所）；Department of Computer Science（计算机科学系）；Department of Electrical and Computer Engineering（电气与计算机工程系）
针对CFD仿真在CAD优化中的计算瓶颈，本研究在UUV船体设计背景下，对比了贝叶斯优化与DNN代理模型方法，发现BO-LCB样本效率最高，DNN代理模型预测阻力MAPE为1.85%，结合两者实现两个数量级加速。
2024-03-29 cs.AI cs.LG physics.app-ph
High-dimensional Bayesian Optimization of Personalized Cardiac Model Parameters via an Embedded Generative Model
Rochester Institute of Technology（罗切斯特理工学院）；Dalhousie University（达尔豪斯大学）
以模型参数的形式估计患者特异性组织特性对于个性化生理模型是重要的。然而，这些组织特性在整个基础解剖模型中是空间变化的，在有限的测量数据的存在下提出了高维（HD）优化的重大挑战。减少参数空间的维度的常见解决方案是显式地将解剖网格划分为固定的少量段或多尺度层次结构。这种基于解剖结构的参数空间缩减对参数估计提出了基本瓶颈，导致分辨率太低而不能反映组织异质性的解决方案，或者维度太高而不能在可行的计算内可靠地估计的解决方案。在本文中，我们提出了一个新的概念，嵌入一个生成变分自动编码器（VAE）到目标函数的贝叶斯优化，提供了一个隐式低维（LD）搜索空间，代表生成代码的HD空间变化的组织属性。此外，关于生成代码的VAE编码的知识被进一步用于指导搜索空间的探索。所提出的方法适用于估计组织兴奋性的心脏电生理模型。合成和真实数据实验表明，它能够提高参数估计的精度，效率提高10倍以上。
2020-05-15 cs.LG math.OC stat.ML
Pretrained Joint Predictions for Scalable Batch Bayesian Optimization of Molecular Designs
针对药物开发中分子设计批量合成测试的瓶颈，本研究基于认知神经网络框架构建预训练的可扩展结合亲和力联合预测代理模型，用于批量贝叶斯优化，大幅提升了抑制剂筛选效率。
2025-11-14 cs.LG
Flexible Modeling of Latent Task Structures in Multitask Learning
University of Massachusetts（马萨诸塞大学）；University of Utah（犹他大学）；University of Campinas（坎皮纳斯大学）；University of Maryland（马里兰大学）
多任务学习算法的设计通常假设所有任务共享的一些固定的、先验已知的潜在结构。然而，它通常是不清楚什么类型的潜在任务结构是最适合于一个给定的多任务学习问题。理想情况下，“正确的”潜在任务结构应该以数据驱动的方式学习。我们提出了一个灵活的，非参数贝叶斯模型，假定一个混合的因素分析结构的任务。该模型的非参数特性使得它可以取代现有的许多潜在任务结构模型（如均值正则化任务、聚类任务、低秩或线性/非线性子空间任务假设等）。此外，它还可以学习更一般的任务结构，解决这些模型的缺点。我们提出了一个变分推理算法，我们的模型。在人工数据集和真实数据集上的实验结果表明了该方法的有效性。
2012-06-27 cs.LG stat.ML
Search at the Cost of Sampling: Nearly-Instant Latent Space Bayesian Optimization
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）；Tübingen AI Center（图宾根人工智能中心）；InstaDeep；University of Pennsylvania（宾夕法尼亚大学）；Lancaster University（兰卡斯特大学）
本文提出一种利用球形对称性和线性代理模型，在潜空间中进行近乎即时贝叶斯优化的方法，实现至少100倍加速，使贝叶斯优化适用于从头设计流程。
2026-09-18 cs.LG
Towards Practical Preferential Bayesian Optimization with Skew Gaussian Processes
Nagoya Institute of Technology（名古屋工业大学）；CyberAgent（CyberAgent公司）；RIKEN AIP（理化学研究所人工智能研究中心）
针对偏好贝叶斯优化中斜高斯过程后验计算难、高斯近似不准、MCMC计算慢的问题，改进斜GP的MCMC估计并提出兼具高效与低样本复杂度的新方法，经实验验证有效。
2023-06-12 cs.LG
Preferential Multi-Objective Bayesian Optimization for Drug Discovery
Rethink Healthcare Foundation - RHF.AI；Imperial College London（伦敦帝国学院）
针对药物虚拟筛选中化学家手动选分子效率低、权衡难的瓶颈，提出融合偏好多目标贝叶斯优化与对接模型的CheapVS框架，支持通过成对比较输入偏好，在EGFR和DRD2靶点筛选中以低计算成本大幅提升已知药物找回率。
2025-03-21 cs.HC cs.LG q-bio.BM
Automating Sensor Characterization with Bayesian Optimization
Kavli Institute for Cosmological Physics, University of Chicago, Chicago, IL 60637, USA；Department of Astronomy；Astrophysics, University of Chicago, Chicago, IL 60637, USA；Fermi National Accelerator Laboratory, Batavia, IL 60510, USA；Instrumentation Division, Brookhaven National Laboratory, Upton, NY 11973, USA；Department of Physics, University of Chicago, Chicago, IL 60637, USA
本研究提出了一种基于贝叶斯优化的自动化传感器特性分析方法，通过实时测量指导参数选择，实现高效优化，减少专家人工干预时间。
2026-01-16 astro-ph.IM cs.LG physics.ins-det
Exact and general decoupled solutions of the LMC Multitask Gaussian Process model
EDF（法国电力公司）
本文提出了一种基于噪声模型假设的LMC多任务高斯过程模型的高效精确解法，通过解耦潜在过程，提高了计算效率，并通过实验验证了其在多任务贝叶斯优化中的应用价值。
2026-08-24 cs.LG stat.ML
Bayesian Concept Bottleneck Models with LLM Priors
University of California, San Francisco（加州大学旧金山分校）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）
本文提出BC-LLM模型，利用贝叶斯框架和LLM作为先验，实现高效的概念提取和可解释性提升。
2025-12-04 cs.AI cs.LG stat.ML
Variational Predictive Information Bottleneck
Google Research（谷歌研究院）
在经典论文中，Zellner证明了贝叶斯推理可以作为信息论泛函的解决方案。下面我们推导出这个泛函的广义形式作为预测信息瓶颈目标的变分下界。这种广义的功能包括最现代的推理程序，并建议新的。
2019-10-23 cs.IT cs.LG math.IT
Fully differentiable model discovery
Université de Paris（巴黎大学）；INSERM U1284（法国国家健康与医学研究院U1284）；Center for Research and Interdisciplinarity (CRI)（跨学科研究中心）
模型发现的目的是自主地发现数据集下的微分方程。基于物理信息神经网络（PINN）的方法已经显示出很大的前景，但显式学习方程的完全可微模型仍然难以捉摸。在本文中，我们提出了这样一种方法，通过集成神经网络为基础的代理与稀疏贝叶斯学习（SBL）。这种组合产生了一个强大的模型发现算法，我们在各种数据集上展示了它。然后，我们确定与多任务学习的连接，并在此基础上构建物理信息规范化流程（PINF）。我们提出了一个使用PINF直接从单粒子数据学习密度模型的概念验证。我们的工作将PINN扩展到各种类型的神经网络架构，并将基于神经网络的代理连接到贝叶斯参数推断的丰富领域。
2021-10-05 cs.LG stat.ML
Diversity inducing Information Bottleneck in Model Ensembles
University of Toronto（多伦多大学）；Google Brain（谷歌大脑）
尽管深度学习模型在许多视觉任务上已经达到了最先进的性能，但高维多模态数据的泛化和可靠的预测不确定性估计仍然是活跃的研究领域。包括贝叶斯神经网络（BNN）的贝叶斯方法不能很好地扩展到现代计算机视觉任务，因为它们很难训练，并且在移位下具有较差的泛化能力。这就需要有效的合奏，可以推广和可靠的不确定性估计。在本文中，我们的目标是通过鼓励多样性预测生成有效的神经网络集成的问题。我们显式地优化了多样性诱导对抗性损失的学习随机潜变量，从而获得多样性的输出预测建模多模态数据所必需的。我们在基准数据集上评估了我们的方法：MNIST，CIFAR100，TinyImageNet和MIT Places 2，并与最具竞争力的基线相比，在数据分布和分布外检测的变化下，分类准确性显着提高。代码将在此URL https://github.com/rvl-lab-utoronto/dibs中发布
2020-12-08 cs.AI cs.CV cs.LG
Online Learning of Network Bottlenecks via Minimax Paths
Volvo Car Corporation（沃尔沃汽车公司）；Chalmers University of Technology（查尔姆斯理工大学）
本文研究了通过提取极大极小路径来识别网络瓶颈的问题。许多现实世界的网络具有随机权重，事先无法获得全部知识。因此，我们将此任务建模为组合半强盗问题，我们应用组合版本的汤普森采样，并建立相应的贝叶斯后悔的上限。由于计算棘手的问题，我们然后设计了一个替代的问题配方，近似原来的目标。最后，我们在真实世界的有向和无向网络上实验评估了近似公式的Thompson采样的性能。
2023-02-14 cs.LG stat.ML
Wide Neural Networks with Bottlenecks are Deep Gaussian Processes
University of Tennessee（田纳西大学）；Oak Ridge National Lab（橡树岭国家实验室）
最近有很多关于神经网络的“宽极限”的工作，其中贝叶斯神经网络（BNN）被证明收敛到高斯过程（GP），因为所有隐藏层都被发送到无限宽。然而，这些结果不适用于需要一个或多个隐藏层保持窄的架构。在本文中，我们考虑了BNN的宽限制，其中一些隐藏层，称为“瓶颈”，在有限的宽度举行。其结果是GP的组合，我们称之为“瓶颈神经网络高斯过程“（瓶颈NNGP）。虽然很直观，但证明的微妙之处在于表明，网络组合的广泛限制实际上是限制GP的组合。我们还从理论上分析了一个单瓶颈NNGP，发现瓶颈诱导的依赖性之间的输出的多输出网络，持续通过极端后瓶颈深度，并防止核心的网络失去歧视的权力在极端后瓶颈深度。
2020-07-06 cs.LG stat.ML
Bayesian Kernel Regression for Functional Data
National Institute for Fusion Science（日本核融合科学研究所）；The Institute of Statistical Mathematics（统计数理研究所）；Digital Strategy Center, Daicel Corporation（大赛璐公司数字战略中心）；The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学院大学（SOKENDAI））；RIKEN（理化学研究所）
本文提出基于核方法与 RKHS 的贝叶斯函数型输出回归模型，利用输出函数协方差结构提升高维非线性预测精度，并解析量化预测不确定性。
2025-03-17 cs.LG stat.ML
Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck
U.S. Army Research Laboratory（美国陆军研究实验室）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
高斯过程为广泛应用于科学和工程的非线性非参数贝叶斯推断提供了一个框架。不幸的是，它们的计算负担与训练样本量成立方比例，在样本永久到达的情况下，训练样本量接近无穷大。这个问题需要近似用于流数据，迄今为止大多缺乏收敛保证。因此，我们开发了第一个在线高斯过程近似，它保持了对总体后验的收敛，即，渐近后验一致性，同时改善其棘手的复杂性增长与样本量。我们提出了一个在线压缩方案，每个后验更新后，修复一个错误的邻居相对于Hellinger度量集中在当前的后验，和greatlesses抛出过去的内核字典元素，直到它的边界被击中。我们称之为吝啬的在线高斯过程（POG）的方法。为了减小误差半径，精确的渐近一致性被保持（定理1（i）），代价是极限中的无限记忆。另一方面，对于恒定的误差半径，POG收敛到人口后验的邻域（定理1（ii）），但在最坏的情况下，由特征空间的度量熵确定的有限记忆（定理2）。几个非线性回归问题的实验结果，阐明了这种方法的优点相比，固定的子空间维度定义的历史，过去的点的替代品。
2021-07-15 cs.LG math.ST stat.ML
Incremental Sparse Bayesian Ordinal Regression
University of Amsterdam（阿姆斯特丹大学）
有序回归（OR）旨在对不同数据类别之间的排序信息进行建模，这是多标签学习中的一个重要主题。一类重要的OR方法将问题建模为将特征映射到高维非线性空间的基函数的线性组合。然而，大多数基于基函数的算法是耗时的。我们提出了一种增量稀疏贝叶斯方法或任务，并介绍了一种算法，顺序学习相关的基函数在有序的情况下。我们的方法，称为增量稀疏贝叶斯有序回归（ISBOR），自动优化超参数通过类型II最大似然方法。ISBOR通过利用快速边缘似然优化，可以避免大矩阵求逆，这是将基于基函数的算法应用于大规模数据集上的OR任务的主要瓶颈。我们表明，ISBOR可以作出准确的预测与吝啬的基函数，同时提供自动估计的预测不确定性。在合成数据集和真实数据集上的大量实验证明了ISBOR与其他基于基函数的OR方法相比的效率和有效性。
2018-06-18 cs.LG stat.ML
Bayesian inference with finitely wide neural networks
Rutgers University（罗格斯大学）
针对有限宽度神经网络偏离高斯过程导致解析推断困难的问题，基于多元Edgeworth展开提出微分形式的非高斯分布，推导了贝叶斯回归中的非高斯后验，并探讨了瓶颈深度网络中的非高斯性。
2023-05-25 cond-mat.dis-nn cs.LG stat.ML
Coarse-to-Fine Concept Bottleneck Models
Inria（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）；Inrae（法国国家农业食品与环境研究院）
本文提出由粗到细的概念瓶颈模型框架，结合视觉语言模型与贝叶斯稀疏选择方法，在两个粒度上利用图像块区域的概念层次结构，实现了优于现有CBM方法的可解释决策。
2024-06-27 cs.LG stat.ML
Active Learning of Continuous-time Bayesian Networks through Interventions
TU Darmstadt（达姆施塔特工业大学）；The Why Company GmbH
研究了在最小实验资源下，从时间过程数据学习连续时间贝叶斯网络（CTBN）的结构和参数的问题。在实践中，生成实验数据的成本构成了一个瓶颈，特别是在自然科学和社会科学领域。一个流行的方法来克服这一点是贝叶斯最优试验设计（BOED）。然而，BOED在高维环境中变得不可行，因为它涉及所有可能的实验结果的整合。我们提出了一个新的标准试验设计的基础上的预期信息增益的变分近似。我们表明，对于CTBN，这个标准的半解析表达式可以计算结构和参数学习。通过这样做，我们可以通过求解CTBN主方程来取代对实验结果的采样，其中存在可扩展的近似。这增加了在高维中对可能的实验结果进行采样的计算负担。我们采用这个框架，以推荐介入序列。在这种情况下，我们将CTBN模型扩展到有条件的CTBN，以纳入干预措施。我们证明了我们的标准的合成和真实世界的数据的性能。
2021-06-11 cs.LG stat.ML
Accelerating Bayesian Structure Learning in Sparse Gaussian Graphical Models
高斯图模型是学习变量之间条件独立结构的相关工具。在这类模型中，贝叶斯结构学习通常通过图空间上的搜索算法来完成。满足图形约束的精度矩阵的共轭先验是著名的G-Wishart。有了这个先验，搜索算法中的转移概率需要评估G-Wishart的先验归一化常数的比率。在中到高维中，这个比率通常使用基于采样的方法来近似，作为搜索算法中计算昂贵的更新。到目前为止，计算这个比率一直是一个主要的计算瓶颈。我们克服了这个问题，表示一个搜索算法，在该算法中，归一化常数的比例进行了显式的封闭形式近似。在我们的搜索算法中使用这种近似，在不牺牲结构学习精度的情况下，显著提高了结构学习的可扩展性。我们研究的条件下，近似是有效的。我们还评估了我们的方法与模拟研究的有效性。我们表明，新的搜索算法与我们的近似优于国家的最先进的方法在计算效率和准确性。我们工作的实现可以在R包BDgraph中找到。
2021-07-16 math.ST stat.ME stat.ML
Scalable Structure Learning of Continuous-Time Bayesian Networks from Incomplete Data
Technische Universität Darmstadt（达姆施塔特工业大学）
连续时间贝叶斯网络（CTBN）代表了一个紧凑而强大的框架，用于理解多变量时间序列数据。给定完整的数据，参数和结构可以有效地估计在封闭的形式。然而，如果数据是不完整的，CTBN的潜在状态必须通过费力地模拟假定CTBN的棘手的动态来估计。这是一个问题，特别是对于结构学习任务，其中必须对可能结构的超指数增长集合中的每个元素进行此操作。为了规避这个臭名昭著的瓶颈，我们开发了一种新的基于梯度的结构学习方法。我们假设CTBN的生成器是由来自不同结构的生成器的混合物组成的，而不是单独对所有可能的结构进行采样和评分。在这个框架中，结构学习可以通过混合权重的基于梯度的优化来执行。我们将这种方法与一种新的变分方法相结合，该方法允许对这种混合边际可能性进行封闭式计算。我们展示了我们的方法的可扩展性，通过学习结构，以前无法访问的大小从合成和真实世界的数据。
2019-11-01 cs.LG stat.ML
Convolutional Neural Networks as Summary Statistics for Approximate Bayesian Computation
Uppsala University（乌普萨拉大学）；Scaleout Systems AB（Scaleout Systems 公司）
近似贝叶斯计算广泛应用于系统生物学中随机基因调控网络模型的参数推断。它的性能关键取决于将时间序列等高维系统响应汇总为一些信息丰富的低维汇总统计数据的能力。这些统计数据的质量严重影响了推理任务的准确性。从候选统计量池中选择最佳子集的现有方法不能很好地扩展几十到几百个候选统计量的大池。由于高质量的统计数据对于良好的性能至关重要，因此在对复杂和高维问题进行推理时，这成为一个严重的瓶颈。本文提出了一种卷积神经网络架构，用于自动学习时间响应的信息汇总统计。我们表明，该网络可以有效地规避ABC推理的预处理步骤的统计选择问题。在高维随机遗传振子的两个基准问题和一个具有挑战性的推理问题上证明了所提出的方法。我们还研究了试验设计对网络性能的影响，通过比较不同的数据丰富度和数据采集策略。
2021-04-12 cs.LG stat.ML
Supercharging Simulation-Based Inference for Bayesian Optimal Experimental Design
SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；University of Southern California（南加州大学）
本文提出基于神经似然估计的改进方法，通过多起始并行梯度上升提升SBI在贝叶斯最优实验设计中的性能，达到或超越现有最先进方法22%。
2026-02-06 cs.AI cs.IT cs.LG
Inexact Column Generation for Bayesian Network Structure Learning via Difference-of-Submodular Optimization
School of Data Science（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出基于子模差优化的不精确列生成方法，解决贝叶斯网络结构学习中的定价瓶颈，在连续高斯数据上获得更优或可比的解质量。
2025-09-09 cs.LG math.OC stat.ML
Amortized Bayesian Local Interpolation NetworK: Fast covariance parameter estimation for Gaussian Processes
North Carolina State University（北卡罗来纳州立大学）；University of Arkansas（阿肯色大学）；Amazon Research（亚马逊研究院）
本文提出A-BLINK网络，利用两个预训练深度神经网络快速估计高斯过程协方差参数，绕过矩阵求逆，在频率派和贝叶斯设置中大幅提升计算效率，并在模拟和真实温度数据上验证了低误差优势。
2024-11-10 cs.LG stat.ME stat.ML
Bayesian Analysis of Dynamic Linear Topic Models
Duke University（杜克大学）；Sciome, LLC（Sciome有限责任公司）
在动态主题建模中，主题对文档的贡献比例取决于该主题在语料库中的总体流行度的时间动态。我们扩展了Blei和Lafford（2006）的动态主题模型，通过显式地建模文档级别的主题比例与协变量和动态结构，包括多项式趋势和周期性。一个马尔可夫链蒙特卡罗（MCMC）算法，利用Polya-Gamma数据增强的后验推理。模型和采样的条件独立性是明确的，我们的MCMC算法是并行的，在可能的情况下，允许在大型语料库中的推理。为了解决与Polya-Gamma采样相关的计算瓶颈，我们呼吁中心极限定理开发一个高斯近似的Polya-Gamma随机变量。这种近似对于文本挖掘领域中相关的参数值是快速和可靠的。我们的模型和推理算法进行了验证与多个模拟的例子，我们认为在PubMed摘要建模趋势的应用。我们证明了跨文档共享信息对于准确估计文档特定主题比例至关重要。我们还表明，显式建模多项式和周期性行为提高了我们的能力，预测主题流行在未来的时间点。
2015-11-12 cs.LG stat.ME stat.ML
Mitigating Representation Gaps in Amortized Bayesian Inference with Auxiliary Supervision
TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出利用辅助监督损失改善摊销贝叶斯推断的训练动态，缓解表示差距，加快收敛并提升性能，并在多个现实问题中验证了有效性。
2026-10-01 cs.LG stat.CO stat.ME
Efficient variational inference in large-scale Bayesian compressed sensing
University of California, Los Angeles（加州大学洛杉矶分校）；Korea University（高丽大学）
我们从概率的角度研究重尾先验下的线性模型。贝叶斯压缩感知框架中的焦点转向捕获潜在变量的完整后验分布，而不是像标准确定性方法那样计算单个稀疏最可能（MAP）解决方案，这允许量化估计不确定性并使用最大似然学习模型参数。稀疏线性模型下的精确后验分布是很难得到的，我们集中于变分贝叶斯技术来近似它，重复计算高斯方差是变分技术在大规模问题中应用的一个关键要求，也是主要的计算瓶颈。我们利用最近提出的扰动和MAP算法从高斯马尔可夫随机场（GMRF）绘制精确的样本。我们的论文的主要技术贡献是表明，估计高斯方差使用相对较少的数量，这样有效地抽取的随机样本是更有效的替代通用方差估计技术。通过将方差估计的问题减少到标准优化原语，所得到的变分算法是完全可扩展的和可并行的，允许贝叶斯计算在非常大规模的问题中具有与常规点估计技术相同的存储器和时间复杂度要求。我们用图像去模糊的实验来说明这些想法。
2011-09-05 cs.CV cs.IT math.IT
DLBI: Deep learning guided Bayesian inference for structure reconstruction of super-resolution fluorescence microscopy
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Institute of Biophysics, Chinese Academy of Sciences（中国科学院生物物理研究所）；Hangzhou Dianzi University（杭州电子科技大学）
超分辨率荧光显微镜的分辨率超过了光的衍射极限，已经成为以纳米级分辨率直接观察活细胞中生物结构的不可或缺的工具。尽管在高密度超分辨率荧光技术方面取得了进展，但现有方法仍然存在瓶颈，包括执行时间极长、结构的人为变薄和变厚以及缺乏捕获潜在结构的能力。在这里，我们提出了一种新的深度学习引导贝叶斯推理方法，DLBI，用于高密度荧光图像的时间序列分析。我们的方法结合了深度学习和统计推断的优势，其中深度学习通过探索时间轴上的局部特征和相关性来捕获与观察到的时间序列荧光图像一致的荧光团的潜在分布，统计推断进一步细化由深度学习提取的超微结构，并赋予最终图像物理意义。在真实和模拟数据集上的综合实验结果表明，我们的方法比最先进的方法，3B分析，提供了更准确和真实的局部补丁和大视场重建，而我们的方法是超过两个数量级的速度。主程序可从https://github.com/lykaust15/DLBI获得
2018-09-01 cs.CV stat.AP stat.ML
