Learning to select data for transfer learning with Bayesian Optimization
University of Groningen（格罗宁根大学）；National University of Ireland, Galway（爱尔兰国立大学（高威））；Aylien Ltd.（Aylien有限公司）
领域相似性度量可用于衡量适应性并选择合适的数据用于迁移学习，但现有方法定义了被认为适合于相应任务的自组织度量。受课程学习工作的启发，我们提出了使用贝叶斯优化的\emph{learn}数据选择措施，并跨模型，域和任务进行评估。我们学习的措施优于现有的领域相似性措施显着三个任务：情感分析，词性标注和解析。我们表明了用多样性补充相似性的重要性，并且在某种程度上，学习的措施可以跨模型，域甚至任务转移。
2017-07-17 cs.CL cs.LG
A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms
University of Melbourne（墨尔本大学）
迁移学习是一种机器学习范例，其中来自一个问题的知识被用来解决一个新的但相关的问题。虽然可以想象，来自一个任务的知识可能对解决相关任务有用，但如果执行不当，迁移学习算法可能会损害学习性能，而不是提高它-通常称为负迁移。在本文中，我们研究迁移学习从贝叶斯的角度来看，其中使用的参数统计模型。具体来说，我们研究了三种变体的迁移学习问题，瞬时，在线和时变迁移学习。对于每个问题，我们定义了一个适当的目标函数，并提供精确的表达式或上限的学习性能使用信息理论的数量，允许简单和明确的特征时，样本量变得很大。此外，例子表明，即使是小样本量的推导界限是准确的。所获得的界限提供了宝贵的见解先验知识的影响迁移学习，至少相对于我们的贝叶斯公式的迁移学习问题。特别是，我们正式的负迁移发生的条件下的特征。最后，我们设计了两个（在线）迁移学习算法，适合于实际实现，其中一个不需要参数假设。我们用真实的数据集证明了我们的算法的有效性，主要集中在源数据和目标数据具有很强的相似性时。
2021-09-30 cs.IT cs.LG math.IT
Transfer Learning in Bayesian Optimization for Aircraft Design
McGill University（麦吉尔大学）；Bombardier（庞巴迪）；Polytechnique Montréal（蒙特利尔综合理工学院）；GERAD；Clemson University（克莱姆森大学）
本文提出利用迁移学习的贝叶斯优化方法，通过源数据辅助目标问题优化，解决冷启动问题。采用集成代理模型和约束框架，针对飞机设计中的异质变量和约束提出降维和代理选择方法，提升收敛速度和预测精度。
2026-03-30 cs.LG math.OC stat.ML
Transfer Learning Architectures for Scalable Multi-Fidelity Bayesian Optimization
King’s College London（伦敦国王学院）
研究针对可扩展多保真贝叶斯优化，在相同条件下对11种迁移学习代理和4种GP方法进行基准测试，发现迁移学习代理在分子和材料问题上表现更佳，贪婪利用迁移学习均值是更稳健选择，是分子和材料MFBO的首选代理。
2026-07-28 cs.LG
A survey and benchmark of high-dimensional Bayesian optimization of discrete sequences
University of Copenhagen（哥本哈根大学）；Paul Sabatier University Toulouse（图卢兹保罗萨巴蒂埃大学）；Technical University of Denmark（丹麦技术大学）
针对高维离散序列贝叶斯优化领域方法异构、复现困难的问题，提出统一测试框架与标准化黑盒函数基准，并配套软件库，以促进算法应用与比较。
2024-11-04 cs.LG stat.ML
Bayesian Optimal Active Search and Surveying
Carnegie Mellon University（卡内基梅隆大学）；Uppsala Universitet（乌普萨拉大学）
我们考虑两个积极的二进制分类问题与非典型目标。在第一个主动搜索中，我们的目标是主动发现尽可能多的给定类的成员。在第二个主动调查中，我们的目标是主动查询点，以最终预测给定类的比例。许多现实世界中的问题都可以用这些术语来描述，在任何一种情况下，典型的基于模型的问题，如泛化误差都只是次要的。我们通过贝叶斯决策理论来解决这些问题，在选择自然效用函数后，我们得到最优策略。我们提供三项贡献。除了引入主动测量问题，我们扩展了以前的工作，主动搜索在两个方面。首先，我们证明了一个新的理论结果，少近视近似的最优策略可以优于任何程度的近视近似。然后，我们推导出的界限，对于某些模型，使我们能够减少（在实践中显着）的指数搜索空间所需的一个天真的实施的最佳政策，使进一步的前瞻，同时仍然确保最佳决策总是。
2012-06-27 cs.LG stat.ML
Transfer Learning Bayesian Optimization to Design Competitor DNA Molecules for Use in Diagnostic Assays
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）
本文提出迁移学习与贝叶斯优化相结合的实验设计方法，通过跨任务共享信息减少诊断检测中竞争性DNA分子优化所需的实验次数，并验证了其预测准确性与优化性能。
2024-10-22 cs.LG q-bio.QM stat.ML
Information-theoretic Bayesian Optimization: Survey and Tutorial
Universidad Pontificia Comillas（康普卢滕塞大学）
本文综述与教程介绍信息论贝叶斯优化，针对非凸黑箱函数优化问题，详述其基于高斯过程等代理模型及信息论采集函数的方法，覆盖复杂场景适配并指出研究方向。
2025-01-22 cs.AI cs.IT cs.LG
Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning
Amazon（亚马逊）；Google Brain（谷歌大脑）
贝叶斯优化（BO）是一种成功的方法来优化黑盒函数，是昂贵的评估。虽然传统方法孤立地优化每个黑盒函数，但最近人们对通过跨多个相关黑盒函数传递知识来加速BO感兴趣。在这项工作中，我们介绍了一种方法来自动设计BO搜索空间，依靠以前的黑盒功能的评估。我们从定义一组任意的搜索范围的先验考虑搜索空间的几何形状，从历史数据中学习的常见做法。这种简单而有效的策略可以用来赋予许多现有的BO方法迁移学习属性。尽管它的简单性，我们表明，我们的方法大大提高BO通过减少搜索空间的大小，从而加速各种黑盒优化问题的优化。特别是，所提出的方法结合随机搜索的结果，在一个无参数，易于实现，强大的超参数优化策略。我们希望这将构成一个自然的基线，为进一步的研究试图热启动BO。
2019-09-27 cs.LG stat.ML
Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search
Centre for Intelligent Information Processing Systems (CIIPS)（智能信息处理系统中心）
针对相关连续黑箱优化任务，本文提出跨任务可迁移最大值熵搜索采集函数，利用基于粒子的变分贝叶斯更新迁移高斯过程参数分布，并从理论和实验上验证其多保真优化效率。
2025-01-08 cs.IT cs.LG eess.SP
Bayesian Reinforcement Learning: A Survey
Adobe Research（Adobe研究院）；INRIA（法国国家信息与自动化研究所）；Technion（以色列理工学院）；McGill University（麦吉尔大学）；Berkeley（加州大学伯克利分校）
用于机器学习的贝叶斯方法已经得到了广泛的研究，产生了将先验信息纳入推理算法的原则性方法。在这次调查中，我们提供了一个深入的审查贝叶斯方法的作用的强化学习（RL）的范例。将贝叶斯推理纳入RL的主要动机是：1）它提供了一种优雅的方法来选择动作（探索/利用）作为学习中不确定性的函数; 2）它提供了一种将先验知识纳入算法的机制。我们首先讨论了简单单步Bandit模型中的贝叶斯推理模型和方法。然后，我们回顾了广泛的最近的文献贝叶斯方法基于模型的RL，先验信息可以表示的马尔可夫模型的参数。我们还提出了无模型RL的贝叶斯方法，其中先验表示的价值函数或政策类。本文的目的是提供一个全面的调查贝叶斯RL算法及其理论和经验性质。
2016-09-14 cs.AI cs.LG stat.ML
Bayesian Transfer Learning: An Overview of Probabilistic Graphical Models for Transfer Learning
University of Technology Sydney（悉尼科技大学）
迁移学习是指从源领域中提取可迁移的知识并将其重用到目标领域的行为，已成为人工智能领域的一个研究热点。概率图模型（probabilitygraphicalmodels，PGMs）被认为是复杂系统建模的有力工具，具有许多优点，处理不确定性的能力，并具有良好的可解释性。考虑到上述两个研究领域的成功，将PGMs应用于迁移学习似乎是很自然的。然而，尽管在文献中已经有一些针对迁移学习的优秀的PGM，但PGM解决这个问题的潜力仍然被严重低估。本文旨在通过以下方式促进迁移学习的PGMs的发展：1）检查针对迁移学习的PGMs的试点研究，即，分析和总结了现有的专门为知识转移设计的机制; 2）讨论了现有的PGM已成功应用于现实世界的转移问题的例子; 3）探索了使用PGM的迁移学习的几个潜在研究方向。
2021-09-27 cs.AI cs.LG
Transfer learning for nonparametric Bayesian networks
Aingura IIoT；Universidad Politécnica de Madrid, Departamento de Inteligencia Artificial（马德里理工大学人工智能系）
本文提出两种非参数贝叶斯网络迁移学习方法，PC-stable-transfer学习和hill climbing transfer学习，通过约束和评分方法提升模型性能，同时引入特定指标解决负迁移问题，最终通过统计检验证明方法有效性。
2026-04-03 cs.AI cs.LG
Bayesian Optimization -- Multi-Armed Bandit Problem
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
在这份报告中，我们调查贝叶斯优化方法集中在多臂强盗问题。我们采取的帮助文件“贝叶斯优化的投资组合分配”。我们报告了一个小的文献调查的收购功能和类型的投资组合策略中使用的论文讨论贝叶斯优化。我们还重复了实验，并报告了我们的发现，并将其与论文中的结果进行了比较。代码链接：https://colab.research.google.com/drive/1GZ14klEDoe3dcBeZKo5l8qqrKf_GmBDn? usp=sharing#scrollTo=XgIBau3O45_V。
2020-12-14 cs.AI cs.LG
Incorporating uncertainty quantification into travel mode choice modeling: a Bayesian neural network (BNN) approach and an uncertainty-guided active survey framework
Tsinghua University（清华大学）
本文提出贝叶斯神经网络出行方式预测模型BTMP及不确定性引导的主动调查框架，通过量化预测不确定性并动态生成高不确定性调查问题，在减少20%至50%调查回答数量的同时实现与随机调查训练模型相当的性能。
2024-06-16 cs.AI cs.LG
Bayesian Discovery of Multiple Bayesian Networks via Transfer Learning
University of New Mexico（新墨西哥大学）；Google, Inc（谷歌公司）
具有有限数据的贝叶斯网络结构学习算法正用于系统生物学和神经科学等领域，以深入了解产生观测数据的底层过程。从有限的数据中学习可靠的网络是困难的，因此迁移学习可以通过利用来自相关任务的数据来提高学习网络的鲁棒性。现有的贝叶斯网络结构学习的迁移学习算法给出了一个单一的最大后验估计的网络模型。然而，许多其他模型可能同样可能，因此贝叶斯结构发现提供了更多信息的结果。贝叶斯结构发现算法估计诸如边缘的结构特征的后验概率。我们提出了贝叶斯结构发现的迁移学习，它允许我们探索相关任务之间共享和独特的结构特征。有效的计算要求我们将学习的客观因素转移到本地计算中，我们证明了这是由广泛的转移偏差。从理论上讲，我们证明了我们的方法的效率。从经验上讲，我们表明，与单任务学习相比，迁移学习能够更好地积极识别真正的边缘。我们将该方法应用于全脑神经成像数据。
2013-07-09 cs.LG stat.ML
Deep Bayesian Active Learning, A Brief Survey on Recent Advances
West Virginia University（西弗吉尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
主动学习框架提供了有效的数据注释，而没有显著的准确性降低。换句话说，主动学习开始用少量的标记数据训练模型，同时探索未标记数据的空间，以便选择要标记的信息量最大的样本。一般来说，表示不确定性在任何主动学习框架中都是至关重要的，然而，深度学习方法不能表示或操纵模型的不确定性。另一方面，从现实世界的应用角度看，不确定性表示在机器学习界越来越受到关注。深度贝叶斯主动学习框架和通常任何贝叶斯主动学习设置在模型中提供实际考虑，其允许使用小数据进行训练，同时表示模型不确定性以用于进一步有效训练。在本文中，我们简要介绍了贝叶斯主动学习，特别是深度贝叶斯主动学习框架的最新进展。
2022-04-21 cs.LG
Transfer Learning with Gaussian Processes for Bayesian Optimization
Bosch Center for Artificial Intelligence（博世人工智能中心）
贝叶斯优化是一个强大的范例，以优化黑盒功能的基础上稀缺和嘈杂的数据。其数据效率可以通过从相关任务中迁移学习来进一步提高。虽然最近的传输模型基于大量数据元学习先验，但在低数据状态下，利用高斯过程（GP）的封闭形式后验的方法具有优势。在这种情况下，已经提出了几个易于分析的转移模型后验，但这些方法的相对优势还没有得到很好的理解。在本文中，我们提供了一个关于迁移学习的层次GP模型的统一视图，这使我们能够分析方法之间的关系。作为分析的一部分，我们开发了一种新的封闭形式的推动GP传输模型，适合现有的方法之间的复杂性。我们在大规模实验中评估了不同方法的性能，并强调了不同迁移学习方法的优点和缺点。
2022-03-15 cs.AI cs.LG stat.ML
Human AI Construction of Bayesian Networks for Operational Decision Support -- A Virtual Survey Approach
研究如何构建贝叶斯网络用于运营决策支持，提出利用大语言模型的新方法，通过人工智能代理估计概率并去噪，开发六步框架，以客户咨询医生意图建模为例，揭示因素影响，得出有效策略。
2026-07-17 cs.AI cs.LG
An Empirical Study on Ensemble-Based Transfer Learning Bayesian Optimisation with Mixed Variable Types
RMIT University（皇家墨尔本理工大学）
本研究通过实证分析，提出基于正则化回归的加权策略和预热初始化，以提升转移学习贝叶斯优化的性能。
2026-01-22 cs.LG stat.ML
A survey of Bayesian Network structure learning
在过去的几十年里，贝叶斯网络（BN）作为一种在医学、生物学、流行病学、经济学和社会科学等领域的不确定性下进行推理的工具越来越受欢迎。在现实世界中尤其如此，我们试图根据假设的证据回答复杂的问题，以确定干预行动。然而，确定BN的图形结构仍然是一个重大挑战，特别是在因果假设下建模问题时。这个问题的解决方案包括从数据中自动发现BN图，基于专家知识构建它们，或者两者的组合。本文提供了一个全面的审查组合算法提出的学习BN结构的数据，描述了74个算法，包括原型，完善和国家的最先进的方法。每个算法的基本方法描述一致的条款，并强调它们之间的异同。评估算法及其比较性能的方法进行了讨论，包括在文献中提出的索赔的一致性。还包括处理真实世界数据集中的数据噪声以及将专家知识纳入学习过程的方法。
2022-10-25 cs.AI cs.LG
Bayesian Federated Learning: A Survey
University of Technology Sydney（悉尼科技大学）；Macquarie University（麦考瑞大学）；University of New Castle（纽卡斯尔大学）；University of Porto（波尔图大学）；Nanyang Technological University（南洋理工大学）；University of Minnesota（明尼苏达大学）
本文综述贝叶斯联邦学习，梳理其概念、与贝叶斯学习的关系及双重视角分类，比较各类方法优劣并指出局限与未来方向。
2023-04-26 cs.AI cs.DC cs.LG
A Survey on Bayesian Deep Learning
Massachusetts Institute of Technology（麻省理工学院）；Hong Kong University of Science and Technology（香港科技大学）
一个全面的人工智能系统不仅需要用不同的“感官”感知环境（例如，视觉和听觉），但也推断世界的条件（甚至因果）关系和相应的不确定性。在过去的十年中，许多感知任务取得了重大进展，例如使用深度学习模型的视觉对象识别和语音识别。然而，对于更高级别的推理，具有贝叶斯性质的概率图模型仍然更强大和灵活。近年来，贝叶斯深度学习已经成为一个统一的概率框架，将深度学习和贝叶斯模型紧密集成。在这个一般框架中，使用深度学习感知文本或图像可以提高更高级别推理的性能，反过来，推理过程的反馈能够增强文本或图像的感知。本综述全面介绍了贝叶斯深度学习，并回顾了其在推荐系统、主题模型、控制等方面的最新应用。此外，我们还讨论了贝叶斯深度学习与其他相关主题（如神经网络的贝叶斯处理）之间的联系和区别。有关不断更新的项目页面，请参阅https://github.com/js05212/BayesianDeepLearning-Survey。
2021-01-06 cs.AI cs.CV cs.LG
Bayesian Learning for Neural Networks: an algorithmic survey
Aarhus University（奥胡斯大学）
在过去的十年里，人们对贝叶斯学习的兴趣越来越大。然而，除了将理论转化为实际实现的复杂性之外，该主题的技术性和其中涉及的众多成分限制了贝叶斯学习范式的使用，阻止了其在不同领域和应用中的广泛采用。这个独立的调查吸引并向读者介绍了神经网络的贝叶斯学习的原理和算法。它从一个可访问的，实用的算法的角度介绍了这个主题。在对贝叶斯神经网络进行一般性介绍后，我们讨论并提出了贝叶斯推断的标准和最新方法，重点是依赖于变分推断和使用自然梯度的解决方案。我们还讨论了使用流形优化作为贝叶斯学习的最先进方法。我们研究的所有讨论的方法的特性，并提供伪代码的实现，注意实际的方面，如计算的梯度。
2023-01-31 cs.LG stat.ML
A Complete Recipe for Bayesian Knowledge Transfer: Object Tracking
Arizona State University（亚利桑那州立大学）
从源对象轨迹和模型到另一个贝叶斯滤波器的顺序转移的问题已经变得普遍存在。由于缺乏能够捕捉不同模型之间的依赖关系的结构模型，可能无法完全指定转移。在本文中，我们介绍了一种新的贝叶斯模型，占模型跳跃的对象可以选择一个模型，并遵循。我们的目标是跟踪对象的轨迹，同时顺序地从源对象转移到目标对象。其主要思想是在跟踪目标的同时，根据离散化的动力学系统，对运动目标的动力学模型进行估计。我们证明了这个过程可以处理模型不匹配，因为它顺序地纠正预测模型。特别地，对于固定数量的运动模型，对象可以学习在每个时间步跟随什么运动。我们采用一个先验模型为每个模型，然后自适应地纠正改变一个模型到另一个鲁棒地估计对象的轨迹下的各种运动。更具体地说，我们提出了一个强大的贝叶斯配方来处理模型跳跃，然后将其与马尔可夫链蒙特卡罗（MCMC）方法从后验分布中采样。我们通过实验证明，在我们提出的贝叶斯迁移学习的学习任务之间的知识转移方法的模型跳跃会计的优势。
2022-10-20 cs.LG
Bayesian Transfer Learning
Duke University（杜克大学）
本文综述贝叶斯迁移学习方法，探讨其如何利用先验知识在领域间迁移最优信息，并通过模拟研究展示其相对频率派方法的优势。
2023-12-20 cs.LG stat.ML
Bayesian Transfer Reinforcement Learning with Prior Knowledge Rules
Athens University of Economics and Business（雅典经济与商业大学）
我们提出了一个概率框架，直接插入先验知识的强化学习（RL）算法定义的行为政策作为贝叶斯后验分布。这样的后验将任务特定信息与先验知识相结合，从而允许实现跨任务的迁移学习。所得到的方法是灵活的，它可以很容易地结合到任何标准的政策和政策上的算法，如那些基于时间差异和策略梯度。我们通过将先验知识表达为一般确定性规则来开发这种贝叶斯传输RL框架的具体实例，这些规则可以在各种各样的任务（例如导航任务）中使用。此外，我们详细阐述了最近的概率和熵正则化RL开发一种新的时间学习算法，并展示了如何将其与贝叶斯传输RL。最后，我们展示了我们的方法解决迷宫，并表明可以获得显着的速度提升。
2018-09-30 cs.LG stat.ML
Meta-Learning Acquisition Functions for Transfer Learning in Bayesian Optimization
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
跨任务传输知识以提高数据效率是全局黑箱优化领域的开放式关键挑战之一。现成的算法通常被设计为通用优化器，因此对于特定任务来说往往是次优的。我们提出了一种新的迁移学习方法，以获得定制的优化贝叶斯优化的成熟框架内，使我们的算法利用高斯过程的泛化能力。使用强化学习对一组相关任务的采集函数（AF）进行元训练，所提出的方法学习提取隐含的结构信息并利用它来提高数据效率。我们目前的实验模拟到真实的传输任务，以及几个合成功能和两个超参数搜索问题。结果表明，我们的算法（1）自动从可用的源任务或模拟中识别目标函数的结构属性，（2）在源数据稀缺和丰富的环境中表现良好，（3）如果没有特定的结构，则会回落到一般AF的性能水平。存在。
2020-02-14 cs.AI cs.LG stat.ML
Sample-Efficient Bayesian Transfer Learning for Online Machine Parameter Optimization
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；TRUMPF SE + Co. KG（通快集团）
针对生产机器参数优化迭代成本高的问题，提出一种结合贝叶斯优化与迁移学习的样本高效方法，利用已有机器数据减少迭代次数，并在实际钣金切割激光机器上完成验证。
2025-03-21 cs.LG
A survey on Bayesian inference for Gaussian mixture model
聚类已经成为机器学习中的核心技术，主要是由于其在无监督学习、聚类、分类和密度估计领域的应用。一种基于混合模型的频率论方法被称为EM算法，其中混合模型的参数通常被估计到最大似然估计框架中。有限和无限高斯混合模型的贝叶斯方法生成所有变量的点估计以及以整体估计的后验分布形式的相关不确定性。本综述的唯一目的是对有限和无限高斯混合模型的贝叶斯推理中的概念和数学工具进行独立的介绍，以便在后续章节中无缝地介绍它们的应用。然而，我们清楚地认识到，我们无法涵盖有关这一领域的所有有用和有趣的结果，并且由于缺乏讨论的范围，例如，分别分析了用破棒法和波利亚瓮法生成Dirichlet样本的方法。我们建议读者参考文献领域的狄利克雷过程混合物模型更详细地介绍了相关领域。一些优秀的例子包括（Frigyik等人，2010; Murphy，2012; Gelman等人，2014; Hoff，2009）。本文主要综述了高斯混合模型的研究目的、意义、重要背景和技术，狄利克雷先验，中国餐馆的过程，最重要的是起源和复杂的方法，揭示了他们的现代应用。数学的先决条件是概率的第一门课程。除了这个温和的背景，发展是独立的，与严格的证明提供了整个。
2021-08-20 cs.AI cs.LG stat.ML
A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer
Georgia Institute of Technology（佐治亚理工学院）；University of Enna Kore（恩纳 Kore 大学）
我们提出了一种变分贝叶斯（VB）方法来学习深度神经网络（DNN）模型中的潜变量分布，以解决训练和测试条件之间的声学不匹配问题。而不是在传统的最大后验估计中进行点估计，在估计大量的模型参数时存在维数灾难的风险，我们将注意力集中在通过VB推理框架估计可管理的DNN潜变量数量上。为了实现模型转移，从源域学习的知识被编码在潜在变量的先验分布中，并且在贝叶斯意义上与来自目标域的一小组自适应数据进行最佳组合，以近似对应的后验分布。声学场景分类中设备自适应的实验结果表明，我们提出的VB方法可以在目标设备上获得很好的改进，并始终优于13个最先进的知识转移算法。
2022-02-20 cs.AI cs.LG cs.NE
Transferring model structure in Bayesian transfer learning for Gaussian process regression
Institute of Information Theory and Automation (UTIA), Czech Academy of Sciences（捷克科学院信息理论与自动化研究所（UTIA））；Trinity College Dublin, the University of Dublin（都柏林大学圣三一学院）
本文将贝叶斯迁移学习（BTL）定义为将目标概率分布与迁移后的源分布相适应的任务。目标全局模型的源和目标之间的相互作用，并在一个独立的本地源建模提供的概率数据预测的条件。采用全概率设计方法解决目标的最优决策问题。通过成功地传输源的高阶矩，目标可以拒绝不可靠的源知识（即，它实现了鲁棒传输）。这种双重建模器框架意味着源将原始数据本地处理为转移的预测分布-具有压缩可能性-通过本地源模型（可能的专业知识）来丰富。此外，全局目标建模器的引入允许考虑源任务和目标任务之间的相关性（如果目标已知的话）。重要的后果出现了。首先，新的计划达到的性能完全建模（即传统的）多任务学习计划在（那些罕见的）情况下，目标模型的误指定是避免的。其次，更重要的是，新的双建模框架对破坏传统多任务学习的模型错误指定具有鲁棒性。我们深入探讨这些问题的关键背景下，相互作用的高斯过程回归任务。来自合成和真实数据设置的实验证据验证了我们的技术发现：所提出的BTL框架在传输中具有鲁棒性，同时对模型错误指定也具有鲁棒性。
2021-01-18 cs.LG
Inter-Subject Variance Transfer Learning for EMG Pattern Classification Based on Bayesian Inference
Graduate School of Advanced Science and Engineering, Hiroshima University（Hiroshima大学先进科学与工程研究生院）
针对肌电动作识别中受试者专属分类器需大量标注数据的问题，提出基于贝叶斯推理的受试者间方差迁移方法，迁移源受试者方差信息，用有限校准数据实现准确分类，实验验证其有效性与优越性。
2025-05-21 cs.LG eess.SP
Bayesian Nonparametric Space Partitions: A Survey
School of Mathematics and Statistics, University of New South Wales（新南威尔士大学数学与统计学院）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）
贝叶斯非参数空间划分（BNSP）模型提供了多种策略，用于将$D$维空间划分为一组块。通过这种方式，位于同一块中的数据点将共享某种同质性。BNSP模型可以应用于各种领域，如回归/分类树，随机特征构建，关系建模等。在本调查中，我们通过以下三个方面调查了BNSP研究的最新进展：模型，回顾了空间中生成分区的各种策略，并讨论了它们的理论基础“自洽性”;应用，其中包括当前的主流使用BNSP模型和他们的潜在的未来业务;和挑战，其中确定当前未解决的问题和有价值的未来研究课题。由于目前还没有对BNSP的文献进行全面的综述，我们希望通过本文的综述能够引起对这一课题的进一步探索和利用。
2021-02-28 cs.LG stat.ML
Bayesian Generative Models for Knowledge Transfer in MRI Semantic Segmentation Problems
ADASE；Skoltech（斯科尔科沃科技学院）
基于深度学习的自动分割方法最近表现出最先进的性能，优于普通方法。然而，这些方法不适用于小数据集，这是非常常见的医疗问题。为此，我们提出了一种通过生成贝叶斯先验网络的疾病之间的知识转移方法。我们的方法与预训练方法和随机初始化进行了比较，并在脑肿瘤分割2018数据库（BRATS 2018）的小子集的Dice相似系数度量方面获得了最佳结果。
2019-08-15 cs.CV cs.LG eess.IV
An investigation into the performances of the Current state-of-the-art Naive Bayes, Non-Bayesian and Deep Learning Based Classifier for Phishing Detection: A Survey
The University of Texas at El Paso（德克萨斯大学埃尔帕索分校）；Office of Naval Research（海军研究办公室）；Palo Alto Networks Inc（帕洛阿尔托网络公司）
本研究全面综述当前最先进的机器学习（含贝叶斯、非贝叶斯）和深度学习钓鱼检测技术，揭示其漏洞、比较性能并指出未来研究方向，还提出改进算法及两阶段预测模型的建议。
2024-11-24 cs.AI cs.CR cs.LG
Optimal Bayesian Transfer Learning
Texas A&M University（得克萨斯农工大学）
迁移学习是近年来研究的热点，它可以同时从具有大量标记数据的不同源域学习，并将相关知识迁移到具有有限标记数据的目标域，从而提高预测性能。我们提出了一个贝叶斯迁移学习框架，其中源域和目标域通过模型参数的联合先验密度相关。联合先验密度的建模使得能够更好地理解域之间的“可转移性”。我们定义了一个联合Wishart密度的精度矩阵的高斯特征标签分布在源域和目标域作为一个桥梁，传输有用的信息的源域，以帮助在目标域的分类，通过改善目标后验。使用多变量统计中的几个定理，后验和后验预测密度推导出封闭形式与矩阵参数的超几何函数，导致我们的新的封闭形式和快速的最优贝叶斯转移学习（OBTL）分类器。在合成和真实世界基准数据上的实验结果证实了与其他最先进的迁移学习和域自适应方法相比，OBTL的卓越性能。
2018-05-25 cs.CV cs.LG stat.ML
Bayesian Neural Networks: An Introduction and Survey
Queensland University of Technology（昆士兰理工大学）
本文介绍贝叶斯神经网络及其实现方法，比较不同近似推断方法，探讨未来研究改进方向。
2026-04-18 cs.LG stat.ML
Characterising User Transfer Amid Industrial Resource Variation: A Bayesian Nonparametric Approach
Harbin Institute of Technology（哈尔滨工业大学）；Yongjiang Laboratory（甬江实验室）；Ningbo Institute of Intelligent Equipment Technology Company, Ltd.（宁波智能装备技术研究院有限公司）
本文提出可解释的分层贝叶斯非参数模型 CLUSTER，用于自动识别用户簇、预测资源变化下的用户迁移并量化不确定性，且无需个人身份信息；通信行业模拟与真实数据验证了其有效性。
2023-09-25 cs.LG
A PAC-Bayesian bound for Lifelong Learning
IST Austria (Institute of Science and Technology Austria)（奥地利科学技术研究所）
在过去的几年里，迁移学习在机器学习社区中受到了很多关注，并且已经开发了几种有效的算法。然而，人们对它们的理论特性知之甚少，特别是在终身学习的背景下，其目标是将信息转移到迄今为止没有观察到数据的任务中。在这项工作中，我们从理论的角度研究终身学习。我们的主要结果是一个PAC贝叶斯泛化界，提供了一个统一的观点现有的范式迁移学习，如参数的转移或低维表示的转移。我们还使用的约束，以获得两个原则性的终身学习算法，我们表明，这些结果与现有的方法相媲美。
2014-05-10 cs.LG stat.ML
A survey of non-exchangeable priors for Bayesian nonparametric models
Dartmouth College（达特茅斯学院）；Carnegie Mellon University（卡内基梅隆大学）
相依非参数过程扩展了测度上的分布，如狄利克雷过程和贝塔过程，以给出测度集合上的分布，通常由某些协变量空间中的值索引。当汇率假设不成立时，这样的模型是合适的先验，相反，我们希望我们的模型随着一些协变量的变化而变化。自MacEachern [1]提出相依非参数过程的概念以来，统计学和机器学习文献中提出并使用了许多模型。这些模型中有许多表现出潜在的相似性，我们希望对这些相似性的理解将有助于选择适当的先验，开发新模型和利用推理技术。
2012-11-20 cs.LG stat.ML
Bayesian Meta-Learning with Expert Feedback for Task-Shift Adaptation through Causal Embeddings
Department of Computer Science, Aalto University, Espoo, Finland（Aalto大学计算机科学系）；ELLIS Institute Finland, Espoo, Finland（芬兰ELLIS研究所）；Department of Computer Science, University of Manchester, United Kingdom（曼彻斯特大学计算机科学系）
本文提出一种基于因果嵌入的贝叶斯元学习方法，通过专家反馈减少任务转移中的负转移，提升分布外适应性能。
2026-02-23 cs.LG
Robust Importance Sampling for Error Estimation in the Context of Optimal Bayesian Transfer Learning
Texas A&M University（德克萨斯农工大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
分类一直是构建智能系统的主要任务，因为它可以在不确定性下做出决策。分类器设计的目的是从训练数据中构建模型，以显式或隐式地表示特征标签分布。在许多科学或临床环境中，训练数据通常是有限的，这使得设计准确的分类器和评估其分类错误极具挑战性。虽然迁移学习（TL）可以通过合并来自相关源域的数据来改善不同目标域中的学习来缓解这个问题，但它在性能评估方面很少受到关注，特别是在错误估计方面。在本文中，我们填补了这一空白调查的背景下，贝叶斯范式的分类误差估计的知识转移。我们引入了一类新的贝叶斯最小均方误差（MMSE）估计的最优贝叶斯迁移学习（OBTL），这使得严格的分类误差评估下的不确定性在小样本设置。使用蒙特卡罗重要性抽样，我们采用建议的估计，以评估分类器，跨越不同的学习能力的一个广泛的家庭的分类精度。基于合成数据和真实世界RNA测序（RNA-seq）数据的实验结果表明，我们提出的OBTL误差估计方案明显优于标准误估计，特别是在小样本设置中，通过利用其他相关领域的数据。
2021-09-05 cs.LG stat.ML
Structured Noise Adaptation for Sequential Bayesian Filtering with Embedded Latent Transfer Operators
The University of Osaka（大阪大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所革新智能综合研究中心（AIP））
针对ELTO卡尔曼滤波器噪声模型无法适应非平稳过程的问题，提出结构化噪声参数化方法，结合最优时不变噪声学习与动态参数自适应，提升时变噪声环境下的状态估计性能。
2026-06-15 cs.LG math.OC
Convex Point Estimation using Undirected Bayesian Transfer Hierarchies
Stanford University（斯坦福大学）
当相关的学习任务被自然地安排在一个层次结构中时，一个有吸引力的处理实例稀缺的方法是使用层次贝叶斯框架的迁移学习。由于完全贝叶斯计算可能是困难的，并且计算要求很高，因此通常希望使用有助于（相对）有效预测的后验点估计。然而，分层贝叶斯框架并不总是自然地适用于这一最大后验目标。在这项工作中，我们提出了一个无向重构的分层贝叶斯依赖于先验的形式相似性措施。我们引入的概念，这些相似性措施的组件上的“转移度”的权重，并展示了它们如何可以自动学习的联合概率框架内。重要的是，我们的重新制定的结果在许多学习问题的凸目标，从而促进最佳后验点估计使用标准的优化技术。此外，我们不再需要适当的先验知识，允许灵活和直接的规范的联合分布在传输层次。我们表明，我们的框架是有效的学习模型的一部分，传输层次结构的两个现实生活中的任务：对象形状建模使用高斯密度估计和文档分类。
2012-06-13 cs.LG stat.ML
Addressing modern and practical challenges in machine learning: A survey of online federated and transfer learning
University of Essex（埃塞克斯大学）
在线联邦学习（OFL）和在线迁移学习（OTL）是克服现代机器学习挑战（如数据孤岛、流数据和数据安全）的两种协作范例。这项调查探讨了OFL和OTL的主要演变路线，以加强对在线联邦和迁移学习的理解。此外，在这项工作中，流行的数据集和在线联邦和迁移学习的前沿应用程序的实际方面突出。此外，这项调查提供了对未来潜在研究领域的深入了解，旨在为开发在线联合和迁移学习框架的专业人员提供资源。
2022-02-07 cs.LG
SmallML: Bayesian Transfer Learning for Small-Data Predictive Analytics
Independent Researcher（独立研究者）
针对中小企业因数据规模小被排除在AI之外的问题，提出贝叶斯迁移学习框架SmallML，通过三层架构实现小数据（50-200观测值）下的企业级预测精度，填补AI民主化空白。
2025-11-18 cs.LG stat.ML
Transfer Bayesian Meta-learning via Weighted Free Energy Minimization
元学习基于从多个辅助任务采样的数据来优化训练过程的超参数，例如其初始化、内核或学习率。一个关键的基本假设是，辅助任务（称为元训练任务）与部署时遇到的任务（称为元测试任务）共享相同的生成分布。然而，当测试环境不同于元训练条件时，情况可能并非如此。为了解决元训练阶段和元测试阶段之间任务生成分布的变化，本文引入了用于转移元学习的加权自由能最小化（WFEM）。我们实例化所提出的方法，通过高斯过程（GP）的非参数贝叶斯回归和分类。玩具正弦回归问题，以及分类使用miniImagenet和CUB数据集，通过比较与标准的元学习的GP先验的PACOH实现的方法进行验证。
2021-11-09 cs.LG eess.SP
Bayesian Nonparametrics: An Alternative to Deep Learning
School of Electrical Engineering, Arizona State University（亚利桑那州立大学电气工程学院）
本综述系统阐述了贝叶斯非参数模型的理论基础与应用价值，重点展示其在多目标跟踪等复杂问题中作为深度学习替代方案的灵活性和有效性。
2024-03-29 cs.LG stat.ML
Bayesian grey-box identification of nonlinear convection effects in heat transfer dynamics
TU Eindhoven（埃因霍温理工大学）；Sioux Technologies B.V.（苏克斯技术公司）；Sheffield University（谢菲尔德大学）
本研究提出一种基于高斯过程潜势模型的贝叶斯灰箱计算流程，融合已知物理白箱与高斯过程黑箱，通过贝叶斯平滑、拉普拉斯方法与回归模型辨识传热非线性对流，经模拟与实测数据验证有效。
2024-07-09 cs.CE cs.LG cs.SY
Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors
New York University（纽约大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland（马里兰大学）；Meta AI Research（Meta人工智能研究院）
深度学习正越来越多地朝着迁移学习范式发展，在这种范式下，大型基础模型从源任务上学习的初始化开始，在下游任务上进行微调。但是初始化包含的关于源任务的信息相对较少。相反，我们表明，我们可以从源任务中学习高度信息化的后验，通过监督或自我监督的方法，然后作为修改下游任务的整个损失表面的先验的基础。这种简单的模块化方法可以在各种下游分类和分割任务上实现显着的性能提升和更有效的数据学习，作为标准预训练策略的替代品。这些高度信息化的先验也可以被保存以供将来使用，类似于预先训练的权重，并且与贝叶斯深度学习中通常使用的零均值各向同性无信息先验形成对比。
2022-05-20 cs.CV cs.LG
Data-driven Prior Learning for Bayesian Optimisation
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
针对贝叶斯优化迁移学习强相似性假设的局限，提出仅需景观形状相似的弱假设，通过PLeBO学习高斯过程超参数先验，在合成数据和空气污染优化任务上验证了其用更少评估找到优质输入的有效性。
2024-04-19 cs.LG stat.ML
Formal Bayesian Transfer Learning via the Total Risk Prior
Department of Mathematics and Statistics, University of Massachusetts Amherst（数学与统计学系，马萨诸塞大学阿默斯特分校）；Department of Mathematics and Statistics, Georgetown University（数学与统计学系，乔治城大学）；Department of Computer Science, Georgetown University（计算机科学系，乔治城大学）
本文提出基于总风险先验的形式化贝叶斯迁移学习方法，通过条件风险最小化构建联合先验，实现完整不确定性量化与模型平均，在遗传学应用中优于Trans-Lasso。
2026-10-16 cs.LG stat.ML
Discrete Causal Representations from Heterogeneous Domains: A Bayesian Approach with Social Survey Applications
Department of Statistics, University of Chicago（芝加哥大学统计学系）；University of Tübingen（图宾根大学）；Department of Statistics & Data Science Institute, University of Chicago（芝加哥大学统计学与数据科学研究所）；Seminars for Statistics, ETH Zürich（苏黎世联邦理工学院统计系）
提出一种贝叶斯方法，从多环境数据中学习离散因果概念，通过序贯蒙特卡洛采样近似多模态后验，并在社会调查数据中验证了其推断有意义的高层概念和因果关系的有效性。
2026-06-04 cs.LG stat.ML
