Inductive Spatio-Temporal Kriging with Physics-Guided Increment Training Strategy for Air Quality Inference
针对空气质量推断中虚拟节点与真实节点不一致的问题,本文提出PGITS,利用颗粒物平流扩散物理动态生成图结构并衔接两类节点,以提升归纳式时空克里金效果。
2025-03-12 cs.LG
Discovering Inductive Bias with Gibbs Priors: A Diagnostic Tool for Approximate Bayesian Inference
University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
完整的贝叶斯后验概率很少可以分析处理,这就是为什么现实世界的贝叶斯推断严重依赖于近似技术。近似通常不同于真正的后验,需要诊断工具来评估推断是否仍然可信。我们研究了一种新的方法来诊断近似推理:近似不匹配是由于在电感偏置的变化,通过处理的近似准确和逆向工程相应的先验。我们表明,这个问题比乍一看似乎更复杂,因为解决方案通常取决于观察。通过用不相容的条件分布重新构造问题,我们得到了一个自然的解决方案:吉布斯先验。诊断结果是基于伪吉布斯抽样,这是广泛适用,易于实现。我们说明了如何吉布斯先验可以用来发现在一个受控的高斯设置和各种贝叶斯模型和近似的归纳偏差。
2022-03-07 cs.LG stat.ML
An Open Challenge for Inductive Link Prediction on Knowledge Graphs
Mila(米拉研究所);McGill University(麦吉尔大学);LMU Munich(慕尼黑大学);Harvard Medical School(哈佛医学院)
在知识图谱(KG)上的表示学习中的新兴趋势超越了在固定的已知实体集合上的转导链接预测任务,而倾向于归纳任务,该归纳任务意味着在一个图上进行训练并在具有未知实体的新图上执行推理。在归纳设置中,节点特征通常不可用,并且训练浅实体嵌入矩阵是没有意义的,因为它们不能在推理时与看不见的实体一起使用。尽管人们对归纳表示学习方法的兴趣越来越大,但还没有足够的基准来评估归纳学习方法。在这项工作中,我们介绍了ILPC 2022,KG归纳链接预测的一个新的开放的挑战。为此,我们基于Wikidata构建了两个新的数据集,其中包含各种大小的训练和推理图,比现有的归纳基准大得多。我们还提供了两个强大的基线,利用最近提出的归纳方法。我们希望这个挑战有助于简化社区在归纳图表示学习领域的工作。ILPC 2022遵循评估公平性和可重复性的最佳实践,可在https://github.com/pykeen/ilpc2022上获得。
2022-04-18 cs.AI cs.LG
Rethinking Open-World Semi-Supervised Learning: Distribution Mismatch and Inductive Inference
Yonsei University(延世大学)
本文指出现有开放世界半监督学习依赖类分布一致和直推式评估的局限,通过引入分布不匹配与归纳推理设置,提出更符合真实场景的泛化训练、评估与学习策略。
2024-05-31 cs.CV cs.LG
An Order-Theoretic Characterization of Consistent Inductive Inference
本文在ZFC中利用有限迹上的线性序刻画了一致归纳推断,通过两个序条件诱导出每次错误减少证据的学习者,并反向构造了该序,回答Lu(2024)的问题。
2026-09-25 cs.LG stat.ML
Normal Forms for (Semantically) Witness-Based Learners in Inductive Inference
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
我们研究学习者(可计算设备)推断形式语言,一种被称为极限语言学习或归纳推理的设置。特别是,我们要求我们调查的学习者是基于成功的,也就是说,证明他们的每一个想法的变化。除了作为一个学习任务的自然要求,这一限制值得特别注意,因为它是各种重要的学习范式的特殊化。特别是,在基于成功的学习的帮助下,解释性学习者在这些看似无与伦比的范式下表现出同样强大的能力。尽管如此,到目前为止,基于成功的学习者只被稀疏地研究。在这项工作中,我们进行了深入的研究,这些学习者时,需要句法和语义收敛,并获得其范式。在前一种情况下,我们扩展了已知的结果,使它们包括基于成功的学习,并将其推广到各种学习者。过渡到行为正确的学习,我们还提供了范式为语义的学习者基于。最值得注意的是,我们表明,集驱动的全球语义的成功为基础的学习者同样强大的黄金风格的语义保守的对应。这样的结果是理解的关键,但未被发现的,各种重要的学习范式之间的相互关系时,正确的行为学习。
2020-10-15 cs.FL cs.LG
Inductive Inference in Supervised Classification
University of Helsinki(赫尔辛基大学)
监督分类上下文中的归纳推理构成了使用从训练数据和可能的一些附加辅助信息导出的形式规则将一些对象或项目分配到不同的预定义类中的方法和途径。这种分配的最优性在不同的条件下由于被考虑用于这样的任务的对象的固有属性而变化。这些情况之一是当所有对象的特征是具有先验已知类别的离散变量时。作为另一个例子,可以考虑用先验未知类别修改这种情况。这两种情况是本论文的主要焦点,基于贝叶斯归纳理论,de Finetti型交换是一个合适的假设,有利于在前一种情况下的分类器的推导。相反,这种类型的交换不适用于后一种情况,相反,可以利用John Kingman的分区交换。这两种类型的可交换性进行了讨论,此外,在这里我研究归纳监督分类器的基础上,这两种类型的可交换性。我进一步证明了基于de Finetti类型交换的分类器可以在无限数量的训练数据的存在下最佳地处理彼此独立的测试项,而另一方面,基于分区交换的分类器仍然继续受益于所有测试项的联合标记。此外,它示出的同时分类器的归纳学习过程饱和时,测试数据的量趋于无穷大。
2021-03-18 cs.LG math.ST stat.ML
Mapping Monotonic Restrictions in Inductive Inference
Hasso Plattner Institute University of Potsdam(波茨坦大学哈索·普拉特纳研究所)
在语言学习的极限中,我们研究学习形式语言的可计算设备(学习者)。多年来,许多自然的限制已被施加在研究的学习者。因此,单调的限制总是受到特别的关注,因为虽然是一种自然的要求,但单调的学习者在不同的环境中学习时表现出明显不同的行为。最近的一项研究彻底分析了强单调学习者在记忆限制和各种附加要求下的学习能力。解释性学习者和行为正确的学习者之间的差异促使我们对处理相同限制的单调学习者进行研究。我们揭示了单调学习者和他们的强单调对应研究时,各种额外的限制之间的差异和相似之处。特别是,我们表明,解释单调学习者,虽然被称为严格更强,(几乎)保持强单调学习中看到的成对关系。对比这种相似性,我们发现在研究行为正确的单调学习者时有很大的差异。最值得注意的是,我们表明,单调的学习者,而不是他们的强单调对应,在很大程度上依赖于信息的顺序,行为正确的学习者一个不寻常的结果。
2020-10-15 cs.FL cs.LG
The Inductive Bias of Restricted f-GANs
University of California, San Diego(加州大学圣地亚哥分校)
生成对抗网络是一种新的统计推断方法,已经取得了很大的经验成功;然而,导致这种成功的因素仍然不清楚。在这项工作中,我们试图分析生成对抗性学习-即,作为生成器和生成器之间的游戏结果的统计推断-以了解它与经典的统计推断解决方案(如最大似然推断和矩量法)的区别。具体来说,我们提供了一种由一种简单形式的生成对抗学习(称为限制性f-GAN)推断的分布的理论表征-其中,f-GAN是给定函数类中的函数,生成器诱导的分布被限制在预先指定的分布类中,目标类似于f-发散的变分形式。我们的结果的一个结果是,对于线性KL-GAN-也就是说,当k是某个特征空间上的线性函数并且f对应于KL发散时-由最佳生成器引起的分布既不是最大似然法,也不是矩量法,而是两者的有趣组合。
2018-09-12 cs.LG stat.ML
The Inductive Constraint Programming Loop
CNRS(法国国家科学研究中心);University of Montpellier(蒙彼利埃大学);KU Leuven(鲁汶大学);University College Cork(科克大学学院);University of Pisa(比萨大学)
约束编程用于各种现实世界的优化问题,如规划,调度和资源分配问题。与此同时,人们不断收集有关这些问题的大量数据。当前的约束编程软件不利用这些数据来更新进度、资源和计划。我们提出了一个新的框架,我们称之为归纳约束编程循环。在这种方法中,系统地收集和分析数据,以便动态地修改和调整约束和优化标准。归纳约束编程的目的是弥合数据采掘和机器学习领域与约束编程领域之间的差距。
2015-10-12 cs.AI cs.LG
Learning Mental Models From Unreliable Evidence
Computer Science University of Waterloo(滑铁卢大学计算机科学系);Department of Computer Science Cornell University(康奈尔大学计算机科学系);Department of Computer Science Dalhousie University(达尔豪斯大学计算机科学系);Department of Psychology University of Toronto(多伦多大学心理学系)
通过归纳推理盒子任务,结合贝叶斯粒子推断的程序归纳形式化,比较儿童与基于LLM的智能体在不确定性下的假设生成与证据寻求行为,发现两者在适应环境结构上相似但信息寻求成本与归纳偏差不同。
2026-10-30 cs.AI cs.CL cs.LG
Towards Faster Graph Partitioning via Pre-training and Inductive Inference
The Hong Kong University of Science & Technology(香港科技大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出PR-GPT方法,通过在小合成图上预训练深度图学习模型并进行归纳推理,为大规模图划分提供高质量初始化,再结合InfoMap等精化方法,在保持划分质量的同时显著提升推理效率。
2024-09-01 cs.LG cs.SI
Inductive-bias Learning: Generating Code Models with Large Language Model
BrainPad inc.(BrainPad公司)
该研究提出结合上下文学习与代码生成的归纳偏置学习方法,通过输入训练数据让大语言模型生成具备推理结构的代码模型,兼具无显式归纳偏置推理特性与代码的可解释性,准确率可比肩甚至超越现有方法。
2023-08-19 cs.AI cs.CL cs.LG
Graph Condensation for Inductive Node Representation Learning
The University of Queensland(昆士兰大学);German Research Centre for Artificial Intelligence (DFKI)(德国人工智能研究中心);Peking University(北京大学);National Engineering Laboratory for Big Data Analysis and Applications(大数据分析与应用国家工程实验室);Griffith University(格里菲斯大学);University of Electronic Science and Technology of China(电子科技大学)
针对图凝聚无法处理未见归纳节点、推理仍依赖原始大图的问题,本文提出MCond,通过学习原始节点到合成节点的一对多映射并交替优化,实现高效归纳推理。
2023-12-09 cs.AI cs.LG
CoDiffGRN: Rethinking Gene Regulatory Network Inference via the BEELINE-KGC Benchmark and Co-evolutionary Discrete Diffusion
Peking University(北京大学);National University of Defense Technology(国防科技大学)
该研究针对单细胞转录组数据推断基因调控网络问题,提出CoDiffGRN方法,将GRN推理转化为归纳图完成问题,引入新基准和协同进化离散扩散框架,实验表明其在新调控发现上性能优越,优于现有方法。
2026-07-16 cs.AI cs.LG
NeuRI: Diversifying DNN Generation via Inductive Rule Inference
Columbia University(哥伦比亚大学);Nanjing University(南京大学)
NeuRI通过归纳规则推断和混合生成,自动化创建多样有效的DL模型,显著提升TensorFlow和PyTorch的覆盖率并发现大量新错误。
2023-09-04 cs.LG cs.SE
Inductive inference of gradient-boosted decision trees on graphs for insurance fraud detection
Data Office, Allianz Benelux(Allianz Benelux 数据办公室);KU Leuven University of Antwerp-imec(安特卫普-imec 联合大学KU Leuven);KU Leuven;University of Antwerp-imec(安特卫普-imec 大学)
本文提出一种新型的归纳图梯度提升机G-GBM,用于处理异构和动态图的监督学习,通过结合梯度提升的类别不平衡鲁棒性和可解释的路径级特征拼接,提升保险欺诈检测性能。
2026-05-15 cs.LG cs.SI
Online Bayesian Node Classification on Inductive Graphs under Distribution Shift
University of Georgia(佐治亚大学);University of Rochester(罗切斯特大学)
针对演化图分布偏移下的节点分类,提出在线变分贝叶斯最后一层(GVBLL)方法,联合训练编码器与近似后验,测试时在线更新,在五个基准上均取得最佳准确率与负对数似然。
2026-09-15 cs.LG stat.ME stat.ML
Inductive Biases in Field-Level Cosmological Inference from Galaxy Catalogs
City University of New York Graduate Center(纽约城市大学研究生中心);Center for Computational Astrophysics, Flatiron Institute(熨斗研究所计算天体物理学中心);Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学)
本研究通过比较Deep Sets与图神经网络在CAMELS模拟星系目录中的推断性能,发现本动速度是集合模型获取$\Omega_m$信息的主要来源,而空间关系需显式编码才能有效利用。
2026-09-10 astro-ph.CO cs.LG
Relational reasoning and inductive bias in transformers and large language models
Imperial College London(帝国理工学院伦敦分校);Google(谷歌);DeepMind(深度Mind);Columbia University(哥伦比亚大学)
本文研究了变换器和大语言模型在关系推理中的表现,比较了基于权重学习和上下文学习的机制,发现基于权重学习的模型能进行传递推理,而基于上下文学习的模型则依赖训练数据进行传递推理,预训练可使上下文学习模型更接近权重学习模型。
2026-05-11 cs.LG q-bio.NC
Architectural and Inferential Inductive Biases For Exchangeable Sequence Modeling
Columbia Business School(哥伦比亚商学院)
本文研究了可交换序列建模的推断与架构归纳偏置,发现多步自回归推断能更好地区分不确定性并提升下游决策性能,同时证明近期定制的Transformer架构无法保证可交换性且劣于标准因果掩码。
2025-03-03 cs.LG stat.ML
Inductive Moment Matching
Luma AI;Stanford University(斯坦福大学)
提出单阶段训练的归纳矩匹配(IMM)生成模型,支持单步或少步采样,无需预训练初始化或双网络优化,兼具稳定训练与分布收敛保证,并在 ImageNet 与 CIFAR-10 上取得领先 FID。
2025-05-14 cs.AI cs.LG stat.ML
The New AI: General & Sound & Relevant for Physics
过去50年来,大多数传统的人工智能(AI)系统要么非常有限,要么基于人工智能,要么两者兼而有之。然而,新千年在理论上最优且实际可行的算法领域取得了实质性进展,这些算法用于预测、搜索、基于奥卡姆剃刀的归纳推理、问题解决、决策制定和非常一般类型环境中的强化学习。由于归纳推理是所有归纳科学的核心,其中一些结果不仅与人工智能和计算机科学有关,而且与物理学有关,引发了基于Zuse计算机生成宇宙的非传统预测。
2003-11-27 cs.AI cs.LG quant-ph
Structured Abductive-Deductive-Inductive Reasoning for LLMs via Algebraic Invariants
DeepThought Solutions(深思科技);Department of Computer Science University of Florida(佛罗里达大学计算机科学系)
本文提出通过代数不变量实现LLMs的结构归纳-演绎-演绎推理框架,通过五种代数不变量确保推理链中结论的可靠性,防止逻辑不一致的累积。
2026-04-17 cs.AI cs.LG cs.LO
NP4G : Network Programming for Generalization
Nagoya City University(名古屋市立大学)
自动编程已经通过包括遗传编程的各种方法被积极地研究了很长时间。近年来,使用诸如GPT-3的神经网络的自动编程已经被积极地研究,并且正在吸引很多关注。然而,这些方法都是在大量学习的基础上,根据经验进行的非逻辑推理,其思维过程不清晰。即使使用具有清晰思维过程的逻辑推理方法,自动生成任何程序的系统也尚未实现。特别是由一个实例的逻辑推理所概括的归纳推理,是人工智能能够自主获取知识的一个重要问题。在这项研究中,我们提出了NP 4G:网络编程的泛化,它可以自动生成程序的归纳推理。由于该方法能实现程序设计中的“排序”、“选择”和“迭代”,并能满足结构化程序定理的条件,因此NP 4G有望成为一种通过归纳推理自动获取任意程序的方法。作为一个例子,我们自动构造一个按位非操作程序从几个训练数据的推广使用NP 4G。虽然NP 4G只是随机选择和连接节点,但通过调整节点数和“阶段学习”的阶段数,我们证明了按位非运算程序在较短的时间内以约7/10的速度获得。NP 4G的源代码在GitHub上作为公共存储库提供。
2022-12-08 cs.LG cs.NE cs.PL
Near-Zero-Overhead Freshness for Recommendation Systems via Inference-Side Model Updates
LiveUpdate通过在推断端部署低秩适应训练器,实现推荐系统近零开销的实时模型更新,提升推荐准确性。
2025-12-17 cs.DC cs.LG
Fast Adaptation with Linearized Neural Networks
New York University(纽约大学);UC San Diego(加州大学圣迭戈分校);Amazon, Cambridge(亚马逊剑桥)
经过训练的神经网络的归纳偏差难以理解,因此难以适应新的设置。我们研究了神经网络的线性化的归纳偏差,我们证明了它是完整网络函数的令人惊讶的好总结。受这一发现的启发,我们提出了一种技术,通过从网络的雅可比矩阵设计的内核将这些归纳偏差嵌入到高斯过程中。在这种情况下,域适应采取可解释的后验推理的形式,伴随着不确定性估计。这种推理是分析性的,并且没有在标准技术中发现的局部最优问题,例如将神经网络权重微调到新任务。我们开发了显着的计算速度的基础上矩阵乘法,包括一个新的实现可扩展的Fisher矢量产品。我们对图像分类和回归的实验都证明了这种框架对于迁移学习的承诺和便利性,与神经网络微调相比。代码可在https://github.com/amzn/xfer/tree/master/finite_ntk上获得。
2021-04-28 cs.LG stat.ML
Efficient Iterative Amortized Inference for Learning Symmetric and Disentangled Multi-Object Representations
University of Florida(佛罗里达大学)
无监督的多对象表示学习依赖于归纳偏差来指导以对象为中心的表示的发现。然而,我们观察到,学习这些表示的方法要么是不切实际的,因为训练时间长,内存消耗大,要么是放弃关键的归纳偏差。在这项工作中,我们介绍了EfficientMORL,一个有效的框架,无监督学习的对象为中心的表示。我们表明,由于要求对称性和解纠缠而引起的优化挑战实际上可以通过高成本的迭代摊销推理来解决,方法是设计框架以最大限度地减少对它的依赖。我们采用两阶段的推理方法:首先,分层变分自编码器通过自下而上的推理提取对称且解纠缠的表示,其次,轻量级网络利用自顶向下的反馈来细化表示。在训练过程中所采取的细化步骤的数量在课程之后减少,因此在零步骤的测试时间,模型实现了99.1%的细化分解性能。我们在标准多对象基准测试中展示了强大的对象分解和解纠缠,同时实现了比以前最先进的模型快近一个数量级的训练和测试时间推断。
2021-06-07 cs.AI cs.CV cs.LG
A Metalearned Neural Circuit for Nonparametric Bayesian Inference
Princeton University(普林斯顿大学)
提出从非参数贝叶斯模型提取归纳偏置并转移至人工神经网络的方法,通过元学习序列模型实现开放类别集合上的快速序列推断,性能优于粒子滤波器等基线方法。
2023-11-24 cs.LG cs.NE stat.ML
How to Combine Membership-Inference Attacks on Multiple Updated Models
Google, Inc.(谷歌公司);Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机学院);Columbia University(哥伦比亚大学)
大量研究表明,机器学习模型容易受到成员推断(MI)攻击,这些攻击侵犯了训练数据中参与者的隐私。大多数MI研究都集中在单个独立模型的情况下,而生产机器学习平台通常会随着时间的推移更新模型,数据通常会在分布中发生变化,从而为攻击者提供更多信息。本文提出了新的攻击,利用一个或多个模型更新,以提高MI。我们的方法的一个关键部分是利用丰富的信息,从独立的MI攻击单独安装对原始和更新的模型,并结合这些信息以特定的方式来提高攻击的有效性。我们提出了一套组合功能和调整方法,并提出了各种选择的分析和定量的理由。我们在四个公共数据集上的结果表明,我们的攻击在使用更新信息方面是有效的,与对独立模型的攻击相比,我们的攻击具有显着的优势,但也与利用相关机器学习设置中的模型更新的先前MI攻击相比。我们进行了第一次测量的影响,分布偏移MI攻击模型更新,并表明,一个更剧烈的分布偏移的结果在显着更高的MI风险比逐渐转变。我们的代码可在https://www.github.com/stanleykywu/model-updates上获得。
2022-05-12 cs.CR cs.LG
Decoupling Inference from State Updates in Low-Latency Feature Engines via Probabilistic Thinning
Feedzai
提出概率稀疏化方法,在流式机器学习管道中解耦推理与状态持久化,仅对信息事件触发状态更新,显著降低存储I/O和序列化开销,同时保持下游效用。
2026-06-16 cs.DB cs.LG
Deep Partial Updating: Towards Communication Efficient Updating for On-device Inference
ETH Zurich(苏黎世联邦理工学院);UT Dallas(德克萨斯大学达拉斯分校)
新兴的边缘智能应用要求服务器重新训练和更新部署在远程边缘节点上的深度神经网络,以利用新收集的数据样本。不幸的是,由于高度受限的通信资源,在实践中可能不可能连续地向这些边缘节点发送完全更新的权重。在本文中,我们提出了加权深度部分更新范式,该范式在每个服务器到边缘的通信回合中智能地选择一小部分权重进行更新,同时与完全更新相比实现了类似的性能。我们的方法是通过解析上界的部分更新和完全更新之间的损失差异,并只更新的权重,使最大的贡献上限。大量的实验结果表明,我们的部分更新方法,实现了高的推理精度,同时更新相当少量的权重的有效性。
2022-07-27 cs.LG stat.ML
Projective Integral Updates for High-Dimensional Variational Inference
Sandia National Laboratories(桑迪亚国家实验室)
提出一种基于投影积分更新的变分推断不动点优化方法,利用准随机求积序列实现高维积分,生成拟牛顿变分贝叶斯(QNVB),在多种问题和架构上展现出更优的泛化能力与不确定性控制。
2023-09-08 cs.AI cs.LG stat.ML
Secure Aggregation is Not Private Against Membership Inference Attacks
Chalmers University of Technology(查尔姆斯理工大学);AI Sweden(瑞典人工智能研究院)
该研究针对联邦学习中被广泛认为具备隐私保护能力的SecAgg机制,通过将其视为LDP机制开展隐私审计,设计单轮训练下的攻击实验,证明其高维场景下对成员推理攻击隐私防护薄弱,凸显需补充额外隐私增强机制的必要性。
2024-07-15 cs.CR cs.LG
Bridge the Inference Gaps of Neural Processes via Expectation Maximization
University of Amsterdam(阿姆斯特丹大学)
针对神经过程推理次优问题,本文在期望最大化框架下提出目标对数似然替代目标,构建 SI-NP,并证明其改进保证及结合结构偏置达到 SOTA 的能力。
2025-01-04 cs.AI cs.LG cs.NE
Updating Variational Bayes: Fast sequential posterior inference
Monash University(莫纳什大学)
变分贝叶斯(VB)方法产生后验推理的时间帧大大小于传统的马尔可夫链蒙特卡罗方法。虽然VB后验是一个近似,它已被证明产生良好的参数估计和预测值时,考虑了丰富的类近似分布。在本文中,我们提出了更新VB(UVB),一个递归算法,用于更新一系列的VB后验近似在一个在线的设置,与每个后验更新的计算只需要观察到的数据,因为以前的更新。一个扩展所提出的算法,命名为UVB-IS,允许用户通过使用重要性抽样的交易精度大幅增加计算速度。这两种方法及其属性在两个单独的模拟研究中详细介绍。所提出的UVB方法的两个实证说明,包括一个Dirichlet过程混合模型与一种新的后验依赖结构的上下文中反复更新的预测未来的行为的车辆上的美国101号公路的延伸。
2019-08-01 cs.LG stat.CO
Efficient Incremental Belief Updates Using Weighted Virtual Observations
Offtopia(奥夫托皮亚);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对贝叶斯概率程序中Monte Carlo推理的增量信念更新问题,提出通过构建加权虚拟观测并优化权重来重建后验的方法,具有高效、鲁棒且与具体编程语言无关的特性。
2024-02-10 cs.LG stat.ML
Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning
Aarhus University(奥胡斯大学)
我们开发了一种适合复杂模型中贝叶斯学习的优化算法。我们的方法依赖于一般黑盒框架内的自然梯度更新,以便在有限的模型特定推导的情况下进行有效的训练。它适用于类指数族变分后验分布,我们广泛讨论高斯的情况下,更新有一个相当简单的形式。我们的准黑盒变分推断(QBVI)框架是很容易适用于广泛的一类贝叶斯推断问题,是简单的实现,因为更新的变分后不涉及梯度的模型参数,也没有规定的费舍尔信息矩阵。我们开发QBVI后协方差阵在不同的假设下,讨论其强大的和可行的实施细节,并提供了一些现实世界的应用程序来证明其有效性。
2022-12-12 cs.LG econ.EM stat.ML