Overcoming Multi-step Complexity in Multimodal Theory-of-Mind Reasoning: A Scalable Bayesian Planner
Dartmouth College(达特茅斯学院);Honda Research Institute USA(本田美国研究院)
本文提出了一种可扩展的贝叶斯理论思维规划器,通过分步贝叶斯更新分解理论思维推理,利用弱到强控制使小语言模型专精于理论思维似然估计,并将其推理行为转移给大语言模型,从而在多模态理论思维基准测试中实现4.6%的准确率提升。
2026-05-09 cs.AI cs.CL
Scalable Batch Bayesian Optimization Via Subspace Acquisition Functions
School of Computing and Artificial Intelligence(计算与人工智能学院)
提出通过从原始问题的轴对齐子空间中各选一点来扩展贝叶斯优化至大规模批量评估,显著加速收敛,与十种批量算法相比极具竞争力。
2026-06-18 cs.AI cs.LG cs.NE
Scalable Batch-Mode Deep Bayesian Active Learning via Equivalence Class Annealing
University of Chicago(芝加哥大学)
主动学习已经在许多领域证明了数据效率。现有的主动学习算法,特别是在批量模式深度贝叶斯主动模型的背景下,严重依赖于模型的不确定性估计的质量,并且通常难以扩展到大批量。在本文中,我们提出了批平衡,一个可扩展的批处理模式的主动学习算法,它结合了决策理论的见解主动学习,组合信息测量,多样性采样。在其核心,批量平衡依赖于一个新的决策理论采集功能,促进不同的等价类之间的差异。直觉上,每个等价类都由假设组成(例如,深度神经网络的后验样本)具有相似的预测,并且Batch-BALanCe随着学习的进行自适应地调整等价类的大小。为了将查询的计算扩展到大批量,我们进一步提出了一个高效的批处理模式采集过程,其目的是最大限度地提高通过采集函数定义的新信息度量。我们表明,我们的算法可以有效地处理现实的多类分类任务,并在几个基准数据集上取得令人信服的性能低批量和大批量制度下的主动学习。参考代码发布于https://github.com/zhangrenyuuchicago/BALanCe。
2023-02-20 cs.AI cs.LG
Bayesian Interpolating Neural Network (B-INN): a scalable and reliable Bayesian model for large-scale physical systems
Department of Mechanical Engineering, Northwestern University, Evanston, Illinois, USA(机械工程系,西北大学,伊利诺伊州埃文斯顿);Department of Engineering Sciences and Applied Mathematics, Northwestern University, Evanston, Illinois, USA(工程科学与应用数学系,西北大学,伊利诺伊州埃文斯顿);Department of Mathematics, Northwestern University, Evanston, Illinois, USA(数学系,西北大学,伊利诺伊州埃文斯顿);Applied Mechanics Program, Northwestern University, Evanston, Illinois, USA(应用力学项目,西北大学,伊利诺伊州埃文斯顿)
B-INN通过结合高阶插值理论与张量分解,提供一种高效且可靠的贝叶斯模型,用于大规模物理系统的不确定性量化与主动学习。
2026-02-10 cs.AI cs.NA math.NA
BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院);University of California, Los Angeles(加州大学洛杉矶分校)
结构方程模型(SEM)是一个有效的框架,通过一个有向无环图(DAG)表示的因果关系的原因。最近的进展使有效的最大似然点估计的DAG从观测数据。然而,在实际场景中,点估计可能无法准确地捕获推断基础图时的不确定性,其中真实DAG是不可识别的和/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网(BCD网),一个变分推理框架,用于估计分布在DAG特征的线性高斯SEM。由于图的离散性和组合性,在DAG上开发完整的贝叶斯后验是具有挑战性的。我们分析了DAG上可扩展VI的关键设计选择,例如1)通过表达变分族对DAG进行参数化,2)实现低方差随机优化的连续松弛,以及3)潜在变量的合适先验。我们提供了一系列的真实和合成数据的实验表明,BCD网优于最大似然方法的标准因果发现指标,如结构汉明距离在低数据制度。
2021-12-06 cs.AI cs.LG stat.ML
Scalable Polar Code Construction for Successive Cancellation List Decoding: A Graph Neural Network-Based Approach
Stanford University(斯坦福大学);Qualcomm Technologies, Inc.(高通技术公司)
提出基于图神经网络的迭代消息传递算法,用于可扩展地构造CA-SCL译码下的最优极化码,模型复杂度独立于码长和码率,性能优于经典构造并媲美5G极化码。
2023-05-13 cs.AI cs.IT math.IT
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University(卡内基梅隆大学)
贝叶斯优化(BO)是指一套用于全局优化昂贵的黑盒函数的技术,它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序,但现代优化任务带来了新的挑战,传统方法通常会失败。在这项工作中,我们介绍了Dragonfly,一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法,允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法,用于处理高维域,用于处理多保真度评估的方法时,廉价的近似昂贵的功能是可用的,方法优化结构化的组合空间,如空间的神经网络架构,并处理并行评估的方法。此外,我们在BO中开发了新的方法改进,用于选择贝叶斯模型,选择采集函数,并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化,并证明,当上述方法集成,它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
From Sorting Algorithms to Scalable Kernels: Bayesian Optimization in High-Dimensional Permutation Spaces
State Key Laboratory of Precision and Intelligent Chemistry(精准与智能化学国家重点实验室)
针对高维排列空间贝叶斯优化中表示可扩展性差的问题,提出基于排序算法的核函数框架,其中Mallows核是枚举排序的特例,而新提出的Merge核通过归并排序的分解结构实现Θ(n log n)复杂度且无信息损失,在低维性能相当,高维显著提升优化效果与计算效率。
2026-06-15 cs.AI cs.LG
Scalable Bayesian Network Structure Learning with Splines
University of Waterloo(滑铁卢大学)
贝叶斯网络(BN)的图结构可以使用众所周知的评分和搜索方法从数据中学习。以前的工作已经表明,将条件概率分布(CPD)的结构化表示纳入评分和搜索方法可以提高学习图的准确性。在本文中,我们提出了一种新的方法,能够学习BN的图形,同时建模变量之间的线性和非线性局部概率关系。我们实现这一目标的组合特征选择,以减少局部关系的搜索空间和扩展的得分和搜索方法,将建模的CPD变量作为多元自适应回归样条(MARS)。MARS是表示为分段样条函数的多项式回归模型。我们在一组离散和连续的基准实例上表明,我们提出的方法可以提高学习图的准确性,同时扩展到具有大量变量的实例。
2022-06-20 cs.AI cs.LG stat.ML
From Shallow Bayesian Neural Networks to Gaussian Processes: General Convergence, Identifiability and Scalable Inference
Universidade do Estado de Minas Gerais (UEMG)(巴西米纳斯戈亚斯州大学);Universidade Federal de Minas Gerais (UFMG)(巴西联邦大学矿务学院)
本文研究了浅层贝叶斯神经网络到高斯过程的收敛性,提出了一种新的协方差函数,并通过实验验证了其在可扩展推断中的有效性。
2026-02-26 cs.AI cs.LG stat.ML
Compressed Active Subspaces for Scalable Bayesian Inference
Brookhaven National Laboratory(布鲁克海文国家实验室);Texas A&M University(德克萨斯A&M大学);Argonne National Laboratory(阿贡国家实验室)
针对活性子空间方法在大模型中存储梯度内存过大的问题,提出压缩活性子空间(CAS),通过结构化等距嵌入降维后构建子空间,大幅降低内存需求,实现大规模神经网络的贝叶斯推断并保持性能与不确定性估计。
2026-09-18 cs.AI cs.LG stat.ME
Falling Rule Lists
MIT(麻省理工学院)
下降规则列表是由“若-则”规则的有序列表组成的分类模型,其中(i)规则的顺序决定了每个规则应该对哪个示例进行分类,以及(ii)估计的成功概率沿着列表单调递减。这类规则列表的灵感来自医疗保健应用程序,其中患者将被分层为风险集,并且应首先考虑风险最高的患者。我们提供了一个贝叶斯框架学习下降的规则列表,不依赖于传统的贪婪决策树学习方法。
2015-02-01 cs.AI cs.LG
Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
Department of Computing, Imperial College London(伦敦帝国理工学院计算机系)
提出变分混合专家路由(VMoER),通过将贝叶斯推断限制在专家选择阶段,实现大规模模型的不确定性校准,在微调基础模型上显著提升路由稳定性、降低校准误差并提高分布外检测AUROC,且额外计算开销极小。
2026-05-28 cs.AI cs.LG stat.ML
JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data
UC Berkeley(加州大学伯克利分校);FAIR(FAIR(Meta AI 研究院))
多任务贝叶斯优化(MBO)的目标是最大限度地减少准确优化目标黑盒函数所需的查询数量,并允许访问其他辅助函数的离线评估。当离线数据集很大时,现有方法的可扩展性是以牺牲表达性和推理质量为代价的。我们提出了JUMBO,MBO算法,通过基于来自训练两个高斯过程(GP)的采集信号的组合来查询额外的数据来避开这些限制:直接在输入域中操作的冷GP和在使用离线数据预训练的深度神经网络的特征空间中操作的暖GP。这样的分解可以动态地控制从在线和离线数据导出的信息的可靠性,并且预训练的神经网络的使用允许大的离线数据集的可扩展性。从理论上讲,我们推导出的遗憾界的JUMBO,并表明,它实现了无遗憾的条件下,类似于GP-UCB(Srinivas等。2010)。从经验上讲,我们证明了显着的性能改善现有的方法在两个现实世界的优化问题:超参数优化和自动化电路设计。
2022-03-10 cs.AI cs.LG
Scalable Spatiotemporal Prediction with Bayesian Neural Fields
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
针对时空数据集规模扩大对灵活且可扩展统计方法的需求,本文提出贝叶斯神经场(BayesNF)模型,整合深度神经网络与分层贝叶斯推理,在气候、公共卫生数据预测等任务中提升性能并提供开源工具。
2024-11-26 cs.AI cs.LG stat.AP
Fast and Scalable Bayesian Deep Learning by Weight-Perturbation in Adam
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);University of British Columbia(不列颠哥伦比亚大学);University of Oxford(牛津大学);University of Edinburgh(爱丁堡大学)
深度学习中的不确定性计算对于设计鲁棒和可靠的系统至关重要。变分推断(VI)是一种很有前途的方法,这样的计算,但需要更多的努力来实现和执行相比,最大似然方法。在本文中,我们提出了新的自然梯度算法,以减少这种努力的高斯平均场VI。我们的算法可以通过在梯度评估期间扰动网络权重来在Adam优化器内实现,并且可以通过使用适应学习率的向量来廉价地获得不确定性估计。这需要较低的内存,计算和实施工作比现有的VI方法,同时获得可比质量的不确定性估计。我们的实验结果证实了这一点,并进一步表明,我们的算法中的权重扰动可能是有用的强化学习和随机最优化的探索。
2018-08-02 cs.AI cs.LG stat.CO
Scalable First-Order Bayesian Optimization via Structured Automatic Differentiation
Cornell University(康奈尔大学)
贝叶斯优化(BO)已经显示出巨大的潜力,用于评估昂贵的函数的全局优化,但尽管取得了许多成功,标准方法在高维中仍然存在困难。为了提高BO的性能,先前的工作建议将梯度信息合并到目标的高斯过程代理中,从而产生用于$d$维度中的$n$观测的大小为$nd \times nd$的核矩阵。天真地乘(resp。求逆)这些矩阵需要$\mathcal{O}(n^2d^2)$(分别$\mathcal{O}(n^3d^3$))操作,这对于中等尺寸和样本量变得不可行。在这里,我们观察到,广泛的内核产生结构化矩阵,使一个精确的$\mathcal{O}(n^2d)$矩阵向量乘法梯度观测和$\mathcal{O}(n^2d^2)$海森观测。除了规范的内核类,我们得到一个编程的方法来利用这种类型的结构的转换和讨论的内核类的组合,这构成了一个结构感知的自动微分算法。我们的方法适用于几乎所有的典型内核,并自动扩展到复杂的内核,如神经网络,径向基函数网络,光谱混合内核没有任何额外的衍生,使灵活的,问题相关的建模,同时缩放一阶BO到高$d$。
2022-06-16 cs.AI cs.LG cs.MS