Expressivity of Contradiction Graphs
Department of Mathematics, Statistics, & Computer Science(数学、统计与计算机科学系)
本文研究二元概念类的矛盾图,通过分析矛盾图的结构确定VC维的阈值,从而精确计算VC维并区分有限与无限VC维。
2026-09-09 cs.DM cs.LG stat.ML
Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization
National University of Singapore(新加坡国立大学);Massachusetts Institute of Technology(麻省理工学院)
基于信息的贝叶斯优化(BO)算法在优化黑箱目标函数方面取得了最先进的性能。然而,它们通常需要几个近似或简化假设(没有清楚地理解它们对BO性能的影响)和/或它们对批量BO的概括在计算上是不实用的,特别是随着批量大小的增加。为了缓解这些问题,本文提出了一种新的可信最大化者熵搜索(TES)获取函数:它测量输入查询在有限的可信最大化者集合上对最大化者的信息增益的贡献,即,输入优化从目标函数的高斯过程后验置信度采样的函数。评估TES仅需要具有采样的随机近似或具有期望传播的确定性近似,这两者都使用合成基准目标函数和现实世界的优化问题进行研究和经验评估,例如,卷积神经网络的超参数调整和合成“物理上可实现的”人脸来欺骗黑盒人脸识别系统。尽管TES可以自然地推广到任何一种近似的批量变体,但在我们的实验中,后者可以扩展到更大的批量。
2021-07-30 cs.AI cs.LG stat.ML
Some theoretical improvements on the tightness of PAC-Bayes risk certificates for neural networks
Dept. of Signal Theory and Communications UC3M(信号理论与通信系 UC3M);AI Centre Dept. of Computer Science UCL(人工智能中心 计算机科学系 UCL)
本文通过改进KL散度界、引入隐式微分优化证书、提出非可微目标优化方法,提升了神经网络PAC-Bayes风险证书的紧性与可用性,并首次在CIFAR-10上实现非空泛化界。
2025-11-11 cs.IT cs.LG math.IT
Universal rates of ERM for agnostic learning
Purdue University(普渡大学)
本文研究了不可知设定下二元分类的 ERM 通用学习速率,揭示了 $e^{-n}$、$o(n^{-1/2})$ 或任意慢的三分结构,并完整刻画了概念类、目标依赖和 Bayes 依赖的通用速率。
2025-07-15 cs.LG stat.ML
Toward Physically Realizable Quantum Neural Networks
Purdue University(普渡大学)
最近,人们对量子神经网络(QNN)及其在不同领域的应用产生了浓厚的兴趣。QNN的当前解决方案对它们的可扩展性提出了重大挑战,确保满足量子力学的假设,并且网络是物理可实现的。QNN的指数状态空间对训练过程的可扩展性提出了挑战。不可克隆原则禁止对训练样本进行多个拷贝,而测量假设导致了非确定性损失函数。因此,依赖于重复测量每个样本的几个副本来训练QNN的现有方法的物理可实现性和效率尚不清楚。本文提出了一种新的QNN模型,该模型依赖于量子感知器(QP)传递函数的带限傅立叶展开来设计可扩展的训练过程。该训练过程通过随机量子随机梯度下降技术进行增强,从而消除了对样本复制的需要。我们表明,这种训练过程收敛到真正的最小值的期望,即使在存在的非确定性,由于量子测量。我们的解决方案有许多重要的好处:(i)使用具有集中傅立叶功率谱的QP,我们表明QNN的训练过程可以扩展;(ii)它消除了对重新排序的需要,从而与无克隆规则保持一致;(iii)提高了整个训练过程的数据效率,因为每个数据样本每个时期处理一次。我们提出了一个详细的理论基础,我们的模型和方法的可扩展性,准确性和数据效率。我们还通过一系列的数值实验验证了我们的方法的实用性。
2022-03-22 cs.LG quant-ph
Sample Complexity and Decision-Theoretic Guarantees for Bayesian Model Averaging over Decision Trees with Catalan-Exponential Priors
School of Computing and Engineering University of Bedfordshire, Luton, UK(计算与工程学院贝德福德郡大学,卢顿,英国)
针对具有Dirichlet-Multinomial叶模型和Catalan指数树大小先验的贝叶斯决策树,建立了理性承诺阈值的完整非渐近理论,回答了贝叶斯模型平均权重何时蕴含足够认知信息以证明对平均分布的承诺利用是合理的。
2026-06-02 cs.LG stat.ML
Information-theoretic Bayesian Optimization: Survey and Tutorial
Universidad Pontificia Comillas(康普卢滕塞大学)
本文综述与教程介绍信息论贝叶斯优化,针对非凸黑箱函数优化问题,详述其基于高斯过程等代理模型及信息论采集函数的方法,覆盖复杂场景适配并指出研究方向。
2025-01-22 cs.AI cs.IT cs.LG
qEUBO: A Decision-Theoretic Acquisition Function for Preferential Bayesian Optimization
Caltech(加州理工学院);Meta;Cornell University(康奈尔大学)
偏好贝叶斯优化(PBO)是一种利用偏好反馈优化决策者潜在效用函数的框架。这项工作介绍了预期效用的最佳选择(qEUBO)作为一种新的收购功能PBO。当决策者的响应是无噪声的,我们表明,qEUBO是一步贝叶斯最优,从而相当于流行的知识梯度采集功能。我们还表明,qEUBO享有一个加性常数近似保证一步贝叶斯最优策略时,决策者的响应被噪声破坏。我们提供了一个广泛的评估qEUBO,并证明它优于国家的最先进的采集功能PBO在许多设置。最后,我们表明,在充分的规律性条件下,qEUBO的贝叶斯简单的遗憾收敛到零的速度$o(1/n)$的查询,$n$,去无穷大的数量。相比之下,我们表明,简单的遗憾下qEI,一个流行的收购功能,标准BO经常用于PBO,可能无法收敛到零。qEUBO具有优越的性能、简单的计算和基于决策理论的合理性,是PBO的一种很有前途的捕获函数。
2023-03-28 cs.LG stat.ML
A Stratified Analysis of Bayesian Optimization Methods
SigOpt
实证分析是理论分析的重要补充,是研究贝叶斯优化问题的重要手段。经验主义的见解往往暴露出理论分析无法触及的优点和缺点。我们定义了两个指标比较贝叶斯优化方法的性能,并提出了一个排名机制,总结性能在各种流派或层次的测试功能。这些测试函数用于模拟超参数优化问题的复杂性,这是贝叶斯优化的最突出应用,但具有封闭形式,允许快速评估和更可预测的行为。这提供了一种灵活有效的方法来研究具有特定属性的函数,例如振荡行为或域边界上的最佳值。
2016-03-31 cs.LG stat.ML
Towards Fundamental Limits for Active Multi-distribution Learning
The University of Arizona(亚利桑那大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对主动多分布学习提出新算法,在可实现和不可知设置下给出标签复杂度上界,并证明可实现情形下信息论最优,同时建立被动学习的实例相关样本复杂度界。
2025-06-21 cs.LG stat.ML
Generalization Bounds: Perspectives from Information Theory and PAC-Bayes
University College London(伦敦大学学院);Chalmers University of Technology(查尔姆斯理工大学);Inria(法国国家信息与自动化研究所);University of Illinois(伊利诺伊大学)
本专著系统性地统一了PAC-Bayes与信息论视角的机器学习泛化界,揭示了两者紧密联系与共享的模块化证明结构,并重点探讨了条件互信息(CMI)框架及其在深度学习中的应用。
2024-03-27 cs.AI cs.IT cs.LG
Mastering Multiple-Expert Routing: Realizable $H$-Consistency and Strong Guarantees for Learning to Defer
Courant Institute of Mathematical Sciences(Courant数学科学研究所);Google Research(谷歌研究)
本文提出新的替代损失函数和算法,解决多专家场景下的延迟学习问题,提供强理论保证和实验验证。
2025-12-29 cs.LG stat.ML
Joint Entropy Search for Maximally-Informed Bayesian Optimization
Lund University(隆德大学);University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Stanford University(斯坦福大学);DBtune(DBtune公司)
信息理论贝叶斯优化技术已经成为流行的优化昂贵的评估黑盒功能,由于其非近视的品质。熵搜索和预测熵搜索都考虑了输入空间中最优值上的熵,而最近的最大值熵搜索考虑了输出空间中最优值上的熵。我们提出了联合熵搜索(JES),一种新的信息理论的采集功能,认为一个全新的量,即在输入和输出空间的联合最佳概率密度熵。为了将这些信息,我们考虑减少熵条件幻想的最佳输入/输出对。由此产生的方法主要依赖于标准的GP机器,并消除了通常与信息理论方法相关的复杂近似。以最小的计算开销,JES显示出卓越的决策能力,并为跨各种任务的信息理论方法提供最先进的性能。作为一个轻量级的方法与优越的结果,JES提供了一个新的去获取功能的贝叶斯优化。
2023-01-14 cs.LG stat.ML
Information-Theoretic Multi-Objective Bayesian Optimization with Continuous Approximations
Washington State University(华盛顿州立大学)
许多现实世界的应用程序涉及使用连续函数近似的多个目标的黑盒优化,权衡评估的准确性和资源成本。例如,在火箭发射研究中,我们需要找到使用连续保真度模拟器(例如,改变容差参数以折衷仿真时间和精度)用于设计评估。目标是通过最小化评估成本来近似最优帕累托集。在本文中,我们提出了一种新的方法称为信息理论的多目标连续近似贝叶斯优化(iMOCA)}来解决这个问题。其核心思想是选择输入序列和函数逼近的多个目标,最大化的信息增益每单位成本的最优帕累托前沿。我们在不同的合成和真实世界的基准测试的实验表明,iMOCA显着提高了现有的单保真度的方法。
2020-11-23 cs.AI cs.LG stat.ML
Shedding a PAC-Bayesian Light on Adaptive Sliced-Wasserstein Distances
Flatiron Institute(熨斗研究所);MIT(麻省理工学院);Criteo AI Lab(科韬人工智能实验室)
本文利用PAC-贝叶斯理论为自适应切片-Wasserstein距离建立泛化界,并提出通过优化理论界学习最具判别力的切片分布,辅以实验验证。
2023-05-31 cs.LG stat.ML
Information-Theoretic Safe Bayesian Optimization
Bosch Corporate Research(博世公司研究中心);TU Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心)
针对连续域中带未知安全约束的贝叶斯优化问题,提出直接利用 GP 后验的信息论安全探索准则,无需额外超参数,并在理论上保证高概率安全与任意精度收敛,实验显示数据效率和可扩展性提升。
2024-05-10 cs.AI cs.LG stat.ML
A Unified Information-Theoretic Approach to Constrained Multi-Fidelity Multi-Objective Bayesian Optimization
Nagoya Institute of Technology(名古屋工业大学)
提出统一信息论框架,通过变分下界衡量信息增益,联合优化多保真多目标贝叶斯优化中的位置与保真度选择,无需启发式处理约束,实验验证其有效性。
2026-10-08 cs.LG
A PAC-Bayesian Analysis of Graph Clustering and Pairwise Clustering
Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们制定加权图聚类作为一个预测问题:给定一个子集的边缘权重,我们分析的能力图聚类预测剩余的边缘权重。该公式使实际和理论上的比较不同的方法图聚类,以及比较图聚类与其他可能的方式来建模的图。我们采用了PAC-Bayesian协聚类分析(Seldin and Tishby,2008; Seldin,2009)来推导图聚类的PAC-Bayesian泛化界。该界限表明,图聚类应该优化经验数据拟合和聚类在图节点上保留的互信息之间的权衡。从信息理论考虑导出的类似权衡已经显示在实践中产生最先进的结果(Slonim等人,2005年; Yom-Tov和Slonim,2009年)。本文通过提供更好的理论基础,提出形式化的推广保证,并提供更准确的方法来处理有限样本问题,从而支持了经验证据。我们推导出一个界最小化算法,并表明它在现实生活中的问题提供了很好的结果,所得出的PAC贝叶斯界是合理的紧。
2010-09-02 cs.DS cs.LG stat.ML
Information-Theoretic Bayesian Optimization for Bilevel Optimization Problems
Nagoya Institute of Technology(名古屋技术大学)
本文提出基于信息论的双层优化问题贝叶斯优化方法,通过信息增益衡量两个层次问题的收益,有效解决嵌套结构下的优化问题。
2026-07-13 cs.LG
Remarks on kernel Bayes' rule
核贝叶斯规则是在再生核Hilbert空间中实现贝叶斯推断的一种非参数核方法。然而,我们从理论和实验上证明,核贝叶斯规则的预测结果在某些情况下是不自然的。我们认为这种现象部分是由于核贝叶斯规则中的假设一般不成立。
2015-10-10 stat.ML
High-Dimensional Gaussian Mean Estimation under Realizable Contamination
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣迭戈分校)
研究在可实现ε污染模型下高斯分布均值估计问题,提出信息-计算差距,显示算法需更多样本或指数时间,同时给出近似匹配下界的方法。
2026-07-15 cs.DS cs.LG math.ST
Discriminative Feature Feedback with General Teacher Classes
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);McMaster University(麦克马斯特大学)
本文研究了判别特征反馈(DFF)的理论性质,分析了其在可实现和不可实现设置中的错误界限,并揭示了DFF与在线学习之间的差异。
2026-02-06 cs.LG
Information-theoretic limits of Bayesian network structure learning
Purdue University(普渡大学)
在本文中,我们研究了学习贝叶斯网络(BN)的结构,离散以及连续的随机变量,从有限数量的样本的信息理论的限制。我们发现,任何程序恢复正确的结构所需的最小样本数分别为$Ω(m)$和$Ω(k \log m + (k^2/m))$增长为非稀疏和稀疏BN,其中$m$是变量的数量和$k$是每个节点的父母的最大数量。我们提供了一个简单的配方,基于扩展的Fano不等式,以获得信息理论的限制,任何指数家庭BN的结构恢复。我们实例化我们的结果为特定的条件分布在指数家庭的基本限制学习各种常用的BN,如条件概率表为基础的网络,高斯BN,噪声或网络和逻辑回归网络的特征。在获得我们的主要结果的途中,我们获得了稀疏和非稀疏本质DAG的数量上的严格界限。最后,作为一个副产品,我们恢复稀疏变量选择逻辑回归的信息理论限制。
2017-03-03 cs.IT cs.LG math.IT
An Exponential Lower Bound for Linearly-Realizable MDPs with Constant Suboptimality Gap
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
强化学习理论中的一个基本问题是:假设最优的$Q$ -函数位于给定的$d$维特征映射的线性跨度中,样本有效的强化学习(RL)是否可能?Weisz et al.(2020)最近的显着结果否定地解决了这个问题,提供了一个指数(在$d$中)样本量下限,即使智能体可以访问环境的生成模型,该下限也是成立的。人们可能希望通过进一步假设一个更有利的假设来绕过RL的这个信息论障碍:在最佳动作的最佳$Q$值和次佳动作的最佳值之间存在一个\emph{constant suboptimality gap}(对于所有状态)。希望是,有一个大的次优差距将允许更容易识别最佳行动本身,从而使问题易于处理;事实上,如果代理可以访问生成模型,则实际上可以通过添加这个更有利的假设来实现样本有效的RL。这项工作的重点是在标准的在线强化学习设置,我们的主要结果解决了这个问题的负面:我们的硬度结果表明,指数样本复杂度下限仍然成立,即使一个常数的次优差距,除了具有线性可实现的最佳$Q$ -功能。也许令人惊讶的是,这意味着在线RL设置和生成模型设置之间的指数分离。补充我们的负硬度结果,我们给出了两个积极的结果,表明可证明样本有效的RL是可能的,无论是在一个额外的低方差假设下,还是在一个新的超收缩假设下(两者都隐含地对底层动力学模型施加了更强的条件)。
2021-10-19 cs.AI cs.LG stat.ML
Lower Bounds on the Bayes Risk of the Bayesian BTL Model with Applications to Comparison Graphs
National University of Singapore(新加坡国立大学)
我们考虑的问题,聚集成对比较,以获得一个共识的排名顺序的对象的集合。我们使用流行的Bradley-Terry-Luce(BTL)模型,该模型允许我们概率地描述对象之间的成对比较。特别是,我们采用贝叶斯BTL模型,它允许有意义的先验假设,并应付的情况下,对象的数量是大的,一些对象之间的比较的数量是小的,甚至为零。对于传统的贝叶斯BTL模型,我们推导出基于范数的失真函数估计量的贝叶斯风险的信息论下界。我们比较信息理论的下界与贝叶斯的Cramér-Rao下界,我们推导的情况下,贝叶斯风险的均方误差。我们说明了效用的界限,通过模拟比较他们的期望最大化为基础的推理算法提出的贝叶斯BTL模型的错误性能。我们绘制的BTL模型和玩家间的游戏表示为比较图中的边缘的成对比较之间的相似之处,并分析各种图形结构的下界的影响。我们还扩展了信息论和贝叶斯Cramér-Rao下界更一般的贝叶斯BTL模型,考虑到主场优势。
2018-04-20 cs.IT cs.LG math.IT
Information-Theoretic Analysis of Epistemic Uncertainty in Bayesian Meta-learning
King’s College London(伦敦国王学院)
一个训练好的预测器的整体预测不确定性可以分解为由于认知和任意不确定性的单独贡献。在贝叶斯公式下,假设一个明确指定的模型,这两个贡献可以用信息理论量精确表示(对于对数损失)或有界(对于更一般的损失)(Xu和Raginsky,2020)。本文讨论了在贝叶斯元学习的更广泛的设置内的信息理论框架内的认知不确定性的研究。假设一个一般的分层贝叶斯模型,其中超参数确定模型参数的每个任务的先验。精确的表征(日志损失)和边界(更一般的损失)的认知不确定性-量化的最小超额元风险(MEMR)-最佳元学习规则。利用这种特性来洞察认知不确定性对任务数量和每任务训练数据量的依赖性。实验提出,使用建议的信息理论的界限,通过神经互信息估计,比较传统的学习和元学习的性能作为元学习任务的数量增加。
2021-10-21 cs.IT cs.LG eess.SP
Rate-Distortion Analysis of Minimum Excess Risk in Bayesian Learning
Sharif University of Technology(谢里夫理工大学)
在参数贝叶斯学习中,假定先验是关于确定样本分布的参数$W$的。在此设置中,最小超额风险(MER)定义为从数据中学习时可实现的最小预期损失与观察到$W$时可实现的最小预期损失之间的差值。在本文中,我们建立并扩展了(Xu & Raginsky,2020)的最新结果,以分析贝叶斯学习中的MER,并推导出其信息理论界。我们将问题表示为(受约束的)率失真优化,并展示了解决方案如何通过其他两个更容易研究的率失真函数上下界。下限表示使用来自参数$W$的$R$信息位的任何过程可实现的最小可能超额风险。对于上界,优化被进一步约束为使用来自训练集的$R$位,该设置将MER与频率主义学习中的泛化间隙上的信息理论界相关联。我们推导出这些上限和下限之间的差异的信息理论界,并表明,他们可以提供有序紧速率MER在一定条件下。这种分析提供了更多的洞察贝叶斯学习的信息理论的性质,以及提供新的界限。
2021-07-17 cs.IT cs.LG math.IT
Revisiting Model-Agnostic Private Learning: Faster Rates and Active Learning
University of California Santa Barbara(加州大学圣巴巴拉分校);University of California, San Diego(加州大学圣地亚哥分校)
教师团体的私人聚合(PATE)框架是最近最有前途的差异化私人学习方法之一。现有的理论分析表明,PATE始终学习任何VC类的可实现的设置,但在更一般的情况下,最佳分类器的出错率是有界远离零解释其成功的不足。我们通过引入Tsybakov噪声条件(TNC)来填补这一空白,并建立更强大,更可解释的学习边界。这些界限提供了新的见解,当PATE的作品和改善现有的结果,即使在较窄的可实现的设置。我们还研究了使用主动学习来节省隐私预算的令人信服的想法,实证研究表明了这种新想法的有效性。证明中的新组件包括对多数投票分类器的更精细的分析-这可能是独立的兴趣-以及观察到合成的“学生”学习问题在Tsybakov噪声条件下几乎可以通过构建来实现。
2022-03-11 cs.CR cs.LG
An Information-Theoretic Analysis of Bayesian Reinforcement Learning
KTH Royal Institute of Technology(瑞典皇家理工学院)
基于Xu和Raginksy [1]为监督学习问题引入的框架,我们研究了基于模型的贝叶斯强化学习问题的最佳可实现性能。为此,我们将最小贝叶斯后悔(MBR)定义为通过从收集的数据中学习或通过了解环境及其动态可获得的最大预期累积奖励之间的差异。我们专门这个定义的强化学习问题建模为马尔可夫决策过程(MDP)的核心参数是未知的代理和其不确定性表示的先验分布。给出了一种推导MBR上界的方法,并给出了基于相对熵和Wasserstein距离的具体上界。然后,我们专注于两个特殊的情况下,MDP,多臂强盗问题(MAB)和在线优化与部分反馈问题。对于后一个问题,我们证明了我们的边界可以从Russo和Van Roy [2]的当前信息论边界以下恢复。
2022-07-18 cs.LG stat.ML
Information-Theoretic Scoring Rules to Learn Additive Bayesian Network Applied to Epidemiology
University of Zurich(苏黎世大学)
贝叶斯网络建模是一种非常适合研究杂乱和高度相关的数据集的方法,这些数据集在例如,系统流行病学从观测数据集学习贝叶斯网络的一种流行方法是在搜索和评分方法中识别最大后验网络。许多分数都是基于贝叶斯或频率论提出的。从应用的角度来看,一个合适的方法将允许数据的多个分布,并且足够强大,可以自主运行。计算分数的一个有前途的框架是广义线性模型。事实上,存在快速估计算法和许多针对常见流行病学问题的定制解决方案。本文的目的是提出一个R包ABN,它具有多个频率论分数的实现和一些现实的模拟,显示其可用性和性能。它包括有效处理数据分离和调整的功能,这在系统流行病学中非常常见。
2018-08-03 cs.LG stat.CO stat.ML
A Bayesian Information-Theoretic Approach to Data Attribution
University of Amsterdam(阿姆斯特丹大学);Spotify
本文提出基于贝叶斯信息论的训练数据归因方法,通过信息损失度量归因样本,结合高斯过程近似提升可扩展性,实验显示在反事实敏感性、真实检索和聚类选择中表现优异。
2026-04-08 cs.LG stat.ML
A Bayesian/Information Theoretic Model of Bias Learning
London School of Economics(伦敦政治经济学院);Royal Holloway College(皇家霍洛威学院);University of London(伦敦大学)
在本文中,学习适当的偏见相关任务的环境中的问题进行了检查,从贝叶斯的角度来看。相关任务的环境被证明是自然建模的概念{ \em目标}先验分布。从客观先验采样对应于从环境中采样不同的学习任务。有人认为,对于许多常见的机器学习问题,虽然我们不知道问题的真实(客观)先验,但我们确实知道真实先验所属的一组可能先验。结果表明,在这些情况下,学习者可以使用贝叶斯推理,学习真正的先验采样从客观的先验。当一个任务与其他几个任务同时学习时,给出了学习该任务所需的信息量的界限。边界表明,如果学习者对真实先验知识知之甚少,并且真实先验的维数很小,则对多个任务进行采样是非常有利的。
2019-11-14 cs.LG stat.ML
Information-theoretic Inducing Point Placement for High-throughput Bayesian Optimisation
Secondmind(Secondmind公司);University of Cambridge(剑桥大学)
稀疏高斯过程是高吞吐量贝叶斯优化(BO)循环的关键组成部分-这是一种越来越常见的设置,其中评估预算很大且高度并行。通过使用可用数据的代表性子集来构建近似后验,稀疏模型通过依赖于一小组伪观测(所谓的诱导点)而不是完整的数据集,大大降低了代理建模的计算成本。然而,目前的方法来设计诱导点是不合适的BO循环内,因为它们试图减少目标函数的全局不确定性。因此,牺牲了精确优化所需的有希望和数据密集区域的高保真度建模,并且计算资源反而浪费在对已知次优的空间区域进行建模上。受基于熵的BO方法的启发,我们提出了一种新的诱导点设计,使用原则性的信息理论标准来选择诱导点。通过选择诱导点来最大限度地减少全局不确定性和目标函数最大值的不确定性,我们构建了能够支持高精度高通量BO的代理模型。
2022-07-13 cs.LG stat.ML
Transformer Architectures as Complete Bayes Processes: A Formal Proof in the Measure-Theoretic Kernel Framework
Department of Computer Science and Engineering, SUSTech University(计算机科学与工程系,四川大学)
本文在测度论核框架下形式化证明,当Transformer内部更新机制满足贝叶斯联合分布条件时,其前向计算等价于精确的贝叶斯后验更新。
2026-06-29 cs.AI cs.LG
CO-BED: Information-Theoretic Contextual Optimization via Bayesian Experimental Design
University of Oxford(牛津大学);Microsoft Research(微软研究院)
本研究从贝叶斯实验设计视角形式化上下文优化问题,提出通用模型无关框架CO-BED,用黑盒变分法结合连续松弛方案求解,在多实验中表现出媲美定制方案的竞争力。
2023-07-13 cs.AI cs.LG stat.CO