Evidence of bias in the Eurovision song contest: modelling the votes using Bayesian hierarchical models
欧洲歌唱大赛(Eurovision Song Contest)是欧洲广播联盟(European Broadcasting Union)自1956年以来举办的年度音乐比赛。该活动在欧洲各地进行电视直播。每个参赛国家都将献上一首歌曲,并通过电话投票和陪审团投票的方式进行投票。多年来,这导致了对战术投票的猜测,歧视了一些参与者,从而导致最终结果的偏见。在本文中,我们通过贝叶斯分层模型研究了参与国的地理邻近性,移民和文化特征的投票中存在的积极或消极偏见(这可能大致表明偏袒或歧视)。我们的分析没有发现负面偏见的证据,尽管轻微的正面偏见似乎系统地出现,将选民与表演者联系起来。
2013-08-28 stat.AP
Learning discrete Bayesian networks with hierarchical Dirichlet shrinkage
Gladstone Institute of Data Science and Biotechnology(格拉德斯通数据科学与生物技术研究所);Duke University(杜克大学)
本文提出一种层次模型用于节点-父条件概率,通过后验诱导收缩低维潜在参数,结合Gibbs采样和Metropolis调整 Langevin 算法进行高效采样,并通过模拟验证方法在稀疏计数、图结构发现和竞争DAG选择中的性能,应用于乳腺癌预后网络结构分析。
2026-08-25 stat.ME stat.ML
Adaptive Inducing Points Selection For Gaussian Processes
TU Berlin(柏林工业大学)
高斯过程(\textbf{GPs})是一种灵活的非参数模型,具有很强的概率解释。虽然作为对时间序列执行推断的标准选择,但GP在流设置中工作的技术很少。\cite{bui2017streaming}开发了一种有效的变分方法,通过使用稀疏技术来训练在线GP:整个观测集由一组较小的诱导点(\textbf{IPs})近似,并使用新数据进行移动。IP地址的数目和位置对算法的性能有很大的影响。除了优化它们的位置之外,我们还建议根据GP的属性和数据的结构自适应地添加新点。
2021-07-21 cs.LG stat.ML
Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)
Carnegie Mellon University(卡内基梅隆大学);Philips Research Hamburg(飞利浦汉堡研究院)
我们引入了一个新的结构化核插值(SKI)框架,该框架推广和统一了可伸缩高斯过程(GP)的诱导点方法。SKI方法通过核插值产生用于快速计算的核近似。SKI框架阐明了诱导点方法的质量如何取决于诱导(又名插值)点的数量、插值策略和GP协方差核。SKI还提供了一种机制,通过选择不同的内核插值策略来创建新的可扩展内核方法。使用SKI和局部三次内核插值,我们引入了KISS-GP,它1)比诱导点替代方案更具可扩展性,2)自然地使Kronecker和Toeplitz代数在可扩展性方面获得了实质性的额外增益,而不需要任何网格数据,3)可用于快速和富有表现力的内核学习。KISS-GP的时间复杂度为O(n)。我们评估KISS-GP的核矩阵近似,核学习和自然声音建模。
2015-03-03 cs.LG stat.ML
Scalable Gaussian Processes with Billions of Inducing Inputs via Tensor Train Decomposition
Lomonosov Moscow State University(莫斯科国立大学);Cornell University(康奈尔大学);National Research University Higher School of Economics(国立研究型高等经济大学);Institute of Numerical Mathematics RAS(俄罗斯科学院数值数学研究所)
提出了一种高斯过程(GP)模型近似推理的方法(TT-GP)。我们建立在以前的可扩展GP研究,包括随机变分推理的基础上诱导输入,内核插值,和结构利用代数。我们的方法的核心思想是使用张量训练分解变参数,这使我们能够训练GP与数十亿诱导输入,并实现国家的最先进的结果在几个基准。此外,我们的方法允许基于深度神经网络训练内核,而无需对底层GP模型进行任何修改。神经网络学习数据的多维嵌入,GP使用该多维嵌入来进行最终预测。我们训练GP和神经网络参数端到端没有预训练,通过GP边际似然最大化。我们在几个回归和分类基准数据集,包括MNIST,CIFAR-10,和航空公司的效率所提出的方法。
2018-01-17 cs.LG stat.ML
Inducing Hierarchical Compositional Model by Sparsifying Generator Network
Harbin Engineering University(哈尔滨工程大学);NC State University(北卡罗来纳州立大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出了通过稀疏化生成器网络来学习分层组合AND-OR模型,用于可解释图像合成。该方法采用场景-对象-部件-子部件-基元的层次结构表示图像。场景具有不同的类型(即,或),每个都由多个对象组成(即,AND)。这可以在场景-对象-部件-子部件层次结构中递归地公式化,并且在基元级别(例如,类小波基)。为了在图像合成中实现这种与或层次结构,我们学习了一个由以下两个组件组成的生成器网络:(i)层次结构的每一层由卷积基函数的过完备集表示。现成的卷积神经架构被用来实现层次结构。(ii)在端到端训练中引入稀疏诱导约束,从初始密集连接的发电机网络诱导稀疏激活和稀疏连接的AND-OR模型。利用直接的稀疏诱导约束,即仅允许在每一层处激活顶部$k$基函数(其中$k$是超参数)。学习的基函数也能够进行图像重建以解释输入图像。在实验中,所提出的方法进行了测试,在四个基准数据集。结果表明,有意义的和可解释的层次表示学习与更好的图像合成和重建质量比基线。
2020-06-20 cs.CV cs.LG eess.IV
Bayesian Compression for Deep Learning
University of Amsterdam(阿姆斯特丹大学);TNO Intelligent Imaging(荷兰应用科学研究组织智能成像);CIFAR(加拿大高等研究院)
深度学习中的压缩和计算效率已经成为一个具有重要意义的问题。在这项工作中,我们认为解决这个问题的最有原则和最有效的方法是采用贝叶斯的观点,通过稀疏诱导先验,我们修剪了网络的大部分。本文介绍了两个新的:1)我们使用分层先验来修剪节点,而不是单独的权重,2)我们使用后验不确定性来确定最佳的固定点精度来编码的权重。这两个因素都显著有助于在压缩率方面达到最先进的水平,同时仍然与旨在优化速度或能源效率的方法保持竞争力。
2017-11-06 cs.LG stat.ML
Spherical Inducing Features for Orthogonally-Decoupled Gaussian Processes
University of Sydney(悉尼大学);University of Cambridge(剑桥大学);Secondmind
针对域间变分高斯过程的实际问题,提出基于球面诱导特征的正交解耦扩展方法,构建灵活的数据依赖基函数,兼具性能与可扩展性,经多基准数据集验证有效。
2023-06-15 cs.LG stat.ML
Transforming Gaussian Processes With Normalizing Flows
PRHLT Research Center(PRHLT研究中心);Universitat Politècnica de València(瓦伦西亚理工大学);University of Warwick(华威大学);The Alan Turing Institute(阿兰·图灵研究所)
高斯过程(GP)可以用作灵活的非参数函数先验。受越来越多的规范化流的工作的启发,我们通过一个参数可逆变换,可以使输入相关的放大这类先验。这样做还允许我们编码可解释的先验知识(例如,有界性约束)。我们推导出对所得贝叶斯推断问题的变分近似,其与随机变分GP回归一样快(Hensman等人,2013年; Dezfouli和Bonilla,2015年)。这使得该模型成为GP先验的其他分层扩展的计算高效替代方案(Lazaro-Gredilla,2012; Damianou和Lawrence,2013)。由此产生的算法的计算和推理性能是优秀的,我们证明了这一点的数据集范围。例如,即使只有5个诱导点和一个依赖于输入的流,我们的方法始终与使用100个诱导点拟合的标准稀疏GP竞争。
2021-02-25 cs.LG
Measurement Dependence Inducing Latent Causal Models
University of Vienna(维也纳大学);Vienna Cognitive Science Hub(维也纳认知科学中心)
我们认为,测量依赖诱导潜在(MeDIL)因果模型的因果结构学习的任务。我们表明,这项任务可以在寻找边缘集团覆盖的图论问题的框架,从而在返回最小的MeDIL因果模型(minMCMs)的算法。该算法是非参数的,不需要关于线性或高斯性的假设。此外,尽管相当弱的假设aboutthe类的MeDIL因果模型,我们表明,minMCMs中的极小性意味着一些相当具体和有趣的属性。通过建立MeDIL因果模型作为边缘集团覆盖的语义,我们还为未来的工作提供了一个起点,进一步将因果结构学习与图论和网络科学的发展联系起来。
2020-09-21 cs.LG stat.ML
Hierarchical Nearest-Neighbor Gaussian Process Models for Large Geostatistical Datasets
用于分析地统计数据的空间过程模型需要随着空间位置的数量变大而变得令人望而却步的计算。本文提出了一类高度可扩展的最近邻高斯过程(NNGP)模型,为大型地统计数据集提供完全基于模型的推理。我们建立了NNGP是一个定义良好的空间过程,提供合法的有限维高斯密度稀疏精度矩阵。我们嵌入的NNGP作为一个稀疏诱导前丰富的分层建模框架内,并概述了如何计算效率高的马尔可夫链蒙特卡罗(MCMC)算法可以执行,而无需存储或分解大矩阵。该算法的每次迭代的浮点运算(触发器)在空间位置的数量上是线性的,从而呈现实质的可缩放性。我们说明了计算和推理的好处NNGP竞争的方法,使用模拟研究,还分析了森林生物量从一个庞大的美国森林资源清查数据集的规模,排除了其他降维方法。
2016-01-01 stat.ME
CRISP: Curriculum Inducing Primitive Informed Subgoal Prediction for Hierarchical Reinforcement Learning
针对分层强化学习中低层策略更新导致子目标失效的问题,本文提出课程驱动框架 CRISP,通过基元知情解析、逆强化学习正则化和统一训练循环提升训练稳定性与样本效率,在多个机器人任务上成功率提升超过40%。
2025-08-17 cs.LG
Diffusion Bridge Variational Inference for Deep Gaussian Processes
RIKEN AIP;Columbia University(哥伦比亚大学)
本文提出DBVI,通过学习的数据依赖初始分布改进DDVI,提升大规模深度高斯过程的推断效率和准确性。
2026-02-12 cs.LG
Inducing Interpretable Representations with Variational Autoencoders
University of Oxford(牛津大学);Northeastern University(东北大学);Stanford University(斯坦福大学);Microsoft Research(微软研究院)
我们开发了一个框架,将结构化的图形模型的变分自编码器(VAE)的\emph{encoders},使我们能够通过近似变分推断诱导可解释的表示。这使得我们既可以在给定图形模型的结构约束下执行推理(例如分类),又可以使用深度生成模型来处理混乱的高维域,在这些域中通常很难对所有变化进行建模。在这个框架中的学习是端到端进行的,具有变分目标,适用于无监督和半监督方案。
2016-11-22 cs.CV cs.LG stat.ML
Exploring Large Feature Spaces with Hierarchical Multiple Kernel Learning
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院)
对于监督学习和无监督学习,正定核允许使用大的且可能无限维的特征空间,其计算成本仅取决于观测的数量。这通常是通过欧几里德或希尔伯特范数对预测函数进行惩罚来完成的。在本文中,我们探讨了稀疏诱导范数,如l1-范数或块l1-范数的惩罚。我们假设,内核分解成一个大的总和,可以嵌入在一个有向无环图的个别基础内核,我们表明,它是可以通过一个分层的多内核学习框架,在多项式时间中选择内核的数量进行内核选择。这个框架自然适用于非线性变量选择;我们对合成数据集和UCI存储库数据集的广泛模拟表明,通过稀疏诱导范数有效地探索大特征空间可以带来最先进的预测性能。
2008-09-09 cs.LG stat.ML
Inducing a hierarchy for multi-class classification problems
Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
在分类标签遵循自然层次结构的应用中,利用标签结构的分类方法通常优于那些不利用标签结构的分类方法。不幸的是,大多数分类数据集没有预先配备分层结构,必须使用经典的平面分类器。在本文中,我们研究了一类方法,诱导层次结构,可以类似地提高分类性能的平面分类器。这类方法的结构如下:首先聚类的条件分布,随后使用一个层次分类器与诱导层次。我们证明了这类方法的有效性,发现一个潜在的层次结构和提高精度的原则模拟设置和三个真实的数据应用。
2021-02-20 cs.LG stat.ME stat.ML
Going With the Flow: Normalizing Flows for Gaussian Process Regression under Hierarchical Shrinkage Priors
Harvard University(哈佛大学);WU Vienna(维也纳经济大学)
本文提出将层次三重伽马收缩先验与正则化流变分推断相结合,用于高维高斯过程回归,实现变量稀疏化和高效后验近似,并在模拟及BACE-1结合亲和力数据上验证了其优于传统方法的性能。
2025-11-09 stat.ME
Inducing Sparse Coding and And-Or Grammar from Generator Network
Harbin Engineering University(哈尔滨工程大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们引入了一个可解释的生成模型,通过对生成器网络的特征图进行稀疏操作。有意义的层次表示使用建议的生成模型与稀疏激活。从生成器网络的底层到顶层的卷积核可以逐层学习诸如边缘和颜色、对象部分和整个对象之类的基元。从生成器网络的角度,我们提出了一种方法,同时诱导稀疏编码和与或语法的图像。实验表明,我们的方法是能够学习有意义的和可解释的层次表示。
2019-01-20 cs.AI cs.CV cs.LG
Vecchia-Inducing-Points Full-Scale Approximations for Gaussian Processes
Institute of Financial Services(金融服务研究所);Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);University of Zurich(苏黎世大学);Seminar for Statistics, ETH Zurich(苏黎世联邦理工学院统计系)
提出Vecchia诱导点全尺度(VIF)近似,结合全局诱导点与局部Vecchia近似的优势,通过基于相关性的邻居搜索策略和预处理迭代方法,实现高效、准确且数值稳定的高斯过程训练与预测。
2026-05-22 cs.LG stat.ME stat.ML
Variational Inducing Kernels for Sparse Convolved Multiple Output Gaussian Processes
无论是在多任务学习、多传感器网络还是结构化输出数据的幌子下,对多输出核方法的兴趣都在增加。从高斯过程的角度来看,多输出Mercer核是相关输出函数上的协方差函数。构造这种内核的一种方式是基于卷积过程(CP)。这种方法的一个关键问题是有效的推理。Alvarez和Lawrence(2009)最近提出了一种CP的稀疏近似,可以实现有效的推理。在本文中,我们在两个方向上扩展这项工作:我们引入变分诱导函数的概念来处理核CP构造中涉及的潜在非光滑函数,我们考虑基于变分方法的近似推理的替代方法,将Titsias(2009)的工作扩展到多输出情况。我们展示了我们的方法对预测的成绩,编译器的性能和金融时间序列。
2009-12-16 stat.ML
Sparse Techniques for Regression in Deep Gaussian Processes
University of Manchester(曼彻斯特大学);University of Edinburgh(爱丁堡大学);Maxwell Institute for Mathematical Sciences(数学科学研究所);Heriot-Watt University(赫瑞斯泰特大学)
本文提出一种结合变分学习与MCMC的粒子期望最大化方法,用于高效准确地训练大规模数据上的深度高斯过程。
2025-11-25 cs.LG stat.CO stat.ML
Mathematical modelling, selection and hierarchical inference to determine the minimal dose in IFN$α$ therapy against Myeloproliferative Neoplasms
本研究针对骨髓增殖性肿瘤IFNα治疗缺乏明确剂量指南的问题,通过数学建模、模型选择和分层贝叶斯推断解析剂量-应答关系,确定患者个体化最小治疗剂量并估算新患者最优起始剂量,以提升治愈率。
2024-09-14 q-bio.QM stat.AP stat.CO
Inducing Causal Structure for Interpretable Neural Networks
Stanford University(斯坦福大学)
在许多领域,我们对因果结构有着充分的见解,这些见解对于引入我们的训练模型非常有用,同时仍然允许它们以数据驱动的方式学习。为了实现这一目标,我们提出了交换干预训练(IIT)的新方法。在IIT中,我们(1)在因果模型中对齐变量(例如,确定性程序或贝叶斯网络),以及(2)当两个模型中的对齐表示被设置为它们对于源输入将是的值时,训练神经模型以匹配基础输入上的因果模型的反事实行为。IIT是完全可微的,可以灵活地与其他目标结合,并保证目标因果模型在其损失为零时是神经模型的因果抽象。我们评估IIT的结构视觉任务(MNIST-PVR),导航语言任务(ReaSCAN),和一个自然语言推理任务(MQNLI)。我们将IIT与多任务训练目标和数据增强进行比较。在我们所有的实验中,IIT取得了最好的结果,并产生了更可解释的神经模型,因为它们更成功地实现了目标因果模型。
2022-07-20 cs.LG
Locally induced Gaussian processes for large-scale simulation experiments
高斯过程(GP)作为复杂表面的灵活替代品,但在大训练数据大小的矩阵分解的立方成本下会出现问题。地理空间和机器学习社区建议使用伪输入或诱导点作为一种策略,以获得近似值,从而减轻计算负担。然而,我们展示了如何放置的诱导点和他们的众多可以阻挠病理,特别是在大规模的动态响应面建模任务。作为补救措施,我们建议移植诱导点的想法,这通常是全球性的,到一个更本地的情况下,选择是更容易和更快。通过这种方式,我们提出的方法混合了全局诱导点和基于数据子集的局部GP近似。提供了一个级联的战略规划选择的本地诱导点,并比较绘制相关的方法,重点是计算机代理建模应用。我们表明,当地的诱导点扩展其全球和数据子集组件的准确性-计算效率的前沿。基准数据和大规模的真实模拟卫星阻力插值问题提供了说明性的例子。
2021-02-03 stat.CO stat.ME stat.ML
Inter-Level Cooperation in Hierarchical Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
分层的时间解耦的政策提出了一个很有前途的方法,使结构化的探索在复杂的长期规划问题。为了充分实现这一方法,需要一种端到端的培训模式。然而,培训这些多层次的政策取得了有限的成功,由于在一个层次结构内的目标分配和目标实现之间的互动所产生的挑战。在这篇文章中,我们认为政策的优化过程是一个多主体的过程。这使我们能够利用多智能体RL中的通信与合作之间的联系,并证明子策略之间增加合作对整体策略的训练性能的好处。我们引入了一个简单而有效的技术,通过修改目标函数和随后的梯度更高级别的政策诱导层间合作。各种各样的模拟机器人和交通控制任务的实验结果表明,诱导合作的结果更强的执行政策和增加样本效率的一组困难的长时间范围的任务。我们还发现,使用我们的方法训练的目标条件策略显示出更好的迁移到新任务,突出了我们的方法在学习任务不可知的低级别行为方面的好处。视频和代码可在https://sites.google.com/berkeley.edu/cooperative-hrl上获得。
2021-11-17 cs.AI cs.LG stat.ML
A Network-Structured Bayesian Hierarchical Model for Sparse Mutation-Drug Response Associations: Application to Cancer Pharmacogenomics
University of Ibadan(伊巴丹大学);Worcester Polytechnic Institute(伍斯特理工学院)
提出网络结构贝叶斯层次模型,结合GMRF与马蹄形先验及共轭吉布斯采样,在癌症药物基因组学中识别稀疏、可解释且外部支持的基因-药物敏感性关联,并支持组织特异性分析。
2026-09-09 q-bio.GN q-bio.QM stat.AP
Estimating the health effects of environmental mixtures using Bayesian semiparametric regression and sparsity inducing priors
人类经常暴露于化学品和其他环境因素的混合物中,这使得量化与环境混合物相关的健康影响成为制定充分保护人类健康的环境政策的关键目标。对接触环境混合物的影响进行量化提出了若干统计挑战。通常情况下,暴露于多种污染物会相互作用,从而影响结果。此外,结果与某些暴露(如某些金属)之间的风险-响应关系可能表现出复杂的非线性形式,因为某些暴露在不同的暴露范围内可能是有益的,也可能是有害的。为了估计复杂混合物的健康影响,我们提出了一个灵活的贝叶斯方法,允许暴露相互作用,并与结果有非线性关系。我们使用多变量尖峰和板先验来诱导稀疏性,以确定哪些曝光与结果相关,以及哪些曝光相互作用。所提出的方法是可解释的,因为我们可以使用包含到模型中的后验概率来识别相互作用的污染物。我们说明了我们的方法的能力,使用模拟数据来估计复杂的功能,并将我们的方法应用于两项研究,以确定哪些环境污染物对健康产生不利影响。
2019-10-29 stat.ME
High-Dimensional Non-Linear Variable Selection through Hierarchical Kernel Learning
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院)
研究了监督学习中高维非线性变量的选择问题。我们的方法是基于执行线性选择指数之间的许多适当定义的正定内核,表征原始变量之间的非线性相互作用。为了有效地选择这些许多内核,我们使用的问题的自然层次结构扩展的多内核学习框架,可以嵌入在一个有向无环图的内核,我们表明,它是可以通过一个图形适应的稀疏诱导规范,在多项式时间在选定的内核的数量进行内核选择。此外,我们研究了变量选择在高维环境中的一致性,表明在某些假设下,我们的正则化框架允许一些无关变量,这些变量在观测数量上是指数级的。我们对合成数据集和UCI存储库数据集的模拟显示了非线性回归问题的最新预测性能。
2009-09-04 cs.LG math.ST stat.TH
Low-Rank Inducing Norms with Optimality Interpretations
Cambridge University(剑桥大学);Lund University(隆德大学)
具有秩约束的最优化问题出现在诸如控制、机器学习和图像分析等许多不同的领域中。由于秩约束是非凸的,这些问题通常通过凸松弛近似求解。核范数正则化是处理这类问题的流行的凸化技术。本文引入一族低秩诱导范数和正则化子,其中包括核范数作为特例。给出了求解秩约束最优化问题的后验保证。我们评估了三个矩阵完成问题的低秩诱导范数的性能。在所有的例子中,核范数启发式优于基于其他低秩诱导范数的凸松弛。对于其中两个问题,存在低秩诱导范数,成功地恢复部分未知矩阵,而核范数失败。这些低秩诱导规范被证明是可表示为半定程序。此外,这些范数具有廉价的可计算的邻近映射,这使得使用一阶方法也可以解决大规模的问题。
2018-06-11 cs.LG math.OC stat.ML
Measure Inducing Classification and Regression Trees for Functional Data
Politecnico di Milano(米兰理工大学)
我们提出了一种基于树的算法,用于功能数据分析背景下的分类和回归问题,该算法允许在节点级别利用表示学习和多个分裂规则,减少泛化错误,同时保留树的可解释性。这是通过学习加权功能$L^{2}$空间的约束凸优化,然后用于提取多个加权积分功能的输入函数,以确定二进制分裂的树的每个内部节点。该方法被设计为通过定义合适的分裂规则和损失函数来管理多个函数输入和/或输出,所述分裂规则和损失函数可以取决于特定问题,并且还可以与标量和分类数据相结合,因为树是用原始贪婪CART算法生长的。我们专注于一维域上定义的标量值函数输入的情况下,并说明我们的方法在分类和回归任务的有效性,通过模拟研究和四个现实世界中的应用。
2020-10-30 cs.LG stat.ML
An Offline Time-aware Apprenticeship Learning Framework for Evolving Reward Functions
North Carolina State University(北卡罗来纳州立大学)
针对医疗等任务中演化奖励函数的离线学习难题,提出离线时间感知分层EM基于能量的子轨迹(THEMES)学徒学习框架,并在脓毒症治疗任务上显著优于现有基线方法。
2023-05-15 cs.LG
Inducing Point Operator Transformer: A Flexible and Scalable Architecture for Solving PDEs
Alsemy
针对偏微分方程求解中算子学习架构的灵活性与可扩展性难题,提出基于注意力的诱导点算子Transformer(IPOT),通过潜在瓶颈解耦输入输出离散化与处理器,在多类基准和真实场景中取得优异性能。
2023-12-18 cs.AI cs.LG cs.NA