Discussion of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
Szabó,van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率覆盖”讨论[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
Rejoinder to discussions of "Frequentist coverage of adaptive nonparametric Bayesian credible sets"
对Szabó、van der Vaart和van Zanten的“自适应非参数贝叶斯可信集的频率主义覆盖”的反驳[arXiv:1310.4489v5]。
2015-09-07 math.ST stat.TH
On frequentist coverage of Bayesian credible sets for estimation of the mean under constraints
研究了信号加噪声模型中一类噪声分布下$(1-α)$ -最高后验密度可信集的频率覆盖问题。我们考虑一类特殊的钉板先验分布。不同的制度被确定,我们推导出封闭形式的表达式为$(1-α)$ -HPD对这些制度。与Marchand和Strawderman的早期工作类似,在适当的条件下,频率论覆盖可以下降到$1-3α/2.$
2020-03-09 math.ST stat.TH
A Deep Latent-Variable Model Application to Select Treatment Intensity in Survival Analysis
University of Toronto(多伦多大学)
在下面的短文中,我们采用了一种新的流行的机器学习模型来推断医疗数据集。我们的方法是基于变分自动编码器(VAE)的框架,我们适应生存分析的小数据集缺失值。在我们的模型中,真实的健康状况表现为一组影响观察到的协变量和生存机会的潜在变量。我们表明,这种灵活的模型允许有见地的决策,使用预测的分布和优于经典的生存分析模型。
2018-11-29 cs.LG stat.ML
Empirical priors and coverage of posterior credible sets in a sparse normal mean model
贝叶斯方法为不确定性量化提供了一种自然的手段,即可信集可以很容易地从后验分布中获得。但是,在后验可信集达到名义频率覆盖概率的意义上,这种不确定性量化是有效的吗?研究了稀疏正态均值模型中基于一类经验先验的后验不确定性量化的频率论有效性。特别是,我们证明了我们的边际后验可信区间实现标称频率覆盖概率的条件下略弱于所需的选择一致性和伯恩斯坦-冯米塞斯定理的完整后验,和数值研究表明,我们的经验贝叶斯方法具有优越的频率覆盖概率属性相比,其他完全贝叶斯方法。
2019-08-08 math.ST stat.TH
Asymptotic frequentist coverage properties of Bayesian credible sets for sieve priors
我们调查的频率覆盖属性的贝叶斯可信集一般的,自适应的,非参数的框架。众所周知,自适应和诚实的信心集的建设是不可能的一般。为了克服这个问题,我们引入一个额外的假设的功能参数,所谓的“一般抛光尾”的条件。然后,我们表明,在标准的假设下,分层和经验贝叶斯方法的结果在诚实的信心集筛类型的先验在一般情况下,我们表征其大小。我们应用派生的抽象结果的各种例子,包括非参数回归模型,密度估计使用指数族的先验,密度估计使用直方图先验和非参数分类模型,我们表明,它们的大小是近极大极小自适应相对于所考虑的特定半度量。
2019-02-04 math.ST stat.TH
A Theory of Bootstrap Coverage Calibration for Generalized Posterior Credible Sets
Faculty of Economics, Fukuoka University(福冈大学经济学部)
针对广义后验可信集缺乏频率覆盖渐近保证的问题,提出通过Bootstrap估计覆盖并选择标量学习率进行校准,利用Edgeworth展开分析覆盖误差来源,证明校准的一致性。
2026-06-25 math.ST stat.CO stat.ME
On frequentist coverage errors of Bayesian credible sets in moderately high dimensions
本文研究了具有(中等)高维回归变量的近似线性回归模型的贝叶斯可信集的频率覆盖误差,其中回归变量的维数可以随样本量而增加,但小于样本量.具体地说,我们考虑了准似然下的斜率向量与高斯误差分布的准贝叶斯推断。在这种设置下,我们推导出贝叶斯可信矩形的频率覆盖误差的有限样本界。这些界限的推导建立在一个新的Berry-Esseen型准后验分布和最近的结果高维CLT超矩形上的界限。我们使用这个一般的结果来量化覆盖误差的卡斯蒂略-尼克和$L^{\infty}$ -可信带高斯白噪声模型,线性逆问题,(可能是非高斯)非参数回归模型。特别是,我们表明,这些非参数模型的贝叶斯可信带的覆盖误差多项式衰减快的样本量,这意味着优势的贝叶斯可信带的置信带的基础上极值理论。
2019-06-27 math.ST stat.TH
On Bayesian credible sets in restricted parameter space problems and lower bounds for frequentist coverage
为了在Marchand和Strawderman(2006)的框架下估计下界参数函数,我们通过统一的方法给出了一类置信度为$1-α$且频率覆盖概率为$\frac{1-α}{1+α}$的贝叶斯置信区间.在潜在的枢轴分布是对称的情况下,调查结果表示扩展相对于通过选择{ \it消费函数}实现的可信集的规格,并包括Marchand和Strawderman的HPD程序的结果。对于非对称的情况下,这样一类贝叶斯可信集的确定填补了文献中的空白,包括HPD过程的“等尾”修改。几个例子展示了广泛的适用性。
2012-12-19 math.ST stat.TH
Frequentist coverage of adaptive nonparametric Bayesian credible sets
本文研究了非参数环境下贝叶斯可信集的频率覆盖问题。我们考虑一个尺度的先验的变化规律性和选择的规则性的经验贝叶斯方法。接下来,我们考虑一个中心集的规定后验概率的后验分布所选择的规律。我们表明,这样一个自适应贝叶斯可信集给出了正确的不确定性量化的“抛光尾”参数,在这个意义上的高概率覆盖这些参数。在消极的一面,我们通过理论和例子表明,适应的前必然导致毛和偶然的不确定性量化的一些真正的参数,仍然在超矩形的规律性尺度。
2015-09-04 math.ST stat.TH
Bayesian Multitask Learning with Latent Hierarchies
University of Utah(犹他大学)
我们学习多个假设下的任务之间的潜在层次关系的相关任务。我们利用直觉,对于领域自适应,我们希望共享分类器结构,但对于多任务学习,我们希望共享协方差结构。我们的分层模型被认为是subsidered几个先前提出的多任务学习模型,并在三个不同的现实世界的数据集上表现良好。
2014-08-09 cs.LG stat.ML
Thinner Latent Spaces: Detecting Dimension and Imposing Invariance with Conformal Autoencoders
Johns Hopkins University(约翰霍普金斯大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出共形自编码器架构,通过潜在变量梯度的正交性条件推断非线性流形数据的内在维度并计算编解码映射,同时可构建对局部群作用的坐标不变性。
2025-07-11 cs.LG math.DG stat.ML
A Comparison of Joint Species Distribution Models for Percent Cover Data
本研究针对百分比覆盖数据提出障碍贝塔和有序贝塔两种联合物种分布模型,并与多种现有方法比较,发现障碍贝塔模型在潜变量恢复和预测上表现最优。
2024-03-18 stat.ME
Bayesian Nonparametric Poisson-Process Allocation for Time-Sequence Modeling
分析多个时间序列的底层结构提供了对社交网络和人类活动的理解的见解。在这项工作中,我们提出了\emph{Bayesian nonparametric Poisson process allocation}(BaNPPA),一个潜在的功能模型的时间序列,自动推断的数量的潜在功能。我们将每个序列的强度建模为潜在函数的无限混合,每个潜在函数都是使用从高斯过程中提取的函数获得的。我们表明,这种混合模型的推理的技术挑战是不可识别的潜在功能的权重。我们建议通过调节变分推断算法中每个潜在函数的体积来处理这个问题。我们的算法是计算效率和规模以及大型数据集。我们证明了我们提出的模型的有用性,通过实验合成和真实世界的数据集。
2018-04-03 stat.ML
Sequential sampling of Gaussian process latent variable models
University of Oxford(牛津大学)
我们考虑的问题,推断一个潜在的功能在概率模型的数据。当潜在函数的依赖性由高斯过程指定并且数据似然是复杂的时,有效的计算通常涉及马尔可夫链蒙特卡罗采样,其对大数据集的适用性有限。我们扩展这些技术的一些规模有效地当问题表现出顺序结构。我们提出了一个近似,使序贯抽样的潜在变量和相关参数。我们展示了强大的性能增长的数据设置,否则是不可行的天真,非序贯抽样。
2018-07-20 cs.LG stat.ML
Multi-Agent Constraint Factorization Reveals Latent Invariant Solution Structure
本研究通过多智能体约束因子化揭示了潜在不变解结构,展示了在相同信息下多智能体系统提升问题解决性能的机制,并应用于文本对话系统。
2026-01-21 cs.AI cs.CL cs.LG
A Mutually-Dependent Hadamard Kernel for Modelling Latent Variable Couplings
我们引入了一个新的内核,模型的输入依赖耦合多个潜在的过程。成对联合核以相互依赖的方式测量沿输入和跨不同潜在信号的协方差。潜在相关高斯过程(LCGP)模型通过依赖于输入的混合矩阵将这些非平稳潜在分量组合成多个输出。通过变分贝叶斯推断得到多观测集的概率分类和支持度。几个数据集上的结果表明,LCGP模型可以恢复潜在信号之间的相关性,同时实现最先进的性能。我们突出了潜在的协方差与EEG分类数据集,其中潜在的大脑过程及其耦合同时出现的模型。
2017-10-03 stat.ML
LS3: Latent Space Safe Sets for Long-Horizon Visuomotor Control of Sparse Reward Iterative Tasks
University of California, Berkeley(加利福尼亚大学伯克利分校)
强化学习(RL)在探索高维环境以学习复杂任务方面取得了令人印象深刻的成功,但当探索不受约束时,往往会表现出不安全的行为,并需要大量的环境交互。在动态不确定环境中学习的一个有前途的策略是要求代理可以鲁棒地返回到学习的安全集,在那里可以保证任务的成功(因此安全)。虽然这种方法在低维环境中取得了成功,但在具有视觉观察的环境中实施这种约束是非常具有挑战性的。我们提出了一种新的安全集的连续表示,将其作为一个学习的潜在空间中的二进制分类问题,它灵活地扩展到图像观测。然后,我们提出了一个新的算法,潜在空间安全集(LS 3),它使用这种表示的长时间任务与稀疏的奖励。我们评估LS 3的4个域,包括一个具有挑战性的顺序推模拟任务和物理电缆路由任务。我们发现,LS3可以使用以前的任务成功限制探索和学习更有效地比以前的算法,同时满足约束。有关代码和补充材料,请参见https://tinyurl.com/latent-ss。
2021-09-21 cs.AI cs.LG cs.RO
Sets of autoencoders with shared latent spaces
自动编码器接收输入数据的潜在模型。在最近的工作中,他们也估计输入的概率密度函数。这一事实使得使用贝叶斯决策理论成为可能。如果我们在参数估计任务中获得每个类或参数空间中的某些点的输入数据的潜在模型,则我们能够估计参数空间中的那些类或点的似然函数。我们展示了如何设置的autoencoders解决识别问题。每个自动编码器描述其自己的模型或上下文,在潜在空间中呈现输入数据的潜在向量可以被称为在其上下文中的处理。共享自动编码器的潜在空间提供了一个非常重要的属性,即能够分离处理和上下文,其中输入信息通过自动编码器集进行处理。这项工作有两个显着和最有价值的结果:一个机制,显示了一种可能的方式形成抽象概念和一种方式,减少数据集的大小在训练过程中。这些结果通过文章中提出的测试得到证实。
2018-11-06 cs.CV cs.LG
Learning Disentangled Semantic Representation for Domain Adaptation
Guangdong University of Technology(广东工业大学);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学);Foshan University(佛山科学技术学院)
领域自适应是一项重要而又具有挑战性的任务。现有的大多数领域自适应方法难以在领域信息和语义信息纠缠的特征空间上提取领域不变的表示。不同于以往的纠缠特征空间的努力,我们的目标是提取领域不变的语义信息的潜在的解纠缠语义表示(DSR)的数据。在DSR中,我们假设数据生成过程由两组独立的变量控制,即,语义潜变量和领域潜变量。在上述假设下,我们采用变分自动编码器来重构数据背后的语义潜变量和领域潜变量。我们进一步设计了一个双对抗网络来解开这两组重构的潜在变量。解开的语义潜变量最终适应跨域。实验研究证明,我们的模型产生的最先进的性能在几个领域自适应基准数据集。
2020-12-22 cs.CV cs.LG
Latent Hinge-Minimax Risk Minimization for Inference from a Small Number of Training Samples
University of Haifa(海法大学)
深度学习(DL)方法在大型平衡数据集上训练时表现出非常好的性能。然而,许多实际问题涉及不平衡的数据集,或/和具有少量训练样本的类。DL方法以及更传统的分类器的性能在这样的设置中显著下降。大多数现有的不平衡问题的解决方案集中在定制的数据进行培训。一个更有原则的解决方案是使用混合Hinge-Minimax风险[19],专门用于解决具有不平衡训练集的二元问题。在这里,我们提出了一个潜在的铰链极大极小(LHM)的风险和训练算法,推广这种模式的合奏超平面,可以形成任意复杂的,分段线性边界。为了提取好的特征,我们通过迁移学习将LHM模型与CNN相结合。为了解决多类问题,我们将预先训练的特定类别的LHM分类器映射到多类神经网络,并快速调整权重。LHM分类器允许在其训练中使用未标记的数据,并且映射允许多类推理,从而导致分类器在少量训练样本上训练时比替代品表现更好。
2017-02-04 cs.CV cs.LG
Universal Approximation of Functions on Sets
University of Oxford(牛津大学)
对集合的函数或等价的置换不变函数进行建模是机器学习中的一个长期挑战。深集是一种流行的方法,它被认为是连续集函数的通用逼近器。我们提供了一个理论分析的深集,这表明,这种普遍的近似属性是唯一的保证,如果模型的潜在空间是足够高的维度。如果潜在空间比必要的低一个维度,那么存在分段仿射函数,根据最坏情况的错误判断,深度集的性能并不比简单的常数基线好。Deep Sets可以被视为Janossy池化范例的最有效的化身。我们确定这种范式包括目前最流行的集合学习方法。基于这种联系,我们更广泛地讨论了我们的研究结果对集合学习的影响,并确定了一些关于Janossy池的普遍性的公开问题。
2021-07-05 cs.LG stat.ML
Semi-supervised Medical Image Classification with Global Latent Mixing
Rochester Institute of Technology(罗切斯特理工学院)
通过深度学习进行的计算机辅助诊断依赖于大规模的注释数据集,当涉及专家知识时,这可能是昂贵的。半监督学习(SSL)通过利用未标记的数据来缓解这一挑战。一种有效的SSL方法是通过单个数据点周围的扰动来正则化神经函数的局部光滑性。在这项工作中,我们认为,通过填充数据点之间的空隙来正则化神经函数的全局光滑性可以进一步提高SSL。我们提出了一种新的SSL方法,训练神经网络的线性混合的标记和未标记的数据,在输入和潜在的空间,以正则化网络的不同部分。我们评估了两个不同的医学图像数据集的胸部疾病和皮肤病变的半监督分类模型,证明其改进的性能SSL与局部扰动和SSL与全球混合,但在输入空间。我们的代码可在https://github.com/Prasanna1991/LatentMixing上获得。
2020-05-22 cs.CV cs.LG eess.IV
The Geometric Reasoner: Manifold-Informed Latent Foresight Search for Long-Context Reasoning
School of Information Science and Technology, Hangzhou Normal University, Hangzhou, China(信息科学与技术学院,杭州师范大学,杭州,中国)
本文提出TGR框架,通过流形感知的潜在前瞻性搜索在限制内存下提升长上下文推理的鲁棒性,实验表明在数学和代码基准上AUC提升达13点,且计算开销仅增加1.1-1.3倍。
2026-05-09 cs.AI cs.LG
δ-CLUE: Diverse Sets of Explanations for Uncertainty Estimates
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦图灵研究所)
为了解释可微概率模型的不确定性估计,最近的工作提出了生成反事实潜在不确定性假设(CLUE)。然而,对于单个输入,由于缺乏对解释的约束,这种方法可以输出各种解释。在这里,我们增强了原始的CLUE方法,以提供我们称之为$δ$ -CLUE的方法。CLUE指示$\it{one}$改变输入的方式,同时保留在数据流形上,使得模型对其预测变得更有信心。相反,我们返回一个$\it{set}$的合理线索:多个不同的输入,在潜在空间中的原始输入的$δ$球内,所有这些都产生可信的预测。
2021-12-03 cs.AI cs.LG stat.ML
Measurement Dependence Inducing Latent Causal Models
University of Vienna(维也纳大学);Vienna Cognitive Science Hub(维也纳认知科学中心)
我们认为,测量依赖诱导潜在(MeDIL)因果模型的因果结构学习的任务。我们表明,这项任务可以在寻找边缘集团覆盖的图论问题的框架,从而在返回最小的MeDIL因果模型(minMCMs)的算法。该算法是非参数的,不需要关于线性或高斯性的假设。此外,尽管相当弱的假设aboutthe类的MeDIL因果模型,我们表明,minMCMs中的极小性意味着一些相当具体和有趣的属性。通过建立MeDIL因果模型作为边缘集团覆盖的语义,我们还为未来的工作提供了一个起点,进一步将因果结构学习与图论和网络科学的发展联系起来。
2020-09-21 cs.LG stat.ML
Geometric instability of out of distribution data across autoencoder architecture
Johns Hopkins University Applied Physics Lab(约翰斯·霍普金斯大学应用物理实验室);Johns Hopking University(约翰斯·霍普金斯大学)
我们研究了在MNIST上训练的一系列自动编码器学习的地图,并对根据十种不同分布随机选择像素值创建的十个不同数据集进行了评估。具体来说,我们研究了在每个训练和评估点处由自动编码器的权重矩阵定义的雅可比矩阵的特征值。对于足够高的潜在维度,我们发现每个自动编码器将所有评估数据集重建为相似的\emph{generalized characters},但是这种重建的\emph{generalized character}在自动编码器之间变化。特征值分析表明,即使重建图像似乎是一个MNIST字符的所有分布数据集,并不是所有的潜在表示,接近潜在表示的MNIST字符。总而言之,特征值分析证明了自动编码器的大量几何不稳定性,无论是作为分布输入的函数,还是同一组输入的跨架构。
2022-01-28 cs.LG
Zero-Shot Multi-Modal Artist-Controlled Retrieval and Exploration of 3D Object Sets
Unity Technologies(Unity科技公司);New York University(纽约大学)
在创建3D内容时,通常需要高度专业化的技能来手工设计和生成对象和其他资产的模型。我们通过从多模式输入(包括2D草图,图像和文本)中进行高质量的3D资产检索来解决这个问题。我们使用CLIP,因为它提供了一个桥梁,以更高层次的潜在功能。我们使用这些功能来执行多模态融合,以解决缺乏艺术控制,影响常见的数据驱动的方法。我们的方法允许通过3D资产数据库进行多模态条件特征驱动的检索,通过利用输入潜在嵌入的组合。我们探讨了不同输入类型和加权方法中特征嵌入的不同组合的影响。
2022-09-01 cs.AI cs.CV cs.GR
ALBU: An approximate Loopy Belief message passing algorithm for LDA to improve performance on small data sets
Stellenbosch University(斯泰伦博斯大学)
变分贝叶斯(VB)应用于潜在狄利克雷分配(LDA)已成为最流行的方面建模算法。虽然在从大型语料库中提取文本主题方面足够成功,但VB在有限数据的情况下识别方面不太成功。我们提出了一种新的变分的消息传递算法,适用于潜在的狄利克雷分配(LDA),并将其与黄金标准VB和崩溃吉布斯采样。在边缘化导致非共轭消息的情况下,我们使用采样的想法来推导近似更新方程。在共轭成立的情况下,使用循环信念更新(LBU)(也称为Lauritzen-Spiegelhalter)。我们的算法,ALBU(近似LBU),有很强的相似性与可变消息传递(VMP)(这是VB的消息传递变体)。为了在有限数据的情况下比较算法的性能,我们使用了由推文和新闻组组成的数据集。此外,为了执行更细粒度的评估和比较,我们使用模拟,通过Kullback-Leibler散度(KLD)与地面实况进行比较。使用文本语料库和KLD与模拟的一致性措施,我们表明,ALBU学习潜在的分布更准确地比VB,特别是对于较小的数据集。
2022-08-19 cs.CL cs.IR cs.LG