Statistical summaries of unlabelled evolutionary trees and ranked hierarchical clustering trees
有根和排序二叉树是非常重要的数学对象，用于建模层次数据和进化关系，在许多领域，包括进化生物学和遗传流行病学的应用。贝叶斯系统发育推断通常通过马尔可夫链蒙特卡罗方法探索树的后验分布，然而评估不确定性和总结此类树的分布或样本仍然具有挑战性。虽然标记的系统发育树已被广泛研究，但相对较少的文献存在于越来越有用的未标记的树，例如当人们试图总结用不同方法或从不同样品和环境中获得的树木样品时，并希望评估这些总结的稳定性和普遍性。在我们的论文中，我们利用最近提出的距离度量的未标记的排名二叉树和未标记的排名家谱（配备分支长度）定义的弗雷歇平均值和方差作为这些树分布的摘要。我们提供了一个有效的组合优化算法计算的Frechet平均从一个样本或分布上的未标记的排名树的形状和未标记的排名家谱。我们展示了汇总统计数据对于研究流行树分布以及比较2020年COVID-19流行期间不同地点的SARS-CoV-2进化树的适用性。
2021-06-04 q-bio.PE stat.ME
Joint Bayesian estimation of close subspaces from noisy measurements
在这封信中，我们考虑两组定义为嵌入在噪声中的子空间信号的观测，我们希望分析这两个子空间之间的距离。后者需要评估子空间之间的角度，这个问题让人想起著名的Procrustes问题。贝叶斯方法的研究，其中感兴趣的子空间被认为是随机的联合先验分布（即宾汉分布），这使得两个子空间的接近程度进行调整。在这个框架内，最小均方距离估计的两个子空间制定和实施通过吉布斯采样器。本文还提出了一种基于交替最大后验估计的简单方案。新的计划，以提供更准确的估计的角度之间的子空间，相比基于奇异值分解的独立估计的两个子空间。
2013-10-01 stat.ME stat.ML
Deep Bayesian Unsupervised Lifelong Learning
Northeastern University（东北大学）
终身学习（LL）指的是不断学习和解决新问题的能力，随着时间的推移，随着可用信息的增加，同时保留以前的知识。最近，人们对带有标签数据流的监督式终身学习（SLL）给予了很大的关注。相比之下，我们专注于解决无监督终身学习（Unsupervised Lifelong Learning，简称EML）中的挑战，当数据分布和未知类标签随着时间的推移而演变时，使用未标记的数据流。贝叶斯框架很自然地结合了过去的知识，并用新的数据顺序地更新信念。我们开发了一个完整的贝叶斯推理框架，用于使用一种新型的端到端深度贝叶斯无监督终身学习（DBSTO）算法，该算法可以在学习潜在表示的同时逐步发现新的聚类，而不会忘记过去的未标记数据。为了有效地维护过去的知识，我们开发了一种新的知识保存机制，通过充分的统计数据的潜在表示的原始数据。为了检测潜在的新集群的飞行，我们开发了一个自动集群发现和冗余删除策略，在我们的推理启发非参数贝叶斯统计技术。我们在LL和批处理设置中使用图像和文本语料库基准数据集证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Instance-Dependent PU Learning by Bayesian Optimal Relabeling
The University of Sydney（悉尼大学）；Monash University（莫纳什大学）
当从正的和未标记的数据中学习时，一个强有力的假设是，正的观测是从$X$的分布中随机抽样的，条件是$Y = 1$，其中X代表特征，Y代表标记。现有的大多数算法都是在这种假设下进行优化设计的。然而，对于许多现实世界的应用，所观察到的正例依赖于条件概率$P(Y = 1|X)$，并且应该有偏地采样。在本文中，我们假设一个积极的例子与较高的$P(Y = 1|X)$是更有可能被标记，并提出了一个基于概率差距的PU学习算法。具体地说，通过将未标记的数据作为噪声负例，我们可以自动标记一组正例和负例，其标签与贝叶斯最优分类器分配的标签相同，并具有一致性保证。重新标记的例子有一个有偏的域，这是补救的核均值匹配技术。所提出的算法是无模型的，因此没有任何参数调整。实验结果表明，我们的方法在生成的数据集和真实世界的数据集上都能很好地工作。
2020-03-03 cs.LG stat.ML
Bayesian Multi-study Factor Analysis for High-throughput Biological Data
本文提出了一种新的建模策略，用于多个高通量生物研究的联合无监督分析。与多研究因素分析一样，我们的目标是确定研究之间共享的共同因素和研究特定因素。我们的方法是由生物医学研究中越来越多的高通量研究所激发的，我们的案例研究中考虑的乳腺肿瘤表达数据的综合集就是例证。为了处理高维研究，我们使用贝叶斯方法扩展了多研究因子分析，该方法具有稀疏性。具体来说，我们推广稀疏贝叶斯无限因子模型多个研究。我们还设计了新的解决方案，用于识别的加载矩阵：我们恢复感兴趣的加载矩阵事后，通过适应正交Procrustes方法。在计算上，我们提出了一个有效的和快速的吉布斯抽样的方法。通过广泛的模拟分析，我们表明，所提出的方法在一系列不同的情况下表现得非常好，并优于标准的因子分析在所有的情况下识别可复制的信号在无监督的基因组应用。我们对七项研究中乳腺癌基因表达的分析结果确定了可复制的基因模式，这些基因模式与众所周知的乳腺癌途径明显相关。一个R包在GitHub上实现并可用。
2018-06-26 stat.AP
Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights
University of Edinburgh（爱丁堡大学）
在没有大型标记数据集的情况下，自监督学习技术可以通过从未标记数据中学习有用的表示来提高性能，这些数据通常更容易获得。然而，在未标记的集合和下游目标问题数据之间通常存在域转移。我们表明，通过学习贝叶斯实例权重的未标记的数据，我们可以提高下游的分类精度，优先考虑最有用的实例。此外，我们还证明了通过丢弃不必要的数据点可以减少训练时间。我们的方法BetaDataWeighter使用STL-10和Visual Decathlon上流行的自监督旋转预测任务进行评估。我们比较相关的实例加权方案，手工设计的算法和元学习，以及传统的自监督学习。BetaDataWeighter在数据集上实现了最高的平均准确度和排名，在STL-10上，它可以修剪高达78%的未标记图像，而不会显著降低准确度，相应地减少了50%以上的训练时间。
2020-06-22 cs.LG stat.ML
Bayesian Multivariate Sparse Functional Principal Components Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出MSFAST方法，通过贝叶斯框架处理稀疏函数数据，改进主成分估计并提升计算效率，适用于小信噪比场景。
2026-05-07 stat.ME
SoQal: Selective Oracle Questioning for Consistency Based Active Learning of Cardiac Signals
California Institute of Technology（加州理工学院）；University of Oxford（牛津大学）
临床环境的特征通常是大量的未标记数据和有限的标记数据。这通常是由放在甲骨文上的高负担（例如，医生）以提供注释。减轻这种负担的一种方法是通过主动学习（AL），其涉及信息性未标记实例的（a）获取和（b）注释。虽然以前的工作解决这些元素之一独立，我们提出了一个AL框架，解决这两个问题。对于收购，我们提出了贝叶斯主动学习的一致性（BALC），一个子框架，扰动实例和网络参数，并量化网络输出概率分布的变化。对于注释，我们提出了SoQal，一个子框架，它动态地确定对于每个获取的未标记的实例，是从Oracle请求标签还是伪标签。我们表明，BALC可以优于开始的最先进的收购功能，如BALD，和SoQal优于基线方法，即使在存在一个嘈杂的预言。
2022-05-18 cs.LG stat.ML
Bayesian matching of unlabeled marked point sets using random fields, with an application to molecular alignment
统计方法学提出了比较未标记的标记点集，与应用对齐类固醇分子的化学信息学。从统计形状分析的方法相结合的技术，用于预测随机场在空间统计学，以定义一个合适的措施，两个标记点集之间的相似性。提出了点集对之间的预测场重叠的贝叶斯建模，并使用马尔可夫链蒙特卡罗模拟进行比对的后验推断。通过在再生核希尔伯特空间中表示场，可以计算重叠度而无需昂贵的数值积分。叠加整个场而不是点坐标的配置矩阵，从而避免了点之间通常没有明确的一一对应关系的问题。此外，在模型中引入了掩码参数，从而可以对标记点集进行部分匹配。我们还提出了一个适应的广义Procrustes分析算法的同时对齐的多个点集。该方法与模拟研究，然后应用到一个数据集的31类固醇分子，其中形状和结合活性之间的关系，皮质类固醇结合球蛋白受体进行了探讨。
2012-03-01 stat.AP
Population-aware Hierarchical Bayesian Domain Adaptation
Tandon School of Engineering（坦登工程学院）
人口属性对于理解数据代表谁和精准医疗工作至关重要。即使在疾病感染标签中，患者也可能表现出显著的变异性;在医生办公室报告的“发烧”与在线应用程序报告的“发烧”可能意味着不同的东西，从而排除了针对相同预测任务在不同数据集之间直接学习。这个问题属于域适应范式。然而，迄今为止，这一领域的研究没有考虑到谁产生数据;例如，女性与男性报告的症状也可能有不同的影响。我们提出了一种新的人口意识的领域适应方法，制定的领域适应任务作为一个多源层次贝叶斯框架。该模型通过利用域和群体不变信息，在很大程度上未标记的目标数据的情况下提高了预测。
2018-11-21 cs.LG stat.ML
PAC-Bayesian Contrastive Unsupervised Representation Learning
The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）；Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
对比无监督表示学习（CURL）是从未标记数据中学习表示（作为一组特征）的最先进技术。虽然CURL最近取得了一些经验上的成功，但仍然缺乏对其性能的理论理解。在最近的一项工作中，Arora et al.（2019）提供了CURL的第一个泛化边界，依赖于Rademacher复杂性。我们将他们的框架扩展到灵活的PAC贝叶斯设置，使我们能够处理非iid设置。我们提出了PAC贝叶斯泛化界限的CURL，然后用它来推导出一个新的表示学习算法。在真实数据集上的数值实验表明，我们的算法达到了有竞争力的精度，并产生非空的广义界。
2020-07-17 cs.LG math.ST stat.ML
Bayesian alignment using hierarchical models, with applications in protein bioinformatics
形状分析中的一个重要问题是滤除几何变换后的空间点的构形匹配。在本文中，我们介绍了这样的任务，其中的配置中的点是未标记的，或最多有一个部分标签约束的匹配，并在其中一些点可能只出现在一个配置的层次模型。我们推导出程序的同时推理的匹配和转换，使用贝叶斯方法。我们的模型是基于一个泊松过程隐藏的真实点的位置，这导致了相当大的数学简化和效率的实现。我们发现了一个新的使用经典的分布，从方向统计在条件共轭规范的情况下，几何变换包括一个未知的旋转。在整个过程中，我们专注于仿射或刚性运动变换的情况。在广义参数损失函数族下，可以构造匹配矩阵的最优贝叶斯点估计，该估计仅依赖于该族中的单个参数。我们的方法说明了从生物信息学的两个应用程序。第一个问题是在2维中匹配蛋白质凝胶，第二个问题是在3维中对齐蛋白质的活性位点。在后一种情况下，我们还使用与氨基酸分组相关的信息。我们讨论了一些开放的问题，并提出了未来工作的方向。
2005-07-01 math.ST stat.ME stat.TH
Graph-Smoothed Bayesian Black-Box Shift Estimator and Its Information Geometry
School of Mathematics and Statistics（数学与统计学学院）；The University of Melbourne（墨尔本大学）
提出图平滑贝叶斯黑盒偏移估计器GS-B$^3$SE，利用拉普拉斯-高斯先验和标签相似性图，实现可识别、快速且鲁棒的标签偏移估计，并推广了现有方法。
2025-05-22 cs.LG stat.ML
Population-aware Hierarchical Bayesian Domain Adaptation via Multiple-component Invariant Learning
New York University（纽约大学）
虽然机器学习正在迅速发展并部署在健康环境中，如流感预测，但由于特征的变化，在使用来自一个环境的数据时存在关键挑战;即使在疾病标签中也可能存在差异（例如，“发烧”可能意味着医生办公室报告的与在线应用程序报告的不同）。此外，模型往往是建立在被动的、观察性的数据基础上的，这些数据包含不同的人口亚组分布（例如男性或女性）。因此，在这个观测输运问题中，环境之间存在两种形式的不稳定性。我们首先利用健康知识来概念化这个问题在健康结果预测任务中的潜在因果结构。基于模型中的稳定性来源，我们认为对于人类来源的数据和健康预测任务，我们可以将环境和人口信息结合在一个新的人口感知分层贝叶斯域适应框架中，该框架在需要时通过人口属性利用多个不变分量。我们研究了不变学习失败的条件，导致对环境特定属性的依赖。在从不同背景收集的四个数据集上进行流感预测任务的实验结果表明，该模型可以通过利用环境和人口不变信息，在来自新环境和不同组成人群的大部分未标记目标数据的情况下改善预测。这项工作代表了一种新颖的，有原则的方式，通过融合领域（健康）知识和算法创新来解决关键挑战。所提出的方法将在许多社会环境中产生重大影响，其中数据来自谁和哪里很重要。
2020-03-09 cs.LG stat.ML
