Modeling Relational Data via Latent Factor Blockmodel
LIP6 - UPMC（LIP6 - 巴黎第六大学）
在本文中，我们解决的问题，关系数据建模，出现在许多应用程序，如社会网络分析，推荐系统和生物信息学。以往的研究要么考虑基于潜在特征的模型，但忽略了网络中的局部结构，或专注于捕捉局部结构的对象的基础上的潜在块模型，而不耦合的对象的潜在特征。为了结合以前工作的优点，我们提出了一种新的模型，可以同时结合潜在特征和协变量的影响，以及潜在结构的影响，可能存在于数据中。为了实现这一目标，我们将关系图建模为对象的潜在特征因子和潜在聚类成员的函数，以共同发现对象的全局预测内在属性，并捕获网络中的潜在块结构，以提高预测性能。我们还开发了一个优化转移算法的基础上，广义EM风格的策略来学习的潜在因素。我们通过链接预测任务和聚类分析任务证明了我们提出的模型的有效性，并且在合成数据和几个真实世界数据集上的广泛实验表明，我们提出的LFBM模型在评估任务中优于其他最先进的方法。
2012-04-11 cs.DS cs.LG stat.ML
Variational Estimators of the Degree-corrected Latent Block Model for Bipartite Networks
本文提出度校正潜在块模型（DC-LBM）以克服传统 LBM 受行列和影响的局限，并开发了具有闭式解的变分 EM 算法，同时证明了估计器的标签一致性及收敛速率。
2024-06-05 cs.LG stat.ML
Deep Learning-based Approaches for State Space Models: A Selective Review
Morgan Stanley（摩根士丹利）；UCLA（加州大学洛杉矶分校）
本文选择性综述了基于深度学习的状态空间模型方法，提出统一视角，涵盖经典最大似然、变分自编码器及代表性模型，并展示其在混合频率和不规则时间序列中的优势。
2024-12-15 cs.LG stat.ML stat.OT
Nonconvex Latent Optimally Partitioned Block-Sparse Recovery via Log-Sum and Minimax Concave Penalties
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）
本文提出非凸正则化方法LogLOP-l2/l1和AdaLOP-l2/l1，用于恢复具有未知块划分的块稀疏信号，通过新颖的变分公式提升恢复精度，实验显示优于现有方法。
2026-03-01 cs.LG stat.ML
Distributed MCMC inference for Bayesian Non-Parametric Latent Block Model
Paris-Saclay University, UVSQ（巴黎萨克雷大学，凡尔赛大学校区）；Sorbonne Paris Nord University（索邦巴黎北大学）；LIPN（巴黎北部科学实验室）
本研究提出采用主从架构的DisNPLBM分布式MCMC推断方法，通过潜在多元高斯块分布实现非参数联合聚类，经实验验证在聚类准确率和效率上表现良好，还可应用于基因表达数据联合聚类且代码开源。
2024-02-01 cs.LG stat.CO stat.ML
Bayesian estimation of the latent dimension and communities in stochastic blockmodels
Imperial College London（帝国理工学院）
无向图的邻接矩阵或拉普拉斯矩阵的谱嵌入是在低维潜在空间中表示网络的常用技术，具有最佳理论保证。嵌入可以用来估计网络的社区结构，在随机块模型框架下具有强一致性结果。用于从谱嵌入进行社区发现的标准算法的主要实际限制之一是必须预先指定社区的数目和嵌入的潜在维度。在这篇文章中，提出了一种新的贝叶斯模型，同时和自动选择适当的尺寸的潜在空间和块的数量。扩展到有向图和二分图进行了讨论。该模型进行了测试模拟和真实世界的网络数据，表现出良好的性能恢复潜在的社区结构。
2020-05-28 cs.LG cs.SI stat.AP
Conditional Latent Block Model: a Multivariate Time Series Clustering Approach for Autonomous Driving Validation
Laboratoire Informatique de Paris-Nord（巴黎北部信息学实验室）；Université Sorbonne Paris Nord（索邦巴黎北大学）；Groupe Renault SAS（雷诺集团）
自动驾驶系统验证仍然是汽车制造商必须解决的最大挑战之一，以提供安全的无人驾驶汽车。高度复杂性源于几个因素：车辆的多样性，嵌入式系统，用例，以及驾驶系统至少与人类驾驶员一样安全的非常高的可靠性要求。为了规避这些问题，人们大量使用再现各种物理条件的大规模模拟来测试无人驾驶汽车。因此，验证步骤会产生大量的数据，包括许多时间索引的数据，需要处理。在这种情况下，必须在特征空间中构建结构来解释各种场景。在这项工作中，我们提出了一种新的共聚类方法，适用于高维时间序列分析，扩展了标准的基于模型的共聚类。FunCLBM模型扩展了最近提出的功能潜在块模型，并允许在行和列集群之间创建依赖结构。这种结构化的划分作为一种特征选择方法，它提供了数据集的几个聚类视图，同时区分不相关的特征。在这个工作流程中，时间序列被投影到一个公共的插值低维频率空间，这允许优化投影基础。此外，FunCLBM通过执行逐块降维和特征选择来细化每个潜在块的定义。我们提出了一个SEM-Gibbs算法来推断这个模型，以及一个专用的标准来选择最佳的嵌套分区。模拟和真实情况下的雷诺数据集上的实验表明，所提出的工具的有效性和我们的用例的充分性。
2020-08-03 cs.LG stat.ML
Learning from missing data with the Latent Block Model
Université de technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Heudiasyc (Heuristics and Diagnosis of Complex Systems)（Heudiasyc（复杂系统启发式与诊断））
缺失的数据可以提供信息。当数据模型不允许从缺失数据中提取信息时，忽略此信息可能会导致误导性结论。我们提出了一个联合聚类模型，基于潜在块模型，旨在利用这种不可分割的无响应，也被称为随机数据（MNAR）。推导了变分期望最大化算法进行推理，并给出了模型选择准则。我们评估了模拟研究提出的方法，然后使用我们的模型对法国议会下院的投票记录，在那里我们的分析带来了相关的国会议员和文本组，以及非选民的行为的合理解释。
2020-10-23 cs.LG math.ST stat.ML
Exact ICL maximization in a non-stationary time extension of the latent block model for dynamic networks
潜在块模型（LBM）是描述二分网络中节点集之间相互作用的一种灵活的概率工具，但它没有考虑未知类中节点之间强度随时间变化的相互作用。在本文中，我们提出了一个非平稳的时间扩展的LBM集群同时两个节点集的二分网络和构造类的时间间隔上的相互作用是固定的。聚类的数量以及类的成员资格是通过最大化的确切的完整数据集成的可能性依赖于一个贪婪的搜索方法。模拟和真实数据进行实验，以评估所提出的方法。
2015-06-12 stat.ML
Nearly Optimal Latent State Decoding in Block MDPs
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们研究了情景块MDP中的模型估计和无奖励学习问题。在这些MDP中，决策者可以访问从少量潜在状态生成的丰富观察或上下文。我们首先感兴趣的是基于在固定行为策略下生成的数据来估计潜在状态解码函数（从观察到潜在状态的映射）。我们推导出一个信息理论上的出错率估计这个函数的下限，并提出了一个算法接近这个基本限制。反过来，我们的算法还提供了MDP的所有组件的估计。然后，我们研究的问题，学习近最优的政策在无奖励的框架。基于我们高效的模型估计算法，我们表明，我们可以推断出一个政策收敛（收集的样本的数量越来越大）的最佳政策在尽可能好的速度。有趣的是，我们的分析提供了必要和充分的条件下，利用块结构产生的样本复杂性的改进，以确定接近最优的政策。当满足这些条件时，极小极大无奖励设置中的样本复杂度通过乘法因子$n$来改进，其中$n$是可能的上下文的数量。
2023-02-24 cs.LG math.ST stat.ML
Contextual Stochastic Block Models
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
我们提供了第一个信息理论紧密分析的潜在社区结构的推理给出了一个稀疏的图形，随着高维节点协变量，与相同的潜在社区。我们的工作桥梁最近的理论突破，在没有节点协变量的潜在社区结构的检测和大量的实证工作，使用不同的算法结合节点协变量与图形的推理。我们分析的紧密性特别意味着，结合不同信息来源的信息理论的必要性。我们的分析适用于大度网络以及高斯模型。
2018-07-23 cs.LG cs.SI stat.ML
Information-theoretic Limits for Community Detection in Network Models
Purdue University（普渡大学）
我们分析了几种网络模型中节点标签恢复的信息论限制。这包括随机块模型、指数随机图模型、潜在空间模型、定向偏好依恋模型和定向小世界模型。对于随机块模型，不可恢复性条件取决于社区内部和不同社区之间具有边缘的概率。对于潜在空间模型，不可恢复性条件取决于潜在空间的维度，以及社区在潜在空间中的距离和分布。对于有向偏好依恋模型和有向小世界模型，不可恢复性条件依赖于同质性与邻域大小的比值。我们还考虑了随机块模型和潜空间模型的动态版本。
2018-05-22 cs.LG cs.SI physics.soc-ph
Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory
University of Geneva（日内瓦大学）；Geneva School of Business Administration, HES-SO（日内瓦高等商业学院（瑞士西部高等专业学院））；Apple（苹果公司）；Deepmind（深度思维）
情景记忆和语义记忆是人类记忆模型的重要组成部分。互补学习系统理论（McClelland et al.，1995）提出，由一系列事件产生的压缩表征（情景记忆）随后被重构，以构建更普遍形式的可重用知识（语义记忆）。在这项工作中，我们开发了一个新的原则贝叶斯记忆分配方案，通过分层潜变量模型的桥梁情节和语义记忆之间的差距。我们从传统的堆分配的灵感，并扩展本地连续内存的思想Kanerva机，使一个新的可微块分配的潜在内存。与Kanerva机器相比，我们简化了内存写入的过程，将其视为一个完全前馈的确定性过程，依靠随机性的读取密钥分布来分散内存中的信息。我们证明了这种分配方案提高了内存条件图像生成的性能，在二值化MNIST（<=41.58 nats/image），二值化Omniglot（<=66.24 nats/image）上产生了新的最先进的条件似然值，并在CIFAR 10，DMLab迷宫，Celeb-A和ImageNet 32 x32上表现出竞争力。
2022-02-07 cs.AI cs.CV cs.LG
Hypothesis Testing for Equality of Latent Positions in Random Graphs
考虑广义随机点积图的两个顶点$i$和$j$具有相同的潜在位置的假设检验问题，可能达到缩放。该假设检验的特殊情况包括测试随机块模型或度校正的随机块模型图中的两个顶点是否具有相同的块成员向量，或者测试受欢迎度调整的块模型中的两个顶点是否具有相同的社区分配。我们提出了几个检验统计量的基础上的经验马氏距离之间的$i$和$j$行的邻接或规范化的拉普拉斯谱嵌入的图形。我们表明，在温和的条件下，这些检验统计量的限制χ 2分布下的零和本地的备择假设，我们推导出明确的表达式的非中心参数下的本地备择。利用这些极限结果，我们解决了模型选择问题，包括标准随机块模型和它的度校正变量之间的选择，ER模型和随机块模型之间的选择。我们所提出的测试的有效性，通过模拟研究和实际数据的应用。
2022-03-12 stat.ME stat.ML
Learning Latent Block Structure in Weighted Networks
社区检测是网络分析中的一项重要任务，我们的目标是学习一个网络分区，将具有相似社区级别连接模式的顶点分组在一起。通过找到具有相似结构角色的顶点组，我们提取了网络大规模结构的紧凑表示，这可以促进其科学解释和预测未知或未来的相互作用。流行的方法，包括随机块模型，假设边缘是未加权的，这通过丢弃潜在有用的信息来限制它们的效用。我们引入了“加权随机块模型”（WSBM），它将随机块模型推广到具有来自任何指数族分布的边缘权重的网络。该模型从边缘的存在和权重中学习，使其能够发现在权重被丢弃或阈值化时隐藏的结构。我们描述了一个贝叶斯变分算法，有效地近似这个模型的后验分布在潜在的块结构。然后，我们评估WSBM的性能的边缘存在和边缘权重预测任务的一组现实世界的加权网络。在所有情况下，WSBM在这些任务上的表现与最佳替代品一样好或更好。
2014-06-03 cs.SI physics.data-an physics.soc-ph
BSTabDiff: Block-Subunit Diffusion Priors for High-Dimensional Tabular Data Generation
West Virginia University（西弗吉尼亚大学）；The University of Utah（犹他大学）
针对高维低样本量表格数据，提出BSTabDiff框架，通过将特征划分为潜在块并使用共享低维子单元变量生成每个块，结合扩散先验和copula依赖，实现稳定合成与可控基准生成。
2026-11-10 cs.AI cs.LG stat.ML
Fast and reliable inference algorithm for hierarchical stochastic block models
网络聚类揭示了网络或相应复杂系统的组织，其中元素表示为顶点，交互表示为（有向，加权）图中的边。虽然集群的概念可能有点松散，但网络集群或组通常被认为是具有丰富交互和共享共同模式的边缘的节点。统计推断通常将群体视为潜在变量，观察到的网络由潜在群体结构生成，称为随机块模型。无论定义如何，统计推断都可以转化为模块化最大化，这可证明是NP完全问题。在这里，我们提出了可扩展的和可靠的算法，恢复分层随机块模型快速，准确。我们的算法在边缘数量上几乎是线性扩展的，并且推断出的模型比其他可扩展的方法更准确。
2017-11-14 stat.ML
Knowledge Graph Embedding with Electronic Health Records Data via Latent Graphical Block Model
本文提出潜在图形块模型（LGBM），通过语义嵌入向量和图形块结构从大规模EHR数据中高效推断特征间条件依赖关系并聚类同义特征，同时给出统计速率与块结构完全恢复的理论保证。
2023-05-31 math.ST stat.ML stat.TH
Discovering Latent Covariance Structures for Multiple Time Series
分析多变量时间序列数据对于预测金融、制造和管理决策中复杂系统的未来事件和变化非常重要。组合协方差结构显著提高了高斯过程（GP）回归方法的表达能力。在本文中，我们提出了一个新的GP模型，自然地处理多个时间序列，通过放置一个印度巴菲特过程（IBP）之前的共享内核的存在。我们的选择性协方差结构分解允许在一组多个选定的时间序列上利用共享参数。我们还研究了无限的潜在成分时，模型的良好定义。我们提出了一个实用的搜索算法，有效地探索更大的结构空间。在五个真实数据集上进行的实验表明，我们的新模型在结构发现和预测性能方面优于现有方法。
2019-05-22 stat.ML
A semidefinite program for unbalanced multisection in the stochastic block model
我们提出了一个半定规划（SDP）算法的社区发现的随机块模型，一个流行的模型，网络的潜在社区结构。我们证明了我们的算法实现了对潜在社区的精确恢复，达到了Abbe和Sandon（2015）确定的信息理论限制。我们的结果扩展了以前的SDP方法，允许许多不同规模的社区。凭借一个半定的方法，我们的算法成功地对随机块模型的半随机变量，保证形式的鲁棒性和推广。我们进一步探讨如何半随机模型可以深入了解在这种情况下的SDP的优势和局限性。
2016-12-02 cs.DS math.PR stat.ML
Community detection in sparse latent space models
Fudan University（复旦大学）；Shanghai Center for Mathematical Sciences（上海数学中心）；University of Pennsylvania（宾夕法尼亚大学）；Shanghai University of Finance and Economics（上海财经大学）
我们表明，一个简单的社区检测算法起源于随机块模型文献实现了一致性，甚至最优性，广泛而灵活的一类稀疏潜在空间模型。这类模型包括潜在特征模型（arXiv：0711.1146）。社区检测算法基于谱聚类，然后通过归一化边缘计数进行局部细化。
2020-08-04 cs.LG math.ST stat.ME
Robust Inference Methods for Latent Group Panel Models under Possible Group Non-Separation
Université Bourgogne Europe（勃艮第欧洲大学）；University of Tokyo（东京大学）
研究系数有潜在组结构的线性面板数据模型的一般线性假设推断方法，采用基于组结构估计的选择性条件推断，检验在多种误差分布下有效，模拟和应用展示其优势及考虑组结构的重要性。
2026-07-28 econ.EM stat.ME stat.ML
