Estimating the structure of directed acyclic graphs (DAGs, also known as Bayesian networks) is a challenging problem since the search space of DAGs is combinatorial and scales superexponentially with the number of nodes. Existing approaches rely on various local heuristics for enforcing the acyclicity constraint. In this paper, we introduce a fundamentally different strategy: We formulate the structure learning problem as a purely \emph{continuous} optimization problem over real matrices that avoids this combinatorial constraint entirely. This is achieved by a novel characterization of acyclicity that is not only smooth but also exact. The resulting problem can be efficiently solved by standard numerical algorithms, which also makes implementation effortless. The proposed method outperforms existing ones, without imposing any structural assumptions on the graph such as bounded treewidth or in-degree. Code implementing the proposed algorithm is open-source and publicly available at https://github.com/xunzheng/notears.
Causal structure learning with momentum: Sampling distributions over Markov Equivalence Classes of DAGs
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Institute for Theoretical Computer Science（理论计算机科学研究所）；University of Lübeck（吕贝克大学）
DAGMA: Learning DAGs via M-matrices and a Log-Determinant Acyclicity Characterization
Booth School of Business, University of Chicago（芝加哥大学布斯商学院）；Carnegie Mellon University（卡内基梅隆大学）
最近，通过利用基于矩阵指数函数的迹的有向无环图（DAGs）的可微无环性特征，从数据中学习有向无环图（DAGs）的组合问题被框架为纯粹的连续优化问题。现有的无环性刻画是基于邻接矩阵的幂包含了行走和循环的信息。在这项工作中，我们提出了一个新的非循环特性的基础上的对数行列式（log-det）功能，它利用了幂零性的DAG。为了处理DAG的固有不对称性，我们将我们的log-det特征域与$\textit{M-matrices}$的集合相关联，这是与在正定矩阵的锥上定义的经典log-det函数的关键区别。类似于以前提出的无环函数，我们的特征也是精确和可微的。然而，与现有的特征相比，我们的log-det函数：（1）更善于检测大周期;（2）具有更好的梯度;（3）它的运行时间实际上快了一个数量级。从优化方面，我们放弃了通常使用的增广拉格朗日计划，并提出DAGMA（$\textit{DAGs via M-matrices for Acyclicity}$），一种类似于障碍方法的中心路径的方法。DAGMA的中心路径中的每个点都是由我们的log-det函数正则化的无约束问题的解，然后我们证明了在中心路径的极限处，该解保证是DAG。最后，我们为$\textit{linear}$和$\textit{nonlinear}$ SEM提供了广泛的实验，并表明我们的方法可以达到大的加速和较小的结构汉明距离对国家的最先…
Information-theoretic limits of Bayesian network structure learning
Purdue University（普渡大学）
在本文中，我们研究了学习贝叶斯网络（BN）的结构，离散以及连续的随机变量，从有限数量的样本的信息理论的限制。我们发现，任何程序恢复正确的结构所需的最小样本数分别为$Ω(m)$和$Ω(k \log m + (k^2/m))$增长为非稀疏和稀疏BN，其中$m$是变量的数量和$k$是每个节点的父母的最大数量。我们提供了一个简单的配方，基于扩展的Fano不等式，以获得信息理论的限制，任何指数家庭BN的结构恢复。我们实例化我们的结果为特定的条件分布在指数家庭的基本限制学习各种常用的BN，如条件概率表为基础的网络，高斯BN，噪声或网络和逻辑回归网络的特征。在获得我们的主要结果的途中，我们获得了稀疏和非稀疏本质DAG的数量上的严格界限。最后，作为一个副产品，我们恢复稀疏变量选择逻辑回归的信息理论限制。
ServiceNow Research（ServiceNow研究院）；Amazon Web Services（亚马逊云科技）；University College London（伦敦大学学院）；Centre for AI（人工智能中心）；Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
On the Convergence of Continuous Constrained Optimization for Structure Learning
Carnegie Mellon University（卡内基梅隆大学）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；DeepMind（深度思维）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
The University of Melbourne（墨尔本大学）；Xi’an Jiaotong University（西安交通大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
迄今为止，大多数有向无环图（DAG）结构学习方法需要将数据存储在中央服务器中。但出于对隐私保护的考虑，数据所有者逐渐拒绝分享其个性化的原始数据，以避免隐私信息泄露，切断第一步，使这项任务更加麻烦。因此，一个难题出现了：\textit{how do we discover the underlying DAG structure from decentralized data?}在本文中，我们着眼于数据生成的加性噪声模型（ANMs）的假设，采取了第一步，在开发一个基于梯度的学习框架FedDAG，它可以学习DAG结构，而不直接接触本地数据，也可以自然地处理数据的异构性。我们的方法受益于每个局部模型的两级结构。第一层结构学习图的边和方向，并在学习过程中与服务器通信，从其他客户端获取模型信息;第二层结构近似变量之间的机制，并对自己的数据进行个性化更新，以适应数据的异构性。此外，FedDAG利用等式非循环约束将整个学习任务表示为一个连续优化问题，并采用梯度下降方法求解，提高了搜索效率.在合成数据集和真实数据集上的大量实验验证了该方法的有效性。
