arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2403.15933cs.AIcs.LG
收藏

理解 Markov Logic Networks 中的 Domain-Size 泛化

Understanding Domain-Size Generalization in Markov Logic Networks

TU Wien(维也纳技术大学);Ludwig-Maximilians-Universität München(慕尼黑大学)

Florian Chen, Felix Weitkämper, Sagar Malhotra

AI总结:

本文研究了 Markov Logic Networks 在不同 domain 规模间泛化能力差的问题,通过量化参数方差对内部不一致性和 KL 散度的界限,证明最小化参数方差可提升泛化能力,并在四个数据集上得到验证。

摘要:

我们研究了 Markov Logic Networks (MLNs) 在不同规模关系结构之间的泛化行为。多项研究注意到,在给定 domain 上学习到的 MLNs 在不同规模的 domains 间泛化效果很差。这种行为源于 MLN 在不同 domain 规模下使用时缺乏内部一致性。在本文中,我们量化了这种不一致性,并用 MLN 参数的方差对其进行了界定。参数方差同时也界定了取自不同 domain 规模的 MLN 边缘分布之间的 KL 散度。我们利用这些界限表明,在最大化数据对数似然的同时最小化参数方差,对应于跨 domain 规模泛化的两个自然概念。我们的理论结果适用于 Exponential Random Graphs 及其他基于 Markov 网络的关系模型。最后,我们观察到已知能降低 MLN 参数方差的解决方案,如正则化和 Domain-Size Aware MLNs,能提高 MLNs 的内部一致性。我们在四个不同的数据集上,使用不同的方法控制参数方差,实证验证了我们的结果,表明控制参数方差能带来更好的泛化能力。

英文摘要:

We study the generalization behavior of Markov Logic Networks (MLNs) across relational structures of different sizes. Multiple works have noticed that MLNs learned on a given domain generalize poorly across domains of different sizes. This behavior emerges from a lack of internal consistency within an MLN when used across different domain sizes. In this paper, we quantify this inconsistency and bound it in terms of the variance of the MLN parameters. The parameter variance also bounds the KL divergence between an MLN's marginal distributions taken from different domain sizes. We use these bounds to show that maximizing the data log-likelihood while simultaneously minimizing the parameter variance corresponds to two natural notions of generalization across domain sizes. Our theoretical results apply to Exponential Random Graphs and other Markov network based relational models. Finally, we observe that solutions known to decrease the variance of the MLN parameters, like regularization and Domain-Size Aware MLNs, increase the internal consistency of the MLNs. We empirically verify our results on four different datasets, with different methods to control parameter variance, showing that controlling parameter variance leads to better generalization.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑