广义分数匹配用于凸域上的参数估计
Generalised Score Matching on Convex Domains
- Indian Institute of Science, Bengaluru（印度科学理工学院，班加罗尔）
机构由 AI 辅助整理，请以论文原文为准。
中文总结 AI 辅助
本文从最小概率流学习出发，构造性地推导了凸域上的广义分数匹配目标，证明其作为二阶适当局部评分规则可恢复真实密度，并建立指数族模型的凸性与估计量一致性，实验验证了其有效性。
中文摘要 AI 辅助
最大似然（ML）估计是学习概率模型的一种有原则且统计高效的方法。然而，对于未归一化模型，ML估计需要评估配分函数并对其求导，这并非总是可行的。分数匹配提供了一种实际可行的替代方案，通过拟合分数来规避这一障碍，从而消除对归一化常数的依赖。我们从最小概率流（MPF）学习出发，构造性地推导了在$\mathbb{R}^{d}$的凸子集上的广义分数匹配目标，并展示了经典分数匹配以及针对非负数据的域自适应变体如何在所提出的框架内自然产生。我们证明了所得目标是一个二阶的{\it 适当的局部评分规则}，这提供了当目标被最小化时恢复真实密度的理论保证。此外，对于属于指数族的模型，我们在标准正则性条件下建立了目标的凸性以及有限样本估计量的一致性。我们的推导为广义分数匹配在各种问题设置中的范围和适用性提供了新的见解。我们比较了在约束域上基于广义分数匹配的估计量，其中配分函数在解析上是难以处理的。我们提供了对定义在$\mathbb{R}^{d}$凸子集上的指数族模型密度进行参数估计的实验结果，以及一个生成建模用例，以展示所提出的广义分数匹配框架的更广泛适用性。
英文摘要
Score matching avoids computing the normalising constant that maximum-likelihood estimation requires. On constrained domains, its generalised variants weight the Fisher divergence so that boundary terms vanish. We derive generalised score matching on open convex subsets of $\mathbb{R}^{d}$ as the small-neighbourhood limit of minimum probability flow, in which the geometry of the neighbourhoods determines the weight. Every $C^{2}$ positive definite weight arises in this way, including those of classical score matching on $\mathbb{R}^{d}$ and of its variants for non-negative data on $\mathbb{R}_{+}^{d}$. For exponential families, we extend the standard convexity, consistency and asymptotic normality results to every such weight and show that the estimator converges to the true parameter under certain boundary conditions. For a truncated Gaussian on a polytope and a Dirichlet distribution on the simplex, proposed estimators attain the lowest median error of all methods compared, in at least 42 of 50 ground-truth configurations.
