本文提出基于角高斯分布和 von Mises-Fisher 分布的最大后验估计方法，通过将表示推向固定先验均值方向以抵御数据漂移，并结合基于记忆的学习技术，在无需负数据或任务边界知识的情况下，显著提升了在线持续学习的性能。
摘要：
我们使用最大后验估计原理来学习分布在单位球面上的表示。我们提出使用角高斯分布，它对应于投影到单位球面上的高斯分布，并推导出相关的损失函数。我们还考虑了 von Mises-Fisher 分布，它是单位球面上高斯分布的条件分布。学习到的表示被推向固定方向，这些方向是高斯分布的先验均值；这使得学习策略能够抵御数据漂移。这使其适用于在线持续学习，即在连续数据流上训练神经网络的问题，其中多个分类任务被顺序呈现，因此过去任务的数据不再可访问，而当前任务的数据只能被看到一次。为了应对这一具有挑战性的场景，我们提出了一种配备我们新损失函数的基于记忆的表示学习技术。我们的方法不需要负数据或任务边界的知识，在较小的批量大小下表现良好，同时计算效率高。我们通过大量实验证明，所提出的方法在标准评估场景和具有模糊任务边界的现实场景中均优于当前最先进的方法。为了可复现性，我们对每个比较的方法使用相同的训练流程，并在 https://github.com/Nicolas1203/ocl-fd 分享代码。
英文摘要：
We use the maximum a posteriori estimation principle for learning representations distributed on the unit sphere. We propose to use the angular Gaussian distribution, which corresponds to a Gaussian projected on the unit-sphere and derive the associated loss function. We also consider the von Mises-Fisher distribution, which is the conditional of a Gaussian in the unit-sphere. The learned representations are pushed toward fixed directions, which are the prior means of the Gaussians; allowing for a learning strategy that is resilient to data drift. This makes it suitable for online continual learning, which is the problem of training neural networks on a continuous data stream, where multiple classification tasks are presented sequentially so that data from past tasks are no longer accessible, and data from the current task can be seen only once. To address this challenging scenario, we propose a memory-based representation learning technique equipped with our new loss functions. Our approach does not require negative data or knowledge of task boundaries and performs well with smaller batch sizes while being computationally efficient. We demonstrate with extensive experiments that the proposed method outperforms the current state-of-the-art methods on both standard evaluation scenarios and realistic scenarios with blurry task boundaries. For reproducibility, we use the same training pipeline for every compared method and share the code at https://github.com/Nicolas1203/ocl-fd.
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
On PyTorch Implementation of Density Estimators for von Mises-Fisher and Its Mixture
von Mises-Fisher（vMF）是一个著名的方向随机变量密度模型。最近兴起的用于高维结构化数据（如图像或文本）的深度嵌入方法，旨在提取突出的方向信息，可以使vMF模型更加流行。在本文中，我们将回顾vMF模型及其混合，提供如何在Python/PyTorch中训练模型的详细方法，重点是最大似然估计。特别是，vMF的实现通常会遇到密度归一化器中贝塞尔函数求值的臭名昭著的数值问题，特别是当维数很高时，我们使用支持任意精度的MPMath库来解决这个问题。对于混合学习，我们提供了基于小批量的大规模SGD学习，以及EM算法，这是一个完整的批量估计器。对于每种估计器/方法，我们在一些合成数据上测试我们的实现，同时我们还在更现实的图像聚类场景中演示了用例。我们的代码可在https://github.com/minyoungkim21/vmf-lib上公开获取。
