补充材料：使用动态扩展图模型的终身生成建模

Supplemental Material: Lifelong Generative Modelling Using Dynamic Expansion Graph Model

University of York（约克大学）

Fei Ye, Adrian G. Bors

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

在这篇文章中，我们提供了使用动态扩展图模型的终身生成建模的附录。本附录包括其他视觉结果以及挑战性数据集的数值结果。此外，我们还提供了详细的证明所提出的理论分析框架。源代码可以在https://github.com/dtuzi123/Expansion-Graph-Model上找到。

英文摘要：

In this article, we provide the appendix for Lifelong Generative Modelling Using Dynamic Expansion Graph Model. This appendix includes additional visual results as well as the numerical results on the challenging datasets. In addition, we also provide detailed proofs for the proposed theoretical analysis framework. The source code can be found in https://github.com/dtuzi123/Expansion-Graph-Model.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于动态扩展图模型的终身生成建模

Lifelong Generative Modelling Using Dynamic Expansion Graph Model

University of York（约克大学）

变分自编码器（VAE）在学习多个连续任务时，性能会退化。这是由灾难性遗忘引起的。为了解决知识丢失问题，VAE正在使用生成重放（GR）机制或扩展网络架构（ENA）。在本文中，我们研究的遗忘行为的VAE使用联合GR和ENA方法，推导出一个上界的负边际对数似然。这一理论分析为VAE如何在终身学习中忘记以前学到的知识提供了新的见解。分析表明，在ENA框架下，考虑模型混合物时达到的最佳性能，其中对组分的数量没有限制。然而，基于ENA的方法可能需要过多的参数。这促使我们提出了一种新的动态扩展图模型（DEGM）。DEGM根据与每个新数据库相关的新颖性，与网络从以前的任务中已经学习的信息相比，扩展了其架构。DEGM训练优化了知识结构，表征了与过去和最近学习的任务相对应的联合概率表示。我们证明，DEGM保证每个任务的最佳性能，同时也最大限度地减少所需的参数数量。补充材料（SM）和源代码可在https://github.com/dtuzi123/Expansion-Graph-Model获得。

2021-12-15cs.AIcs.CVcs.LG

终身强化学习的无模型生成重放：在星际争霸2中的应用

Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2

SRI International（斯坦福国际研究院）

应对深度终身强化学习（LRL）挑战的一种方法是仔细管理智能体的学习经验，学习（不忘记）并构建内部元模型（任务，环境，智能体和世界）。生成重放（GR）是一种生物启发的重放机制，它通过从随时间更新的内部生成模型中提取的自标记示例来增强学习体验。我们提出了一个用于LRL的GR版本，它满足了两个必要条件：（a）使用深度RL学习的策略潜在表示的内省密度建模，以及（b）无模型端到端学习。在本文中，我们研究了无模型GR的三种深度学习架构，从一个简单的GR开始，添加成分以实现（a）和（b）。我们评估我们提出的算法在三个不同的情况下，包括任务的星际争霸2和Minigrid域。我们报告了几个关键的研究结果，显示了设计选择对定量指标的影响，包括迁移学习，对看不见的任务的概括，任务改变后的快速适应，任务专家的表现，以及灾难性遗忘。我们观察到，我们的GR防止了深度RL代理的潜在向量空间的特征到动作映射的漂移。我们还显示了在建立终身学习指标的改进。我们发现，一个小的随机重放缓冲区显着提高了训练的稳定性。总的来说，我们发现“隐藏重放”（一种众所周知的类增量分类架构）是最有前途的方法，它推动了GR中最先进的LRL，并观察到睡眠模型的架构对于提高性能可能比使用的重放类型更重要。我们的实验只需要6%的训练样本，就可以在大多数星际争霸2场景中达到80-90%的专家性能。

2022-08-16cs.AIcs.LG

TrueLearn：匹配终身学习者和开放教育资源的贝叶斯算法族

TrueLearn: A Family of Bayesian Algorithms to Match Lifelong Learners to Open Educational Resources

University College London（伦敦大学学院）

计算机辅助学习系统的最新进展和今天开放教育资源的可用性，为广大学习者提供了一条具有成本效益的高质量教育的途径。计算机辅助学习最雄心勃勃的用例之一是建立终身学习推荐系统。与短期课程不同，终身学习提出了独特的挑战，需要复杂的推荐模型，这些模型考虑了广泛的因素，如学习者的背景知识或材料的新颖性，同时有效地保持大量学习者的知识状态，持续更长的时间（理想情况下，一生）。这项工作为建立一个动态，可扩展和透明的教育推荐系统奠定了基础，以开放教育资源的形式从隐式数据中建模学习者的知识。我们i）使用基于维基百科的文本本体自动提取教育资源的知识成分，ii）提出了一套在线贝叶斯策略的启发，著名的领域的项目反应理论和知识追踪。我们的建议，TrueLearn，专注于学习者有足够的背景知识（因此他们能够理解并从材料中学习）的建议，并且材料具有足够的新颖性，可以帮助学习者提高他们对主题的知识并保持他们的参与。我们进一步构建了一个大型的开放式教育视频讲座数据集，并测试了所提出的算法的性能，这表明了建立一个有效的教育推荐系统的明确承诺。

2019-11-21cs.AIcs.IRcs.LG