使用图变换器进行预训练
Pre-training with Graph Transformers
首次发表
浏览论文内容
中文总结 AI 辅助
本文通过实验探究生物化学领域图变换器的预训练策略，发现基于计算属性的监督预训练效果最佳，并强调限制模型容量以防过拟合。
中文摘要 AI 辅助
本文研究了生物化学领域中图变换器的预训练策略。通过进行全面的实验，研究发现使用计算属性作为标签的监督预训练在下游任务上提供了最高的性能提升。结果还强调了限制模型容量以减轻图变换器过拟合的重要性。
英文摘要
This article investigates pre-training strategies for graph transformers in the biochemistry domain. By conducting comprehensive experiments, the study reveals that supervised pre-training using computed properties as labels provides the highest performance gain on downstream tasks. The results also highlight the importance of constraining model capacity to mitigate overfitting in graph transformers.
发表机构
- National University of Singapore（新加坡国立大学）
- Loyola Marymount University（洛约拉马利蒙特大学）
机构由 AI 辅助整理，请以论文原文为准。
