DEPTH: Discourse Education through Pre-Training Hierarchically
DEPTH: 通过预训练分层实现话语教育
机构 * Technion（技术学院） ； Ben-Gurion University of the Negev（贝叶林顿大学）
AI总结 DEPTH通过预训练分层模型提升语言模型在话语层面的理解能力，优于T5在跨度破坏损失上，并在多个基准测试中表现优异。
Comments 25 pages, 10 figures, 10 tables, accepted to NAACL 2025, Rep4NLP
Journal ref Proceedings of the 10th Workshop on Representation Learning for NLP, 2025, 1-25
