From Expressivity to Sample Complexity: Narrow Teachers for Transformers via C-RASP
从表达能力到样本复杂度:通过C-RASP为Transformer构建窄教师模型
机构 * Mila & Université de Montréal(米拉与蒙特利尔大学) ; University of Oxford(牛津大学) ; Saarland University(萨尔兰大学)
专题命中 其他LLM :large language model(abstract);language model(abstract);分类 cs.CL、cs.LG
AI总结 研究Transformer的理论理解,通过提出手工权重等分析其表达能力。针对其可学习性研究少的问题,受损失景观分析启发,为用Transformer学习C-RASP结构提出初步样本复杂度界限。
Comments 9 pages total