Syntax vs. Semantics: How Transformers Learn Deep Dependencies
句法与语义:Transformer如何学习深层依赖关系
专题命中 视觉空间推理 :CoT(summary_cn,abstract);chain-of-thought(abstract,abstract_cn);reasoning(abstract);分类 cs.CL、cs.AI
AI总结 该研究提出机械框架揭示Transformer学习深层语义依赖的梯度饥饿现象,解释CoT有效性,验证于多规模模型,提出拓扑对齐对比目标在变量绑定任务提升超2倍。