Universal Transformers for Circuit Computations: Perfect Length Generalization in Tiny Transformers
用于电路计算的通用Transformer:小型Transformer中的完美长度泛化
机构 * IBM Research(IBM研究院)
AI总结 该研究提出一种仅需280个参数的通用Transformer,将算法任务建模为电路模型,结合特定位置编码与自主终止准则,在布尔运算、模运算等基准测试上实现了完美长度泛化。