Transformer 头寻找顺序
Transformer Heads Looking for Order
发表机构IMC UC · CENIA · 可信人工智能中心
另 1 家 · 查看机构详情
- IMC UC
- CENIA
- Centre for Credible AI（可信人工智能中心）
- Queen Mary University of London（伦敦玛丽女王大学）
机构由 AI 辅助整理，请以论文原文为准。
首次发表
浏览论文内容
中文总结 AI 辅助
本文证明检查比特序列有序性需双头单层 Transformer，单头无法完成，且模型含输出 MLP。
中文摘要 AI 辅助
在这篇笔记中，我们证明了检查一个比特序列是否有序的问题，无法由单头单层 Transformer 完成，但可以由双头单层 Transformer 完成。与先前类似结果不同，我们的结果假设 Transformer 模型具有输出 MLP。
英文摘要
In this note, we show that the problem of checking, whether a sequence of bits is ordered, is not doable by 1-head 1-layer transformers but is doable by a 2-head 1-layer transformer. Unlike similar previous results, our results assume the model where transformers have an output MLP.
