双 PatchNorm
Dual PatchNorm
Google Research（谷歌研究院）
AI总结：
提出双 PatchNorm，在视觉 Transformer 的 patch 嵌入层前后各加一个层归一化，优于穷举搜索的放置策略，能提升准确率且不损害性能。
摘要：
我们提出了双 PatchNorm：在视觉 Transformer 的 patch 嵌入层前后各放置一个层归一化层。我们证明了双 PatchNorm 优于在 Transformer 块内部对替代层归一化放置策略进行穷举搜索的结果。在我们的实验中，加入这一简单的修改，通常能提高经过良好调优的视觉 Transformer 的准确率，且从不造成损害。
英文摘要：
We propose Dual PatchNorm: two Layer Normalization layers (LayerNorms), before and after the patch embedding layer in Vision Transformers. We demonstrate that Dual PatchNorm outperforms the result of exhaustive search for alternative LayerNorm placement strategies in the Transformer block itself. In our experiments, incorporating this trivial modification, often leads to improved accuracy over well-tuned Vision Transformers and never hurts.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
