From SRA to Self-Flow: Data Augmentation or Self-Supervision?
从SRA到Self-Flow:数据增强还是自监督?
机构 * The Hong Kong University of Science and Technology(香港科技大学) ; Zhejiang University of Technology(浙江工业大学) ; Baidu Inc.(百度公司)
AI总结 本文通过提出注意力分离方法,发现Self-Flow中双时间调度的性能提升主要源于噪声维度的数据增强,而非token间交互,并验证了该设计在ImageNet上的有效性。