Variational-Ising-Attention (VIA):TailoredAttentionMattersfor Science
变分伊辛注意力(VIA):适用于科学领域的定制注意力很重要
机构 * DeepSeek-AI(深势科技人工智能) ; Moonshot AI(月之暗面人工智能)
AI总结 研究针对科学任务中softmax注意力独立性假设的不足,提出变分伊辛注意力(VIA),通过伊辛模型增强softmax归一化,在逆合成反应中心预测任务中实例化VIA,实验证明其优于标准softmax注意力,强调科学问题需定制注意力。
Comments 13 pages, ~20 figures