JMLR

Optimizing Attention with Mirror Descent: Generalized Max-Margin Token Selection

通过镜像下降优化注意力：广义最大边际标记选择

Addison Kristanto Julistiono, Davoud Ataee Tarzanagh, Navid Azizan

机构 * Massachusetts Institute of Technology（麻省理工学院） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

AI总结 本文通过镜像下降优化注意力机制，提出了一种广义最大边际标记选择方法，展示了其在分类任务中的收敛性和泛化能力提升。

Comments Published at JMLR