Apple（苹果）

Nectar: Neural Estimation of Cached-Token Attention via Regression

Nectar: 通过回归估计缓存令牌注意力

João Monteiro, Michal Klein, Pierre Ablin, Marco Cuturi

机构 * Apple（苹果公司） 纠错

AI总结 Nectar通过回归方法估计缓存令牌注意力，减少长上下文中的计算成本，实验显示其精度接近完整注意力。