University of Michigan（密歇根大学安娜堡分校）

Double-P: Hierarchical Top-P Sparse Attention for Long-Context LLMs

Double-P: 分层Top-P稀疏注意力机制用于长上下文LLM

Wentao Ni, Kangqi Zhang, Zhongming Yu, Oren Nelson, Mingu Lee, Hong Cai, Fatih Porikli, Jongryool Kim, Zhijian Liu, Jishen Zhao

机构 * ucsd（加州大学圣迭戈分校） ； umich（密歇根大学） ； qualcomm（高通AI研究） ； nvidia 纠错

AI总结 Double-P通过分层Top-P稀疏注意力机制，优化长上下文LLM的解码效率，实现更高的准确性和更快的处理速度。