大模型推理能力

Entropy-Gated Branching for Efficient Test-Time Reasoning

熵门分支用于高效的测试时间推理

Xianzhi Li, Ethan Callanan, Abdellah Ghassel, Xiaodan Zhu

机构 * Department of Electrical and Computer Engineering & Ingenuity Labs Research Institute（电气与计算机工程系及创新实验室研究所） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；test-time compute(abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 熵门分支通过在高不确定步骤进行分支并修剪扩展，提升LLM测试时间推理的准确性和效率。

Explicit Multi-head Attention for Inter-head Interaction in Large Language Models

显式多头注意力机制用于大语言模型中头间的交互

Runyu Peng, Yunhua Zhou, Demin Song, Kai Lv, Bo Wang, Qipeng Guo, Xipeng Qiu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出显式多头注意力机制，通过显式建模头间交互提升注意力性能，实现更高效的参数利用和内存压缩，同时保持模型性能。