大模型推理能力

Value-Aware Numerical Representations for Transformer Language Models

具有价值意识的数值表示用于Transformer语言模型

Andreea Dutulescu, Stefan Ruseti, Mihai Dascalu

机构 * National University of Science and Technology（科学技术大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种价值意识的数值表示方法，通过在Transformer语言模型输入中加入前缀标记以显式编码数值，从而提升模型在算术任务中的表现。

Ability Transfer and Recovery via Modularized Parameters Localization

通过模块化参数定位实现能力迁移与恢复

Songyao Jin, Kun Zhou, Wenqi Li, Peng Wang, Biwei Huang

机构 * University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ACT通过激活差异局部化能力相关通道，实现能力迁移与恢复，提升多语言数学和科学推理性能。

OptiMind: Teaching LLMs to Think Like Optimization Experts

OptiMind: 教授大语言模型像优化专家一样思考

Xinzhi Zhang, Zeyi Chen, Humishka Zope, Hugo Barbalho, Konstantina Mellou, Marco Molinaro, Janardhan Kulkarni, Ishai Menache, Sirui Li

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 OptiMind通过整合优化专业知识，提升大语言模型在混合整数线性规划中的公式准确性，实现20.7%的提升。