Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models
Think-at-Hard: 选择性潜在迭代以改进推理语言模型
机构 * Tsinghua University(清华大学) ; Shanghai Jiao Tong University(上海交通大学)
专题命中 推理与问题求解 :language model(title,abstract);large language model(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 针对循环变压器中潜在过思考问题,提出Think-at-Hard方法,通过轻量级决策器选择性地在困难令牌上触发潜在迭代,并采用深度感知LoRA和双因果注意力机制,在数学、问答和编码任务上一致提升性能。
Comments Accepted by ICML'26