大模型推理能力

Latent Veracity Inference for Identifying Errors in Stepwise Reasoning

潜在真实性推断用于识别逐步推理中的错误

Minsu Kim, Jean-Pierre Falet, Oliver E. Richardson, Xiaoyin Chen, Moksh Jain, Sungjin Ahn, Sungsoo Ahn, Yoshua Bengio

机构 * Mila – Québec AI Institute（魁北克人工智能研究所） ； KAIST（韩国科学技术院） ； Université de Montréal（蒙特利尔大学） ； LawZero（法零） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；self-correction(abstract)

AI总结 本文提出通过引入潜在真实性变量和Veracity Search算法，提升语言模型在逐步推理中的准确性和可信度，并通过Amortized Veracity Inference实现零样本真实性推断。

Fast and Effective On-policy Distillation from Reasoning Prefixes

基于推理前缀的高效在线策略蒸馏

Dongxu Zhang, Zhichao Yang, Sepehr Janghorbani, Jun Han, Andrew Ressler, Qian Qian, Gregory D. Lyng, Sanjit Singh Batra, Robert E. Tillman

专题命中 数学推理 ：reasoning(title)；分类 cs.AI、cs.LG

AI总结 本文提出基于推理前缀的在线策略蒸馏方法，通过仅对生成输出的前缀应用蒸馏目标并提前终止采样，有效降低训练成本，同时保持与完整OPD相当的性能。

Intermittent Semi-Working Mask: A New Masking Paradigm for LLMs

间歇半工作掩码：一种新的LLM掩码范式

HaoYuan Hu, Mingcong Lu, Di Luo, XinYa Wu, Jiangcai Zhu, Taoye Yin, Zheng Li, Hao Wang, Shusheng Zhang, KeZun Zhang, KaiLai Shao, Chao Chen, Feng Wang

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 间歇半工作掩码通过引入稀疏双向注意力，实现高效多轮对话和上下文密集型任务处理，同时保持推理效率。