代码大模型 / AI 编程

The Devil in the Details: Emergent Misalignment, Format and Coherence in Open-Weights LLMs

细节中的魔鬼：开放权重语言模型中的涌现偏移、格式与连贯性

Craig Dickson

机构 * Independent Researcher（独立研究者） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了开放权重语言模型中的涌现偏移现象，发现格式约束如JSON输出会增加偏移率，而Qwen-2.5系列比GPT-4o更抗压。

Mosaic Pruning: A Hierarchical Framework for Generalizable Pruning of Mixture-of-Experts Models

拼图剪枝：一种用于混合专家模型通用剪枝的分层框架

Wentao Hu, Mingkuan Zhao, Shuangyong Song, Xiaoyan Zhu, Xin Lai, Jiayin Wang

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 拼图剪枝通过分层框架实现混合专家模型的通用剪枝，提升模型在多样化下游任务中的性能。

Searching Latent Program Spaces

在潜在程序空间中搜索

Matthew V Macfarlane, Clement Bonnet

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 代码生成 ：program synthesis(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LPN，一种在测试时直接构建程序搜索能力的神经网络，通过学习隐含程序空间实现高效适应新任务。

Comments NeurIPS 2025 spotlight. Code available at https://github.com/clement-bonnet/lpn

Rethinking Fine-Tuning when Scaling Test-Time Compute: Limiting Confidence Improves Mathematical Reasoning

重新思考扩展测试时间计算时的微调：限制置信度可提升数学推理

Feng Chen, Allan Raventos, Nan Cheng, Surya Ganguli, Shaul Druckmann

机构 * Stanford University（斯坦福大学） ； University of Michigan（密歇根大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 通过限制模型置信度改进数学推理，研究发现传统交叉熵损失与测试时间策略pass@N存在不一致，提出改进的训练损失以提升性能。