Amazon（亚马逊）

PACE: Two-Timescale Self-Evolution for Small Language Model Agents

PACE：小型语言模型代理的双时间尺度自我进化

Chen Ling, Pei Chen, Albert Guan, Jiaming Qu, Shayan Ali Akbar, Madhu Gopinathan, Erwin Cornejo

机构 * Amazon（亚马逊） 纠错

AI总结 提出PACE框架，通过双时间尺度协调低风险提示优化与高风险控制逻辑更新，使冻结的小型语言模型在无需权重更新或依赖前沿模型的情况下实现自主自我进化，在12个骨干-基准组合上取得最佳性能。

The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models

读出捷径：位置数字复制主导小语言模型中的算术思维链读出

Ming Liu

机构 * Amazon（亚马逊） 纠错

AI总结 本研究通过前缀补全实验，发现小语言模型在算术思维链中主要依赖位置捷径（复制答案分隔符前的最后一个数字），而非逻辑推理，并分析了不同模型的行为差异。

Comments 18 pages (8 main + 10 appendix), 3 figures, 5 tables

FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

FuRA: 基于谱预条件的全秩参数高效微调

Yequan Zhao, Ruijie Zhang, Liyan Tan, Niall Moran, Tong Qin, Zheng Zhang

机构 * University of California at Santa Barbara（加州大学圣芭芭拉分校） ； Amazon Lab126（亚马逊实验室126） 纠错

AI总结 提出FuRA方法，通过块张量列车分解实现全秩谱预条件，在保持参数效率的同时提升微调性能，在LLM和VLM任务上优于全微调和LoRA。