Meta

GR2: Generative Reasoning Re-ranker

生成式推理重排序器

Mingfu Liang, Yufei Li, Jay Xu, Kavosh Asadi, Xi Liu, Shuo Gu, Kaushik Rangadurai, Frank Shyu, Shuaiwen Wang, Song Yang, Zhijing Li, Jiang Liu, Mengying Sun, Fei Tian, Xiaohan Wei, Chonglin Sun, Jacob Tao, Shike Mei, Wenlin Chen, Santanu Kolay, Sandeep Pandey, Hamed Firooz, Luke Simon

机构 * Meta AI 纠错

AI总结 提出GR2框架，利用大语言模型的推理能力进行推荐重排序，通过语义ID编码、推理轨迹监督微调和强化学习优化，在Recall@5和NDCG@5上超越现有方法。

Comments 31 pages

The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs

稀疏前沿：Transformer大语言模型中稀疏注意力的权衡

Piotr Nawrot, Robert Li, Renjie Huang, Sebastian Ruder, Kelly Marchisio, Edoardo M. Ponti

机构 * University of Edinburgh（爱丁堡大学） ； Cohere ； Meta 纠错

AI总结 通过大规模实证分析，研究了六种免训练稀疏注意力方法在多个模型和任务上的效率-准确性权衡，发现稀疏注意力有效、细粒度预填充不实用、长序列容忍更高稀疏度。

Tuning without Peeking: Provable Generalization Bounds and Robust LLM Post-Training

无窥调优：可证明的泛化边界与鲁棒的大语言模型后训练

Ismail Labiad, Mathurin Videau, Matthieu Kowalski, Marc Schoenauer, Alessandro Leite, Julia Kempe, Olivier Teytaud

机构 * Meta FAIR ； LISN, Inria, CNRS（LISN，Inria，CNRS） ； NYU Courant Institute（NYU Courant学院） 纠错

AI总结 提出BBoxER黑盒进化方法用于LLM后训练，通过隐式压缩数据诱导信息瓶颈，提供非平凡泛化边界和对数据投毒、提取攻击的鲁棒性理论保证，实验证明其有效性和隐私保护。