New York University（纽约大学）

Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay

通过难度目标在线数据选择和回放提升大语言模型强化微调的数据效率

Yifan Sun, Jingyan Shen, Yibin Wang, Tianyu Chen, Zhendong Wang, Mingyuan Zhou, Huan Zhang

机构 * UIUC（伊利诺伊大学香槟分校） ； New York University（纽约大学） ； University of Texas at Austin（得克萨斯大学奥斯汀分校） ； Microsoft（微软） 纠错

AI总结 本文提出通过难度目标在线数据选择和回放机制提升大语言模型强化微调的数据效率，实验表明可减少62%的微调时间并保持同等性能。

Comments Accepted at NeurIPS 2025

Radial-VCReg: More Informative Representation Learning Through Radial Gaussianization

径向VCReg：通过径向高斯化获得更具信息量的表示学习

Yilun Kuang, Yash Dagade, Deep Chakraborty, Erik Learned-Miller, Randall Balestriero, Tim G. J. Rudner, Yann LeCun

机构 * New York University（纽约大学） ； Duke University（杜克大学） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Brown University（布朗大学） ； University of Toronto（多伦多大学） 纠错

AI总结 Radial-VCReg通过引入径向高斯化损失，提升表示学习的信息量和多样性，改进自监督学习性能。

Comments Published in the Unifying Representations in Neural Models (UniReps) and Symmetry and Geometry in Neural Representations (NeurReps) Workshops at NeurIPS 2025

RPG-AE: Neuro-Symbolic Graph Autoencoders with Rare Pattern Mining for Provenance-Based Anomaly Detection

RPG-AE：基于罕见模式挖掘的图自编码器用于基于溯源的异常检测

Asif Tauhid, Sidahmed Benabderrahmane, Mohamad Altrabulsi, Ahamed Foisal, Talal Rahwan

机构 * New York University, NYUAD, Computer Science Department, Division of Science（纽约大学、NYUAD、计算机科学系、科学学院） 纠错

AI总结 RPG-AE通过结合图自编码器与罕见模式挖掘，提升基于溯源的异常检测效果和可解释性。

When Attention Collapses: How Degenerate Layers in LLMs Enable Smaller, Stronger Models

当注意力崩溃：LLMs中的退化层如何使小型模型更强大

Sunny Sanyal, Ravid Shwartz-Ziv, Alexandros G. Dimakis, Sujay Sanghavi

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； New York University（纽约大学） ； UC Berkeley（伯克利加州大学） 纠错

AI总结 Inheritune通过继承预训练模型的早期层来构建更小但更强的语言模型，实现模型压缩与性能的平衡。

Comments Published in Transactions on Machine Learning Research (TMLR)