ICLR

AdaRankGrad: Adaptive Gradient-Rank and Moments for Memory-Efficient LLMs Training and Fine-Tuning

AdaRankGrad: 适应性梯度-秩和矩用于内存高效的LLM训练和微调

Yehonathan Refael, Jonathan Svirsky, Boris Shustin, Wasim Huleihel, Ofir Lindenbaum

机构 * Department of Electrical Engineering-Systems at Tel Aviv University（特拉维夫大学电子工程系统系） ； Faculty of Engineering, Bar Ilan University（巴伊兰大学工程学院） ； Mathematical Institute, University of Oxford（牛津大学数学学院） 纠错

AI总结 AdaRankGrad通过自适应低秩梯度更新实现内存高效的大语言模型训练和微调，减少内存需求并提升模型性能。

Journal ref ICLR 2025

PhyloLM : Inferring the Phylogeny of Large Language Models and Predicting their Performances in Benchmarks

PhyloLM : 推断大语言模型的系统发育并预测其在基准测试中的性能

Nicolas Yax, Pierre-Yves Oudeyer, Stefano Palminteri

AI总结 PhyloLM通过系统发育算法推断大语言模型的系统发育关系并预测其在基准测试中的性能。

Comments The project code is available at https://github.com/Nicolas-Yax/PhyloLM . Published as https://iclr.cc/virtual/2025/poster/28195 at ICLR 2025. A code demo is available at https://colab.research.google.com/drive/1agNE52eUevgdJ3KL3ytv5Y9JBbfJRYqd

Journal ref ICLR 2025

ADAM Optimization with Adaptive Batch Selection

具有自适应批处理选择的ADAM优化

Gyu Yeol Kim, Min-hwan Oh

机构 * Seoul National University（首尔国立大学） 纠错

AI总结 本文提出AdamCB，结合组合老虎机技术改进ADAM优化器，提升收敛速度和理论保证，实验证明其优于现有方法。

Comments Published at ICLR 2025

Journal ref Proc. The Thirteenth International Conference on Learning Representations (ICLR), 2025

Data Taggants: Dataset Ownership Verification via Harmless Targeted Data Poisoning

数据标记物：通过无害的针对性数据污染实现数据集所有权验证

Wassim Bouaziz, Nicolas Usunier, El-Mahdi El-Mhamdi

机构 * Meta AI, FAIR & CMAP, École polytechnique Paris, France（Meta AI、FAIR 及 CMAP、巴黎高等理工学院） ； Work done while at Meta AI, FAIR（在 Meta AI、FAIR 期间） ； CMAP, École polytechnique Palaiseau, France（CMAP、巴黎高等理工学院 Palaiseau 分校） 纠错

AI总结 本文提出数据标记物，一种通过无害针对性数据污染实现数据集所有权验证的新技术，能够可靠检测训练数据集的模型，不损害验证准确率。

Comments Published at ICLR 2025. 19 pages, 9 figures