ICML

Sketch to Adapt: Fine-Tunable Sketches for Efficient LLM Adaptation

草图以适应：用于高效大语言模型适应的可调节草图

Tianyi Zhang, Junda Su, Aditya Desai, Oscar Wu, Zhaozhuo Xu, Anshumali Shrivastava

机构 * Rice University, Houston, TX（里士满大学） ； University of California, Berkeley, Berkeley, CA（加州大学伯克利分校） ； Stevens Institute of Technology, Hoboken, NJ（史蒂文斯理工学院） ； ThirdAI Corp.（ThirdAI公司） ； Ken Kennedy Institute（肯尼迪研究所） 纠错

AI总结 SketchTune通过压缩和适应一体化的方法，实现更高效的大语言模型适应，优于现有PEFT方法。

Comments Published in ICML 2025

Sorbet: A Neuromorphic Hardware-Compatible Transformer-Based Spiking Language Model

Sorbet：一种兼容神经形态硬件的基于Transformer的脉冲语言模型

Kaiwen Tang, Zhanglu Yan, Weng-Fai Wong

机构 * School of Computing, National University of Singapore, Singapore, Singapore（新加坡国立大学计算机学院） 纠错

AI总结 Sorbet是一种基于Transformer的脉冲语言模型，通过PTsoftmax和BSPN替代高能耗操作，实现高效能的神经形态硬件兼容性。

Comments Accepted by ICML 2025. Camera-ready version

Journal ref Proceedings of the 42nd International Conference on Machine Learning (ICML), 2025