ROCS: Request-Oriented Compute Sharing for Efficient Large-Scale Recommendation
ROCS:面向请求的计算共享,用于高效大规模推荐
机构 * Meta AI
AI总结 本研究提出面向请求的计算共享(ROCS)范式,通过GLM、DCA、IKBO等技术优化推荐模型推理,在公开基准和生产 workload 中均实现效率提升且保持或改善预测质量,已大规模部署应用。
大厂专区
ROCS:面向请求的计算共享,用于高效大规模推荐
机构 * Meta AI
AI总结 本研究提出面向请求的计算共享(ROCS)范式,通过GLM、DCA、IKBO等技术优化推荐模型推理,在公开基准和生产 workload 中均实现效率提升且保持或改善预测质量,已大规模部署应用。
面向最优批量大小调度的联合缩放律研究
机构 * Meta
AI总结 该研究从凸优化视角推导了适用于通用优化器和模型架构的损失联合表征,得到闭式最优批量大小调度与联合缩放律,其性能优于固定批量大小基线,凸显动态批量大小调度在大语言模型训练中的重要性。