IBM

ZoomR: Memory Efficient Reasoning through Multi-Granularity Key Value Retrieval

ZoomR：通过多粒度键值检索实现内存高效的推理

David H. Yang, Yuxuan Zhu, Mohammad Mohammadi Amiri, Keerthiram Murugesan, Tejaswini Pedapati, Subhajit Chaudhury, Pin-Yu Chen

机构 * Rensselaer Polytechnic Institute（罗切斯特理工学院） ； IBM Research（IBM研究院） 纠错

AI总结 ZoomR通过多粒度键值检索实现内存高效的推理，减少内存使用，适用于长输出生成任务。

PipeLive: Efficient Live In-place Pipeline Parallelism Reconfiguration for Dynamic LLM Serving

PipeLive: 高效的动态LLM服务中实时管道并行性重新配置

Xu Bai, Muhammed Tawfiqul Islam, Chen Wang, Adel N. Toosi

机构 * DisNet Lab（DisNet实验室） ； University of Melbourne（墨尔本大学） ； IBM Research（IBM研究院） 纠错

AI总结 PipeLive通过实时在地管道并行性重新配置提升动态LLM服务效率，采用改进的KV缓存布局和PageAttention扩展，实现KV缓存动态调整与增量修补机制，显著降低TTFT和重新配置开销。