高校专区

University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

2026-01-23 至 2026-01-23 共收录 2 篇

2512.19849 2026-01-23 cs.DC cs.AI cs.LG cs.NI

UCCL-EP: Portable Expert-Parallel Communication

UCCL-EP：便携式专家并行通信

Ziming Mao, Yihan Zhang, Chihan Cui, Zhen Huang, Kaichao You, Zhongjie Chen, Zhiying Xu, Zhenyu Gu, Scott Shenker, Costin Raiciu, Yang Zhou, Ion Stoica

机构 * UC Berkeley（加州大学伯克利分校）； UC Davis（加州大学戴维斯分校）； UW–Madison（威斯康星大学麦迪逊分校）； AMD（超威半导体）； Tsinghua University（清华大学）； Amazon Web Services（亚马逊网络服务）； ICSI（信息与计算机科学研究所）； Broadcom & University Politehnica of Bucharest（博通与布加勒斯特理工大学）

AI总结 UCCL-EP通过高吞吐量GPU-CPU控制通道和RDMA立即数据模拟，实现了在异构GPU和NIC平台上的高性能专家并行通信，提升了多个模型的训练和推理效率。

2505.24133 2026-01-23 cs.CL cs.AI

R-KV: Redundancy-aware KV Cache Compression for Reasoning Models

R-KV：面向推理模型的冗余感知KV缓存压缩

Zefan Cai, Wen Xiao, Hanshi Sun, Cheng Luo, Yikai Zhang, Ke Wan, Yucheng Li, Yeyang Zhou, Li-Wen Chang, Jiuxiang Gu, Zhen Dong, Anima Anandkumar, Abedelkadir Asi, Junjie Hu

机构 * University of Wisconsin - Madison（威斯康星大学麦迪逊分校）； Microsoft（微软）； Carnegie Mellon University（卡内基梅隆大学）； California Institute of Technology（加州理工学院）； University of California - San Diego（加州大学圣地亚哥分校）； University of Surrey（萨里大学）； University of California - Berkeley（加州大学伯克利分校）

AI总结 R-KV通过冗余感知机制实现推理模型KV缓存压缩，以10%的缓存占用率达到接近100%的性能，显著优于现有方法。