arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Korea Advanced Institute of Science and Technology(韩国科学技术院)

2026-02-13 至 2026-02-13 共收录 2
2602.11530 2026-02-13 cs.LG cs.AR

PASCAL: A Phase-Aware Scheduling Algorithm for Serving Reasoning-based Large Language Models

PASCAL:一种面向推理型大语言模型的服务调度算法

Eunyeong Cho, Jehyeon Bang, Ranggi Hwang, Minsoo Rhu

机构 * KAIST(韩国科学技术院)

AI总结 PASCAL通过优先处理推理阶段和控制回答阶段的令牌节奏,有效降低了推理型大语言模型的TTFT并保持服务等级目标。

Comments Accepted for publication at the 32nd IEEE International Symposium on High-Performance Computer Architecture (HPCA-32), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.12026 2026-02-13 cs.LG stat.ML

Mamba Can Learn Low-Dimensional Targets In-Context via Test-Time Feature Learning

Mamba可通过测试时特征学习实现上下文中的低维目标

Junsoo Oh, Wei Huang, Taiji Suzuki

机构 * KAIST AI(韩国科学技术院人工智能研究所) University of Tokyo(东京大学) RIKEN AIP(日本研究机构人工智能计划) The Institute of Statistical Mathematics(统计数学研究所) University of Tokyo/RIKEN AIP(东京大学/日本研究机构人工智能计划)

AI总结 Mamba通过测试时特征学习实现上下文中的低维目标,其非线性门控机制在特征提取中起关键作用,提升了计算效率和性能。

Comments 34 pages. Polished writing, added more experiments, and fixed minor errors

详情

展开后加载摘要…

URL PDF HTML 收藏