Modern latency-critical online services such as search engines often process requests by consulting large input data spanning massive parallel components. Hence the tail latency of these components determines the service latency. To trade off result accuracy for tail latency reduction, existing techniques use the components responding before a specified deadline to produce approximate results. However, they may skip a large proportion of components when load gets heavier, thus incurring large accuracy losses. This paper presents AccuracyTrader that produces approximate results with small accuracy losses while maintaining low tail latency. AccuracyTrader aggregates information of input data on each component to create a small synopsis, thus enabling all components producing initial results quickly using their synopses. AccuracyTrader also uses synopses to identify the parts of input data most related to arbitrary requests' result accuracy, thus first using these parts to improve the produced results in order to minimize accuracy losses. We evaluated AccuracyTrader using workloads in real services. The results show: (i) AccuracyTrader reduces tail latency by over 40 times with accuracy losses of less than 7% compared to existing exact processing techniques; (ii) when using the same latency, AccuracyTrader reduces accuracy losses by over 13 times comparing to existing approximate processing techniques.
Memory at Your Service: Fast Memory Allocation for Latency-critical Services
在诸如键值存储和web搜索之类的延迟关键型服务与尽力而为的批处理作业之间的协同定位和存储器共享是提高多租户数据中心系统中的存储器利用率的有吸引力的方法。然而，我们发现，非常不同的目标的工作协同定位和GNU/Linux系统堆栈可能会导致严重的性能下降的延迟关键服务的内存压力下，在多租户系统。我们通过快速内存分配和主动回收来解决延迟关键型服务的内存压力。我们发现，内存分配延迟占主导地位的整体查询延迟，特别是在内存压力。我们分析了GNU/Linux系统栈提供的默认存储管理机制，并找出了它在多租户系统中对延迟关键服务效率低下的原因。我们提出了Hermes，一个快速的内存分配机制，在用户空间，自适应地保留内存的延迟关键的服务。它建议Linux操作系统主动回收批处理作业的内存。我们在GNU C Library中实现了Hermes。实验结果表明，Hermes在微基准测试中，平均内存分配延迟和$99^{th}$百分比内存分配延迟分别降低了54.4%和62.4%.对于两个实际的延迟关键型服务，Hermes将平均和$99^{th}$百分位数尾部查询延迟降低了40.3%。与默认的Glibc、jemalloc和TCMalloc相比，Hermes在内存压力下将服务级别目标违规减少了84.3%。
Sei Labs（Sei实验室）；University of California, Berkeley（加州大学伯克利分校）；University of California, Davis（加州大学戴维斯分校）；UC Santa Barbara（加州大学圣塔芭芭拉分校）；University of Portsmouth（朴茨茅斯大学）
SLO-Scaler: Uncertainty-Aware SLO-Driven Autoscaling for Microservices
Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；University of Cincinnati（辛辛那提大学）；University of Southern California（南加州大学）；Northeastern University（东北大学）
Reliable Microservice Tail Latency Prediction via Decoupled Dual-Stream Learning and Gradient Modulation
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）；Polytechnic Institute, Zhejiang University（浙江大学 polytechnic 院）；School of Computer Science, University of Sydney（悉尼大学计算机科学学院）
Beyond Prediction: Tail-Aware Scheduling for LLM Inference
Cornell University, Computer Science Department（康奈尔大学计算机科学系）；Cornell University, Electrical and Computer Engineering Department（康奈尔大学电气与计算机工程系）；Cornell University, Operations Research and Information Engineering Department（康奈尔大学运筹学与信息工程系）；Microsoft Azure System Research（微软Azure系统研究）；NVIDIA Corporation（英伟达公司）
Accelerating Long-Tail Generation in Synchronous RLHF Training via Adaptive Tensor Parallelism
Anhui University（安徽大学）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合国家科学中心人工智能研究院）
Faster Data-access in Large-scale Systems: Network-scale Latency Analysis under General Service-time Distributions
在具有大量服务器的云存储系统中，文件通常不存储在单个服务器中。相反，它们被拆分、复制（以确保在服务器故障时的可靠性）并存储在不同的服务器中。我们分析了这样一个分裂和复制的云存储系统的平均延迟下一般的次指数服务时间。我们提出了一种新的调度方案，利用负载平衡策略的\textit{power of $d$ $(\geq 2)$}的选择。分割和复制的替代方案是使用擦除码，最近，已经观察到它们可以减少数据访问中的延迟（有关详细信息，请参见\cite{longbo_delay}）。我们认为，在高冗余（整数冗余因子严格大于或等于2）制度下，编码系统的平均延迟是上界的分裂和复制系统（具有相同的复制因子），这两者之间的差距是小的。我们验证了这一说法在不同的服务分布，如指数，移位加指数和重尾Weibull分布下的数值和比较的平均延迟的unsplit-replicated系统。我们观察到，编码系统优于未分割复制系统至少$20\%$。此外，我们认为，平均延迟的纠删编码系统具有低冗余（分数冗余因子1和2之间），这是一个更务实的情况下，给定的存储约束（\cite{rashmi_thesis}）。然而，在这种制度下，我们限制自己的特殊情况下，指数的服务时间分布，并使用随机负载均衡策略，即\textit{batch-sampling}。我们得到的上界平均延迟，取决于顺序统计的队列长度，其中，我们进一步平滑通过离散…
