arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新，休息一下吧，周末愉快~~
arXiv 2409.03992cs.DCcs.AIcs.PF
收藏

NVIDIA Hopper GPU上的机密计算：性能基准研究

Confidential Computing on NVIDIA Hopper GPUs: A Performance Benchmark Study

Phala Network；Fudan University（复旦大学）

Jianwei Zhu, Hang Yin, Peng Deng, Aline Almeida, Shunfan Zhou

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本研究评估了NVIDIA Hopper GPU上启用TEE对LLM推理的性能影响，发现GPU内计算开销极小，主要瓶颈为PCIe数据传输，典型查询开销低于7%。

摘要：

本报告评估了在NVIDIA Hopper GPU上启用可信执行环境（TEE）对大型语言模型（LLM）推理任务性能的影响。我们针对各种LLM和令牌长度，对TEE模式引入的开销进行了基准测试，特别关注了通过PCIe进行CPU-GPU数据传输所造成的瓶颈。结果表明，虽然GPU内部的计算开销极小，但整体性能损失主要归因于数据传输。对于大多数典型的LLM查询，开销保持在7%以下，而较大的模型和较长的序列几乎经历零开销。

英文摘要：

This report evaluates the performance impact of enabling Trusted Execution Environments (TEE) on NVIDIA Hopper GPUs for large language model (LLM) inference tasks. We benchmark the overhead introduced by TEE mode across various LLMs and token lengths, with a particular focus on the bottleneck caused by CPU-GPU data transfers via PCIe. Our results indicate that while there is minimal computational overhead within the GPU, the overall performance penalty is primarily attributable to data transfer. For the majority of typical LLM queries, the overhead remains below 7%, with larger models and longer sequences experiencing nearly zero overhead.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑