Baidu（百度）

Efficient LLM-based Advertising via Model Compression and Parallel Verification

通过模型压缩和并行验证实现高效的LLM广告

Wenxin Dong, Chang Gao, Guanghui Yu, Xuewu Jiao, Mingqing Hu, Qiang Fu, Peng Xu, Penghui Wei, Hui Xu, Yue Xing, Shuanglong Li, Lin Liu

机构 * Baidu Inc.（百度公司） 纠错

AI总结 本文提出Efficient Generative Targeting框架，结合自适应分组量化、层适应性分层稀疏化和前缀树并行验证，提升LLM推理效率并保持生成质量，实验显示在真实广告场景中实现显著加速且质量损失可控。

Comments 10 pages, 7 figures, industry paper

Ada-MK: Adaptive MegaKernel Optimization via Automated DAG-based Search for LLM Inference

Ada-MK: 通过基于DAG的自动搜索实现适应性MegaKernel优化以用于LLM推理

Wenxin Dong, Mingqing Hu, Guanghui Yu, Qiang Fu, Peng Xu, Hui Xu, Yue Xing, Xuewu Jiao, Shuanglong Li, Lin Liu

机构 * Baidu Inc.（百度公司） 纠错

AI总结 本文提出Ada-MK，通过基于DAG的自动搜索优化MegaKernel，减少共享内存峰值使用50%，消除运行时分支，提升LLM推理吞吐量和效率。

Comments 10 pages, 8 figures