DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation
DSpark:结合半自回归生成的置信度调度投机解码框架
机构 * Peking University(北京大学) ; DeepSeek-AI(深势科技人工智能)
AI总结 针对现有投机解码接受率衰减、高并发下吞吐量劣化问题,DSpark采用半自回归架构与置信度调度验证,在实测中显著提升大模型推理速度与系统性能边界。
大厂专区
DSpark:结合半自回归生成的置信度调度投机解码框架
机构 * Peking University(北京大学) ; DeepSeek-AI(深势科技人工智能)
AI总结 针对现有投机解码接受率衰减、高并发下吞吐量劣化问题,DSpark采用半自回归架构与置信度调度验证,在实测中显著提升大模型推理速度与系统性能边界。