MixGRPO: Unlocking Flow-based GRPO Efficiency with Mixed ODE-SDE
MixGRPO: 通过混合ODE-SDE解锁基于流的GRPO效率
机构 * Hunyuan, Tencent(腾讯混元) ; School of Computer Science, Peking University(北京大学计算机学院) ; Computer Center, Peking University(北京大学计算中心) ; Department of Engineering Physics, Tsinghua University(清华大学工程物理系)
AI总结 本文提出MixGRPO框架,通过结合ODE和SDE混合采样策略,优化流匹配模型的效率与性能,采用滑动窗口机制减少优化开销,提升收敛速度,其中MixGRPO-Flash进一步降低训练时间达71%。