基于蒸馏的场景自适应混合专家方法用于多场景推荐的匹配阶段
Distillation-based Scenario-Adaptive Mixture-of-Experts for the Matching Stage of Multi-scenario Recommendation
AI总结：
本文提出DSMOE，通过场景自适应投影模块和跨架构知识蒸馏框架，提升多场景推荐中匹配阶段的检索质量，尤其在数据稀疏场景中表现突出。
摘要：
多场景推荐对于在不同上下文中优化用户体验至关重要。尽管多门混合专家（MMOE）在排序阶段表现优异，但将其转移到匹配阶段受到独立双塔架构固有盲优化和头部场景参数主导的阻碍。为了解决这些结构和分布瓶颈，我们提出了基于蒸馏的场景自适应混合专家（DSMOE）。特别地，我们设计了场景自适应投影（SAP）模块，以生成轻量级、上下文特定的参数，有效防止长尾场景中的专家崩溃。同时，我们引入了一个跨架构知识蒸馏框架，其中交互感知的教师指导双塔学生捕捉复杂的匹配模式。在真实世界数据集上的广泛实验表明，DSMOE的优越性，特别是在显著提高欠代表、数据稀疏场景检索质量方面。
英文摘要：
Multi-scenario recommendation is pivotal for optimizing user experience across diverse contexts. While Multi-gate Mixture-of-Experts (MMOE) thrives in ranking, its transfer to the matching stage is hindered by the blind optimization inherent to independent two-tower architectures and the parameter dominance of head scenarios. To address these structural and distributional bottlenecks, we propose Distillation-based Scenario-Adaptive Mixture-of-Experts (DSMOE). Specially, we devise a Scenario-Adaptive Projection (SAP) module to generate lightweight, context-specific parameters, effectively preventing expert collapse in long-tail scenarios. Concurrently, we introduce a cross-architecture knowledge distillation framework, where an interaction-aware teacher guides the two-tower student to capture complex matching patterns. Extensive experiments on real-world datasets demonstrate DSMOE's superiority, particularly in significantly improving retrieval quality for under-represented, data-sparse scenarios.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
