探索基于生成式建模的论坛帖子检索
Exploring Forum Post Retrieval with Generative Modeling
浏览论文内容
中文总结 AI 辅助
本研究探索将生成式推荐应用于Facebook Forum，通过跨平台语义ID迁移和指令微调语言模型，解决新界面数据稀疏问题，并系统消融关键设计选择，验证了跨平台SID的迁移有效性。
中文摘要 AI 辅助
生成式推荐（GR）已成为基于嵌入检索的一种替代方案，其基础是生成模型在语言和视觉领域的成功。我们正在Facebook Forum上探索GR，这是一个面向Facebook群组中重度用户的独立应用。由于Forum是一个新的界面，其自身的交互数据过于稀疏，无法从头训练GR模型。我们通过两个轴线的迁移来解决这一问题：我们使用更广泛的Facebook群组互动语料进行训练，而非仅使用Forum会话；同时，我们复用从跨平台Facebook Feed数据中学习到的分层、基于前缀的语义ID（SID），而非拟合Forum专用的分词器。随后，我们对一个具有30亿参数的指令微调语言模型进行监督微调，使其直接从用户上下文生成SID。我们系统地消融了在实践中最重要的设计选择，包括SID构建、用户历史的组成和长度，以及用户画像特征的纳入。我们的结果表明，跨平台SID可迁移到新的推荐界面，并为在真实社交平台上部署GR的团队提供了实用指导。
英文摘要
Generative recommendation (GR) has emerged as an alternative to embedding-based retrieval, building on the success of generative models in language and vision. We are exploring GR on Facebook Forum, a standalone application for medium-to-heavy users of Facebook Groups. Because Forum is a new surface, its own interaction data are too sparse to train a GR model from scratch. We address this with transfer along two axes: we train on a broader corpus of Facebook Groups engagements rather than Forum sessions alone, and we reuse hierarchical, prefix-based semantic IDs (SIDs) learned from cross-platform Facebook Feed data instead of fitting a Forum-specific tokenizer. A 3B-parameter instruction-tuned language model is then supervised-fine-tuned to generate SIDs directly from user context. We systematically ablate the design choices that matter most in practice, including SID construction, the composition and length of user history, and the inclusion of user-profile features. Our results show that cross-platform SIDs transfer to a new recommendation surface, and offer practical guidance for teams deploying GR on real-world social platforms.
发表机构
- William & Mary（威廉与玛丽学院）
- Meta
机构由 AI 辅助整理，请以论文原文为准。
