嵌入到前缀：预训练大语言模型的参数高效个性化
Embedding-to-Prefix: Parameter-Efficient Personalization for Pre-Trained Large Language Models
AI总结：
针对大语言模型个性化需昂贵微调或大量提示的问题，提出参数高效的嵌入到前缀（E2P）方法，将上下文嵌入投影为软令牌前缀注入模型，冻结骨干网络，在多个数据集上以低开销实现强性能。
摘要：
大语言模型（LLMs）擅长生成与上下文相关的内容。然而，将这些输出定制给个体用户以实现有效的个性化是一个重大挑战。虽然丰富的用户特定信息通常以预先存在的用户表示形式存在，例如从偏好或行为中学习到的嵌入，但当前利用这些信息进行LLM个性化的方法通常需要昂贵的微调或大量令牌的提示。我们提出了嵌入到前缀（E2P），一种参数高效的方法，通过一个学习到的投影将预计算的上下文嵌入注入到LLM的隐藏表示空间中，形成单个软令牌前缀。这使得在保持骨干模型冻结的同时实现有效的个性化，避免了昂贵的适应技术。我们在两个公开数据集和生产环境中评估了E2P：Persona-Chat上的对话个性化、PENS上的上下文标题生成，以及音乐和播客消费的大规模个性化。结果表明，E2P保留了上下文信号，并以最小的计算开销实现了强劲的性能，为生成式AI系统的上下文化提供了可扩展、高效的解决方案。
英文摘要：
Large language models (LLMs) excel at generating contextually relevant content. However, tailoring these outputs to individual users for effective personalization is a significant challenge. While rich user-specific information often exists as pre-existing user representations, such as embeddings learned from preferences or behaviors, current methods to leverage these for LLM personalization typically require costly fine-tuning or token-heavy prompting. We propose Embedding-to-Prefix (E2P), a parameter-efficient method that injects pre-computed context embeddings into an LLM's hidden representation space through a learned projection to a single soft token prefix. This enables effective personalization while keeping the backbone model frozen and avoiding expensive adaptation techniques. We evaluate E2P across two public datasets and in a production setting: dialogue personalization on Persona-Chat, contextual headline generation on PENS, and large-scale personalization for music and podcast consumption. Results show that E2P preserves contextual signals and achieves strong performance with minimal computational overhead, offering a scalable, efficient solution for contextualizing generative AI systems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
