基于合成数据的大语言模型蒸馏式自我批判：贝叶斯视角
Distilled Self-Critique of LLMs with Synthetic Data: a Bayesian Perspective
AI总结：
该研究从贝叶斯视角将RLAIF解读为贝叶斯推理，提出仅需合成数据的蒸馏式自我批判（dSC）方法，经吉布斯采样优化输出再蒸馏为微调模型，验证了其作为低成本大语言模型对齐方案的可行性。
摘要：
本文提出将RLAIF（人工智能反馈强化学习）视为贝叶斯推理的解读方式，引入蒸馏式自我批判（dSC）方法：通过吉布斯采样器优化大语言模型的输出，随后将该过程蒸馏为微调模型。dSC仅需合成数据，在安全性、情感分析与隐私控制相关实验中得到验证，表明其是一种可行且低成本的大语言模型对齐替代方案。代码已发布于https://github.com/vicgalle/distilled-self-critique。
英文摘要：
This paper proposes an interpretation of RLAIF as Bayesian inference by introducing distilled Self-Critique (dSC), which refines the outputs of a LLM through a Gibbs sampler that is later distilled into a fine-tuned model. Only requiring synthetic data, dSC is exercised in experiments regarding safety, sentiment, and privacy control, showing it can be a viable and cheap alternative to align LLMs. Code released at \url{https://github.com/vicgalle/distilled-self-critique}.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
