CellRFT：用于单细胞扰动建模的强化微调

中文摘要 AI 辅助

预测细胞对扰动的反应有助于研究基因功能、疾病机制和治疗策略。尽管单细胞扰动建模取得了进展，但现有模型通常优化的是替代损失，这些损失不能直接反映用于评估的生物学标准，因此更好的数据拟合不一定能产生更好的生物学预测。为了解决这一不匹配问题，我们引入了CellRFT，一种强化微调框架，将生物学评估作为直接训练反馈。CellRFT使用策略梯度优化来从生成的细胞群体的不可微评估中学习，并通过分层奖励聚合整合多种生物学奖励。综合实验表明，CellRFT在不同预训练模型上的适用性以及在改善扰动预测方面的有效性，揭示了优化一个生物学标准可能有助于或阻碍其他标准，并表明互补奖励可以改善超出直接优化范围的标准，提供了一种探究生物学指标如何塑造模型行为的方法，并有可能为评估设计提供信息。代码将公开提供。

英文摘要

Predicting cellular responses to perturbations supports the study of gene function, disease mechanisms, and therapeutic strategies. Despite advances in single-cell perturbation modeling, existing models typically optimize surrogate losses that do not directly reflect the biological criteria used for evaluation, so better data fitting need not yield better biological predictions. To address this mismatch, we introduce \textbf{CellRFT}, a reinforcement fine-tuning framework that uses biological evaluation as direct training feedback. CellRFT uses policy-gradient optimization to learn from non-differentiable evaluations of generated cell populations and integrates multiple biological rewards through hierarchical reward aggregation. Comprehensive experiments demonstrate CellRFT's applicability across different pretrained models and effectiveness in improving perturbation prediction, reveal that optimizing one biological criterion can help or hinder others, and show that complementary rewards can improve criteria beyond those directly optimized, offering a way to probe how biological metrics shape model behavior, with the potential to inform evaluation design. Code will be made available.

发表机构

• Chinese Academy of Sciences（中国科学院）
• Peking University（北京大学）
• Renmin University of China（中国人民大学）
• University of Chinese Academy of Sciences（中国科学院大学）
• Central University of Finance and Economics（中央财经大学）

机构由 AI 辅助整理，请以论文原文为准。