arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2402.00396cs.LGcs.AIcs.CLstat.MEstat.ML
收藏

大型语言模型的高效探索

Efficient Exploration for LLMs

Google DeepMind(谷歌DeepMind);Stanford University(斯坦福大学)

Vikranth Dwaracherla, Seyed Mohammad Asghari, Botao Hao, Benjamin Van Roy

AI总结:

本文证明在收集人类反馈改进大型语言模型时,采用双重Thompson采样和认知神经网络表示不确定性的高效探索方法,能以更少查询实现高性能,且不确定性估计与探索方案选择至关重要。

摘要:

我们提出证据表明,在收集人类反馈以改进大型语言模型方面,高效探索具有显著益处。在我们的实验中,智能体顺序生成查询,同时将奖励模型拟合到收到的反馈。我们表现最好的智能体使用双重Thompson采样生成查询,其不确定性由认知神经网络表示。我们的结果表明,高效探索能用少得多的查询实现高性能。此外,不确定性估计和探索方案的选择都起着关键作用。

英文摘要:

We present evidence of substantial benefit from efficient exploration in gathering human feedback to improve large language models. In our experiments, an agent sequentially generates queries while fitting a reward model to the feedback received. Our best-performing agent generates queries using double Thompson sampling, with uncertainty represented by an epistemic neural network. Our results demonstrate that efficient exploration enables high levels of performance with far fewer queries. Further, both uncertainty estimation and the choice of exploration scheme play critical roles.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑