arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新，休息一下吧，周末愉快~~
arXiv 2408.08688cs.CLcs.AI
收藏

LLM 的联盟：用于合成偏好优化数据集生成的多模型工作流

The Fellowship of the LLMs: Multi-Model Workflows for Synthetic Preference Optimization Dataset Generation

Lahore University of Management Sciences（拉合尔管理科学大学）；University of Michigan - Ann Arbor（密歇根大学安娜堡分校）；EMBL European Bioinformatics Institute（欧洲生物信息学研究所）；Strategize Inc（Strategize公司）

Samee Arif, Sualeha Farid, Abdul Hameed Azeemi, Awais Athar, Agha Ali Raza

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出多模型工作流自动生成合成偏好优化数据集，通过评估与生成两模块实验发现 GPT-4o 评判更一致，Llama 生成加 Gemma 审查的反馈循环胜率最高。

摘要：

本文提出了一种利用多模型工作流生成合成偏好优化（PO）数据集的新方法。我们评估了这些工作流在自动化和增强数据集生成过程中的有效性与潜力。PO 数据集生成需要两个模块：（1）响应评估，以及（2）响应生成。在响应评估模块中，来自大语言模型（LLMs）的响应会被评估和排序——这一任务通常由人工标注者完成，而我们使用 LLMs 将其自动化。我们通过两步过程评估响应评估模块。在第一步中，我们使用三种不同的提示策略评估 LLMs 作为评估者的表现。在第二步中，我们采用获胜的提示策略来比较 LLM-as-a-Judge、LLMs-as-a-Jury 和 LLM Debate 的性能。我们的评估表明，GPT-4o-as-a-Judge 在所有数据集上表现更为一致。对于响应生成模块，我们使用已确定的 LLM 评估器配置，并比较 LLM 反馈循环的不同配置。我们使用胜率来确定用于生成的最佳多模型配置。通过对多种配置进行实验，我们发现以 Llama 作为生成器、Gemma 作为审查器的 LLM 反馈循环，相对于单模型 Llama 和 Gemma 分别取得了显著的 71.8% 和 73.8% 的胜率。在确定两个模块的最佳配置后，我们使用上述流水线生成我们的 PO 数据集。

英文摘要：

This paper presents a novel methodology for generating synthetic Preference Optimization (PO) datasets using multi-model workflows. We evaluate the effectiveness and potential of these workflows in automating and enhancing the dataset generation process. PO dataset generation requires two modules: (1) $\textit{response evaluation}$, and (2) $\textit{response generation}$. In the $\textit{response evaluation}$ module, the responses from Large Language Models (LLMs) are evaluated and ranked - a task typically carried out by human annotators that we automate using LLMs. We assess the response evaluation module in a 2 step process. In step 1, we assess LLMs as evaluators using three distinct prompting strategies. In step 2, we apply the winning prompting strategy to compare the performance of LLM-as-a-Judge, LLMs-as-a-Jury, and LLM Debate. Our evaluation shows that GPT-4o-as-a-Judge is more consistent across all datasets. For the $\textit{response generation}$ module, we use the identified LLM evaluator configuration and compare different configurations of the LLM Feedback Loop. We use the win rate to determine the best multi-model configuration for generation. Experimenting with various configurations, we find that the LLM Feedback Loop, with Llama as the generator and Gemma as the reviewer, achieves a notable 71.8% and 73.8% win rate over single-model Llama and Gemma, respectively. After identifying the best configurations for both modules, we generate our PO datasets using the above pipeline.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑