生成、评估、迭代：用于人在回路中优化LLM评判器的合成数据
Generate, Evaluate, Iterate: Synthetic Data for Human-in-the-Loop Refinement of LLM Judges
AI总结：
本文提出将合成数据生成集成到LLM即评判器工作流中的工具，支持定制测试用例和AI辅助编辑，并通过用户研究证明合成数据在优化评判标准和对齐人类偏好方面与手工数据同样有效，且效率更高。
摘要：
LLM即评判器范式支持灵活、用户自定义的评估，但其有效性常因缺乏多样化、有代表性的数据来优化评判标准而受限。我们提出一个工具，将合成数据生成集成到LLM即评判器工作流中，使用户能够创建定制化且具有挑战性的测试用例，可配置领域、人物角色、长度和期望结果，包括边界情况。该工具还支持对现有测试用例进行AI辅助的行内编辑。为增强透明度和可解释性，它揭示每次生成背后的提示词和解释。在一项用户研究（N=24）中，83%的参与者更偏好该工具，而非手动创建或选择测试用例，因为它能让他们在不增加额外工作量的情况下快速生成多样化的合成数据。生成的合成数据在优化评估标准和对齐人类偏好方面被证明与手工制作的数据同样有效。这些发现凸显了合成数据作为一种有前景的替代方案，特别是在效率和可扩展性至关重要的场景中。
英文摘要：
The LLM-as-a-judge paradigm enables flexible, user-defined evaluation, but its effectiveness is often limited by the scarcity of diverse, representative data for refining criteria. We present a tool that integrates synthetic data generation into the LLM-as-a-judge workflow, empowering users to create tailored and challenging test cases with configurable domains, personas, lengths, and desired outcomes, including borderline cases. The tool also supports AI-assisted inline editing of existing test cases. To enhance transparency and interpretability, it reveals the prompts and explanations behind each generation. In a user study (N=24), 83% of participants preferred the tool over manually creating or selecting test cases, as it allowed them to rapidly generate diverse synthetic data without additional workload. The generated synthetic data proved as effective as hand-crafted data for both refining evaluation criteria and aligning with human preferences. These findings highlight synthetic data as a promising alternative, particularly in contexts where efficiency and scalability are critical.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
