基于智能体的指令跟随大语言模型自动声明匹配
Agent-based Automated Claim Matching with Instruction-following LLMs
AI总结：
本研究提出基于智能体的两阶段LLM声明匹配流水线，用LLM生成提示词再完成二分类匹配，证明LLM生成提示词优于人工提示的SOTA，小模型生成效果媲美大模型可省算力，且分阶段用不同LLM有效，还揭示了LLM对任务的理解特性。
摘要：
我们提出了一种基于智能体的新颖方法，利用指令跟随LLM（大语言模型）完成自动声明匹配任务。我们设计了一个两阶段流水线：首先用LLM生成提示词，随后将声明匹配作为二分类任务，用LLM执行匹配。实验证明，LLM生成的提示词性能优于使用人工生成提示词的SOTA（当前最优水平），且在生成环节中，较小的LLM表现可与更大的模型相当，能够节省计算资源。我们还验证了在流水线的不同阶段使用不同LLM的有效性，即一个LLM负责生成提示词，另一个负责声明匹配。对提示词生成过程的研究也揭示了LLM对声明匹配任务的理解层面的洞见。
英文摘要：
We present a novel agent-based approach for the automated claim matching task with instruction-following LLMs. We propose a two-step pipeline that first generates prompts with LLMs, to then perform claim matching as a binary classification task with LLMs. We demonstrate that LLM-generated prompts can outperform SOTA with human-generated prompts, and that smaller LLMs can do as well as larger ones in the generation process, allowing to save computational resources. We also demonstrate the effectiveness of using different LLMs for each step of the pipeline, i.e. using an LLM for prompt generation, and another for claim matching. Our investigation into the prompt generation process in turn reveals insights into the LLMs' understanding of claim matching.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
