用于协调多用户信息收集的 LM 智能体
LM Agents for Coordinating Multi-User Information Gathering
AI总结：
本文提出 PeopleJoin 基准，通过将数据库问答和多文档摘要任务重构为 2–20 人组织中的协作信息收集，评估多种 LM 智能体架构的准确性与效率。
摘要：
本文介绍 PeopleJoin，这是一个用于评估由 LM 中介的协作式问题解决的基准。给定一个用户请求，PeopleJoin 智能体必须识别可能能够提供帮助的队友，与这些队友交谈以收集信息，并最终为原始用户整理出有用的答案或摘要。PeopleJoin 包含两个评估领域：PeopleJoin-QA 聚焦于有关表格数据的问题，PeopleJoin-DocCreation 聚焦于文档创建任务。这两个领域改编自现有的用于数据库问答和多文档摘要的 NLP 基准；然而在这里，完成这些任务所需的信息分布在由 2 至 20 名用户组成的合成“组织”中，模拟自然的多用户协作场景。我们实现了若干流行的 LM 智能体架构，评估它们在完成任务时的准确性和效率，并强调了可使用 PeopleJoin 研究的新研究问题。
英文摘要：
This paper introduces PeopleJoin, a benchmark for evaluating LM-mediated collaborative problem solving. Given a user request, PeopleJoin agents must identify teammates who might be able to assist, converse with these teammates to gather information, and finally compile a useful answer or summary for the original user. PeopleJoin comprises two evaluation domains: PeopleJoin-QA, focused on questions about tabular data, and PeopleJoin-DocCreation, focused on document creation tasks. The two domains are adapted from existing NLP benchmarks for database question answering and multi-document summarization; here, however, the information needed to complete these tasks is distributed across synthetic ``organizations'' of 2--20 users, simulating natural multi-user collaboration scenarios. We implemented several popular LM agent architectures, evaluating their accuracy and efficiency at completing tasks, and highlight new research questions that can be studied using PeopleJoin.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
