EMNLP

Remember what you did so you know what to do next

记住你做了什么，以便知道下一步该做什么

Manuel R. Ciosici, Alex Hedges, Yash Kankanampati, Justin Martin, Marjorie Freedman, Ralph Weischedel

机构 * Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） 纠错

AI总结 本研究使用中等规模的大语言模型GPT-J为模拟机器人在ScienceWorld文本游戏中的30类目标生成计划，通过填充更多历史步骤显著提升性能，并发现任务平均可能掩盖性能差异。

Comments Identical to EMNLP 2023 Findings

Perhaps PTLMs Should Go to School -- A Task to Assess Open Book and Closed Book QA

或许PTLMs应该去上学——一项评估开卷和闭卷问答的任务

Manuel R. Ciosici, Joe Cecil, Alex Hedges, Dong-Ho Lee, Marjorie Freedman, Ralph Weischedel

机构 * Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） 纠错

AI总结 提出一项基于大学教科书内容的新问答任务，通过闭卷和开卷测试评估预训练语言模型对教材的理解能力，发现模型在闭卷测试中表现接近随机，开卷测试略有提升。

Comments Identical to the EMNLP 2021 version