Large language models (LLMs) transfer well to new tasks out-of-the-box simply given a natural language prompt that demonstrates how to perform the task and no additional training. Prompting is a brittle process wherein small modifications to the prompt can cause large variations in the model predictions, and therefore significant effort is dedicated towards designing a painstakingly "perfect prompt" for a task. To mitigate the high degree of effort involved in prompt-design, we instead ask whether producing multiple effective, yet imperfect, prompts and aggregating them can lead to a high quality prompting strategy. Our observations motivate our proposed prompting method, ASK ME ANYTHING (AMA). We first develop an understanding of the effective prompt formats, finding that question-answering (QA) prompts, which encourage open-ended generation ("Who went to the park?") tend to outperform those that restrict the model outputs ("John went to the park. Output True or False."). Our approach recursively uses the LLM itself to transform task inputs to the effective QA format. We apply the collected prompts to obtain several noisy votes for the input's true label. We find that the prompts can have very different accuracies and complex dependencies and thus propose to use weak supervision, a procedure for combining the noisy predictions, to produce the final predictions for the inputs. We evaluate AMA across open-source model families (e.g., EleutherAI, BLOOM, OPT, and T0) and model sizes (125M-175B parameters), demonstrating an average performance lift of 10.2% over the few-shot baseline. This simple strategy enables the open-source GPT-J-6B model to match and exceed the performance of few-shot GPT3-175B on 15 of 20 popular benchmarks. Averaged across these tasks, the GPT-J-6B model outperforms few-shot GPT3-175B. We release our code here: https://github.com/HazyResearch/ama_prompting
Filling the Image Information Gap for VQA: Prompting Large Language Models to Proactively Ask Questions
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
A Study of Question Effectiveness Using Reddit "Ask Me Anything" Threads
University of Central Florida（中佛罗里达大学）
提出有效的问题是一种强大的社交技能。在本文中，我们试图建立计算模型，学习区分有效的问题，从无效的。有了这样的能力，未来先进的系统可以评估问题的质量，并为有效的问题措辞提供建议。我们创建了一个大规模的真实世界数据集，其中包含从Reddit“Ask Me Anything”线程收集的40多万个问题。每个线程类似于一个在线新闻发布会，其中问题相互竞争，以吸引主持人的注意力。该数据集使得能够开发一类计算模型，用于预测问题是否会得到回答。我们开发了一种新的具有可变长度上下文的卷积神经网络架构，并通过将其与最先进的基线和人类判断进行比较来证明该模型的有效性。
Decomposed Prompting: Probing Multilingual Linguistic Structure Knowledge in Large Language Models
Center for Information and Language Processing (CIS)（信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；ScaDS.AI and TU Dresden（ScaDS.AI 和 梅克伦堡-前波美拉尼亚技术大学）；Department of Statistics, LMU Munich（统计学系，慕尼黑大学）；University of Maryland, College Park（马里兰大学 College Park 分校）
Measuring and Narrowing the Compositionality Gap in Language Models
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；MosaicML（MosaicML公司）；Meta AI Research（Meta人工智能研究院）；Allen Institute for AI（艾伦人工智能研究所）
Choice Over Control: How Users Write with Large Language Models using Diegetic and Non-Diegetic Prompting
University of Bayreuth（拜罗伊特大学）
我们提出了一个概念上的观点提示大语言模型（LLM），区分（1）diegetic提示（叙事的一部分，例如：“从前，我看到一只狐狸.），以及（2）非diegetic提示（外部，例如“写关于狐狸的冒险。").有了这个镜头，我们研究了129多产人群工作者如何用不同的用户界面（1 vs 3建议，有/没有非diegetic提示;实现GPT-3）写短文本：当界面提供多个建议，并提供了一个选项，非diegetic提示，参与者更喜欢从多个建议中选择，而不是通过非diegetic提示控制它们。当参与者提供非diegetic提示，这是要求灵感，主题或事实。特别是单一的建议，指导与diegetic和非diegetic信息。这项工作通过揭示（1）编写非diegetic提示需要努力，（2）人们结合diegetic和非diegetic提示，（3）他们使用他们的草稿（即diegetic信息）和建议时间来战略性地指导LLM，从而告知人类与人工智能的交互。
Ask Now, Use Later: Benchmarking the Proactivity Gap in Long-Lived LLM Agents
Beijing University of Posts and Telecommunications（北京邮电大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Noumena AI
MaLei at MultiClinSUM: Summarisation of Clinical Documents using Perspective-Aware Iterative Self-Prompting with LLMs
University of Manchester, UK（曼彻斯特大学）；Modul University Vienna, Austria（维也纳Modul大学）；Leiden Institute of Advanced Computer Science (LIACS), Leiden University, The Netherlands（莱顿先进计算机科学研究所（LIACS）、莱顿大学）；Leiden University Medical Center, The Netherlands（莱顿大学医学中心）
Bidirectional Language Models Are Also Few-shot Learners
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）；Google Research（谷歌研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
大语言模型，例如GPT-3（Brown等人，2020）可以执行任意任务，而无需在仅使用几个标记示例进行提示后进行微调。一个任意的任务可以被重新表述为一个自然语言提示，一个语言模型可以被要求生成完成，间接地执行任务的范式称为基于语义的学习。到目前为止，基于突现的学习能力主要是针对单向语言模型来证明的。然而，在去噪目标上预训练的双向语言模型（例如掩蔽语言建模）为迁移学习产生更强的学习表示。这激发了促进双向模式的可能性，但它们的预培训目标使它们在很大程度上与现有的激励范式不相容。我们提出了SAP（顺序自回归拟合），一种技术，使双向模型的提示。利用机器翻译任务作为案例研究，我们提出了双向mT5模型（Xue et al.，2021）与SAP进行比较，并证明其Few-Shot和zero-shot转换优于单向模型（如GPT-3和XGLM）的Few-Shot转换（Lin et al.，2021），尽管mT5的参数减少了约50%。我们进一步表明SAP在问答和摘要方面是有效的。这是第一次，我们的研究结果表明，基于语义的学习是一个更广泛的一类语言模型，而不仅仅是单向模型的新兴属性。
CUHK（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Peking University（北京大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
