本文提出 ZIP 分数，通过受控扰动量化零样本指令提示中的词语重要性，并在多模型、多任务实验中揭示词语层级、模型差异及性能负相关规律，且以基准验证其优于 LIME。
摘要：
尽管“让我们一步一步思考”等零样本指令提示已经彻底改变了大型语言模型的性能，但一个根本问题仍未得到解答：究竟是哪些具体词语推动了其显著效果？我们提出 ZIP 分数（Zero-shot Importance of Perturbation，零样本扰动重要性），这是首个通过受控扰动来量化指令提示中单个词语重要性的系统性方法，扰动方式包括同义词替换、共同下义词替换和策略性删除。我们在四个旗舰模型、七个被广泛采用的提示以及多个任务领域上的分析揭示了四项关键发现：（1）存在任务特定的词语层级，数学问题更重视“step-by-step”，而推理任务更偏好“think”；（2）与开源替代模型相比，专有模型表现出与人类直觉更优的一致性；（3）名词在重要性排名中占主导地位，始终构成重要词语的大多数；（4）词语重要性与模型性能呈负相关，表明提示在模型最困难的地方影响最大。除揭示这些模式外，我们还通过20个带有预定关键词的验证提示，建立了首个用于提示可解释性的真值基准；在该基准上，ZIP 达到90%的准确率，而 LIME 为60%。我们的发现推进了提示科学，即研究语言如何塑造模型行为，同时为提示工程提供实践洞见，并促进对 LLM 中词语级效应的理论理解。
英文摘要：
While zero-shot instructional prompts like "Let's think step-by-step" have revolutionized Large Language Model performance, a fundamental question remains unanswered: which specific words drive their remarkable effectiveness? We introduce the ZIP score (Zero-shot Importance of Perturbation), the first systematic method to quantify individual word importance in instructional prompts through controlled perturbations including synonym replacement, co-hyponym substitution, and strategic removal. Our analysis across four flagship models, seven widely-adopted prompts, and multiple task domains reveals four key findings: (1) Task-specific word hierarchies exist where mathematical problems prioritize "step-by-step" while reasoning tasks favor "think"; (2) Proprietary models show superior alignment with human intuitions compared to open-source alternatives; (3) Nouns dominate importance rankings, consistently representing the majority of significant words; and (4) Word importance inversely correlates with model performance, indicating prompts have greatest impact where models struggle most. Beyond revealing these patterns, we establish the first ground-truth benchmark for prompt interpretability through 20 validation prompts with predetermined key words, where ZIP achieves 90% accuracy versus LIME's 60%. Our findings advance prompt science, the study of how language shapes model behavior, providing both practical insights for prompt engineering and theoretical understanding of word-level effects in LLMs.
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Alibaba Cloud Computing（阿里巴巴云计算）；Shanghai Jiao Tong University（上海交通大学）；College of Software, Zhejiang University（浙江大学软件学院）
Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models
Singapore Management University（新加坡管理大学）；Southwest Jiaotong University（西南交通大学）；Singapore University of Technology and Design（新加坡科技设计大学）；East China Normal University（华东师范大学）
Zero-Shot Chain-of-Thought Reasoning Guided by Evolutionary Algorithms in Large Language Models
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；National Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；Key Laboratory of Machine Perceptron (MOE), Peking University（北京大学机器感知教育部重点实验室）
Metacognition-Enhanced Few-Shot Prompting With Positive Reinforcement
Institute of AI for Education, East China Normal University（华东师范大学教育人工智能研究院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Shanghai Changning Mental Health Center（上海市长宁区精神卫生中心）
STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Information Engineering（信息工程研究所）；Beijing Institute of Technology（北京理工大学）；Guangzhou University（广州大学）
Evaluating Prompts Across Multiple Choice Tasks In a Zero-Shot Setting
大语言模型已经表明，通过自然语言提示可以实现令人印象深刻的zero-shot性能（Radford et al.，2019; Brown等人，2020; Sanh等人，2021年）。然而，创建一个有效的提示需要大量的尝试和错误。这就向\textit{prompts}提出了一个问题：提示的质量如何影响它的表现？为此，我们从各种任务中收集并标准化提示，以用于它们不是为之设计的任务。然后，我们在固定的多项选择数据集上评估这些提示，以定量分析提示的某些属性如何影响性能。我们发现，包括选择和使用提示不使用在预培训提供了显着的改善。所有的实验和代码都可以在https://github.com/gabeorlanski/zero-shot-cross-task上找到。
Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm
Institute for Clarity in Documentation（文档清晰性研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
LAMPER: LanguAge Model and Prompt EngineeRing for zero-shot time series classification
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学清华大学深圳国际研究生院）；School of Automation, Wuhan University of Technology（武汉理工大学自动化学院）
PromptFix: Few-shot Backdoor Removal via Adversarial Prompt Tuning
School of Information Science & Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）；Department of Computer Science, Stony Brook University（石溪大学计算机科学系）
Bidirectional Language Models Are Also Few-shot Learners
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）；Google Research（谷歌研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
大语言模型，例如GPT-3（Brown等人，2020）可以执行任意任务，而无需在仅使用几个标记示例进行提示后进行微调。一个任意的任务可以被重新表述为一个自然语言提示，一个语言模型可以被要求生成完成，间接地执行任务的范式称为基于语义的学习。到目前为止，基于突现的学习能力主要是针对单向语言模型来证明的。然而，在去噪目标上预训练的双向语言模型（例如掩蔽语言建模）为迁移学习产生更强的学习表示。这激发了促进双向模式的可能性，但它们的预培训目标使它们在很大程度上与现有的激励范式不相容。我们提出了SAP（顺序自回归拟合），一种技术，使双向模型的提示。利用机器翻译任务作为案例研究，我们提出了双向mT5模型（Xue et al.，2021）与SAP进行比较，并证明其Few-Shot和zero-shot转换优于单向模型（如GPT-3和XGLM）的Few-Shot转换（Lin et al.，2021），尽管mT5的参数减少了约50%。我们进一步表明SAP在问答和摘要方面是有效的。这是第一次，我们的研究结果表明，基于语义的学习是一个更广泛的一类语言模型，而不仅仅是单向模型的新兴属性。
