面向语言模型零样本语言风格定制的可扩展提示
Extensible Prompts for Language Models on Zero-shot Language Style Customization
AI总结：
本文提出可扩展提示 X-Prompt，通过引入可学习的虚构词和上下文增强学习 CAL，使大语言模型在零样本条件下实现语言风格定制，并提升对分布外提示的泛化能力。
摘要：
我们提出可扩展提示（X-Prompt），用于在自然语言（NL）之外提示大语言模型（LLM）。X-Prompt 不仅用自然语言，还用可扩展的虚构词词汇表来指示 LLM。注册新的虚构词使我们能够指示 LLM 理解难以用自然语言词汇描述的概念，从而使提示更具描述性。此外，这些虚构词被设计为对分布外（OOD）具有鲁棒性，因此它们可以像自然语言词汇一样在各种提示中被（重复）使用，这将 X-Prompt 与用于拟合分布内数据的软提示区分开来。我们提出上下文增强学习（CAL）来学习具有通用可用性的虚构词，使它们能够在 OOD（未见过的）提示中正常工作。我们以零样本语言风格定制作为案例研究对 X-Prompt 进行实验。X-Prompt 的良好结果证明了其在促进超越自然语言界面的高级交互方面的潜力，弥合了人类与 LLM 之间的沟通鸿沟。
英文摘要：
We propose eXtensible Prompt (X-Prompt) for prompting a large language model (LLM) beyond natural language (NL). X-Prompt instructs an LLM with not only NL but also an extensible vocabulary of imaginary words. Registering new imaginary words allows us to instruct the LLM to comprehend concepts that are difficult to describe with NL words, thereby making a prompt more descriptive. Also, these imaginary words are designed to be out-of-distribution (OOD) robust so that they can be (re)used like NL words in various prompts, distinguishing X-Prompt from soft prompt that is for fitting in-distribution data. We propose context-augmented learning (CAL) to learn imaginary words for general usability, enabling them to work properly in OOD (unseen) prompts. We experiment X-Prompt for zero-shot language style customization as a case study. The promising results of X-Prompt demonstrate its potential to facilitate advanced interaction beyond the natural language interface, bridging the communication gap between humans and LLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
