对齐工作室：将大型语言模型对齐到特定情境化规则
Alignment Studio: Aligning Large Language Models to Particular Contextual Regulations
AI总结：
本文提出对齐工作室架构，包含框架制定者、指导者和审计者三组件，使应用开发者能将语言模型对齐到特定价值观、规范和法律，并协调情境中的冲突要求，以企业聊天机器人对齐商业准则为例。
摘要：
大型语言模型的对齐通常由模型提供商执行，以添加或控制在各种用例和情境中普遍且被广泛理解的行为。与此相反，在本文中，我们提出了一种方法和架构，使应用程序开发者能够将模型调整到他们特定的价值观、社会规范、法律及其他规则，并在情境中协调可能冲突的要求。我们阐述了这种对齐工作室架构的三个主要组成部分：框架制定者（Framers）、指导者（Instructors）和审计者（Auditors），它们协同工作以控制语言模型的行为。我们通过一个运行示例来展示这种方法，即将公司内部面向企业的聊天机器人对齐到其商业行为准则。
英文摘要：
The alignment of large language models is usually done by model providers to add or control behaviors that are common or universally understood across use cases and contexts. In contrast, in this article, we present an approach and architecture that empowers application developers to tune a model to their particular values, social norms, laws and other regulations, and orchestrate between potentially conflicting requirements in context. We lay out three main components of such an Alignment Studio architecture: Framers, Instructors, and Auditors that work in concert to control the behavior of a language model. We illustrate this approach with a running example of aligning a company's internal-facing enterprise chatbot to its business conduct guidelines.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
