As large language models grow increasingly capable, concerns about their safe deployment have intensified. While numerous alignment strategies aim to restrict harmful behavior, these defenses can still be circumvented through carefully designed adversarial prompts. In this work, we introduce a theoretical framework that formalizes a game between an attacker and a defender. Within this framework, we design a theoretical best-response attack strategy and show that it is closely related to many existing adversarial prompting methods. We further analyze the resulting game, characterize its equilibria, and reveal inherent advantages for the attacker. Drawing on our theoretical analysis, we also derive a provably optimal defense strategy. Empirically, we evaluate a practical instantiation of the theoretically optimal attack and observe stronger performance relative to existing adversarial prompting approaches in diverse settings encompassing different LLMs and benchmarks.
Towards Compositional Generalization of LLMs via Skill Taxonomy Guided Data Synthesis
State Key Laboratory of Complex & Critical Software Environment, Beihang University（复杂与关键软件环境国家重点实验室，北京航空航天大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Beijing Institute of Technology（北京理工大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程研究中心，教育部）；Tianjin University of Science and Technology（天津科技大学）；Beijing Institute of Technology（北京理工大学）
Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks
Dept. of Psychology and Center for Data Science, New York University（纽约大学心理学系和数据科学中心）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
人类可以毫不费力地理解和产生新的话语，这要归功于他们的组合技能。一旦一个人学会了一个新动词“dax”的意思，他或她就能立即理解“dax两次”或“sing and dax”的意思。在本文中，我们介绍了SCAN域，它由一组简单的组合导航命令和相应的动作序列组成。然后，我们测试了各种循环神经网络（RNN）的zero-shot泛化能力的SCAN训练序列到序列的方法。我们发现，当训练和测试命令之间的差异很小时，RNN可以成功地进行zero-shot概括，从而可以应用“混合匹配”策略来解决任务。然而，当泛化需要系统的组合技能时（如上面的“dax”示例），RNN会失败。我们以神经机器翻译的概念验证实验作为结论，表明缺乏系统性可能是神经网络臭名昭著的训练数据饥渴的部分原因。
Atomic Skills are the Prerequisite: When Reinforcement Learning Synthesizes Compositional Reasoning, and When It Only Amplifies
University of Waterloo（滑铁卢大学）；Duke University（杜克大学）；National University of Singapore（新加坡国立大学）；Princeton University（普林斯顿大学）；Peking University（北京大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
Proceedings of the 2018 Workshop on Compositional Approaches in Physics, NLP, and Social Sciences
能够组成部分，形成一个更复杂的整体，并分析一个整体作为一个元素的组合，是跨学科的理想。这个研讨会汇集了研究人员将组合方法应用于物理，NLP，认知科学和博弈论。在NLP中，一个长期的目标是表示单词如何组合成短语和句子。在分布语义学的框架内，词被表示为向量空间中的向量。Coecke et al. [2010]的分类模型受到量子协议的启发，为NLP的向量空间模型中的组合性提供了令人信服的解释。此外，在认知科学中，向量空间模型也有一段历史。Nosofsky [1986]和Smith等人[1988]开发的分类理论利用了特征向量之间距离的概念。最近Gärdenfors [2004，2014]开发了一个概念模型，其中概念空间提供几何结构，信息由向量空间中的点，向量和区域表示。同样的组合方法也被应用于这种形式主义，使概念空间理论比以前更丰富的组合模型[Bolt et al.，2018年]。合成方法也被应用于策略博弈和纳什均衡的研究。与经典博弈论不同，在经典博弈论中，博弈是作为一个全局对象整体研究的，组合博弈论通过从较小的组件构建大型复杂的博弈来自下而上工作。这种方法本身就很困难，因为必须考虑游戏之间的相互作用。最近开始了对该领域的分类合成方法的研究[Ghani等人，2018年]。此外，认知科学、语言学和博弈论这三个学科之间的相互作用是研究的沃土。认知科学中的博弈论是一个成熟的领域[Camerer，…
On the Spontaneous Emergence of Discrete and Compositional Signals
Tel Aviv University（特拉维夫大学）；EHESS（社会科学高等研究院）；PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；University of Washington（华盛顿大学）
