Taylor Unswift：基于泰勒展开的大语言模型权重安全发布方法
Taylor Unswift: Secured Weight Release for Large Language Models via Taylor Expansion
AI总结：
本文提出 TaylorMLP，通过将大语言模型权重转换为泰勒级数参数来保护模型所有权，并利用增加泰勒级数项数降低生成速度以防止大规模滥用，实验表明其可使延迟增加超过 4 倍且输出与原始模型精确匹配。
摘要：
确保已发布大语言模型（LLMs）的安全性面临一个重大困境，因为现有机制要么损害所有权，要么引发数据隐私问题。为了解决这一困境，我们提出了 TaylorMLP，以保护已发布 LLMs 的所有权并防止其被滥用。具体而言，TaylorMLP 通过将 LLMs 的权重转换为泰勒级数参数来保护 LLMs 的所有权。开发者无需发布原始权重，而是可以与用户共享泰勒级数参数，从而确保 LLMs 的安全性。此外，TaylorMLP 可以通过调整生成速度来防止 LLMs 被滥用。它可以通过增加泰勒级数中的项数，使受保护的 LLMs 产生低速 token 生成。这种有意的延迟有助于 LLM 开发者防止其模型被潜在的大规模未经授权使用。在五个数据集和三种 LLM 架构上的实证实验表明，TaylorMLP 使延迟增加超过 4 倍，同时生成的 token 与原始 LLMs 精确匹配。后续的防御性实验进一步证实，TaylorMLP 能有效防止用户基于下游数据集重构权重值。
英文摘要：
Ensuring the security of released large language models (LLMs) poses a significant dilemma, as existing mechanisms either compromise ownership rights or raise data privacy concerns. To address this dilemma, we introduce TaylorMLP to protect the ownership of released LLMs and prevent their abuse. Specifically, TaylorMLP preserves the ownership of LLMs by transforming the weights of LLMs into parameters of Taylor-series. Instead of releasing the original weights, developers can release the Taylor-series parameters with users, thereby ensuring the security of LLMs. Moreover, TaylorMLP can prevent abuse of LLMs by adjusting the generation speed. It can induce low-speed token generation for the protected LLMs by increasing the terms in the Taylor-series. This intentional delay helps LLM developers prevent potential large-scale unauthorized uses of their models. Empirical experiments across five datasets and three LLM architectures demonstrate that TaylorMLP induces over 4x increase in latency, producing the tokens precisely matched with original LLMs. Subsequent defensive experiments further confirm that TaylorMLP effectively prevents users from reconstructing the weight values based on downstream datasets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
