TTPA：面向细粒度评估的令牌级工具使用偏好对齐训练框架
TTPA: Token-level Tool-use Preference Alignment Training Framework with Fine-grained Evaluation
AI总结：
针对现有工具学习方法忽视细粒度优化的问题，提出TTPA框架，通过反向数据集构建、令牌级偏好采样和面向错误的评分机制，实现令牌级偏好对齐，在三个基准上显著提升工具使用性能并展现强泛化能力。
摘要：
现有的工具学习方法通常依赖于监督微调，它们往往忽略了工具调用内部细节的细粒度优化，导致在偏好对齐和错误判别方面存在局限性。为了克服这些挑战，我们提出了令牌级工具使用偏好对齐训练框架（TTPA），这是一种训练范式，用于构建令牌级工具使用偏好数据集，通过一种新颖的面向错误的评分机制使大型语言模型（LLMs）与细粒度偏好对齐。TTPA首先引入了反向数据集构建方法，这是一种通过反转生成流程来创建高质量、多轮工具使用数据集的方法。此外，我们提出了令牌级偏好采样（TPS），通过在生成过程中建模令牌级差异来捕获细粒度偏好。为了解决评分中的偏差，我们引入了面向错误的评分机制（ESM），该机制量化工具调用错误，并可用作训练信号。在三个不同的基准数据集上进行的大量实验表明，TTPA显著提高了工具使用性能，同时在模型和数据集上展现出强大的泛化能力。
英文摘要：
Existing tool-learning methods usually rely on supervised fine-tuning, they often overlook fine-grained optimization of internal tool call details, leading to limitations in preference alignment and error discrimination. To overcome these challenges, we propose Token-level Tool-use Preference Alignment Training Framework (TTPA), a training paradigm for constructing token-level tool-use preference datasets that align LLMs with fine-grained preferences using a novel error-oriented scoring mechanism. TTPA first introduces reversed dataset construction, a method for creating high-quality, multi-turn tool-use datasets by reversing the generation flow. Additionally, we propose Token-level Preference Sampling (TPS) to capture fine-grained preferences by modeling token-level differences during generation. To address biases in scoring, we introduce the Error-oriented Scoring Mechanism (ESM), which quantifies tool-call errors and can be used as a training signal. Extensive experiments on three diverse benchmark datasets demonstrate that TTPA significantly improves tool-using performance while showing strong generalization ability across models and datasets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
