arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2606.05079cs.CLcs.LG
收藏

快速且保真的函数向量

Fast & Faithful Function Vectors

Minh An Pham, Anton Segeler, Thomas Wiegand, Wojciech Samek, Sebastian Lapuschkin, Patrick Kahardipraja, Reduan Achtibat

AI总结:

本研究通过优化注意力头选择和分布式引导方法,利用基于梯度的逐层相关性传播(LRP)提高了函数向量(FV)的效率和准确性,从而实现了对大型语言模型(LLM)的快速且保真的引导。

摘要:

函数向量(FV)是在上下文学习过程中产生的任务表示,可用于引导大型语言模型(LLM)。然而,其公式中的设计选择仍未得到充分探索。在这项工作中,我们研究了沿两个自由度(注意力头选择和引导)改变FV定义对指令的影响。对于头选择,使用基于梯度的逐层相关性传播(LRP)显著提高了效率和准确性。对于FV引导,分布式应用比简单聚合获得了更高的准确性。我们的代码已公开。

英文摘要:

Function vectors (FVs) are task representations elicited during in-context learning that can be used to steer Large Language Models (LLMs). However, design choices in their formulation remain underexplored. In this work, we study the impact of varying FV definitions for instructions along two degrees of freedom: attention head selection and steering. For head selection, using gradient-based attributions with Layer-wise Relevance Propagation (LRP) substantially improves efficiency as well as accuracy. For FV steering, applying it in a distributed manner yields a higher accuracy compared to simple aggregation. Our code is publicly available.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑