J-Miner：从语言模型分类器中恢复可执行的决策知识

中文摘要 AI 辅助

大型语言模型可被微调为在各类文本任务中表现出色、能做出复杂判断的专用分类器，但它们通常仅输出最终标签，使微调获得的决策知识隐含在模型内部。我们研究如何从微调后的分类器中挖掘这种内部决策知识，并将其编码为可在源分类器之外被检查、验证和复用的可执行表示。我们提出J-Miner，该方法通过聚合各层及各词元位置上与词汇对齐的内部信号来挖掘文本级命名概念，并利用分类器自身的预测结果学习关于这些概念的可执行决策规则。此过程将局部内部读数提炼为显式的分类器级知识表示。在多个分类任务上，J-Miner规则可复现源分类器最高达98.3%的决策，且与从输入词学习的同等紧凑规则相比，其行为保真度高出6.0至29.5个百分点。进一步分析表明，这些命名概念反映了与任务决策相关的内部语义证据，而学习到的规则将这些分布式信号整合为可检查的决策结构。所得决策知识还可迁移至轻量级独立学生模型：使用约为源分类器1/24参数的学生模型，可从原始文本重建并执行该表示，同时保留源分类器99.8%的平均任务准确率。这些发现表明，特定任务的决策知识可忠实地表示为显式、可执行的形式，并在学习它的分类器之外被复用。

英文摘要

Task-fine-tuned large language model (LLM) classifiers acquire task-specific decision knowledge, but this knowledge remains implicit in distributed internal computations, making their decision logic difficult to interpret. We introduce the Executable Decision Compression (EDC) framework and propose J-Miner, which mines vocabulary-named variables from internal readouts and learns rules shared across inputs to produce executable explanations. Analysis reveals that a small set of these variables captures much of the classifier's decision behavior, holding for both varying parameter scales within a family and distinct families. Across six binary tasks, a rule using just one variable reproduces 76.7% of source-classifier decisions on average, rising to 88.8% with 16 variables. Most of the decision information retained by these variables comes from internal activations beyond literal surface matching. A lightweight text reader predicts the variable states, allowing the same fixed rules to execute independently of the source classifier.

发表机构

• Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海智能自主系统研究院）
• Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机与人工智能学院上海市数据科学重点实验室）
• Meituan（美团）
• College of Design and Innovation, Tongji University（同济大学设计创意学院）

机构由 AI 辅助整理，请以论文原文为准。