发表机构
North Carolina State University; Amazon Web Services（北卡罗来纳州立大学; 亚马逊云服务）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
TEFM框架通过行为代码压缩和双重保真目标，在关键领域结构化数据中实现高令牌效率与忠实解释，大幅降低令牌消耗并保持分类性能。
AI 中文摘要
在本文中，我们解决了将大型语言模型（LLM）应用于关键领域时面临的两个基本障碍：令牌效率与忠实性。为了同时满足这两个约束，我们提出了TEFM（Token-Efficient Faithful Modeling，令牌高效忠实建模），这是一个专为关键领域中的结构化数据分析而设计的框架。TEFM通过将冗长的结构化观测压缩为紧凑的行为代码（Behavioral Code）令牌来实现令牌效率，在信息损失最小的情况下大幅降低令牌消耗。此外，TEFM通过一个双重保真目标实现忠实的合理化解释，该目标联合优化代码级重建与预测级保真度，从而识别出基于输入数据的最小充分特征子集。在多个领域数据集和模型骨干（Qwen3、Gemma-2、Phi-4）上的综合实验表明，TEFM在实现具有竞争力的分类准确率的同时，大幅减少了令牌使用（在临床领域约保留1%的令牌，在安全领域约保留2%），并生成了忠实的解释依据。
英文摘要
In this paper, we solve two fundamental obstacles in applying LLMs to critical domains: token efficiency and faithfulness. To address both constraints jointly, we present TEFM (Token-Efficient Faithful Modeling), a framework designed for structured data analysis in critical domains. TEFM achieves token efficiency by compressing lengthy structured observations into compact Behavioral Code tokens, dramatically reducing token consumption with minimal information loss. Moreover, TEFM enables faithful rationalization through a dual-fidelity objective that jointly optimizes code-level reconstruction and prediction-level fidelity, identifying minimal sufficient feature subsets grounded in input data. Comprehensive experiments across various domain datasets and model backbones (Qwen3, Gemma-2, Phi-4) show that TEFM achieves competitive classification accuracy with dramatic token reduction (approximately 1\% token retention in clinical and 2\% in security domains) while producing faithful rationales.
