Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking
格式敏感性指数:大语言模型基准测试中令牌控制的提示包装器稳健性与模式合规性
机构 * Adobe Inc(Adobe公司)
专题命中 指令微调 :LLM(title);分类 cs.CL、cs.AI、cs.LG
AI总结 研究提示包装器格式差异对模型分数的影响,引入格式敏感性指数(FSI)和可解析性敏感性指数(PSI),通过大量实验发现平均FSI在不同模型间变化超30倍,且可解析性是准确性有力预测指标,指出不考虑包装器差异和合规性报告准确性不可靠并给出建议。
Comments 10 pages, 6 figures