通过前提移除干预探索基于大语言模型的细粒度物理推理的极限
Exploring the Limits of Fine-grained LLM-based Physics Inference via Premise Removal Interventions
AI总结：
通过系统移除物理提示中的关键前提，揭示大语言模型在物理推理中倾向于忽略物理语义、逆向拟合答案，并分析了推理质量随扰动强度的非线性退化。
摘要：
语言模型在执行复杂数学推理时可能产生幻觉。物理学为评估其数学能力提供了一个丰富的领域，其中物理背景要求任何符号操作都满足复杂的语义（例如，单位、张量阶数）。在这项工作中，我们系统地从提示中移除关键背景，以强制构造模型推理可能在代数上自洽但在物理上不成立的实例。我们使用一个涵盖多种符号表示和物理学子领域的精选数据集来评估语言模型在该领域的能力。此外，我们利用合成的上下文示例提高了零样本得分，并通过逐步省略支持性前提，展示了推导质量随扰动强度呈非线性退化。我们发现，在该设定下，模型的数学推理并未受到物理学知识的引导，物理背景在很大程度上被忽略，而倾向于逆向推导出解答。
英文摘要：
Language models (LMs) can hallucinate when performing complex mathematical reasoning. Physics provides a rich domain for assessing their mathematical capabilities, where physical context requires that any symbolic manipulation satisfies complex semantics (\textit{e.g.,} units, tensorial order). In this work, we systematically remove crucial context from prompts to force instances where model inference may be algebraically coherent, yet unphysical. We assess LM capabilities in this domain using a curated dataset encompassing multiple notations and Physics subdomains. Further, we improve zero-shot scores using synthetic in-context examples, and demonstrate non-linear degradation of derivation quality with perturbation strength via the progressive omission of supporting premises. We find that the models' mathematical reasoning is not physics-informed in this setting, where physical context is predominantly ignored in favour of reverse-engineering solutions.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
