理解大语言模型的失败：多带图灵机对语言模型推理系统性错误的分析
Understanding LLM Failures: A Multi-Tape Turing Machine Analysis of Systematic Errors in Language Model Reasoning
AI总结：
本文通过多带图灵机分析，揭示了大语言模型推理中的系统性错误，并提出了可检验的理论框架来解释提示技术的有效性与局限性。
摘要：
大型语言模型（LLMs）在看似简单的任务上表现出失败模式。我们提出了一种使用确定性多带图灵机形式化LLM交互的方法，其中每个带代表一个不同的组件：输入字符、令牌、词汇、模型参数、激活、概率分布和输出文本。该模型能够精确地将失败模式定位到特定的管道阶段，例如揭示令牌化如何掩盖计数任务所需的人物级结构。该模型澄清了诸如链式思维提示技术为何有效，通过将计算外部化到输出带，同时也揭示了这些技术的根本限制。这种方法提供了一种严格、可检验的替代方案，用于几何隐喻，并补充了经验扩展定律以原则性的错误分析。
英文摘要：
Large language models (LLMs) exhibit failure modes on seemingly trivial tasks. We propose a formalisation of LLM interaction using a deterministic multi-tape Turing machine, where each tape represents a distinct component: input characters, tokens, vocabulary, model parameters, activations, probability distributions, and output text. The model enables precise localisation of failure modes to specific pipeline stages, revealing, e.g., how tokenisation obscures character-level structure needed for counting tasks. The model clarifies why techniques like chain-of-thought prompting help, by externalising computation on the output tape, while also revealing their fundamental limitations. This approach provides a rigorous, falsifiable alternative to geometric metaphors and complements empirical scaling laws with principled error analysis.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
