Do LLMs Make More Mistakes If They Do Not Believe the Input Data?
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文研究大语言模型对输入上下文（事实、反事实、虚构）的忠实度，发现上下文-记忆冲突较弱，且评判者选择影响冲突强度评估。
2026-09-10 cs.CL
Bridging the Novice-Expert Gap via Models of Decision-Making: A Case Study on Remediating Math Mistakes
Stanford University（斯坦福大学）
本文提出 Bridge，通过认知任务分析将专家纠错思维转化为决策模型，并构建700段辅导对话数据集，显著提升 GPT4 的数学纠错辅导质量。
2024-04-06 cs.AI cs.CL
A Deep Dive Into Large Language Model Code Generation Mistakes: What and Why?
University of California, Irvine（加利福尼亚大学欧文分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Riverside（加利福尼亚大学河滨分校）
该研究针对大语言模型代码生成的非语法错误问题，覆盖独立函数与真实软件开发两类场景，识别出七类错误及六类成因，验证了GPT-4结合ReAct提示的错误成因检测效果，为提升代码生成质量提供参考。
2025-03-20 cs.AI cs.SE
Finding Common Mistakes In Modelling With Mathematical Formalisms Using LLMs
Ruhr University Bochum（波鸿鲁尔大学）
本研究提出一种基于LLM的工作流程，用于识别数学形式化建模中的常见错误，通过错误修复转换生成候选并聚类可视化，在命题逻辑等数据集上验证了其有效性和可扩展性。
2026-09-16 cs.AI cs.CY cs.LO
What's Wrong? Refining Meeting Summaries with LLM Feedback
Georg-August-Universität Göttingen（哥廷根大学）
针对LLM生成会议摘要存在的相关性不足和幻觉问题，提出模仿人类审阅流程的多LLM两阶段修正方法，发布含九类错误标注的QMSum Mistake数据集，实验证明该方法可有效提升摘要质量。
2024-07-16 cs.AI cs.CL
TPD: Enhancing Student Language Model Reasoning via Principle Discovery and Guidance
Georgia Institute of Technology（佐治亚理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出 TPD 师生框架，由教师模型依据学生错误提炼原则并选择示例，使其在推理阶段无需外部干预即可学习，八项任务平均较思维链提示提升 6.2%。
2024-01-24 cs.AI cs.CL
Findings of the BEA 2025 Shared Task on Pedagogical Ability Assessment of AI-powered Tutors
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（莫扎德·本·扎耶德人工智能大学）；KU Leuven（卢森堡大学）；Nara Institute of Science and Technology（奈良科学技術大學）
该论文概述了 BEA 2025 共享任务，旨在评估 LLM 驱动 AI 辅导系统的教学能力，涵盖错误识别、定位、指导、反馈可操作性及身份检测五个赛道，结果显示该领域仍有显著改进空间。
2025-07-11 cs.AI cs.CL cs.CY
Contextual Drag: How Errors in the Context Affect LLM Reasoning
Princeton University（普林斯顿大学）
研究发现上下文中的错误会偏向下文生成的推理错误，导致性能下降，并指出缓解策略无法完全消除该问题。
2026-03-02 cs.AI cs.CL cs.LG
TACIT: Optimization Models that Learn from Their Mistakes
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
TACIT结合LLM推理与优化形式化，通过自上而下和自下而上两种范式自动修复错误指定的优化模型，在38个场景中修复率达78.9%，优于基线。
2026-10-01 cs.AI math.OC
"Mistakes Help Us Grow": Facilitating and Evaluating Growth Mindset Supportive Language in Classrooms
UT Austin（德克萨斯大学奥斯汀分校）；Vanderbilt University（范德堡大学）；Stanford University（斯坦福大学）；Brown University（布朗大学）
本研究探索利用大语言模型为教师提供自动化成长型思维支持性语言指导，构建数据集、提示框架和评估框架，并通过大规模评估验证其有效性，发现模型改写优于教师改写。
2023-10-16 cs.CL
The Value of Being Wrong: Self-Mined Visual In-Context Learning from Errors
NVIDIA（英伟达）
该研究针对视觉上下文学习的示例选择问题，提出SMILE方法，利用模型自身错误构建难负样本池，在四类基准和四个VLMs上较SOTA基线平均提分3.09点且延迟降5倍。
2026-10-14 cs.AI cs.CV
COMPASS: Enhancing Agent Long-Horizon Reasoning with Evolving Context
Google Cloud AI（谷歌云人工智能）；University of Virginia（弗吉尼亚大学）
针对长程任务中上下文管理导致的推理失败问题，提出COMPASS分层框架，通过主智能体、元思考者和上下文管理器分工，在多个基准上提升准确率高达20%。
2025-10-09 cs.AI cs.CL
When Does In-Context Search Help? A Sampling-Complexity Theory of Reflection-Driven Reasoning
The Hebrew University（希伯来大学）
研究上下文搜索何时有用，通过将其建模为对推理轨迹的近似推理分析采样复杂性，表明反思能定位早期错误时可指数级改进，收益稳健可学习，还在强化学习抽象下验证了理论预测。
2026-07-09 cs.AI cs.CL
SPRI: Aligning Large Language Models with Context-Situated Principles
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM Research（IBM研究院）
提出SPRI框架，通过实时自动生成情境化原则来对齐大型语言模型，在复杂任务、评分标准和真实性提升上表现优异，且无需人工干预。
2025-05-29 cs.AI cs.CL
ContextRL: Enhancing MLLM's Knowledge Discovery Efficiency with Context-Augmented RL
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）
ContextRL通过上下文增强强化学习提升大语言模型的知识发现效率，有效缓解奖励黑客问题并提升性能。
2026-02-26 cs.AI cs.CL cs.LG
Learn from Your Mistakes: Tree-like Self-Play for Secure Code LLMs
提出树状自博弈（TSP）框架，将安全代码生成建模为细粒度序列决策过程，通过构建决策树探索安全与脆弱路径，使模型在关键决策节点自我纠正，显著提升代码安全性并实现跨语言泛化。
2026-06-16 cs.AI cs.CR
In-Context Learning User Simulators for Task-Oriented Dialog Systems
Telepathy Labs GmbH（Telepathy Labs有限公司）
本文利用大语言模型的上下文学习能力，依据用户目标和少量对话示例构建任务型对话用户模拟器，避免规则编写与大量标注，并通过交互错误分析指出改进方向。
2023-06-01 cs.CL cs.LG
Misspelling Correction with Pre-trained Contextual Language Model
Purdue University（普渡大学）
拼写不规则，现在被称为拼写错误，已经发现了几个世纪。作为人类，我们能够根据它们在句子中的位置，感知的发音和上下文来理解大多数拼写错误的单词。与人类不同，计算机系统不具备人脑所具备的方便的自动完成功能。虽然许多程序提供拼写校正功能，但许多系统不考虑上下文。此外，人工智能系统的功能是按照它们被训练的方式来运行的。由于目前许多自然语言处理（NLP）系统都是在语法正确的文本数据上训练的，因此许多系统在对抗性示例时很脆弱，但正确拼写的文本处理对学习至关重要。在本文中，我们研究了如何在上下文中纠正拼写错误，使用预训练的语言模型BERT。我们提出了两个实验，基于BERT和编辑距离算法，排名和选择候选更正。实验结果表明，当适当结合时，BERT和编辑距离的上下文词嵌入能够有效地纠正拼写错误。
2021-01-08 cs.CL
When Do Agent Loops Mistake Stagnation for Progress? Self-Evaluation Bias and Externally Grounded Verification in Long-Running Autonomous LLM Agent Loops
研究长期运行的自主智能体循环中自我评估偏差导致的“进步幻觉”问题，通过构建测试平台，控制评估者信息通道类型，发现自我报告无意义，带内评判者也有偏差，指出开放式目标需带外评估，强调评估者依据对结果的重要性。
2026-09-30 cs.AI
Recursive Introspection: Teaching Language Model Agents How to Self-Improve
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；MultiOn
本文提出 RISE 方法，通过将单轮提示微调转化为多轮马尔可夫决策过程并进行迭代微调，使大语言模型能够递归地检测和纠正先前错误，在数学推理任务上实现自我改进且不破坏单轮能力。
2024-07-26 cs.AI cs.CL cs.LG
Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction
HLTCOE, Johns Hopkins University（HLTCOE，约翰霍普金斯大学）
本文提出通过符合预测框架实现RAG的上下文工程，通过统计可控的过滤方法减少冗余上下文，提升事实准确性。
2026-01-19 cs.AI cs.CL cs.IR
Context Matters: Data-Efficient Augmentation of Large Language Models for Scientific Applications
University of Southern California（南加州大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
本研究针对大型语言模型在科学应用中易出错的问题，发现上下文相关性与答案质量呈非线性关系，并证明通过校准可自动化评分，实现LLM自我检查，同时提供了概念验证平台。
2023-12-21 cs.AI cs.CL cs.LG
Principles2Plan: LLM-Guided System for Operationalising Ethical Principles into Plans
Principles2Plan通过人机协作生成基于伦理原则的可操作规则，提升自动规划的伦理实用性
2025-12-09 cs.AI
From Introspection to Best Practices: Principled Analysis of Demonstrations in Multimodal In-Context Learning
University of Southern California（南加州大学）；Microsoft Research（微软研究院）；University of California, Davis（加州大学戴维斯分校）
通过系统评估多模态上下文学习中不同模态对任务的影响，提出模态驱动的演示策略以提升ICL性能，并揭示了模型遵循的归纳偏置，为理解与改进多模态ICL提供原则性指导。
2025-02-07 cs.AI cs.CL cs.CV
Can Safety Fine-Tuning Be More Principled? Lessons Learned from Cybersecurity
Safe AI For Humanity（安全人工智能人类组织）；Mila（米拉实验室）；University of Technology Sydney（悉尼科技大学）
本文类比网络安全中的攻防军备竞赛，指出当前LLM安全微调缺乏原则性，易被越狱、奖励黑客等攻击绕过，并借鉴历史经验提出需从架构层面设计更安全模型。
2025-01-19 cs.AI cs.CR cs.LG
Effective Self-Mining of In-Context Examples for Unsupervised Machine Translation with LLMs
The University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Invertible AI（可逆人工智能公司）
针对低资源及多语言场景缺乏上下文示例的问题，提出词级到句级挖掘并过滤平行句对的无监督方法，在FLORES-200的288个方向上取得优于或接近人工标注示例、并领先现有UMT方法平均7 BLEU的效果。
2025-02-18 cs.CL
LLMs learn governing principles of dynamical systems, revealing an in-context neural scaling law
Cornell University, USA（康奈尔大学）；Imperial College London, UK（伦敦帝国理工学院）
本文研究LLaMA 2在无微调条件下对物理动力系统时间序列的外推能力，发现其预测精度随上下文窗口长度提升，揭示上下文内神经标度律，并提出从LLM提取多位数字概率密度函数的算法。
2024-10-09 cs.AI cs.LG
Chained Recursive Language Models for Multi-Iteration Reasoning
University of Maryland（马里兰大学）
针对LLM长上下文推理易传播早期错误的问题，提出Chained RLM推理架构，通过分阶段管理上下文提升多轮迭代推理准确率，验证其相比直接LLM回答的性能增益。
2026-08-06 cs.AI cs.CL cs.IT
COSMIR: Chain Orchestrated Structured Memory for Iterative Reasoning over Long Context
Microsoft（微软）
针对大语言模型长上下文推理的信息丢失与错误放大问题，提出采用结构化记忆和固定工作微周期的COSMIR链式框架，在HELMET长问答任务上相比CoA基线减少信息损失、提升准确率。
2025-10-06 cs.AI cs.LG
Learning from Past Mistakes: Improving Automatic Speech Recognition Output via Noisy-Clean Phrase Context Modeling
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
自动语音识别（ASR）系统经常由于子系统修剪（声学、语言和发音模型）而产生不可恢复的错误;例如，在基于语言学用长期上下文重新评分之前，由于使用短期上下文的声学而修剪单词。在这项工作中，我们建模ASR作为一个基于短语的嘈杂的变换通道，并提出了一个纠错系统，可以从所有独立的模块组成的ASR的聚合错误，并试图反转这些。所提出的系统可以使用神经网络语言模型来利用长期上下文，并且可以更好地在现有ASR输出可能性之间进行选择，以及重新引入先前修剪的或看不见的（词汇表外的）短语。它在性能不佳的ASR条件下提供校正，而不会降低任何准确的transmittance;这种校正在域外和不匹配的数据ASR上更大。我们的系统始终如一地提供了对基线ASR的改进，即使基线通过递归神经网络语言模型重新评分进一步优化。这表明，任何ASR改进都可以独立利用，并且我们提出的系统仍然可以为高度优化的ASR提供好处。最后，我们提出了一个广泛的分析，我们的系统纠正的错误类型。
2019-03-28 cs.CL cs.SD eess.AS
The Complexity of Learning Principles and Parameters Grammars
我们调查模型学习类上下文无关和上下文敏感的语言（CFL和CSL）。我们首先简要讨论了一些早期的硬度结果表明，不受限制的语言学习是不可能的，不受限制的CFL学习是计算上不可行的，然后我们简要调查的文献学习限制的CFL子类的算法。最后，我们引入了一个新的子类，原则参数上下文无关文法（和相应的原则参数上下文相关文法），它大致模拟了心理语言学中的“原则和参数”框架。我们提出了三个硬度的结果：第一，PPCFG是没有有效地学习等价和成员的神谕，第二，PPCFG是没有有效地学习积极的介绍，除非P = NP，第三，PPCSG是没有有效地学习积极的介绍，除非整数分解是在P。
2012-07-06 cs.CL cs.FL
