Inductive or Deductive? Rethinking the Fundamental Reasoning Abilities of LLMs
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon(亚马逊公司)
本文提出 SolverLearner 框架以分离并纯化大语言模型的归纳推理,发现其归纳推理能力接近完美,但演绎推理尤其在反事实任务中相对不足。
2024-08-07 cs.AI
Grounding the Ungrounded: A Spectral-Graph Framework for Quantifying Hallucinations in Multimodal LLMs
Morgan Stanley(摩根士丹利);Indian Statistical Institute (Kolkata)(印度统计研究所(加尔各答))
本文提出了一种基于谱-图框架的多模态大语言模型幻觉量化方法,通过谱分解和RKHS本征模式,提供可解释的语义失真度量。
2025-12-10 cs.AI cs.LG
Process or Result? Manipulated Ending Tokens Can Mislead Reasoning LLMs to Ignore the Correct Reasoning Steps
University of California, Merced(加州大学默塞德分校);National University of Singapore(新加坡国立大学);University of Queensland(昆士兰大学)
本文揭示了推理LLMs的“Compromising Thought”漏洞,发现被操纵的结束标记会误导模型忽略正确推理步骤,甚至导致DeepSeek-R1停止推理,凸显了推理密集型应用的安全风险。
2025-04-01 cs.AI
Decoupling Knowledge and Reasoning in LLMs: An Exploration Using Cognitive Dual-System Theory
本文提出受双系统认知理论启发的认知归因框架,通过快速与慢速思考模式解耦LLM的知识检索和推理调整,并在3个数据集、15个模型上揭示领域差异、缩放效应及层位分布。
2025-07-24 cs.AI
How Well Do LLMs Perform on the Simplest Long-Chain Reasoning Tasks: An Empirical Study on the Equivalence Class Problem
University of Science and Technology of China(中国科学技术大学);University of Oxford(牛津大学)
本文评估了LLMs在等价类问题上的表现,发现非推理模型无法解决,而推理模型虽更优但仍难以完全解决,且问题难度随连接概率和变量数变化而变化。
2026-05-07 cs.AI
Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning
Skywork AI(天工开物AI);Nanyang Technological University(南洋理工大学)
本文提出Q*框架,将多步推理视为启发式搜索,通过学习Q值模型指导解码,无需微调即可提升开源LLMs在GSM8K、MATH和MBPP上的推理性能。
2024-07-22 cs.AI
Quantifying Gender Bias in Large Language Models: When ChatGPT Becomes a Hiring Manager
Massachusetts Institute of Technology(麻省理工学院)
研究量化了LLM在招聘决策中的性别偏见,发现女性候选人更易被录用但薪酬建议较低,探讨了提示工程作为偏见缓解技术。
2026-03-10 cs.AI cs.CY
Reasoning as Pattern Matching: Shared Mechanisms in Human and LLM Everyday Reasoning
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
研究通过比较人类和25个LLM在日常因果推理中的错误模式,发现两者均表现出模式匹配而非抽象世界模型驱动的推理,并识别出LLM中驱动响应的注意力头可预测人类推理错误。
2026-10-07 cs.AI
DOCS: Quantifying Weight Similarity for Deeper Insights into Large Language Models
Alibaba Group(阿里巴巴集团)
本文提出余弦相似性分布(DOCS)指标以量化LLMs权重矩阵相似性,发现相邻层高相似性聚集暗示深度功能特化,并证明其在正交矩阵上的理论有效性,为理解模型架构与开发高效可解释模型提供工具。
2025-01-28 cs.AI cs.CL
LLMSense: Harnessing LLMs for High-level Reasoning Over Spatiotemporal Sensor Traces
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon(亚马逊公司)
本文提出LLMSense框架,利用大语言模型的推理能力对长期时空传感器轨迹进行高层推理,通过摘要生成和历史轨迹选择性纳入策略,在痴呆症诊断与占用追踪任务上实现超过80%的准确率。
2024-03-28 cs.AI
IFAR: Multi-Perspective and Multi-Level Causal Discovery with LLMs
Beihang University(北航大学)
研究针对大语言模型溯因推理中多视角多层次原因这一挑战,提出IFAR框架,结合广义反向推理与正向验证,构建专门数据集,实验表明该框架能提升大语言模型溯因推理性能,在F1分数等方面有显著改进。
2026-07-13 cs.AI
TMIQ: Quantifying Test and Measurement Domain Intelligence in Large Language Models
School of Engineering The University of Edinburgh Edinburgh, UK(工程学院 伦敦大学爱丁堡分校 英国)
针对大语言模型在测试与测量领域评估不足的问题,提出TMIQ基准,通过SCPI命令匹配、思维链推理等指标定量评估模型性能,并附带CLI工具支持定制化评估,揭示准确性与效率的权衡。
2025-03-03 cs.AI
MSQA: Benchmarking LLMs on Graduate-Level Materials Science Reasoning and Knowledge
College of Computing(计算学院);School of Materials Science and Engineering(材料科学与工程学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出MSQA基准,包含1757道研究生级材料科学问题,联合评估LLM的事实知识与多步推理能力,实验揭示专有、开源及领域特定LLM间的显著性能差距。
2025-05-29 cs.AI
Relative Bias: A Comparative Framework for Quantifying Bias in LLMs
University of Waterloo(滑铁卢大学)
本文提出相对偏差框架,通过嵌入变换分析和LLM作为评判者两种互补方法,系统评估大语言模型在特定领域内偏离其他模型的偏差,并验证了两种方法的一致性。
2025-05-22 cs.AI cs.CL stat.ML
Do LLMs Share Human-Like Biases? Causal Reasoning Under Prior Knowledge, Irrelevant Context, and Varying Compute Budgets
本文通过对比20余种LLM与人类基准,在11个由碰撞结构形式化的因果判断任务中发现,小型可解释模型能有效压缩LLM的因果判断,多数LLM表现出比人类更规则化的推理策略,但未表现出人类典型的碰撞偏见。
2026-03-12 cs.AI
Off-Trajectory Reasoning: Can LLMs Collaborate on Reasoning Trajectory?
Department of Computer Science, Cornell University(计算机科学系,康奈尔大学)
本文研究了大语言模型在共享推理轨迹上的协作能力,发现即使在基准测试中表现优秀的模型在受到干扰时也容易崩溃,且无法有效利用合作者的引导步骤。
2026-03-02 cs.AI
AdaR: A Framework for Equipping LLMs with Adaptive Reasoning
Nanjing University(南京大学);Meituan Inc.(美团公司)
针对现有LLM数学推理的鲁棒性与泛化性缺陷,本文提出AdaR框架,通过RLVR训练及数据质量保障方法,有效提升了LLM数学推理能力并缓解了相关缺陷。
2026-08-25 cs.AI
Reasoning Effort and Problem Complexity: A Scaling Analysis in LLMs
ETH Zürich(苏黎世联邦理工学院)
本研究利用可无限缩放的Tents谜题分析大语言模型推理努力随问题复杂度的缩放规律,发现存在临界复杂度阈值,超出后推理努力不再增长甚至下降,揭示了当前模型逻辑一致性的局限及不同前沿模型的性能差异。
2025-03-19 cs.AI
LifeAgentBench: Benchmarking LLMs for Long-Horizon, Cross-Dimensional Lifestyle Health Reasoning
University of California San Diego(加州大学圣地亚哥分校);Google Research(谷歌研究)
本文提出LifeAgentBench多维基准和代理,用于评估LLM在长周期、跨维度健康推理中的能力,并通过实验识别关键瓶颈,提出基线代理LifeAgent实现显著改进。
2026-09-02 cs.AI
Understanding the Geospatial Reasoning Capabilities of LLMs: A Trajectory Recovery Perspective
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学)
该研究以轨迹恢复为代理任务,构建GLOBALTRACE数据集,提出基于道路网络上下文的提示框架,验证了LLMs在地理空间推理与导航任务上的优势及存在的偏差,并展示其提升导航体验的潜力。
2025-10-02 cs.AI
Quantifying and Mitigating Premature Closure in Frontier LLMs
Department of Medicine, Stanford University(斯坦福大学医学系);Department of Biomedical Data Science, Stanford University(斯坦福大学生物医学数据科学系)
本文研究了大语言模型在医疗任务中过早闭合的问题,通过评估五个前沿模型发现其在不确定情况下仍频繁给出答案,安全提示虽能减少错误,但仍有残留问题,需进一步验证医疗LLM是否能判断何时不应回答。
2026-05-14 cs.AI cs.CL
On the Eligibility of LLMs for Counterfactual Reasoning: A Decompositional Study
Shuai Yang(1 阳帅);Qi Yang(2 杨琪)
本文提出一种分解策略,分析LLMs在反事实推理中的表现,探讨不同任务和模态对性能的影响,以提升LLM推理系统的可靠性。
2026-02-16 cs.AI
Improving LLMs' Generalized Reasoning Abilities by Graph Problems
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出GraphPile图问题推理预训练语料并训练GraphMind,以增强大语言模型跨数学、逻辑和常识任务的泛化推理能力。
2025-07-23 cs.AI
An Empirical Study of Reasoning Steps in Thinking Code LLMs
York University(约克大学)
针对思考型代码大语言模型推理链质量未充分探索的问题,本研究通过评估6个先进模型、分析100个任务的推理过程与质量,揭示了步骤调整对解决率的影响、完整性为主要失败模式等关键发现,为其在软件工程中的应用提供新见解。
2025-11-08 cs.AI
Quantifying In-Context Reasoning Effects and Memorization Effects in LLMs
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology(东方理工学院);Sun Yat-Sen University(中山大学)
本文提出一套公理系统,将 LLM 生成中的置信度分数分解为记忆效应与上下文推理效应,并通过分类与稀疏性、普遍匹配性实现可解释的推理模式分析。
2024-05-20 cs.AI cs.CL cs.CV
Stepwise Reasoning Error Disruption Attack of LLMs
University of Science and Technology of China(中国科学技术大学);City University of Hong Kong(香港城市大学);Independent Researcher(独立研究者)
针对现有大语言模型推理攻击存在的场景受限、隐蔽性不足问题,提出兼容零样本/少样本设置、无需修改指令的SEED逐步推理错误干扰攻击,经多模型多数据集实验验证其有效性,凸显LLM推理鲁棒性研究的重要性。
2025-06-14 cs.AI
Reasoning-CV: Fine-tuning Powerful Reasoning LLMs for Knowledge-Assisted Claim Verification
National University of Singapore(新加坡国立大学)
针对现有声明验证“分解后验证”范式易在分解阶段引入错误的问题,提出CoT-Verify范式及Reasoning-CV微调方法,仅用8B预训练LLM就实现了优于现有方法及多款黑盒大模型的知识辅助声明验证效果。
2025-05-18 cs.AI
Towards Quantifying Commonsense Reasoning with Mechanistic Insights
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本研究提出基于图形结构的常识推理量化方法,创建了37项日常活动的隐性知识标注资源,通过设计机制揭示LLMs中存在负责决策的推理组件,为其常识推理能力评估提供了严谨手段。
2025-04-14 cs.AI cs.CL cs.LG
Reliability by design: quantifying and eliminating fabrication risk in LLMs. From generative to consultative AI: a comparative analysis in the legal domain and lessons for high-stakes knowledge bases
Humanizing Internet
本文提出通过减少幻觉提升大语言模型在法律领域的可靠性,引入两种可靠性指标,并展示先进的 RAG 系统有效降低伪造事实率。
2026-01-21 cs.AI cs.PF
Can We Trust LLM's Logic? Quantifying Uncertainty, Coherence, and Robustness via a Graph-Based Framework
Department of Electrical and Computer Engineering(电气与计算机工程系);Department of Biochemistry and Molecular Genetics(生物化学与分子遗传学系);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
研究大语言模型推理问题,引入基于图的GRAPHEVAL框架,提出GRCS度量和GSC解码策略,量化不确定性等,发现GRCS与推理忠实度负相关,证明GSC所选路径对推理的重要性。
2026-07-10 cs.AI cs.CL
Quantifying Risk Propensities of Large Language Models: Ethical Focus and Bias Detection through Role-Play
School of Computer Science and Engineering, Sun Yat-sen University(计算机科学与工程学院,中山大学)
本研究将DOSPERT量表应用于大语言模型,提出EDRAS伦理风险态度量表,并结合角色扮演方法量化评估多个主流LLMs的风险倾向及对不同群体的系统性偏见,为构建更公平可信的AI系统提供工具。
2025-05-08 cs.AI cs.CL cs.CY
Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs
University of Pennsylvania(宾夕法尼亚大学)
大语言模型(LLM)像人类一样推理的潜力一直是机器学习社区中备受争议的话题。然而,人类的推理能力是多方面的,可以以各种形式出现,包括类比,空间和道德推理等。这一事实提出了一个问题,即LLM是否可以在所有这些不同的领域中表现同样出色。本研究旨在通过直接使用或借鉴现有类比和空间推理数据集的实验,研究LLM在不同推理任务中的表现。此外,为了评估LLM像人类一样推理的能力,他们的表现是在更开放的自然语言问题上进行评估的。我的研究结果表明,法学硕士擅长类比和道德推理,但在空间推理任务上表现得很熟练。我相信这些实验对于为LLM的未来发展提供信息至关重要,特别是在需要多样化推理专业知识的背景下。通过揭示LLM的推理能力,这项研究旨在推动我们对它们如何更好地模仿人类认知能力的理解。
2023-03-22 cs.AI cs.CL
Do LLMs Favor LLMs? Quantifying Interaction Effects in Peer Review
研究发现LLM辅助的评审对LLM辅助论文更宽容,但实际是由于低质量论文的倾向,而非LLM偏袒生成内容。
2026-01-28 cs.AI cs.CY
Understanding Syllogistic Reasoning in LLMs from Formal and Natural Language Perspectives
本文从形式和自然语言角度研究大语言模型的三段论推理能力,通过测试14种模型的符号推理和自然语言理解,探讨大语言模型是否正向形式化推理机制发展。
2025-12-29 cs.AI cs.CL
Quantifying Faithful Confidence Expression in Large Reasoning Models
Yale University(耶鲁大学)
针对大型推理模型(LRM)在长链思维输出中难以忠实表达内在置信度的问题,提出基于令牌概率、隐藏状态和响应一致性的框架,系统量化其语言决断性与内部不确定性之间的对齐程度。
2026-06-02 cs.AI cs.CL
Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective
Amazon(亚马逊)
提出FiSCo统计框架,在声明层面通过蕴含检查与假设检验检测大语言模型长文本响应中的群体级细微语义偏见,并在合成及人工数据集上验证其有效性。
2025-10-10 cs.AI cs.CL cs.CY
Do LLMs Exhibit Human-Like Reasoning? Evaluating Theory of Mind in LLMs for Open-Ended Responses
University of Washington(华盛顿大学);University of Washington - Bothell(华盛顿大学博塞尔校区)
本文通过Reddit ChangeMyView平台上的开放式问题评估大语言模型的心智理论推理能力,发现其与人类存在明显差距,并提出融入人类意图和情绪的提示调优方法以提升表现,但仍未达到类人推理水平。
2024-06-09 cs.AI cs.CL
EL-MIA: Quantifying Membership Inference Risks of Sensitive Entities in LLMs
University of Groningen(格罗宁根大学);Leiden University(莱顿大学)
本文提出EL-MIA框架用于审计LLM中敏感信息的实体级成员推理风险,构建基准数据集并系统比较现有及新提出的方法,发现现有方法在实体级推理上存在局限。
2025-10-31 cs.AI cs.LG
Quantifying Generative Media Bias with a Corpus of Real-world and Generated News Articles
University College London(伦敦大学学院)
本文构建含2,100篇真人文章及九个LLM生成的56,700篇文章的数据集,结合监督模型与LLM检测政治偏见,发现指令微调模型存在一致偏见且LLM分类器也有偏见。
2024-06-16 cs.AI cs.CL
Quantifying Document Impact in RAG-LLMs
Department of Computer Science(计算机科学系);Umiacs;University of Maryland(马里兰大学);College Park MD
本文提出影响评分(IS)用于量化RAG-LLM中单个文档对输出的影响,通过实验验证其有效性,提升系统透明度和可靠性。
2025-10-27 cs.AI cs.CL cs.IR
Rethinking Reasoning: A Survey on Reasoning-based Backdoors in LLMs
Beijing Electronic Science and Technology Institute, China(北京电子科技研究所);Nanyang Technological University, Singapore(南洋理工大学);Hainan University, China(海南大学)
本文首次系统综述大语言模型中基于推理的后门攻击,提出关联、被动、主动三类新分类法,并总结防御策略与未来研究方向。
2026-11-05 cs.AI cs.CR
Weaker LLMs' Opinions Also Matter: Mixture of Opinions Enhances LLM's Mathematical Reasoning
LG Electronics(LG电子)
提出意见混合(MoO)后训练方法,利用较弱辅助LLM的思维链推理增强较强LLM的数学推理能力,相比SFT等方法平均提升5%,验证了多样化视角的价值。
2025-03-05 cs.AI cs.CL
From Solving to Verifying: A Unified Objective for Robust Reasoning in LLMs
Meta
针对大语言模型自验证能力不足的问题,提出GRPO-Verif算法,通过统一损失函数联合优化求解生成与自验证,在保持推理性能的同时提升自验证能力。
2025-11-19 cs.AI cs.LG
Quantifying and Attributing the Hallucination of Large Language Models via Association Analysis
Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
本文提出通过关联分析结合幻觉水平量化与原因调查,建立LLMs幻觉率与风险因素的关系,揭示模型在常识记忆、关系推理和指令遵循上的潜在缺陷,为预训练和监督微调提供缓解幻觉的指导。
2023-09-11 cs.AI cs.CL
How Much Thinking is Enough? Quantifying and Understanding Redundancy in LLM Reasoning
Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
本文通过形式化推理冗余度量,量化了前沿推理模型在数学基准上高达61%-93%的步骤级冗余,并证明这种冗余是长度无关结果奖励的结构性后果,而非模型特定伪影。
2026-04-21 cs.AI cs.LG
MultiNRC: A Challenging and Native Multilingual Reasoning Evaluation Benchmark for LLMs
Scale AI
本文提出 MultiNRC 原生多语言推理基准,含千余道法语、西班牙语和中文文化根植问题,并评估 14 个 LLM,揭示其原生推理与跨文化数学能力仍不足。
2025-07-23 cs.AI cs.CL
RBF++: Quantifying and Optimizing Reasoning Boundaries across Measurable and Unmeasurable Capabilities for Chain-of-Thought Reasoning
Research Center for Social Computing and Interactive Robotics, Harbin Institute of Technology(社会计算与交互机器人研究中心,哈尔滨工业大学);Faculty of Computing, Harbin Institute of Technology(计算学院,哈尔滨工业大学);School of Computer Science and Engineering, Central South University(计算机科学与工程学院,中南大学);Chinese University of Hong Kong(香港中文大学);MMLab, The Chinese University of Hong Kong(香港中文大学MMLab)
针对思维链推理可测量与不可测量能力边界的评估优化难题,提出RBF++框架,通过边界组合定律、常数假设与划分机制实现量化优化,经多模型多任务实验验证,拓展了相关评估基准。
2025-05-19 cs.AI cs.CL cs.CV
How Do LLMs Understand Legal Philosophy? Diagnosing Legal-Philosophical Reasoning in LLMs
The University of Osaka(大阪大学);UC Davis(加州大学戴维斯分校);UC Berkeley(加州大学伯克利分校);Peking University(北京大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Shanghai Jiao Tong University(上海交通大学);NII(信息学研究所(日本));City University of Hong Kong(香港城市大学)
本研究针对LLM是否具备法哲学推理能力的空白,构建了含220份美国最高法院判决的LePhilBench基准,开展两项任务评估,为相关探索奠定基础。
2026-10-15 cs.AI cs.CL
RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty
Lehigh University(莱维大学);University of Notre Dame(诺特大学);Zhejiang Wanli University(浙江万里大学);Squirrel Ai Learning;City University of Hong Kong(香港城市大学);Duke University(杜克大学)
提出RankLLM框架,通过量化问题难度和模型能力实现细粒度评估,在35550个问题上对30个模型进行评测,与人类判断一致性达90%。
2026-06-09 cs.AI cs.CL
Quantifying Cognitive Bias Induction in LLM-Generated Content
UC San Diego(加州大学圣地亚哥分校)
研究量化了大语言模型生成内容中的认知偏差,发现其在摘要和事实核查任务中存在框架偏差、幻觉和优先偏差,并提出针对性干预方法以减少对人类决策的影响。
2025-11-30 cs.AI cs.CL
Are LLMs classical or nonmonotonic reasoners? Lessons from generics
ILLC(阿姆斯特丹大学语言逻辑与计算研究所);University of Amsterdam(阿姆斯特丹大学)
本文通过类指句及例外推理任务评估七种大语言模型的非单调推理能力,发现其虽能模仿人类推理模式,但在加入支持或无关信息时无法保持稳定信念,揭示将人类推理归因于LLM的隐患。
2024-06-12 cs.AI cs.CL
Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs
JPMorgan Chase AI Research(摩根大通人工智能研究院)
针对表格LLM微调多重性导致预测冲突的问题,本文提出一种基于嵌入空间局部采样的度量方法,无需重训练即可量化预测一致性,并提供概率保证,在多个真实数据集上验证其优于现有方法。
2025-06-04 cs.AI cs.CY cs.LG
Turning Dust into Gold: Distilling Complex Reasoning Capabilities from LLMs by Leveraging Negative Data
Beijing Institute of Technology(北京理工大学);Xiaohongshu Inc(小红书公司)
提出利用负样本数据从大语言模型蒸馏推理能力至小模型的框架,通过训练到推理的三步递进过程,在算术推理任务上验证了负数据对提升蒸馏效果的作用。
2023-12-20 cs.AI cs.CL
Teaching LLMs According to Their Aptitude: Adaptive Reasoning for Mathematical Problem Solving
The Hong Kong University of Science and Technology(香港科学与技术大学);Huawei Noah’s Ark Lab(华为诺亚实验室);Zhejiang University(浙江大学);Peking University(北京大学);The Hong Kong Polytechnic University(香港理工大学);University of Surrey(萨里大学)
TATA通过自适应框架使LLMs根据自身能力自主调整推理策略,提升数学问题解决的效率和准确性。
2026-02-12 cs.AI cs.CL