LLM should think and action as a human
针对大语言模型多轮对话易出错、难适配不同需求、工具调用低效等问题,提出基于内置思维链的思考方法,通过监督微调与强化学习增强模型推理规划能力,解决多轮对话相关问题。
2025-02-20 cs.AI cs.CL
Investigating Thinking Behaviours of Reasoning-Based Language Models for Social Bias Mitigation
本文研究了基于推理的语言模型在缓解社会偏见中的思维机制,发现两种导致偏见累积的失败模式,并提出轻量级提示方法减少偏见同时保持准确性。
2026-05-12 cs.AI cs.CL
Enhance Reasoning Ability of Visual-Language Models via Large Language Models
Beijing Jiaotong University(北京交通大学)
针对视觉语言模型推理能力不足的问题,提出TReE方法,通过观察、思考和重新思考三阶段,在零样本场景下将大型语言模型的推理能力迁移至视觉语言模型,从而增强其推理表现。
2023-05-22 cs.AI cs.CL
Chronological Thinking in Full-Duplex Spoken Dialogue Language Models
Nanyang Technological University(南洋理工大学);StepFun;Mila
提出Chronological Thinking机制,让全双工对话模型在听用户说话时增量推理,不增加延迟,提升响应质量。
2026-06-15 cs.AI cs.CL
Beyond English-Centric LLMs: What Language Do Multilingual Language Models Think in?
Kyoto University(京都大学);National Institute of Informatics(信息学研究所);The University of Tokyo(东京大学)
本研究揭示非英语中心LLM(如Swallow和LLM-jp)具有日语和英语双潜在语言,并随层变化,加深了对多语言模型内部语言动态的理解。
2024-08-20 cs.AI cs.CL
Cognitive Decision Routing in Large Language Models: When to Think Fast, When to Think Slow
Independent Researchers(独立研究者)
本文提出认知决策路由(CDR)框架,通过元认知层分析查询复杂度以动态选择快慢推理策略,在提升性能的同时降低34%计算成本,并在专业判断任务中显著改善一致性与准确率。
2025-08-17 cs.AI cs.CL
Enhance Reasoning for Large Language Models in the Game Werewolf
Tencent AI Lab(腾讯AI实验室)
本文提出将LLM与外部Thinker模块集成的双系统推理框架,通过数据库知识和强化学习训练,在9人狼人杀游戏中提升演绎推理与发言生成能力,并贡献了最大规模社交推理游戏数据集。
2024-03-29 cs.AI cs.CL
CRITICS - Critical Science Without Borders: Language Models to Promote Critical Thinking in Science Education
University of the Basque Country EHU(巴斯克大学);CNRS(法国国家科学研究中心);ZHAW School of Engineering(苏黎世应用科技大学工程学院);Vytautas Magnus University(维陶塔斯·马格努斯大学)
CRITICS项目结合基于LLM的机器翻译与教育技术,提供科学材料母语翻译,研究科学论证与批判性思维及反馈,旨在打破语言障碍,促进科学知识民主化。
2026-09-15 cs.AI cs.CL
MeTHanol: Modularized Thinking Language Models with Intermediate Layer Thinking, Decoding and Bootstrapping Reasoning
Beihang University(北航);Beijing Institute of Technology(北京理工大学);Geely AI Lab(吉利人工智能实验室)
本文提出MeTHanol模块化思维语言模型,通过中间层思维解码与双阶段推理提升LLM的认知能力,实验表明其在理论思维和 vignette 任务中表现出色,能规划、反思并生成类人回答。
2026-04-29 cs.AI cs.CL cs.LG
Think-Probe-Respond: Improving Large Language Models as Judges of Research Idea Novelty
National Institute of Informatics(情报研究综合研究所);TU Dresden(德累斯顿工业大学);ScaDS.AI Dresden/Leipzig(德累斯顿/莱比锡应用数据科学中心)
该研究针对大型语言模型评判研究创意新颖性时的“中等新颖”偏差,提出TPR轻量方法,通过探测推理阶段隐藏状态的潜在评判约束最终响应,使性能提升22.30%。
2026-08-27 cs.AI cs.CL
Missed Connections: Lateral Thinking Puzzles for Large Language Models
New York University Tandon(纽约大学坦登工程学院)
本文研究自动化AI系统解决《纽约时报》Connections谜题的能力,评估了句子嵌入基线与现代大语言模型的表现及思维链提示的影响,发现该任务既具挑战性又可行,是测试抽象推理的优秀基准。
2024-04-21 cs.AI cs.CL
Certainty-Guided Reasoning in Large Language Models: A Dynamic Thinking Budget Approach
Nokia Bell Labs, France(诺基亚贝尔实验室,法国)
CGR通过动态调整推理预算,在保持准确性的同时减少token使用,通过确定性评估实现高效的推理过程。
2026-02-09 cs.AI cs.CL
Does Thought Require Sensory Grounding? From Pure Thinkers to Large Language Models
该研究从哲学与AI交叉视角出发,论证纯粹思维者可存在但思维类型有局限,反驳了大语言模型因缺乏感官基础不能思考的观点,并探讨感官基础对认知能力的增强作用。
2024-08-18 cs.AI
Ontology-Guided Reverse Thinking Makes Large Language Models Stronger on Knowledge Graph Question Answering
Harbin Institute of Technology(哈尔滨工业大学);Beijing University of Posts and Telecommunications(北京邮电大学);Joint Laboratory of HIT and iFLYTEK(哈工大与科大讯飞联合实验室);University of Science and Technology of China(中国科学技术大学);Pengcheng Laboratory(鹏城实验室)
本文提出Ontology-Guided Reverse Thinking框架,通过反向推理构建路径,提升大语言模型在知识图谱问答中的表现,实验表明其在WebQSP和CWQ数据集上达到最佳性能。
2026-06-29 cs.AI cs.CL
Multi-Persona Thinking for Bias Mitigation in Large Language Models
Dept. Computing Science, Alberta Machine Intelligence Institute (Amii) University of Alberta, Canada(计算科学系,阿尔伯塔机器智能研究所(Amii),阿尔伯塔大学,加拿大);Canada CIFAR AI Chair, Amii(加拿大 CIFAR 人工智能主席,Amii)
本文提出多视角思考(MPT)框架,通过鼓励多视角推理减少社会偏见,实验表明其在降低偏见的同时保持了核心推理能力。
2026-04-21 cs.AI cs.CL
Fast-Slow-Thinking: Complex Task Solving with Large Language Models
Nanjing University of Science and Technology(南京理工大学);The University of Sydney(悉尼大学)
本文提出快慢思考(FST)任务分解方法,通过快思考简化任务、慢思考恢复约束,使大语言模型以从粗到细的方式求解复杂任务,并在三类任务上验证了有效性。
2025-04-11 cs.AI cs.CL
How LLMs Might Think
Texas Tech University(德克萨斯理工大学);New York University(纽约大学);University of Pittsburgh(匹兹堡大学)
本文挑战了LLMs不思考的观点,提出LLMs可能以非理性、联想式方式思考,其思维过程纯粹基于联想。
2026-07-16 cs.AI cs.CL
Legal Prompting: Teaching a Language Model to Think Like a Lawyer
Thomson Reuters Labs(汤森路透实验室);Ontario Tech University(安大略理工大学)
大语言模型能够实现零次或Few-Shot提示,这引起了提示工程这一新的研究领域。最近的进展表明,例如,思想链(CoT)提示可以显着改善算术或常识任务。我们探讨了这种方法如何与法律推理任务,并采取了COLIEE蕴涵任务的基础上,日本律师考试测试zero-shot/Few-Shot和微调的方法。我们的研究结果表明,虽然CoT提示和微调与解释方法显示出改善,最好的结果是由来自特定的法律推理技术,如IRAC(问题,规则,应用,结论)的提示。根据我们的实验,我们将2021年的最佳结果从0.7037精度提高到0.8148精度,并以0.7431的精度击败了2022年的最佳系统0.6789精度。
2022-12-08 cs.AI cs.CL
Thinkless: LLM Learns When to Think
National University of Singapore(新加坡国立大学)
提出强化学习框架Thinkless,通过DeGRPO算法解耦控制标记与响应损失,使LLM能自适应选择短形式或长形式推理,在多个基准上将长链思考使用量减少50%-90%,显著提升计算效率。
2025-06-26 cs.AI cs.CL
The Cultural Psychology of Large Language Models: Is ChatGPT a Holistic or Analytic Thinker?
New York University(纽约大学);University of Chicago(芝加哥大学);Massachusetts Institute of Technology(麻省理工学院);Johns Hopkins University(约翰斯·霍普金斯大学);University of California Los Angeles(加州大学洛杉矶分校)
本研究通过四类量表测试探究ChatGPT的文化认知特征,发现其认知过程偏向东方整体型思维但价值判断无东西方明显倾向,探讨了结果成因及对AI研究的价值。
2023-08-28 cs.AI cs.CL
RTQA : Recursive Thinking for Complex Temporal Knowledge Graph Question Answering with Large Language Models
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);ZJU-Ant Group Joint Lab of Knowledge Graph(浙江大学-蚂蚁集团知识图谱联合实验室)
针对现有时序知识图谱问答方法处理复杂查询能力弱、推理能力有限及误差传播的问题,提出无需训练的RTQA递归思考框架,通过递归分解问题、自底向上求解和多路径答案聚合提升性能,在两个基准上的相关类别指标优于现有最优方法。
2025-09-04 cs.AI cs.CL
Think$^{2}$: Grounded Metacognitive Reasoning in Large Language Models
IIIT Hyderabad(IIIT海得拉尔)
Think$^{2}$通过引入基于心理理论的元认知框架,提升大语言模型的自我诊断与纠正能力,显著提高推理准确性和可信度。
2026-02-21 cs.AI cs.CL
Fast-Slow Thinking GRPO for Large Vision-Language Model Reasoning
Zhejiang University(浙江大学)
针对GRPO在大视觉语言模型推理中难以扩展推理长度或生成冗长输出且准确率提升有限的问题,提出FAST-GRPO,通过动态调整推理深度、基于长度的自适应奖励和难度感知KL散度,在七个基准上实现最先进准确率并大幅减少token使用,平衡推理长度与准确率。
2025-10-23 cs.AI cs.CL cs.CV
Latent Reasoning with Supervised Thinking States
Google Research(谷歌研究)
本文提出Thinking States方法,通过在输入处理过程中生成思考token,实现更高效的潜在推理,实验表明其在多个推理任务中表现优异,且在延迟和长序列外推方面优于CoT。
2026-02-09 cs.AI cs.CL
Incentivizing Dual Process Thinking for Efficient Large Language Model Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系);Ant Group(蚂蚁集团)
针对大型推理模型过度思考问题,提出ACPO强化学习框架,通过系统感知标记和难度估计实现自适应认知分配与动态系统切换,减少冗余推理并提升效率。
2025-05-23 cs.AI cs.CL
MyGO Multiplex CoT: A Method for Self-Reflection in Large Language Models via Double Chain of Thought Thinking
Data Dream, AI(Data Dream AI)
本文提出Multiplex CoT方法,通过双重思维链实现LLM自我反思,无需额外训练即可提升推理质量,并提供了Google Colab实现指南。
2025-01-20 cs.AI cs.CL
Think Before You Speak: Cultivating Communication Skills of Large Language Models via Inner Monologue
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对LLMs缺乏沟通技巧的问题,受认知科学启发,通过内心独白策略(CSIM)赋予其先思后说的能力,并构建Cskills基准进行评估,实验证明该方法优于基线。
2024-03-15 cs.AI cs.CL
BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning
Peking University(北京大学);Northwestern University(西北大学);Bytedance Inc(字节跳动公司);University of Minnesota(明尼苏达大学)
提出统一概率框架与 BRiTE 算法,通过奖励塑造强化学习生成高质量理据并联合优化基础 LLM,在数学和编程任务上无需人工思维标注即可稳定提升推理。
2025-06-06 cs.AI cs.CL cs.LG
Reverse Thinking Enhances Missing Information Detection in Large Language Models
本文提出逆向思维框架,通过引导LLM进行逆向推理来提升缺失信息检测的准确性与鲁棒性。
2025-12-11 cs.AI
Large Language Models Will Change The Way Children Think About Technology And Impact Every Interaction Paradigm
School of Computer Science, University of Birmingham(计算机科学学院,伯明翰大学)
本文探讨大型语言模型对儿童学习方式及技术交互期望的潜在显著影响,回顾其现有教育影响并指出其与未来变化相比微不足道,通过小型场景和自我民族志研究展示变化影响,提出交互系统设计师需考虑的五个重要事项。
2025-04-18 cs.AI cs.CL cs.HC
Think While Watching: Online Streaming Segment-Level Memory for Multi-Turn Video Reasoning in Multimodal Large Language Models
本文提出Think While Watching框架,通过段级内存保持多轮视频推理连续性,提升流式视频理解的准确率和效率。
2026-03-12 cs.AI cs.CL cs.CV
ThinkTwice: Jointly Optimizing Large Language Models for Reasoning and Self-Refinement
Department of Computer Science, University of Toronto(多伦多大学计算机科学系);Coolwei AI Lab(Coolwei AI实验室)
ThinkTwice通过两阶段框架联合优化LLM,提升推理和自我完善性能,基于GRPO方法,在多个数学推理基准上优于现有基线。
2026-04-06 cs.AI
Thinking Fast and Slow in Large Language Models
University of Stuttgart(斯图加特大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Stanford University(斯坦福大学)
该研究用认知反思测试和语义错觉探究大语言模型的类人直觉与认知错误,发现GPT-3易出错而ChatGPT、GPT-4超理性,验证了心理学方法可揭示LLM的未知涌现特性。
2023-08-02 cs.AI cs.CL cs.LG
Benchmarking the Thinking Mode of Multimodal Large Language Models in Clinical Tasks
Bytedance(字节跳动);Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);Mohamed bin Zayed University of Artificial Intelligence(马尔代夫人工智能大学);Stanford University(斯坦福大学);University of Michigan(密歇根大学)
本文评测了 Seed1.5-VL 和 Gemini-2.5-Flash 在临床视觉任务中激活思维模式的效果,发现其提升有限,复杂医学任务表现仍不理想,指出需领域数据和更优知识整合方法。
2025-11-05 cs.AI cs.CL cs.CV
Balanced Thinking: Improving Chain of Thought Training in Vision Language Models
IBM Research(IBM研究院)
本文提出SCALe方法,通过动态权重平衡推理和答案段,提升视觉语言模型的推理效率和准确性,且训练时间仅为传统方法的七分之一。
2026-03-19 cs.AI
From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought
MIT(麻省理工学院);Stanford(斯坦福大学)
提出理性意义构建框架,结合大语言模型与概率程序,将自然语言翻译为概率语言思维,实现语言引导的类人常识推理与世界建模。
2023-06-23 cs.AI cs.CL cs.SC
Never Stop Thinking: Continuous-Time Language Agents
Pine AI;University of Washington(华盛顿大学)
本文提出连续时间语言智能体,通过中断-恢复编排实现边听边思、边说边思,降低延迟,并引入ReactiveBench基准,证明可验证信号与在线RL优化使连续思考有益于任务完成。
2026-09-16 cs.AI
Do Multilingual LLMs Think In English?
University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
本研究通过logit lens探究多语言LLM的内部表征,发现其无论输入输出语言,关键决策与推理都在接近英语的表征空间进行,且英语计算的激活转向效果更优,揭示了多语言LLM受英语主导的内部机制。
2025-02-21 cs.AI cs.CL cs.LG
Large Language Models Align with the Human Brain during Creative Thinking
EPFL(瑞士联邦理工学院洛桑);Università della Svizzera italiana (USI)(意大利语区大学(瑞士));Wesleyan University(卫斯理大学);Paris Brain Institute (ICM)(巴黎大脑研究所);Pennsylvania State University(宾夕法尼亚州立大学)
研究探讨了在创造性思维过程中,fMRI数据揭示了大脑与不同规模LLM之间的对齐关系,发现模型大小和想法原创性影响对齐程度,且训练目标影响表示与人类创造力神经几何的匹配程度。
2026-08-11 cs.AI cs.CL q-bio.NC
Understanding Reasoning in Thinking Language Models via Steering Vectors
University of Oxford(牛津大学);University of Buenos Aires(布宜诺斯艾利斯大学)
本研究针对思维大语言模型推理过程难控制的问题,提出基于转向向量的调控方法,在DeepSeek-R1-Distill模型上验证了可通过激活空间线性方向操控多种推理行为,且跨架构效果一致。
2025-10-22 cs.AI cs.LG
Thinking with Visual Grounding
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提出视觉锚定思维方法,让视觉语言模型在推理时交替生成自然语言和视觉锚点(点或框),并通过合成数据管道和锚定感知强化学习训练,在计数和空间推理任务上显著提升性能。
2026-06-16 cs.AI
Diverse Thinking Schemata Elicit Better Reasoning in Large Language Models
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
提出多样图式策略优化(DiScO),通过增强推理步骤转换和答案候选的多样性,提升大型语言模型在数学推理任务中的表现和错误恢复能力。
2026-06-08 cs.AI
Thinking About Thinking: SAGE-nano's Inverse Reasoning for Self-Aware Language Models
SAGEA;Tribhuwan University(特里布文大学);Vedas College(维达学院);Madan Bhandari Memorial College(马达恩·班达里纪念学院);Fudan University(复旦大学);ETH Zurich(苏黎世联邦理工学院)
本文提出逆向推理范式,使 SAGE-nano 模型能够事后解释自身推理链,在提升推理准确率的同时增强可解释性,并构建了首个 LLM 自我反思与推理透明度评估框架。
2025-06-30 cs.AI cs.CL cs.LG
Who Do Language Models Think Is Competent? A Mechanistic Analysis of Occupational Bias
Boston University(波士顿大学)
本研究通过引入因果框架,揭示语言模型对用户专业知识的内部表征存在职业偏见,该偏见会受人口统计学属性影响,且仅靠行为指标无法完全检测到相关失效模式。
2026-08-24 cs.AI cs.CL cs.CY
FutureMind: Equipping Small Language Models with Strategic Thinking-Pattern Priors via Adaptive Knowledge Distillation
MiLM Plus, Xiaomi Inc.(小米公司)
FutureMind通过自适应知识蒸馏为小型语言模型配备战略思维模式先验,提升其在复杂任务中的推理与检索能力。
2026-02-01 cs.AI
When Thinking Hurts: Epistemic Signals in the Reasoning Chains of Visual Language Models
研究视觉语言模型推理链中的认知信号,通过在相同对抗样本上运行四个模型,发现不同模型的答案熵行为模式有差异,思考链熵在部分情况下优于答案熵,还发现结构化弃权及其实用弃权门可提升准确率。
2026-07-10 cs.AI cs.LG
LTA-thinker: Latent Thought-Augmented Training Framework for Large Language Models on Complex Reasoning
Northeastern University(东北大学)
LTA-Thinker通过提升潜在思维分布方差和信息效率,优化大语言模型的复杂推理性能。
2025-12-16 cs.AI
See, Think, Confirm: Interactive Prompting Between Vision and Language Models for Knowledge-based Visual Reasoning
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);UMass Amherst(马萨诸塞大学阿默斯特分校);Tsinghua University(清华大学)
大型的预先训练的视觉和语言模型在各种任务中表现出了卓越的能力。然而,解决基于知识的视觉推理任务仍然具有挑战性,这需要模型全面理解图像内容,连接外部世界知识,并执行逐步推理以正确回答问题。为此,我们提出了一个新的框架命名为交互式的视觉推理(IPVR)的Few-Shot知识为基础的视觉推理。IPVR包括三个阶段,看,想,确认。视阶段扫描图像,并根据视觉感知模型的视觉概念候选。思维阶段采用预先训练好的大语言模型(LLM)自适应地处理候选词中的关键概念。然后将它们转换为文本上下文,以视觉字幕模型进行提示,并采用LLM生成答案。确认阶段进一步使用LLM来生成对答案的支持理由,用跨模态分类器验证所生成的理由,并确保理由可以一致地推断预测输出。我们对一系列基于知识的视觉推理数据集进行了实验。我们发现我们的IPVR有几个好处,1)。其实现了比先前的少样本学习基线更好的性能; 2).它通过为每个推理步骤提供基本原理而享有整个推理过程的完全透明和可信度; 3)。与其他微调基线相比,它的计算效率更高。
2023-01-12 cs.AI cs.CL cs.CV
Liberating Logic in the Age of AI: Going Beyond Programming with Computational Thinking
William & Mary(威廉玛丽学院)
本文探讨人工智能时代计算思维的转变,强调自然语言编程对软件开发的影响及课程改革的必要性。
2025-11-21 cs.AI cs.CY
Fast Think-on-Graph: Wider, Deeper and Faster Reasoning of Large Language Model on Knowledge Graph
School of Cyberspace Security, Beijing University Of Posts And Telecommunications(北京邮电大学网络空间安全学院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对现有图检索增强生成在复杂问题上的局限,提出FastToG范式,通过社区检测和两阶段剪枝实现更宽、更深、更快的知识图谱推理,实验证明其准确性、速度和可解释性均优于先前工作。
2025-01-24 cs.AI cs.CL cs.LG
Guess What I am Thinking: A Benchmark for Inner Thought Reasoning of Role-Playing Language Agents
Fudan University(复旦大学);INF Technology (Shanghai) Co., Ltd.(INF科技(上海)有限公司)
本文提出ROlETHINK基准和MIRROR思维链方法,通过记忆检索、反应预测与动机综合生成角色内在思维,验证了内在思维推理对角色扮演语言智能体的关键作用。
2025-03-11 cs.AI
Learning When to Think While Listening in Large Audio-Language Models
University of Pennsylvania(宾夕法尼亚大学)
提出一种可学习的等待-思考-回答控制机制,通过多奖励强化学习优化大音频语言模型在流式语音交互中的推理时机,在提升准确率的同时减少响应延迟。
2026-05-26 cs.AI cs.CL cs.LG
Run, Ruminate, and Regulate: A Dual-process Thinking System for Vision-and-Language Navigation
针对现有基于大语言模型的视觉-语言导航方法空间理解不足、推理成本高的问题,提出R3双过程思维框架,融合轻量专家模型与多模态大模型,在REVERIE基准上取得了优于当前最优方法的性能。
2025-11-18 cs.AI
The Fragility of Strategic Thinking in Large Language Models
IESE(IESE商学院)
该研究开发框架拆解博弈中信念形成等环节,发现前沿LLMs的战略思维存在但具脆弱性,随复杂性提升会出现逻辑转变与启发式规则,警示其作为战略主体应用需谨慎。
2026-08-18 cs.AI cs.GT