Break the Chain: Large Language Models Can be Shortcut Reasoners
Gaode Map, Alibaba Group(阿里巴巴集团高德地图);Zhejiang University(浙江大学);Westlake University(西湖大学)
本文提出“打破链条”策略,将类人启发式与捷径引入大语言模型推理,并构建ShortcutQA数据集,以降低推理消耗并提升推理效率。
2024-06-04 cs.AI cs.CL
RankPrompt: Step-by-Step Comparisons Make Language Models Better Reasoners
Alibaba(阿里巴巴)
RankPrompt是一种无需额外资源即可让LLMs自排序响应的新提示方法,通过将排序分解为逐步比较,显著提升了ChatGPT和GPT-4在多个推理任务上的性能,并在自动评估中与人类判断高度一致。
2024-03-22 cs.CL
Mitigating Forgetting Between Supervised and Reinforcement Learning Yields Stronger Reasoners
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(Adobe研究);Rutgers University(罗格斯大学)
本研究针对大语言模型推理后训练中SFT与RL结合的效率低、易遗忘等问题,提出即插即用框架,通过筛选难例、高熵token损失计算和冻结关键参数,用极少数据实现了最优推理性能。
2025-10-06 cs.CL
Language Models are Multilingual Chain-of-Thought Reasoners
Google Research(谷歌研究院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Stanford University(斯坦福大学);Dartmouth College(达特茅斯学院)
我们评估的推理能力的大语言模型在多语种设置。我们引入了多语言小学数学(MGSM)基准,通过手动翻译GSM8K数据集的250个小学数学问题(Cobbe等人,2021年)分为10个不同类型的语言。我们发现,通过思维链提示解决MGSM问题的能力随着模型规模的增加而出现,并且模型具有非常强大的多语言推理能力,即使在孟加拉语和斯瓦希里语等代表性不足的语言中也是如此。最后,我们表明,多语言推理能力的语言模型扩展到其他任务,如常识推理和词的上下文语义判断。MGSM基准可在https://github.com/google-research/url-nlp上公开获得。
2022-10-06 cs.AI cs.CL cs.LG
STaR-SQL: Self-Taught Reasoner for Text-to-SQL
Zhejiang University(浙江大学);OPPO Research Institute(OPPO研究院)
提出 STaR-SQL,通过推理依据微调与 ORM 验证增强 text-to-SQL,在 Spider 上以 86.6% 执行准确率显著超越多种基线。
2025-02-19 cs.CL
Large Language Models are Better Reasoners with Self-Verification
The Laboratory of Cognition and Decision Intelligence for Complex Systems, IA, CAS(中国科学院自动化研究所复杂系统认知与决策智能实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);College of Electrical and Information Engineering, Hunan University(湖南大学电气与信息工程学院);Unisound(云知声);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对大型语言模型在思维链推理中易受误差累积影响的问题,提出自我验证方法,通过反向验证模型推导的答案并计算验证分数来选择最优候选,有效提升了多类推理任务的性能。
2023-10-19 cs.AI cs.CL
Hypergraph Enterprise Agentic Reasoner over Heterogeneous Business Systems
SUPCON
本文提出HEAR,一种基于分层超图本体的企业代理推理器,通过分层图层和超边层实现结构化多跳分析,无需重新训练LLM,在供应链任务中达到94.7%的准确率,并展示出适应性和效率。
2026-09-09 cs.AI cs.CL
V-STaR: Training Verifiers for Self-Taught Reasoners
Mila, Université de Montréal(米拉-蒙特利尔大学);Microsoft Research(微软研究院);University of Edinburgh(爱丁堡大学);Google Deepmind(谷歌DeepMind)
针对现有大语言模型自我改进方法丢弃错误解、浪费信息的问题,提出V-STaR方法,用自改进中的正误解通过DPO训练验证器以在推理时选优解,多轮迭代后在相关基准上准确率提升4%至17%。
2024-08-14 cs.AI cs.CL cs.LG
Mentor-KD: Making Small Language Models Better Multi-step Reasoners
Korea University(高丽大学)
提出Mentor-KD框架,利用中间规模的导师模型增强CoT标注并提供软标签,有效解决LLM教师模型蒸馏集不足问题,将多步推理能力蒸馏至小型语言模型。
2024-10-11 cs.AI cs.CL
Large Language Models are Zero-Shot Reasoners
The University of Tokyo(东京大学);Google Research(谷歌研究院)
预训练的大语言模型(LLM)被广泛应用于自然语言处理(NLP)的许多子领域,并且通常被称为具有特定任务样本的优秀Few-Shot学习器。值得注意的是,思维链(CoT)提示,最近的技术,通过一步一步的答案的例子引出复杂的多步推理,实现了最先进的性能在算术和符号推理,困难的系统2的任务,不遵循标准的缩放定律的LLM。虽然这些成功通常归因于LLM的少样本学习能力,但我们通过在每个答案之前简单地添加“让我们一步一步思考”来证明LLM是体面的zero-shot推理机。实验结果表明,我们的零射击CoT,使用相同的单一提示模板,显着优于zero-shot LLM性能在不同的基准推理任务,包括算术(MultiArith,GSM 8 K,AQUA-RAT,SVAMP),符号推理(最后一封信,硬币翻转),以及其他逻辑推理任务(日期理解,跟踪洗牌对象),没有任何手工制作的Few-Shot的例子,例如,使用大型InstructGPT模型,将MultiArith的准确度从17.7%提高到78.7%,将GSM 8 K的准确度从10.4%提高到40.7%(text-davinci-002),以及另一个现成的大型模型540 B参数PaLM的类似改进幅度。这种单一提示在非常多样化的推理任务中的多功能性暗示了LLM的未开发和未充分研究的基本zero-shot能力,这表明可以通过简单的提示提取高水平的多任务广泛的认知能…
2023-01-29 cs.AI cs.CL cs.LG
Large Language and Reasoning Models are Shallow Disjunctive Reasoners
Cardiff University(卡迪夫大学)
本文通过定性时空推理任务研究大型推理模型的分布外泛化能力,发现零样本LRMs仅在单路径推理中优于LLMs,在多路径设置下均表现不佳,并揭示其本质是浅层析取推理器。
2025-06-02 cs.AI cs.CL cs.LG
Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管大型预训练语言模型(LM)具有令人印象深刻的能力,但它们难以进行一致的推理;最近,促使LM生成自我指导推理的解释已经成为一个有希望的方向。然而,这些方法从根本上受到解释正确性的限制,而解释本身往往是嘈杂和不一致的。在这项工作中,我们开发了Maiphonestritting,它推断出一个问题的正确答案,即使从嘈杂和不一致的几代LM。Maillenkirting诱导溯因解释树(例如X是真的,因为.)递归地,然后将推理框架为这些解释及其逻辑关系的可满足性问题。我们在三个具有挑战性的基准测试上测试了Maillenetrating的真/假QA,这些基准测试需要复杂的常识推理。与最先进的提示方法相比,MaiPhonesting的准确率高出20%,并且作为一种完全无监督的方法,与监督模型相比具有竞争力。我们还表明,Maillenkirting提高了推理的鲁棒性,同时提供了可解释的理由。
2022-10-24 cs.CL
CoTEVer: Chain of Thought Prompting Annotation Toolkit for Explanation Verification
KAIST AI(韩国科学技术院人工智能学院);Yonsei University(延世大学)
思想链(CoT)提示使大语言模型(LLM)能够通过在最终预测之前生成解释来解决复杂的推理任务。尽管CoT提示的能力很有前途,但它的一个关键缺点是其性能受到所生成解释的真实性的极大影响。为了提高解释的正确性,需要用解释数据微调语言模型。然而,只有少数数据集可用于这种方法,而且没有建立这种方法的数据汇集工具。因此,我们引入CoTEVer,一个工具包,用于注释生成的解释的事实正确性和收集错误解释的修订数据。此外,我们提出了几个用例,其中使用CoTEVer收集的数据可以用于提高解释的可信度。我们的工具包可在https://github.com/SeungoneKim/CoTEVer上公开获取。
2023-03-07 cs.CL cs.LG
Large Language Models Are Self-Taught Reasoners: Enhancing LLM Applications via Tailored Problem-Solving Demonstrations
Yonsei University(延世大学)
本文提出SELF-TAUGHT框架,通过零样本方式自动生成定制且过滤的高质量示例,在多项选择和阿尔茨海默病诊断等任务上优于强基线。
2024-08-22 cs.AI cs.CL
DOP: Diagnostic-Oriented Prompting for Large Language Models in Mathematical Correction
East China Normal University(华东师范大学)
针对数学应用题纠错任务,本文区分数学推理与纠错能力,并提出诊断导向提示DOP,以提升大语言模型识别和纠正解题错误的能力。
2024-05-20 cs.CL
REFINER: Reasoning Feedback on Intermediate Representations
EPFL(洛桑联邦理工学院);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(格勒诺布尔计算机科学实验室)
REFINER通过评论模型提供结构化反馈,迭代改进语言模型生成的中间推理步骤,在三个推理任务上显著优于基线,且无需微调推理器即可提升GPT-3.5/ChatGPT的推理性能。
2024-02-04 cs.CL
Are Large Language Models Really Good Logical Reasoners? A Comprehensive Evaluation and Beyond
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);Shaanxi Provincial Key Laboratory of Big Data Knowledge Engineering(陕西省大数据知识工程重点实验室);National Engineering Lab for Big Data Analytics(国家大数据分析工程实验室);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
本文针对大语言模型的逻辑推理能力开展全面评估,划分四类推理场景、选取7款代表性模型,提出主客观细粒度评估指标与错误分类,构建中立数据集,最终形成六维通用评估方案,为后续研究提供方向指引。
2024-09-15 cs.AI cs.CL
Multi-Stage Prompting for Knowledgeable Dialogue Generation
NVIDIA(英伟达)
现有的基于知识的对话系统通常使用预先训练的语言模型(LM)和大规模知识库的微调版本。这些模型通常无法概括知识库之外的主题,并且每次需要微调时都需要维护单独的潜在大型检查点。在本文中,我们的目标是通过利用存储在预训练LM中的固有知识及其强大的生成能力来解决这些限制。我们提出了一个多阶段的提示方法,从一个单一的预训练LM产生知识渊博的反应。我们首先提示LM根据对话上下文生成知识。然后,我们进一步提示它根据对话上下文和先前生成的知识生成响应。结果表明,我们的知识生成器优于国家的最先进的检索为基础的模型的5.8%,结合知识的相关性和正确性。此外,我们的多阶段提示在响应知识性和参与度方面分别优于基于微调的对话模型,分别高达10%和5%。此外,我们将模型扩展到5300亿个参数,并表明较大的LM将生成正确性分数提高了10%,响应相关性,知识性和参与度提高了10%。我们的代码可在https://github.com/NVIDIA/Megatron-LM上获取。
2022-03-16 cs.AI cs.CL
SLPO: Scaling Latent Reasoning via a Surrogate Policy
The Hong Kong Polytechnic University(香港理工大学);Sichuan University(四川大学)
研究如何让潜在推理器实现测试时扩展,引入代理潜在策略优化(SLPO),通过经验代理策略密度和正确性监督停止头,将结果奖励强化学习引入自回归潜在推理器,在连续和软思维设置中提升了性能。
2026-10-06 cs.AI cs.CL cs.LG
Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning
ByteDance Research(字节跳动研究院);Singapore University of Technology and Design(新加坡科技设计大学)
针对数学应用题求解中提示泛化难、训练数据缺CoT标注的问题,提出动态程序提示与程序蒸馏两种利用训练数据的少样本方法,在三个标准数据集上显著优于基线,提升了提示泛化性与小模型性能。
2023-06-09 cs.CL
Terminology-Aware Translation with Constrained Decoding and Large Language Model Prompting
University of Edinburgh(爱丁堡大学)
针对机器翻译的术语正确性问题,提出结合伪术语标注训练术语感知模型、搭配约束解码重译或LLM提示优化的先翻译后优化方案,在WMT2023术语任务中有效提升术语召回率。
2023-10-09 cs.CL
The Imperfective Paradox in Large Language Models
LMU Munich(慕尼黑大学);The University of Tokyo(东京大学)
研究揭示大型语言模型在事件复合语义理解上的局限性,发现其依赖表面概率启发式而非逻辑推理,提出ImperfectiveNLI数据集揭示目标导向事件的预测偏差。
2026-10-23 cs.CL
LLM Microscope: What Model Internals Reveal About Answer Correctness and Context Utilization
Carnege Mellon University(卡内基梅隆大学)
本研究提出LLM Microscope方法,利用大语言模型内部激活值预测输出正确性并评估上下文效用,实验验证其准确率约75%且优于提示基线,为理解LLM决策过程提供新视角。
2025-10-05 cs.CL
Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning
Renmin University of China(中国人民大学);BAAI(北京人工智能研究院);Kuaishou Technology(快手科技)
本文提出Tool-Star,一种基于强化学习的框架,通过两阶段训练和分层奖励设计,赋能大语言模型在多工具协作推理中自主调用工具,并在多个推理基准上验证了其有效性和效率。
2025-05-22 cs.AI cs.CL cs.LG
Can Small Language Models be Good Reasoners for Sequential Recommendation?
Beijing University of Posts and Telecommunications(北京邮电大学);Ant Group(蚂蚁集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beihang University(北京航空航天大学)
本文提出逐步知识蒸馏框架SLIM,利用大模型CoT推理蒸馏小模型,使小模型以低成本获得序列推荐中的逐步推理能力。
2024-03-28 cs.CL cs.IR cs.LG
Chain of Logic: Rule-Based Reasoning with Large Language Models
Northwestern University(西北大学);Adobe Research(奥多比研究院);Pattern Data(帕特恩数据公司)
本文提出 Chain of Logic 提示方法,通过分解与重组策略引导大语言模型进行组合规则推理,在 LegalBench 的八项任务上优于思维链和 Self-Ask 等方法。
2024-02-23 cs.CL
ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系)
本文提出CoTGenius框架自动生成高质量思维链提示,并构建数据集微调Llama 2-Chat模型得到ChainLM,同时提出步级辩论方法解决推理累积误差,显著提升了模型复杂推理能力。
2024-03-21 cs.CL
Chain-of-Though (CoT) prompting strategies for medical error detection and correction
University of Hong Kong(香港大学);University College London(伦敦大学学院)
本文提出结合思维链与理由提示的少样本上下文学习方法,并采用规则集成策略,在 MEDIQA-CORR 2024 医疗错误检测与纠正任务中取得靠前排名。
2024-06-13 cs.CL
See, Think, Confirm: Interactive Prompting Between Vision and Language Models for Knowledge-based Visual Reasoning
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);UMass Amherst(马萨诸塞大学阿默斯特分校);Tsinghua University(清华大学)
大型的预先训练的视觉和语言模型在各种任务中表现出了卓越的能力。然而,解决基于知识的视觉推理任务仍然具有挑战性,这需要模型全面理解图像内容,连接外部世界知识,并执行逐步推理以正确回答问题。为此,我们提出了一个新的框架命名为交互式的视觉推理(IPVR)的Few-Shot知识为基础的视觉推理。IPVR包括三个阶段,看,想,确认。视阶段扫描图像,并根据视觉感知模型的视觉概念候选。思维阶段采用预先训练好的大语言模型(LLM)自适应地处理候选词中的关键概念。然后将它们转换为文本上下文,以视觉字幕模型进行提示,并采用LLM生成答案。确认阶段进一步使用LLM来生成对答案的支持理由,用跨模态分类器验证所生成的理由,并确保理由可以一致地推断预测输出。我们对一系列基于知识的视觉推理数据集进行了实验。我们发现我们的IPVR有几个好处,1)。其实现了比先前的少样本学习基线更好的性能; 2).它通过为每个推理步骤提供基本原理而享有整个推理过程的完全透明和可信度; 3)。与其他微调基线相比,它的计算效率更高。
2023-01-12 cs.AI cs.CL cs.CV
Prompt-R1: Collaborative Automatic Prompting Framework via End-to-end Reinforcement Learning
Hainan University(海南大学);Nanyang Technological University(南洋理工大学);Hithink Research(慧思研究);HKUST (Guangzhou)(香港科技大学(广州));IDEA Research(IDEA研究院);Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);Nanjing University of Science and Technology(南京理工大学)
本文提出Prompt-R1框架,通过小规模LLM与大规模LLM协作,利用强化学习提升复杂问题解决能力,实验表明其在多个数据集上表现优异。
2026-04-16 cs.CL
Large Language Models are Diverse Role-Players for Summarization Evaluation
Microsoft(微软)
本文提出基于大语言模型的摘要评估框架,通过角色扮演者提示机制从客观和主观维度比较生成文本与参考文本,并结合上下文动态画像与多角色批量提示,在三个数据集上取得与人类标注高度一致的结果。
2023-09-19 cs.CL
Can Large Language Models Self-Correct in Medical Question Answering? An Exploratory Study
Department of Electrical and Computer Engineering, University of Minnesota(明尼苏达大学电气与计算机工程系);Division of Computational Health Sciences, Department of Surgery, University of Minnesota(明尼苏达大学外科学系计算健康科学部);Department of Software Engineering, University of St. Thomas(圣托马斯大学软件工程系)
本文探讨大语言模型在医疗问答中的自我反思能力,通过比较标准Co-T提示与迭代自我反思循环,发现自我反思并不总能提升准确性,且效果依赖于数据集和模型。
2026-04-02 cs.CL
SpecMind: Cognitively Inspired, Interactive Multi-Turn Framework for Postcondition Inference
The University of Texas at Dallas(德克萨斯大学达拉斯分校);FPT Software AI Center(FPT软件AI中心);VinUniversity(文大学);Nanyang Technological University(南洋理工大学)
SpecMind通过多轮交互式提示方法提升后置条件生成的准确性和完整性,利用反馈驱动模型迭代优化,增强代码理解和程序行为对齐。
2026-06-28 cs.CL cs.SE
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本研究提出无需微调大语言模型的UPTURN框架,通过在学习位置注入新用户轮次指令重定向推理,在多推理器与数学基准上提升准确率,可跨模型迁移并与其他方法互补。
2026-11-16 cs.AI cs.CL
Layered Chain-of-Thought Prompting for Multi-Agent LLM Systems: A Comprehensive Approach to Explainable Large Language Models
News Corporation(新闻集团)
本文提出分层思维链提示框架,将大语言模型推理过程分层并引入外部检查与用户反馈,在医疗分诊、金融风险评估和敏捷工程等场景中提升多智能体系统的透明度、正确性与用户参与度。
2025-02-03 cs.AI cs.CL cs.MA
Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework
Nanyang Technological University(南洋理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Salesforce AI(赛富时人工智能研究院)
针对大语言模型思维链提示在知识密集型任务中事实性不足的问题,提出Verify-and-Edit知识增强框架,通过外部知识后编辑推理链,基于GPT-3实现了多个开放域问答任务的准确率提升。
2023-05-05 cs.CL
A Chain-of-Thought Is as Strong as Its Weakest Link: A Benchmark for Verifiers of Reasoning Chains
Bar Ilan University(巴伊兰大学);Google DeepMind(谷歌DeepMind);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
针对缺乏细粒度步骤级数据集评估推理验证方法的问题,研究提出REVEAL基准数据集,用于开放域问答下思维链推理验证器测试,标注涵盖步骤相关性、证据归因与逻辑正确性,实验发现验证器在逻辑正确性验证和矛盾检测上表现不佳。
2024-05-21 cs.CL
MIRAGE: Multi-Perspective Creative Language Model Reasoning with Reinforcement Learning Guidance
National University of Singapore(新加坡国立大学)
MIRAGE提出一种推理时多视角创意推理框架,通过选择器与推理器结合,在多个基准上以低开销提升LLM复杂任务准确率。
2026-09-21 cs.CL
Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension
Rutgers University(罗格斯大学)
本文提出 K-(CSA)^2 框架,从正确性和置信度两个维度将大语言模型知识分为六类,并揭示思维链与 RLHF 对内部和外部知识结构的改变以及知识在不同网络层中的分布规律。
2025-01-02 cs.CL
When Many-Shot Prompting Fails: An Empirical Study of LLM Code Translation
Yildiz Technical University, Department of Computer Engineering(Yildiz技术大学计算机工程系)
本研究发现代码翻译中少量精心挑选的示例比大量示例更有效,挑战了ICL中'更多更好'的普遍假设。
2025-12-09 cs.AI cs.CL cs.PL
Meta Prompting for AI Systems
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
通过元提示框架提升大语言模型的推理能力,实现高效的问题解决与自我优化。
2026-08-03 cs.AI cs.CL
InfluMatch: Frontier-Quality KOL Search at 4B-Model Cost
研究如何将关键意见领袖与泰国营销标准匹配,提出低成本三阶段级联InfluMatch,由小型开放权重模型构建,能以低得多的成本达到前沿模型效果,是可部署、可解释的KOL搜索系统。
2026-07-08 cs.AI cs.CL cs.IR
MIRAGE: Evaluating and Explaining Inductive Reasoning Process in Language Models
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出合成数据集MIRAGE,全面评估并解释LLMs的归纳推理过程,发现模型是糟糕的基于规则的推理者,但擅长基于邻居的推理,能利用相似示例提升演绎性能。
2025-02-28 cs.AI cs.CL
Customer-R1: Personalized Simulation of Human Behaviors via RL-based LLM Agent in Online Shopping
Northeastern University(东北大学);Michigan State University(密歇根州立大学);Amazon(亚马逊)
本文提出Customer-R1,通过以显式用户画像为条件的强化学习与动作正确性奖励,提升在线购物场景中LLM智能体对个性化逐步用户行为的模拟保真度。
2025-10-18 cs.CL
Towards Logically Sound Natural Language Reasoning with Logic-Enhanced Language Model Agents
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
针对LLMs在开放式任务中易出现逻辑错误的问题,提出逻辑增强框架LELMA,通过自动形式化将自然语言推理转化为逻辑表示以验证和优化推理,实验表明该框架有效提升了错误检测准确率与推理正确性。
2025-05-29 cs.AI cs.CL cs.GT
Prompt-Based Clarity Evaluation and Topic Detection in Political Question Answering
Research Spark Hub Inc.;Emerald High School
本文研究了基于提示的清晰度评估与政治问答主题检测,发现思维链提示显著提升清晰度和主题识别准确性,但细粒度逃避检测仍具挑战性。
2026-01-13 cs.AI cs.CL
Towards Better Understanding of Program-of-Thought Reasoning in Cross-Lingual and Multilingual Environments
School of Information Science and Technology, VISTEC(信息科学与技术学院,VISTEC);KAIST(韩国科学技术院);Cohere;SCB 10X;AI Singapore(AI新加坡);Department of Computer Engineering, Chulalongkorn University(朱拉隆梭大学计算机工程系)
通过分离推理与代码执行,提出评估程序思维提示的框架,发现微调显著提升多语言推理能力,且推理质量与答案准确性强相关。
2025-05-22 cs.CL
Less Back-and-Forth: A Comparative Study of Structured Prompting
Washington University in St. Louis(华盛顿大学圣路易斯分校)
本文研究了结构化提示设计是否能提高LLM响应质量并减少用户努力,通过比较三种提示条件,发现检查清单提示在任务完成、正确性、合规性和清晰度方面得分最高,且在质量和努力的平衡上表现最佳。
2026-10-06 cs.AI cs.CL cs.HC
Latent Recurrent Thoughts: Recurrent Refinement of Proposed Latents for Reasoning with Frozen LLMs
Emory University(埃默里大学);IQuest Research(艾奎斯特研究院)
该研究提出 LRT 方法,通过冻结 LLM 结合循环优化的潜在表示进行推理,在多个推理任务上优于同类冻结解码器方法及思维链提示,且推理计算量更低。
2026-09-02 cs.AI cs.CL
Two-Pronged Human Evaluation of ChatGPT Self-Correction in Radiology Report Simplification
Temple University(天普大学);Temple University Hospital(天普大学医院)
本文研究ChatGPT在放射学报告简化中的应用,提出结合放射科医生事实核验与非专业人员可读性评估的双轨评估协议,并验证自我校正提示能有效提升简化质量。
2024-06-27 cs.AI cs.CL
SatLM: Satisfiability-Aided Language Models Using Declarative Prompting
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出SatLM方法,利用LLM生成声明式规范并借助自动定理证明器求解,在8个数据集上超越程序辅助模型,GSM子集提升23%,LSAT和BoardgameQA取得新最优。
2023-10-11 cs.AI cs.CL
Self-Convinced Prompting: Few-Shot Question Answering with Repeated Introspection
Shenzhen University(深圳大学);The Hong Kong Polytechnic University(香港理工大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出自我确信提示框架,通过标准思维链、说服者和回答者三组件迭代内省,在7个数据集上显著提升少样本问答性能。
2023-10-10 cs.AI cs.CL
RVISA: Reasoning and Verification for Implicit Sentiment Analysis
Hong Kong Polytechnic University(香港理工大学);University of Technology Sydney(悉尼科技大学);Lingnan University(岭南大学);Education University of Hong Kong(香港教育大学)
针对隐式情感缺乏显著提示词的问题,提出 RVISA 两阶段框架,结合 DO LLM 生成三跳推理理据、微调 ED LLM 并加入验证机制,在两个基准上达到 SOTA。
2024-07-02 cs.AI cs.CL
Toward Secure Code Generation: Bridging Correctness and Security via Task-Adaptive Vulnerability Modeling and Execution-Based Benchmarking
South China University of Technology(华南理工大学);University of Innsbruck(因斯布鲁克大学)
本文提出CodeSecEval基准和SecAwareCoder框架,通过任务自适应威胁建模与执行反馈,提升LLM代码生成的安全性与正确性,实验验证其有效性。
2026-09-15 cs.CL cs.SE