Edinburgh Clinical NLP at MEDIQA-CORR 2024: Guiding Large Language Models with Hints
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Usher Institute, University of Edinburgh(爱丁堡大学厄舍研究所);Edinburgh Futures Institute, University of Edinburgh(爱丁堡未来研究所);School of Literatures, Languages and Cultures, University of Edinburgh(爱丁堡大学文学、语言与文化学院)
本研究通过提示策略和错误跨度预测提示,显著提升GPT-3.5和GPT-4在临床笔记中识别和纠正医疗错误的能力,最佳方案在MEDIQA-CORR 2024排行榜中排名第六。
2024-05-28 cs.AI cs.CL
Automating Intervention Discovery from Scientific Literature: A Progressive Ontology Prompting and Dual-LLM Framework
University at Buffalo(布法罗大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对科学文献中干预措施人工识别效率低易疏漏的问题,提出融合渐进式本体提示算法与双LLM智能体的自动化框架,在言语-语言病理领域语料上效果优于基线,构建了公开干预知识库。
2025-05-20 cs.AI cs.CL
Gap-Filling Prompting Enhances Code-Assisted Mathematical Reasoning
Amirkabir University of Technology(阿米尔卡比尔理工大学)
本文提出填补空白提示(GFP)两步策略,通过识别并填补问题中的信息空白来增强小型语言模型的代码辅助数学推理能力,在两个基准上显著提升性能。
2024-11-08 cs.CL
Unspoken Hints: Accuracy Without Acknowledgement in LLM Reasoning
本研究通过控制提示的正确性、风格和复杂性,系统评估了LLM思维链推理的忠实性,发现正确提示提升准确性但承认不均,谄媚与泄露风格影响依赖方式,揭示推理被捷径系统性塑造。
2025-10-14 cs.CL
Rethinking Semantic Parsing for Large Language Models: Enhancing LLM Performance with Semantic Hints
National Key Laboratory for Multimedia Information Processing, Peking University(北京大学多媒体信息处理国家重点实验室);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);Tsinghua University(清华大学)
针对语义解析结果直接加入LLM会降低性能的问题,提出SENSE提示方法,将语义提示嵌入提示中,实验证明其能持续提升LLM在多种任务上的性能。
2025-05-27 cs.CL
Towards LLM-based Fact Verification on News Claims with a Hierarchical Step-by-Step Prompting Method
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
本文研究LLM在新闻声明事实验证中的应用,提出分层逐步HiSS提示方法,通过拆分声明并多步问答验证,在两个数据集上超过全监督SOTA与少样本ICL基线。
2023-09-30 cs.CL
HintMR: Eliciting Stronger Mathematical Reasoning in Small Language Models
University at Albany(阿尔巴尼大学);University at Buffalo(布法罗大学);Stony Brook University(石溪大学)
本文提出HintMR框架,通过提示辅助引导小型语言模型进行多步数学问题解决,通过协作的双模型系统提升推理准确性,实验表明在多种数学基准上显著提升性能。
2026-04-14 cs.AI cs.CL
A Novel Multi-Stage Prompting Approach for Language Agnostic MCQ Generation using GPT
IIT Kharagpur(印度理工学院卡哈拉格普尔分校)
本文提出多阶段提示方法MSP,结合链式思维提示利用GPT模型生成语言无关的高质量多选题及干扰项,并在多语言自动与人工评估中优于单阶段基线。
2024-01-13 cs.CL
LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance
NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China(东北大学计算机科学与工程学院自然语言处理实验室);Meituan Inc.(美团公司);NiuTrans Research, Shenyang, China(牛译研所)
本文提出LANG框架,通过语言条件提示引导非英语推理任务的探索,解决了多语言环境下强化学习在输入语言一致性与推理质量之间的权衡问题,提升了推理性能而不影响语言一致性。
2026-05-21 cs.CL
CHAMP: A Competition-level Dataset for Fine-Grained Analyses of LLMs' Mathematical Reasoning Capabilities
Boston University(波士顿大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Salesforce Research(Salesforce研究院)
本文提出竞赛级数学基准CHAMP,通过概念与提示标注分析LLM能否利用辅助信息进行推理,并揭示模型常以错误步骤得出正确答案且验证能力不足。
2024-06-09 cs.AI cs.CL cs.LG
STRETCH the Boundaries: A Unified Self-Taught Framework for Progressive LLM Evolution
University of Birmingham(伯明翰大学)
提出STRETCH统一框架,通过动态伸展区机制对齐问题难度与模型能力,采用支架者与学习者双循环协同进化,在谈判和运筹学基准上超越强基线,实现渐进式推理增长。
2026-09-17 cs.CL
R$^3$ Prompting: Review, Rephrase and Resolve for Chain-of-Thought Reasoning in Large Language Models under Noisy Context
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学);Alibaba Group(阿里巴巴集团)
针对大型语言模型在噪声上下文中推理不准确的问题,提出R$^3$ prompting交互式提示方法,通过关键句提取、变量声明和答案预测三步提升推理准确率,实验证明其鲁棒性与泛化能力。
2023-10-25 cs.AI cs.CL
Auto prompting without training labels: An LLM cascade for product quality assessment in e-commerce catalogs
Amazon Catalog AI(亚马逊目录人工智能)
本研究提出一种免训练的LLM自动提示级联系统,无需训练标签即可优化电商商品质量评估提示,相比思维链提示提升8-10%的精确率和召回率,大幅降低专家工作量,且能跨语言、跨任务泛化。
2025-10-27 cs.AI cs.CL
Iterative Prompting with Persuasion Skills in Jailbreaking Large Language Models
National Central University(中央大学)
本研究提出迭代提示技术,结合说服策略逐步优化提示以越狱大语言模型,在GPT-4和ChatGLM上达到90%攻击成功率,优于PAIR和PAP,与GCG和ArtPrompt相当。
2025-03-26 cs.AI cs.CL cs.ET
Progressive Document-level Text Simplification via Large Language Models
Yangzhou University(扬州大学);Jiangnan University(江南大学)
针对大型语言模型常将文档简化误作摘要的问题,提出分层分解为篇章、主题和词汇级的 ProgDS 多阶段渐进方法,显著提升文档简化性能。
2025-01-07 cs.CL
The Imperfective Paradox in Large Language Models
LMU Munich(慕尼黑大学);The University of Tokyo(东京大学)
研究揭示大型语言模型在事件复合语义理解上的局限性,发现其依赖表面概率启发式而非逻辑推理,提出ImperfectiveNLI数据集揭示目标导向事件的预测偏差。
2026-10-23 cs.CL
Can Language Models Take A Hint? Prompting for Controllable Contextualized Commonsense Inference
Apple(苹果公司);Tufts(塔夫茨大学);Dartmouth College(达特茅斯学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Boston University(波士顿大学);MIT Media Lab(麻省理工学院媒体实验室)
本文提出“hinting”数据增强技术,通过硬提示与软提示结合的前缀提示策略引导情境化常识推理,在ParaCOMET和GLUCOSE数据集上验证其能在不降低性能的同时提升生成断言的可控性。
2024-10-03 cs.AI cs.CL
Iteratively Prompt Pre-trained Language Models for Chain of Thought
The Ohio State University(俄亥俄州立大学)
虽然预训练的语言模型(PLM)内化了大量的世界知识,但它们已被证明无法调用这些知识来解决需要复杂和多步推理的任务。类似于人类如何为这些任务开发“思维链“,我们如何为PLM配备这样的能力?在这项工作中,我们探索了一个迭代提示框架,一个新的提示模式,逐步elaises相关知识的PLM多步推理。我们确定现有的提示方法的关键限制,即它们要么被限制到查询与一个单一的可识别的关系/谓词,或不可知的输入上下文,这使得它很难捕捉跨不同的推理步骤的变化。我们提出了一个迭代的上下文感知识别器,它解决了这些限制,通过学习动态合成提示条件下的当前步骤的上下文。在三个涉及多步推理的数据集上的实验表明了该迭代方案和上下文感知推理器设计的有效性。
2022-10-23 cs.CL
Guiding Large Language Models via Directional Stimulus Prompting
University of California Santa Barbara(加州大学圣巴巴拉分校);Microsoft(微软);Microsoft Research(微软研究院)
本文提出方向性刺激提示框架,通过小型策略模型生成实例特定提示来引导黑盒LLM输出,在摘要、对话和推理任务上以极少标注数据显著提升性能。
2023-10-09 cs.CL
ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation
National University of Singapore(新加坡国立大学)
针对大型推理模型推理过程冗长低效的问题,提出ConciseHint框架,在推理生成中注入可学习提示并自适应调整强度,在保持性能的同时提升推理简洁性,且可与现有方法结合进一步提效。
2025-10-01 cs.AI cs.CL cs.CV
Tell Me Who Your Students Are: GPT Can Generate Valid Multiple-Choice Questions When Students' (Mis)Understanding Is Hinted
Tohoku University(东北大学);The University of Electro-Communications(电气通信大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);North Carolina State University(北卡罗来纳州立大学);RIKEN(日本理化学研究所)
本研究提出提示技术 AnaQuest,利用学生自由文本回答生成多项选择题,经 IRT 分析表明其生成题目(尤其干扰项)在难度和区分度上更接近人工题目。
2025-08-07 cs.CL
C2F-Thinker: Coarse-to-Fine Reasoning with Hint-Guided Reinforcement Learning for Multimodal Sentiment Analysis
School of Computer Science, South China Normal University(华南师范大学计算机科学学院);School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院)
本文提出C2F-Thinker框架,通过粗到细结构推理与提示引导强化学习,提升多模态情感分析的可解释性和泛化能力。
2026-04-12 cs.AI cs.CL
Simulating Student-Tutor Interactions with LLMs for Multilingual Math Feedback
Mohamed bin Zayed University of Artificial Intelligence(莫莫德·本·泽德人工智能大学)
本文首次通过LLM模拟多语言师生互动,在11种语言和4种先进LLM上探索352种设置,发现与学生母语一致的多语言反馈能显著提升低资源语言中的数学学习效果。
2026-10-14 cs.AI cs.CL
Ko-MuSR: A Multistep Soft Reasoning Benchmark for LLMs Capable of Understanding Korean
Seoul National University(首尔大学)
本研究提出首个面向韩语长篇叙事的多步软推理基准Ko-MuSR,经多模型评估发现多语言大模型韩语推理表现优于韩语专用模型,结合少样本等的提示策略可进一步提升准确率至接近人类水平,为韩语NLP发展提供评估基础。
2025-10-28 cs.AI cs.CL
Leveraging GPT-4 for Food Effect Summarization to Enhance Product-Specific Guidance Development via Iterative Prompting
Drexel University(德雷塞尔大学);United States Food and Drug Administration(美国食品药品监督管理局)
本研究提出一种三轮迭代提示方法,利用 GPT-4 从新药申请文件中生成食物效应摘要,实验表明其生成的摘要在事实一致性上表现优异,能显著提升特定产品指南评估的效率。
2023-06-28 cs.AI cs.CL cs.LG
Mitigating Semantic Drift: Evaluating LLMs' Efficacy in Psychotherapy through MI Dialogue Summarization
Research Institute CODE University of the Bundeswehr(CODE研究机构 陆军大学);Department of Psychology Barkatullah University(心理学系 Barkatullah大学)
本文通过MI对话摘要评估LLMs在心理治疗中的有效性,揭示其在复杂心理构念理解中的能力及缓解语义漂移的最佳实践。
2025-11-28 cs.CL cs.LG
MDToC: Metacognitive Dynamic Tree of Concepts for Boosting Mathematical Problem-Solving of Large Language Models
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校);National Economics University(国家经济大学);VNPT AI
MDToC通过构建概念树和多数投票机制,提升大语言模型在数学问题解决中的准确性与验证能力。
2025-12-29 cs.CL
Controllable Data Augmentation for Few-Shot Text Mining with Chain-of-Thought Attribute Manipulation
University of California, San Diego(加利福尼亚大学圣迭戈分校)
提出CoTAM方法,通过思维链属性操作在少样本文本挖掘中实现可控数据增强,在多项任务上优于其他LLM增强方法。
2024-05-22 cs.CL
Are you speaking my languages? On spoken language adherence in multimodal LLMs
Google DeepMind(谷歌DeepMind)
针对多模态大语言模型在自动语音识别中输出语言识别错误的问题,提出软提示方法、监督微调和思维链推理三种缓解策略,并引入新指标量化语言违背,比较各方法在减少违规和保持ASR性能上的效果。
2026-06-17 cs.CL cs.SD eess.AS
IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages
AI4Bharat, Indian Institute of Technology Madras, India(AI4Bharat,印度理工学院马德拉斯分校);Sarvam AI, India(Sarvam AI,印度)
提出IndicContextEval基准,包含8种印度语言555位说话人的56小时自然语音,通过7级提示框架评估音频大语言模型是否真正利用上下文而非依赖参数化知识。
2026-06-25 cs.CL eess.AS
NYT-Connections: A Deceptively Simple Text Classification Task that Stumps System-1 Thinkers
Universidad Autónoma de San Luis Potosí(圣路易斯波托西自治大学);Brock University(布鲁克大学)
本文提出NYT-Connections基准,通过358个单词分类谜题评估LLM推理,发现即使GPT-4也比人类低近30%,且高级提示技术收益递减,为测试系统1思维缺陷提供新工具。
2025-02-25 cs.AI cs.CL
Self-Polish: Enhance Reasoning in Large Language Models via Problem Refinement
School of Computer Science, Fudan University(复旦大学计算机科学学院);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言与语言学研究院)
提出Self-Polish方法,通过引导模型精炼问题以提升多步推理能力,与CoT等方法正交,在五个基准上取得显著一致效果。
2024-04-18 cs.AI cs.CL
HoneyBee: Progressive Instruction Finetuning of Large Language Models for Materials Science
University of Montreal(蒙特利尔大学);Mila - Quebec AI(Mila - 魁北克人工智能研究所);Intel Labs(英特尔实验室);University of Waterloo(滑铁卢大学)
提出MatSci-Instruct流程构建可信材料科学指令数据,微调LLaMa模型HoneyBee,在MatSci-NLP基准上超越现有模型,实现渐进式性能提升。
2023-10-12 cond-mat.mtrl-sci cs.AI cs.CL
When Your Own Output Becomes Your Training Data: Noise-to-Meaning Loops and a Formal RSI Trigger
本文提出N2M-RSI模型,展示AI代理通过自反馈和信息整合阈值可无限增加内部复杂性,并探讨了代理群交互的超线性效应。
2026-03-04 cs.AI cs.CL cs.LG
The Imperfective Paradox Is Not Necessarily in Large Language Models: A Benchmark Failure Before a Model Failure
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
该研究发现进行体悖论相关的基准失效,构建词汇匹配最小对并评估多步推理,揭示模型的充分性偏差等失效模式,表明部分大模型体分类性能可媲美人类标注者。
2026-11-10 cs.CL cs.LG
Large Language Models as Students Who Think Aloud: Overly Coherent, Verbose, and Confident
Carnegie Mellon University(卡内基梅隆大学);Soda Team, Inria Saclay(Soda团队,法国国家科学研究中心萨克雷分部);University of Central Florida(中央佛罗里达大学)
本文评估LLM在模拟学生思考过程中的表现,发现其推理过于连贯、啰嗦且缺乏变异性,揭示了使用生成式AI设计适应性系统时的认知局限。
2026-05-09 cs.CL cs.CY
TurnaboutLLM: A Deductive Reasoning Benchmark from Detective Games
University of Pennsylvania(宾夕法尼亚大学);Drexel University(德雷塞尔大学)
本文提出基于《逆转裁判》和《弹丸论破》的演绎推理基准TurnaboutLLM,通过让LLMs在长叙事中识别证词与证据矛盾,评估12个先进模型并揭示现有推理增强策略的局限。
2025-09-22 cs.CL
Large Language Models are Zero-Shot Reasoners
The University of Tokyo(东京大学);Google Research(谷歌研究院)
预训练的大语言模型(LLM)被广泛应用于自然语言处理(NLP)的许多子领域,并且通常被称为具有特定任务样本的优秀Few-Shot学习器。值得注意的是,思维链(CoT)提示,最近的技术,通过一步一步的答案的例子引出复杂的多步推理,实现了最先进的性能在算术和符号推理,困难的系统2的任务,不遵循标准的缩放定律的LLM。虽然这些成功通常归因于LLM的少样本学习能力,但我们通过在每个答案之前简单地添加“让我们一步一步思考”来证明LLM是体面的zero-shot推理机。实验结果表明,我们的零射击CoT,使用相同的单一提示模板,显着优于zero-shot LLM性能在不同的基准推理任务,包括算术(MultiArith,GSM 8 K,AQUA-RAT,SVAMP),符号推理(最后一封信,硬币翻转),以及其他逻辑推理任务(日期理解,跟踪洗牌对象),没有任何手工制作的Few-Shot的例子,例如,使用大型InstructGPT模型,将MultiArith的准确度从17.7%提高到78.7%,将GSM 8 K的准确度从10.4%提高到40.7%(text-davinci-002),以及另一个现成的大型模型540 B参数PaLM的类似改进幅度。这种单一提示在非常多样化的推理任务中的多功能性暗示了LLM的未开发和未充分研究的基本zero-shot能力,这表明可以通过简单的提示提取高水平的多任务广泛的认知能…
2023-01-29 cs.AI cs.CL cs.LG
Beyond Memorization: Testing LLM Reasoning on Unseen Theory of Computation Tasks
Ahmedabad University Gujarat, India(古吉拉特邦阿赫迈德亚布大学);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
本文通过构建DFA基准测试,揭示LLM在未见计算理论任务上的推理缺陷,发现其在处理复杂约束和语义一致性时存在系统性不足。
2026-01-19 cs.AI cs.CL cs.FL
Refining Answer Distributions for Improved Large Language Model Reasoning
McGill University(麦吉尔大学);Mila(米拉研究所);ILLS
本文提出精化答案分布框架,通过迭代采样对答案分布进行蒙特卡洛近似并识别众数,从而更高效地组合多个LLM响应,在多个推理基准上验证了其优越性。
2025-04-10 cs.CL
Robust Native Language Identification through Agentic Decomposition
University of Zurich(苏黎世大学)
本文针对LLM原生语言识别易依赖表面线索的问题,提出受法医语言学启发的智能体分解流程,通过专用智能体积累分类证据、协调智能体综合预测,在基准数据集上提升了NLI的鲁棒性与性能一致性。
2026-08-07 cs.CL
The Impact of Visual Information in Chinese Characters: Evaluating Large Models' Ability to Recognize and Utilize Radicals
Georgia Institute of Technology(佐治亚理工学院);Rutgers University(罗格斯大学)
本研究构建基准评估大型模型对汉字视觉元素的理解,发现模型视觉知识有限,并通过将偏旁部首纳入提示实验,证明整合次字符信息可提升中文语言处理任务表现。
2025-01-29 cs.CL
Measuring Chain of Thought Faithfulness by Unlearning Reasoning Steps
Technion - Israel Institute of Technology(技术学院-以色列理工学院);University of Utah(犹他大学)
通过反向学习推理步骤来评估推理链的参数忠实性,揭示模型推理与预测之间的关系。
2025-12-13 cs.CL
Fine-Tuning LLMs for Low-Resource Dialect Translation: The Case of Lebanese
Electrical and Computer Engineering(电子与计算机工程系);American University of Beirut(贝鲁特美国大学)
本文研究了LLMs在低资源黎巴嫩方言翻译中的有效性,通过对比微调等三种方法发现,文化真实的小规模数据优于大规模非原生数据,挑战了“数据越多越好”的范式。
2025-04-30 cs.AI cs.CL
Greener Than Humans? Environmental Attitudes in Large Language Models
University of Tübingen(图宾根大学)
通过构建基准评估31个LLM的环境认知、情感和行为建议,发现多数模型比德国调查受访者更倾向环保态度,但存在语境敏感性和谄媚偏移。
2026-06-01 cs.CL cs.CY
Confidence Estimation for LLMs in Multi-turn Interactions
University of Cambridge(剑桥大学);Fudan University(复旦大学)
本文研究了多轮对话中大语言模型置信度估计的问题,提出了一种评估框架和新指标,发现传统方法在多轮对话中表现不佳,而新方法更有效。
2026-05-13 cs.CL
"Don't Say It!": Constraints, Compliance, and Communication when Language Models Play Taboo
Center for Language and Cognition (CLCG), University of Groningen(格罗宁根大学);University of Milano - Bicocca(米兰比可卡大学)
研究语言模型在禁忌游戏中如何在严格词汇约束下生成有效描述,通过提示、生成时约束和内部表示操纵干预,评估合规性与沟通效果,发现模型在约束下表现弱于人类。
2026-07-02 cs.CL
Less Is More: Engineering Challenges of On-Device Small Language Model Integration in a Mobile Application
Independent Researcher(独立研究者)
本文研究了在移动应用中集成设备端小型语言模型(SLMs)的工程挑战,通过案例研究发现,尽管SLMs能提供离线隐私AI体验,但实际应用中需接受'LLM做最少'的约束,提出八条设计指导原则。
2026-04-27 cs.AI cs.CL cs.SE
Draft-Thinking: Learning Efficient Reasoning in Long Chain-of-Thought LLMs
Zhejiang University(浙江大学);Tencent(腾讯)
Draft-Thinking通过草稿式推理结构和渐进式课程学习,在长链式推理LLM中实现高效推理,显著降低推理预算并保持性能
2026-10-15 cs.AI cs.CL
Box Maze: A Process-Control Architecture for Reliable LLM Reasoning
Independent Researcher(独立研究者)
本文提出Box Maze框架,通过内存 grounding、结构化推理和边界约束三层结构提升LLM推理可靠性,实验显示其在对抗性场景中显著降低边界失效率。
2026-03-19 cs.AI cs.CL
Efficient Post-Training Refinement of Latent Reasoning in Large Language Models
针对大语言模型潜在推理训练后更新难题,提出含对比推理反馈与残差嵌入优化的轻量级框架,优化潜在推理轨迹,在5个推理基准验证有效性,MathQA准确率无额外训练提升5%。
2025-11-14 cs.AI cs.CL
Answering Ambiguous Questions via Iterative Prompting
Shandong University(山东大学);University of Amsterdam(阿姆斯特丹大学)
本文提出AmbigPrompt框架,通过迭代集成提示模型与回答模型来生成多样且相关的答案,并结合任务特定后预训练,在歧义开放域问答中实现领先性能、更低内存占用和推理延迟。
2023-07-08 cs.CL
Knowledge Graph Prompting for Multi-Document Question Answering
Vanderbilt University(范德堡大学);Adobe Research(Adobe研究院)
提出知识图谱提示方法,通过构建文档间知识图谱并设计LLM遍历代理,为多文档问答提供结构化上下文,提升检索质量与效率。
2023-12-25 cs.AI cs.CL cs.IR
GUIDEQ: Framework for Guided Questioning for progressive informational collection and classification
Indian Institute of Technology Bombay(印度理工学院孟买分校)
GUIDEQ提出一种利用分类器解释性和LLM的引导提问框架,通过遮挡法提取关键词并基于前3标签输出提问,以收集额外信息提升文本分类的F1分数。
2024-11-08 cs.CL