Purging the Gray Zone: Latent-Geometric Denoising for Precise Knowledge Boundary Awareness
Computational Linguistics and Consciousness Sciences Lab(计算语言学与意识科学实验室)
本文提出GeoDe框架,通过几何去噪方法减少模型在决策边界附近的模糊性,提升模型的准确性和泛化能力。
2026-04-15 cs.CL
Effective Skill Unlearning through Intervention and Abstention
本文提出两种轻量级免训练的LLM技能遗忘方法Neuron Adjust和Key Space Detection,通过干预与弃权机制在保留模型整体能力的同时实现特定技能的精准遗忘。
2025-03-29 cs.CL cs.LG
Knowing When Not to Answer: Abstention-Aware Scientific Reasoning
Texas A&M University(德克萨斯农工大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文提出一种具有退避意识的科学推理框架,通过分解科学主张并利用自然语言推理评估证据,以减少错误风险,强调退避在科学验证中的重要性。
2026-02-15 cs.AI cs.CL
KARL: Mitigating Hallucinations in LLMs via Knowledge-Boundary-Aware Reinforcement Learning
Tsinghua University(清华大学)
KARL通过知识边界感知强化学习框架,动态调整大语言模型的回避行为,有效抑制幻觉并保持高精度。
2026-04-03 cs.AI cs.CL cs.LG
The Missing "I Don't Know": Why Three Reasoning-Reliability Findings Converge on Calibrated Abstention
Amazon.com LLC(亚马逊公司)
三项独立研究发现大语言模型可靠性问题均指向缺失的校准弃权(不执行)能力,提出通过三重评分、弃权率报告等评估改革来弥合理论差距。
2026-09-17 cs.AI cs.CL cs.LG
CausalAbstain: Enhancing Multilingual LLMs with Causal Reasoning for Trustworthy Abstention
Department of Computer Science, Hong Kong Baptist University(香港 Baptist 大学计算机科学系);School of Mathematics and Statistics, The University of Melbourne(墨尔本大学数学与统计学学院);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文提出CausalAbstain方法,从因果视角帮助多语言大语言模型选择有用反馈并改进弃权决策,在百科与常识问答基准上优于现有基线。
2025-06-03 cs.AI cs.CL
GRACE: Reinforcement Learning for Grounded Response and Abstention under Contextual Evidence
School of Data Science and Engineering, East China Normal University(数据科学与工程学院,东华大学);Shanghai AI Laboratory(上海人工智能实验室)
GRACE通过强化学习框架整合证据基础和可靠回避,解决检索增强生成中的准确性和回避性问题,实现高准确率与低标注成本的平衡。
2026-01-08 cs.CL
TIAR: Trajectory-Informed Advantage Reweighting for LLM Abstention Learning
Department of Computer Science, The Pennsylvania State University(宾夕法尼亚州立大学计算机科学系)
本文提出TIAR方法,利用GRPO中的多条轨迹作为自然弃权信号,动态重加权弃权奖励,在六个评估类别中的五个上取得最优弃权F1分数,同时保持基线准确率。
2026-05-25 cs.AI cs.CL cs.LG
Knowing When to Abstain: Medical LLMs Under Clinical Uncertainty
Manning College of Information and Computer Sciences, UMass Amherst, MA, USA(马萨诸塞大学阿姆赫斯特曼宁信息与计算机科学学院);Center for Healthcare Organization and Implementation Research, VA Bedford Health Care(医疗组织与实施研究中心);Miner School of Computer and Information Sciences, UMass Lowell, MA, USA(米纳尔计算机与信息科学学院)
本文提出MedAbstain基准,探讨医疗LLM在临床不确定性中的退避能力,发现显式退避选项能显著提升安全性,而模型规模和提示方法效果有限。
2026-01-22 cs.AI cs.CL
Sieve and Sage: Efficient Distraction Filtering for Reliable RALM Abstention
Seoul National University(首尔大学)
该研究提出Sieve和Sage框架,通过分解检索失败为不可回答和分心状态,用轻量模块筛选干扰证据,再调用LLM生成与弃权,显著提升准确率、F1并加速。
2026-09-30 cs.CL cs.LG
Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
提出一种轻量级、无参数的提示技术Second Guess,通过添加“我不知道”选项并观察答案稳定性,在多项选择问答中实现弃权,有效检测小型语言模型的不确定性。
2026-05-25 cs.AI cs.CL
Twin Worlds: Equivariance-Based Abstention for Evidence-Grounded Reasoning
RMIT University(皇家墨尔本理工大学);Jilin University(吉林大学);Nanyang Technological University(南洋理工大学)
本研究提出双世界框架,通过等变性弃权提升大语言模型知识密集型推理的可靠性,在四个基准和三个模型主干上优于基线方法,可识别答案未可靠基于证据的情况。
2026-08-31 cs.AI cs.CL cs.LG
Rewarding Intellectual Humility Learning When Not To Answer In Large Language Models
University of Southern California(南加州大学);Los Angeles, United States of America(美国洛杉矶)
本文提出通过可验证奖励强化学习促进大型语言模型的智力谦逊,通过调整回避奖励机制减少错误响应,提升模型可靠性。
2026-01-27 cs.AI cs.CL cs.LG
Know2Guess: A Contamination-Aware Multi-Zone Benchmark for Knowledge-Boundary Evaluation in Large Language Models
Anhui University(安徽大学)
提出一种污染感知多区域基准,通过冻结构建时标签测量从可回答知识到应弃权未知的转变,评估模型在回答与弃权间的可靠性。
2026-08-24 cs.AI cs.CL
Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know"
Arizona State University(亚利桑那州立大学);University of Pennsylvania(宾夕法尼亚大学);Oracle AI
研究大语言模型在闭卷问答中识别知识局限的问题,评估三种提示方式在不同模型规模和多跳问答基准下的影响,利用提示方式间的分歧信号实现无训练弃权策略,提升模型可靠性。
2026-07-07 cs.CL
Harnessing RLHF for Robust Unanswerability Recognition and Trustworthy Response Generation in LLMs
Sichuan University of Science and Engineering(四川理工学院);Zagazig University(扎加齐亚大学)
针对 CIR 中不可回答问题易引发幻觉的问题,本文提出 SALU,通过多任务学习与置信度引导的 RLHF 将检测和弃权(不执行)融入 LLM 生成过程,并在 C-IR_Answerability 上验证其准确率与可信度。
2025-07-22 cs.CL
Sacred or Synthetic? Evaluating LLM Reliability and Abstention for Religious Questions
本文提出了专注于伊斯兰教裁决的新基准 FiqhQA,评估大语言模型在阿拉伯语和英语下的准确性与弃权(不执行)能力,发现 GPT-4o 准确度最高,而 Gemini 和 Fanar 弃权表现更优。
2025-08-04 cs.AI cs.CL cs.CY
Compression-Aware Abstention: Teaching LLMs to Refuse When KV-Compression Masks Remove Answer Evidence
University of Southern California(南加州大学)
该研究首次将感知压缩的弃权表述为学习问题,通过训练LoRA适配器,在减少LLM因KV缓存压缩产生的幻觉的同时保留正确回答能力,在压缩缓存解码下取得显著提升。
2026-09-01 cs.CL cs.LG
Teaching LLMs to Abstain across Languages via Multilingual Feedback
University of Washington(华盛顿大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Research(微软研究院)
针对 LLM 跨语言知识差异导致弃权性能不均的问题,本文提出多语言反馈与自我反思方法,在三类 QA 数据集和多个模型上显著提升低资源语言弃权表现。
2025-02-14 cs.CL
KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification and Reasoning Abilities of Language Models
Huawei Poisson Laboratory(华为泊松实验室);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Hong Kong University of Science and Technology(香港科技大学)
先前的工作显示了预训练的语言模型(PLM)存储大量事实知识的巨大潜力。然而,为了弄清楚PLM是否可以作为可靠的知识源并用作替代知识库(KB),我们需要进一步探索PLM的一些关键特性。首先,知识记忆和识别能力:传统知识库可以存储各种类型的实体和关系; PLM是否具有存储不同类型知识的高知识容量?第二,推理能力:一个合格的知识源不仅应该提供事实的集合,而且应该支持一个符号推理器。PLM能否根据事实之间的相关性获得新的知识?为了评估这些功能的PLM,我们提出了一个基准测试,命名为知识化,识别和推理测试(KMIR)。KMIR涵盖3种知识类型,包括一般知识,特定领域知识和常识,并提供184,348个精心设计的问题。在KMIR上对各种有代表性的预训练语言模型进行的初步实验揭示了许多有趣的现象:1)PLM的记忆能力更多地取决于参数的数量而不是训练方案。2)当前的PLM正在努力记住这些事实。3)模型压缩技术虽然很好地保留了知识量,但对模型的识别和推理能力有一定的影响。我们希望KMIR可以促进PLM的设计,作为更好的知识来源。
2022-02-28 cs.CL
Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations
Meta;Technical University of Munich(慕尼黑工业大学)
本研究针对大语言模型可靠性不足的问题,提出结合统计不确定性与对话内不确定性(InDU)的弃权(不执行)机制,在三类场景下显著提升模型正确率、减少幻觉并增强安全性,且几乎无额外计算开销。
2024-04-16 cs.AI cs.CL
Mitigating LLM Hallucinations via Conformal Abstention
本文提出一种基于自评估相似性和保形预测的弃权(不执行)方法,用于在通用问答中可靠控制大语言模型的幻觉率,并在长响应数据集上显著降低了保守弃权(不执行)率。
2024-04-04 cs.AI cs.CL cs.LG
When Silence Is Golden: Can LLMs Learn to Abstain in Temporal QA and Beyond?
HKUST (GZ)(香港科技大学);Tongji University(同济大学);University of Tübingen(图宾根大学);HKUST(香港科技大学)
本文探讨了如何通过强化学习训练大语言模型在时间问答中学会退避,发现RL在推理和可靠性方面优于SFT。
2026-03-04 cs.AI cs.CL
Can a Model Catch Its Own Hallucinations for Free?: Label-Free Doubt Signals Hold Their Own Against a Labelled Dataset for Abstention
Transformer Lab(Transformer实验室)
该研究探究用模型自身免费的置信度信号,替代带标签数据集微调模型使其学会弃权(不执行),发现其效果与带标签监督相当,仅在自信错误事实上存在盲区。
2026-08-28 cs.CL cs.LG
Boundary-Aware NL2SQL: Integrating Reliability through Hybrid Reward and Data Synthesis
Li Auto Inc.(Li汽车公司);Beijing University of Posts and Telecommunications(北京邮电大学)
BAR-SQL通过混合奖励和数据合成方法,提升NL2SQL在生成准确性和边界感知回避能力上的表现。
2026-01-15 cs.CL
KGQuiz: Evaluating the Generalization of Encoded Knowledge in Large Language Models
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);University of Notre Dame(圣母大学)
提出知识密集型基准KGQuiz,通过三个知识领域和五个复杂度递增的任务全面评估大型语言模型的知识泛化能力,发现其在复杂推理和领域特定事实方面仍面临挑战。
2024-03-23 cs.CL
Learning When to Remember: Risk-Sensitive Contextual Bandits for Abstention-Aware Memory Retrieval in LLM-Based Coding Agents
PythaLab;Yildiz Technical University(Yildiz技术大学)
本文提出RSCB-MC方法,通过风险敏感的上下文老虎机机制,解决编码代理在记忆检索中的安全性和有效性问题,实现非注入和回避作为首要安全动作。
2026-04-30 cs.AI cs.CL cs.LG
The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction
Squoosh
该研究探究多模态LLM能否仅通过网页截图预测A/B测试结果,发现Gemini 3 Flash法官表现不佳,提出投票边际关卡隔离置信判断可提升性能,还在人类中重现了共识与真实结果脱节的现象,并发布了相关研究资源。
2026-08-11 cs.CL cs.HC stat.AP
Improving Conversational Abilities of Quantized Large Language Models via Direct Preference Alignment
Hanyang University(汉阳大学)
针对量化大语言模型对话能力下降的问题,提出量化感知直接偏好优化(QDPO),对齐量化与全精度模型,在多种语言上超越现有技术,提升对话性能。
2024-07-18 cs.CL
Are Emergent Abilities in Large Language Models just In-Context Learning?
The University of Bath(巴斯大学);Technical University of Darmstadt(达姆施塔特工业大学)
该研究针对大语言模型涌现能力的评估混淆问题,提出结合上下文学习等混淆因素的新理论,经千余次实验验证所谓涌现能力是上下文学习、模型记忆与语言知识共同作用的结果,为模型高效使用提供参考。
2024-07-15 cs.CL
Certified by Abstention: Distribution-Free Guarantees for Chain-of-Thought Verifiers at Small Calibration Budgets
Columbia University(哥伦比亚大学)
本文研究小校准预算下思维链验证器的无分布保证,发现通过弃权(不执行)实现有效性,并提出改进的固定序列证书以提高覆盖率。
2026-10-08 cs.CL cs.LG stat.ML
TruthRL: Incentivizing Truthful LLMs via Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
提出TruthRL框架,使用GRPO和三值奖励直接优化LLM的诚实性,减少幻觉并允许不确定时弃权,在知识密集型基准上显著提升诚实性。
2026-06-08 cs.AI cs.CL cs.LG
SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities
Fudan University(复旦大学)
针对现有语音语言模型级联范式阻碍模态间知识迁移的问题,提出SpeechGPT,通过构建大规模跨模态指令数据集并采用三阶段训练策略,赋予大型语言模型内在的跨模态对话能力,实现单模型对多模态指令的遵循与处理。
2023-05-19 cs.CL
Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Science and Technology of China(中国科学技术大学)
该研究发现模型编辑提升大语言模型事实性时会损害其通用能力,通过分析成因提出基于权重相对变化的RECT正则化方法,可在保持94%以上编辑性能的同时显著缓解副作用。
2024-10-04 cs.CL
KnowledgePrompts: Exploring the Abilities of Large Language Models to Solve Proportional Analogies via Knowledge-Enhanced Prompting
AI Institute, University of South Carolina(南卡罗来纳大学人工智能学院);IIIT Hyderabad(印度信息技术与管理研究所海得拉巴分校);Meta AI;Amazon GenAI(亚马逊生成式人工智能部门)
本研究构建了1.5万道比例类比多选题问答数据集,通过引入示例、结构化和针对性知识增强提示,评估了大型语言模型解决比例类比的能力,发现针对性知识辅助效果最佳,且最佳模型准确率仅为55%。
2024-12-19 cs.AI cs.CL
Big City Bias: Evaluating the Impact of Metropolitan Size on Computational Job Market Abilities of Language Models
Indeed(Indeed公司);IT University of Copenhagen(哥本哈根信息技术大学)
本研究量化大型语言模型在美国384个都市区域零样本就业预测中的都市规模偏见,发现较小区域性能显著更差,最小10个区域比最大10个区域性能差超300%。
2024-03-12 cs.CL
Are LLM Decisions Faithful to Verbal Confidence?
University of Southern California(南加州大学)
研究发现大型语言模型在高惩罚条件下缺乏战略决策能力,其语言自信度与实际决策不一致,影响AI系统的可信度。
2026-01-12 cs.CL cs.LG
Perturbation-Restrained Sequential Model Editing
University of Science and Technology of China(中国科学技术大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出PRUNE框架,通过在序列模型编辑中应用条件数约束降低扰动上限,有效保留LLMs的通用能力并维持编辑性能。
2025-03-03 cs.CL
Novice Learner and Expert Tutor: Evaluating Math Reasoning Abilities of Large Language Models with Misconceptions
Rice University(莱斯大学);Adobe Research(奥多比研究院);Eedi
本研究提出基于数学错误概念的LLMs数学推理评估方法,模拟LLMs分别扮演新手学习者与专家导师,实验发现LLMs虽能正确答题却难识别错误答案及对应错误概念,为教育应用中提升LLMs提供新方向。
2023-10-03 cs.CL
Neural-Symbolic Collaborative Distillation: Advancing Small Language Models for Complex Reasoning Tasks
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);National Science Library, Chinese Academy of Sciences(中国科学院国家科学图书馆)
提出NesyCD神经符号协作蒸馏框架,将LLM通用能力蒸馏到SLM,并用符号KB承载专门知识,使7B至8B模型在复杂推理上接近70B模型。
2025-02-18 cs.CL
Teaching LLMs to Abstain via Fine-Grained Semantic Confidence Reward
Computational Linguistics and Consciousness Sciences Lab, Southern University of Science and Technology, China(南方科技大学计算语言学与意识科学实验室)
针对现有大语言模型弃权方法依赖粗粒度信号导致知识边界认知不精确的问题,提出基于细粒度语义置信度奖励的强化学习框架,通过语义聚类训练模型实现精准事后弃权,并提出新评估指标,在多基准上显著提升可靠性。
2025-10-28 cs.AI cs.CL
G2S: A General-to-Specific Learning Framework for Temporal Knowledge Graph Forecasting with Large Language Models
Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, Chinese Academy of Sciences(网络数据科学与技术重点实验室,计算技术研究所,中国科学院);State Key Laboratory of AI Safety(人工智能安全国家重点实验室);School of Computer Science, University of Chinese Academy of Sciences(中国科学院大学计算机科学学院);National University of Singapore(新加坡国立大学)
针对时序知识图谱预测中一般模式与场景信息学习相互干扰的问题,提出G2S框架解耦两类知识学习,通过掩码场景信息学习一般模式并注入场景信息进行微调,有效提升了LLMs的泛化能力。
2025-05-31 cs.CL
KGHaluBench: A Knowledge Graph-Based Hallucination Benchmark for Evaluating the Breadth and Depth of LLM Knowledge
School of Computing, Newcastle University(计算学院,新castle大学);Sage Ai, Sage Group PLC(Sage Ai,Sage集团)
KGHaluBench通过基于知识图谱的基准测试,评估大语言模型在知识广度和深度上的表现,提供更全面的真相评估方法。
2026-02-23 cs.CL
Stable Knowledge Editing in Large Language Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对现有知识编辑方法因局部化和隔离假设导致的不稳定问题,本文提出StableKE,通过语义释义增强和上下文描述丰富两种自动化知识增强策略,在保证编辑效果的同时保留无关知识与通用能力,并可用于ChatGPT。
2024-02-20 cs.CL
SoulChat: Improving LLMs' Empathy, Listening, and Comfort Abilities through Fine-tuning with Multi-turn Empathy Conversations
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室)
针对LLMs在心理咨询中急于给建议而缺乏共情的问题,本文构建了超200万样本的多轮共情对话数据集,并通过微调显著提升了模型的共情、倾听与安慰能力。
2023-11-01 cs.CL
LIEDER: Linguistically-Informed Evaluation for Discourse Entity Recognition
Yale University(耶鲁大学)
该研究提出LIEDER数据集,用于评估大语言模型对语篇实体的四项核心语义属性的认知,发现前沿模型仅对新颖性不敏感,尚未达到人类级语言理解水平。
2024-08-10 cs.CL
DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
知识增强的预训练语言模型(KEPLMs)是从知识图谱中注入关系三元组以提高语言理解能力的预训练模型。为了保证有效的知识注入,以前的研究将模型与知识编码器相结合,用于表示从知识图谱中检索到的知识。知识检索和编码操作带来了巨大的计算负担,限制了此类模型在需要高推理速度的实际应用中的使用。在本文中,我们提出了一种新的KEPLM命名为DKPLM分解的预训练语言模型的知识注入过程中的预训练,微调和推理阶段,这有利于KEPLM在现实世界中的应用场景。具体来说,我们首先检测知识感知的长尾实体作为知识注入的目标,增强KEPLM的语义理解能力,避免注入冗余信息。长尾实体的嵌入被相关知识三元组形成的“伪令牌表示”所取代。我们进一步设计了用于预训练的关系知识解码任务,通过关系三元组重构来迫使模型真正理解注入的知识。实验表明,我们的模型优于其他KEPLM显着超过zero-shot知识探测任务和多知识感知的语言理解任务。我们进一步表明,DKPLM具有更高的推理速度比其他竞争模型,由于分解机制。
2022-10-16 cs.CL
Knowing but Not Showing: LLMs Recognize Ambiguity but Rarely Ask Clarifying Questions
Cornell University(康奈尔大学)
研究大型语言模型在识别用户查询歧义与主动提出澄清问题之间的行为差距,发现模型虽能识别歧义但默认直接回答,检索上下文会进一步减少澄清行为。
2026-05-24 cs.CL
CHARM: Character Hallucination for Multicultural Role Play Benchmark
Sungkyunkwan University(成均馆大学);Adobe Research(奥多比研究院)
本文提出跨文化角色扮演基准CHARM,通过两阶段评估区分大语言模型的边界意识与遵守能力,发现角色幻觉主要由遵守失败驱动,且存在系统性文化差异。
2026-09-02 cs.AI cs.CL
LLMs can learn self-restraint through iterative self-reflection
ServiceNow Research(ServiceNow研究院);Mila, Université de Montréal(蒙特利尔大学Mila研究所);Mila, McGill University(麦吉尔大学Mila研究所);Mila, Polytechnique Montréal(蒙特利尔理工学院Mila研究所)
本文提出 ReSearch 自反思算法和效用函数,通过迭代自提示与自评估生成合成数据微调 LLMs,使其学会在不确定时选择性克制或弃权,从而在不增加推理成本的情况下减少幻觉。
2024-07-03 cs.CL cs.LG
Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems
ServiceNow Research(ServiceNow研究院)
本文提出MM-AQA基准,通过视觉模态依赖性和证据充分性变换生成不可回答实例,评估三种前沿VLM和两种MAS架构,发现VLM在标准提示下 rarely 退避,MAS提升退避但引入准确率-退避权衡,序列设计表现优异,表明退避意识训练比提示或更多代理更重要。
2026-04-16 cs.CL cs.CV
R2-KG: General-Purpose Dual-Agent Framework for Reliable Reasoning on Knowledge Graphs
KAIST(韩国科学技术院)
R2-KG 提出即插即用的双智能体框架,由低能力 Operator 收集证据、高能力 Supervisor 做最终判断,并结合弃权机制,在降低推理成本的同时提升知识图谱推理的准确率与可靠性。
2025-11-10 cs.AI cs.CL
Knowledge Knows, Verbalization Tells: Disentangling Latent Directions for Mathematical Solvability in LLMs
Institute for Language and Speech Processing, Athena Research Center(语言与语音处理研究所,雅典娜研究中心)
研究大语言模型数学推理中数学问题可解性判定难题,通过分别探究可解性知识与语言表达的表征,揭示二者在模型隐藏状态中可分离,还表明提示不可解线索等可减少编造,操纵表征能改善模型弃权。
2026-07-07 cs.CL cs.LG
Knowledge Crosswords: Geometric Knowledge Reasoning with Large Language Models
The Hong Kong University of Science and Technology(香港科技大学);University of Washington(华盛顿大学);Xi’an Jiaotong University(西安交通大学);University of Notre Dame(圣母大学);Carnegie Mellon University(卡内基梅隆大学)
该研究提出几何知识推理基准Knowledge Crosswords,针对现有LLM在该任务上的不足,提出分阶段提示和全量验证方法,其中全量验证方法性能更优且鲁棒性更强,揭示了几何知识推理对LLM的新挑战。
2024-06-25 cs.AI cs.CL