ForEx: A Formal Verification Framework for Explainable Reasoning in Logical Fallacy Detection and Annotation
Department of Information Management(信息管理系);National Sun Yat-Sen University(国立中山大学);National Chung Hsing University(中国科技大学)
提出ForEx框架,将LLM生成的解释翻译为Lean4并验证其形式可推导性,通过论证验证矩阵区分标签一致性与形式验证状态,揭示形式可推导性与标签一致性之间的系统性差距。
2026-06-23 cs.AI cs.CL cs.SC
Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning
The Laboratory for Human-Centered AI, Institute for Ethics in AI, Faculty of Philosophy, University of Oxford, UK(以人为中心的人工智能实验室,人工智能伦理研究所,哲学学院,牛津大学,英国);Oxford Internet Institute, University of Oxford, UK(牛津互联网研究所,牛津大学,英国);School of Computer Science, University of Birmingham, UK(计算机科学学院,伯明翰大学,英国)
本文通过ETR理论和PyETR工具,评估LLM推理错误是否符合人类fallacy模式,发现模型能力与错误类型相关,且反转前提顺序可减少fallacy生成。
2026-03-20 cs.AI cs.CL
Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);South China University of Technology(华南理工大学)
提出LoFa基准,通过多智能体管道生成事实与谬误配对,结合多轮辩论框架评估LLM对逻辑谬误的鲁棒性,并设计LFR@k指标量化抵抗能力。
2026-07-01 cs.CL
Autoformalizing Natural Language to First-Order Logic: A Case Study in Logical Fallacy Detection
Stanford University(斯坦福大学);X, the moonshot factory(X moonshot工厂);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);University of Toronto(多伦多大学)
本文提出NL2FOL框架,利用大语言模型将自然语言逐步自动形式化为一阶逻辑,并结合SMT求解器进行逻辑推理,在无需微调或标注数据的情况下于逻辑谬误检测任务中取得强劲表现且提供可解释性。
2025-03-06 cs.AI cs.CL cs.LG
CoCoLoFa: A Dataset of News Comments with Common Logical Fallacies Written by LLM-Assisted Crowds
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Pennsylvania State University(宾夕法尼亚州立大学)
针对逻辑谬误检测数据集标注成本高的问题,本文推出由LLM辅助众包构建的大规模数据集CoCoLoFa,经验证质量可靠,基于其微调的BERT模型检测性能优于现有先进LLM,为复杂语言现象数据集构建提供了有效方案。
2024-10-04 cs.CL
Socrates or Smartypants: Testing Logic Reasoning Capabilities of Large Language Models with Logic Programming-based Test Oracles
针对现有逻辑推理基准的局限,本文推出SmartyPat-Bench基准及基于逻辑编程预言机的自动化框架SmartyPat,可生成高质量逻辑谬误样例,实验揭示了大语言模型逻辑推理的相关特性。
2025-11-19 cs.CL
Joint Effects of Argumentation Theory, Audio Modality and Data Enrichment on LLM-Based Fallacy Classification
University of Groningen(格罗宁根大学)
本文研究了上下文与情感语调元数据对LLM在政治辩论谬误分类中的影响,发现引入理论思维链框架虽提升可解释性,但增加上下文和音频情感元数据常因注意力分散导致性能下降。
2025-09-14 cs.CL
Label Over Logic? How Source Cues Bias Human Fallacy Judgments More Than LLMs
The Pennsylvania State University(宾夕法尼亚州立大学)
通过在线实验和LLM对比,发现人类在评估逻辑谬误时显著受到内容源标签(如人类、AI等)的影响,而LLM评估相对稳定,表明源标签偏差主要是人类的弱点。
2026-09-07 cs.AI cs.HC
MisSynth: Improving MISSCI Logical Fallacies Classification with Synthetic Data
National University of Kyiv-Mohyla Academy(基辅-莫希拉学院国家大学)
针对科学错误信息识别难题,提出MisSynth流水线,利用RAG生成合成谬误数据微调LLM,使LLaMA 3.1 8B模型F1分数提升超35%。
2025-10-30 cs.AI cs.CL cs.LG
Meaningless is better: hashing bias-inducing words in LLM prompts improves performance in logical reasoning and statistical learning
Prague University of Economics and Business(布拉格经济与商业大学)
提出用无意义哈希标识符遮蔽 LLM 提示词中诱发偏见的词语,并在 490 条提示词、五类模型上验证其可改善逻辑推理与统计学习,但效果因模型和任务而异。
2025-06-11 cs.AI cs.CL
A Peek into Token Bias: Large Language Models Are Not Yet Genuine Reasoners
University of Pennsylvania(宾夕法尼亚大学);Argonne National Laboratory(阿贡国家实验室)
本文通过假设检验框架和合成逻辑推理数据集,发现多数大型语言模型主要依赖令牌偏误而非真正推理,在经典问题上表现良好但泛化能力存疑。
2024-10-04 cs.AI cs.CL
SLURG: Investigating the Feasibility of Generating Synthetic Online Fallacious Discourse
University of California, Santa Cruz(加州大学圣克鲁兹分校)
针对社交媒体操纵自动检测的需求,本文提出SLURG方法,探究用LLMs(如DeepHermes-3-Mistral-24B)生成合成谬误性论坛评论的可行性,发现其可复制真实数据句法模式,少样本提示能提升词汇多样性模仿能力。
2025-04-16 cs.CL
SymbolLKG: Towards Verifiable Logical Reasoning via Logical Knowledge Graph and Symbolic Solvers
Shanghai JiaoTong University(上海交通大学)
该研究针对大型语言模型逻辑推理的缺陷,提出结合逻辑知识图谱与动态求解器路由的神经-符号架构,在基准任务上优于现有方法,实现了可验证的高准确率逻辑推理。
2026-08-28 cs.AI cs.CL
Leveraging Context for Multimodal Fallacy Classification in Political Debates
DISI, University of Bologna(DISI,博洛尼亚大学)
本文提出利用预训练Transformer模型及上下文策略,参与MM-ArgFallacy2025谬误分类任务,多模态性能与文本相当,宏F1分别为0.4444、0.3559和0.4403。
2025-07-21 cs.AI cs.CL
Benchmarking Argumentative Behaviour of LLMs: A Study of Defences Against Character Attacks
Warsaw University of Technology(华沙理工大学)
本研究通过对比美国总统辩论语料库,发现大语言模型在应对人身攻击时僵化采用逻辑防御,缺乏人类辩手的人格反击策略,归因于安全微调限制了其策略空间。
2026-09-25 cs.CL
Robust and Explainable Identification of Logical Fallacies in Natural Language Arguments
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);armasuisse Science and Technology(瑞士联邦国防采购局科学技术部);Cyber-Defence Campus(网络防御园区)
本文构建检测、粗粒度与细粒度分类的三阶段逻辑谬误评估框架,结合可解释推理、知识注入、数据增强和课程学习,系统评估模型鲁棒性并开源代码数据。
2023-09-25 cs.AI cs.CL
A Knowledge-based Approach for Answering Complex Questions in Persian
Shahid Beheshti University(贝赫什提大学)
开放领域问答的研究有着悠久的历史。这个领域的一个挑战是回答复杂问题(CQA),这需要复杂的推理方法和大量的知识。在低资源语言中,如波斯语,没有太多的开放域复杂问题的数据集,语言处理工具包也不是很准确。在本文中,我们提出了一个基于知识的方法来回答波斯语复杂的问题,使用Farsbase;波斯语知识图谱,利用PeCoQ;新创建的复杂波斯语问题数据集。在这项工作中,我们处理多约束和多跳的问题,通过建立他们的一组可能的相应的逻辑形式。然后,使用多语言BERT来选择最好的逻辑形式描述输入的复杂问题的句法和语义。问题的答案是从知识图谱中提取的逻辑形式的答案构建的。实验表明,我们的方法优于其他方法在波斯CQA。
2021-07-05 cs.AI cs.CL
ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning
National University of Singapore(新加坡国立大学)
最近的强大的预训练语言模型在大多数流行的阅读理解数据集上取得了显着的性能。现在是时候引入更具挑战性的数据集,推动该领域朝着更全面的文本推理方向发展了。在本文中,我们介绍了一个新的阅读理解数据集,需要逻辑推理(ReClor)从标准化的研究生入学考试中提取。正如早期的研究所表明的那样,人类注释的数据集通常包含偏见,这些偏见通常被模型利用来实现高准确性,而无需真正理解文本。为了综合评价ReClor上模型的逻辑推理能力,我们提出识别有偏差的数据点,并将其分离为EASY集,其余为HARD集。实证结果表明,国家的最先进的模型具有出色的能力,捕捉偏差包含在数据集上的EASY集的高精度。然而,它们在HARD集上的表现与随机猜测的表现相近,这表明需要更多的研究来从根本上提高当前模型的逻辑推理能力。
2020-08-22 cs.AI cs.CL cs.LG
Case-Based Reasoning with Language Models for Classification of Logical Fallacies
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of Southern California(南加州大学);armasuisse Science and Technology(瑞士军备科学与技术局)
本文提出一种基于案例推理(Case-Based Reasoning)的方法,通过语言模型检索和适应历史案例,并结合目标、解释、反驳和论证结构四种外部信息策略,有效提升了逻辑谬误分类的准确性与泛化能力。
2023-05-17 cs.AI cs.CL
LLMs Are Prone to Fallacies in Causal Inference
New York University(纽约大学);University of Michigan(密歇根大学)
本研究针对LLMs因果推断能力是否依赖预训练记忆的问题,通过合成数据微调实验发现其易受提及顺序、时间先后影响产生后此谬误,且难以从反事实关系推断因果,质疑其因果理解能力。
2024-06-18 cs.AI cs.CL
AMUSE: Multilingual Semantic Parsing for Question Answering over Linked Data
Bielefeld University(比勒费尔德大学)
在RDF数据上回答自然语言问题的任务近年来受到了广泛的关注,特别是在一系列QALD基准的背景下。该任务包括将自然语言问题映射到可执行形式,例如SPARQL,以便可以从给定的KB中提取答案。到目前为止,提出的大多数系统都是i)单语的,ii)依赖于一组硬编码的规则来解释问题并将其映射到SPARQL查询中。我们提出了第一个多语言QALD管道,该管道从训练数据中导出一个模型,用于将自然语言问题映射为逻辑形式作为概率推理。特别是,我们的方法学会了映射通用的句法依赖表示的语言独立的逻辑形式的基础上DUDES(依赖性为基础的未充分指定的话语表示结构),然后映射到SPARQL查询作为确定性的第二步。我们的模型建立在依赖于从依赖图和相应的语义表示中提取的特征的因子图上。我们依靠近似推理技术,特别是马尔可夫链蒙特卡罗方法,以及样本排名使用排名目标更新参数。我们的重点在于开发的方法,克服词汇差距,并提出了一种新的组合机器翻译和词嵌入的方法,为此目的。作为我们方法的概念证明,我们在英语,德语和西班牙语的QALD-6数据集上评估了我们的方法。
2018-02-26 cs.AI cs.CL
Evoke: Evoking Critical Thinking Abilities in LLMs via Reviewer-Author Prompt Editing
Microsoft(微软);University of Washington(华盛顿大学);University of Michigan(密歇根大学)
提出自动提示优化框架Evoke,通过LLM审稿人与作者反馈循环迭代编辑提示,并结合困难样本数据选择策略,显著提升LLM在逻辑谬误检测等任务上的性能。
2023-10-20 cs.AI cs.CL
Face4RAG: Factual Consistency Evaluation for Retrieval Augmented Generation in Chinese
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
针对现有RAG事实一致性评估方法依赖特定LLM数据集、泛化性不足且无法检测逻辑谬误的问题,该研究提出首个独立于LLM的中文FCE基准Face4RAG,并设计L-Face4RAG方法,通过逻辑保留分解与事实-逻辑评估显著提升检测性能。
2024-07-03 cs.AI cs.CL
RATIONALYST: Mining Implicit Rationales for Process Supervision of Reasoning
Johns Hopkins University(约翰霍普金斯大学);University of Notre Dame(诺特大学)
针对大语言模型推理步骤常缺失隐式依据的问题,提出RATIONALYST模型,从大规模无标注数据提取推理依据预训练,基于LLaMa-3-8B微调后在7个推理基准上平均提升3.9%准确率,性能优于更大验证器和同规模微调模型。
2025-06-14 cs.AI cs.CL
Who You Are Matters: Bridging Topics and Social Roles via LLM-Enhanced Logical Recommendation
Wuhan University(武汉大学);Kuaishou Technology(快手科技)
针对传统推荐忽略用户社会角色建模的问题,提出集成LLM与推荐系统的TagCF框架,通过提取标签虚拟逻辑图建模用户角色与行为逻辑,实验证明其效果优于物品主题建模,且逻辑图知识可迁移。
2025-10-29 cs.AI cs.IR
Method-Based Reasoning for Large Language Models: Extraction, Reuse, and Continuous Improvement
School of Computer Science, Chengdu University of Information Technology(计算机科学学院,成都信息科技学院)
针对大语言模型推理依赖训练数据统计模式的局限,提出基于方法的模型,从多源提取可复用方法并外部存储排序,新查询时检索应用相关方法,实现持续学习与逻辑一致,提升复杂提示的事实验证和泛化能力。
2025-08-07 cs.AI cs.CL cs.LG
Notes to Self: Can LLMs Benefit from Experiential Abstractions?
Auton Lab, Carnegie Mellon University(卡内基梅隆大学自动实验室)
研究大语言模型能否从经验抽象中受益,通过从其在MATH训练集的痕迹提取抽象存入可检索库,探索推理时检索和强化学习两种使用模式,发现能提高模型在数学和逻辑推理基准上的性能,且框架可转移。
2026-09-01 cs.CL
Flee the Flaw: Annotating the Underlying Logic of Fallacious Arguments Through Templates and Slot-filling
JAIST(日本先进科学技术学院);Beyond Reason(超越理性公司);RIKEN(理化学研究所);Tohoku University(东北大学);INSA Lyon(里昂国立应用科学学院);Ricoh Company, Ltd.(理光公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对计算论证领域对逻辑错误阐释不足的问题,提出四组可解释非形式逻辑谬误模板,在LOGIC数据集上完成高一致性标注,同时发现SOTA模型谬误模板检测准确率较低,并公开相关资源。
2024-06-18 cs.CL
Large Language Models-guided Dynamic Adaptation for Temporal Knowledge Graph Reasoning
Beijing University of Technology(北京工业大学);Monash University(莫纳什大学);University of Hong Kong(香港大学);Griffith University(格里菲斯大学)
本文提出LLM-DA方法,利用大语言模型从历史数据中提取时序逻辑规则,并通过动态自适应策略更新规则以适应TKG演变,无需微调即可提升时序知识图谱推理的准确性和可解释性。
2024-12-30 cs.AI cs.CL
Do LLMs Overcome Shortcut Learning? An Evaluation of Shortcut Challenges in Large Language Models
University of Science and Technology of China(中国科学技术大学);State Key Lab of Cognitive Intelligence(认知智能国家重点实验室);School of Computer Science and Technology(计算机科学与技术学院)
本文提出Shortcut Suite测试套件,系统评估大语言模型对六类捷径的依赖,发现更大模型更易利用捷径、思维链提示可显著减少捷径依赖,为提升LLM鲁棒性提供新方向。
2024-10-17 cs.CL cs.LG
Structure First, Reason Next: Enhancing a Large Language Model using Knowledge Graph for Numerical Reasoning in Financial Documents
本文提出利用知识图谱增强大型语言模型,以提高财务文档中的数值推理能力,实验表明该方法在准确性上提升了约12%。
2026-01-12 cs.CL
Epistemic reflections on AI answering our questions: overwatch, erudite, logician, interlocutor
The Hong Kong Polytechnic University(香港理工大学);Eindhoven University of Technology (TU/e)(埃因霍温理工大学)
本文探讨AI在金融、法律等领域被广泛依赖的问题,指出其缺乏逻辑验证和实证验证,可能导致误判和剽窃。提出需了解推理系统以使AI成为可信的对话伙伴。
2026-04-30 cs.AI cs.CY cs.LO
Supervised Reinforcement Learning: From Expert Trajectories to Step-wise Reasoning
Google Cloud AI Research(谷歌云人工智能研究部);UCLA(加州大学洛杉矶分校);Google Cloud(谷歌云)
本文提出SRL框架,通过生成逻辑动作序列提升小模型的多步推理能力,结合监督与强化学习实现更有效的训练。
2026-02-27 cs.AI cs.CL cs.LG
The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提示一个大语言模型(LLM),如GPT-3与解释改善上下文学习?我们研究这个问题的两个NLP任务,涉及推理的文本,即问答和自然语言推理。我们测试了四个LLM在三个文本推理数据集上的性能,使用的提示包括多种不同风格的解释。对于这些任务,我们发现,在OPT,GPT-3(davinci)和InstructGPT(text-davinci-001)的提示中包含解释,与标准的few show学习相比,只能产生小到中等的准确性提高。然而,text-davinci-002能够更大程度地受益。我们进一步表明,由LLM生成的解释可能不需要模型的预测,也不是事实上基于输入,即使是在简单的任务与提取的解释。然而,这些有缺陷的解释仍然可以作为事后验证LLM预测的一种方法。通过在我们的三个设置中的分析,我们表明,人类判断的解释是好的-逻辑上与输入和预测一致-更有可能与准确的预测共存。根据这些观察结果,我们使用自动提取的分数来训练校准器,这些分数评估解释的可靠性,使我们能够在所有数据集上提高性能。
2022-10-13 cs.CL
Validating FKG.in: Soundness Assessment in LLM-Augmented Indian Food Knowledge
Ashoka University(阿肖克大学);Mphasis AI and Applied Tech Lab(美斐西斯人工智能与应用技术实验室);Koita Centre for Digital Health, Ashoka University(阿肖克大学科伊塔数字健康中心);Institute for Future Health, UC Irvine(加州大学欧文分校未来健康研究所)
本研究针对LLM生成食谱存在的问题,提出半自动化评估框架,验证LLM增强的印度食品知识图谱FKG.in的合理性,该框架可推广至多语言多元文化烹饪领域,为食品知识基础设施提供支撑。
2026-10-28 cs.AI cs.CL cs.IR
Joint Enhancement of Relational Reasoning for Long-Context LLMs
UCAS-Terminus AI Lab, University of Chinese Academy of Sciences, China(中国科学院大学Terminus AI实验室,中国科学院大学)
本文提出 JERR 框架,通过概要提取、DAG 图构建与 MCTS 关系推理联合增强长上下文 LLM 的理解能力,在 ROUGE、F1 和 LLM-Rater 上均优于基线。
2025-08-28 cs.CL
Imbuing Large Language Models with Bidirectional Logic for Robust Chain Repair
Department of Computer Science, University of Oxford, UK(英国牛津大学计算机系);FLock.io;Institute of Logic and Computation, TU Wien, Austria(奥地利技术大学逻辑与计算研究所)
针对自回归链式推理中错误雪崩问题,提出Teleological Reasoning Infilling (TRI)框架,通过将错误推理段重构为填充中间任务并引入前缀-后缀-中间序列重排,结合符号验证器监督微调和直接偏好优化,实现仅修复受损段的高效链修复。
2026-06-03 cs.CL cs.SC
KARGEN: Knowledge-enhanced Automated Radiology Report Generation Using Large Language Models
University of Sydney(悉尼大学);University of Wollongong(卧龙岗大学);The University of Adelaide(阿德莱德大学)
针对大语言模型中相关知识难高效触发的问题,提出知识增强放射学报告生成框架KARGEN,结合知识图谱提炼疾病特征并与图像特征融合,用冻结大模型生成报告,在两个数据集上取得良好效果。
2024-09-09 cs.AI cs.CV
Extracting and Validating Explanatory Word Archipelagoes using Dual Entropy
The University of Tokyo(东京大学)
本文提出利用基于窗口的熵A提取词语群岛,并用基于图的熵B评估文本逻辑连通性,证明无先验知识下提取的解释性文本部分熵更低。
2024-09-28 cs.CL
Context-Dependent Semantic Parsing for Temporal Relation Extraction
University of California, San Diego(加利福尼亚大学圣迭戈分校);The Hong Kong University of Science and Technology(香港科技大学);National Taiwan University(台湾大学)
从非结构化文本中提取事件间的时态关系在时态推理、问答等领域有着广泛的应用。虽然这是困难的,但最近发展的神经符号方法在解决类似的任务上显示出有希望的结果。现有的时态关系抽取方法表达能力有限,关系推理不一致.例如,在TimeML注释中,没有交集的概念。此外,当前的方法不能保证预测的注释之间的一致性。在这项工作中,我们提出了SMARTER,神经语义解析器,有效地提取文本中的时间信息。SMARTER基于自定义类型的λ演算将自然语言解析为可执行的逻辑形式表示。在训练阶段,使用表示上的动态规划(DPD)技术来提供对逻辑形式的弱监督。在推理阶段,SMARTER通过执行逻辑形式生成时间关系图。因此,我们的神经语义解析器产生的逻辑形式捕捉文本的时间信息准确。给定上下文的事件的准确逻辑形式表示确保了所提取的关系的正确性。
2021-12-02 cs.CL