ALARB: An Arabic Legal Argument Reasoning Benchmark
King Abdullah University of Science and Technology(卡塔尔国王阿卜杜勒阿齐兹科学与技术大学);THIQAH
本研究推出阿拉伯语法律推理基准ALARB,含1.3万余起沙特商业案件及多类推理任务,测试多款阿拉伯语LLM,且用其微调12B模型可达到与GPT-4o相当的法律推理性能。
2025-10-01 cs.AI cs.CL cs.IR
Selective Vision is the Challenge for Visual Reasoning: A Benchmark for Visual Argument Understanding
Yonsei University(延世大学);Seoul National University(首尔大学);Allen Institute for AI(艾伦人工智能研究所);Samaya AI(萨马亚人工智能公司)
本文提出VisArgs视觉论证理解基准,通过前提定位、识别和结论推导三项任务揭示现有AI在选择性视觉推理上的不足,并证明提供相关视觉前提可显著提升模型表现。
2024-10-23 cs.CL cs.CV
PoKE: A Prompt-based Knowledge Eliciting Approach for Event Argument Extraction
East China Normal University(华东师范大学)
在许多自然语言处理任务中,通过基于语义的学习从预先训练的语言模型中获取知识已经显示出巨大的潜力。然而,更复杂的任务,如事件提取的应用研究较少,因为提示的设计是不直接的结构化事件包含各种触发器和参数。同时,当前的条件生成方法采用大的编码器-解码器模型,这对于训练和服务是昂贵的。在本文中,我们提出了一种新的基于事件的方法,它同时elaborates独立和联合知识的不同事件的事件参数提取。在ACE 2005数据集上的实验结果表明了该方法的优越性。特别是,我们的方法优于最近的先进方法在完全监督和低资源的情况下。
2022-05-13 cs.AI cs.CL
Predicting the Quality of Revisions in Argumentative Writing
University of Pittsburgh(匹兹堡大学);Learning Research and Development Center(学习研究与发展中心);RAND Corporation(兰德公司)
针对议论文修订质量依赖整体论证语境的问题,本文利用思维链提示引导ChatGPT生成论证语境并预测修订质量,在小学生与大学生作文语料上均优于基线。
2023-06-01 cs.AI cs.CL
BriefMe: A Legal NLP Benchmark for Assisting with Legal Briefs
NYU School of Law(纽约大学法学院);University of Utah(犹他大学);Columbia University(哥伦比亚大学)
本文提出BRIEFME,一个面向法律文书撰写的NLP基准,包含论点摘要、补全和案例检索三项任务,发现现有LLM在摘要和引导补全上表现优异,但在现实补全和案例检索上欠佳。
2025-06-19 cs.CL
Mind the Gap: Automated Corpus Creation for Enthymeme Detection and Reconstruction in Learner Arguments
Leibniz University Hannover(莱布尼茨汉诺威大学);Paderborn University(帕德博恩大学);Tunghai University(东海大学)
本文提出省略三段论检测与重建两项新任务,并基于ICLEv3语料库通过自动删除关键论证单元构建了40,089个实例的语料库,实验验证了其有效性与实用性。
2023-10-27 cs.CL
Targeting the Benchmark: On Methodology in Current Natural Language Processing Research
University of Potsdam(波茨坦大学)
它已经成为我们领域的一种常见模式:一组引入了一项语言任务,以数据集为例,他们认为这具有足够的挑战性,可以作为基准。他们还提供了一个基线模型,然后很快被其他团体改进。通常,研究工作然后继续,模式重复。典型地留下隐含的是关于为什么这构成进步以及朝着什么方向进步的论证。在这篇文章中,我们试着从这个模式中退一步,找出可能的论点及其部分。
2020-07-07 cs.CL
Aspect-Based Argument Mining
Ludwig Maximilian University of Munich(慕尼黑大学);Center for Information and Language Processing(信息与语言处理中心)
计算论证和论证挖掘是重要的研究领域。在以前的作品中,自动提取和在一定程度上推理自然语言参数的许多挑战都得到了解决。提取参数单元的工具越来越多,进一步的开放问题可以得到解决。在这项工作中,我们提出了基于特征的参数挖掘(ABAM)的任务,与特征项提取(ATE)和嵌套分割(NS)的基本子任务。在第一个实例中,我们创建并发布一个注释语料库方面的信息上的令牌级别。我们认为方面是论点单元所要解决的主要问题。这些信息对于进一步的下游任务很重要,比如参数排序、参数总结和生成,以及在方面级别上搜索反参数。我们提出了几个实验,使用国家的最先进的监督架构,并证明了他们的表现为两个子任务。注释的基准可以在https://github.com/trtm/ABAM上获得。
2020-11-01 cs.CL
The Legal Argument Reasoning Task in Civil Procedure
Technical University of Darmstadt(达姆施塔特工业大学)
我们提出了一个新的NLP任务和来自美国民事诉讼领域的数据集。数据集的每个实例都包括对案例的一般介绍,一个特定的问题和一个可能的解决方案论证,以及对该论证适用于该案例的详细分析。由于数据集是基于一本针对法律专业学生的书,我们相信它代表了一个真正复杂的任务,为基准现代法律语言模型。我们的基线评估表明,微调的法律Transformer提供了一些优势,随机基线模型,但我们的分析表明,实际的能力,推断法律论据仍然是一个具有挑战性的开放的研究问题。
2022-11-05 cs.CL
Key Point Analysis Needs Structure Recovery: Task Definition, Dataset Diagnosis, and a Structure-Aware Benchmark
King’s College London(伦敦国王学院)
该研究定义关键点分析(KPA)为结构化预测问题,诊断现有KPA基准缺陷,构建人机协同标注的结构感知基准并发布相关资源,为KPA研究提供支持
2026-08-27 cs.CL cs.LG
Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews
College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China(复旦大学计算机科学与人工智能学院);Shanghai Innovation Institute, Shanghai, China(上海创新研究院)
本文提出Beyond Rating框架,通过五个维度评估AI评论,引入Max-Recall策略和高质量数据集,证明文本中心指标与评分准确性的强相关性。
2026-04-22 cs.CL
Multilingual Argument Mining: Datasets and Analysis
IBM Research(IBM研究院)
对论证挖掘和计算论证的兴趣日益增长,带来了大量的自然语言理解(NLU)任务和相应的数据集。然而,与许多其他NLU任务一样,主要语言是英语,其他语言的资源很少。在这项工作中,我们探索了迁移学习的潜力,使用多语言BERT模型来解决非英语语言中的参数挖掘任务,基于英语数据集和使用机器翻译。我们表明,这种方法非常适合分类的论点和检测证据的立场,但不太适合评估参数的质量,大概是因为质量更难保持翻译。此外,专注于翻译方法,我们展示了如何选择的语言翻译,以及它们之间的关系,影响结果模型的准确性。最后,为了便于评估参数挖掘任务的迁移学习,我们提供了一个人工生成的数据集,其中包含超过10k个多种语言的参数,以及英语数据集的机器翻译。
2020-10-13 cs.AI cs.CL cs.LG
Diversity Over Size: On the Effect of Sample and Topic Sizes for Topic-Dependent Argument Mining Datasets
summetix GmbH(萨梅蒂克斯有限公司);Technical University of Darmstadt(达姆施塔特工业大学);Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
该研究探究少样本与零样本设置下论点挖掘数据集构成的影响,发现精心构建训练样本、大幅缩减样本量仍能保留大部分性能,还发布了新的基准数据集。
2024-10-07 cs.CL
SAD: A Large-Scale Strategic Argumentative Dialogue Dataset
Northeastern University, China(东北大学);CIS, LMU Munich, Germany(慕尼黑莱茵-穆尔大学认知科学研究所);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心);Alibaba Group, Hangzhou, China(阿里巴巴集团)
SAD数据集旨在通过大规模战略辩论对话数据支持更深入的论证对话建模,包含392,822个示例,标注五种策略类型,并测试多种预训练模型。
2026-01-12 cs.CL
ArgBench: Benchmarking LLMs on Computational Argumentation Tasks
Leibniz University Hannover(汉诺威莱布尼茨大学);Adobe Research(Adobe研究)
本文提出ArgBench,首个用于评估LLM在计算论证任务中性能的基准,涵盖33个数据集,评估五种LLM家族在46种任务中的泛化能力,分析少样本示例、推理步骤、模型大小和训练技能对性能的影响。
2026-04-19 cs.AI cs.CL
The Discussion Tracker Corpus of Collaborative Argumentation
University of Pittsburgh(匹兹堡大学)
尽管近年来自然语言处理(NLP)对论点挖掘的研究取得了相当大的进展,但大多数研究都是基于异步和书面文本的语料库,这些文本通常由个人产生。几乎没有同步的、多方论证的已出版语料库。Discussion Tracker语料库收集于美国高中英语课堂,是一个带有注释的多方辩论口语记录数据集。该语料库由29个多方讨论的英语文学转录从985分钟的音频。这些记录被注释为合作论证的三个维度:论证动作(主张、证据和解释)、特异性(低、中、高)和合作(例如,对他人观点的延伸和分歧)。除了提供对语料库的描述性统计数据外,我们还提供了性能基准和相关代码,分别用于预测每个维度,说明了语料库中多个注释的使用,以通过多任务学习提高性能,最后讨论了语料库可能用于进一步NLP研究的其他方式。
2020-05-22 cs.CL
Riposte! A Large Corpus of Counter-Arguments
RIKEN(理化学研究所);Tohoku University(东北大学)
建设性反馈是提高批判性思维能力的有效方法。反驳(CA)是一种建设性反馈形式,已被证明对批判性思维技能很有用。然而,很少有工作已经做了构建一个大规模的语料库,他们可以推动研究自动生成CA的错误的微观层面的论点(即一个单一的索赔和前提对)。在这项工作中,我们将提供建设性反馈作为自然语言处理任务,并创建了Riposte!,一个CA的语料库,朝着这个目标。制作人:Crowdworkers,Riposte!包含超过18 k个CA。我们指导工作人员首先确定常见的谬误类型,并产生一个CA,确定谬误。我们分析了工人如何创建CA,并根据我们的分析构建了一个基线模型。
2019-10-08 cs.CL
Fine-Grained Argument Unit Recognition and Classification
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Ubiquitous Knowledge Processing Lab (UKP-TUDA), TU Darmstadt(达姆施塔特工业大学普适知识处理实验室(UKP-TUDA))
以前的工作通常定义的参数检索从异构的文档集合作为一个文档级分类任务。因此,论点检索遭受低召回和句子分割错误,使人类和机器难以消费的论点。在这项工作中,我们认为,任务应该执行更细粒度的序列标签。为此,我们将任务定义为参数单元识别和分类(AURC)。我们提出了一个数据集的参数从异构源注释为一个句子内的标记跨度,以及相应的立场。我们表明,以及如何通过众包高interannotator协议,可以有效地收集这些困难的论点注释。新的基准AURC-8与句子级别的注释相比,每个主题包含的参数多出15%。我们确定了一些针对AURC序列标记的方法,在已知的域上实现接近人类的性能。进一步的分析还表明,与以前的方法相反,我们的方法对句子分割错误更鲁棒。我们公开发布我们的代码和AURC-8数据集。
2019-11-21 cs.CL
Explanatory Argument Extraction of Correct Answers in Resident Medical Exams
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学HiTZ中心-Ixa)
本文提出一个基于西班牙住院医师考试的新数据集和抽取式任务,包含正确答案及错误答案的解释性论证,并利用抽取式问答自动评估大语言模型,实验表明多语言模型有时优于单语及医学领域适配模型。
2023-12-01 cs.CL
Argue with Me Tersely: Towards Sentence-Level Counter-Argument Generation
Fudan University(复旦大学);ByteDance(字节跳动);Huawei Poisson Lab(华为泊松实验室)
本文提出ArgTersely基准和Arg-LlaMA模型,用于句子级反驳论点生成,并训练Arg-Judge评估器,实验证明其性能优于基线。
2023-12-21 cs.CL
What Gets Echoed? Understanding the "Pointers" in Explanations of Persuasive Arguments
University of Colorado Boulder(科罗拉多大学博尔德分校)
人工智能是日常生活的核心,也是人工智能社区越来越感兴趣的话题。为了研究提供自然语言解释的过程,我们利用/r/ChangeMyView子Reddit的动态来构建一个数据集,其中包含36 K自然发生的解释,说明为什么论点具有说服力。我们提出了一个新的词级预测任务,以调查解释如何选择性地重用,或回声,从被解释的信息(以下简称为“巨大”)。我们开发的功能,以捕捉一个字的属性在巨人,并表明,我们提出的功能不仅有相对较强的预测能力的回声的一个字的解释,但也增强了神经方法生成的解释。特别是,虽然一个词本身的非上下文属性对停用词更有价值,但一个巨人的组成部分之间的相互作用在预测实词的呼应方面至关重要。我们还发现了一个单词被重复的有趣模式。例如,虽然名词一般不太可能被呼应,但主语和宾语根据它们的来源,在解释中更有可能被呼应。
2019-11-01 cs.AI cs.CL cs.CY
Mining Arguments from Cancer Documents Using Natural Language Processing and Ontologies
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
在医学领域,科学研究的连续流包含由论点和反论点支持的相互矛盾的结果。由于医学专业知识发生在不同的层面,部分人类代理人难以面对大量的研究,也难以理解争论主题的支持者和反对者所声称的理由和证据。为了更好地理解与医学领域当前最新技术水平相关的新发现的支持论点,我们需要能够识别科学论文中论点的工具。我们的工作旨在填补上述技术空白。非常清楚这项任务的难度,我们依靠众所周知的领域知识与自然语言处理的交叉来走这条路。为了将现有的医学知识形式化,我们依赖于本体论。为了构建论证模型,我们还使用了描述逻辑的表达能力和推理能力。为了进行论证挖掘,我们在基于规则的语言中正式化了各种语言模式。我们针对与乳腺癌相关的科学论文语料库测试了我们的解决方案。运行实验表明,F-测量值在0.71和0.86之间,用于识别论点的结论,在0.65和0.86之间,用于识别论点的前提。
2016-07-27 cs.AI cs.CL
Exploration of Marker-Based Approaches in Argument Mining through Augmented Natural Language
Applied Machine Learning (AMaL) Lab(应用机器学习(AMaL)实验室);Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology (IIT), Guwahati, India(印度理工学院(IIT)果阿分校,印度)
本文提出基于生成范式的端到端论证挖掘框架 argTANL,利用增强自然语言联合抽取论证成分与关系,并通过论证和语篇标记增强模型,在三个基准上验证 ME-argTANL 的优势。
2025-10-18 cs.AI cs.CL
Identification of Entailment and Contradiction Relations for Natural Language Argumentation: A Neurosymbolic Approach
University College London(伦敦大学学院)
本文提出一种基于AMR图、命题逻辑和SAT求解器的可解释RTE流水线,并引入松弛方法处理措辞差异,在四个数据集上验证了有效性。
2026-10-14 cs.AI cs.CL
On Natural Language Generation of Formal Argumentation
Cardiff University(卡迪夫大学);University of St. Andrews(圣安德鲁斯大学);University of Southampton(南安普顿大学)
在本文中,我们提供了一个第一次分析的研究问题时出现的问题,通过自然语言接口处理的问题,沟通件的正式论证。这是一个普遍持有的观点,论证的形式模型自然捕捉人类的论点,一些初步的研究集中在证明这一观点。不幸的是,结果不仅是不确定的,但似乎表明,向人类解释形式论证是一个相当明确的任务。用于表达基于论证的推理的图形模型很有吸引力,但人类通常需要大量的培训才能有效地使用这些工具。我们声称,自然语言接口正式论证系统提供了一个真正的替代方案,并可能是系统,捕捉人类的论点前进的方向。
2017-06-13 cs.AI
ConQRet: Benchmarking Fine-Grained Evaluation of Retrieval Augmented Argumentation with LLM Judges
Department of Computer Science(计算机科学系);Emory University(埃默里大学)
针对检索增强论证缺乏整体细粒度评估的问题,本文提出多LLM评判者自动评估方法,并构建基于真实网站证据的ConQRet基准以衡量检索、论证质量与依据性。
2024-12-06 cs.AI cs.CL cs.IR
End-to-End Argument Mining through Autoregressive Argumentative Structure Prediction
Applied Machine Learning (AMaL) Lab(应用机器学习(AMaL)实验室);Department of Computer Science and Engineering, Indian Institute of Technology (IIT), Guwahati, India(计算机科学与工程系,印度理工学院(IIT),古瓦哈蒂,印度);North Eastern Regional Institute of Science and Technology (NERIST), Arunachal Pradesh, India(北东部科学与技术研究所(NERIST),阿鲁纳恰尔邦,印度)
提出 AASP 自回归框架,以条件预训练语言模型和受约束动作逐步生成论证结构,端到端联合完成论证挖掘,并在三个标准基准上验证其 SoTA 性能。
2025-10-18 cs.AI cs.CL
Understanding Enthymemes in Argument Maps: Bridging Argument Mining and Logic-based Argumentation
Université Paul Sabatier(保罗萨巴蒂埃大学);CNRS(法国国家科学研究中心);IRIT(图灵与信息技术研究所);Inria(法国国家信息与自动化研究所);I3S(信息、信号与系统实验室);University College London(伦敦大学学院)
本研究针对论证挖掘得到的论证图难以自动分析的问题,提出用经典逻辑表示文本显式信息、缺省逻辑表示隐式信息来对论证图进行逻辑实例化,以支撑后续自动推理分析。
2024-08-16 cs.AI cs.CL
Towards an Argument Mining Pipeline Transforming Texts to Argument Graphs
Trier University(特里尔大学)
本文的研究目标是从自然语言文本中自动抽取议论文的信息成分及其相互关系。此外,我们解决了目前缺乏系统提供完整的论证结构,从任意自然语言文本的一般用途。我们提出了一个参数挖掘管道作为一个普遍适用的方法转换为基于图形的参数表示的德语和英语语言的文本。我们还介绍了新的方法来评估现有的基准参数结构的基础上的结果。我们的研究结果表明,生成的参数图可以是有益的,以检测新的连接之间的不同陈述的议论文。我们的管道实现在GitHub上公开提供。
2020-09-28 cs.AI cs.CL cs.LG
Semantic Role Labeling Meets Definition Modeling: Using Natural Language to Describe Predicate-Argument Structures
Sapienza University of Rome(罗马第一大学);Babelscape(巴贝尔斯凯普)
过去和现在的语义角色标注(SRL)方法的一个共同特点是它们依赖于从预定义的语言库中提取的离散标签来对谓词意义及其论元进行分类。然而,我们认为情况不一定如此。在本文中,我们提出了一种方法,利用定义建模引入一个广义的制定SRL的任务描述谓词参数结构使用自然语言定义,而不是离散的标签。我们的新配方的第一步,把可解释性和灵活性放在首位,但我们的实验和分析PropBank风格和FrameNet风格,依赖性为基础的和跨度为基础的SRL也表明,一个灵活的模型与可解释的输出不一定是以牺牲性能。我们在https://github.com/SapienzaNLP/dsrl上发布我们的软件用于研究目的。
2022-12-02 cs.AI cs.CL cs.LG
Do Natural Language Explanations Represent Valid Logical Arguments? Verifying Entailment in Explainable NLI Gold Standards
University of Manchester(曼彻斯特大学);Idiap Research Institute(IDIAP研究所)
可解释NLP的一个新兴研究方向是创建富含人工注释解释和原理的数据集,用于构建和评估具有逐步推理和解释生成功能的模型。虽然人类注释的解释被用作推理的基础事实,但缺乏对其一致性和严谨性的系统评估。为了给NLI解释金标准(XGS)提供一个关键的质量评估,我们提出了一个系统的解释方法,命名为解释蕴涵验证(EEV),以量化人类注释的逻辑有效性。EEV在三个主流数据集上的应用揭示了一个令人惊讶的结论,即大多数解释,虽然表面上看起来连贯,但代表逻辑上无效的论点,从不完整到包含明显可识别的逻辑错误。这一结论证实了解释的推理性质仍然缺乏形式化和理解,并且有必要在这一研究领域开展额外的工作,以改善解释金标准的构建方式。
2021-05-15 cs.AI cs.CL
Natural-Language Multi-Agent Simulations of Argumentative Opinion Dynamics
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出了一种基于自然语言主体的论证模型(ABMA)。它的人工慎思代理(ADA)是在人工智能和计算语言学中最近发展起来的所谓神经语言模型的帮助下构建的。ADA配备了一个最低限度的信念系统,并可能产生和提交新的贡献的对话。自然语言ABMA允许我们用英语模拟集体审议,即用论据、理由和主张本身,而不是用它们的数学表示(如在正式模型中)。本文使用自然语言ABMA来测试论证的正式理性平衡模型的鲁棒性[Maes & Flache 2013,Singer et al. 2019]:首先,只要ADA保持被动,确认偏差和同质更新就会触发极化,这与正式模型的结果一致。然而,一旦ADA开始积极地产生新的贡献,保守性的演变就由代理人 * 作为作者 * 的属性主导。这表明,创造新的论点,理由和主张对对话产生了关键性的影响,对于理解集体审议的动态具有至关重要的意义。论文最后指出了该模型的进一步富有成效的应用以及未来研究面临的挑战。
2021-04-14 cs.AI cs.CL cs.CY
Explaining Bayesian Networks in Natural Language using Factor Arguments. Evaluation in the medical domain
University of Aberdeen(阿伯丁大学)
本文提出基于因子论证的贝叶斯网络自然语言解释方法,引入因子论证独立性概念并给出排序算法,医学领域用户评估表明其理解有用性显著优于对比方法。
2024-10-23 cs.AI cs.LO
Robust and Explainable Identification of Logical Fallacies in Natural Language Arguments
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);armasuisse Science and Technology(瑞士联邦国防采购局科学技术部);Cyber-Defence Campus(网络防御园区)
本文构建检测、粗粒度与细粒度分类的三阶段逻辑谬误评估框架,结合可解释推理、知识注入、数据增强和课程学习,系统评估模型鲁棒性并开源代码数据。
2023-09-25 cs.AI cs.CL
Identifying Implicit Premises for Logical Reconstruction of Argument Graphs
University College London(伦敦大学学院)
本文针对论证图逻辑重构中省略式论证的隐含前提问题,提出神经符号管道方法,结合大型语言模型生成隐含前提并评估,用于证明陈述间的逻辑关系。
2026-08-20 cs.AI cs.CL
Argumentation theory for mathematical argument
University of Edinburgh(爱丁堡大学);University of Oxford(牛津大学);University of Brighton(布莱顿大学);University of Dundee(邓迪大学)
为了对数学论证进行充分的建模,分析师必须能够代表所讨论的数学对象及其之间的关系,以及随着话语的展开而对这些对象和关系做出的推论。我们介绍了一个框架,这些属性,已被用来分析数学对话和简要的文本。该框架可以在句子层面和句子内部恢复话语的突出元素,以及数学内容连接形成更大的论证结构的方式。我们将展示如何使用该框架来支持计算推理,并认为它提供了一种更自然的方式来检查证明定理的过程比Lamport的结构化证明。
2018-07-15 cs.AI cs.CL
Technical report of "Empirical Study on Human Evaluation of Complex Argumentation Frameworks"
TU Dresden(德累斯顿工业大学);Université Libre de Bruxelles(布鲁塞尔自由大学)
在抽象论证中,已经提出了多个论证语义,其允许从给定的论证框架中选择共同可接受的论证集合,即仅基于论证之间的攻击关系。多种论证语义的存在提出了这样一个问题,即这些语义中哪一种最能预测人类如何评价论证。以往的实证认知研究,已经测试了人类如何评估集的参数取决于它们之间的攻击关系已被限制到一个小的一组非常简单的论证框架,使一些语义研究的文献中不能有意义地区分这些研究。在本文中,我们报告的实证认知研究,克服了这些局限性,考虑到12个论证框架的三到八个参数。这些论证框架大多比以往研究中考虑的论证框架更复杂。所有12个论证框架系统地实例化与自然语言参数的基础上,一定的虚构的场景,和参与者都显示了自然语言参数和图形描述的攻击之间的关系。我们的数据表明,接地和CF2语义是最好的预测人类的论点评价。一个详细的分析表明,一部分参与者选择了一个认知上更简单的策略,预测非常好的接地语义,而另一部分的参与者选择了一个认知上更苛刻的策略,主要是预测以及CF2语义。
2019-02-27 cs.AI
Big-Big-SycoBench: A Benchmark to Detect Sycophancy Through Model Responses to Valid vs. Invalid Arguments
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec-SMIT
本研究推出Big-Big-SycoBench基准,通过论证辨别力测量大型语言模型的谄媚性,实验显示不同模型对有效论证的响应率和对无效论证的顺从率存在显著差异,该基准用于指导开发抗无根据压力的模型。
2026-10-14 cs.AI
ABDA-NL: A Natural-Language Scenario Explorer for Argument-Based Reasoning
Gonzaga University(贡萨加大学);Cardiff University(卡迪夫大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
ABDA-NL通过自然语言界面扩展了基于论证的推理系统,利用大型语言模型连接语言与形式化,同时保持确定性引擎作为论证和接受标签的唯一来源,支持交互式探索和用户验证。
2026-10-02 cs.AI cs.HC
The Argument Reasoning Comprehension Task: Identification and Reconstruction of Implicit Warrants
Technische Universität Darmstadt(达姆施塔特工业大学);Bauhaus-Universität Weimar(魏玛包豪斯大学)
推理是自然语言论证的重要组成部分。为了理解一个论证,我们必须分析它的根据,这解释了为什么它的主张是从它的前提得出的。由于论证是高度语境化的,因此论据通常是预先假定的,并且是隐含的。因此,理解不仅需要语言理解和逻辑技巧,而且还依赖于常识。在本文中,我们开发了一种方法来重建权证系统。我们在一个可扩展的众包过程中将其操作化,从而产生了一个免费许可的数据集,并从新闻评论中获得了2k个真实论点的保证。在此基础上,我们提出了一个新的具有挑战性的任务,论点推理理解任务。给定一个有一个主张和一个前提的论点,目标是从两个选项中选择正确的隐含保证。这两个理由都是合理的,词汇上也很接近,但却导致了相互矛盾的说法。这项任务的解决方案将为自动重建权证迈出实质性的一步。然而,几个神经注意和语言模型的实验表明,目前的方法是不够的。
2018-02-27 cs.AI cs.CL
A comprehensive study of LLM-based argument classification: from LLAMA through GPT-4o to Deepseek-R1
Faculty of Computer Science, Electronics, and Telecommunications AGH University of Krakow(计算机科学、电子与电信学院AGH克拉科夫大学);Faculty of Humanities AGH University of Krakow(人文学院AGH克拉科夫大学);Institute of Mathematics University of Silesia(数学学院桑特学院)
本文在Args.me、UKP等论证数据集上评测GPT、Llama、DeepSeek及Chain-of-Thoughts推理增强模型,发现GPT-4o整体最佳、Deepseek-R1在推理模型中领先,并分析错误与提示算法及数据集缺陷。
2025-07-24 cs.AI cs.CL
Causal Intervention-based Prompt Debiasing for Event Argument Extraction
East China Normal University(华东师范大学);Fudan University(复旦大学)
在信息抽取任务中,特别是在低数据量的情况下,基于特征的方法变得越来越流行。通过将微调任务格式化为预训练目标,基于训练的方法有效地解决了数据稀缺问题。然而,以往的研究很少探讨不同的提示形成策略之间的差异。在这项工作中,我们比较了两种提示,基于名称的提示和基于本体的提示,并揭示了如何基于本体的提示方法优于其对应的zero-shot事件参数提取(EAE)。此外,我们分析了潜在的风险,基于本体的提示通过因果的观点,并提出了一个因果干预的debias方法。在两个基准测试上的实验表明,通过我们的debias方法的修改,基线模型变得更加有效和强大,在抵抗对抗攻击显着改善。
2022-10-04 cs.AI cs.CL
Parameterized Argumentation-based Reasoning Tasks for Benchmarking Generative Language Models
Bernoulli Institute of Mathematics, Computer Science and Artificial Intelligence, University of Groningen(伯努利数学、计算机科学和人工智能研究所,格罗宁根大学);Department of Information and Computing Sciences, Utrecht University(信息与计算科学系,乌得勒支大学)
本文提出一种参数化论证推理基准方法,通过动态生成不同复杂度的证人证言推理谜题评估生成式语言模型,发现当前最先进模型在低复杂度下即频繁出错,揭示其推理能力脆弱,为法律领域负责任AI设计提供依据。
2025-05-02 cs.AI cs.LG
The Effect of Preferences in Abstract Argumentation Under a Claim-Centric View
TU Wien(维也纳工业大学)
本文从主张中心的角度研究了偏好对抽象论证的影响。最近的工作表明,语义和计算属性可以改变时,推理是在索赔级别,而不是在参数级别,而在某些自然的限制(参数具有相同的索赔有相同的外向攻击),这些属性是保守的。我们现在研究这些影响时,此外,偏好必须考虑,并考虑四个突出的减少,以处理参数之间的偏好。正如我们将看到的,这些约简产生了不同类别的主张增强论证框架,并且在语义属性和计算复杂性方面表现不同。这加强了这样一种观点,即必须谨慎对待处理优惠的实际选择。
2022-04-28 cs.AI
A Logical Fallacy-Informed Framework for Argument Generation
EPFL(瑞士洛桑联邦理工学院)
本文提出FIPO框架,通过引入谬误分类损失并结合偏好优化方法引导LLMs生成逻辑合理的论证,在多个数据集上将谬误错误降低最多17.5%,人工评估也显示其生成质量显著优于现有基线。
2025-05-03 cs.AI cs.CL cs.LG
On the Graded Acceptability of Arguments in Abstract and Instantiated Argumentation
University of Groningen(格罗宁根大学);King's College London(伦敦国王学院)
本文开发了一个正式的理论的程度的理由的论点,这完全依赖于一个论证框架的结构,并可以成功地接口的方法,以实例化的论证。该理论分三步发展。首先,本文介绍了分级概括的两个关键概念的基础Dung的语义:自卫和无冲突。这导致了Dung语义的自然泛化,标准扩展根据它们满足的自卫和无冲突水平而被削弱或加强。本文研究了这些语义的不动点理论,建立了它们的存在性结果。其次,本文展示了如何分级语义很容易提供一种方法,参数排名,提供了一个新的贡献,最近不断增长的研究计划排名为基础的语义。第三,这种新的方法,以参数排名的应用和研究的背景下,实例化的论证框架,并在这样做是占一个简单的形式的累算的参数内的粪范式。最后,该理论与现有的方法进行了详细的比较。
2018-11-08 cs.AI
ARGORA: Orchestrated Argumentation for Causally Grounded LLM Reasoning and Decision Making
School of EE, KAIST, Daejeon, South Korea(韩国科学技术院电子工程学院);S2W Inc., Pangyo, South Korea(S2W公司)
ARGORA通过构建因果论证图,提升大语言模型在因果推理和决策中的准确性与修正能力。
2026-01-29 cs.AI
Harmonization of conflicting medical opinions using argumentation protocols and textual entailment - a case study on Parkinson disease
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
帕金森病是第二大常见的神经退行性疾病,影响欧洲120多万人。药物可用于治疗其症状,但疾病的确切原因尚不清楚,目前市场上没有治愈方法。为了更好地理解新发现与当前医学知识之间的关系,我们需要能够分析基于自然语言处理的已发表医学论文的工具,以及能够识别新发现与当前医学知识之间各种关系的工具。我们的工作旨在填补上述技术空白。为了识别医疗文档中的冲突信息,我们制定了文本蕴涵技术。为了封装现有的医学知识,我们依赖于本体。为了将本体论中的形式公理与医学文章中的自然文本连接起来,我们利用本体论的语言化技术。为了评估人类代理人之间关于医疗问题的分歧程度,我们依赖于模糊聚合。为了协调这种分歧,我们设计了一个多代理框架内的调解协议。
2016-07-27 cs.AI
Rejection in Abstract Argumentation: Harder Than Acceptance?
Massachusetts Institute of Technology(麻省理工学院)
本文提出拒绝条件(RCs)用于抽象论辩框架,将每个论证关联逻辑程序,分析其计算复杂性(含树宽),发现拒绝AFs具有高表达性,导致多项式层次较高层级的问题。
2024-08-20 cs.AI cs.CC cs.LO
Facets in Argumentation: A Formal Approach to Argument Significance
Department of Computer and Information Science, Linköping University, Sweden(林雪平大学计算机与信息科学系);Leibniz Universität Hannover, Germany(汉诺威莱布尼茨大学);Univ. Artois, CNRS, France(阿诺伊大学);CSAIL, Massachusetts Institute of Technology, USA(麻省理工学院计算机科学与人工智能实验室);DICE group, Paderborn University, Germany(波德生大学DICE小组)
该研究针对抽象论证框架中决策与枚举间推理成本高的问题,提出“面(facets)”概念用于刻画论证的重要性,证明其任务复杂度低于外延计数,并通过实验验证了可行性。
2025-05-16 cs.AI
Beyond Natural Language: An Agent-Native Language for Autonomous Science
ARA Lab(ARA实验室)
本文提出Lara,一种可机器检查的语言,将研究论证转化为可执行工件,实现自主科学中主张的自动化验证与审计,支持毫秒级状态重检,并在Lean 4中机械化元理论。
2026-09-23 cs.AI cs.PL
A Methodology for Incompleteness-Tolerant and Modular Gradual Semantics for Argumentative Statement Graphs
King’s College London(伦敦国王学院);Imperial College London(伦敦帝国学院);New Mexico State University(新墨西哥州立大学);Washington University in St. Louis(圣路易斯华盛顿大学)
提出一种针对论证陈述图的渐近语义新方法论,能容忍不完备信息并模块化利用QBAFs的GS,通过定义新属性并验证两个实例化的优势,展示了优于现有方法的特点。
2025-08-11 cs.AI
A Bayesian Approach to Direct and Inverse Abstract Argumentation Problems
Sun Yat-sen University(中山大学);Zhejiang University(浙江大学)
本文研究了一个基本的机制,如何检测参数之间的冲突给定的情感有关的可接受性的论点。为了解决这一问题,我们引入了抽象论证逆问题的概念。给定可接受参数的噪声集,它的目的是找到攻击关系,解释集合的可接受性语义。它是与传统的抽象论证问题相对应的直接问题的逆问题,其重点是在给定参数之间的攻击关系的情况下,根据语义找到可接受的参数集。我们给出了一个概率模型处理这两个问题的方式,是忠实的可接受性语义。从理论的角度来看,我们表明,一个解决方案的正问题和反问题是一个特殊的情况下的概率推断的模型。我们讨论了该模型提供了一个自然的语义扩展,以应付不确定的攻击概率分布的关系。从经验的角度来看,我们认为,它合理地预测个人的情绪有关的可接受性的论点。本文为可接受性语义数据驱动奠定了基础,为解决知识获取瓶颈提供了一种途径。
2021-01-27 cs.AI cs.LG cs.LO