Assessing Open-Source Large Language Models on Argumentation Mining Subtasks
Bundesdruckerei Gruppe GmbH（联邦印刷集团有限公司）；University of Potsdam（波茨坦大学）；Hasso Plattner Institute（哈索·普拉特纳研究院）
本研究评估四种开源大语言模型在论证挖掘两个子任务上的表现，在三个语料库上测试零样本和少样本能力，为计算论证研究提供参考。
2024-11-08 cs.CL
Can LLMs Judge Debates? Evaluating Non-Linear Reasoning via Argumentation Theory Semantics
Department of Computer Science, University of Arizona（亚利桑那大学计算机科学系）；CRIL CNRS & University of Artois（CNRS CRIL与阿维尼昂大学）
本文研究大语言模型能否在仅给定对话文本、无法访问论证图的情况下近似计算定量论证辩论（QuAD）语义，发现模型仅达到中等一致性，且长输入或话语流打乱会降低性能，而思维链和上下文学习等高级提示可缓解长度与位置偏差。
2025-09-19 cs.CL
Can formal argumentative reasoning enhance LLMs performances?
Brunel University London（伦敦布鲁内尔大学）；University of Lincoln（林肯大学）
本文提出MQArgEng流水线，将计算论证语义引入大语言模型，以提升其推理与对话性能；基于MT-Bench的初步实验表明该方法在多数主题类别中带来适度性能提升，验证了其可行性。
2024-05-16 cs.AI cs.CL
LLMs as Strategic Actors: Behavioral Alignment, Risk Calibration, and Argumentation Framing in Geopolitical Simulations
Mantisanalytics
本文研究了大语言模型在地缘政治模拟中的行为表现，发现其在初期能模拟人类决策，但随时间推移表现出不同的策略特征，且在论证框架上偏向规范性与合作性。
2026-03-02 cs.AI cs.CL cs.CY
NomicLaw: Emergent Trust and Strategic Argumentation in LLMs During Collaborative Law-Making
本文提出NomicLaw多智能体模拟框架，研究LLM在协作立法中的信任、互惠与策略性论证行为，实验显示智能体自发结盟、背叛并调整言辞影响决策，揭示其社交推理与说服潜力。
2025-08-07 cs.AI
Enhancing Conflict Resolution in Language Models via Abstract Argumentation
School of Philosophy, Zhejiang University（浙江大学哲学系）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；The State Key Lab of Brain-Machine Intelligence（脑机智能国家重点实验室）
针对大语言模型难以处理信息不完整/不一致引发冲突的问题，本文结合抽象论证框架构建带计算过程解释的数据集微调模型，提升了冲突解决泛化准确率与模型透明度。
2025-11-13 cs.AI
Teaching LLMs Human-Like Editing of Inappropriate Argumentation via Reinforcement Learning
Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究所）
本文通过强化学习方法使LLMs学会进行类人化的文本编辑，提升论证适当性。方法生成可独立接受或拒绝的句子级编辑建议，通过多组件奖励函数优化语义相似性、流畅性和论证适当性。
2026-04-14 cs.CL
ArgInstruct: Specialized Instruction Fine-Tuning for Computational Argumentation
Leibniz University Hannover（汉诺威莱比锡大学）
本研究提出面向计算论证领域的专用指令微调方法ArgInstruct，通过构建105个任务的CA基准和52k条指令训练模型，显著提升了LLM在已见和未见CA任务上的表现，同时保持通用NLP任务性能稳定。
2025-05-28 cs.CL
Tackling the Root of Misinformation by Teaching Laypeople about Logical Fallacies via Socratic Questioning and Critical Argumentation
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
提出LFTutor智能辅导系统，利用大语言模型结合苏格拉底式提问和批判性论证原则，帮助外行人学习识别逻辑谬误，显著优于基线模型。
2026-05-31 cs.AI cs.LG
Parameterized Argumentation-based Reasoning Tasks for Benchmarking Generative Language Models
Bernoulli Institute of Mathematics, Computer Science and Artificial Intelligence, University of Groningen（伯努利数学、计算机科学和人工智能研究所，格罗宁根大学）；Department of Information and Computing Sciences, Utrecht University（信息与计算科学系，乌得勒支大学）
本文提出一种参数化论证推理基准方法，通过动态生成不同复杂度的证人证言推理谜题评估生成式语言模型，发现当前最先进模型在低复杂度下即频繁出错，揭示其推理能力脆弱，为法律领域负责任AI设计提供依据。
2025-05-02 cs.AI cs.LG
ArgMed-Agents: Explainable Clinical Decision Reasoning with LLM Disscusion via Argumentation Schemes
Hubei University of Technology（湖北工业大学）
本文提出ArgMed-Agents多智能体框架，通过临床讨论论证方案实现LLM的可解释临床决策推理，在提升复杂临床决策准确性的同时为用户提供增强信心的决策解释。
2024-12-28 cs.AI cs.MA cs.SC
Leveraging Large Language Models for Causal Discovery: a Constraint-based, Argumentation-driven Approach
Department of Computing（计算系）；Imperial College London（帝国理工学院伦敦分校）
本文提出利用大语言模型作为不完美的专家，结合语义结构先验和条件独立性证据，实现因果发现的先进方法。
2026-08-12 cs.AI
DeceptionAnalyser: A Web-Based AI Tool for Performing Structured Deception Analysis with Argumentation Schemes and LLMs
University of Lincoln（林肯大学）；University of the Basque Country（巴斯克大学）；University of Liverpool（利物浦大学）
本文提出十个论证方案及DeceptionAnalyser工具，结合大型语言模型进行结构化欺骗分析，通过前提提取和关键问题评估实现透明可解释的欺骗检测，并在多个模型上验证了可靠性。
2026-09-22 cs.AI cs.HC
Language is Scary when Over-Analyzed: Unpacking Implied Misogynistic Reasoning with Argumentation Theory-Driven Prompts
University of Bologna（博洛尼亚大学）；University of Groningen（格罗宁根大学）
本文将厌女检测重构为论证推理任务，利用论证理论驱动的提示（含思维链和增强知识）探究大语言模型在英意双语中补全厌女隐含推理的能力，发现模型主要依赖内化刻板印象而非归纳推理。
2024-09-04 cs.CL cs.SI
Benchmarking LLMs for Mimicking Child-Caregiver Language in Interaction
ENS, PSL Research University, EHESS, CNRS, France（巴黎社会科学高等学院、巴黎综合理工研究大学、高等社会科学研究院、法国国家科学研究中心）
该研究通过静态和交互式基准测试考察LLM模拟儿童-照料者互动语言的能力，发现前沿LLM可在词汇话语层面近似对话但存在话语模式、对齐及多样性缺陷，旨在推动儿童应用LLM综合基准开发。
2025-08-30 cs.AI cs.CL
WebWalker: Benchmarking LLMs in Web Traversal
Alibaba Group（阿里巴巴集团）
针对传统搜索引擎检索内容浅显限制LLM处理复杂信息的问题，提出WebWalkerQA基准及多智能体框架WebWalker，通过探索-评估范式模拟人类网页导航，实验证明其结合RAG在真实场景中有效。
2025-08-10 cs.AI cs.CL
TituLLMs: A Family of Bangla LLMs with Comprehensive Benchmarking
Hishab Singapore Pte. Ltd（Hishab新加坡私人有限公司）；University of Central Florida（中央佛罗里达大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
本文提出首个大规模预训练孟加拉语大语言模型家族 TituLLMs（1b 和 3b），通过扩展 Llama-3.2 分词器并构建五个基准数据集，验证其在多数任务上优于初始多语言版本，为低资源语言模型适配奠定基础。
2025-06-05 cs.AI cs.CL
Evaluating the Capabilities of LLMs for Persuasive Dialogue
University of Liverpool（利物浦大学）；The Alan Turing Institute（阿兰·图灵研究所）；University of Leeds（利兹大学）
该研究推出多智能体对话平台\textsc{Persuasio}，通过192场辩论发现LLMs主观说服力强但形式论证能力弱，人类在形式判定中仍具竞争力，二者存在系统性差距。
2026-09-01 cs.CL
Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；University of Rome Tor Vergata（罗马第二大学）
本文提出Dialectic-RAG（DRAG）框架，通过论证性解释和辩证推理解决多语言检索增强生成中的知识冲突问题，实验证明其能以低算力开销显著提升RAG性能并增强对知识扰动的鲁棒性。
2025-04-07 cs.CL
IntelliProof: An Argumentation Network-based Conversational Helper for Organized Reflection
本文提出基于LLM的交互式议论文分析系统IntelliProof，通过构建论证图、提供分类依据与连贯性量化指标、配套可视化与自然语言理解工具，在保留人类监督的前提下辅助用户评估论证质量，弥合论证结构与文本理解的鸿沟。
2025-11-18 cs.CL
Benchmarking Contextual and Paralinguistic Reasoning in Speech-LLMs: A Case Study with In-the-Wild Data
Institute of Infocomm Research (I 2 R)（信息通信研究所）
针对语音大语言模型在副语言推理上的不足，提出CP-Bench基准，通过两个QA数据集评估模型整合言语与非言语线索的能力，揭示现有评估空白，为构建情感智能语音模型提供方向。
2025-09-24 cs.AI cs.CL
SeaExam and SeaBench: Benchmarking LLMs with Local Multilingual Questions in Southeast Asia
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Singapore Management University（新加坡管理大学）
本研究针对东南亚（SEA）应用场景提出SeaExam和SeaBench两个新型基准，基于本地真实场景构建而非英文翻译，能更有效区分大语言模型在东南亚语言任务上的表现，为评估其区域能力提供新工具。
2025-02-10 cs.AI cs.CL
DayDreamer at CQs-Gen 2025: Generating Critical Questions through Argument Scheme Completion
School of Informatics, University of Edinburgh（信息学院，爱丁堡大学）
本文提出利用大型语言模型和思维链提示，基于沃尔顿论证方案补全生成关键问题，并在CQs-Gen 2025共享任务中取得有竞争力的性能，以促进批判性思维。
2025-05-21 cs.AI cs.CL
Benchmarking LLMs' Mathematical Reasoning with Unseen Random Variables Questions
The Hong Kong Polytechnic University（香港理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Tencent Youtu Lab（腾讯优图实验室）；Beihang University（北京航空航天大学）；Simon Fraser University（西蒙弗雷泽大学）
针对现有数学基准的可靠性问题，提出RV-Bench方法，通过生成随机变量问题评估LLM的真实推理能力，发现模型在已见和未见数据分布上的能力不平衡，且推理泛化有限但可通过测试时扩展提升。
2026-06-24 cs.AI cs.CL
API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs
IBM Research（IBM研究院）
针对工具增强型大语言模型缺乏API调用数据的问题，论文提出API-BLEND语料库，通过整理并转换现有数据集覆盖API检测、槽位填充和排序等任务，可用于训练与系统基准测试。
2024-05-20 cs.AI cs.CL
CANDY: Benchmarking LLMs' Limitations and Assistive Potential in Chinese Misinformation Fact-Checking
School of Cyber Science and Engineering, Sichuan University, China（四川大学网络科学与工程学院）；College of Computer Science, Sichuan University, China（四川大学计算机学院）；Institute of Data Science, National University of Singapore, Singapore（新加坡国立大学数据科学研究所）
本研究提出用于评估LLM中文虚假信息事实核查能力的基准CANDY，构建约2万条标注数据集，发现现有LLM即使经思维链等增强仍存在局限，事实捏造是主要失效模式，但作为辅助工具可有效提升人类表现。
2025-09-04 cs.AI cs.CL
Argumentative Large Language Models for Explainable and Contestable Claim Verification
Department of Computing, Imperial College London, UK（伦敦帝国学院计算机系）
本文提出论证大型语言模型（ArgLLMs），通过引入论证推理增强LLMs，使其决策可解释且可争议，通过实验验证其在主张验证任务中的性能。
2025-04-18 cs.AI cs.CL
Benchmarking LLMs and SLMs for patient reported outcomes
ENS Paris-Saclay（巴黎萨克雷高等师范学校）；Hôpital Européen Georges Pompidou（欧洲乔治·蓬皮杜医院）
本研究在放射治疗背景下，对 SLMs 与 LLMs 在总结患者报告 Q&A 表格方面的精确度和可靠性进行了基准测试，突显了 SLMs 在高风险医疗任务中的潜力与局限，有助于推动高效且保护隐私的 AI 医疗解决方案。
2024-12-20 cs.AI cs.CL
Cultural Benchmarking of LLMs in Standard and Dialectal Arabic Dialogues
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；IBM Research AI（IBM人工智能研究）；American University in the Emirates（阿联酋美国大学）
本文提出ArabCulture-Dialogue数据集，涵盖13国阿拉伯语及方言，通过三种任务评估模型在文化推理、翻译和方言引导生成中的表现，发现方言设置下模型性能仍低于标准阿拉伯语。
2026-04-30 cs.AI cs.CL
PTXBench: Benchmarking and Adapting LLMs for GPU Kernel Optimization with Architecture-specific PTX
Carnegie Mellon University（卡内基梅隆大学）；RadixArk；Stanford University（斯坦福大学）
研究提出PTXBench基准测试，评估LLM结合架构特定PTX优化GPU内核的能力，发现现有模型能力不均衡，经微调Qwen3.6-27B可改善部分任务但泛化仍不均，该基准为相关研究提供可审计测试平台。
2026-09-29 cs.AI cs.CL
Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models
Ghent University（根特大学）；University of Helsinki（赫尔辛基大学）
本研究通过让五种前沿语言模型与人类玩家玩卡牌对战游戏，评估大语言模型在幽默对齐方面的表现，发现模型在幽默判断上与人类偏好不一致，可能受系统性偏差影响。
2026-04-09 cs.AI cs.CL
Flames: Benchmarking Value Alignment of LLMs in Chinese
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出中文价值对齐基准Flames，结合无害性原则与和谐等中国道德维度设计对抗性提示，评估17个主流大模型并开发轻量级评分器，揭示了现有模型在安全与公平维度的缺陷。
2024-05-22 cs.AI cs.CL
Persona-Augmented Benchmarking: Evaluating LLMs Across Diverse Writing Styles
Carnegie Mellon University（卡内基梅隆大学）；Amazon AWS（亚马逊AWS）
本研究通过人物角色提示重写评估提示，发现写作风格显著影响LLM性能，并提出可扩展的基准增强方法以提升评估外部有效性。
2025-09-25 cs.AI cs.CL
Assessing LLM Reasoning Through Implicit Causal Chain Discovery in Climate Discourse
Department of Computer Science, KU Leuven（卢森堡大学计算机科学系）；Institute of Argumentation, Linguistics, and Semiotics (IALS)（论证、语言学与象征学研究所）
本文通过隐含因果链发现任务评估 LLM 的因果推理能力，发现其生成的因果步骤数量和粒度存在差异，但主要依赖关联模式匹配而非真实因果推理。
2026-03-18 cs.AI cs.CL
ResearchCodeBench: Benchmarking LLMs on Implementing Novel Machine Learning Research Code
Stanford University（斯坦福大学）
本文提出包含212个编码挑战的ResearchCodeBench基准，评估LLMs实现2024-2025年顶级ML论文代码的能力，发现最佳模型成功率不足40%，其中Gemini-2.5-Pro-Preview以37.3%领先。
2025-06-02 cs.AI cs.CL
Benchmarking Cognitive Domains for LLMs: Insights from Taiwanese Hakka Culture
National United University（联合大学）；United Link Co., Ltd.（联科股份有限公司）
本研究基于Bloom分类法构建了评估LLMs客家文化知识的六维度认知基准，并验证了RAG技术在提升事实检索准确性方面的有效性与在创造性任务中的局限性。
2024-09-25 cs.AI cs.CL
DentalBench: Benchmarking and Advancing LLMs Capability for Bilingual Dentistry Understanding
Zhejiang University（浙江大学）；ZJU-Angelalign R&D Center for Intelligence Healthcare（浙江大学智能医疗研发中心）
本文构建首个双语牙科基准 DentalBench，通过 DentalQA 与 DentalCorpus 评估 14 个 LLM，并证明领域适应可显著提升牙科理解性能。
2025-08-28 cs.AI cs.CL
Federated Multilingual Speech-LLMs: Architecture and Aggregation Strategy Benchmarking
Telefónica Innovación Digital, Scientific Research（西班牙电信数字创新研究院）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universidad Autónoma de Madrid（马德里自治大学）
针对多语言语音识别，提出联邦学习基准，评估四种语音-大语言模型架构，发现独立调整学习率和三组件适配可获最佳效果，FedProx有效性依赖架构，为隐私敏感分布式部署提供设计指导。
2026-09-22 cs.AI cs.CL
Mis-prompt: Benchmarking Large Language Models for Proactive Error Handling
East China Normal University（东华大学）；Beihang University（北航）；Shanghai Jiaotong University（上海交通大学）
本文提出新基准Mis-prompt，通过四项任务、错误分类法及数据集评估LLMs在无明确指令下的主动错误处理能力，发现当前模型表现不佳且SFT可提升该能力。
2025-05-29 cs.AI cs.CL
HypoTermQA: Hypothetical Terms Dataset for Benchmarking Hallucination Tendency of LLMs
Middle East Technical University（中东技术大学）
本文提出HypoTermQA框架与数据集，通过LLM生成假设性现象任务并以智能体方式进行幻觉检测，实现领域无关的自动化可扩展基准测试，用于评估和改进LLMs的幻觉倾向。
2024-02-25 cs.CL
Beyond Specialization: Benchmarking LLMs for Transliteration of Indian Languages
Aligarh Muslim University（阿里格尔穆斯林大学）；Nanyang Technological University（南洋理工大学）；VIT Bhopal University（维特博帕尔大学）
该研究系统评估了GPT-4o等大语言模型与专门模型IndicXlit在十种印度语言音译任务上的表现，发现GPT系列模型普遍更优，微调可进一步提升特定语言性能，展示了基础模型在专业应用中的潜力。
2025-05-26 cs.AI cs.CL
MathOdyssey: Benchmarking Mathematical Problem-Solving Skills in Large Language Models Using Odyssey Math Data
University of Liverpool（利物浦大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Mathematica Policy Research（Mathematica政策研究公司）；AGI Odyssey（AGI奥德赛）
本研究提出MathOdyssey数据集，用于基准测试LLMs的数学问题解决能力，发现模型在奥林匹克级和复杂大学问题上表现不佳，开源与闭源模型差距缩小。
2024-06-26 cs.AI cs.CL
Benchmarking the Detection of LLMs-Generated Modern Chinese Poetry
NLP 2 CT Lab, Department of Computer and Information Science, University of Macau（计算机与信息科学系，澳门大学）；Department of Portuguese, Faculty of Arts and Humanities, University of Macau（文学与人文学院，澳门大学）
针对AI生成中国现代诗歌难检测、扰乱诗歌生态的问题，本文构建含专业诗人作品与主流LLM生成作品的高质量数据集，提出新型检测基准，经多检测器评估发现现有工具检测可靠性不足，为后续研究奠基。
2025-09-01 cs.AI cs.CL
Advancing and Benchmarking Personalized Tool Invocation for LLMs
University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出个性化工具调用概念，定义工具偏好和依赖用户画像的查询两项任务，设计PTool数据合成框架并构建首个基准PTBench，通过微调开源模型验证了框架有效性。
2025-05-07 cs.AI cs.CL
Benchmarking LLMs via Uncertainty Quantification
Tencent AI Lab（腾讯AI实验室）；University College London（伦敦大学学院）；University of Macau（澳门大学）
针对现有大语言模型评估平台忽略不确定性维度的问题，本研究提出融合不确定性量化的基准测试方法，通过9个LLM系列在5项NLP任务上的测试，揭示了准确率与确定性、模型规模与不确定性、指令微调与不确定性的关联，凸显了不确定性评估的重要性。
2024-10-31 cs.CL
Evaluating LLM-Driven Summarisation of Parliamentary Debates with Computational Argumentation
School of Computer Science, University College Dublin（都柏林大学计算机科学学院）；School of Politics and International Relations, University College Dublin（都柏林大学政治与国际关系学院）；Department of Informatics, King’s College London（伦敦国王学院信息学院）
本文提出一种评估议会辩论总结的框架，通过计算论证方法评估总结对辩论论证内容的忠实性，以欧洲议会辩论为例验证方法有效性。
2026-06-23 cs.CL
Do You Get the Hint? Benchmarking LLMs on the Board Game Concept
CLiPS, University of Antwerp（CLiPS，安特卫普大学）
本文通过棋盘游戏Concept测试LLMs的演绎推理能力，发现人类易解而LLMs表现不佳，尤其在低资源语言中更差。
2026-01-06 cs.CL
Joint Effects of Argumentation Theory, Audio Modality and Data Enrichment on LLM-Based Fallacy Classification
University of Groningen（格罗宁根大学）
本文研究了上下文与情感语调元数据对LLM在政治辩论谬误分类中的影响，发现引入理论思维链框架虽提升可解释性，但增加上下文和音频情感元数据常因注意力分散导致性能下降。
2025-09-14 cs.CL
Beyond Benchmarking: A New Paradigm for Evaluation and Assessment of Large Language Models
针对现有大语言模型基准存在的内容受限、更新滞后、缺优化指导等问题，提出Benchmarking-Evaluation-Assessment新范式，将评估从“考场”模式转为“体检”模式，可深度归因问题并提供优化建议。
2024-07-10 cs.CL
Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries
University of Milano–Bicocca（米兰比可卡大学）
针对多LLM委员会在持续对抗者下的置信度校准与稳健性问题，提出贝叶斯辩证论证（BDA），通过建模类型化动作和每智能体可靠性，实现校准后验概率并反转不可靠智能体，在零成本方法中校准最优且鲁棒。
2026-10-02 cs.AI
Factuality or Fiction? Benchmarking Modern LLMs on Ambiguous QA with Citations
本文在带引用的模糊问答任务上对GPT-4o-mini和Claude-3.5进行基准测试，发现模型在多有效答案和引用生成（准确率为0）上表现不佳，但冲突感知提示能显著改善这些问题。
2024-12-23 cs.CL
Bag of Tricks: Benchmarking of Jailbreak Attacks on LLMs
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Guangzhou HKUST Fok Ying Tung Research Institute（广州香港科技大学霍英东研究院）；The Hong Kong University of Science and Technology（香港科技大学）；AI Thrust（AI 方向）
本研究提出JailTrickBench基准，系统评估越狱攻击的八个关键因素，并在防御增强型LLM上进行大规模实验，强调标准化评估的重要性。
2024-11-06 cs.AI cs.CL cs.CR
TRUCE: Private Benchmarking to Prevent Contamination and Improve Comparative Evaluation of LLMs
Microsoft Research India（微软研究院印度分部）
针对大语言模型基准测试数据污染导致评估失效的问题，提出私有基准测试方案，构建端到端系统TRUCE，结合机密计算与密码学实现低开销的保密评估，并探讨基准审计方案保障数据质量。
2024-06-24 cs.CL cs.CR
Critical Questions Generation: Motivation and Challenges
HiTZ Center - Ixa（HiTZ中心 - Ixa）
本文提出批判性问题生成任务，利用LLMs在不依赖外部知识的情况下质疑论证盲点，并通过模板实例化与LLMs生成两种方法构建参考数据集，验证了方法的可行性及改进空间。
2024-10-18 cs.CL
