Evaluating open-source Large Language Models for automated fact-checking
Politecnico di Milano（米兰理工大学）；CENTAI
本研究通过三项实验评估开源大语言模型在自动化事实核查中的表现，发现其在识别声明与文章关联及核查已核查内容方面表现良好，但确认事实性新闻时不及RoBERTa等微调模型，且外部知识帮助有限，表明LLMs尚需改进才能替代人工核查。
2025-03-07 cs.CL cs.CY
CTRAG: An In-Context Retrieval-based Framework for Automated Compliance Checking using LLMs
Bristol Research and Innovation Laboratory (BRIL)（布里斯托尔研究与创新实验室（BRIL））；Toshiba Europe Ltd.（东芝欧洲有限公司）；Queen’s University Belfast（贝尔法斯特女王大学）
本文提出基于RAG的CTRAG框架，通过自适应分块、动态检索配置等策略实现自动化合规检查，在四大会计师事务所POC中F1达78%、召回85%，可减少手动工作量并提升监管信任。
2026-08-04 cs.CL
Automated Fact-Checking of Climate Change Claims with Large Language Models
University of Zürich（苏黎世大学）；Swiss Finance Institute（瑞士金融学院）；World Meteorological Organization（世界气象组织）；ETH Zürich（苏黎世联邦理工学院）；Swiss Federal Research Institute WSL（瑞士联邦森林、雪与景观研究所）；University of Oxford（牛津大学）；Council on Economic Policies（经济政策委员会）
本文提出 Climinator，借助多 LLM 与 Mediator-Advocate 框架综合权威证据和对立观点，实现气候变化主张的自动化事实核查，并在相关数据集上验证其收敛于科学共识的能力。
2024-01-23 cs.CL
Zero-shot and Few-shot Learning with Instruction-following LLMs for Claim Matching in Automated Fact-checking
Queen Mary University of London（伦敦玛丽女王大学）
本研究首次探索基于遵循指令的LLM的零样本和少样本学习方法，通过将其视为二分类任务并利用自然语言推理等成熟任务，解决自动事实核查中的声明匹配问题，同时发布了新数据集ClaimMatch及评估流程。
2025-02-28 cs.AI cs.CL
Evidence-backed Fact Checking using RAG and Few-Shot In-Context Learning with LLMs
IIT Kharagpur（印度理工学院克勒格布尔分校）；Aditya English Medium School（阿迪蒂亚英语中学）；UCLA（加利福尼亚大学洛杉矶分校）；Stanford University（斯坦福大学）；University of South Carolina（南卡罗来纳大学）；Amazon GenAI（亚马逊生成式AI部门）
针对社交媒体错误信息泛滥、人工核查困难的问题，提出结合RAG流水线与LLM少样本上下文学习的自动化事实核查系统，可输出真实性判断及支撑证据，在Averitec数据集上较基线得分提升22%。
2024-10-04 cs.AI cs.CL
Interpretable Unified Language Checking
Centre for Perceptual and Interactive Intelligence（感知与交互智能研究中心）
本文提出可解释的统一语言检查方法UniLC，通过简单的少样本统一提示集，使LLMs在事实核查、刻板印象和仇恨言论检测等多任务上超越全监督基线，成为自适应且可解释的检测工具。
2023-04-07 cs.CL
Tell Me Why: Explainable Public Health Fact-Checking with Large Language Models
School of Computing, Dublin City University（都柏林城市大学计算机学院）；Iran University of Science and Technology（伊朗科技大学）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）；Lucerne School of Computer Science and Information Technology（卢塞恩计算机科学与信息技术学院）
本文通过实验分析大语言模型在公共卫生事实核查中的可解释性，比较零/少样本提示与参数高效微调，发现开源模型在少样本和微调下可超越GPT-4，并揭示人工评估中的细微差别。
2024-05-15 cs.CL
Resolving Conflicting Evidence in Automated Fact-Checking: A Study on Retrieval-Augmented LLMs
Singapore University of Technology and Design（新加坡科技设计大学）；University of Cambridge（剑桥大学）
本研究首次系统评估了检索增强大语言模型在冲突证据下的事实核查性能，构建了CONFACT数据集，并证明整合来源可信度能显著提升模型解决冲突和核查事实的能力。
2025-05-23 cs.CL cs.IR
KG-CRAFT: Knowledge Graph-based Contrastive Reasoning with LLMs for Enhancing Automated Fact-checking
Universidade Federal Fluminense（联邦Fluminense大学）；Amazon（亚马逊）；City St George’s, University of London（伦敦大学圣乔治学院）
KG-CRAFT通过结合知识图谱和大语言模型，提升自动事实核查的准确性与性能。
2026-01-27 cs.AI cs.CL
FactGenius: Combining Zero-Shot Prompting and Fuzzy Relation Mining to Improve Fact Verification with Knowledge Graphs
Simula Metropolitan Center for Digital Engineering（模拟元数字工程中心）
针对传统事实验核方法依赖人工数据整理、规则化的局限，研究提出FactGenius方法，结合大语言模型零样本提示与知识图谱模糊匹配，经DBpedia优化关联，在FactKG基准上性能优于现有基线，为鲁棒事实验核提供新工具。
2024-06-03 cs.CL
Cross-Lingual Learning vs. Low-Resource Fine-Tuning: A Case Study with Fact-Checking in Turkish
Middle East Technical University（中东技术大学）；University of Tübingen（蒂宾根大学）
针对土耳其语事实核查数据集稀缺问题，研究构建了包含3238条声明的FCTR数据集，并评估了跨语言迁移学习及大模型上下文学习在低资源土耳其语事实核查中的有效性。
2024-03-22 cs.CL
FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking
The Hong Kong Polytechnic University（香港理工大学）
针对大语言模型知识滞后问题，本文提出FactLLaMA，结合外部证据检索与指令微调LLaMA，在RAWFC和LIAR数据集上实现最先进的事实核查性能。
2023-09-01 cs.AI cs.CL
Towards Automated Fact-Checking of Real-World Claims: Exploring Task Formulation and Assessment with LLMs
Technische Universität Berlin（柏林工业大学）；Deutsches Forschungszentrum für Künstliche Intelligenz（德国人工智能研究中心）；National Institute of Informatics（信息学研究所）；Harz University of Applied Sciences（哈尔茨应用技术大学）
针对传统人工事实核查慢且资源密集的问题，本研究用不同规模Llama-3模型在多标签方案下建立自动化事实核查基准，结合检索证据评估，发现大模型未微调性能优于小模型，小模型单样本性能可比微调小模型，为真实世界主张自动化核查提供参考。
2025-02-13 cs.AI cs.CL
One LLM to Train Them All: Multi-Task Learning Framework for Fact-Checking
University of Stavanger（斯塔万格大学）
本文提出多任务学习框架，通过微调单一模型提升事实核查任务的性能，实现声明检测、证据排名和立场检测的联合优化。
2026-01-16 cs.CL
Can LLMs Produce Faithful Explanations For Fact-checking? Towards Faithful Explainable Fact-Checking via Multi-Agent Debate
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Northwestern University（西北大学）
研究LLMs在事实核查中生成忠实解释的能力，提出多智能体辩论精炼（MADR）框架，通过多智能体迭代精炼显著提升解释的忠实度和可信度。
2024-02-12 cs.CL
Evaluating Evidence Attribution in Generated Fact Checking Explanations
The University of Melbourne（墨尔本大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对自动化事实核查解释的可信度问题，本研究探索证据归因，提出“引文掩码与恢复”评估协议，通过人类与LLM标注验证其可自动化，并发现最佳LLM仍存在归因不准确问题，人工证据对优质解释至关重要。
2025-02-11 cs.AI cs.CL
ZeFaV: Boosting Large Language Models for Zero-shot Fact Verification
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；VNU University of Information Technology（VNU信息技术大学）
本文提出ZeFaV零样本事实验证框架，利用大型语言模型的上下文学习能力提取声明中实体关系并重组证据信息生成上下文，在HoVer和FEVEROUS数据集上取得了与最先进方法相当的效果。
2024-11-18 cs.AI cs.CL
QuestGen: Effectiveness of Question Generation Methods for Fact-Checking Applications
Fremont High School（弗里蒙特高中）；University of Stavanger（斯塔万格大学）；Factiverse AI（Factiverse人工智能公司）
本文提出QuestGen，通过数据增强微调较小生成模型自动分解事实核查声明为问题，性能超越大模型最多8%，且机器生成问题的证据检索效果在部分场景优于人工问题。
2024-08-01 cs.CL
FactSim: Fact-Checking for Opinion Summarization
MercadoLibre São Paulo, Brazil（巴西圣保罗MercadoLibre）；MercadoLibre Cordoba, Argentina（阿根廷 CordobaMercadoLibre）
FactSim提出了一种全自动方法，用于评估意见摘要中生成内容的事实一致性，通过测量摘要声明与原始评论声明的相似性，提高事实核查的准确性。
2026-02-09 cs.CL
FACT-AUDIT: An Adaptive Multi-Agent Framework for Dynamic Fact-Checking Evaluation of Large Language Models
Hong Kong Baptist University（香港浸会大学）；National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）；Harbin Institute of Technology（哈尔滨工业大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出智能体驱动的框架FACT-AUDIT，利用重要性采样与多智能体协作动态生成数据集并执行迭代评估，结合理由生成与判定预测，全面审计大型语言模型的事实核查能力与可信度。
2025-03-02 cs.CL
Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models
Iowa State University（爱荷华州立大学）；Microsoft Research（微软研究院）；Tencent AI Lab（腾讯AI实验室）；University of Rhode Island（罗德岛大学）
本文提出Self-Checker框架，通过即插即用模块在几乎零样本设置下提示大语言模型进行事实核查，为低资源环境提供快速高效的事实核查系统构建方案。
2024-04-01 cs.CL
Automated Few-shot Classification with Instruction-Finetuned Language Models
University of Cambridge（剑桥大学）；Boson AI（玻色人工智能）；Amazon Web Services（亚马逊云科技）；New York University（纽约大学）
提出AuT-Few方法，利用指令微调语言模型的提示鲁棒性，通过提示检索和类别描述生成实现自动化少样本分类，在多个数据集和RAFT基准上超越现有方法且无需手工提示。
2023-10-21 cs.CL
Active PETs: Active Data Annotation Prioritisation for Few-Shot Claim Verification with Pattern Exploiting Training
Queen Mary University of London（伦敦玛丽女王大学）
为了减轻标签数据的稀缺性对事实核查系统的影响，我们专注于Few-Shot索赔验证。尽管最近通过提出先进的语言模型对Few-Shot分类进行了研究，但缺乏对数据注释优先级的研究，以提高对要标记的少数镜头的选择以获得最佳模型性能。我们提出了主动PET，一种新的加权方法，利用各种语言模型的基础上的模式开发训练（PET）模型的合奏，积极选择未标记的数据作为候选人的注释。使用主动PET进行Few-Shot数据选择，在两个技术事实检查数据集上使用六种不同的预训练语言模型，显示出与基线方法相比的一致改进。我们展示了Active PETs-o的进一步改进，它进一步集成了过采样策略。我们的方法可以有效地选择要标记的实例，其中未标记的数据丰富，但标记的资源有限，从而不断提高Few-Shot声明验证性能。我们的代码可用。
2022-10-11 cs.AI cs.CL
Automated Claim Matching with Large Language Models: Empowering Fact-Checkers in the Fight Against Misinformation
University of Southern California（南加州大学）
本研究提出FACT-GPT框架，利用大语言模型自动化事实核查中的声明匹配阶段，通过GPT-4生成训练数据微调专用模型，在公共卫生数据集上达到与大型预训练模型相当的性能，并提供公开资源。
2023-10-13 cs.CL cs.CY cs.HC
Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking
Hong Kong Baptist University（香港浸会大学）；The University of Hong Kong（香港大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）
研究多模态自动事实核查中基准的污染风险，通过实证研究静态和动态基准，发现动态评估虽能减少但不能消除污染，新主张可多种方式验证，污染会致性能膨胀和排名扭曲，为可信评估提供实用指南。
2026-07-28 cs.AI cs.CL cs.MM
Large Language Models Require Curated Context for Reliable Political Fact-Checking -- Even with Reasoning and Web Search
Stanford University（斯坦福大学）；Binghamton University（宾汉姆顿大学）；Texas A&M University（德克萨斯农工大学）；Indiana University（印第安纳大学）
大语言模型需通过筛选的上下文提升政治事实核查的可靠性，定制RAG系统显著提升宏F1指标。
2025-11-24 cs.CL cs.CY cs.IR
Automated Fact-Checking: A Survey
Queen Mary University of London（伦敦玛丽女王大学）；Taif University（塔伊夫大学）
随着网上虚假信息的不断增长，自动事实核查近年来受到了越来越多的关注。自然语言处理（NLP）领域的研究人员通过构建事实检查数据集、设计自动事实检查管道和提出NLP方法来进一步研究不同组件的开发，为这项任务做出了贡献。本文回顾了自动事实核查的相关研究，包括索赔检测和索赔验证组件。
2021-09-23 cs.CL
LCES: Zero-shot Automated Essay Scoring via Pairwise Comparisons Using Large Language Models
Deloitte Analytics R&D（德勤分析研究与开发）
本文提出LCES方法，将零样本自动作文评分转化为成对比较任务，并利用RankNet将LLM偏好高效转换为连续分数，在多个基准上以更低成本取得优于传统零样本方法的准确性和鲁棒性。
2025-09-21 cs.AI cs.CL
Revisiting Automated Prompting: Are We Actually Doing Better?
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；University of Oxford（牛津大学）
本文重新审视自动化提示技术，发现其在多个任务和K样本设置下并不始终优于手动提示，建议将手动提示作为基线。
2023-06-22 cs.CL cs.LG
A Survey on Automated Fact-Checking
University of Cambridge（剑桥大学）
由于信息和错误信息在现代媒体生态系统中的传播速度，事实核查变得越来越重要。因此，研究人员一直在探索如何将事实核查自动化，使用基于自然语言处理、机器学习、知识表示和数据库的技术来自动预测索赔的真实性。在本文中，我们调查自动事实检查源于自然语言处理，并讨论其相关的任务和学科的连接。在此过程中，我们将对现有的数据集和模型进行概述，旨在统一给出的各种定义并确定共同的概念。最后，我们强调了未来研究面临的挑战。
2022-06-06 cs.CL
Is GPT-4 Alone Sufficient for Automated Essay Scoring?: A Comparative Judgment Approach Based on Rater Cognition
KNUE（韩国国立教育大学）；Hoseo University（湖西大学）
针对 LLM 零样本作文评分不足且难以逐任务微调的问题，提出结合 LLM 与比较判断的零样本成对选择方法，并证明其优于传统评分标准法。
2024-07-08 cs.CL cs.CY
CANDY: Benchmarking LLMs' Limitations and Assistive Potential in Chinese Misinformation Fact-Checking
School of Cyber Science and Engineering, Sichuan University, China（四川大学网络科学与工程学院）；College of Computer Science, Sichuan University, China（四川大学计算机学院）；Institute of Data Science, National University of Singapore, Singapore（新加坡国立大学数据科学研究所）
本研究提出用于评估LLM中文虚假信息事实核查能力的基准CANDY，构建约2万条标注数据集，发现现有LLM即使经思维链等增强仍存在局限，事实捏造是主要失效模式，但作为辅助工具可有效提升人类表现。
2025-09-04 cs.AI cs.CL
FRACTURED-SORRY-Bench: Framework for Revealing Attacks in Conversational Turns Undermining Refusal Efficacy and Defenses over SORRY-Bench (Automated Multi-shot Jailbreaks)
Carnegie Mellon University（卡内基梅隆大学）
本文提出FRACTURED-SORRY-Bench框架，通过将有害查询分解为无害子问题生成多轮攻击，在多个GPT模型上实现攻击成功率最高提升46.22%，揭示现有LLM安全防御的脆弱性。
2024-11-07 cs.AI cs.CL
LLM-Assisted Automated Deductive Coding of Dialogue Data: Leveraging Dialogue-Specific Characteristics to Enhance Contextual Understanding
The University of Hong Kong（香港大学）
本研究提出一种LLM辅助的对话数据自动编码框架，利用交际行为与事件特征及多模型协作与一致性检查，显著提升了编码精度并有效应对上下文挑战。
2025-04-28 cs.CL cs.SI
Facts are Harder Than Opinions -- A Multilingual, Comparative Analysis of LLM-Based Fact-Checking Reliability
GESIS – Leibniz Institute for the Social Sciences（GESIS社会科学院研究所）；RWTH Aachen University（亚琛RWTH大学）；University of Graz（格拉茨大学）；Complexity Science Hub（复杂性科学中心）
本文构建含61,514项多语言多主题声明的可扩展数据集，评估五个主流LLM，发现语言与主题性能差距及事实型声明更易误判等可靠性问题。
2025-10-21 cs.CL cs.CY
Automated Fact Checking: Task formulations, methods and future directions
University of Sheffield（谢菲尔德大学）
最近对错误信息的关注增加了对事实核查的研究，这是一项评估索赔真实性的任务。自动化这项任务的研究已经在各种学科中进行，包括自然语言处理，机器学习，知识表示，数据库和新闻。虽然取得了实质性进展，但研究界发表的相关论文和文章往往互不了解，使用的术语也不一致，从而阻碍了理解和进一步进展。在本文中，我们调查了自动事实检查研究源于自然语言处理和相关学科，统一的任务制定和方法的论文和作者。此外，我们强调使用证据作为一个重要的区分因素，其中跨越任务的制定和方法。最后，我们提出了未来的自然语言处理研究自动事实检查的途径。
2018-09-05 cs.CL
Integrating Causal Reasoning into Automated Fact-Checking
EURECOM
本文提出一种结合事件关系提取、语义相似性计算和规则推理的方法，用于检测事实核查中事件链的逻辑不一致，提升裁决预测的可解释性。
2025-12-15 cs.CL
FACT-GPT: Fact-Checking Augmentation via Claim Matching with LLMs
University of Southern California（南加州大学）
FACT-GPT利用大语言模型自动化事实核查中的声明匹配，在合成数据上训练，能识别与已辟谣声明一致、矛盾或无关的内容，其准确性与更大模型相当并接近人类判断。
2024-02-08 cs.CL cs.CY cs.HC
Generating Scientific Claims for Zero-Shot Scientific Fact Checking
University of Copenhagen（哥本哈根大学）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
由于科学语言的复杂性和缺乏大量的训练数据，自动化的科学事实检查是困难的，因为注释需要领域专业知识。为了解决这一挑战，我们提出了科学的索赔生成，从科学的句子生成一个或多个原子和可验证的索赔的任务，并证明其实用性的zero-shot事实检查的生物医学索赔。我们提出了索赔BART，一个新的监督方法生成索赔文献支持，以及KBIN，一种新的方法生成索赔否定。此外，我们适应现有的无监督的实体为中心的索赔生成方法的生物医学索赔，我们称之为索赔实体。zero-shot事实检查的实验表明，CLAIMGEN-ENTITY和CLAIMGEN-BART，加上KBIN，实现了高达90%的性能完全监督模型训练手动注释的索赔和证据。一项严格的评估研究表明，与现有基线相比，生成的索赔和否定质量有了显著改善
2022-03-24 cs.CL
The Choice of Knowledge Base in Automated Claim Checking
ETH Zurich（苏黎世联邦理工学院）；University of Geneva（日内瓦大学）
自动索赔检查是确定索赔的真实性的任务，给出了在可信事实的知识库中找到的证据。虽然以前的工作已经采取了知识库作为给定的和优化的索赔检查管道，我们采取相反的方法-管道作为给定的，我们探索的知识库的选择。我们的第一个见解是，索赔检查管道可以转移到一个新的索赔领域，并可以访问新领域的知识库。其次，我们没有找到一个“普遍最好的”知识库-任务数据集和知识库的较高域重叠往往会产生更好的标签准确性。第三，组合多个知识库并不能提高性能，而只能使用最接近的领域知识库。最后，我们表明，索赔检查管道的选择证据的置信度得分可以用来评估知识库是否会表现良好的一组新的索赔，即使在没有地面真理标签。
2022-03-10 cs.CL
The Perils & Promises of Fact-checking with Large Language Models
University of Zurich（苏黎世大学）
本研究评估了大型语言模型（LLMs）在事实核查任务中的能力与局限，发现配备上下文信息可增强其表现，但准确率受查询语言和声明真实性影响，提示需谨慎使用并进一步研究。
2024-02-07 cs.CL cs.CY cs.HC
JustiLM: Few-shot Justification Generation for Explainable Fact-Checking of Real-world Claims
Singapore Management University（新加坡管理大学）
本文针对事实核查中理由生成被简化为摘要的问题，提出基于检索证据的JustiLM小样本方法，并发布ExClaim基准数据集，实验证明其能提升理由生成与真实性分类性能。
2024-01-16 cs.CL
The Intended Uses of Automated Fact-Checking Artefacts: Why, How and Who
University of Cambridge（剑桥大学）；Cardiff University（卡迪夫大学）
该研究针对自动化事实核查领域论文普遍模糊其预期用途的问题，通过分析100篇高被引论文的认知要素，揭示了相关叙事缺陷及危害，并提出了改进建议。
2023-11-08 cs.CL
A Richly Annotated Corpus for Different Tasks in Automated Fact-Checking
Technische Universität Darmstadt（达姆施塔特工业大学）
基于机器学习的自动事实核查是一种很有前途的方法来识别网络上的虚假信息。为了达到令人满意的性能，机器学习方法需要一个大的语料库，在事实检查过程中的不同任务的可靠注释。在分析了现有的事实核查语料库后，我们发现没有一个完全符合这些标准。它们要么太小，不提供详细的注释，要么仅限于单个域。出于这一差距，我们提出了一个新的大规模的混合域语料库的注释质量良好的核心事实检查任务：文件检索，证据提取，立场检测和索赔验证。为了帮助未来的语料库建设，我们描述了我们的语料库创建和注释的方法，并证明它会导致大量的注释者之间的协议。作为未来研究的基线，我们在我们的语料库上进行实验，使用了一些在类似问题设置中达到高性能的模型架构。最后，为了支持未来模型的开发，我们为每个任务提供了详细的错误分析。我们的研究结果表明，我们的数据所定义的现实，多域设置现有的模型提出了新的挑战，为未来的系统提供了相当大的改进机会。
2019-10-29 cs.CL
Fully Automated Fact Checking Using External Sources
Sofia University “St. Kliment Ohridski”（索非亚大学）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）
鉴于近年来网上虚假声明的不断增长，自动区分虚假谣言和真实声明的研究兴趣也越来越大。在这里，我们提出了一个通用的框架，使用外部资源进行全自动的事实检查，挖掘整个网络的潜力作为一个知识来源，以确认或拒绝索赔。我们的框架使用带有LSTM文本编码的深度神经网络，将语义内核与特定于任务的嵌入相结合，这些嵌入将声明与来自Web的潜在相关文本片段一起编码，同时考虑源可靠性。评估结果表明，在两个不同的任务和数据集上表现良好：（i）谣言检测和（ii）社区问答论坛中问题答案的事实检查。
2017-10-01 cs.CL
FacTeR-Check: Semi-automated fact-checking through Semantic Similarity and Natural Language Inference
Universidad Politecnica de Madrid（马德里理工大学）；Universidad Rey Juan Carlos de Madrid（马德里胡安·卡洛斯国王大学）
我们的社会通过在线社交网络（OSN）产生和共享大量信息。在这种环境下，错误信息和虚假信息激增，成为大多数国家的公共安全问题。允许公众和专业人士有效地找到关于索赔事实真实性的可靠证据是减轻这种有害传播的关键一步。为此，我们提出了FacTeR-Check，一种用于半自动事实检查的多语言架构，可用于为公众设计的应用程序和事实检查组织。FacTeR-Check可以检索经过事实检查的信息、未经检查的索赔验证以及通过社交媒体跟踪危险信息。该体系结构涉及几个模块开发，以评估语义相似性，计算自然语言推理和检索信息，从在线社交网络。所有这些组件的结合构建了一个半自动化的事实检查工具，能够验证新的索赔，提取相关证据，并跟踪OSN上骗局的演变。虽然单个模块在相关基准测试（主要是MSTS和SICK）上进行了验证，但完整的架构是使用名为NLI 19-SP的新数据集进行验证的，该数据集与来自西班牙社交媒体的COVID-19相关恶作剧和推文一起公开发布。我们的研究结果显示了在各个基准测试中最先进的性能，并对61种不同恶作剧的演变进行了有用的分析。
2022-02-16 cs.CL
Explainable Automated Fact-Checking: A Survey
Imperial College London（帝国理工学院）
由于越来越大的数据集和更强大的系统，自动事实检查已经取得了许多令人兴奋的进展，从而提高了索赔的复杂性，可以准确地进行事实检查。然而，尽管取得了这些进展，事实核查管道仍然缺少一些理想的功能。在本调查中，我们关注的是解释功能--即事实核查系统为他们的预测提供理由。我们总结了现有的方法来解释事实核查系统的预测，我们探讨了这一主题的趋势。此外，我们认为是什么使得良好的解释，在这个特定的领域通过比较分析现有的事实核查的解释对一些理想的属性。最后，我们提出了进一步的研究方向，产生事实核查的解释，并描述这些可能导致在研究领域的改进。
2020-11-07 cs.AI cs.CL
Check-worthy Claim Detection across Topics for Automated Fact-checking
Queen Mary University of London（伦敦玛丽女王大学）；Taif University（塔伊夫大学）
自动事实核查系统的一个重要组成部分是索赔核查价值检测系统，该系统通过根据需要对句子进行优先级排序来进行检查。尽管有大量的研究在处理这项任务，但以前的研究忽略了在不同主题中识别值得检查的声明的挑战性。在本文中，我们评估并量化了检测新的、看不见的主题的值得检查的声明的挑战。在强调了这个问题之后，我们提出了AraCWA模型来减轻在检测跨主题的值得检查的声明时的性能恶化。AraCWA模型通过整合用于少样本学习和数据增强的两个组件来提高新主题的性能。使用一个公开的数据集的阿拉伯语推文组成的14个不同的主题，我们表明，我们提出的数据增强策略实现了实质性的改善，在整个主题的改善程度各不相同的主题。此外，我们分析了主题之间的语义相似性，这表明相似性度量可以用作代理，以确定一个看不见的主题的难度水平之前，进行标记的基本句子的任务。
2022-12-16 cs.CL
A Systematic Review of Automated Grammar Checking in English Language
Jabalpur Engineering College（贾巴尔普尔工程学院）
语法检查是检测和纠正文本中的语法错误的任务。英语是科技领域的主要语言。因此，非英语母语者必须能够在阅读、写作或口语时使用正确的英语语法。这就产生了对自动语法检查工具的需求。到目前为止，已经提出并实施了许多方法。但在过去的十年里，在调查文献方面所做的努力较少。本系统综述的目的是检查现有的文献，突出当前的问题，并提出未来研究的潜在方向。这篇系统综述是对12项主要研究进行分析的结果，这些研究是在设计了一种搜索策略以选择在网络上找到的论文后获得的。我们还提出了一个可能的方案，语法错误的分类。在主要的观察中，我们发现，缺乏有效的和强大的语法检查工具的实时的应用程序。我们提出了几个有用的插图-最突出的是我们为每种方法提供的示意图和一个表格，该表格总结了这些方法的不同维度，如目标错误类型，使用的语言数据集，方法的优势和局限性。这有助于更好地理解，比较和评价以前的研究。
2018-03-29 cs.CL
Entity-aware Cross-lingual Claim Detection for Automated Fact-checking
School of Electronic Engineering and Computer Science（电子工程与计算机科学学院）；Queen Mary University of London（伦敦女王学院）
本文提出实体感知跨语言声明检测模型EX-Claim，利用命名实体识别与实体链接增强多语言泛化，在27种语言上取得一致性能提升并实现稳健的跨语言知识迁移。
2025-07-21 cs.CL
Claim Detection for Automated Fact-checking: A Survey on Monolingual, Multilingual and Cross-Lingual Research
School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦大学玛丽女王学院电子工程与计算机科学学院）
本文综述了自动化事实核查中的声明检测研究，聚焦多语言数据与方法，按可验证性、优先级和相似性分类现有研究，并概述多语言数据集、挑战及未来方向。
2024-03-18 cs.CL
AIC CTU system at AVeriTeC: Re-framing automated fact-checking as a simple RAG task
本文提出在AVeriTeC共享任务中利用简单RAG方案解决事实核查挑战，设计检索器与证据标签生成器模块，采用GPT-4o实现第三名成绩，并通过错误分析指出数据噪声问题。
2024-10-15 cs.CL
Explainable Automated Fact-Checking for Public Health Claims
Imperial College London（帝国理工学院）；Department of Computing（计算机系）
事实核查的任务是根据可信的证据评估索赔的说法，以核实索赔的真实性。绝大多数事实核查研究都只关注政治主张。很少有研究探讨其他主题的事实核查，特别是需要专门知识的主题。我们提出了第一个研究的可解释的事实核查索赔，需要特定的专业知识。在我们的案例研究中，我们选择了公共卫生的背景。为了支持这个案例研究，我们构建了一个新的数据集PUBHEALTH，其中包含11.8K的索赔，并附有记者精心制作的黄金标准解释（即，判断），以支持索赔的事实核查标签。我们探索两个任务：准确性预测和解释生成。我们还定义和评估，与人类和计算，解释质量的三个一致性属性。我们的研究结果表明，通过对域内数据进行训练，可以在需要特定专业知识的索赔的可解释的自动事实检查方面取得进展。
2020-10-19 cs.AI cs.CL
Reading and Reasoning over Chart Images for Evidence-based Automated Fact-Checking
King’s College London（伦敦国王学院）
用于自动事实核查（AFC）的证据数据可以采用多种形式，例如文本、表格、图像、音频或视频。虽然有越来越多的兴趣使用图像AFC，以前的作品主要集中在检测操纵或伪造的图像。我们提出了一个新的任务，基于图表的事实检查，并引入ChartBERT作为第一个模型AFC对图表证据。ChartBERT利用图表的文本、结构和视觉信息来确定文本声明的真实性。为了进行评估，我们创建了ChartFC，这是一个包含15886个图表的新数据集。我们系统地评估了75种不同的视觉语言（VL）基线，并表明ChartBERT优于VL模型，准确率达到63.8%。我们的研究结果表明，这项任务是复杂而可行的，面临着许多挑战。
2023-01-27 cs.CL cs.CV
