ScreenAudit: Detecting Screen Reader Accessibility Errors in Mobile Apps Using Large Language Models
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
提出LLM驱动的ScreenAudit系统，通过遍历应用屏幕、提取元数据识别屏幕阅读器无障碍错误，专家评估显示其覆盖率达69.2%，优于现有检查器且反馈质量更高。
2025-04-02 cs.AI cs.HC
MathMistake Checker: A Comprehensive Demonstration for Step-by-Step Math Problem Mistake Finding by Prompt-Guided LLMs
Shanghai Business School（上海商学院）；UCloud Technology Co. Ltd.（UCloud优刻得科技股份有限公司）
本文提出MathMistake Checker系统，利用计算机视觉与大语言模型思维链能力，通过两阶段流程自动查找数学题逐步解答中的错误，支持无参考答案的开放式评分和个性化反馈。
2025-06-03 cs.AI
Science Checker: Extractive-Boolean Question Answering For Scientific Fact Checking
Opscidia（Opscidia公司）
随着科学出版物的爆炸式增长，使科学知识的综合和事实核查成为一项日益复杂的任务。在本文中，我们提出了一个多任务的方法来验证科学问题的基础上，联合推理的事实和证据的研究文章。我们提出了一个智能的组合（1）一个自动的信息摘要和（2）一个布尔问答，它允许生成一个答案的科学问题，从总结后获得的提取。因此，在给定的主题上，我们提出的方法基于论文摘要进行结构化内容建模，以回答科学问题，同时突出显示讨论该主题的论文中的文本。我们的最终系统基于端到端的提取问答（EQA），结合三个输出分类模型，对问题进行深入的语义理解，以说明多个响应的聚合。通过我们提出的轻巧快速的架构，我们实现了4%的平均出错率和95.6%的F1分数。我们的研究结果支持通过实验与两个QA模型（BERT，RoBERTa）超过300万开放获取（OA）的文章在医疗和健康领域的欧洲PMC。
2022-04-29 cs.AI cs.CL cs.IR
ToM-LM: Delegating Theory of Mind Reasoning to External Symbolic Executors in Large Language Models
University of Edinburgh（爱丁堡大学）
本文提出ToM-LM方法，通过外部符号执行器SMCDEL和微调增强大语言模型的复杂心理理论推理能力，显著优于基线，并倡导将信念推理外部化推广至其他ToM方面。
2024-06-26 cs.AI cs.CL
The State of Human-centered NLP Technology for Fact-checking
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
错误信息通过促进对科学的不信任，改变公共卫生的叙述，加剧社会两极分化，破坏民主选举和金融市场以及无数其他社会危害来威胁现代社会。为了解决这个问题，越来越多的专业事实核查人员和记者对所谓的事实进行了高质量的调查。然而，这些主要是手工的努力一直在努力与问题的巨大规模相匹配。作为回应，越来越多的自然语言处理（NLP）技术被提出用于更可扩展的事实检查。然而，尽管这类研究取得了巨大的增长，但实际采用NLP技术进行事实检查仍然处于起步阶段。在这项工作中，我们回顾了当前NLP技术用于事实检查的能力和局限性。我们特别关注的是进一步绘制如何利用和改进这些技术的设计空间，以更好地满足人类事实核查人员的需求。为此，我们回顾了基于NLP的事实检查的关键方面：任务制定，数据集构建，建模和以人为本的策略，如可解释的模型和人在回路中的方法。接下来，我们将回顾应用基于NLP的事实检查工具来帮助人类事实检查员的有效性。我们建议未来的研究包括在NLP研究的早期与事实检查利益相关者的合作，以及在模型开发中纳入以人为本的设计实践，以进一步指导人类使用和实际采用的技术开发。最后，我们提倡更多的基准开发支持以人为本的事实检查技术的外在评价的研究。
2023-01-08 cs.AI cs.CL cs.CY
Natural-Language to SysMLv2 Translation via Conformance-Driven Iterative Refinement
Carnegie Mellon University（卡内基梅隆大学）；Virginia Tech（弗吉尼亚理工大学）
研究自然语言到SysMLv2的翻译，提出由一致性检查器驱动的框架，在生成-检查-修复循环中嵌入检查器，以生产级接受为终止条件，经评估，该方法相比单次生成大幅提高了生产一致性。
2026-09-15 cs.AI cs.SE
Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究大语言模型总结科学文本时数字和单位幻觉问题，提出将错误检测重定义为类型验证，引入分类法和基准。用符号增强训练框架，提升规范等价鲁棒性，提高准确率，还明确了符号特征及银标签在特定情况下的作用，确定训练时增强是关键集成点。
2026-07-21 cs.AI
InFi-Check: Interpretable and Fine-Grained Fact-Checking of LLMs
Tsinghua University（清华大学）；DeepLang AI；Fudan University（复旦大学）
InFi-Check通过可控数据合成和细粒度事实核查框架，提升大型语言模型事实性评估的可解释性和准确性。
2026-11-10 cs.AI cs.CL
DRC-Coder: Automated DRC Checker Code Generation Using LLM Autonomous Agent
Duke University（杜克大学）；NVIDIA Research（英伟达研究院）；NVIDIA（英伟达）
针对先进工艺节点下集成式DRC检查器开发耗时长、依赖人工的问题，提出具备视觉能力的多智能体框架DRC-Coder，融合视觉语言模型与LLM实现自动化DRC代码生成与调试，在亚3nm节点实验中取得完美F1值，大幅提升效率。
2024-11-28 cs.AI cs.AR
Checking the Checkers: A Synthesis of Verifier Noise and Robustness in RLVR
本研究调研58项相关研究，分析RLVR中校验器错误的类型、影响及缓解措施，发现错误结构比发生率更关键，多数缓解措施仅针对单一错误，还提出报告协议以统一未来结果。
2026-10-14 cs.AI cs.CL cs.LG
A Voter-Based Stochastic Rejection-Method Framework for Asymptotically Safe Language Model Outputs
Department of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, Georgia, USA（工业与系统工程系，佐治亚理工学院，亚特兰大，佐治亚州，美国）
提出 RCR 投票式重复检查与再生成框架，利用 LLM 随机性以 Pareto 最优成本实现目标失败率，并证明失败率随成本指数下降。
2025-09-28 cs.AI cs.CL cs.LG
Domain specificity and data efficiency in typo tolerant spell checkers: the case of search in online marketplaces
Microsoft（微软）
针对在线市场短查询拼写错误问题，提出一种数据增强方法训练循环神经网络学习领域特定嵌入，并在 Microsoft AppSource 实时推理 API 中实现高效匹配，证明受控合成数据在数据效率上的优势。
2023-08-03 cs.AI cs.CL cs.IR
ProofSketcher: Hybrid LLM + Lightweight Proof Checker for Reliable Math/Logic Reasoning
Amazon Web Services, Inc（亚马逊云科技）
本文提出混合方法，结合LLM生成类型化证明草图与轻量级可信内核，以提升数学逻辑推理的可靠性。
2026-04-07 cs.AI cs.CE cs.CV
Science Checker Reloaded: A Bidirectional Paradigm for Transparency and Logical Reasoning
Opscidia
针对信息检索中的语义分歧、低精度和幻觉等问题，本文提出一种两模块双向方法，通过查询扩展和长文档内信息生成答案，提升透明性和逻辑推理能力。
2024-03-14 cs.AI cs.CL cs.IR
KNighter: Transforming Static Analysis with LLM-Synthesized Checkers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）
针对静态分析工具开发难、LLM直接扫描大型系统不现实的问题，提出KNighter方法，利用LLM基于历史漏洞模式合成专用静态检查器，经多阶段验证优化，在Linux内核中发现大量长期潜伏的关键漏洞，建立了可扩展的LLM静态分析新范式。
2025-09-03 cs.AI cs.CR cs.OS
Automatic Spell Checker and Correction for Under-represented Spoken Languages: Case Study on Wolof
Université du Québec à Montréal（魁北克大学蒙特利尔分校）
本文提出一款专为非洲代表性不足的沃洛夫语设计的拼写检查与纠正工具，结合trie、动态规划与加权Levenshtein距离生成建议，并构建了新语言资源，实现了98.31%的预测准确率和93.33%的建议准确率。
2023-05-22 cs.AI cs.CL
Oracle-Checker Scheme for Evaluating a Generative Large Language Model
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文提出oracle-checker方案，通过性质测试型和程序检查型两类checker评估生成式大语言模型的答案，并在实体抽取与释义判定任务中验证其应用。
2024-05-06 cs.CL
Survey of Pseudonymization, Abstractive Summarization & Spell Checker for Hindi and Marathi
Vidyalankar Institute of Technology（维迪亚兰卡理工学院）
本文针对印地语和马拉地语等印度区域语言NLP研究不足的问题，构建了一个支持文本匿名化、生成式摘要和拼写检查的多语言平台，主要服务于使用印度区域语言的企业与消费者客户。
2024-12-24 cs.AI cs.CL
Learning from Fact-checkers: Analysis and Generation of Fact-checking Language
Worcester Polytechnic Institute（伍斯特理工学院）
在打击假新闻的过程中，许多事实核查系统由基于人类的事实核查网站组成（例如，snopes.com和politifact.com）和自动检测系统。然而，即使已经被揭穿，在线用户仍然继续分享假新闻。这意味着早期的假新闻检测可能是不够的，我们需要另一种补充方法来减轻错误信息的传播。在本文中，我们介绍了一种用于打击假新闻的文本生成新应用。具体而言，我们（1）利用名为\emph{fact-checkers}的在线用户，他们引用事实核查网站作为公共话语中的事实核查信息的可信证据;（2）分析事实核查推文的语言特征;（3）提出并构建一个深度学习框架，以生成具有事实核查意图的响应，以增加事实核查人员对事实核查活动的参与。我们的分析表明，事实核查者倾向于反驳错误信息，并使用形式语言（例如，很少使用脏话和互联网俚语）。我们的框架成功地生成相关的响应，并通过实现高达30%的改进，优于竞争模型。我们的定性研究也证实了我们所产生的反应与现有模型产生的反应相比的优越性。
2019-10-05 cs.AI cs.CL cs.IR
A context sensitive real-time Spell Checker with language adaptability
Amazon（亚马逊）
我们提出了一个新的语言适应拼写检查系统，检测拼写错误，并建议上下文敏感的更正在实时的【形】。我们表明，我们的系统可以扩展到新的语言，最小的语言特定的处理。可用的文献主要讨论英语拼写检查，但没有公开可用的系统可以扩展到其他语言的开箱即用。大多数系统都不能实时的【形】工作。我们解释了使用维基百科文章数据和手动策划的视频字幕生成语言的单词词典和n-gram概率词典的过程。我们提出的结果产生一个拼写错误的单词的建议列表。我们还提出了三种方法来创建真实世界的排版错误的嘈杂通道数据集。我们将我们的系统与行业公认的11种语言的拼写检查工具进行比较。最后，我们展示了我们的系统在24种语言的合成数据集上的性能。
2019-10-23 cs.CL cs.LG stat.ML
Human-centered NLP Fact-checking: Co-Designing with Fact-checkers using Matchmaking for AI
School of Information, University of Texas at Austin（德克萨斯大学奥斯汀分校信息学院）；University of Washington（华盛顿大学）
针对NLP事实核查技术因与实践需求脱节而采用率低的问题，研究采用Matchmaking for AI协同设计方法，与22名专业核查员合作产出了11项整合核查员标准的设计创意，为以人为中心的事实核查及AI协同设计提供了新见解。
2024-10-14 cs.CL cs.CY cs.HC
Can Community Notes Replace Professional Fact-Checkers?
University of Copenhagen（哥本哈根大学）
本研究通过语言模型标注大量社区注释，发现其引用事实核查来源的频率远超以往报道，表明社区审核与专业事实核查深度依赖，社区注释无法取代专业事实核查。
2025-05-27 cs.AI cs.CL
Kannada Spell Checker with Sandhi Splitter
RVCE, Bangalore（RVCE，班加罗尔）
拼写错误是在输入过程中或用户不知道正确的音素或字素时引入文本的。如果一种语言包含像连读变调这样的复杂单词，其中两个或多个词素根据某些规则连接，拼写检查就会变得非常繁琐。在这种情况下，有一个拼写检查器与连读变调分裂器，提醒用户通过标记错误和提供建议是非常有用的。提出了一种新的连读变调切分算法。连读变调分离器可以分离出约7000个卡纳达语中最常见的连读变调词作为测试样本。连调分离器与卡纳达语拼写检查器集成在一起，并添加了一个生成建议的机制。因此，开发了一个全面的、独立于平台的、独立的拼写检查器和变调分离器应用软件，并对其效率和正确性进行了广泛的测试。对该拼写检查器和变调分离器进行了对比分析，结果表明，使用变调分离器的卡纳达语拼写检查器具有更好的性能。它的速度是原来的两倍，空间利用率是原来的200倍，复杂名词的准确率是90%，复杂动词的准确率是50%。这样一个拼写检查与变调分裂器将是最重要的意义，在机器翻译系统，语音处理等，这是第一个变调分裂器在卡纳达语和新算法的优点是，它可以扩展到所有的印度语言。
2016-11-25 cs.CL
Neural spell-checker: Beyond words with synthetic data generation
University of Ljubljana（卢布尔雅那大学）；Faculty of Arts（艺术学院）；Faculty of Computer and Information Science（计算机与信息科学学院）
本研究针对传统拼写检查器功能局限，提出基于形态词典的快速单词级方法和带合成错误语料训练的神经拼写检查器，在斯洛文尼亚语多数据集上表现优于现有同类工具。
2024-10-30 cs.CL
Are Large Language Models Good Fact Checkers: A Preliminary Study
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文初步评估了大型语言模型在事实核查子任务中的能力，发现其性能可与小型先进模型竞争，但在中文核查和完整流程中仍受幻觉及语言不一致问题制约。
2023-11-29 cs.CL
Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models
Iowa State University（爱荷华州立大学）；Microsoft Research（微软研究院）；Tencent AI Lab（腾讯AI实验室）；University of Rhode Island（罗德岛大学）
本文提出Self-Checker框架，通过即插即用模块在几乎零样本设置下提示大语言模型进行事实核查，为低资源环境提供快速高效的事实核查系统构建方案。
2024-04-01 cs.CL
Empowering the Fact-checkers! Automatic Identification of Claim Spans on Twitter
IIIT Delhi（德里英迪拉·甘地信息技术学院）；IIT Delhi（德里印度理工学院）
2019冠状病毒病（COVID-19）后，医疗和政治主张的广泛传播导致错误信息和假新闻大量增加。目前的时尚是使用人工事实检查器来有效地对这些数据进行分类和验证，以对抗这种雪崩式的索赔错误信息。然而，信息传播的速度远远超过了事实核查人员的力量。因此，为了帮助手动事实检查器消除多余的内容，自动识别和提取帖子中存在的有价值的（错误）信息片段变得至关重要。在这项工作中，我们介绍了索赔跨度识别（CSI）的新任务。我们提出了CURT，一个大规模的Twitter语料库与令牌级索赔跨度超过7.5K的推文。此外，除了标准的令牌分类基线外，我们还使用DABERTa对我们的数据集进行了基准测试，DABERTa是RoBERTa的一种基于适配器的变体。实验结果证明，DABERTa在几个评估指标上优于基线系统，提高了约1.5个点。我们还报告了详细的误差分析，以验证模型的性能以及消融研究。最后，我们发布了全面的span注释指南供公众使用。
2022-10-11 cs.CL
GenAI vs. Human Fact-Checkers: Accurate Ratings, Flawed Rationales
Penn State University（宾夕法尼亚州立大学）；University of Pittsburgh（匹兹堡大学）
本研究评估多个GenAI模型在信息可信度评级任务中的表现，发现GPT-4o最优但推理依赖语言特征，摘要输入可提升效率，警示不能完全依赖AI。
2025-02-25 cs.AI cs.CL
Phonetic based SoundEx & ShapeEx algorithm for Sindhi Spell Checker System
Institute of Information and Communication Technology, University of Sindh（信德大学信息与通信技术研究所）；Department of Computer Science, Sukkur Institute of Business Administration（苏库尔工商管理学院计算机科学系）
本文提出了一种新的组合语音算法的信德语，用于开发信德语拼写尚未开发之前，这项工作。信德语的复合文本形式和字形对开发信德语拼写检查系统和生成类似的拼写错误单词建议列表提出了很大的挑战。为了实现这样的系统，必须考虑基于语音的信德语规则和模式，以提高准确性和效率。所提出的系统开发与语音之间的混合基于SoundEx算法和ShapeEx算法的模式或匹配，生成准确和高效的建议列表不正确或拼写错误的信德字。还生成了用于SoundEx算法的发音相似的Sindhi字符的表，以及包含用于ShapeEx算法的基于相似字符或形状的字符组的另一个表。这两个都是有史以来第一次尝试任何这种类型的分类和表示信德语。
2014-05-13 cs.CL
Automated Fact-Checking for Assisting Human Fact-Checkers
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Full Fact（Full Fact事实核查机构）；Qatar University（卡塔尔大学）；Università di Bologna（博洛尼亚大学）；EURECOM（欧洲通信学院）；University of Padova（帕多瓦大学）
对全球时事的报道和分析已经从专业的、编辑主导的新闻一直扩展到公民新闻。如今，政治家和其他关键人物可以通过社交媒体直接存取他们的受众，绕过官方电缆或传统媒体的过滤器。然而，滥用媒体传播不准确或误导性的说法，使言论自由和直接沟通的多重优势变得暗淡。这些现象导致了事实核查员的现代化身-这是一种专业人员，其主要目的是利用现有证据审查各种说法，并评估其真实性。与其他文本取证任务一样，可用的信息量使得事实检查器的工作更加困难。考虑到这一点，从专业事实检查员的角度出发，我们调查了可用的智能技术，可以支持人类专家在事实检查工作的不同步骤。这些包括识别值得事实核查的索赔，检测相关的先前事实核查的索赔，检索相关证据以事实核查索赔，以及实际核实索赔。在每一种情况下，我们都关注未来工作中的挑战以及对现实世界事实核查的潜在影响。
2021-05-22 cs.AI cs.CL cs.CR
RefChecker: Reference-based Fine-grained Hallucination Checker and Benchmark for Large Language Models
Amazon AWS AI（亚马逊AWS人工智能）；Shanghai AI Lab（上海人工智能实验室）；Shanghai Jiaotong University（上海交通大学）；Westlake University（西湖大学）
RefChecker提出声明三元组表示LLM响应中的声明，实现细粒度幻觉检测，构建含11k标注三元组的基准，性能较先前方法提升6.8-26.1分。
2024-05-23 cs.CL
uChecker: Masked Pretrained Language Models as Unsupervised Chinese Spelling Checkers
College of Computer Science and Technology（计算机科学与技术学院）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
中文拼写检查（CSC）的任务是检测和纠正可以在文本中发现的拼写错误。虽然手动注释高质量数据集是昂贵且耗时的，因此训练数据集的规模通常非常小（例如，SIGHAN 15只包含2339个训练样本），因此基于监督学习的模型通常会遇到数据稀疏性限制和过拟合问题，特别是在大语言模型时代。在本文中，我们致力于调查的\textbf{unsupervised}范式，以解决CSC问题，我们提出了一个框架名为\textbf{uChecker}进行无监督的拼写错误检测和纠正。考虑到BERT等预训练语言模型强大的语言诊断能力，引入了其作为主干模型。得益于MASKing操作的多样性和灵活性，本文提出了一种基于混淆集的掩蔽策略，对掩蔽后的语言模型进行精细训练，进一步提高了无监督检测和纠正的性能。标准数据集上的实验结果表明，我们提出的模型的有效性，在字符级和单词级的准确率，精度，召回率，和F1-措施的拼写错误检测和纠正任务分别。
2022-09-15 cs.CL
Assisting the Human Fact-Checkers: Detecting All Previously Fact-Checked Claims in a Document
Cornell University（康奈尔大学）；Sofia University（索非亚大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；University of Padova（帕多瓦大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
鉴于最近网上虚假索赔的激增，有很多人工事实核查工作。由于这是非常耗时的，人类事实核查人员可以从支持他们并使他们更有效的工具中受益。在这里，我们专注于建立一个可以提供这种支持的系统。给定一个输入文档，它的目的是检测所有包含一个声明的句子，该声明可以通过一些先前经过事实检查的声明（来自给定的数据库）进行验证。输出是文档句子的重新排序列表，以便可以验证的句子以及相应的证据被尽可能高地排序。与之前研究索赔检索的工作不同，这里我们采取文档级别的视角。我们为此任务创建了一个新的手动注释数据集，并提出了合适的评估措施。我们进一步实验了一种学习排名的方法，在几个强大的基线上实现了相当大的性能增益。我们的分析证明了建模文本相似性和立场的重要性，同时也考虑到检索到的先前事实检查的索赔的准确性。我们相信，这项研究将是感兴趣的事实核查人员，记者，媒体和监管机构。
2022-11-15 cs.AI cs.CL cs.CY
Synthetic Disinformation Attacks on Automated Fact Verification Systems
Stanford University（斯坦福大学）；EPFL（洛桑联邦理工学院）
自动事实核查是一项必要的技术，以减少网上错误信息的传播。一个目前的框架，这样的解决方案提出，以验证索赔检索支持或反驳证据，从相关的文本来源。然而，事实检查器的现实用例将需要根据可能受到相同错误信息影响的证据来源来验证声明。此外，现代NLP工具的开发可以产生连贯的、捏造的内容，这将允许恶意行为者系统地为事实核查人员生成对抗性的虚假信息。在这项工作中，我们探索了自动事实检查器在两种模拟环境中对合成对抗性证据的敏感性：AdversarialAddition，我们制作文档并将其添加到事实检查系统可用的证据库中，以及AdversarialModification，存储库中现有的证据源文档被自动更改。我们在三个基准测试中对多个模型的研究表明，这些系统在面对这些攻击时会遭受显着的性能下降。最后，我们讨论了现代NLG系统作为虚假信息生成器的日益增长的威胁，以及它们对自动事实检查器构成的挑战。
2022-02-18 cs.CL
Automated Claim Matching with Large Language Models: Empowering Fact-Checkers in the Fight Against Misinformation
University of Southern California（南加州大学）
本研究提出FACT-GPT框架，利用大语言模型自动化事实核查中的声明匹配阶段，通过GPT-4生成训练数据微调专用模型，在公共卫生数据集上达到与大型预训练模型相当的性能，并提供公开资源。
2023-10-13 cs.CL cs.CY cs.HC
Building a Lemmatizer and a Spell-checker for Sorani Kurdish
University of Kurdistan（库尔德斯坦大学）；Paris Descartes University（巴黎笛卡尔大学）
本文旨在提出一个词形化和词级错误纠正系统的索拉尼库尔德语。我们提出了一种基于形态规则和n-gram语言模型的混合方法。我们分别将我们的词形化和纠错系统称为Peyv和Rêns，这是我们所知的为Sorani Kurdish提供的第一个工具。Peyv lemmatizer的准确率为86.7%。对于Rênés，使用词典，我们获得了96.4%的准确率，而没有词典，校正系统具有87%的准确率。作为两个基本的文本处理工具，这些工具可以为进一步研究更多的Sorani库尔德语自然语言处理应用铺平道路。
2018-09-27 cs.CL
Domain Knowledge Graph Construction Via A Simple Checker
University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对芯片设计领域知识图谱构建需兼顾保密性与可扩展性的需求，提出oracle-checker方案借助GPT3.5并以提炼领域专家知识为核心，结合RISC-V非特权ISA规范验证了方法思路与实用性。
2023-10-08 cs.CL
Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Copenhagen（哥本哈根大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本文提出多阶段事实性标注方案，并构建覆盖声明、句子和文档三层粒度的 Factcheck-Bench，用于评估自动事实核查系统。
2024-04-16 cs.CL
No Hindsight for LLM Fact-Checkers: Measuring Leakage Channels in Misinformation Detection
Georgia Institute of Technology（佐治亚理工学院）
本研究测量LLM事实核查中的参数泄漏与事后证据泄漏，发现两者可被总体准确率掩盖，表示瓶颈能有效减少泄漏，且事后证据在AVeriTeC上虚增6.3点准确率，揭示基准测试可能高估性能。
2026-10-06 cs.CL
A Generative-AI-Driven Claim Retrieval System Capable of Detecting and Retrieving Claims from Social Media Platforms in Multiple Languages
Faculty of Information Technology, Brno University of Technology（信息技术学院，布拉格技术大学）；Kempelen Institute of Intelligent Technologies（智能技术研究所）
本研究提出一种基于LLMs的声明检索方法，通过过滤无关事实核查结果并生成摘要与解释，帮助事实核查人员避免冗余验证，显著提升多语言社交媒体声明核查的效率。
2025-04-29 cs.CL
ImCoref-CeS: An Improved Lightweight Pipeline for Coreference Resolution with LLM-based Checker-Splitter Refinement
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Institute for AI, Tsinghua University（清华大学人工智能研究院）；East China Normal University（华东师范大学）；Jiangsu Collaborative Innovation Center for Language Ability（江苏省语言能力协同创新中心）
本文提出ImCoref-CeS框架，结合增强的监督模型与LLM推理，通过改进的指代消解方法和LLM多角色检查-分割代理提升性能。
2026-05-07 cs.CL cs.IR
Fighting the COVID-19 Infodemic: Modeling the Perspective of Journalists, Fact-Checkers, Social Media Platforms, Policy Makers, and the Society
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；University of Padova（帕多瓦大学）；University of Groningen（格罗宁根大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Sofia University（索非亚大学）
随着COVID-19大流行的出现，虚假信息的政治和医学方面融合在一起，问题被提升到一个全新的水平，成为第一个全球信息流行病。打击这种信息流行病已被宣布为世界卫生组织最重要的重点领域之一，其危险包括推广假治疗，谣言和阴谋论，以及传播仇外心理和恐慌。解决这个问题需要解决一些具有挑战性的问题，例如识别包含索赔的消息，确定其检查价值和真实性，以及它们造成伤害的可能性以及这种伤害的性质，仅举几例。为了弥补这一差距，我们发布了一个由16 K条手动注释的推文组成的大型数据集，用于细粒度的虚假信息分析，该数据集（i）专注于COVID-19，（ii）结合了记者，事实核查员，社交媒体平台，政策制定者和社会的观点和兴趣，（iii）涵盖阿拉伯语，保加利亚语，荷兰语和英语。最后，我们使用预训练的Transformers显示了强大的评估结果，从而证实了数据集在单语言与多语言以及单任务与多任务设置中的实用性。
2021-09-22 cs.CL cs.CY cs.IR
AutoTAMP: Autoregressive Task and Motion Planning with LLMs as Translators and Checkers
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出AutoTAMP框架，利用大型语言模型将自然语言任务描述少样本翻译为中间任务表示，交由TAMP算法联合求解，并通过自回归重新提示纠正语法和语义错误，显著提升了复杂任务下机器人动作序列的完成率。
2024-03-22 cs.CL cs.HC cs.RO
WhatsApp Tiplines and Multilingual Claims in the 2021 Indian Assembly Elections
organization= University of Duisburg-Essen , country= Germany；organization= Meedan \& University of Oxford , country= United Kingdom
本研究通过混合方法分析2021年印度邦选举期间WhatsApp举报热线中的580条多语言声明，揭示跨语言内容相似性、用户与事实核查组织的互动模式及辟谣时间，并为选举期间举报热线的伦理使用提供建议。
2025-07-22 cs.CL cs.CY cs.HC
Hamtajoo: A Persian Plagiarism Checker for Academic Manuscripts
ICT Research Institute（信息与通信技术研究院）
近年来，由于网络上电子文献的大量存在，剽窃问题日益突出，尤其是在学者中。已经开发了各种剽窃检测系统来防止文本重复使用并对抗剽窃。虽然在学术论文中发现重复文本几乎是很容易的，但发现语义发生变化的文本重用模式是非常重要的。另一个重要的问题是处理资源较少的语言，这些语言用于训练目的的文本量很低，并且NLP应用程序的工具性能也很低。在本文中，我们介绍了Hamtajoo，一个波斯的学术手稿剽窃检测系统。此外，我们描述了系统的整体结构以及在每个阶段中使用的算法。为了评估该系统的性能，我们使用了符合PAN标准的剽窃检测语料库。
2021-12-27 cs.CL cs.IR cs.LG
LuxBank: The First Universal Dependency Treebank for Luxembourgish
University of Luxembourg（卢森堡大学）
本文介绍 LuxBank，首个卢森堡语通用依存树库，建立标注指南，支持句法分析、工具开发及语言模型训练，促进西日耳曼语系研究。
2024-11-07 cs.CL
Multilingual Previously Fact-Checked Claim Retrieval
Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究院）
本文提出多语言数据集MultiClaim，包含28k社交媒体帖子与206k事实核查及31k关联，用于既往事实核查声明检索，并证明有监督微调显著优于无监督方法。
2023-10-13 cs.CL
NoFake at CheckThat! 2021: Fake News Detection Using BERT
许多研究都是为了揭穿和分析假新闻。去年，许多研究人员研究了假新闻检测，但许多人仅限于社交媒体数据。目前，多家事实核查机构正在以各种格式公布其结果。此外，多个事实检查员为假新闻使用不同的标签，这使得很难建立一个可推广的分类器。通过合并类，可以增强机器模型的性能。这种域分类将有助于对文章进行分组，这将有助于节省分配声明验证时的手动工作。本文提出了一种基于BERT的分类模型来预测领域和分类。我们还使用了来自事实核查文章的其他数据。使用额外的训练数据，我们已经实现了任务3A的83.76%和任务3B的85.55%的宏观F1分数。
2021-08-11 cs.CL cs.SI
A Benchmark for Open-Domain Numerical Fact-Checking Enhanced by Claim Decomposition
Stockholm University, Sweden（斯德哥尔摩大学，瑞典）；Delft University of Technology, Netherlands（代尔夫特理工大学，荷兰）
针对现有数值事实验证基准证据相关性低和时间泄漏问题，提出QuanTemp++数据集，通过模拟人类核查员的声明分解过程收集证据，并评估不同分解范式的检索与验证性能。
2025-10-24 cs.CL cs.IR
Improving the Diproche CNL through Autoformalization via Large Language Models
EUF Flensburg（弗伦斯堡欧洲大学）；Institut für Mathematik Europa-Universität Flensburg（弗伦斯堡欧洲大学数学研究所）
本文针对 Diproche 证明检查系统的受控自然语言形式化需求，探索利用大语言模型通过提示实现自动形式化，并获得令人鼓舞的初步结果。
2024-04-10 cs.CL cs.LO
