Right or Wrong, Models Comply: Directional Blindness in LLM Moral Judgment
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出顺从不对称性（A = BCR/HCR）双向诊断指标，发现大语言模型在事实判断中更顺从有益提示（A=1.58），但在道德判断中几乎同等顺从有益和误导提示（A=1.04），揭示了方向盲从这一对齐失败模式。
2026-06-15 cs.CL
NeuroActiSep: Detecting Factual Hallucinations from Feed-Forward Neurons in a Single Pass
University of Tehran（德黑兰大学）
本文提出NeuroActiSep方法，通过自定义数据集排序前馈神经元，迁移至其他问答数据集训练幻觉分类器，证明其性能与内部状态探针相当，并分析神经元分布与层深度影响。
2026-11-10 cs.AI cs.CL cs.LG
Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments
University of Georgia（佐治亚大学）；University of California, Merced（加州大学默塞德分校）；Lehigh University（莱特大学）；The University of Queensland（昆士兰大学）；National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出基于UMLS的医学知识判断数据集MKJ，通过一跳二分类任务直接评估LLMs的医学事实记忆能力，并验证检索增强生成可提升事实准确性。
2025-08-19 cs.CL cs.LG
Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning
Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Cincinnati（辛辛那提大学）；University of Calgary（卡尔加里大学）
本文提出F-DPO方法，通过二元事实性标签和标签翻转变换提升模型事实性，减少幻觉。在七种大模型上验证效果，Qwen3-8B幻觉率降低5倍，事实性得分提升50%。
2026-04-15 cs.CL
JuDGE: Benchmarking Judgment Document Generation for Chinese Legal System
DCST, Tsinghua University（清华大学数据科学研究院）
本文提出JuDGE基准，用于评估中国法律系统中的判决书生成任务，通过构建真实案件数据集与外部法律语料库，并联合法律专家建立自动化评估框架，验证了少样本学习、微调及多源RAG方法，发现RAG有效但仍有改进空间。
2025-04-30 cs.AI cs.CL cs.IR
DecipherPref: Analyzing Influential Factors in Human Preference Judgments via GPT-4
University of Central Florida（中佛罗里达大学）；Tencent AI Lab（腾讯AI实验室）；Emory University（埃默里大学）
本文利用BTL模型分析OpenAI发布的人类成对偏好判断，揭示不同任务中最受与最不受偏好因素的规律，为构建平衡的偏好评估数据集提供指导。
2023-10-28 cs.CL
FLEEK: Factual Error Detection and Correction with Evidence Retrieved from External Knowledge
University of Michigan - Ann Arbor（密歇根大学安娜堡分校）；Apple（苹果公司）
FLEEK是一个自动检测和纠正文本事实错误的原型工具，通过提取事实主张、检索外部证据、评估事实性并给出修改建议，在检测任务上达到77-85%的F1值。
2023-10-26 cs.CL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）
本研究通过直接提示大型语言模型来评估摘要的事实一致性，系统比较了多种模型和提示方法，实验证明该方法在多个设置下均优于现有最佳系统，准确率最高提升12.2个百分点。
2023-10-12 cs.CL
Transferable and Efficient Non-Factual Content Detection via Probe Training with Offline Consistency Checking
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Information, Renmin University of China（中国人民大学信息学院）
本文提出 PINOSE，利用离线自一致性检查结果训练事实性探针，无需人工标注即可跨分布检测非事实内容，并降低在线多次采样的计算开销。
2024-04-10 cs.CL
SummExecEdit: A Factual Consistency Benchmark in Summarization with Executable Edits
Salesforce AI Research（Salesforce人工智能研究）
本文提出SummExecEdit基准，利用可执行编辑评估模型检测摘要事实错误及提供解释的能力，发现现有20多个LLM表现不佳，最佳模型Claude3-Opus联合得分仅0.49，并揭示了四种主要解释错误类型。
2025-05-30 cs.CL
FARCA: Fact-Aligned Reliability-Aware Credit Assignment for Reinforcement Learning with Factual Supervision
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
FARCA是一种面向具备事实监督的强化学习的策略优化框架，通过对齐事实验证与策略更新的粒度、引入反事实证据归因计算可靠性权重，提升模型事实性并保留通用推理能力。
2026-08-26 cs.AI cs.CL
Curiosity-Driven LLM-as-a-judge for Personalized Creative Judgment
Adobe Inc.（Adobe公司）
提出好奇心驱动的LLM-as-a-judge方法，个性化评估创意写作，在TTCW基准上优于监督微调，尤其适用于标注者意见不一致的主观评估。
2025-10-01 cs.CL cs.LG
Do Automatic Factuality Metrics Measure Factuality? A Critical Evaluation
Northeastern University（东北大学）
本文通过压力测试和浅层分类器区分难易样例，系统评估自动事实性指标，发现多数指标在困难样例上性能大幅下降且可被无内容句子钻空子，其中 ChatGPT-DA 最稳健，但存在过度依赖参数化知识的问题，从而质疑当前事实性指标的可靠性。
2025-11-05 cs.AI cs.CL
Language Models Hallucinate, but May Excel at Fact Verification
Allen Institute for AI（艾伦人工智能研究所）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
针对大型语言模型严重的幻觉问题，本研究通过人工评估证实其可被重新用作有效的事实验证器，并发现FLAN-T5-11B表现最佳，为开发可信生成模型提供了见解。
2024-03-21 cs.CL
Hallucinations on the Board: Tool-Augmented Evaluation of LLM Chess Commentary
Princeton University（普林斯顿大学）；Sentient Labs；University of Washington（华盛顿大学）
本研究提出ACT-Eval框架，评估工具增强型LLM的象棋评论，发现事实幻觉普遍存在，工具可提升事实正确性但战略战术覆盖度仍有限。
2026-08-06 cs.AI cs.CL
ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
本文提出ReFEree，一种无需参考的细粒度方法，用于评估现实世界代码总结中的事实一致性。通过定义特定于代码总结的事实不一致标准，并在段落层面进行评估，最终获得细粒度评分。
2026-04-12 cs.AI cs.CL cs.PL
Can AI Reason Like an Urban Planner? Benchmarking Large Language Models Against Professional Judgment
School of Architecture and Urban Planning, Shenzhen University（深圳大学建筑与城市规划学院）；Shenzhen Key Laboratory of Urban Spatial Information and Intelligent Modeling（深圳市城市空间信息与智能建模重点实验室）；Department of Urban Planning and Design, The University of Hong Kong（香港大学城市规划与设计系）
提出UPBench框架，通过4×5知识支柱与认知水平矩阵评估25个LLM，发现模型在分析任务上优于事实回忆和综合判断，揭示了规划知识的制度依赖性。
2026-07-14 cs.CL
How Entangled is Factuality and Deception in German?
University of Stuttgart（斯图加特大学）；Worte Sprachanalyse GmbH（100词语言分析有限公司）；University of Bamberg（班贝格大学）
本文基于信念欺骗框架研究德语文本中事实性与欺骗性的关系，发现计算模型在欺骗检测上仅相当于随机猜测，且欺骗性会削弱基于自然语言推理的事实核查表现，而大语言模型提示方法受此影响较小。
2024-09-30 cs.CL
Towards Reliable Latent Knowledge Estimation in LLMs: Zero-Prompt Many-Shot Based Factual Knowledge Extraction
MPI-SWS（马克斯·普朗克软件系统研究所）；Boston University（波士顿大学）
本文提出零提示潜在知识估计器（ZP-LKE），利用上下文学习消除提示工程，可靠估计LLM事实知识，并在多种开源模型上大规模评估，揭示模型间知识差异。
2024-12-17 cs.CL cs.LG
EQUATOR: A Deterministic Framework for Evaluating LLM Reasoning with Open-Ended Questions. # v1.0.0-beta
Vector Institute（矢量研究院）；JP Morgan Chase（摩根大通）；Columbia University（哥伦比亚大学）
本文提出 EQUATOR 框架，通过向量数据库将开放式问题与人工评估答案配对，并结合本地小模型 LLaMA 3.2B 实现确定性自动评分，以克服多项选择评估的流畅性偏差，提升对 LLM 事实准确性和复杂推理能力的可扩展评估。
2024-12-31 cs.CL
DialDefer: A Framework for Detecting and Mitigating LLM Dialogic Deference
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出DialDefer框架，通过对话性遵从分数检测和缓解LLM在对话评估中因提问框架导致的判断偏移，发现框架效应显著但准确率稳定，且模型对人类与AI的不同归因产生最大偏移。
2026-06-04 cs.CL
Detecting Natural Language Biases with Prompt-based Learning
本研究探索将提示工程应用于检测语言模型偏见，设计了针对性别、种族、性取向和宗教四类偏见的提示，并在BERT、RoBERTa和T5模型上通过人工与模型自我诊断双重方法进行评估。
2023-09-11 cs.AI cs.CL
Advantages of Domain Knowledge Injection for Legal Document Summarization: A Case Study on Summarizing Indian Court Judgments in English and Hindi
Department of Mathematics（数学系）；Indian Institute of Technology Kharagpur（印度理工学院Khargpur分校）；Department of Computer Science and Engineering（计算机科学与工程系）
本研究通过注入领域知识提升印度法律文件摘要能力，生成英文和印地语摘要，验证方法有效性。
2026-02-07 cs.AI cs.CL
SIFiD: Reassess Summary Factual Inconsistency Detection with LLM
University of Alberta（阿尔伯塔大学）；Platform and Content Group, Tencent（腾讯平台与内容事业群）
本研究针对大语言模型在摘要事实不一致性检测中表现不佳的问题，重新评估GPT-3.5与GPT-4的检测性能，并提出SIFiD框架，通过自然语言推理或语义相似度识别文档关键句以提升检测效果。
2024-03-12 cs.CL cs.LG
The Curious Case of Factuality Finetuning: Models' Internal Beliefs Can Improve Factuality
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
研究微调数据事实性与长文本生成幻觉的关系，发现基于模型内部信念过滤的模型生成数据微调比金标准数据更能提升跨领域事实性。
2025-07-11 cs.CL
Consistency Is the Key: Detecting Hallucinations in LLM Generated Text By Checking Inconsistencies About Key Facts
Columbia University（哥伦比亚大学）；IIT Bombay（印度理工学院Bombay）；Media and Data Science Research (MDSR) Lab, Adobe（Adobe媒体与数据科学研究实验室）
针对LLM生成文本的幻觉检测问题，提出无需外部知识库的CONFACTCHECK方法，通过验证事实探针响应在单LLM内部及跨LLM的一致性，以更少资源实现高效检测，在多数据集上准确率优于现有基线。
2025-11-15 cs.AI cs.CL cs.LG
FactSim: Fact-Checking for Opinion Summarization
MercadoLibre São Paulo, Brazil（巴西圣保罗MercadoLibre）；MercadoLibre Cordoba, Argentina（阿根廷 CordobaMercadoLibre）
FactSim提出了一种全自动方法，用于评估意见摘要中生成内容的事实一致性，通过测量摘要声明与原始评论声明的相似性，提高事实核查的准确性。
2026-02-09 cs.CL
The Energy of Falsehood: Detecting Hallucinations via Diffusion Model Likelihoods
Dell Technologies, CSG CTO Team（戴尔技术，CSG CTO团队）
DiffuTruth通过扩散模型似然检测幻觉，利用非平衡热力学原理，提出语义能量度量和混合校准方法，在FEVER和HOVER数据集上取得显著性能提升。
2026-02-11 cs.AI cs.CL
FacTool: Factuality Detection in Generative AI -- A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；City University of Hong Kong（香港城市大学）；New York University（纽约大学）；Meta AI；The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对生成模型文本事实错误检测的多任务多领域挑战，提出工具增强框架FacTool，并在四类任务上验证其有效性。
2023-07-26 cs.AI cs.CL
Improving Model Factuality with Fine-grained Critique-based Evaluator
Carnegie Mellon University（卡内基梅隆大学）；Meta GenAI（Meta 生成式人工智能）
本文提出事实性评估器FenCE，通过数据增强生成带评分的文本批评及声明级判断，并构建框架利用其修改和评分候选响应以训练生成器，显著提升了模型在LLM-AggreFact和FActScore上的事实性表现。
2025-06-01 cs.CL
FineDialFact: A benchmark for Fine-grained Dialogue Fact Verification
针对对话系统幻觉检测中事实标签粗粒度的问题，提出细粒度对话事实验证基准FineDialFact，基于公开数据集构建并评估多种基线方法，实验表明思维链推理可提升性能，但最佳F1仅0.74，任务仍具挑战性。
2026-06-15 cs.CL
PolBiX: Detecting LLMs' Political Bias in Fact-Checking through X-phemisms
Quality & Usability Lab, Technische Universität Berlin（柏林技术大学质量与可用性实验室）；German Research Center for Artificial Intelligence (DFKI), Berlin（德国人工智能研究中心（DFKI））；Department of Media and Communication, Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学媒体与传播系）
本文通过构造德语委婉语/贬义语最小对立陈述对，系统评估六个大语言模型在事实核查中的政治偏见，发现评判性词语比政治倾向更能影响真实性判断，且提示中呼吁客观主义无法缓解偏见。
2025-09-23 cs.CL
Detecting Experiential Intertextuality Across Migration Routes: Beyond Surface Similarity in French Narratives
CRIL, CNRS – Université d’Artois（CRIL，法国国家科学研究中心——阿图瓦大学）；CEPED, Université Paris Cité（CEPED，巴黎西岱大学）；EDA, Université Paris Cité（EDA，巴黎西岱大学）
本文提出无需标注训练数据的经验互文性检测任务，采用多种方法分析法语移民叙事，发现Qwen2.5-7B零-shot及监督混合方法表现最优，且叙事位置显著影响互文性。
2026-08-03 cs.CL
Reasoning Court: Combining Reasoning, Action, and Judgment for Multi-Hop Reasoning
Cornell University（康奈尔大学）
针对LLMs在多跳推理中存在幻觉和错误传播问题，提出推理法庭框架，引入LLM裁判评估多智能体生成的候选答案及推理，在无任务微调下性能优于现有少样本方法。
2025-04-14 cs.AI cs.CL
HalluDetect: Detecting, Mitigating, and Benchmarking Hallucinations in Conversational Systems in the Legal Domain
Indian Institute of Technology Bombay（印度理工学院孟买学院）；National Law School of India University（印度国家法律学校大学）
本文提出 HalluDetect，一个用于法律领域消费者投诉聊天机器人的幻觉检测系统，并基准测试了五种缓解架构，发现 AgentBot 能在保持最高 token 准确率的同时最有效地降低每轮幻觉率。
2025-10-12 cs.CL
FRED: Financial Retrieval-Enhanced Detection and Editing of Hallucinations in Language Models
Pegasi AI
本研究针对大语言模型在金融领域的幻觉问题，提出FRED框架，通过构建带错误标记的金融合成数据集微调模型，实现了优于OpenAI-o3的幻觉检测与编辑效果，且小参数模型仍具竞争力，方案可泛化至多领域。
2025-07-30 cs.AI cs.CL cs.LG
Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking
Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系）；Salesforce AI Research（Salesforce AI 研究院）；The Hong Kong University of Science and Technology（香港科学与技术大学）；National University of Singapore（新加坡国立大学）；The Education University of Hong Kong（香港教育大学）
FactArena提出一个全面的LLM事实核查阶段基准评估框架，通过标准化流程和动态生成挑战性声明，揭示LLM在事实推理中的鲁棒性与准确性差异。
2026-01-06 cs.CL
LM vs LM: Detecting Factual Errors via Cross Examination
Tel Aviv University（特拉维夫大学）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
提出基于交叉审查的LM事实性评估框架，通过生成声明与审查者LM的多轮交互发现不一致，在四个基准上优于现有方法。
2023-05-22 cs.CL
Semantic Consistency-Based Uncertainty Quantification for Factuality in Radiology Report Generation
Boston University（波士顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出即插即用的语义一致性不确定性量化框架，从报告级和句子级识别放射学报告幻觉，在 MIMIC-CXR 上显著提升 Radialog 生成报告的事实性。
2025-03-16 cs.AI cs.CL
HalluClean: A Unified Framework to Combat Hallucinations in LLMs
HalluClean通过规划、执行和修订三阶段推理增强方法，有效检测并修正LLM生成文本中的幻觉，提升事实一致性并优于基线方法。
2026-03-20 cs.CL
HalluScan: A Systematic Benchmark for Detecting and Mitigating Hallucinations in Instruction-Following LLMs
Sofrecom Tunisia（Sofrecom突尼斯）；Orange Innovation（Orange创新）
提出HalluScan基准框架，通过HalluScore复合指标、自适应检测路由（ADR）和系统错误级联分解，在6种检测方法、4个模型家族和3个领域上评估幻觉检测与缓解，发现NLI验证AUROC最高（0.88），RAV次之（0.66）。
2026-05-22 cs.CL
Detecting Bias and Enhancing Diagnostic Accuracy in Large Language Models for Healthcare
Dalla Lana School of Public Health, University of Toronto（多伦多大学达拉·拉纳公共卫生学院）
该研究针对医疗领域大语言模型的偏差与误诊问题，构建BiasMD、DiseaseMatcher两个数据集，微调出EthiClinician模型，在伦理推理和临床判断上均优于GPT-4，为医疗AI的安全可靠设立新基准。
2024-10-09 cs.CL
Understanding Factuality in Abstractive Summarization with FRANK: A Benchmark for Factuality Metrics
Carnegie Mellon University（卡内基梅隆大学）
现代摘要模型生成高度流畅但通常不可靠的输出。这激发了大量试图衡量自动生成摘要的真实性的指标。由于缺乏共同的基准，这些指标无法进行比较。此外，所有这些方法都将真实性视为一个二元概念，无法更深入地了解不同系统造成的各种不一致。为了解决这些限制，我们设计了一个事实错误的类型学，并使用它来收集人类注释的生成摘要从国家的最先进的摘要系统的CNN/DM和XSum数据集。通过这些注释，我们确定了各种摘要模型和基准真实性度量中不同类别的事实错误的比例，显示了它们与人类判断的相关性以及它们的具体优势和劣势。
2021-07-23 cs.CL
What Changed? Detecting and Evaluating Instruction-Guided Image Edits with Multimodal Large Language Models
University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；University of Pisa（比萨大学）；University of Trento（特伦托大学）；IIT-CNR
针对指令引导图像编辑评估难的问题，提出基于多模态大语言模型的DICE模型，通过差异检测与一致性估计两阶段方法，实现与人类判断高度相关的编辑质量评估。
2025-05-26 cs.AI cs.CL cs.CV
Hallucinated but Factual! Inspecting the Factuality of Hallucinations in Abstractive Summarization
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；MILA（蒙特利尔学习算法研究所）
现有技术的抽象摘要系统通常生成\emph{hallucinations} ;即，不能从源文本直接推断的内容。尽管假设是不正确的，但我们发现许多幻觉内容是真实的，即与世界知识一致。这些真实的幻觉可以通过提供有用的背景信息而在摘要中受益。在这项工作中，我们提出了一种新的检测方法，将实体的真实幻觉与非真实幻觉分开。我们的方法利用一个实体的先验和后验概率根据预先训练和微调掩蔽语言模型，分别。实证结果表明，我们的方法大大优于两个基线%的准确性和F1分数，并与人类的判断强烈相关。%的真实性分类任务。此外，我们表明，我们的检测器，当用作奖励信号在离线强化学习（RL）算法，显着提高了真实性的摘要，同时保持抽象的水平。
2021-12-06 cs.CL
Battling Misinformation: An Empirical Study on Adversarial Factuality in Open-Source Large Language Models
University of Tennessee at Chattanooga（田纳西大学查塔努加分校）；The University of Akron（阿克伦大学）；Texas State University（德克萨斯州立大学）
本文实证评估八个开源 LLM 在三种置信度错误信息提示下的对抗事实性检测表现，揭示模型差异、置信度影响规律及冷门信息更易被攻击。
2025-03-12 cs.CL cs.CR
Is the Top Still Spinning? Evaluating Subjectivity in Narrative Understanding
Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对歧义主张忠实性评估的主观性问题，提出利用LLM编辑摘要的Ambiguity Rewrite Metric (ARM)指标，在叙事摘要领域使标注者一致性绝对提升21%，有效降低主观性。
2025-09-16 cs.AI cs.CL
Detecting Token-Level Hallucinations Using Variance Signals: A Reference-Free Approach
ThinkAnalytics
提出一种基于多次生成中词元对数概率方差的无参考幻觉检测框架，在SQuAD v2上跨三个模型验证，可有效突出输出不稳定性并适配多领域。
2025-10-16 cs.CL cs.LG
Evaluating LLMs' Assessment of Mixed-Context Hallucination Through the Lens of Summarization
King’s College London（伦敦国王学院）；Cambridge University（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）
本研究以摘要为任务，评估LLMs检测混合上下文幻觉的能力，发现其内在知识会引入偏差，导致事实性幻觉检测遇瓶颈，根本挑战在于平衡内在知识与外部上下文。
2025-03-03 cs.AI cs.CL cs.CY
Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality
Macao Polytechnic University（澳门理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）；Radboud University Medical Center（拉德堡德大学医学中心）
本研究评估系统一模型Jev作为放射学报告事实性评判器的性能，通过双向支持判断检测遗漏与无依据主张，在多个基准上优于开放NLI评判器，且成本低、准确性高。
2026-09-24 cs.AI cs.CL
VC-Inspector: Advancing Reference-free Evaluation of Video Captions with Factual Analysis
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）；Intel（英特尔）
VC-Inspector提出了一种轻量级开源大多模态模型，用于无参考视频字幕评估，专注于事实准确性。通过生成可控制事实错误的字幕及评分注释，实现了可重复和事实感知的评估，实验显示其与人类判断的高相关性。
2026-04-19 cs.CL cs.CV
DRIFT: Detecting Representational Inconsistencies for Factual Truthfulness
University of Maryland, College Park, MD, USA（马里兰大学）；University of Chicago, Chicago, IL, USA（芝加哥大学）；University of Florida, Gainesville, FL, USA（佛罗里达大学）
DRIFT通过分析LLM中间层的置信度信号，提出轻量级探针和路由器，实现高效事实真实性检测，提升多个基准测试的AUROC性能。
2026-01-29 cs.CL
HalluVerse25: Fine-grained Multilingual Benchmark Dataset for LLM Hallucinations
Texas A&M University（德克萨斯农工大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文提出多语言细粒度幻觉基准数据集HalluVerse25，覆盖英、阿、土三语，通过LLM注入与人工标注构建，并评估多个LLM的幻觉检测能力。
2025-03-10 cs.AI cs.CL
Lexicosyntactic Inference in Neural Models
University of Rochester（罗切斯特大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究神经模型捕捉词汇句法推理的能力：词汇和句法信息的相互作用所触发的推理。本文以事件真实性预测为例，构建了一个包含英语小句嵌入动词的真实性判断数据集。我们使用我们公开提供的这个数据集来探测当前最先进的神经系统的行为，表明这些系统会产生某些系统性错误，这些错误通过事实预测的镜头清晰可见。
2018-08-19 cs.CL
