基于表示的宽泛幻觉检测器无法在分布外泛化
Representation-based Broad Hallucination Detectors Fail to Generalize Out of Distribution
AI总结：
本文批判性评估了最先进幻觉检测方法，发现其性能受虚假相关性驱动，分布外泛化接近随机，并提出了检测与评估的指导原则。
摘要：
我们批判性地评估了当前最先进幻觉检测方法的有效性，并发现其在RAGTruth数据集上的性能很大程度上由与数据的虚假相关性驱动。在控制这一效应后，最先进方法的性能并不优于有监督的线性探针，同时需要在多个数据集上进行广泛的超参数调优。分布外泛化目前难以实现，所有被分析的方法性能均接近随机水平。我们为幻觉检测及其评估提出了一套指导原则。
英文摘要：
We critically assess the efficacy of the current SOTA in hallucination detection and find that its performance on the RAGTruth dataset is largely driven by a spurious correlation with data. Controlling for this effect, state-of-the-art performs no better than supervised linear probes, while requiring extensive hyperparameter tuning across datasets. Out-of-distribution generalization is currently out of reach, with all of the analyzed methods performing close to random. We propose a set of guidelines for hallucination detection and its evaluation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
