Blind Men and the Elephant: Probing the Epistemic Myopia of LLMs under Long-Tail Divergent Knowledge
盲人摸象:探究长尾分歧知识下大语言模型(LLM)的认知近视问题
机构 * Tsinghua University(清华大学) ; Tencent(腾讯) ; University of Warwick(华威大学)
AI总结 本研究推出ElephantBench探针,发现LLM在长尾分歧知识问答中仅52.4%的问题能同时回忆两种解释,模型规模扩大等方法无法消除认知不完整性,为评估LLM认知严谨性提供了工具。
Comments 10 pages, 10 figurs, 1 table, under review