语言模型能玩维基百科游戏吗？
Can Language Models Play the Wikipedia Game?
AI总结：
该研究通过维基百科游戏测试语言模型的信息检索能力，发现GPT-o3 mini等最佳模型表现与人类相当但未显著优于人类，性能随语言和主题变化，为相关技术从业者提供启示。
摘要：
语言模型越来越多地支持或自动化从过大而无法索引的文档集合中进行信息检索，当该任务需要专业的语言或科学知识时会变得困难。我们使用维基百科游戏测试语言模型在类似信息检索任务上的表现，该游戏中玩家必须仅通过文章链接到达目标文章。我们在五种维基百科语言和五种学术文献数据集上比较了句子嵌入模型和大语言模型（LLMs），利用OpenAlex构建了维基百科页面和论文引用的超大型本地图，并提供构建和导航这些图的代码，这使得无需依赖第三方API即可研究语言模型的导航能力。我们将这些模型与人类和TF-IDF基准进行比较，维基百科游戏格式支持在技术、语言和领域间进行稳健比较。没有任何模型显著优于人类，尽管最佳模型（GPT-o3 mini、GPT-4o、QwQ:32B和DeepSeek-R1:70B）取得了相当的成功率。性能和排名随语言和主题变化，对使用这些技术的从业者具有启示意义。
英文摘要：
Language models increasingly support or automate information retrieval from document collections too large to index. This task is difficult when it requires specialist linguistic or scientific knowledge. We used the Wikipedia Game to test language models on an analogous information retrieval task. In the game, players must reach a target article using only article links. We compared sentence embedding models and LLMs across five Wikipedia languages and five academic-literature datasets. We construct very large local graphs of Wikipedia pages and of paper citations using OpenAlex and provide code to build and navigate them. This allows the study of language models' navigation capabilities without relying on third-party APIs. We compared the models with human and TF-IDF benchmarks. The Wikipedia Game format enables robust comparisons across techniques, languages, and domains. No model significantly outperformed humans, although the best models (GPT-o3 mini, GPT-4o, QwQ:32B, and DeepSeek-R1:70B) achieved comparable success. Performance and rankings varied across languages and topics, with implications for practitioners utilising these techniques.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
