评估大型语言模型中的文化知识处理：一种集成检索增强生成的认知基准框架
Evaluating Cultural Knowledge Processing in Large Language Models: A Cognitive Benchmarking Framework Integrating Retrieval-Augmented Generation
AI总结：
本研究提出一种集成 Bloom 分类法与检索增强生成（RAG）的认知基准框架，利用台湾客家数字文化档案评估大型语言模型处理特定文化知识的语义准确性与文化相关性。
摘要：
本研究提出一种认知基准框架，以评估大型语言模型（LLM）如何处理与应用特定文化知识。该框架将 Bloom 分类法与检索增强生成（RAG）相结合，以评估模型在六个层级认知领域内的表现：记忆、理解、应用、分析、评估与创造。使用精选的台湾客家数字文化档案作为主要测试平台，该评估测量了 LLM 生成回复的语义准确性与文化相关性。
英文摘要：
This study proposes a cognitive benchmarking framework to evaluate how large language models (LLMs) process and apply culturally specific knowledge. The framework integrates Bloom's Taxonomy with Retrieval-Augmented Generation (RAG) to assess model performance across six hierarchical cognitive domains: Remembering, Understanding, Applying, Analyzing, Evaluating, and Creating. Using a curated Taiwanese Hakka digital cultural archive as the primary testbed, the evaluation measures LLM-generated responses' semantic accuracy and cultural relevance.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
