DRISHTIKON：一个用于测试语言模型对印度文化理解的多模态多语言基准
DRISHTIKON: A Multimodal Multilingual Benchmark for Testing Language Models' Understanding on Indian Culture
AI总结：
本文提出首个以印度文化为中心的多模态多语言基准DRISHTIKON，涵盖15种语言和超64,000个文本-图像对，通过评估多种视觉-语言模型揭示现有模型在文化推理上的不足，为文化感知的多模态语言技术提供测试平台。
摘要：
我们介绍了DRISHTIKON，这是首个专门以印度文化为中心的多模态多语言基准，旨在评估生成式AI系统的文化理解能力。与现有具有通用或全球范围的基准不同，DRISHTIKON对印度各地区的文化提供了深入、细粒度的覆盖，涵盖15种语言，覆盖所有邦和中央直辖区，并包含超过64,000个对齐的文本-图像对。该数据集捕捉了丰富的文化主题，包括节日、服饰、美食、艺术形式和历史遗产等众多内容。我们在零样本和思维链设置下评估了广泛的视觉-语言模型（VLM），包括开源的小型模型和大型模型、专有系统、推理专用VLM以及面向印度语言的模型。我们的结果揭示了当前模型在基于文化的多模态输入上进行推理的能力方面存在的关键局限，尤其是在低资源语言和记录较少的传统方面。DRISHTIKON填补了包容性AI研究中的一个重要空白，提供了一个稳健的测试平台，以推进具有文化意识、多模态能力的语言技术的发展。
英文摘要：
We introduce DRISHTIKON, a first-of-its-kind multimodal and multilingual benchmark centered exclusively on Indian culture, designed to evaluate the cultural understanding of generative AI systems. Unlike existing benchmarks with a generic or global scope, DRISHTIKON offers deep, fine-grained coverage across India's diverse regions, spanning 15 languages, covering all states and union territories, and incorporating over 64,000 aligned text-image pairs. The dataset captures rich cultural themes including festivals, attire, cuisines, art forms, and historical heritage amongst many more. We evaluate a wide range of vision-language models (VLMs), including open-source small and large models, proprietary systems, reasoning-specialized VLMs, and Indic-focused models, across zero-shot and chain-of-thought settings. Our results expose key limitations in current models' ability to reason over culturally grounded, multimodal inputs, particularly for low-resource languages and less-documented traditions. DRISHTIKON fills a vital gap in inclusive AI research, offering a robust testbed to advance culturally aware, multimodally competent language technologies.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
