大语言模型中“文化倾向”的脆弱性
The fragility of "cultural tendencies" in LLMs
AI总结：
本研究批判性复现LSZ关于LLM文化倾向的实验，发现其并非稳定特质，而是模型和任务设计的脆弱产物，提示语言影响极小。
摘要：
在最近的一项研究中，Lu、Song和Zhang（2025）（简称LSZ）提出，大语言模型（LLMs）在使用不同语言提示时，会表现出特定文化的倾向。他们报告称，两种模型（即GPT和ERNIE）在用中文提示时，会以更相互依赖和整体性的方式回应，而在用英文提示时，则更独立和分析性。LSZ将这些差异归因于模型中深层的文化模式，声称仅提示语言就能引发显著的文化转变。虽然我们承认他们观察到的经验模式，但我们发现其实验、方法和解释存在问题。在本文中，我们批判性地重新评估了LSZ的方法论、理论框架和结论。我们认为，所报告的“文化倾向”并非稳定的特质，而是特定模型和任务设计的脆弱产物。为验证这一点，我们使用更广泛的LLM集合和更多的测试项目进行了有针对性的复制实验。我们的结果表明，提示语言对输出影响极小，从而挑战了LSZ关于这些模型编码了根深蒂固的文化信念的主张。
英文摘要：
In a recent study, Lu, Song, and Zhang (2025) (LSZ) propose that large language models (LLMs), when prompted in different languages, display culturally specific tendencies. They report that the two models (i.e., GPT and ERNIE) respond in more interdependent and holistic ways when prompted in Chinese, and more independent and analytic ways when prompted in English. LSZ attribute these differences to deep-seated cultural patterns in the models, claiming that prompt language alone can induce substantial cultural shifts. While we acknowledge the empirical patterns they observed, we find their experiments, methods, and interpretations problematic. In this paper, we critically re-evaluate the methodology, theoretical framing, and conclusions of LSZ. We argue that the reported "cultural tendencies" are not stable traits but fragile artifacts of specific models and task design. To test this, we conducted targeted replications using a broader set of LLMs and a larger number of test items. Our results show that prompt language has minimal effect on outputs, challenging LSZ's claim that these models encode grounded cultural beliefs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
