CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs
Harbin Institute of Technology(哈尔滨工业大学);The University of Hong Kong(香港大学);Harvard University(哈佛大学)
为弥补现有研究仅将文化智能视为知识获取问题而忽视实际场景应用的不足,提出CultureForest基准,通过基于原子规范的推理任务评估模型,发现顶级模型在开放式生成中性能大幅下降,并揭示推理能力瓶颈。
2026-06-01 cs.CL
Extrinsic Evaluation of Cultural Competence in Large Language Models
Carnegie Mellon University(卡内基梅隆大学)
本文通过两个文本生成任务评估模型在文化敏感性方面的表现,发现文化提示对输出有影响,但不同国家输出的相似性与文化价值观无显著关联。
2024-10-03 cs.CL cs.CY
Multilingual in Name Only? Cultural and Linguistic Weaknesses of LLMs in Urdu
University of Konstanz(康斯坦茨大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Monash University Malaysia(莫纳什大学马来西亚校区);Dalhousie University(达尔豪斯大学)
本研究通过生成93个乌尔都语故事并人工标注错误,发现多语言LLMs在低资源语言中存在基本语法语义错误、缺乏连贯性及文化浅薄等问题,且少样本提示无法解决文化错误。
2026-09-11 cs.AI cs.CL cs.LG
Towards Geo-Culturally Grounded LLM Generations
Google(谷歌);Washington University in St. Louis(华盛顿大学圣路易斯分校)
研究比较了标准LLM、知识库接地和搜索接地在文化认知基准上的表现,发现搜索接地能显著提升命题知识测试表现,但会增加刻板判断风险且未提升开放式文化流利度。
2025-07-16 cs.AI cs.CL
CulFiT: A Fine-grained Cultural-aware LLM Training Paradigm via Multilingual Critique Data Synthesis
University of Electronic Science and Technology of China(电子科技大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对LLM文化偏见问题,提出CulFiT训练范式,利用多语言批评数据合成与细粒度奖励建模,配合GlobalCultureQA数据集,在文化对齐和推理上达到开源模型最优性能。
2025-05-27 cs.CL
TALES: A Taxonomy and Analysis of Cultural Representations in LLM-generated Stories
Indian Institute of Science(印度科学研究院);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);Google DeepMind(谷歌DeepMind)
TALES通过分类和分析LLM生成故事中的文化误表征,揭示了印度不同文化身份的表征问题,并构建了评估模型文化知识的问题库。
2026-01-29 cs.AI cs.CL cs.CY
Culturally uneven urban perception in large language models
Centre for Advanced Spatial Analysis (CASA), UCL, London, UK(高级空间分析中心(CASA),伦敦大学学院,英国);School of Architecture, Tsinghua University, Beijing, China(清华大学建筑学院,北京,中国);Department of Computer Science, UT Austin, Austin, TX, USA(得克萨斯大学奥斯汀分校计算机科学系,奥斯汀,德克萨斯,美国)
本研究通过全球平衡的街景样本测试前沿LLM的城市感知,发现中性提示实际上偏向欧美文化,且文化提示能改变情感评价但无法恢复人类语义多样性。
2026-06-08 cs.CL cs.CY
Training-Free Cultural Alignment of Large Language Models via Persona Disagreement
Faculty of Information and Technology, University of Science, Vietnam National University(信息与技术学院,科学大学,越南国家大学);Department of Computer Science, University of Warwick(计算机科学系,沃里克大学);School of Computing, Engineering and Digital Technologies, Teesside University(计算、工程和数字技术学院,泰赛德大学)
本文提出DISCA方法,在不改变模型权重的情况下,通过人格分歧校准减少大语言模型在多任务测试中的文化偏差,为服务全球道德偏好提供了可扩展的替代方案。
2026-05-18 cs.AI cs.CL cs.CY
Can LLMs Express Personality Across Cultures? Introducing CulturalPersonas for Evaluating Trait Alignment
Department of Computer Science, University of Southern California(计算机科学系,南加州大学)
本文提出CulturalPersonas基准,含3000个跨六国场景问题,评估LLM个性表达,使Wasserstein距离降低超20%,促进文化对齐。
2025-10-13 cs.CL
SaudiCulture: A Benchmark for Evaluating Large Language Models Cultural Competence within Saudi Arabia
King Khalid University(国王哈立德大学);Umm Al-Qura University(乌姆古拉大学);Taibah University(塔伊巴大学)
本研究推出评估沙特阿拉伯文化语境下LLM文化能力的基准SaudiCulture,覆盖多区域、多文化领域与多题型,实验发现现有LLM在区域专门问题上表现下滑,凸显了融入区域知识的必要性。
2025-03-21 cs.AI cs.CL
MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs
本文提出基于Wikidata的多语言自动评估框架MAKIEval,通过四个指标评估LLMs在13种语言、19个国家和地区及6个文化主题上的文化意识,发现模型在英语中表现更强。
2025-09-22 cs.CL
StereoTales: A Multilingual Framework for Open-Ended Stereotype Discovery in LLMs
Giskard AI;École Normale Supérieure, INSERM, Paris(巴黎高等师范学院、INSERM、巴黎)
本文提出StereoTales,一个多语言数据集和评估流程,用于系统研究开放性LLM生成中的社会偏见。研究发现所有模型在开放生成中都会产生有害刻板印象,提示语言显著影响刻板印象表现,且人类和LLM对有害性的判断基本一致。
2026-05-12 cs.AI cs.CL cs.CY
Toward Cultural Interpretability: A Linguistic Anthropological Framework for Describing and Evaluating Large Language Models (LLMs)
Massachusetts Institute of Technology(麻省理工学院)
本文提出文化可解释性(CI)框架,融合语言人类学与机器学习,通过分析人机对话,揭示LLM中语言与文化关系,以改善价值对齐,并提出相对性、变异性、索引性三个研究轴。
2024-11-07 cs.CL cs.CY cs.HC
Cultural Authenticity: Comparing LLM Cultural Representations to Native Human Expectations
Google Research(谷歌研究院);Google India(谷歌印度)
本文提出人类中心框架评估LLM生成内容与本地期望的一致性,发现部分模型存在以西方为中心的校准,文化距离越远一致性越低,并识别出系统性误差。
2026-04-03 cs.CL
MindForge: Empowering Embodied Agents with Theory of Mind for Lifelong Cultural Learning
Delft University of Technology(代尔夫特理工大学)
MindForge通过显式视角转换和多组件记忆系统,使智能体在Minecraft中实现文化终身学习,显著提升基础任务表现并适应新任务。
2025-12-16 cs.AI cs.CL
LLM-GLOBE: A Benchmark Evaluating the Cultural Values Embedded in LLM Output
Schwarzman College, Tsinghua University(清华大学苏世民书院);Microsoft Research Asia(微软亚洲研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
基于文化心理学GLOBE框架提出LLM-GLOBE基准,结合“LLMs-as-a-Jury”流水线评估中美LLM的文化价值观,发现开放式生成任务更适合文化评估。
2024-11-09 cs.CL
From National Curricula to Cultural Awareness: Constructing Open-Ended Culture-Specific Question Answering Dataset
KAIST AI Center(韩国国立科学技术院人工智能中心);Samsung Electronics(三星电子);Hankuk University of Foreign Studies(韩国外语大学)
本文提出CuCu框架,利用国家课程构建文化特定的开放性问答数据集KCaQA,以提升语言模型在文化对齐方面的表现。
2026-08-27 cs.AI cs.CL
Culture-Aware Humorous Captioning: Multimodal Humor Generation across Cultural Contexts
Nanyang Technological University(南洋理工大学);Tongji University(同济大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出一种多模态幽默生成任务,通过文化意识标题生成模型在不同文化背景下生成幽默标题,改进了文化背景下的图像相关性、语境适配性和幽默质量。
2026-04-20 cs.CL cs.CV
CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks
Elm Company(Elm公司)
本文介绍了专为阿拉伯语使用者文化对齐设计的92.4亿参数双语LLM Juhaina,并提出新基准CamelEval,证明其在阿拉伯语回复和地域文化理解上超越同等规模的Llama和Gemma等模型。
2024-09-24 cs.AI cs.CL
CCD-Bench: Probing Cultural Conflict in Large Language Model Decision-Making
针对LLMs在跨文化价值冲突决策中的能力空白,本文提出CCD-Bench基准,通过2182个困境评估17个模型,发现其偏好特定文化选项且多元性流于表面,推动评估转向多元决策并强调对齐策略需融入多元世界观。
2025-11-13 cs.CL
Where Models Converge and Humans Diverge: A Coverage Framework for Distributional Pluralism in Open-Ended Generation
本文针对LLM与人类写作间的分布差距问题,提出以人类写作经验分布为基准的框架,通过LLM-Cov和IBR指标测量LLM生成内容的分布广度,发现当前LLM内容合理但狭窄,可用于评估其“文化覆盖范围”。
2026-10-27 cs.CL cs.CY
Invisible Walls in Cities: Designing LLM Agent to Predict Urban Segregation Experience with Social Media Content
Department of Electronic Engineering, BNRist, Tsinghua University(电子工程系,BNRist,清华大学);Hong Kong University of Science(科学大学)
本文提出了一种基于LLM的代理,通过社交媒体内容预测城市隔离体验,利用代码本整合多通道特征,提升预测准确性并促进社会包容性。
2026-02-05 cs.CL cs.CY cs.SI
SAGE: Hierarchical LLM-Based Literary Evaluation through Ontology-Grounded Interpretive Dimensions
Mercy University, Math & Computer Science Department(梅里大学数学与计算机科学系);IBM T.J. Watson Research Center(IBM 托马斯·贾维斯·沃森研究中心)
SAGE通过本体引导的解释性维度对文学质量进行分层评估,利用结构化大语言模型评估和多轮迭代反思,实现98.8%的评分收敛和94%的评分者一致性,揭示了文学质量的层次结构和影响因素。
2026-05-08 cs.CL
Knowing Is Not Telling: Identity Ossification in LLM Representations of Trans-border Communities
Northeastern University(东北大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究针对中国西南与东南亚边境的9个跨境族群,用TIODF框架测试GPT-5.1和DeepSeek-V3.2,发现LLM存在将跨境身份固化为单一国家身份的问题,且与叙事框架相关,影响多语言AI的文化公平性。
2026-10-12 cs.CL cs.CY
Naturalistic measure of social norms alignment
Aarhus University(奥胡斯大学)
提出通过解决方案匹配在自然主义自由形式设置中测量社会规范一致性的框架,并引入陈述一致性和显式一致性两个指标,基于丹麦语社会困境数据集评估LLM与人类的一致性。
2026-10-27 cs.CL
Surfacing Subtle Stereotypes: A Multilingual, Debate-Oriented Evaluation of Modern LLMs
The University of British Columbia(不列颠哥伦比亚大学);University of Waterloo(滑铁卢大学)
本文提出多语言辩论基准测试,揭示生成模型中叙事偏见。通过8400个跨语言辩论提示,评估模型对敏感领域刻板印象的再现,发现所有模型均存在偏见,且低资源语言中偏见更严重。
2026-03-30 cs.CL cs.CY
Language Models Entangle Language and Culture
Lossfunk
研究发现语言选择影响LLM生成答案的文化上下文,导致低资源语言回答质量较低。
2026-01-20 cs.CL cs.LG
OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models
Beijing Language and Culture University(北京语言大学);Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);Northeastern University(东北大学);Shanghai University of Finance and Economics(上海金融学院)
OMGEval是一个开放的多语言生成评估基准,通过提供多种语言的开放性问题,评估大型语言模型在不同文化背景下的能力,旨在提升多语言模型的性能。
2026-01-30 cs.CL
MyCulture: Exploring Malaysia's Diverse Culture under Low-Resource Language Constraints
Universiti Malaya(马来大学)
针对LLMs在低资源语言中的文化偏见,本文提出马来西亚文化基准MyCulture,采用无预定义选项的开放式多选题格式全面评估LLMs,揭示了模型在文化理解上的显著差异。
2025-08-08 cs.AI cs.CL
Beyond Acoustic Emotion Recognition: Multimodal Pathos Analysis in Political Speech Using LLM-Based and Acoustic Emotion Models
Democracy Intelligence gGmbH(民主智能有限责任公司)
本文研究了语音情感识别模型是否能作为政治演讲分析中Pathos维度的代理,通过TRUST多智能体大语言模型(LLM)管道进行操作。使用德国议会全体会议中Felix Banaszak的演讲作为案例研究,比较了三种分析模式:(1) emotion2vec_plus_large,一个通过后验Russell Circumplex投影得到连续唤醒度和估值的语音情感识别(SER)模型;(2) Gemini 2.5 Flash,一个分析完整演讲音频及其转录文本的LLM,以开放和上下文感知的方式进行;(3) TRUST-Pathos分数,来自三个倡导者LLM监督集合。斯皮尔曼等级相关性显示,Gemini估值与TRUST-Pathos高度相关(rho = +0.664,p < 0.001),而emotion2vec估值不相关(rho = +0.097,p = 0.499)。我们进一步通过系统评估柏林情感语音数据库(EMO-DB)使用Gemini在开放注释范式下,证明标准SER基准语料库存在表演性演讲、文化偏见和类别不兼容性。我们的结果表明,基于LLM的多模态分析在捕捉语义定义的政治情感方面比单独的语音模型更有效,而语音特征仍对低层次唤醒度估计有帮助。未来的工作将扩展这种方法到视频分析中,结合面部表情和眼神。
2026-05-21 cs.AI cs.CL cs.HC
When Do Language Models Endorse Limitations on Human Rights Principles?
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Jinesis AI Lab, University of Toronto & Vector Institute(Jinesis AI实验室,多伦多大学及向量研究所);University of Michigan(密歇根大学);University of Copenhagen(哥本哈根大学);EuroSafeAI
本文研究了语言模型在人权原则限制上的偏见,发现模型在不同语言和提示下表现出系统性差异,揭示了AI在高风险互动中的伦理挑战。
2026-03-04 cs.CL
From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026
Eastern University(东部大学)
本综述通过证据图谱揭示学生教学评价NLP研究存在行动性断层:从可演示输出(61.3%)到预期用户评估(11.6%)大幅下降,情感分析为主流任务,公平性指标罕见,强调技术多样性未带来教育价值提升。
2026-09-24 cs.CL cs.LG
From Voices to Validity: Leveraging Large Language Models (LLMs) for Textual Analysis of Policy Stakeholder Interviews
University of Washington(华盛顿大学)
本研究针对政策访谈人工编码耗时耗力的问题,提出人机结合的混合方法,结合人类领域知识与GPT-4开展K-12教育政策访谈的主题与情感分析,显著提升了分析效率、效度与可解释性。
2023-12-02 cs.AI cs.CL cs.HC
Algorithmic Fidelity of Large Language Models in Generating Synthetic German Public Opinions: A Case Study
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Maryland, College Park(马里兰大学学院市分校)
本研究评估LLMs生成合成德国公众意见的算法保真度,发现Llama表现更优,对左倾政党支持者建模更准,提示变量影响显著,强调需对齐LLMs以减少偏见。
2025-06-02 cs.CL
CAReDiO: Cultural Alignment via Representativeness and Distinctiveness Guided Data Optimization
Microsoft Research Asia(微软亚洲研究院);Renmin University of China(中国人民大学)
CAReDiO通过代表性与独特性引导的数据优化,提升多文化环境下LLM的对齐效果与文化建模精度。
2026-03-06 cs.CL
Context Steering: Controllable Personalization at Inference Time
UC Berkeley(加州大学伯克利分校)
本文提出无需训练的上下文引导(CoS)解码方法,通过比较有无上下文的前向概率差异并线性缩放,在推理时灵活控制大语言模型个性化程度,并在推荐和文本相关性推断中验证其有效性。
2025-02-06 cs.AI cs.CL
IslamicTurathBench: A Multi-Task, Multi-Discipline Benchmark for Evaluating Large Language Models on the Islamic Scholarly Tradition (turath)
该研究推出用于评估大型语言模型伊斯兰学术性能的多任务基准 ISTB,含3465个问答条目,支持多维度可复现评估,填补了该领域高质量标注资源的空白。
2026-08-06 cs.CL
How Deep Is Representational Bias in LLMs? The Cases of Caste and Religion
本研究系统审计GPT-4 Turbo,发现其在宗教和种姓表征上存在深层且粘性的偏差,过度代表文化主导群体,提示干预效果有限,表明仅多样化训练数据不足以纠正偏差。
2025-07-22 cs.CL
Speciesism in AI: Evaluating Discrimination Against Animals in Large Language Models
Independent(独立学者);University of Cambridge(剑桥大学);Harvard University(哈佛大学);University of Stuttgart(斯图加特大学)
研究评估大型语言模型是否表现出基于物种的歧视倾向,发现其在识别物种歧视言论方面可靠但较少谴责,且在文本生成中倾向于合理化对农场动物的伤害。
2025-08-15 cs.CL cs.CY
Multimodal Cultural Safety: Evaluation Framework and Alignment Strategies
University of California, Los Angeles(加州大学洛杉矶分校);Salesforce AI Research(Salesforce人工智能研究);Google DeepMind(谷歌DeepMind)
本文提出CROSS基准和CROSS-Eval框架,评估多模态模型的文化安全能力,发现提升推理能力可改善文化对齐,但需结合监督微调和偏好微调策略以增强文化合规性。
2025-12-19 cs.CL
Representational Harms in LLM-Generated Narratives Against Global Majority Nationalities
Brown University(布朗大学);George Mason University(乔治·马歇尔大学)
本文研究了广泛使用的LLM在开放性叙述生成提示下对不同民族身份的呈现,发现存在持续性的代表性伤害,包括有害刻板印象、抹除和一维化描述,且美国国籍提示会加剧这种伤害。
2026-04-24 cs.CL
Can LLMs Capture Expert Uncertainty? A Comparative Analysis of Value Alignment in Ethnographic Qualitative Research
University of Cyprus(塞浦路斯大学);University of Cambridge(剑桥大学)
本文研究LLMs在人类学质性研究中捕捉专家不确定性的能力,发现Qwen在价值对齐上表现最佳,但需进一步探讨模型偏差问题。
2026-03-06 cs.CL