EvalMORAAL: 可解释的链式推理与大语言模型道德对齐的LLM-as-Judge评估
EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models
AI总结：
本文提出EvalMORAAL框架，通过两种评分方法和模型作为裁判的同行评审，评估20个大语言模型的道德对齐情况，发现西方与非西方地区存在显著的道德对齐差距。
摘要：
我们提出了EvalMORAAL，一个透明的链式推理（CoT）框架，使用两种评分方法（对数概率和直接评分）以及模型作为裁判的同行评审来评估20个大语言模型的道德对齐。我们对世界价值观调查（55个国家，19个主题）和PEW全球态度调查（39个国家，8个主题）进行了评估。使用EvalMORAAL，顶级模型与调查响应高度一致（WVS上的皮尔逊相关系数r≈0.90）。然而，我们发现明显的区域差异：西方地区平均r=0.82，而非西方地区平均r=0.61（绝对差距0.21），表明存在持续的区域对齐差距。我们的框架增加了三个部分：（1）为所有模型提供两种评分方法以实现公平比较，（2）带有自我一致性检查的结构化Co T协议，以及（3）一个模型作为裁判的同行评审，使用数据驱动的阈值标记348个冲突。同行同意与WVS调查对齐（r=0.74，p<.001；PEW r=0.39，n.s.），支持自动化质量检查。这些结果展示了文化意识AI的真实进展，同时突显了跨区域应用的开放挑战。
英文摘要：
We present EvalMORAAL, a transparent chain-of-thought (CoT) framework that uses two scoring methods (log-probabilities and direct ratings) plus a model-as-judge peer review to evaluate moral alignment in 20 large language models. We assess models on the World Values Survey (55 countries, 19 topics) and the PEW Global Attitudes Survey (39 countries, 8 topics). With EvalMORAAL, top models align closely with survey responses (Pearson's $r \approx 0.90$ on WVS). Yet we find a clear regional difference: Western regions average $r=0.82$ while non-Western regions average $r=0.61$ (a 0.21 absolute gap), indicating a persistent regional alignment gap. Our framework adds three parts: (1) two scoring methods for all models to enable fair comparison, (2) a structured CoT protocol with self-consistency checks, and (3) a model-as-judge peer review that flags 348 conflicts using a data-driven threshold. Peer agreement relates to WVS survey alignment ($r=0.74$, $p<.001$; PEW $r=0.39$, n.s.), supporting automated quality checks. These results show real progress toward culture-aware AI while highlighting open challenges for use across regions.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
