From axioms over graphs to vectors, and back again: evaluating the properties of graph-based ontology embeddings
Computational Bioscience Research Center（计算生物科学研究中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文评估了基于图的本体嵌入方法，分析了不同图投影的性质对预测公理性能的影响，发现投影方式和本体选择显著影响嵌入效果。
2023-05-11 cs.AI cs.LO
Disentangling concept semantics via multilingual averaging in Sparse Autoencoders
针对LLM语义与句法、特定语言信息纠缠的问题，提出多语言平均稀疏自编码器概念激活的方法，分离概念语义，实验显示其比单语言更贴合本体类真实关系，助力机制解释。
2025-08-19 cs.AI cs.CL
The Arabic Ontology -- An Arabic Wordnet with Ontologically Clean Content
Birzeit University（比尔宰特大学）
我们提出了一个正式的阿拉伯语wordnet的基础上精心设计的本体，在此称为阿拉伯语本体。本体论提供了阿拉伯语术语所传达的概念的正式表示，其内容是在考虑到本体论分析的情况下构建的，并尽可能地以科学进步和严格的知识来源为基准，而不是像词典通常那样仅以说话者的信念为基准。进行了全面的评价，从而表明，目前版本的顶级本体可以顶部的阿拉伯语的含义。本体目前包括大约1,300个经过充分研究的概念，以及11,000个经过部分验证的概念。该本体可通过词典搜索引擎（https：//www.example.com）查阅和搜索，该引擎还包括大约150个阿拉伯语-多种语文词典，目前正在利用该本体对这些词典进行映射和充实。ontology.birzeit.edu本体与Princeton WordNet，Wikidata和其他资源完全映射。
2022-05-19 cs.AI cs.CL cs.IR
FOCA: A Methodology for Ontology Evaluation
UFAL（阿拉戈斯联邦大学）；UFPE（伯南布哥联邦大学）；USP（圣保罗大学）
本体建模是一项艰巨而耗时的任务。虽然方法是有用的本体论创建良好的本体，他们没有帮助的任务，评估本体的质量被重用。因此，在本体构建之后或重用之前，对本体的质量进行评估是非常必要的，但很少有研究仅仅给出一组标准和问题，而没有对本体进行评估的指导。评估一个本体的工作量非常大，因为要深入理解标准和问题，非常依赖评估者的专业知识。而且，评价还是很主观的。本研究提出一种新的本体评估方法，考虑到三个基本原则：i）它是基于目标，问题，度量方法的实证评估; ii）的目标的方法是基于知识表示的作用结合具体的评估标准; iii）每个本体的评估根据本体的类型。该方法进行了经验评估，使用不同的本体论和本体论的同一领域。本研究的主要贡献是：i）定义一个逐步的方法来评估本体的质量; ii）提出一个基于知识表示的角色的评价; iii）根据本体的类型明确的差异的评价iii）一个问卷调查，以评估本体; iv）一个统计模型，自动计算的本体的质量。
2017-09-02 cs.AI
ILexicOn: toward an ECD-compliant interlingual lexical ontology described with semantic web formalisms
INRIA Sophia Antipolis（法国国家信息与自动化研究所索菲亚·安蒂波利斯分部）；EPI Edelweiss（EPI Edelweiss研究团队）
我们有兴趣在自然语言和语义网之间架起一座桥梁，特别是支持对数据网的自然多语言访问。在本文中，我们介绍了一种新类型的词汇本体称为语际词汇本体（IlexicOn），它使用语义网形式化，使每个语际词汇单元类（ILUc）支持其语义分解的投影本身。在对现有的词汇本体进行了简短的概述之后，我们简要介绍了我们使用的语义网形式主义。然后，我们提出了我们的方法的三层架构：i）的语际词汇元本体（IlexiMOn）; ii）ILUcs正式定义的IlexicOn; iii）数据层。我们用一个独立的IlexicOn来说明我们的方法，并介绍和解释一个简洁的人类可读的符号来表示IlexicOn。最后，我们展示了如何语义网形式主义，使一个语义分解的投影上分解的ILUc。
2012-04-24 cs.AI cs.CL
A Risk Ontology for Evaluating AI-Powered Psychotherapy Virtual Agents
Northeastern University（东北大学）
本文提出一种专门用于系统评估对话式AI心理治疗师的风险本体，通过整合文献、专家访谈和临床标准，支持监测真实交互、模拟患者评估、基准比较和识别意外结果，以促进AI心理健康支持的安全创新。
2025-09-20 cs.AI cs.CL cs.HC
Revisiting Indirect Ontology Alignment : New Challenging Issues in Cross-Lingual Context
Université de Tunis El Manar（突尼斯埃尔马纳尔大学）
本体对齐过程在知识工程中被压倒性地引用为旨在绕过异构性并协调由本体表示的各种数据源的关键机制，即，语义网的基石。在这样的基础设施和环境中，假设覆盖特定知识领域的所有本体都成对对齐是不可想象的。此外，对准方法的高性能与两个因素密切相关，即，时间消耗和机器资源限制。因此，高质量的比对是有价值的，并且利用它们将是适当的。基于此，本文介绍了一种在跨语言环境下本体间接对齐的新方法。事实上，所提出的方法处理多语言本体的对齐，并实现了一个间接的本体对齐策略的组成和重用的基础上有效的直接对齐。所提出的方法过程的触发器是基于对齐代数，它管理的关系和置信度值的语义组成。经过彻底和详细的实验，所获得的结果是非常令人鼓舞的，并突出了新提出的方法的许多积极方面。
2021-04-04 cs.AI cs.IR
Translating the Untranslatable: An Operationalizable Ontology for Untranslatability
University of Southern California Information Sciences Institute（南加州大学信息科学研究所）
提出一个结构化的不可译性本体论和补偿策略分类法，构建多语言数据集，通过人类偏好研究发现注释补偿策略最受青睐，为策略感知机器翻译奠定基础。
2026-06-17 cs.AI cs.CL
Multifaceted Context Representation using Dual Attention for Ontology Alignment
IIIT Hyderabad（印度信息技术与通信技术研究院海得拉巴分校）；IBM Research（IBM研究院）
本体对齐是一个重要的研究问题，发现应用在各个领域，如数据集成，数据传输，数据准备等国家的最先进的（SOTA）架构本体对齐通常使用天真的领域依赖的方法与手工制作的规则和手动分配的值，使它们不可扩展和效率低下。用于本体对齐的深度学习方法使用特定于领域的架构，这些架构不仅无法扩展到其他数据集和领域，而且由于各种限制（包括模型的过拟合，数据集的稀疏性等），通常比基于规则的方法表现更差。基于深度学习的模型，使用双重注意力机制来计算概念的上下文表示，以学习对齐。通过这样做，我们的方法不仅利用本体的语法和语义结构，它也是，通过设计，灵活和可扩展到不同的领域，以最小的努力。我们验证了我们的方法在不同领域的各种数据集和多语言设置，并显示其优越的性能SOTA方法。
2020-10-26 cs.AI cs.DB cs.LG
Evaluating the Fitness of Ontologies for the Task of Question Generation
Umm al-Qura University（乌姆·阿勒·库拉大学）；University of Liverpool（利物浦大学）
本文提出一组针对教学场景中本体适配问题生成任务的评估需求与度量指标，基于ROMEO方法和专家评估推导并验证这些指标，证实本体特征显著影响自动问题生成的有效性。
2025-08-27 cs.AI cs.CL
Evaluating Adaptive Personalization of Educational Readings with Simulated Learners
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）
本文提出框架，通过理论指导的模拟学习者评估教育阅读材料的自适应个性化，通过构建学习目标和知识组件本体，生成对齐的阅读评估对，结果显示自适应阅读在计算机科学中有显著提升，在无机化学中略有提升，在一般生物学中则无明显效果。
2026-05-13 cs.AI cs.CL cs.HC
DISO: A Domain Ontology for Modeling Dislocations in Crystalline Materials
Forschungszentrum Jülich（于利希研究中心）；University of Alexandria（亚历山大大学）；RWTH Aachen University（亚琛工业大学）
本文提出位错本体（DISO），通过自上而下方法定义晶体材料线状缺陷概念与关系，遵循W3C标准发布，并通过用例与双向评估验证其在位错动力学建模中的有效性与丰富度。
2024-01-04 cond-mat.mtrl-sci cs.AI
CLEF HIPE-2026: Evaluating Accurate and Efficient Person-Place Relation Extraction from Multilingual Historical Texts
University of Zurich, Switzerland（苏黎世大学，瑞士）；Swiss Art Research Infrastructure (SARI), University of Zurich（瑞士艺术研究基础设施（SARI），苏黎世大学）；École Polytechnique Fédérale de Lausanne (EPFL), Switzerland（洛桑联邦理工学院（EPFL），瑞士）
提出HIPE-2026评测任务，针对多语言历史文本中的人物-地点关系抽取，引入联合评估准确性、计算效率和领域泛化的三方面评价框架。
2026-06-26 cs.AI cs.CL cs.IR
Minimal Macro-Based Rewritings of Formal Languages: Theory and Applications in Ontology Engineering (and beyond)
Stanford University（斯坦福大学）；University of Oslo（奥斯陆大学）；University of Manchester（曼彻斯特大学）
本文提出形式语言的句法宏最小重写问题，给出多项式时间求解算法并验证正确性，应用于OWL生物医学本体可显著缩减规模，还为重写系统特性分析提供系统化方法。
2023-12-18 cs.AI cs.DB
Models for Narrative Information: A Study
Documentation Research and Training Centre, Indian Statistical Institute（印度统计研究所文献研究与培训中心）；Department of Library and Information Science, Calcutta University（加尔各答大学图书馆与信息科学系）
本文的主要目的是研究和报告现有的本体驱动的叙事信息模型。本文旨在分析这些模型在不同领域。这项工作的目标是将相关文献和本体模型放在一个保护伞下，并进行参数比较研究。采用系统的文献综述方法进行广泛的文献选择。采用随机分层抽样技术从文献中选择模型。研究结果阐明了跨领域的叙事模式的比较视图。在基于本体的叙述性信息模型的情况下，确定了跨领域知识表示的差异和相似性。有显着较少的研究，审查基于本体的叙事模式。这项工作更进了一步，通过使用叙事组件的参数来评估本体。本文将探讨模型中的基本概念和顶层概念。此外，本研究还在现有研究的背景下对叙事理论进行了全面的研究。这项工作的结果表明跨领域的本体的元素之间的相似性和差异。它还确定了基于本体的叙事信息的最新文献。
2021-09-23 cs.AI cs.DL
Evaluating approaches for supervised semantic labeling
Siemens（西门子）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
关系数据源仍然是存储企业或Web数据的最流行的方法之一，然而，关系模式的问题是缺乏定义良好的语义描述。公共本体提供了一种表示关系模式的含义的方法，并且可以促进域中异构数据源的集成。语义标记是通过将数据源的属性映射到本体中的类和属性来实现的。我们制定这个问题作为一个多类分类问题，以前标记的数据源被用来学习规则标记新的数据源。大多数现有的语义标记方法都集中在数据集成的挑战，如命名冲突和语义异构性。此外，机器学习方法通常存在类不平衡、缺少标记实例和属性相对重要性的问题。为了解决这些问题，我们开发了一个新的机器学习模型与工程功能，以及两个深度学习模型，不需要广泛的功能工程。我们用最先进的技术来评估我们的新方法。
2018-01-29 cs.AI cs.CL cs.LG
Semantic Similarity Measures Applied to an Ontology for Human-Like Interaction
Carlos III University（卡洛斯三世大学）
本文的重点是计算两个概念之间的相似度从一个本体的类人交互系统。为了便于计算，提出了一个相似性函数的基础上构成的本体知识的结构的五个维度（排序，成分，本质，限制性和描述性）。该文件包括一个建议，计算每个维度的知识的相似性函数。随后，对获得的相似性值进行加权和聚合以获得全局相似性度量。为了计算与每个维度相关联的权重，已经提出了四种训练方法。培训方法在适合的元素上有所不同：用户，概念或概念对，以及混合方法。为了评估该提案，知识库由WordNet提供，并通过使用知识编辑工具包（Cognos）进行扩展。通过比较系统响应与人类测试对象给出的响应，对提案进行评估，既提供了程序合理性的衡量标准，又揭示了提案可以改进的方式。
2014-01-18 cs.AI cs.CL
The Roles of English in Evaluating Multilingual Language Models
KU Leuven（鲁汶大学）
该立场论文指出英语在多语言语言模型评估中兼具交互接口与自然语言两种角色，二者目标存在差异，建议摒弃用英语作为接口提升任务性能的不精确方法，转向聚焦语言理解研究。
2024-12-11 cs.AI cs.CL
Evaluating Cross-Lingual Transfer Learning Approaches in Multilingual Conversational Agent Models
Amazon（亚马逊）
随着语音助理设备最近的爆炸式普及，人们越来越有兴趣使它们可用于其他国家和语言的用户群体。然而，为了为特定用户群体提供最高的准确性和最佳性能，大多数现有的语音助理模型都是针对每个地区或语言单独开发的，这需要线性投入。在本文中，我们提出了一个通用的多语言模型框架的自然语言理解（NLU）模型，它可以帮助引导新的语言模型更快，并减少所需的工作量，分别开发每种语言。我们将探讨不同的深度学习架构如何影响多语言NLU模型的性能。我们的实验结果表明，这些多语言模型可以达到相同或更好的性能相比，单语模型在特定语言的测试数据，而需要更少的努力，在创建功能和模型维护。
2020-12-07 cs.AI cs.CL
Common Sense Beyond English: Evaluating and Improving Multilingual Language Models for Commonsense Reasoning
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
常识推理的研究迄今仅限于英语。我们的目标是评估和改进流行的多语言语言模型（ML-LM），以帮助推进常识推理（CSR）超越英语。我们收集了米奇语料库，包括11种不同语言的561 k句子，可用于分析和改进ML-LM。我们提出了米奇探测器，一种语言无关的探测任务，用于公平地评估不同语言中流行的ML-LM的常识。此外，我们还创建了两个新的数据集，X-CSQA和X-CODAH，通过将其英文版本翻译为其他15种语言，以便我们可以评估流行的ML-LM跨语言常识推理。为了提高英语以外的性能，我们提出了一种简单而有效的方法--多语言对比预训练（MCP）。它显著增强了句子表示，在两个基准测试中都获得了很大的性能增益。
2021-06-13 cs.AI cs.CL
The Heap: A Contamination-Free Multilingual Code Dataset for Evaluating Large Language Models
Delft University of Technology（代尔夫特理工大学）
The Heap是一个无污染的多语言代码数据集，用于公平评估大型语言模型，覆盖57种编程语言并去重以减少数据清洗需求。
2025-12-29 cs.AI cs.CL
Qtok: A Comprehensive Framework for Evaluating Multilingual Tokenizer Quality in Large Language Models
Neapolis University Pafos（帕福斯那不勒斯大学）
本文提出Qtok框架，通过语言覆盖率、token完整性和分布等指标评估多语言分词器质量，分析了58个模型的13个分词器，为多语言LLM分词策略的评估与改进提供了系统方法和实用工具。
2024-10-16 cs.AI cs.CL
FlyAOC: Evaluating Agentic Ontology Curation of Drosophila Scientific Knowledge Bases
University of Michigan（密歇根大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
FlyAOC通过FlyBench评估AI代理在从科学文献中进行端到端本体编纂的能力，发现多代理设计性能更优，但模型规模扩大效益递减。
2026-09-28 cs.AI cs.CL cs.IR
Do Large Language Models Have an English Accent? Evaluating and Improving the Naturalness of Multilingual LLMs
Apple（苹果公司）；Inria Paris（巴黎国家信息与自动化研究所）；École Polytechnique（巴黎高等理工学院）；Sapienza University of Rome（罗马萨皮恩扎大学）
针对多语言LLM输出带有英语中心偏差的问题，本文提出语料库级词汇与句法自然度指标，并通过简单有效的对齐方法在法语和中文场景中持续提升自然度且不损害通用性能。
2025-07-25 cs.AI cs.CL
IndicXNLI: Evaluating Multilingual Inference for Indian Languages
Microsoft Research（微软研究院）；Delhi Technological University（德里理工大学）；University of Utah（犹他大学）
虽然Indic NLP最近在语料库和预训练模型的可用性方面取得了快速进展，但标准NLU任务的基准数据集有限。为此，我们引入了IndicXNLI，一个针对11种印度语言的NLI数据集。它是由原始英文XNLI数据集的高质量机器翻译创建的，我们的分析证明了IndicXNLI的质量。通过在这个IndicXNLI上微调不同的预训练LM，我们分析了各种跨语言迁移技术对语言模型，语言，多语言，混合语言输入等的选择的影响。这些实验为我们提供了有用的见解预训练模型的行为，为不同的语言。
2022-04-19 cs.AI cs.CL
Evaluating and Mitigating Anti-LGBTQ Biases in German and Multilingual Language Models
Marburg University（马尔堡大学）
本文构建德语-英语多语言基准数据集，评估8种语言模型的反LGBTQ偏见，发现模型存在相关刻板印象，微调可平均降偏但效果不均，凸显多语言偏见评估需文化适应。
2026-09-01 cs.AI cs.CL
Evaluating Multilingual and Code-Switched Alignment in LLMs via Synthetic Natural Language Inference
Texas A\&M University, College Station, TX., USA（德克萨斯大学）；Hamad Bin Khalifa University, Doha, Qatar（哈马德·本·卡伊夫大学）
针对大语言模型跨语言逻辑对齐能力未充分探索的问题，提出合成逻辑型NLI对并翻译至多语言的受控评估框架，发现语码转换不降低甚至提升性能，为多语言鲁棒性研究提供新视角与工具。
2025-08-20 cs.AI cs.CL
IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia
Oracle America Inc.（Oracle美洲公司）
本文提出IndicSafe基准，评估12种南亚语言中LLM的安全性，发现跨语言一致性仅12.8%，安全率波动超17%，揭示多语言LLM安全泛化缺口。
2026-05-15 cs.AI cs.CL
Evaluating Visual Mathematics in Multimodal LLMs: A Multilingual Benchmark Based on the Kangaroo Tests
KTH Royal Institute of Technology（皇家理工学院）
本文构建多语言袋鼠风格视觉数学基准，评估GPT 4o、Gemini 2.0 Flash等MLLM，发现其图表利用、跨语言与高级推理能力仍明显弱于人类。
2025-06-09 cs.AI
Multilingual != Multicultural: Evaluating Gaps Between Multilingual Capabilities and Cultural Alignment in LLMs
Oxford Internet Institute（牛津互联网研究所）；University of Oxford（牛津大学）
该研究针对大语言模型存在的以美国为中心的文化偏差问题，提出将模型回复分布与世界价值观调查的多语言群体意见对比的方法，发现多语言能力与文化对齐无一致关联，自一致性更能预测多文化对齐，提示文化对齐需专门投入。
2025-08-30 cs.AI cs.CL cs.CY
Lessons Without Borders? Evaluating Cultural Alignment of LLMs Using Multilingual Story Moral Generation
本文通过多语言故事道德生成任务评估语言模型的文化契合度，发现前沿模型在道德生成上与人类响应相似但缺乏跨语言多样性。
2026-09-21 cs.AI cs.CL
Ontology-Grounded, Reasoner-Verified Benchmarks for Evaluating LLM Reasoning in Scientific AI
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
提出一种从OWL 2本体自动生成多项选择题基准的流水线，通过推理器验证干扰项错误性，在三个本体上生成大量题目，评估六个LLM准确率41.1%-76.8%，为科学AI逻辑推理提供可靠诊断基准。
2026-10-02 cs.AI cs.LG
MORPHOGEN: A Multilingual Benchmark for Evaluating Gender-Aware Morphological Generation
SBILab, Indraprastha Institute of Information Technology Delhi（SBILab，印度理工学院信息技术研究所德里）
MORPHOGEN通过构建三门语法有性语言的合成数据集，评估15种多语言大模型在性别意识形态生成任务中的表现，揭示当前模型在处理形态性别时的不足。
2026-04-20 cs.AI cs.CL cs.LG
MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models
Dwarkadas Jivanlal Sanghvi College of Engineering（达沃拉斯·吉万拉尔·桑格维工程学院）；King’s College London（伦敦国王学院）；Indian Institute of Technology Jodhpur（印度理工学院朱罗普尔）
提出多语言多模态基准MLingualFC，使用流程图编码有害指令评估多语言VLM的越狱漏洞，发现拉丁语系攻击成功率显著高于非拉丁语系，揭示安全机制跨语言泛化不足。
2026-06-05 cs.AI cs.CR
Evaluating Large Language Models for Multilingual Abstractive Summarization: A Comprehensive Study of English and Bengali
Islamic University of Technology（伊斯兰科技大学）
本文通过对8种LLM在英语和孟加拉语XL-Sum测试集的零样本基准测试，发现多语言摘要生成存在跨语言差异，单一评估指标不可靠，需为低资源语言构建综合评估框架。
2026-10-15 cs.AI cs.CL
Investigating Bias: A Multilingual Pipeline for Generating, Solving, and Evaluating Math Problems with LLMs
HTW Berlin University of Applied Sciences（柏林应用科学大学）
本文提出多语言流水线生成、解决和评估数学问题，发现英语解决方案质量优于阿拉伯语，揭示语言偏差问题。
2025-12-03 cs.AI cs.CL cs.LG
Evaluating the Effect of Linguistic Relatedness on Cross-Lingual Transfer in Large Multilingual Automatic Speech Recognition
Princeton University（普林斯顿大学）；Maseno University（马塞诺大学）
研究在大型多语言自动语音识别中，通过系统实验设计，探讨语言相关性能否可靠预测跨语言迁移增益，发现仅语言相关性难以有效促进跨语言迁移。
2026-07-28 cs.AI cs.CL
CineSubBench: Evaluating LLMs on Long-Form Narrative and Cultural Understanding from Multilingual Movie Subtitles
University of Alberta（阿尔伯塔大学）
提出CineSubBench基准，利用多语言电影字幕评估LLM的长篇叙事理解、多语言一致性及文化分级能力，涵盖1012部电影、7项任务，发现模型在情节前提恢复上优于完整概要，且跨语言与文化校准存在显著差异。
2026-09-30 cs.AI cs.CL cs.ET
Evaluating Monolingual and Multilingual Large Language Models for Greek Question Answering: The DemosQA Benchmark
Information Systems Lab, MEAD University of Patras, Rio Patras, Greece（信息系统实验室，MEAD帕特拉斯大学，帕特拉斯，希腊）
本研究提出DemosQA数据集和高效评估框架，评估11种LLM在希腊问答任务中的表现，以解决低资源语言的模型有效性问题。
2026-02-18 cs.AI cs.CL
M3Kang: Evaluating Multilingual Multimodal Mathematical Reasoning in Vision-Language Models
Qualcomm AI Research（高通人工智能研究）
M3Kang是一个大规模多语言多模态数学推理数据集，用于评估视觉-语言模型在多语言数学推理中的表现，通过基准测试揭示模型在基础数学和图表推理上的不足，并展示多语言技术在多模态设置中的有效性。
2026-01-03 cs.AI cs.CL
CSWBench: Evaluating Context-Sensitive Code-Switching in Creative Writing
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；College of Software, Jilin University（吉林大学软件学院）；Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.（中国电信人工智能技术（北京）有限公司星辰AGI实验室）；Bilibili Inc.（哔哩哔哩公司）；University of Ottawa（渥太华大学）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）
本研究推出CSWBench基准与CSWEval框架，评估12个LLMs在创意写作中上下文感知代码切换的能力，发现模型能力不均衡，多语言文学整合差异显著，事件层级质量与全文表现中等相关。
2026-10-15 cs.AI cs.CL
M-IFEval: Multilingual Instruction-Following Evaluation
Lightblue KK.；Arkema（阿科玛）
本文提出多语言指令遵循评估基准M-IFEval，将IFEval扩展至法、日、西三种语言并涵盖通用与语言特定指令，在8个主流LLM上验证了多语言评估的必要性。
2025-02-07 cs.AI cs.CL
Evaluating Cross-Lingual Classification Approaches Enabling Topic Discovery for Multilingual Social Media Data
Centre for Data Science, School of Computer Science, Queensland University of Technology, Brisbane, QLD 4000, Australia（数据科学中心，计算机科学学院，昆士兰理工大学，布里斯班，QLD 4000，澳大利亚）
本研究评估了四种跨语言分类方法，以过滤社交媒体数据中的相关推文并发现主题。
2026-02-19 cs.AI cs.CL cs.LG
M-RewardBench: Evaluating Reward Models in Multilingual Settings
Cohere Labs（Cohere实验室）；Allen Institute for AI（艾伦人工智能研究所）；KAIST（韩国科学技术院）；ServiceNow（ServiceNow公司）；Cohere Labs Community（Cohere实验室社区）；Meta
针对奖励模型多语言能力研究不足的问题，本研究构建了涵盖23种语言的多语言奖励模型评估基准M-RewardBench，系统评估发现其英非语言性能差距显著，翻译质量与语言资源量影响性能，并公开数据集与代码。
2025-05-20 cs.AI cs.CL cs.LG
CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics
BITS Pilani, Pilani Campus, India（印度比拉理工学院皮拉尼校区）；KIIT Bhubaneswar, India（印度KIIT布巴内斯瓦尔）
本文提出CricBench，一个评估LLM在板球数据分析中SQL生成能力的多语言基准，包含四种板球格式数据，涵盖四种语言，评估七种模型，发现模型在不同格式上的表现差异显著，且存在语法正确性与语义正确性之间的差距。
2026-04-11 cs.AI cs.CL
The Riddle of Reflection: Evaluating Reasoning and Self-Awareness in Multilingual LLMs using Indian Riddles
International Institute of Information Technology, Hyderabad（国际信息科技研究所，海得拉巴）；National Institute of Technology, Tiruchirappalli（国家理工学院，特里奇里帕利）
本文使用多语言谜语数据集评估五种LLM在七种印度语言中的推理与自我评估能力，发现模型初始准确率与识别自身错误的能力呈负相关，揭示了多语言推理的差距。
2025-11-04 cs.AI cs.CL
Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ
University of Oxford（牛津大学）；Stanford University（斯坦福大学）；Bocconi University（博科尼大学）；University of Hamburg（汉堡大学）
本文提出MultiQ基准（27.4k问题、137种语言），评估开源LLM超出预期用途的基础多语言能力，发现模型在部分语言上能忠实且准确作答，但差异大且存在长尾失效，分词差异可能是影响因素。
2024-07-18 cs.AI cs.CL
CodeScope: An Execution-based Multilingual Multitask Multidimensional Benchmark for Evaluating LLMs on Code Understanding and Generation
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）；Zhejiang University（浙江大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Alibaba Group（阿里巴巴集团）；TU Wien（维也纳技术大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出CodeScope基准，覆盖43种语言和8类编码任务，从长度、难度和效率三个维度并借助MultiCodeEngine执行引擎，更全面、真实地评估大语言模型的代码理解与生成能力。
2024-06-07 cs.AI cs.CL cs.SE
Evaluating the Limits of Large Language Models in Multilingual Legal Reasoning
Delft University of Technology（代尔夫特理工大学）；University of Zurich（苏黎世大学）
本文通过多语言法律基准与字符、词级对抗扰动评估 LLaMA 和 Gemini，并发布开源模块化评测流程，揭示法律推理准确率低、跨语言脆弱及模型间显著差距。
2025-09-26 cs.AI cs.CL cs.LG
Evaluating Named Entity Recognition: A comparative analysis of mono- and multilingual transformer models on a novel Brazilian corporate earnings call transcripts dataset
Instituto Federal de São Paulo - IFSP（圣保罗联邦教育、科学和技术研究所（IFSP））；Universidade Estadual de Campinas - Unicamp（坎皮纳斯州立大学（Unicamp））
本文通过构建巴西金融NER数据集BraFiNER并比较BERTimbau、PTT5、mBERT和mT5在金融命名实体识别任务上的表现，发现BERT类模型优于T5类模型，且T5类模型易改变货币和百分比数值，强调了金融领域准确性的重要性。
2024-08-30 cs.AI cs.CL cs.LG
Multilingual LLMs Are Not Multilingual Thinkers: Evidence from Hindi Analogy Evaluation
Mahindra University（马欣德拉大学）；University of Pennsylvania（宾夕法尼亚大学）
本文构建含405题的印地语类比测试集HATS，评估多语言LLM并提出基于认知理论的扎根思维链方法，发现英语提示始终效果最佳。
2025-07-23 cs.AI cs.CL
NovGrid: A Flexible Grid World for Evaluating Agent Response to Novelty
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工研究院）
一个强大的身体强化学习技术已经发展到解决复杂的顺序决策问题。然而，这些方法假设训练和评估任务来自相似或相同的分布环境。这种假设并不成立，在现实生活中，小的新的变化，环境可以使以前学习的政策失败或引入更简单的解决方案，可能永远不会found. To为此，我们探讨的概念{ \em新奇}，在这项工作中定义为突然改变的力学或环境的属性。我们提供了一个本体论的新奇最相关的顺序决策，区分新奇的影响对象与行动，一元属性与非一元关系，和分配的解决方案的任务。我们介绍NovGrid，一个新颖的生成框架，建立在MiniGrid上，作为一个工具包，用于快速开发和评估新颖的适应启用强化学习技术。除了核心的NovGrid之外，我们还提供与我们的本体相一致的示例性新颖性，并将它们实例化为可应用于许多符合MiniGrid的环境的新颖性模板。最后，我们提出了一组指标内置到我们的框架，用于评估新颖的适应启用机器学习技术，并显示使用这些指标的基线RL模型的特征。
2022-03-23 cs.AI cs.LG
Evaluation of Multilingual Image Captioning: How far can we get with CLIP models?
Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；INESC-ID；Instituto de Telecomunicações（电信研究所）
本文针对多语言图像描述评估缺乏测试数据的问题，利用机器翻译与语义推理数据集评估 CLIPScore 变体，证明微调后的多语言 CLIPScore 可跨语言保持与人工判断的高相关性。
2025-02-17 cs.AI cs.CL
MUG-Eval: A Proxy Evaluation Framework for Multilingual Generation Capabilities in Any Language
KAIST（韩国科学技术院）；Trillion Labs
本文提出 MUG-Eval 框架，通过将现有基准转化为对话任务并以任务成功率作为代理指标来评估 LLM 的多语言生成能力，在 30 种语言上验证其与既有基准强相关，为低资源语言评估提供了可扩展的高效方案。
2025-09-19 cs.AI cs.CL
