Semantic Structural Evaluation for Text Simplification
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
目前评价文本简化系统的方法主要侧重于评价词汇文本方面，而忽视了其结构方面。在本文中，我们提出了第一个措施，以解决结构方面的文本简化，称为SAMSA。它利用语义解析的最新进展，通过基于语义结构分解输入并将其与输出进行比较来评估简化质量。SAMSA提供了一个无参考的自动评估过程，避免了基于参考的方法由于给定句子的有效简化的巨大空间而面临的问题。我们的人类评价实验表明，SAMSA的大量相关性与人类的判断，以及现有的基于参考的措施，在评估结构简化的不足。
2018-10-11 cs.CL
Evaluating the Effectiveness of Ensembles of Decision Trees in Disambiguating Senseval Lexical Samples
本文提出了一个集成-为基础的系统，参加了英语和西班牙语的词汇样本任务的Senseval-2的评价。该系统将一元组、二元组和共现的决策树组合到单个分类器中。该分析扩展到包括Senseval-1数据。
2002-05-27 cs.CL
Still a Pain in the Neck: Evaluating Text Representations on Lexical Composition
Bar-Ilan University（巴伊兰大学）
构建有意义的短语表示是具有挑战性的，因为短语含义不仅仅是其组成含义的总和。词汇合成可以改变组成词的意义，引入隐含信息。我们测试了广泛的文本表示，以解决这些问题的能力。我们发现，正如预期的那样，语境化的词表征比静态的词嵌入表现更好，更多的是在检测意义转移比在恢复隐含信息，其中他们的表现仍然是远离人类。我们的评估套件，包括5个任务相关的词汇组成的影响，可以为未来的研究，旨在改善这种表征。
2019-05-19 cs.CL
Evaluating Discourse in Structured Text Representations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
语篇结构对于理解文本是不可或缺的，并且在许多NLP任务中很有帮助。学习话语的潜在表征是获取昂贵的标记话语数据的一个有吸引力的替代方案。Liu和Lapata（2018）提出了一种用于文本分类的结构化注意力机制，该机制在文本上生成一棵树，类似于一棵文本话语树。我们详细研究了这个模型，并对其他与话语相关的任务和数据集进行了评估，以评估结构化注意是否能提高最终任务的性能，以及它是否能捕捉到文本的话语结构。我们发现学习的潜在树几乎没有结构，而是专注于词汇线索;即使在获得更具结构化的树与建议的模型修改，树仍然远远不能捕捉话语结构时，从现有的话语分析器的话语依赖树相比。最后，消融研究表明，结构化注意提供的好处很少，有时甚至损害性能。
2019-06-10 cs.CL
A Wind of Change: Detecting and Evaluating Lexical Semantic Change across Times and Domains
University of Stuttgart（斯图加特大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；University of Amsterdam（阿姆斯特丹大学）
我们进行了跨学科的大规模评估，以检测词汇语义分歧的历时和共时的任务：跨时间的语义变化，跨域的语义变化。我们的工作解决了历时词汇变化评估模型的肤浅性和缺乏比较，通过汇集和扩展基准模型上一个共同的国家的最先进的评估任务。此外，我们证明了相同的评价任务和建模方法可以成功地用于同步检测领域的特定意义上的分歧，在该领域的长期提取。
2019-06-07 cs.CL
Take and Took, Gaggle and Goose, Book and Read: Evaluating the Utility of Vector Differences for Lexical Relation Learning
University of Melbourne（墨尔本大学）；University of Cambridge（剑桥大学）
最近关于词嵌入的工作表明，在预先训练的嵌入上进行简单的向量减法在捕获不同的词汇关系方面是惊人的有效，尽管缺乏明确的监督。先前的工作已经评估了这个有趣的结果，使用一个词的类比预测公式和手工选择的关系，但在更广泛的词汇关系类型和不同的学习设置的发现的一般性还没有得到评估。在本文中，我们进行了这样的评估，在两个学习设置：（1）谱聚类诱导词的关系，和（2）监督学习分类向量差异到关系类型。我们发现，词嵌入捕获了惊人的信息量，并且在适当的监督训练下，向量减法可以很好地推广到广泛的关系，包括看不见的词汇项。
2016-08-13 cs.CL
Evaluating Persian Tokenizers
Iran University of Science and Technology（伊朗科技大学）；Islamic Azad University Tehran North Branch（伊斯兰阿扎德大学德黑兰北分校）
词符化在词法分析过程中起着重要的作用。令牌成为其他自然语言处理任务的输入，如语义解析和语言建模。波斯语的自然语言处理由于波斯语的特殊情况而具有挑战性，例如半空格。因此，拥有一个精确的波斯语标记器至关重要。本文通过介绍最广泛使用的波斯语标记器，并使用带有预标记的波斯语依赖数据集的简单算法来比较和评估它们在波斯语文本上的性能，从而提供了一项新颖的工作。在用F1-Score评估标记器之后，具有有界语素固定的波斯语动词和Hazm的混合版本表现出最好的性能，F1得分为98.97%。
2022-02-22 cs.AI cs.CL
A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
Melbourne School of Psychological Sciences（墨尔本心理学院）
本文提出一个整合情感、广度与强度的三维计算框架，用于系统评估词汇语义变化，并通过对心理健康相关语料的示例分析，揭示病理化、污名化和概念蠕变等社会议题中的语义演变模式。
2024-06-10 cs.CL
QMUL-SDS @ DIACR-Ita: Evaluating Unsupervised Diachronic Lexical Semantics Classification in Italian
Queen Mary University of London（伦敦玛丽女王大学）；Imam Abdulrahman bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·费萨尔大学）；Alan Turing Institute（艾伦·图灵研究所）
在本文中，我们介绍了我们的系统的结果和主要发现的DIACR-ITA 2020任务。我们的系统专注于使用不同的训练集和不同的语义检测方法。该任务涉及训练，对齐和预测一个词的向量变化从两个历时意大利语语料库。我们证明了使用时间词嵌入与指南针C-BOW模型相比，不同的方法，包括逻辑回归和前馈神经网络使用精度更有效。我们的模型排名第三，准确率为83.3%。
2020-11-06 cs.CL
Evaluating and Preserving Lexical Stress in English-to-Chinese Speech-to-Speech Translation
The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；Shenzhen Loop Area Institute, China（深圳环域研究所）
针对英汉语音翻译中词汇重音跨语言传递不足的问题，构建重音标注数据集和普通话重音检测器，提出跨语言重音评估指标，并微调CosyVoice3构建重音感知S2ST系统，实验表明该系统在重音翻译能力上显著优于现有系统。
2026-06-16 cs.CL
ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Johns Hopkins University, Center for Language and Speech Processing（约翰霍普金斯大学语言与语音处理中心）
针对现有基准语言覆盖不足且侧重高阶任务的问题，提出ChiKhaPo基准，包含8个子任务，覆盖2700+种语言，评估LLM的词汇理解与生成能力，发现6个SOTA模型表现不佳。
2026-06-12 cs.CL
Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Politécnica de Madrid（马德里理工大学）；Universidad de Valladolid（巴利亚多利德大学）
本文以ChatGPT为案例，提出评估对话式大语言模型生成文本词汇丰富度的方法，揭示词汇多样性受模型版本、参数（如存在惩罚）和角色设定的影响，并公开数据集与工具以推动相关研究。
2024-10-21 cs.CL
Diachronic Usage Relatedness (DURel): A Framework for the Annotation of Lexical Semantic Change
University of Stuttgart（斯图加特大学）；LMU Munich（慕尼黑大学）
我们提出了一个框架，扩展共时多义注释词汇意义的历时变化，以抵消缺乏资源的评估词汇语义变化的计算模型。我们的框架利用了一个直观的概念，语义相关性，并区分创新和还原的意义变化与高注释者之间的协议。由此产生的德语测试集包括来自5个注释者的评分，用于22个目标词的1，320个使用对的相关性。
2018-04-18 cs.CL
Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis
UC San Diego（加州大学圣迭戈分校）
本文构建西班牙语歧义名词最小对句及人类相关性判断数据集，系统评估单语与多语BERT模型的语境化语义表征，揭示其与模型规模、架构层级及训练规格的关系。
2025-03-12 cs.CL
Evaluating Multilingual and Code-Switched Alignment in LLMs via Synthetic Natural Language Inference
Texas A\&M University, College Station, TX., USA（德克萨斯大学）；Hamad Bin Khalifa University, Doha, Qatar（哈马德·本·卡伊夫大学）
针对大语言模型跨语言逻辑对齐能力未充分探索的问题，提出合成逻辑型NLI对并翻译至多语言的受控评估框架，发现语码转换不降低甚至提升性能，为多语言鲁棒性研究提供新视角与工具。
2025-08-20 cs.AI cs.CL
VISLA Benchmark: Evaluating Embedding Sensitivity to Semantic and Lexical Alterations
Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究院）
本文提出VISLA基准，通过三向语义（不）等价任务评估34个VLMs和20个ULMs对语义和词汇变化的敏感性，发现VLMs文本编码器比单模态模型更敏感，揭示了模型在区分词汇与语义变化上的困难。
2024-04-25 cs.AI cs.CL
Advances in the Logical Representation of Lexical Semantics
Université de Bordeaux（波尔多大学）；IRIT-C.N.R.S.（图卢兹信息学研究所-法国国家科学研究中心）
词汇语义学和语用学在自然语言意义分析中的结合促使蒙塔古的整体框架发生了变化。在这些作品中，原始的词典，其中的单词被分配了一个原子类型的单排序逻辑，已被一组多方面的词汇项目，可以组成他们的意义与突出的上下文属性使用丰富的类型系统作为指导。与我们的建议，这样一个扩展的框架\LambdaTYn，我们提出了一些最新的进展，在相关的逻辑形式主义，包括约束的词汇转换和多态量词，正在进行的讨论和研究的粒度类型系统和限制的传递性。
2013-09-04 cs.CL
Evaluating LLMs on Chinese Topic Constructions: A Research Proposal Inspired by Tian et al. (2024)
本文提出评估大语言模型在中文话题构建上的框架，关注其对岛屿约束的敏感性，旨在为未来研究提供基础并邀请方法反馈。
2026-06-27 cs.CL
Meaning Beyond Truth Conditions: Evaluating Discourse Level Understanding via Anaphora Accessibility
Yale University（耶鲁大学）
本文提出自然语言理解能力层级，构建受动态语义学启发的回指可及性评估数据集，对比人类与LLM表现，揭示模型依赖词汇而非结构抽象的语篇理解差异。
2025-02-19 cs.CL
Evaluating Open-Domain Question Answering in the Era of Large Language Models
University of Alberta（阿尔伯塔大学）；University of Waterloo（滑铁卢大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文通过人工评估NQ-open子集上的多种开放域问答模型，揭示词汇匹配严重低估模型性能，并证明InstructGPT（少样本）在NQ-open上取得新最优结果，同时指出自动评估模型无法可靠评估LLM长答案。
2023-07-06 cs.CL
Real Images, Worse Judgments: Evaluating Vision-Language Models on Concreteness and Imagery
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文通过具体性和意象性评分任务，发现真实图像上下文不仅未提升视觉-语言模型与人类判断的一致性，反而在视觉证据相关性低时加剧偏差，并表明推理时聚焦文本指令可缓解退化。
2026-09-09 cs.CL
Inside CORE-KG: Evaluating Structured Prompting and Coreference Resolution for Knowledge Graphs
Department of Computer Science（计算机科学系）；George Mason University（乔治·马歇尔大学）
本文通过系统消融研究量化CORE-KG框架中共指消解与结构化提示的贡献，发现二者分别显著影响节点重复和噪声节点，为法律文本知识图谱构建提供实证依据。
2025-11-08 cs.AI cs.CL cs.IR
Fusing Semantic, Lexical, and Domain Perspectives for Recipe Similarity Estimation
Jožef Stefan Institute（乔塞夫·斯塔芬研究所）；S.Cyril and Methodius University（斯·西里尔和梅多蒂乌大学）；Biotechnical Faculty（生物技术系）
本研究通过融合语义、词汇和领域视角，提出了一种食谱相似性估计方法，并通过专家评估验证了不同相似性因素的影响。
2026-03-11 cs.CL
Evaluating the Utility of Document Embedding Vector Difference for Relation Learning
最近的工作表明，通过减去预训练的词嵌入向量获得的向量偏移量可以用于预测词汇关系，具有惊人的准确性。受这一发现的启发，在本文中，我们将这个想法扩展到文档级，生成文档级嵌入，计算它们之间的距离，并使用线性分类器对文档之间的关系进行分类。在重复检测和对话行为标记任务的背景下，我们表明，文档级差异向量在评估文档级相似性方面具有实用性，但在多关系分类中表现不佳。
2019-07-18 cs.CL
Semantic Answer Similarity for Evaluating Question Answering Models
deepset
问答模型的评估将地面实况注释与模型预测进行比较。然而，到目前为止，这种比较主要是基于词汇的，因此错过了没有词汇重叠但语义相似的答案，从而将正确答案视为错误。这种对模型真实性能的低估阻碍了用户在应用程序中的接受，并使不同模型的公平比较变得复杂。因此，需要一种基于语义而不是纯粹的字符串相似性的评估度量。在这篇简短的论文中，我们提出了SAS，一个跨编码器为基础的度量语义答案相似性的估计，并将其与现有的七个度量进行比较。为此，我们创建了一个英语和德语的三向注释评估数据集，其中包含成对的答案以及人类对其语义相似性的判断，我们将其与SAS度量和实验的实现一起发布。我们发现，语义相似性度量的基础上，最近的Transformer模型更好地与人类的判断比传统的词汇相似性度量我们的两个新创建的数据集和一个数据集从相关的工作。
2021-10-21 cs.CL cs.IR
Embedding Semantic Relations into Word Representations
University of Liverpool（利物浦大学）；Shizuoka University（静冈大学）；National Institute of Informatics（国立信息学研究所）
学习语义关系的表示对于各种任务（例如类比检测、关系搜索和关系分类）都很重要。虽然已经有几个建议，学习表示为个别的话，学习词表示，明确捕捉词之间的语义关系仍然没有得到发展。我们提出了一种无监督的方法来学习向量表示的话，这样学习的表示是敏感的语义关系，存在于两个词之间。首先，我们从语料库中两个词的共现语境中提取词汇模式来表示这两个词之间存在的语义关系。其次，我们将词汇模式表示为与该词汇模式共现的词的表示的加权和。第三，我们训练一个二元分类器来检测关系相似与不相似的词汇模式对。所提出的方法是无监督的意义上说，词汇模式对，我们使用的训练数据是自动采样的语料库，而不需要任何人工干预。我们提出的方法在统计上显著优于目前最先进的词表示在三个基准数据集上进行比例类比检测，证明了它能够准确地捕捉词之间的语义关系。
2015-05-01 cs.CL
When Similar Means Different: Evaluating LLMs on Arabic--Hebrew Cognates
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·穆扎伊德人工智能大学）
针对阿拉伯语和希伯来语同源词、假朋友和借词，构建SemCog Bench基准（1858对词对），评估LLM跨语言语义理解，发现模型依赖表面形式相似性，在假朋友和借词上表现差，上下文帮助有限。
2026-09-01 cs.CL
Matching Meaning at Scale: Evaluating Semantic Search for 18th-Century Intellectual History through the Case of Locke
University of Helsinki（赫尔辛基大学）；TurkuNLP, University of Turku（图尔库大学TurkuNLP）；ELLIS Institute Finland（芬兰ELLIS研究所）
本文通过洛克作品的接受情况，评估语义搜索在18世纪思想史中的应用，发现其能更有效地检索隐含意义，但受限于词汇重叠。
2026-05-12 cs.AI cs.CL cs.CY
Revisiting NLI: Towards Cost-Effective and Human-Aligned Metrics for Evaluating LLMs in Question Answering
University of Illinois at Chicago（伊利诺伊大学香槟分校）
针对LLM问答评估中词汇指标缺失语义细微差别、“LLM作为评判者”成本高的问题，提出用词汇匹配标志增强现成NLI评分的轻量方案，其在长文本问答上准确率达89.9%（与GPT-4o相当）且参数少，还引入DIVER-QA基准测试人类对齐性，为指标研究提供开放资源。
2025-11-10 cs.AI cs.CL
Synonymy = Translational Equivalence
University of Alberta（阿尔伯塔大学）
同义关系和翻译对等是指语言内部和语言之间的意义相同的关系。作为词网和多词网中的主要关系，它们对计算词汇语义学至关重要，但该领域缺乏一个共同的形式化框架来定义它们的属性和关系。本文提出了一种统一处理这两种关系的方法，并在现有资源上进行了实验验证。在我们看来，同义和翻译对等只是语义同一性的不同类型。这一理论为重新评价跨语言语义学的研究成果奠定了坚实的基础，也为词汇资源的创建、验证和改进提供了便利。
2020-12-11 cs.CL
Emergent Lexical Semantics in Neural Language Models: Testing Martin's Law on LLM-Generated Text
Trier University（特里尔大学）
本研究通过分析神经语言模型生成文本中的词义语义，验证了马丁定律在训练过程中的非单调发展轨迹，并揭示了模型规模与语义稳定性之间的关系。
2025-11-26 cs.CL
SetLexSem Challenge: Using Set Operations to Evaluate the Lexical and Semantic Robustness of Language Models
Amazon（亚马逊公司）
本文提出SetLexSem Challenge基准，通过集合运算系统评估大型语言模型在词汇与语义变化下的算法能力及指令遵循鲁棒性，发现模型在运算和操作数变化上表现较差且存在独特失败模式。
2024-11-11 cs.CL
Evaluating Open-Source Large Language Models for Technical Telecom Question Answering
Luxembourg Institute of Science and Technology (LIST)（卢森堡科学与技术研究院）；RMT Labs（RMT实验室）
本文通过构建105个电信问答对基准，评估Gemma 3 27B与DeepSeek R1 32B在技术问答中的表现，发现Gemma语义保真度更优、DeepSeek词汇一致性略高，并指出领域适配模型的必要性。
2025-09-26 cs.CL cs.NI
Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学教育部计算语言学重点实验室）
本研究针对大型语言模型受约束文本生成问题，对主流开源模型在词汇、结构和关系约束下的生成能力进行了评估与改进，并发布相关基准与数据集以促进未来研究。
2024-03-21 cs.CL
Evaluating LLM-Based Grant Proposal Review via Structured Perturbations
本文通过结构化扰动评估基于LLM的项目评审，发现逐部分分析方法在检测和评分可靠性上表现最佳，但LLM反馈存在偏颇，需进一步优化。
2026-03-11 cs.AI cs.CL cs.CY
Evaluating Multilingual Sentence Embeddings for Translation Error Detection:An English--Greek Contrastive Study
Ionian University（爱奥尼亚大学）；Laboratory on Digital Libraries and Electronic Publishing（数字图书馆与电子出版实验室）；Centre for Literary Translation and Book Policy（文学翻译与图书政策中心）
本研究对比评估BGE-M3等5种多语言句子嵌入模型与COMETKiwi在英-希腊语翻译错误检测中的性能，发现嵌入模型与COMETKiwi的错误敏感性特征互补，嵌入模型更适合作为翻译评估框架的组成部分。
2026-09-01 cs.CL
Coping with Construals in Broad-Coverage Semantic Annotation of Adpositions
IHMC（人机认知研究所）；University of Pittsburgh（匹兹堡大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Utah（犹他大学）；Georgetown University（乔治城大学）
我们认为介词的语义，重访一个广泛的覆盖面注释计划用于注释所有4,250介词标记在55,000字的英语语料库。尝试将该方案应用于其他语言中的形容词和格标记，以及英语中的一些有问题的情况下，使我们重新考虑介词的词汇贡献等同于它所介导的角色/关系的假设。我们的建议是拥抱在并列使用的潜在的consolidation，表达这种现象直接在令牌的水平，以管理复杂性和避免意义扩散。我们提出了一个框架来表示场景角色和介词的词汇功能，以便它们可以在规模上进行注释-支持自动化，统计处理域一般语言-并勾勒出这种表示将如何通知构造分析。
2017-03-10 cs.CL
RQUGE: Reference-Free Metric for Evaluating Question Generation by Answering the Question
Meta AI；IDIAP Research Institute（IDIAP研究所）；EPFL（洛桑联邦理工学院）；BYJU’s LAB（拜朱实验室）
本文提出无参考评估指标RQUGE，通过问答模块和跨度评分模块衡量候选问题在上下文中的可回答性，无需人工参考问题，与人类判断相关性更高且更鲁棒，并能通过重排序合成数据提升QA模型域外性能。
2023-05-26 cs.AI cs.CL cs.LG
LoLBench: Evaluating Coding Agents with Long-Horizon Proposals on Large Software Systems
Fudan University（复旦大学）；City University of Hong Kong（香港城市大学）；Chinese University of Hong Kong（香港中文大学）；Singapore Management University（新加坡管理大学）；HKUST (GZ)（香港科技大学（广州））；Monash University Malaysia（莫纳什大学马来西亚分校）；Harbin Institute of Technology（哈尔滨工业大学）
LoLBench是一个多语言基准，通过100个长周期提案任务评估编码智能体的感知与实现能力，发现最佳智能体仅解决14%任务，代码定位是主要瓶颈，提供文件树可提升16-22个百分点。
2026-09-30 cs.CL cs.SE
Speech Codec Probing from Semantic and Phonetic Perspectives
University of Southern California（南加州大学）；Dolby Laboratories（杜比实验室）
本文通过三项任务系统分析多种语音分词器编码的信息，发现当前分词器主要捕获语音结构而非词汇语义，为下一代语音分词方法设计提供指导。
2026-06-25 cs.CL eess.AS
Meaning in Order, Order in Meaning: Semantic R-precision for Keyphrase Evaluation
ILIN - Institute for Learning and Innovation in Networks, Karlsruhe University of Applied Sciences（学习与网络创新研究所，卡尔斯鲁厄应用科学大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄工业大学）
提出语义R-精度（SemR-p）指标，结合语义相似性与排序感知，从人类视角评估自动生成关键词的质量，优于传统词汇和语义匹配方法。
2026-06-05 cs.CL cs.IR
Assessing LLM Reliability on Temporally Recent Open-Domain Questions
University of Alabama Huntsville（阿拉巴马大学亨茨维尔分校）；University of North Alabama（北阿拉巴马大学）；Stanford University（斯坦福大学）；Google（谷歌）；Apple（苹果公司）
RECOM研究通过分析15000个Reddit问题，发现LLM在语义对齐上表现优异，但词汇重合度低，揭示模型通过改写保留意义，挑战传统词汇度量的可靠性。
2026-01-17 cs.AI cs.CL
AM2iCo: Evaluating Word Meaning in Context across Low-Resource Languages with Adversarial Examples
University of Cambridge（剑桥大学）；Mila/McGill University（米拉/麦吉尔大学）
在上下文中捕获词义并区分不同语言之间的对应和变化是构建成功的多语言和跨语言文本表示模型的关键。然而，现有的多语言评估数据集，评估词汇语义“在上下文”有各种限制。特别是，1）他们的语言覆盖范围仅限于高资源语言，并且只偏向于少数几个语系和地区，2）通过表面线索使任务可以解决的设计，这导致人为夸大预训练编码器在许多目标语言上的（有时是超人的）性能，这限制了它们对模型探测和诊断的有用性，3）对跨语言评价的支持不足。为了解决这些差距，我们提出了AM 2 iCo（上下文中的对抗和多语言含义），这是一个广泛覆盖的跨语言和多语言评估集;它旨在忠实地评估最先进的（SotA）表示模型在14种语言对的跨语言上下文中理解词义身份的能力。我们在广泛的设置中进行了一系列实验，并展示了AM 2 iCo的挑战性。结果显示，目前SotA预训练的编码器大大落后于人类的表现，并且在低资源语言和与英语不同的语言中观察到最大的差距。
2021-09-19 cs.CL
CogniVal: A Framework for Cognitive Word Embedding Evaluation
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
一种有趣的评估单词表征的方法是通过它们在多大程度上反映了人脑中的语义表征。然而，大多数，如果不是全部，以前的工作只集中在小数据集和一个单一的模态。在本文中，我们提出了第一个多模态的框架来评估英语词汇表征的认知词汇语义的基础上。通过将六种类型的词嵌入与15个在语言处理过程中记录的眼动跟踪、EEG和fMRI信号数据集拟合来评估它们。为了在所有评估假设中获得全局分数，我们应用统计显著性检验来解决多重比较问题。这个框架是很容易扩展的，并可用于包括其他内在和外在的评估方法。我们发现认知数据集之间的结果，跨记录方式和他们的外在NLP任务的表现有很强的相关性。
2019-10-29 cs.CL
Evaluating Human-LLM Representation Alignment: A Case Study on Affective Sentence Generation for Augmentative and Alternative Communication
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文提出表征对齐评估任务，通过人类判断比较词语、VAD维度和表情符号四种情感表征下LLM生成句子的效果，发现词语条件下的生成结果比VAD量表更符合人类预期，且感知受表征类型和情感类别共同影响。
2025-11-09 cs.CL
CoPA: Benchmarking Personalized Question Answering with Data-Informed Cognitive Factors
East China Normal University（东华师范大学）；Zhongguancun Academy（中关村学院）
本文提出CoPA基准，通过挖掘社区-个体偏好分歧，提炼六个个性化因素，用于细粒度评估模型输出与用户认知偏好的匹配程度，提升个性化问答评估的全面性与区分度。
2026-04-16 cs.CL
When Large Language Models Fail in Healthcare: Evaluating Sensitivity to Prompt Variations
Department of Computer Science and Engineering, Doha, Qatar（计算机科学与工程系，多哈，卡塔尔）
本研究系统分析了通用和医学专用LLM对提示扰动的敏感性，发现即使是微小的措辞变化也可能改变临床建议，对抗性提示可能引发有害输出，表明这些模型在临床应用中不可靠。
2026-06-05 cs.AI cs.CL cs.LG
What is SemEval evaluating? A Systematic Analysis of Evaluation Campaigns in NLP
The University of Manchester（曼彻斯特大学）
SemEval是NLP社区提出新挑战和对NLP系统进行系统经验评估的主要场所。本文对SemEval进行了系统的定量分析，旨在证明SemEval背后的贡献模式。通过了解任务类型、指标、架构、参与和引用随时间的分布，我们的目标是回答SemEval正在评估什么的问题。
2020-05-28 cs.AI cs.CL
Semantics Altering Modifications for Evaluating Comprehension in Machine Reading
University of Manchester（曼彻斯特大学）
NLP的进步已经为机器阅读理解（MRC）任务带来了令人印象深刻的结果，据报道，这些方法可以实现与人类相当的性能。在本文中，我们研究了最先进的MRC模型是否能够正确处理语义改变修改（SAM）：语言动机的现象，改变句子的语义，同时保留大部分的词汇表面形式。我们提出了一种方法来自动生成和调整挑战集具有原始和修改的例子。我们进一步提出了一种新的评估方法，正确评估MRC系统处理这些例子的能力，独立于它们被优化的数据，通过对域转移引入的影响进行折扣。在一个大规模的实证研究中，我们应用的方法，以评估提取MRC模型的能力，正确处理SAM丰富的数据。我们全面涵盖了12种不同的最先进的神经架构配置和四个训练数据集，并发现-尽管它们具有众所周知的卓越性能-优化模型始终难以正确处理语义改变的数据。
2021-06-15 cs.AI cs.CL
Towards Addressing the Misalignment of Object Proposal Evaluation for Vision-Language Tasks via Semantic Grounding
Arizona State University（亚利桑那州立大学）
针对视觉-语言任务中对象提议评估与下游性能错位的问题，提出基于语义接地选择重要标注子集进行评估的方法，显著提升与图像描述指标及人工标注的对齐度。
2023-09-01 cs.CL cs.CV
Variable types for meaning assembly: a logical syntax for generic noun phrases introduced by most
Université de Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）
本文提出了一种计算类属名词短语与广义量词最对应的句子的语义的方法。我们称这些泛型为样本，它们类似于词汇语义学中的原型或原型。这些意义被视为逻辑公式，此后可以在您最喜欢的模型中进行解释。为了做到这一点，我们与主流的弗雷根观点有很大的不同，弗雷根认为宇宙是一个单一的无类型宇宙。事实上，我们的建议采用了类型论，并从希尔伯特ε-微积分（Hilbert，1922; Avigad and Zach，2008）和中世纪哲学中得到了一些提示，例如de Libera（1993，1996）。我们的类型理论分析与正在进行的词汇语义学研究有一些相似之处（Asher 2011; Bassac et al. 2010; Moot，Précourt and Retoré 2011）。我们的模型也适用于经典的例子，涉及一个类，或这个类的通用元素，这是不是说出，但提供的上下文。本研究的一个结果是，在最低限度主义-语境主义的争论中，参见Conrad（2011），如果采用类型理论的观点，术语编码纯粹的语义成分，而它们的类型是由语用决定的。
2012-03-08 cs.CL cs.LO math.LO
Grounded but Misleading: Evaluating Semantic Alignment in AI-Generated Security Explanations
Virginia Tech（弗吉尼亚理工学院）
本文研究了AI生成的安全解释中语义对齐的问题，通过VEXA测试平台验证了词汇基础与语义风险对齐之间的差距，发现即使解释在词汇上显得合理，其语义解释可能削弱检测器的意图风险评估。
2026-06-03 cs.CL cs.CR cs.LG
