Evaluating semantic models with word-sentence relatedness
The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
语义文本相似度（STS）系统被设计用于编码和评估单词、短语、句子和文档之间的语义相似度。评估这些系统中编码的语义信息的质量或真实性的一种方法是与人类判断进行比较。开发了一个用于评估语义模型的数据集，由775个英语单词-句子对组成，每个单词-句子对由参与最大差异缩放（MDS）任务的人类评分员注释语义相关性，以及更快的替代任务。作为这种相关性数据的一个示例应用，将基于行为的相关性与通过四种现成的STS模型计算的相关性进行了比较：n-gram，潜在语义分析（LSA），Word 2 Vec和UMBC Ebiquity。一些STS模型捕捉到了收集到的人类判断中的大部分差异，但它们对参与者处理和考虑的含义和蕴涵并不敏感。所有的文本刺激和判断数据都是免费提供的。
2017-01-03 cs.CL
Evaluating Multimodal Representations on Sentence Similarity: vSTS, Visual Semantic Textual Similarity Dataset
UPV/EHU University of the Basque Country（巴斯克大学）
在本文中，我们介绍了vSTS，一个新的数据集测量文本相似性的句子使用多模态信息。数据集由图像及其相应的文本标题组成。我们描述的数据集定量和定性，并声称它是一个有效的金标准，用于测量自动多模态文本相似性系统。我们还描述了初始实验结合多模态信息。
2018-09-11 cs.AI cs.CL
A Deep Network with Visual Text Composition Behavior
National Research Council Canada（加拿大国家研究委员会）
虽然自然语言是组合的，但最先进的神经模型如何实现组合性仍不清楚。我们提出了一个深度网络，它不仅可以实现具有竞争力的文本分类准确性，而且还表现出组合行为。也就是说，在创建一段文本（如句子）的分层表示时，网络的较低层将其特定于层的注意力权重分配给各个单词。相比之下，更高的层次组成有意义的短语和从句，其长度随着网络的加深而增加，直到完全组成句子。
2017-07-05 cs.AI cs.CL cs.NE
Set-Theoretic Compositionality of Sentence Embeddings
Auburn University（奥本大学）；University of Central Florida（中佛罗里达大学）
本文提出基于集合论的六个标准，评估句子编码器的组合性，发现SBERT优于最新LLM，并发布约19.2万样本的新数据集以促进基准测试。
2025-02-28 cs.CL
A Sequential Neural Encoder with Latent Structured Description for Modeling Sentences
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个序列神经编码器与潜在结构化描述（SNELSD）建模的句子。该模型将潜在的块级表示引入到传统的顺序神经编码器中，即，具有长短期记忆（LSTM）单元的递归神经网络（RNN），以在语义建模中考虑语言的组合性。SNELSD模型具有包括检测层和描述层的分层结构。检测层预测输入句子中潜在词块的边界，并为每个词导出块级向量。描述层利用修改后的LSTM单元以递归方式处理这些块级向量，并产生顺序编码输出。这些输出向量进一步与词向量或链式LSTM编码器的输出连接，以获得最终的句子表示。所有的模型参数都是以端到端的方式学习的，而不依赖于额外的文本分块或语法解析。一个自然语言推理（NLI）任务和一个情感分析（SA）任务被用来评估我们提出的模型的性能。实验结果表明，所提出的SNELSD模型的有效性，探索任务相关的组块模式在语义建模的句子。此外，所提出的方法实现了更好的性能比传统的链LSTM和树结构的LSTM在这两个任务。
2017-11-15 cs.CL
Evaluating the Effectiveness of Efficient Neural Architecture Search for Sentence-Pair Tasks
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）；Amazon Alexa（亚马逊 Alexa）
自动学习整个神经模型或单个神经细胞架构的神经架构搜索（NAS）方法最近已经在各种自然语言处理和计算机视觉任务（包括语言建模、自然语言推理和图像分类）上实现了有竞争力的或最先进的（SOTA）性能。在这项工作中，我们探索了SOTA NAS算法的适用性，高效神经架构搜索（ENAS）（Pham等人，2018）到两个句子对任务，释义检测和语义文本相似性。我们使用ENAS来执行微观级搜索，并学习任务优化的RNN单元架构，作为LSTM的直接替代品。我们通过三个数据集（MRPC，SICK，STS-B），两个不同的模型（ESIM，BiLSTM-Max）和两组嵌入（Glove，BERT）的实验来探索ENAS的有效性。与之前将ENAS应用于NLP任务的工作相比，我们的结果是混合的-我们发现ENAS架构有时，但并非总是优于LSTM，并且与随机架构搜索相似。
2020-10-08 cs.CL
Evaluating Compositional Approaches for Focus and Sentiment Analysis
Universidade da Coruña, Grupo LyS, CITIC, Depto. de Ciencias de la Computación y Tecnologías de la Información, Campus de Elviña s/n, 15071 A Coruña, Spain, School of International Letters \& Cultures, Arizona State University, Tempe, Arizona, United States Beus CXFEL Laboratory, Biodesign Institue \& Physics Department, College of Liberal Art \& Sciences, Arizona State University, Tempe, Arizona, United States University of Augsburg, The Applied Computational Linguistics (ACoLi) Lab, Universitätsstr. 10, 86159 Augsburg, Germany
本文填补了语言学焦点分析缺乏定量评估的空白，提出基于Universal Dependencies句法规则的组合方法，验证其在情感分析中的准确性与可解释性，并将该组合方法推广至焦点分析。
2025-08-11 cs.CL
ERAS: Evaluating the Robustness of Chinese NLP Models to Morphological Garden Path Errors
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）；Center for Data Science（数据科学中心）
本文提出基准ERAS，通过对比有无局部分割歧义的句子，揭示中文分词和情感分析模型因忽视形态句法上下文而易犯形态学花园路径错误。
2024-10-16 cs.AI cs.CL
SufiSent - Universal Sentence Representations Using Suffix Encodings
IBM Research, Almaden（IBM研究中心，阿尔马登（IBM Research, Almaden））
计算句子的通用分布表示是自然语言处理的一项基本任务。我们提出了一种方法来学习这样的表示编码的单词序列在一个句子中的后缀和斯坦福大学的自然语言推理（SNLI）数据集上的训练。我们证明了我们的方法的有效性，通过评估它的SentEval基准，改进现有的方法在几个传输任务。
2018-02-20 cs.AI cs.CL
AmbiCoref: Evaluating Human and Model Sensitivity to Ambiguous Coreference
University of Pennsylvania（宾夕法尼亚大学）
给出一个句子“Abby告诉Brittney她让Courtney不高兴”，人们会很难理解“她”指的是谁，并要求澄清。然而，如果“不安”这个词被“拥抱”取代，“她”无疑是指艾比。我们研究现代共指消解模型是否对代词歧义敏感。为此，我们构建了AmbiCoref，一个诊断语料库的最小的句子对模糊和明确的参考。我们的例子概括了心理语言学研究的人类感知的歧义周围的特定安排的动词和他们的论点。分析表明，（1）人类对模糊AmbiCoref示例中的指称的确定性低于明确的示例，（2）大多数共指模型在模糊和明确对之间的输出几乎没有差异。我们发布了AmbiCoref作为诊断语料库，用于测试模型是否与人类相似地处理歧义。
2023-02-03 cs.CL
Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives
研究探讨LLM在形容词-名词组合性任务中的表现，发现模型内部状态与任务性能存在差异，强调对比评估的重要性。
2026-03-15 cs.AI cs.CL
Concept-Best-Matching: Evaluating Compositionality in Emergent Communication
Technion – Israel Institute of Technology（以色列理工学院）
本文提出了一种名为Concept-Best-Matching的评估程序，通过寻找涌现词汇与自然语言概念之间的最佳匹配来直接评估涌现通信的组合性，并首次提供了可解释的翻译映射。
2024-03-17 cs.AI cs.CL
Compositionality for Presuppositions over Tableaux
表格起源于逻辑语言的一种决策方法。它们也可以被扩展以获得一种结构，该结构根据对出现在句子中的原子公式的真值分配来阐明一组句子中的所有信息。在此采用这一办法。在这样的结构上，提供了组合规则，用于从逻辑语句的原子子公式及其预设中获得逻辑语句的预设。规则是基于经典的逻辑语义，它们被证明是建立在自然语言句子中观察到的行为与{ \em，如果\ldots然后}，{ \em和}和{ \em或}的预设模型。这种方法的优点，现有的框架的前提进行了讨论。
1995-05-05 cmp-lg cs.CL
Learning to Play Chess from Textbooks (LEAP): a Corpus for Evaluating Chess Moves based on Sentiment Analysis
University of Manchester（曼彻斯特大学）
本文提出 LEAP 语料库，首次利用国际象棋教科书文本，通过基于 transformer 的情感分析模型评估棋步质量，最佳模型取得 68% 的加权微观 F_1 分数，并合成了更大数据集以缓解该领域文本资源稀缺问题。
2023-10-31 cs.CL
Unsupervised Full Constituency Parsing with Neighboring Distribution Divergence
Shanghai Jiao Tong University（上海交通大学）
无监督选区分析已经探索了很多，但仍然远远没有得到解决。传统的无监督选区分析器只能捕获句子的未标记结构。对于无监督的全选区解析，我们提出了一个无监督和训练免费标签程序，利用最近推出的度量，相邻分布发散（NDD），它评估前后版本之间的句子语义相似性的属性。为了实现，我们将NDD发展为双POS-NDD（DP-NDD），并建立“模具”来检测句子中的成分及其标签。我们表明，DP-NDD不仅标签成分准确，但也引入更准确的未标记的选区树比以前所有的无监督方法，更简单的规则。通过两个标记选区树推断框架，我们为未标记的F1设置了新的最新技术水平，并为标记的F1设置了强基线。与传统的预测和评估方案相比，我们的方法作为一个合理的例子，反向应用评估指标的预测。
2021-10-29 cs.CL
Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity
Japan Advanced Institute of Science and Technology (JAIST)（日本先进科学技术学院（JAIST））；Toshiba Research & Development Center, Japan（日本东芝研发中心）
不同的词嵌入模型捕捉语言属性的不同方面。这启发我们提出了一个模型（M-MaxLSTM-CNN），用于采用多组词嵌入来评估句子相似性/关系。MaxLSTM-CNN编码器通过多个词嵌入来表示每个词，从而生成新颖的句子嵌入。然后，我们通过多级比较来学习我们的句子嵌入之间的相似性/关系。我们的方法M-MaxLSTM-CNN在几个任务中始终表现出很强的性能（即，测量文本相似性、识别释义、识别文本蕴涵）。根据STS Benchmark数据集和SemEval的SICK数据集上的实验结果，M-MaxLSTM-CNN在文本相似性任务中的表现优于最先进的方法。我们的模型不使用手工制作的功能（例如，对齐特征、Ngram重叠、依赖性特征），并且不需要预先训练的词嵌入具有相同的维度。
2018-05-21 cs.CL
Linguistic Analysis of Pretrained Sentence Encoders with Acceptability Judgments
New York University（纽约大学）
最近在预训练句子编码器中评估语法知识的工作给出了少量现象的细粒度视图。我们引入了一个新的分析数据集，它也广泛覆盖了语言现象。我们注释了语言可接受性语料库的开发集（CoLA; Warstadt等人，2018年）的存在13类句法现象，包括各种形式的参数交替，运动和修改。我们使用该分析集来调查三个预训练编码器的语法知识：BERT（Devlin等人，2018）、GPT（Radford等人，我们发现这些模型对复杂或非规范的论点结构有很强的控制力，比如双及物动词（Sue gave Dan a book）和被动语态（The book was read）。具有长距离依赖关系的句子，如疑问句（你认为我吃了什么？）挑战所有模型，但对于这些模型，BERT和GPT相对于基线具有明显的优势。我们的结论是，最近的句子编码器，尽管表现出接近人类的性能上的可接受性分类的整体，仍然未能细粒度的语法区分许多复杂的句法结构。
2020-05-22 cs.CL
Synthetic Dataset for Evaluating Complex Compositional Knowledge for Natural Language Inference
University of Arizona（亚利桑那大学）
本文构建包含1,304对句子的合成数据集SICCK，通过自然逻辑中的量词、否定等修饰语检验NLI模型的逻辑组合理解能力，发现模型在零样本与微调后均难以处理否定及量词修饰。
2025-10-20 cs.CL
Let's CONFER: A Dataset for Evaluating Natural Language Inference Models on CONditional InFERence and Presupposition
Carleton University（卡尔顿大学）；University of Ottawa（渥太华大学）
本文提出CONFER数据集，通过评估四个NLI模型及多款LLM在零样本、少样本条件下的表现，揭示模型在条件句预设推理上的不足。
2025-06-06 cs.CL
User-Generated Text Corpus for Evaluating Japanese Morphological Analysis and Lexical Normalization
National Institute of Information and Communications Technology（国立信息通信技术研究所）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
词法分析和词汇规范化是日语用户生成文本的两个重要任务。为了评估和比较不同的MA/LN系统，我们构建了一个公开的日本UGT语料库。我们的语料库包括929个句子注释的形态和规范化信息，以及类别信息，我们经常UGT特定的现象进行分类。在该语料库上的实验表明，现有的MA/LN方法对非通用词和非标准形式的识别性能较低，这表明该语料库将是进一步研究UGT的一个具有挑战性的基准。
2021-04-08 cs.CL
Evaluating Subword Tokenization: Alien Subword Composition and OOV Generalization Challenge
University of Melbourne（墨尔本大学）；National University of Mongolia（蒙古国立大学）；University of Edinburgh（爱丁堡大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；IMT Atlantique（IMT大西洋电信学院）
提出子词分词的内在-外在联合评估框架，基于UniMorph Labeller和OOV泛化挑战基准，发现陌生分词在多个语言模型中导致语义组合泛化能力下降。
2024-04-20 cs.AI cs.CL
Hyperbolic sentence representations for solving Textual Entailment
本研究针对文本蕴含问题，提出基于庞加莱球的双曲空间句子表示方法，构建两个额外数据集，在二分类任务中SICK数据集表现优于多类基线，SNLI数据集仅次于Order Embeddings。
2024-06-15 cs.AI cs.CL cs.LG
Learning Semantic Sentence Embeddings using Sequential Pair-wise Discriminator
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
在本文中，我们提出了一种方法来获得双级嵌入。虽然安全字级嵌入的问题是非常好的研究，我们提出了一种新的方法来获得嵌入级嵌入。这是通过解决释义生成任务的上下文中的简单方法获得的。如果我们使用顺序编码器-解码器模型来生成释义，我们希望生成的释义在语义上接近原始句子。确保这一点的一种方法是通过添加约束，使真正的释义嵌入接近，而不相关的释义候选句子嵌入远离。这是通过使用顺序的成对递归来确保的，该递归与用合适的损失函数训练的编码器共享权重。我们的损失函数惩罚释义句子嵌入距离过大。这种损失与顺序编码器-解码器网络结合使用。我们还通过评估情感分析任务的嵌入来验证我们的方法。所提出的方法实现了语义嵌入，并且在标准数据集上的释义生成和情感分析任务方面优于最先进的方法。这些结果也显示出统计学显著性。
2019-03-14 cs.AI cs.CL
Geometric Signatures of Compositionality Across a Language Model's Lifetime
University College London（伦敦大学学院）；Université de Montréal（蒙特利尔大学）；Mila（Mila研究院）；University of Toronto（多伦多大学）；Universitat Pompeu Fabra（庞培法布拉大学）
该研究从几何视角出发，将数据集组合性与语言模型表征的内在维度关联，验证了组合性与几何复杂度的关联源于训练习得的语言特征，还发现非线性与线性维度分别编码语言组合的语义与表层特征。
2025-06-17 cs.AI cs.CL cs.IT
The Effect of Downstream Classification Tasks for Evaluating Sentence Embeddings
Microsoft Research Montreal（微软研究院蒙特利尔）
一种用于定量评估句子嵌入效用的流行方法涉及在需要句子表示作为输入的下游语言处理任务中使用它们。一个简单的任务是分类，其中句子表示用于在多个分类数据集上训练和测试模型。我们认为，通过以这种方式评估句子表示，表示的目标成为学习一个低维分解的任务标签矩阵。我们展示了这个矩阵的特性如何影响低维分解作为一套分类任务中的句子表示的能力。首先，在所有可能的分类任务中具有更多标签的句子具有更高的重建损失，然而这种效果的一般性质最终取决于标签在所有可能句子中的总体分布。
2019-05-27 cs.CL
Evaluating Sentence Segmentation and Word Tokenization Systems on Estonian Web Texts
University of Tartu（塔尔图大学）
从网络上获取的文本是嘈杂的，不一定遵循正字法句子和词边界规则。因此，在格式良好的文本上开发的句子分割和单词标记化系统在未经编辑的Web文本上可能不会表现得那么好。在本文中，我们首先描述了爱沙尼亚网络数据集的句子边界的手动注释，然后给出了三个现有的句子分割和单词标记化系统在这个语料库上的评估结果：EstNLTK，Stanza和UDPipe。虽然EstNLTK在此数据集上的句子分割方面获得了与其他系统相比最高的性能，但Stanza和UDPipe的句子分割性能仍然远低于在更完善的爱沙尼亚UD测试集上获得的结果。
2020-11-16 cs.CL
Quantifying Compositionality of Classic and State-of-the-Art Embeddings
University of Oxford（牛津大学）；University of Bristol（布里斯托大学）；University of Amsterdam（阿姆斯特丹大学）
本文提出一种两步评估方法，通过典型相关分析和重建指标量化不同嵌入（包括静态、Transformer和图模型）的加性组合性，发现后期训练和深层中组合性更强。
2025-09-14 cs.AI cs.CL
Evaluating Word Embeddings for Sentence Boundary Detection in Speech Transcripts
CPqD
本文的动机是自动化的神经心理学测试，涉及话语分析的复述叙述的患者有潜在的认知障碍。在这种情况下，语音转录中的句子边界检测的任务是重要的，因为话语分析涉及自然语言处理工具的应用，例如标记器和解析器，其依赖于句子作为处理单元。在本文中，我们的目的是验证嵌入感应方法最适合句子边界检测任务，特别是它是否是那些被提出来捕捉语义，句法或形态相似性。
2017-08-15 cs.CL
Readability-based Sentence Ranking for Evaluating Text Simplification
Iowa State University（爱荷华州立大学）；University of Tuebingen（图宾根大学）
我们提出了一种新的方法来评估简化句子的可读性，通过成对排序。通过语料库内和跨语料库评价实验验证了该方法的有效性。该方法正确地确定了简化和未简化的句子在其阅读水平方面的排名，准确率超过80%，显着优于以往的结果。为了在句子层面上获得对简化性质的定性见解，我们研究了特定语言特征的影响。我们的经验证实，词级和句法特征在比较真实数据的简化程度中发挥作用。为了进行这项研究，我们从专业简化的新闻文章中创建了一个新的词典对齐语料库。新的语料库资源丰富了迄今为止依赖单一资源的句子级简化研究的经验基础。最重要的是，它促进了跨语料库的评估，以简化，迈向可推广的结果的关键一步。
2016-03-18 cs.CL
Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings
University of Liverpool（利物浦大学）
针对预训练语言模型句子嵌入高维性在资源受限设备上的问题，评估无监督降维方法，发现PCA等能降低近50%维度且不损失性能，甚至部分任务中进一步提升表现。
2024-03-20 cs.CL
Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs
文本转语音系统通常在单个句子上进行评估。当考虑长格式内容时，例如由完整段落或对话组成的数据，孤立地评估句子并不总是合适的，因为缺少合成句子的上下文。在本文中，我们研究了三种不同的方法来评估自然的长形式的文本转语音合成。我们比较了孤立地评价句子，评价整个段落的讲话，并提出了一个选择的语音或文本作为上下文，并评估随后的讲话。我们发现，即使这三个评估是基于相同的材料，结果不同的设置，而且这些结果不一定相互关联。我们表明，我们的研究结果是一致的，一个单一的扬声器设置的阅读段落和两个扬声器的对话场景。我们的结论是，要评估长格式语音的质量，传统的评价孤立的句子的方式是不够的，需要多个评价。
2019-09-09 cs.CL cs.LG cs.SD
Learning and Evaluating Sparse Interpretable Sentence Embeddings
ETH Zürich（苏黎世联邦理工学院）
之前对词嵌入的研究表明，稀疏表示可以在现有的密集嵌入之上学习，也可以在训练期间通过模型约束获得，具有增加可解释性的好处：在某种程度上，每个维度都可以被人类理解，并与数据中的可识别特征相关联。在本文中，我们把这个想法转移到句子嵌入，并探讨了几种方法来获得稀疏表示。我们进一步介绍了一种新的，定量的和自动化的评价指标句子嵌入可解释性，基于主题连贯性的方法。我们观察到增加的可解释性相比，密集的模型，电影对话的数据集和场景描述从MS COCO数据集。
2018-09-25 cs.CL
SenTest: Evaluating Robustness of Sentence Encoders
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
SenTest通过字符级、词级和句子级对抗攻击评估句编码器鲁棒性，发现模型在扰动数据上准确率最多下降15个百分点，且现有监督分类策略仅充当n-gram检测器，未能利用嵌入中的语义和句法信息。
2023-11-29 cs.CL cs.LG
Evaluating Semantic Rationality of a Sentence: A Sememe-Word-Matching Neural Network based on HowNet
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
语义合理性的自动评价是一项重要而又具有挑战性的任务，现有的自动技术不能很好地识别句子的语义是否合理。基于语言模型的方法不是用合理性来衡量句子，而是用共性来衡量句子。基于与人类书面句子相似性的方法在没有人类书面参考文献的情况下会失效。本文提出了一种新的模型--义素词匹配神经网络（SWM-NN），利用义素知识库知网来解决语义合理性评价问题。其优点是，我们的模型可以利用一个适当的义位组合来表示一个词在特定的上下文中的细粒度的语义含义。我们使用细粒度的语义表示来帮助模型学习词之间的语义依赖。为了评估所提出的模型的有效性，我们建立了一个大规模的合理性评估数据集。在该数据集上的实验结果表明，该模型比竞争基线的准确率提高了5.4%。
2018-09-11 cs.CL
Using sentence connectors for evaluating MT output
本文详细阐述了一种机器翻译评估方法的设计，该方法旨在确定在翻译中保留原文含义的程度，而不考虑其组成句子的语法正确性。其基本思想是让一个人工评估者对翻译文本中的句子进行评估，并对每个句子确定其与前一个句子之间存在的语义关系。为了最大限度地减少评估者的依赖，句子之间的关系用连接它们的连接词来表达，而不是通过明确的类别。对于n个句子的文本，这会导致n-1个句子到句子的关系列表，我们称之为文本的连接性配置文件。然后可以将其与原始文本的连接性配置文件进行比较，并且两者之间的对应程度将是翻译质量的衡量标准。提取了一组英语和日语的“基本”连词，并设计了一个计算机接口来支持在句子对之间插入最合适的连词的任务。有了这些，进行了几组实验。
1996-08-29 cmp-lg cs.CL
What am I missing here?: Evaluating Large Language Models for Masked Sentence Prediction
University of New South Wales（新南威尔士大学）
本文评估了GPT-4o等三个商用LLMs在掩码句子预测任务上的表现，发现其在低结构化领域的保真度与连贯性预测能力不足，揭示了当前模型在全局连贯性上的差距。
2025-08-11 cs.CL
Content Word-based Sentence Decoding and Evaluating for Open-domain Neural Response Generation
各种编码器-解码器模型已经被应用于开放域对话中的响应生成，但是大多数传统模型直接学习从词汇输入到词汇输出的映射，而没有显式地对中间表示进行建模。利用语言层次结构和建模中间信息已被证明有利于许多语言理解和生成任务。Broca失语症的动机，我们建议使用一个内容词序列作为一个中间表示的开放域响应生成。实验结果表明，该方法提高了产生的响应的内容相关性，我们的模型通常可以选择正确的语法生成的内容词。同时，而不是评估完整的句子，我们建议计算传统的内容词序列，这是一个更好的指标的内容相关性的指标。
2019-06-26 cs.AI cs.CL
Evaluating Open-Domain Dialogues in Latent Space with Next Sentence Prediction and Mutual Information
Wuhan University（武汉大学）；The University of Sheffield（谢菲尔德大学）；Beihang University（北京航空航天大学）
针对开放域对话一对多的评估难题，提出融合下一句预测目标与互信息的CVAE-based评估指标CMN，在两个数据集上优于多种基线，尤其擅长处理语义偏离参考的回复。
2023-06-10 cs.CL
Evaluating Text Coherence at Sentence and Paragraph Levels
China Foreign Affairs University（外交学院）；Peking University（北京大学）
在本文中，为了评估文本的连贯性，我们提出了段落排序任务并进行句子排序。我们收集了四个不同的语料库，从不同的领域，我们调查适应现有的句子排序方法的段落排序任务。我们还比较了现有模型的可学习性和鲁棒性，分别通过人工创建迷你数据集和噪声数据集，并在这些情况下验证所建立的模型的效率。此外，我们对来自两个竞争模型的重排通道进行了人类评估，并确认WLCS-1是一个比tau更好的度量，与人类评级的相关性显著更高，tau是之前使用的最普遍的度量。结果表明，除了某些极端情况外，基于递归图神经网络的模型是相干建模的最佳选择。
2020-06-05 cs.CL cs.LG
Training and Meta-Evaluating Machine Translation Evaluation Metrics at the Paragraph Level
Google（谷歌）
针对段落级机器翻译自动评估效果不明确的问题，研究提出从现有句子级数据构建段落级评估数据集的方法，实验发现句子级指标与段落级指标的评估效果相当，并分析了背后原因。
2023-08-28 cs.CL
Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality
Hugging Face；Facebook AI Research（脸书人工智能研究院）；University of Waterloo（滑铁卢大学）；University College London（伦敦大学学院）
我们提出了一个新的任务和数据集，用于评估视觉和语言模型进行非语言组合推理的能力，我们称之为Winoground。给定两个图像和两个标题，目标是正确地匹配它们-但至关重要的是，两个标题包含完全相同的单词集，只是顺序不同。该数据集由专家注释者精心手工策划，并标记了一组丰富的细粒度标签，以帮助分析模型性能。我们探索了各种各样的最先进的视觉和语言模型，并发现，令人惊讶的是，没有一个比机会更好。显然，这些模型并不像我们所希望的那样熟练地进行非语言组合推理。我们进行了广泛的分析，以深入了解未来的工作可能如何试图减轻这些模型的缺点。我们的目标是Winoground作为一个有用的评估集，以推进最先进的技术，并推动该领域的进一步发展。该数据集可在https://huggingface.co/datasets/facebook/winoground上获得。
2022-04-22 cs.CL cs.CV
Evaluating Human-LLM Representation Alignment: A Case Study on Affective Sentence Generation for Augmentative and Alternative Communication
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文提出表征对齐评估任务，通过人类判断比较词语、VAD维度和表情符号四种情感表征下LLM生成句子的效果，发现词语条件下的生成结果比VAD量表更符合人类预期，且感知受表征类型和情感类别共同影响。
2025-11-09 cs.CL
Chinese Idiom Paraphrasing
Yangzhou University（扬州大学）；Hefei University of Technology（合肥工业大学）
成语是汉语中的一种习惯表达方式，大多数都是由四个汉字组成。由于汉语成语的非组合性和隐喻性，儿童和非本族语者很难理解成语。本研究提出了一个新的任务，称为汉语成语释义（CIP）。目的是在保留原句意义的前提下，将含有习语的句子改写为非习语的句子。由于没有成语的句子更容易被中文NLP系统处理，CIP可以用于预处理中文数据集，从而促进和提高中文NLP任务的性能，例如，机器翻译系统，汉语成语完形填空，汉语成语嵌入。在本研究中，CIP任务被视为一种特殊的释义生成任务。为了克服获取注释的困难，我们首先建立了一个基于人机协作的大规模CIP数据集，该数据集由115，530个句子对组成。我们进一步部署了三个基线和两个新的CIP方法来处理CIP问题。实验结果表明，与基于CIP数据集的基线方法相比，本文提出的方法具有更好的性能。
2022-04-20 cs.CL
Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming
University of Florida（佛罗里达大学）
本研究评估 RNN 和 Transformer 模型在汉英跨语言结构启动中的表现，发现 Transformer 优于 RNN，挑战了传统循环处理观点，提示基于线索的检索机制作用。
2024-10-15 cs.CL cs.LG
Evaluating Discourse Phenomena in Neural Machine Translation
University of Zurich（苏黎世大学）；LIMSI, CNRS, Univ. Paris-Sud, Université Paris-Saclay（法国国家科学研究中心、巴黎第十一大学、巴黎萨克雷大学联合计算机科学与数学应用实验室）；University of Edinburgh（爱丁堡大学）
为了使机器翻译能够处理语篇现象，模型必须能够访问外部语言语境。最近有兴趣在神经机器翻译（NMT）的建模上下文，但模型主要是用标准的自动度量，不适合评估话语现象。在这篇文章中，我们提出了手工制作的，话语测试集，旨在测试模型的能力，利用以前的源和目标句子。我们研究了最近提出的多编码器NMT模型在英语到法语字幕上训练的性能。我们还探索了一种利用前一句话的上下文的新方法。尽管使用BLEU获得了收益，但多编码器模型在处理话语现象方面的改进有限：我们的共指测试集的准确率为50%，连贯性/衔接性为53.5%（与50%的非上下文基线相比）。一个简单的解码前一个和当前句子的连接的策略导致良好的性能，我们的新策略的多编码和解码的两个句子导致最好的性能（72.5%的共指和57%的连贯性/衔接），突出了目标方上下文的重要性。
2018-04-20 cs.CL
RoMe: A Robust Metric for Evaluating Natural Language Generation
University of Bonn（波恩大学）；Fraunhofer IAIS Dresden（弗劳恩霍夫智能分析与信息系统研究所德累斯顿分所）；University of Hamburg（汉堡大学）
评估自然语言生成（NLG）系统是一项具有挑战性的任务。首先，度量应该确保生成的假设反映参考的语义。其次，要考虑生成句的语法质量。第三，它应该足够健壮，以处理生成的句子的各种表面形式。因此，有效的评价尺度必须是多方面的。在本文中，我们提出了一个自动评估指标，结合自然语言理解（语言能力，句法和语义变化）的几个核心方面。我们提出的度量，罗马，语言特征，如语义相似性结合树编辑距离和语法的可接受性，使用自监督神经网络来评估生成的句子的整体质量进行训练。此外，我们进行了广泛的鲁棒性分析的国家的最先进的方法和罗马。实证结果表明，罗马有一个更强的相关性，人类的判断超过国家的最先进的指标，在评估系统生成的句子在几个NLG任务。
2022-03-17 cs.AI cs.CL
Sentence Smith: Controllable Edits for Evaluating Text Embeddings
University of Zurich（苏黎世大学）
Sentence Smith通过可控编辑生成文本，用于评估文本嵌入模型的细粒度性能。
2025-11-24 cs.CL
Evaluating Multilingual Sentence Embeddings for Translation Error Detection:An English--Greek Contrastive Study
Ionian University（爱奥尼亚大学）；Laboratory on Digital Libraries and Electronic Publishing（数字图书馆与电子出版实验室）；Centre for Literary Translation and Book Policy（文学翻译与图书政策中心）
本研究对比评估BGE-M3等5种多语言句子嵌入模型与COMETKiwi在英-希腊语翻译错误检测中的性能，发现嵌入模型与COMETKiwi的错误敏感性特征互补，嵌入模型更适合作为翻译评估框架的组成部分。
2026-09-01 cs.CL
Evaluating Multilingual Long-Context Models for Retrieval and Reasoning
Department of Computer Science（计算机科学系）；Portland State University（波特兰州立大学）
本文创建了mLongRR数据集，评估多语言长上下文LLM在五种语言中的检索与推理能力，发现模型在处理多目标句子和低资源语言时性能显著下降。
2024-10-12 cs.CL
Idiomatic Expression Identification using Semantic Compatibility
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
习惯表达是自然语言的一个组成部分，并不断地被添加到语言中。由于它们的非组合性以及它们根据具体上下文具有比喻或字面意义的能力，它们一直是NLP系统的经典挑战。为了解决这一挑战，我们研究了检测句子是否具有惯用表达并将其本地化的任务。针对该任务的现有技术研究了特定类别的惯用表达，提供了它们对新惯用法的可推广性的有限视图。我们提出了一个多阶段的神经结构与注意力流机制来识别这些表达式。该网络有效地融合上下文和词汇信息在不同层次上使用词和子词表示。三个最大的基准数据集的不同的句法模式和程度的非组合性的惯用表达的实证评估表明，我们提出的模型实现了新的国家的最先进的结果。该模型的一个显着特点是能够识别训练过程中看不到的习语，在最大数据集上的竞争基线上获得1.4%至30.8%的收益。
2021-10-19 cs.CL
XNLI: Evaluating Cross-lingual Sentence Representations
Facebook AI（Facebook人工智能）；New York University（纽约大学）
最先进的自然语言处理系统依赖于注释数据形式的监督来学习合格的模型。这些模型通常在单一语言（通常是英语）的数据上进行训练，并且不能直接使用该语言之外的语言。由于收集每种语言的数据是不现实的，因此人们对跨语言语言理解（XLU）和低资源跨语言迁移的兴趣越来越大。在这项工作中，我们构建了一个XLU的评估集扩展的开发和测试集的多流派自然语言推理语料库（MultiNLI）的15种语言，包括低资源的语言，如斯瓦希里语和乌尔都语。我们希望我们的数据集，被称为XNLI，将通过提供信息丰富的标准评估任务来促进跨语言句子理解的研究。此外，我们还提供了多语言句子理解的几个基线，包括两个基于机器翻译系统的基线，以及两个使用并行数据来训练对齐的多语言词袋和LSTM编码器的基线。我们发现，XNLI代表了一个实用的和具有挑战性的评估套件，并直接翻译的测试数据产生的最佳性能之间可用的基线。
2018-09-13 cs.AI cs.CL cs.LG
The Case for Evaluating Multimodal Translation Models on Text Datasets
PAR Government Systems Corporation（PAR政府系统公司）；Air Force Research Laboratory（空军研究实验室）
针对现有Multi30k测试集无法衡量MMT模型视觉信息利用能力与复杂句翻译能力的问题，提出结合CoMMuTE框架、WMT纯文本测试集与Multi30k的评估方案，发现仅用Multi30k训练的MMT模型在纯文本测试集上性能远低于纯文本MT模型。
2024-03-05 cs.CL
Evaluating the Evaluation of Diversity in Commonsense Generation
University of Liverpool（利物浦大学）
本文对常识生成中的多样性评估指标进行系统元评估，发现基于内容的指标优于基于形式的指标，并利用LLM构建新数据集验证其与人类判断的高度相关性。
2025-05-31 cs.CL
PerCoR: Evaluating Commonsense Reasoning in Persian via Multiple-Choice Sentence Completion
PerCoR是首个大规模波斯语常识推理基准测试，通过多项选择句完成问题评估常识推理能力，展示了DRESS-AF方法在提升数据集难度和模型性能方面的有效性。
2026-01-15 cs.AI cs.CL
