Relations such as Hypernymy: Identifying and Exploiting Hearst Patterns in Distributional Vectors for Lexical Entailment
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑使用分布向量预测词汇蕴涵的任务。我们执行一个现有的模型，这是以前只测量的词对的原型性一种新的定性分析。我们发现，该模型强烈学习识别上位词使用赫斯特模式，这是众所周知的预测词汇关系。我们提出了一种新的模型，利用这种行为作为一种方法的特征提取在一个迭代过程中类似于主成分分析。我们的模型将提取的特征与文献中其他模型的优势相结合，并在多个数据集上匹配或优于先前的工作。
2016-09-23 cs.AI cs.CL
nigam@COLIEE-22: Legal Case Retrieval and Entailment using Cascading of Lexical and Semantic-based models
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）；Vellore Institute of Technology（韦洛尔理工学院）
本文介绍了我们提交的法律信息抽取/蕴涵2022年（COLIEE-2022）的案例法竞争工作坊的任务1和2。任务1是一个法律案例检索任务，它涉及阅读一个新的案例，并从提供的判例法语料库中提取支持案例来支持决策。任务2是法律案例蕴含任务，涉及从现有案例中识别一个段落，该段落包含相关案例中的决定。我们采用神经模型Sentence-BERT和Sent 2 Vec进行语义理解，并采用传统的检索模型BM 25进行精确匹配。因此，我们的团队（“nigam”）在任务1和任务2中的所有团队中排名第五。实验结果表明，传统的检索模型BM 25仍然优于基于神经网络的模型。
2022-04-16 cs.CL cs.IR cs.LG
Talking the Talk Does Not Entail Walking the Walk: On the Limits of Large Language Models in Lexical Entailment Recognition
University of Calabria（卡拉布里亚大学）
本研究评估八种大型语言模型在词汇蕴含识别中的表现，发现其性能中等且少样本提示可提升效果，但完美解决仍具挑战，凸显进一步研究需求。
2024-11-07 cs.AI cs.CL cs.CY
HyperLex: A Large-Scale Evaluation of Graded Lexical Entailment
University of Cambridge（剑桥大学）；Facebook AI Research（脸书人工智能研究院）；Google DeepMind（谷歌DeepMind）
我们引入HyperLex -一个数据集和评估资源，它量化了语义类别成员资格的程度，即2，616个概念对之间的关系类型，也称为上下义关系或词汇蕴涵（LE）关系。认知心理学研究已经证实，典型性和类别/类成员资格在人类语义记忆中是作为一种渐进的而不是二元的关系来计算的。然而，大多数NLP研究，以及现有的概念类别成员的大规模投资（WordNet，DBPedia等）。将类别成员资格和LE视为二元。为了解决这个问题，我们要求数百名以英语为母语的人在众包平台上指出各种概念对之间的类别成员关系的典型性和强度。我们的研究结果证实，类别成员资格和LE确实比二进制更渐进。然后，我们将这些人类判断与自动系统的预测进行比较，这揭示了人类表现与最先进的LE，分布式和表示学习模型之间的巨大差距，以及模型本身之间的实质性差异。我们讨论了一个途径，改善语义模型，以克服这种差异，并指出未来的应用领域，改进分级LE系统。
2017-05-10 cs.CL
Exploring Lexical, Syntactic, and Semantic Features for Chinese Textual Entailment in NTCIR RITE Evaluation Tasks
National Chengchi University（国立政治大学）
在NTCIR-9和NTCIR-10中，我们计算了繁体中文和简体中文文本中识别推理（RITE）任务的词汇、句法和语义水平的语言信息。采用句法分析、命名实体识别和近义词识别等技术，并考虑常用词数、语句长度、否定词和反义词等特征来判断两个语句的蕴涵关系，同时探索了基于语义的函数和机器学习方法。所报道的系统表现出的鲁棒性，同时实现第二个位置的二进制分类子任务的简体中文和繁体中文在NTCIR-10 RITE-2。利用NTCIR-9 RITE的测试数据进行了进一步的实验，取得了较好的效果。我们还扩展了我们的工作，以寻找更好的配置，我们的分类和调查的贡献，个别功能。这项长期工作显示出令人感兴趣的结果，应鼓励进一步讨论。
2015-04-08 cs.AI cs.CL cs.DL
Experiments with Three Approaches to Recognizing Lexical Entailment
National Research Council Canada（加拿大国家研究委员会）
自然语言中的推理通常涉及识别词汇蕴涵（RLE）;也就是说，识别一个词是否蕴涵另一个词。例如，“买”包含“拥有”。RLE的两个一般策略已被提出：一个策略是手动构建一个不对称的上下文向量的相似性度量（方向相似性），另一个是对待RLE学习的问题，以识别语义关系，使用监督机器学习技术（关系分类）。在本文中，我们实验了两个最近的国家的最先进的代表的两个一般战略。第一种方法是非对称相似性度量（方向相似性策略的一个实例），旨在捕获单词a的上下文形成另一个单词b的上下文子集的程度。第二种方法（关系分类策略的一个实例）用一个特征向量表示一个词对a：b，该特征向量是a和b的上下文向量的级联，然后将监督学习应用于标记特征向量的训练集。此外，我们介绍了第三种方法，这是一个新的实例的关系分类策略。第三种方法表示一个词对，a：b，与一个特征向量，其中的功能是在一组参考词的a和b的相似性的差异。这三种方法都使用基于词上下文矩阵的语义向量空间模型（VSM）。我们使用三个不同的数据集进行了广泛的评估的三种方法。所提出的新方法（相似性差异）在某些数据集上的性能明显优于其他两种方法，并且没有数据集明显更差。我们的研究结果表明，将词汇蕴涵研究与语义关系分类研究联系起来是有益的。
2014-01-31 cs.AI cs.CL cs.LG
Continuous Entailment Patterns for Lexical Inference in Context
Center for Information and Language Processing (CIS)（信息与语言处理中心）；LMU Munich（慕尼黑大学）
将预训练语言模型（PLM）与文本模式相结合已被证明有助于零镜头和Few-Shot设置。对于zero-shot性能，设计与自监督预训练期间看到的文本非常相似的模式是有意义的，因为模型从未见过其他任何东西。有监督的培训允许更大的灵活性。如果我们允许使用PLM词汇表之外的标记，那么模式可以更灵活地适应PLM的特性。对比“token”可以是任何连续向量的模式与必须在词汇元素之间进行离散选择的模式，我们称我们的方法为连续pAtterNs（CONAN）。我们评估CONAN的两个既定的基准词汇推理的背景下（LIiC）又名。谓词蕴涵，一个具有挑战性的自然语言理解任务，训练集相对较小。在与离散模式的直接比较中，CONAN始终导致性能的提高，设置了一个新的艺术状态。我们的实验提供了有价值的见解，这种模式，提高了PLM的性能LIiC，并提出了重要的问题，我们的理解PLM使用文本模式。
2021-09-08 cs.AI cs.CL
ENTRUST: Argument Reframing with Language Models and Entailment
Columbia University（哥伦比亚大学）；Google（谷歌）
框架涉及根据听众和演讲者的目标对论点或问题进行积极或消极的陈述（Entman 1983）。词汇框架的差异是我们研究的重点，它会对人们的观点和信念产生很大的影响。为了在重构积极效果的论点方面取得进展，我们为此任务创建了一个数据集和方法。我们使用的词汇资源的“内涵”创建一个平行的语料库，并提出了一种方法，参数重构相结合的可控文本生成（积极的内涵）与解码后蕴涵组件（相同的外延）。我们的研究结果表明，我们的方法是有效的，沿着流畅性，意义和可信度/减少恐惧的维度强基线相比。
2021-04-11 cs.AI cs.CL
Chunk-aware Alignment and Lexical Constraint for Visual Entailment with Natural Language Explanations
Meituan（美团）
视觉蕴涵与自然语言解释的目的是推断文本-图像对之间的关系，并生成一个句子来解释决策过程。以前的方法主要依赖于预先训练的视觉语言模型来执行关系推理，并依赖于语言模型来生成相应的解释。然而，预先训练的视觉语言模型主要建立文本和图像之间的标记级对齐，而忽略了短语（组块）和视觉内容之间的高层语义对齐，这对于视觉语言推理至关重要。此外，仅基于编码的联合表示的解释生成器没有明确考虑关系推理的关键决策点。因此，生成的解释不太忠实于视觉语言推理。为了缓解这些问题，我们提出了一个统一的组块感知对齐和词汇约束为基础的方法，被称为CALeC。它包含一个块感知语义交互器（Chunk-aware Semantic Interactor）。CSI）、关系推断器和词汇约束感知生成器（Lexical Constraint-aware Generator，简称CSI）。LeCG）。具体来说，CSI利用语言和各种图像区域中固有的句子结构来构建块感知的语义对齐。关系推理器使用一个基于注意力的推理网络来结合标记级和块级视觉语言表示。LeCG利用词汇约束将关系推理者关注的词或组块明确地纳入解释生成中，提高了解释的忠实性和信息量。我们在三个数据集上进行了大量的实验，实验结果表明，CALeC在推理准确性和生成解释的质量上显着优于其他竞争对手模型。
2022-12-02 cs.CL cs.CV cs.MM
Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference
Purdue University（普渡大学）
自然语言推理（NLI）或文本蕴涵识别（RTE）是预测一对句子（前提和假设）之间的蕴涵关系的任务。这项任务已被描述为一个有价值的测试场的语义表示的发展，是自然语言理解评估基准的关键组成部分。理解蕴涵的模型应该对前提和假设都进行编码。然而，Poliak等人的实验揭示了这些模型对仅在假设中观察到的模式的强烈偏好，基于10个数据集的比较。他们的研究结果表明，假设中存在统计不规则性，使模型与最先进的模型竞争。虽然重铸数据集由于最少的人为干预而提供了大规模的NLI实例生成，但生成它们的论文并没有提供对可能使NLI模型产生偏差的潜在统计模式的细粒度分析。在这项工作中，我们分析了在Poliak等人提供的一个重铸数据集上训练的仅假设模型。我们的研究结果表明，存在潜在的词汇偏见，可能有助于膨胀的模型性能。
2021-01-22 cs.CL
TaxoLLaMA: WordNet-based Model for Solving Multiple Lexical Semantic Tasks
HSE University（高等经济大学）；Skoltech（斯科尔科沃科学技术研究院）；AIRI（人工智能研究院）；Universität Hamburg（汉堡大学）
本文提出TaxoLLaMA，一个基于LLaMA-2-7b并采用4-bit量化和LoRA的轻量级一体化模型，在16个词汇语义任务中取得11项SotA和4项top-2结果，并展现出强大的零样本及多语言领域适应能力。
2024-06-17 cs.CL
Natural Language Inference from Multiple Premises
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们定义了一个新颖的文本蕴涵任务，需要对多个前提句子进行推理。我们提出了一个新的数据集为这项任务，最大限度地减少琐碎的词汇推理，强调日常事件的知识，并提出了一个更具挑战性的设置文本蕴涵。我们评估了几个强大的神经基线，并分析了多前提任务与标准文本蕴涵的不同之处。
2017-10-09 cs.CL
Lexical-Morphological Modeling for Legal Text Analysis
Japan Advanced Institute of Science and Technology (JAIST)（日本先端科学技术大学院大学）；Hung Yen University of Education and Technology (UTEHY)（兴安教育技术大学）
在法律信息抽取/蕴涵竞赛（COLIEE）的背景下，我们提出了一种方法，该方法包括必要的步骤，用于查找法律问题的相关文件，并决定文本蕴涵证据以提供正确的答案。该方法基于多个词汇和形态特征的组合，建立语言模型和一组特征，用于机器学习算法。我们提供了一个详细的研究所提出的方法的性能和失败的情况下，表明它是具有竞争力的国家的最先进的方法，法律信息检索和问答，而不需要广泛的训练数据，也不依赖于专家产生的知识。所提出的方法在竞赛中取得了显著的成绩，表明所处理的任务具有相当高的充分性。
2016-09-03 cs.CL cs.IR
Building Legal Case Retrieval Systems with Lexical Matching and Summarization using A Pre-Trained Phrase Scoring Model
Japan Advanced Institute of Science and Technology（日本先进科学技术研究院）；National Institute of Informatics（国立信息学研究所）
我们提出了解决2019年法律信息抽取/蕴涵竞赛的法律案例检索任务的方法。我们的方法是基于这样的想法，即摘要是重要的检索。一方面，我们采用了一种基于摘要的模型，称为编码摘要，它将给定的文档编码到连续的向量空间中，其中嵌入了文档的摘要属性。我们利用COLIEE 2018的资源，在此基础上训练文档表示模型。另一方面，我们提取一个给定的查询及其候选人的不同部分的词汇特征。我们观察到，通过比较查询的不同部分及其候选项，我们可以实现更好的性能。此外，基于摘要的方法结合词汇特征和潜在特征实现了更好的性能。我们在比赛的基准上取得了任务的最先进的结果。
2020-09-29 cs.CL
BM25S: Orders of magnitude faster lexical search via eager sparse scoring
McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
BM25S提出一种仅依赖Numpy和Scipy的Python版BM25实现，通过在索引阶段急切计算分数并存入稀疏矩阵，实现比主流Python框架最高500倍加速，并精确复现五个BM25变体。
2024-07-04 cs.CL cs.IR
Revisiting text decomposition methods for NLI-based factuality scoring of summaries
M Health Information Systems（3M健康信息系统）；Carnegie Mellon University（卡内基梅隆大学）
对生成的摘要的真实性进行评分涉及使用输入文档作为支持来测量目标文本包含事实信息的程度。鉴于问题表述的相似性，以前的工作表明，自然语言推理模型可以有效地重新利用来执行这项任务。由于这些模型被训练为在句子级别上对蕴涵进行评分，最近的几项研究表明，将输入文档或摘要分解为句子有助于真实性评分。但是细粒度分解总是一个成功的策略吗？在本文中，我们系统地比较了不同的粒度分解-从文档到子句子级别，我们的答案是否定的。我们的结果表明，将额外的上下文可以产生改善，但这并不一定适用于所有的数据集。我们还表明，以前提出的基于蕴涵的评分方法的小的变化可以导致更好的性能，强调需要谨慎的模型和方法选择下游任务。
2022-11-30 cs.CL
MANTIS at TSAR-2022 Shared Task: Improved Unsupervised Lexical Simplification with Pretrained Encoders
RWTH Aachen University（亚琛工业大学）；University of Amsterdam（阿姆斯特丹大学）
在本文中，我们提出了我们的贡献，TSAR-2022共享任务的词汇简化EMNLP 2022研讨会的文本简化，可访问性和可读性。我们的方法建立在无监督的词汇简化系统与预训练编码器（LSBert）系统的基础上，并在以下方面进行了扩展：对于简化候选选择的子任务，它利用了RoberTa Transformer语言模型，并扩大了生成的候选列表的大小。在后续的替换排序中，引入新的特征加权方案，并采用基于文本蕴涵的候选词过滤方法，最大化目标词与其简化词之间的语义相似度。我们性能最佳的系统将LSBert的准确性提高了5.9%，并在33个排名解决方案中排名第二。
2022-12-19 cs.CL
Lexical Bundle Frequency as a Construct-Relevant Candidate Feature in Automated Scoring of L2 Academic Writing
Iowa State University（爱荷华州立大学）
本研究将聚合词块频率特征纳入TOEFL二语写作自动评分SVM模型，发现词块频率与水平显著相关，且扩展模型在低、中水平作文上显著提升了与人工评分的一致性，证明该特征有助于构建更准确的自动评分系统。
2025-04-11 cs.CL
Multi-modal Automated Speech Scoring using Attention Fusion
Indraprastha Institute of Information Technology（英德拉普拉斯塔信息技术学院）；Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；Teachers College, Columbia University（哥伦比亚大学教师学院）；Second Language Testing Inc.（第二语言测试公司）
在这项研究中，我们提出了一种新的多模态端到端的神经网络方法，使用注意力融合的非英语母语者的自发语音的自动评估。该流水线采用双向递归卷积神经网络和双向长短期记忆神经网络来分别对来自声谱图和transmart.tag_1的声学和词汇线索进行编码。在这些学习的预测特征上执行注意力融合，以在最终评分之前学习不同模态之间的复杂交互。我们将我们的模型与强基线进行比较，发现对词汇和声学线索的联合关注显着提高了系统的整体性能。此外，我们提出了我们的模型的定性和定量分析。
2021-11-28 cs.CL cs.SD eess.AS
Clinical Reasoning Under a Partially Observed Objective in Cone Beam CT Report Generation
DiceMed；University of Maryland（马里兰大学）；Indira Gandhi National Open University（英迪拉·甘地国立开放大学）；Indian Institute of Technology Jammu（印度理工学院贾姆穆分校）
本研究针对锥形束CT报告生成，提出部分可观测复合目标优化方法，发现词汇指标奖励听写惯例而非解剖结构，并交付了结合几何约束的报告系统。
2026-09-15 cs.CL cs.CV
NOWJ@COLIEE 2025: A Multi-stage Framework Integrating Embedding Models and Large Language Models for Legal Retrieval and Entailment
VNU University of Engineering and Technology（越南工程大学）；Japan Advanced Institute of Science and Technology（日本先进科学研究院）；Center for Juris-Informatics, ROIS-DS（法律信息中心，ROIS-DS）；Research and Development Center for Large Language Models, NII（大型语言模型研发中心，NII）
本文提出一个集成BM25、BERT、BGE-m3及Qwen-2等模型的多阶段框架，在COLIEE 2025法律检索与蕴含任务中获任务2第一名（F1=0.3195），验证了混合检索与生成模型的优势。
2025-09-09 cs.AI cs.CL
Comparative Analysis of Document-Level Embedding Methods for Similarity Scoring on Shakespeare Sonnets and Taylor Swift Lyrics
本研究对比了TF-IDF、Word2Vec和BERT在莎士比亚十四行诗与泰勒·斯威夫特歌词上的文档相似度评分表现，发现TF-IDF依赖词汇重叠，Word2Vec语义泛化更佳，而BERT因缺乏领域微调表现较差。
2024-12-23 cs.CL cs.IR
Cross-Architecture LLM Ensembles, Feature-Based Reranking and Retrieval-Augmented Prompting for Legal Information Processing
Durham University（杜伦大学）；Jazan University（吉赞大学）
该研究参与COLIEE 2026五项法律信息处理任务，采用开放权重系统。核心方法包括跨架构模型集成、基于特征重新排序及检索增强提示。在多任务中取得不同成果，如法规蕴含任务准确率高，展示了不同方法在不同任务设置下的有效性。
2026-07-14 cs.CL
Revisiting NLI: Towards Cost-Effective and Human-Aligned Metrics for Evaluating LLMs in Question Answering
University of Illinois at Chicago（伊利诺伊大学香槟分校）
针对LLM问答评估中词汇指标缺失语义细微差别、“LLM作为评判者”成本高的问题，提出用词汇匹配标志增强现成NLI评分的轻量方案，其在长文本问答上准确率达89.9%（与GPT-4o相当）且参数少，还引入DIVER-QA基准测试人类对齐性，为指标研究提供开放资源。
2025-11-10 cs.AI cs.CL
LEA: Improving Sentence Similarity Robustness to Typos Using Lexical Attention Bias
NielsenIQ Innovation（尼尔森IQ创新部）
本文提出词汇感知注意力模块 LEA，通过融合句子间词语的原始文本相似度来缓解拼写错误引起的词元分布偏移，从而提升交叉编码器在句子相似度任务中的鲁棒性，并在多个数据集上验证了其有效性。
2023-07-06 cs.AI cs.CL
Encoded Summarization: Summarizing Documents into Continuous Vector Space for Legal Case Retrieval
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；The National Institute of Informatics（日本国立信息学研究所）
本文提出利用深度神经网络的短语评分框架将文档摘要编码至连续向量空间以解决法律案件检索任务，并探索结合词汇特征与潜在特征以提升系统性能，最终在实验数据集上取得65.6%和57.6%的F1分数。
2023-09-15 cs.CL
Distilling Directional Verification
Korea University（高丽大学）；Yonsei University Mirae Campus（延世大学未来校区）；Soongsil University（崇实大学）；Konkuk University（建国大学）
提出方向性标签蒸馏，利用教师模型在已知方向评分候选答案，生成更准确的训练标签，显著提升学生模型在开放式查询上的准确性，并减少错误转移。
2026-10-02 cs.AI cs.CL cs.LG
Joint Multi-Domain Learning for Automatic Short Answer Grading
IBM Research - India（IBM印度研究院）；Pearson（培生集团）；Queensland University of Technology（昆士兰科技大学）；Anudip Foundation（阿努迪普基金会）
构建任何智能辅导系统的基本挑战之一是它能够自动对简短的学生答案进行评分。典型的自动简答评分系统（ASAG）跨多个领域（或科目）对学生的答案进行评分。对学生答案进行分级需要构建一个监督机器学习模型，该模型评估学生答案与参考答案的相似性。我们观察到，与典型的文本相似性或蕴涵任务不同，相似性的概念在这里并不普遍。一方面，语言的类短语结构可以指示独立于域的相似性。另一方面，两个单词或短语，彼此不是严格的同义词，在某些领域可能意味着相同。基于这一观察，我们提出了JMD-ASAG，这是第一个用于自动简短答案分级的联合多领域深度学习架构，通过从有限的领域训练数据中学习通用和特定领域方面来执行领域自适应。JMD-ASAG不仅可以学习特定领域的特征，而且可以通过从特定任务数据本身学习类属特征来克服对大型语料库的依赖。在一个大规模的行业数据集和基准数据集上，我们表明我们的模型比现有的技术表现得更好，这些技术要么学习特定领域的模型，要么从大型语料库中适应通用的相似性评分模型。此外，在基准数据集上，我们报告了所有现有非神经和神经模型的最新结果。
2019-02-25 cs.CL
