Beyond Single-Sentence Prompts: Upgrading Value Alignment Benchmarks with Dialogues and Stories
Zhengzhou University of Light Industry（郑州轻工业大学）；Tianjin University（天津大学）
针对单句提示难以检测LLM价值偏见的问题，提出融合多轮对话与叙事场景的升级基准，有效暴露潜在偏见，推动更现实的AI伦理评估。
2025-03-28 cs.AI cs.CL cs.CY
Comparing Apples to Apples: Generating Aspect-Aware Comparative Sentences from User Reviews
UC, San Diego（加州大学圣地亚哥分校）；UC San Diego（加州大学圣地亚哥分校）
针对用户挑选同类产品效率低的问题，提出含商品编码、自回归比较生成、个性化解码的transformer三组件模型，可从商品评论生成相关真实的比较句，辅助用户选品。
2023-07-23 cs.AI cs.CL cs.IR
Comparing Without Saying: A Dataset and Benchmark for Implicit Comparative Opinion Mining from Same-User Reviews
VNU University of Engineering and Technology（越南工程大学）；Singapore Management University（新加坡管理大学）
SUDO数据集通过隐式比较意见挖掘任务，评估了从同一用户评论中推断偏好的挑战与方法。
2026-01-20 cs.CL
Quirk or Palmer: A Comparative Study of Modal Verb Frameworks with Annotated Datasets
University of Minnesota（明尼苏达大学）
情态动词，如“can”、“may”和“must”，在日常交际中常用来表达说话者对命题的可能性和/或模式的看法。它们的含义可能会有很大的不同，这取决于它们的使用方式和句子的上下文（例如，“他们'必须'互相帮助。他们“一定”互相帮助。尽管它们在自然语言理解中具有重要的实际意义，但语言学家们还没有就情态动词意义的分类达成一个单一的、突出的框架。这种缺乏一致性源于情态动词的高度灵活性和多义性，这使得研究人员更难以将这一系列单词的见解纳入他们的工作。这项工作提出了Moverb数据集，其中包括27，240个注释的情态动词意义超过4，540话语包含一个或多个句子从社会对话。每个话语由三个注释者使用两个不同的理论框架（即，Quirk and Palmer）的情态动词的意义。我们观察到，这两个框架具有相似的注释者间协议，尽管具有不同数量的意义类型（Quirk为8，Palmer为3）。在\dataset上对基于RoberTa的分类器进行微调后，我们在Quirk和Palmer上分别获得了82.2和78.3的F1分数，这表明情态动词意义消歧不是一项简单的任务。我们的数据集将与我们的最终版本一起公开。
2022-12-20 cs.CL
Cross-Dialect Sentence Transformation: A Comparative Analysis of Language Models for Adapting Sentences to British English
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本研究比较了不同语言模型将美式、印度和爱尔兰英语方言转换为英式英语的能力，发现印度和爱尔兰英语翻译与英式英语相似度较高，而美式英语略低；Llama-2-70b表现最佳，强调了模型选择对翻译质量的关键作用。
2023-11-05 cs.AI cs.CL
Categorizing Comparative Sentences
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Universität Hamburg（汉堡大学）；Martin-Luther Universität Halle-Wittenberg（马丁-路德·哈勒-维滕贝格大学）
我们处理自动识别比较句子和对预期偏好进行分类的任务（例如，“Python有比MATLAB更好的NLP库”=>（Python，better，MATLAB）。为此，我们手动注释了来自多个领域的217个不同目标项目对的7，199个句子（27%的句子包含“更好”或“更差”意义上的定向比较）。基于预训练句子嵌入的梯度提升模型在我们的实验评估中达到了85%的F1分数。该模型可用于比较/辩论搜索引擎或辩论技术中正反辩论的比较句抽取。
2019-07-08 cs.CL
Argue with Me Tersely: Towards Sentence-Level Counter-Argument Generation
Fudan University（复旦大学）；ByteDance（字节跳动）；Huawei Poisson Lab（华为泊松实验室）
本文提出ArgTersely基准和Arg-LlaMA模型，用于句子级反驳论点生成，并训练Arg-Judge评估器，实验证明其性能优于基线。
2023-12-21 cs.CL
Evaluating Named Entity Recognition: A comparative analysis of mono- and multilingual transformer models on a novel Brazilian corporate earnings call transcripts dataset
Instituto Federal de São Paulo - IFSP（圣保罗联邦教育、科学和技术研究所（IFSP））；Universidade Estadual de Campinas - Unicamp（坎皮纳斯州立大学（Unicamp））
本文通过构建巴西金融NER数据集BraFiNER并比较BERTimbau、PTT5、mBERT和mT5在金融命名实体识别任务上的表现，发现BERT类模型优于T5类模型，且T5类模型易改变货币和百分比数值，强调了金融领域准确性的重要性。
2024-08-30 cs.AI cs.CL cs.LG
A Comparative Study of Neural Network Models for Sentence Classification
VNU Hanoi（河内国家大学）；Ton Duc Thang University（孙德胜大学）
本文对前馈网络、卷积网络、递归网络和长短期记忆网络四种神经网络模型在英语和越南语文本句子分类数据集上进行了广泛的比较研究。我们表明，在英语数据集上，没有任何特征工程的卷积网络模型优于一些具有丰富手工语言特征的竞争性句子分类器。我们证明了GloVe词嵌入始终优于Skip-gram词嵌入和单词计数向量。我们还展示了卷积神经网络模型在越南报纸句子数据集上的优越性。我们的实验结果为神经网络模型在句子分类中的应用提供了一些好的实践。
2018-10-03 cs.CL
Assessing Composition in Sentence Vector Representations
University of Maryland（马里兰大学）；Institute for Advanced Computer Studies（高级计算机研究所）
实现语言理解的一个重要组成部分是掌握句子含义的组成，但解决这个问题的直接挑战是当前神经句子组成模型产生的句子向量表示的不透明性。我们提出了一种方法来解决这一挑战，开发任务，直接针对组成意义信息的句子向量表示具有高度的精度和控制。为了使这些受控任务的创建，我们引入了一个专门的句子生成系统，产生大的，注释的句子集满足指定的句法，语义和词汇的限制。我们描述的方法和生成系统的细节，然后提出的实验结果，应用我们的方法来探测从一些现有的句子组成模型的嵌入成分信息。我们发现，该方法是能够提取有用的信息，这些模型的不同能力，我们讨论了我们的结果的影响，这些系统的捕获句子信息。我们提供用于这些实验的数据集以及生成系统供公众使用。
2018-09-11 cs.CL
A Survey on Sentence Embedding Models Performance for Patent Analysis
Aalborg University Business School（奥尔堡大学商学院）
专利数据是创新研究的重要知识来源，而专利对之间的技术相似性是专利分析的关键使能指标。最近，研究人员一直在使用基于不同NLP嵌入模型的专利向量空间模型来计算专利对之间的技术相似性，以帮助更好地理解创新，专利景观，技术映射和专利质量评估。通常情况下，文本嵌入是专利分析任务的重要先驱。一个相关的问题随之而来：我们应该如何衡量和评估这些嵌入的准确性？据我们所知，目前还没有一个全面的调查，建立一个清晰的描述嵌入模型的性能计算专利相似性指标。因此，在本研究中，我们根据专利分类性能概述了这些算法的准确性，并提出了一个标准库和数据集，用于评估基于PatentSBERTa方法的嵌入模型的准确性。在详细的讨论中，我们报告了在节，类和子类级别的前3个算法的性能。基于第一个专利权利要求的结果表明，PatentSBERTa，Bert-for-patents和TF-IDF加权词嵌入具有最好的精度计算句子嵌入在子类级别。根据第一个结果，不同类别的模型的性能有所不同，这表明专利分析的研究人员可以利用本研究的结果，选择最合适的模型基于他们使用的专利数据的特定部分。
2022-08-05 cs.CL
Assessing Effectiveness of Using Internal Signals for Check-Worthy Claim Identification in Unlabeled Data for Automated Fact-Checking
University at Buffalo (SUNY)（布法罗大学（纽约州立大学））
虽然最近关于自动事实核查的工作主要侧重于核实和解释索赔，索赔清单随时可用，但从文本中确定值得核查的索赔句子仍然具有挑战性。当前的索赔识别模型依赖于文本中每个句子的手动注释，这是一项昂贵的任务，并且在多个领域中频繁进行具有挑战性。本文探讨了从假新闻文章中识别值得检查的声明句子的方法，无论领域如何，没有明确的注释级别注释。我们利用两个内部监督信号-标题和摘要-根据语义相似度对句子进行排名。我们假设这个排名直接与句子的检查价值相关。为了评估这一假设的有效性，我们建立了管道，利用基于标题或抽象摘要的句子排名。排名靠前的句子用于证据检索的下游事实检查任务和管道的文章准确性预测。我们的研究结果表明，排名前三的句子包含足够的信息，可以对假新闻进行基于证据的事实核查。我们还表明，虽然标题与事实检查网站撰写声明的方式有更多的相似性，但基于摘要的管道对于端到端的事实检查系统来说是最有前途的。
2021-11-02 cs.AI cs.CL cs.IR
A Comprehensive Comparative Study of Word and Sentence Similarity Measures
句子相似度是信息检索、问答和文本摘要等自然语言处理任务的基础。对比文本片段之间的语义是基于词语的语义特征及其相互关系。本文回顾了一组单词和句子相似性度量，并在基准数据集上进行了比较。在所研究的数据集上，结果表明，混合语义度量的性能优于基于知识和语料库的度量。
2016-02-17 cs.CL cs.IR
CMLM-CSE: Based on Conditional MLM Contrastive Learning for Sentence Embeddings
Hangzhou Yizhi Intelligent Technology Co., Ltd.（杭州意智智能科技有限公司）；School of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）
针对传统对比学习句子嵌入忽略句中词汇语义影响的问题，提出基于条件MLM的无监督对比学习框架CMLM-CSE，通过新增辅助网络融合句子嵌入执行MLM任务，在文本相似度任务上性能优于SimCSE。
2023-06-16 cs.AI cs.CL
Comparative analysis of word embeddings in assessing semantic similarity of complex sentences
Lakehead University（湖首大学）
语义文本相似性是自然语言处理领域的一个开放性研究课题。在这一领域已经进行了广泛的研究，最近基于transformer的模型在现有的基准数据集（如STS数据集和SICK数据集）中取得了近乎完美的结果。在本文中，我们研究了这些数据集中的句子，并分析了各种词嵌入相对于句子复杂度的敏感性。我们建立了一个复杂的句子数据集，由50个句子对与15个人类注释器提供的相关语义相似度值。可读性分析是为了突出现有基准数据集和建议数据集中句子复杂度的增加。此外，我们对现有基准数据集和建议数据集上的各种词嵌入和语言模型的性能进行了比较分析。结果表明，句子复杂度的增加对嵌入模型的性能有显着影响，导致Pearson和Spearman相关性降低10-20%。
2021-07-09 cs.CL cs.IR
A Comparative Study on Structural and Semantic Properties of Sentence Embeddings
College of Computing and Informatics Drexel University（德雷塞尔大学计算机与信息学院）；Drexel University（德雷塞尔大学）
句子嵌入将自然语言句子编码为低维稠密向量。大量的努力已经投入到使用句子嵌入来改善几个重要的自然语言处理任务。关系抽取就是这样一种NLP任务，其目的是从非结构化文本中识别知识库中定义的结构化关系。一个有前途的和更有效的方法将是嵌入文本和结构化的知识在低维空间，并发现它们之间的语义对齐或映射。虽然在文献中已经提出了一些技术嵌入句子和知识图谱，很少有人知道这些嵌入空间的结构和语义属性的关系抽取。在本文中，我们调查上述属性评估的程度进行类似的意义上的句子被嵌入在接近的子空间，如果我们可以利用该结构对齐句子的知识图谱。我们提出了一组实验，使用广泛使用的大规模数据集的关系抽取，并专注于一组关键的句子嵌入方法。我们还在https://github.com/akalino/semantic-structural-sentences上提供了复制这些实验的代码。这些嵌入方法涵盖了各种各样的技术，从简单的词嵌入组合到基于transformer的BERT风格模型。我们的实验结果表明，不同的嵌入空间有不同程度的强度的结构和语义属性。这些结果为开发基于嵌入的关系抽取方法提供了有用的信息。
2020-09-23 cs.CL cs.LG
UTNLP at SemEval-2021 Task 5: A Comparative Analysis of Toxic Span Detection using Attention-based, Named Entity Recognition, and Ensemble Models
University of Tehran（德黑兰大学）
检测句子的哪些部分导致了句子的毒性，而不是提供一个令人讨厌的判决，这将增加模型的可解释性，并允许人类主持人更好地理解系统的输出。本文介绍了我们团队的UTNLP方法和SemEval-2021共享任务5中关于有毒跨度检测的结果。我们测试了多个模型和上下文嵌入，并报告了最好的设置。实验从基于关键字的模型开始，然后是基于注意力的，基于命名实体的，基于变换器的和集成模型。我们最好的方法，合奏模型，在比赛的评估阶段达到了0.684的F1。
2021-04-10 cs.CL
Overview of the VLSP 2023 -- ComOM Shared Task: A Data Challenge for Comparative Opinion Mining from Vietnamese Product Reviews
VNU University of Engineering and Technology（越南国家大学工程技术大学）
本文介绍VLSP 2023的ComOM共享任务，旨在推动越南语产品评论比较观点挖掘技术发展，构建了含120篇文档的标注数据集，要求模型提取比较五元组，以宏平均五元组F1值评估参赛模型。
2024-03-04 cs.CL cs.LG
Graded strength of comparative illusions is explained by Bayesian inference
Stanford University（斯坦福大学）
本研究通过贝叶斯噪声信道模型，结合统计语言模型与人类行为数据，定量预测比较错觉的强度梯度，并解释代词与完整名词短语主语差异的新效应。
2026-07-02 cs.CL
Unveiling Comparative Sentiments in Vietnamese Product Reviews: A Sequential Classification Framework
Fulbright University Vietnam（富布赖特越南大学）；Athena Studio；VNG Corporation（VNG公司）
针对越南语产品评论中的比较意见挖掘任务，提出包含比较句识别、比较元素提取和比较类型分类三个序列子任务的框架，在VLSP 2023 ComOM挑战赛中排名第五。
2024-01-02 cs.CL
Comparative Analysis of Contextual Relation Extraction based on Deep Learning Models
Pondicherry University（本地治里大学）
本文针对现有机器学习方法在复杂句子上关系抽取效果不佳的问题，采用混合深度学习模型从多句上下文中有效抽取语义关系，并对多种深度学习模型进行了对比分析。
2023-09-13 cs.AI cs.CL cs.LG
Assessing Social and Intersectional Biases in Contextualized Word Representations
Yale University（耶鲁大学）
机器学习中的社会偏见已经引起了人们的极大关注，工作范围从在众多应用程序中展示偏见，为不同的上下文策划公平的定义，到开发算法来减轻偏见。在自然语言处理中，性别偏见已经被证明存在于上下文无关的词嵌入中。最近，上下文单词表示在几个下游NLP任务中的表现优于词嵌入。这些单词表示取决于它们在句子中的上下文，也可以用于编码整个句子。在本文中，我们分析了在何种程度上的最先进的模型上下文单词表示，如BERT和GPT-2，编码偏见与性别，种族和交叉身份。为此，我们建议在上下文单词水平上评估偏见。这种新颖的方法捕捉上下文无关的词嵌入中的偏差缺失的上下文效应，但避免了混淆效应，低估了偏见在句子编码水平。我们证明了在语料库水平上的偏见的证据，发现不同的证据嵌入关联测试中的偏见，特别是显示，种族偏见是强烈编码的上下文单词模型，并观察到交叉少数民族的偏见影响加剧超越其组成少数民族的身份。此外，在上下文单词水平上评估偏见效应可以捕获在句子水平上无法捕获的偏见，这证实了我们新方法的必要性。
2019-11-04 cs.AI cs.CL cs.CY
LitStoryTeller: An Interactive System for Visual Exploration of Scientific Papers Leveraging Named entities and Comparative Sentences
Drexel University（德雷塞尔大学）
本研究提出了LitStoryTeller，一个交互式系统，用于可视化地探索科学文章的语义结构。我们展示了LitStoryTeller如何用于回答一些最基本的研究问题，例如如何在现有方法的基础上构建新方法，基于什么样的理论证明和实验证据。更重要的是，LitStoryTeller可以帮助用户理解科学论文完整有趣的故事，具有简洁的大纲和重要的细节。该系统借用了电影剧本中的隐喻，通过将科学论文中的人物（科学概念或术语）和场景（段落/句子）安排成一个渐进的、交互式的故事情节，从而将科学论文的故事情节可视化。这样的故事情节有助于保持科学论文的语义结构和逻辑思维过程。使用现有的命名实体识别API和监督分类器从科学论文中自动提取语义结构，例如科学概念和比较句。两个辅助视图，排名实体频率视图和实体共现网络视图，提供帮助用户识别这样的科学故事情节的“主要情节”。当集合文档准备就绪时，LitStoryTeller还为集合消化提供了一个时间实体演化视图和实体社区视图。
2017-09-12 cs.CL cs.DL cs.HC
Assessing and Improving Punctuation Robustness in English-Marathi Machine Translation
Computation for Indian Language Technology (CFILT) Department of Computer Science and Engineering（印度语言技术计算（CFILT）部门计算机科学与工程系）；Indian Institute of Technology Bombay（印度班加罗尔理工学院）
本研究通过英语到马拉雅尔语的翻译任务，评估并改进NMT系统在处理标点歧义时的鲁棒性，提出两种修复策略并发现任务特定方法优于大型语言模型。
2026-02-13 cs.CL
A Comparative Approach to Assessing Linguistic Creativity of Large Language Models and Humans
University of Bucharest（布加勒斯大学）；Interdisciplinary School of Doctoral Studies（跨学科博士研究学校）；University of Craiova（克里奥瓦大学）
本文通过包含构词和隐喻任务的通用测试，比较24名人类与24个LLMs的语言创造力，发现LLMs在原创性、精细度和灵活性上整体占优，但人类更倾向扩展型创造力，LLMs更倾向固定型创造力。
2025-07-17 cs.CL
Whose wife is it anyway? Assessing bias against same-gender relationships in machine translation
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Michigan（密歇根大学）
该研究针对机器翻译系统是否存在对同性关系的偏见问题，利用多种名词性别语言的职业名词模板句测试三款主流服务，发现其同性关系句翻译准确率低且受语境、职业女性占比影响，为NLP系统社会关系内在偏见评估提供案例。
2024-07-12 cs.CL
Assessing the Helpfulness of Learning Materials with Inference-Based Learner-Like Agent
Academia Sinica（中央研究院）；Pennsylvania State University（宾夕法尼亚州立大学）；Tunghai University（东海大学）
许多英语作为第二语言的学习者在使用近义词时有困难（例如，小对小;简短对简短）正确，并经常寻找例句来了解两个几乎同义的术语是如何不同的。先前的工作使用手工制作的分数来推荐句子，但是由于近义词在各种方面不同，因此很难将这样的分数应用于所有的近义词。我们注意到学习材料的有用性会反映学习者的表现。因此，我们提出了基于推理的学习者样代理模仿学习者的行为，并确定良好的学习材料，通过检查代理的性能。为了使代理的行为像一个学习者，我们利用蕴涵建模的能力，从所提供的材料推断答案。实验结果表明，该智能体具有良好的学习者行为，在填空（FITB）和好的例句选择任务中都取得了最佳性能。我们进一步对大学英语学习者进行了课堂用户研究。用户研究结果表明，所提出的代理可以发现例句，帮助学生学习更容易和有效的。与其他模型相比，该智能体在学习后提高了17%以上的学生的成绩。
2020-10-05 cs.CL
Comparative Analysis of Pooling Mechanisms in LLMs: A Sentiment Analysis Perspective
North Carolina State University（北卡罗来纳州立大学）；South China University of Technology（华南理工大学）；Yeshiva University（叶史瓦大学）；Guangxi University（广西大学）
本文从情感分析视角对比了Mean、Max和Weighted Sum等池化机制在BERT和GPT架构上的性能，发现不同机制各有优劣，强调需根据具体应用需求选择池化方法以优化下游任务。
2025-02-01 cs.AI cs.CL
Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings
Rutgers University（罗格斯大学）
虽然词向量表征的重要性质已被广泛研究，但对句子向量表征的性质知之甚少。词向量的评估通常是通过评估它们在词类比中考虑的那种关系方面表现出多大程度的相似性来进行的。在本文中，我们调查在何种程度上常用的句子向量表示空间，以及反映某些类型的语义。我们提出了一些计划，以诱导评估数据，词汇类比数据的基础上，以及句子之间的语义关系。我们的实验考虑了广泛的句子嵌入方法，包括基于BERT风格的上下文嵌入。我们发现，不同的模型有很大的不同，在他们的能力，以反映这种不确定性。
2020-03-09 cs.CL
A Comparative Analysis of Retrieval-Augmented Generation Techniques for Bengali Standard-to-Dialect Machine Translation Using LLMs
Department of Computer Science and Engineering（计算机科学与工程系）；BRAC University（BRAC大学）
本文提出并比较了两种RAG管道，用于孟加拉语标准语到方言的机器翻译，展示了句子对管道在低资源环境下优于转录管道的性能，且小型模型可超越大模型。
2025-12-16 cs.AI cs.CL cs.IR
Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5
Waseda University（早稻田大学）；Center for English Language Education, Faculty of Science and Engineering（科学与工程学院英语教育中心）
本文提出基于 GPT 的 VocaTT 引擎自动生成英语词汇多项选择完形填空题，并通过 60 道学术词题目验证其质量与改进效果。
2024-03-04 cs.CL
Comparative Analysis of OpenAI GPT-4o and DeepSeek R1 for Scientific Text Categorization Using Prompt Engineering
West Virginia State University（西弗吉尼亚州立大学）；Fractal Analytics Inc（分形分析公司）；Marshall University（马歇尔大学）
本研究探讨GPT-4o和DeepSeek R1在科学文本分类中的表现，通过引入新评估方法和多领域清洗数据集，分析两模型分类的有效性与一致性。
2025-03-03 cs.AI cs.CL cs.CV
Assessing incrementality in sequence-to-sequence models
University of Amsterdam（阿姆斯特丹大学）；Universitat Pompeu Fabra（庞培法布拉大学）
编码器-解码器模型自问世以来，已成功地应用于计算语言学中的一系列问题。最近的成功主要是由于使用不同的注意力机制的变化，但他们的认知能力是值得怀疑的。特别是，因为过去的表示可以在任何时间点重新访问，以注意力为中心的方法似乎缺乏激励，以建立增量更多的信息表示传入的句子。这种处理方式与人们认为的人类处理语言的方式形成鲜明对比：不断快速地整合遇到的新信息。在这项工作中，我们提出了三个新的指标来评估有和没有注意力机制的RNN的行为，并确定不同模型类型处理句子的方式的关键差异。
2019-06-07 cs.CL cs.LG
Comparative Analysis of Multilingual Text Classification & Identification through Deep Learning and Embedding Visualization
KIIT Deemed to be University（KIIT 德emed大学）
针对17种语言的文本分类与识别，本文比较LangDetect、LangId、FastText、Sentence Transformer及MLP、LSTM、卷积模型，并结合嵌入可视化，证明FastText在聚类和分类性能上更优。
2023-12-06 cs.CL
Assessing and Refining ChatGPT's Performance in Identifying Targeting and Inappropriate Language: A Comparative Study
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本研究评估并改进了 ChatGPT 在识别在线评论中针对性和不当语言的表现，发现其检测不当内容准确率较高，但针对性语言检测误报率较高，证明了AI辅助内容审核的潜力与改进空间。
2026-10-15 cs.CL
Sentence Similarity Measures for Fine-Grained Estimation of Topical Relevance in Learner Essays
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
我们研究了在学习者作文中评估水平提示关联的任务。使用词重叠，神经嵌入和神经组成模型的各种系统进行评估的两个数据集的学习者写作。我们提出了一种新的词汇级相似度计算方法，该方法学习调整特定任务的预训练词嵌入的权重，与其他相关基线相比，实现了更高的准确性。
2016-06-09 cs.CL cs.LG cs.NE
Assessing System Agreement and Instance Difficulty in the Lexical Sample Tasks of Senseval-2
本文提出了一个比较评价的系统，参加了西班牙语和英语词汇样本任务的Senseval-2。重点是系统之间的成对比较，以评估他们同意的程度，并衡量这些任务中包含的测试实例的难度。
2002-05-27 cs.CL
Learning with fuzzy hypergraphs: a topical approach to query-oriented text summarization
City University of Hong Kong（香港城市大学）
现有的基于图的抽取式文档摘要方法将语料库中的句子表示为图或超图的节点，其中边描述句子之间的词汇相似性关系。当句子表达相似的信息，但共同的词很少，因此在词汇上不相似时，这种方法无法捕捉句子之间的语义相似性。为了克服这个问题，我们建议提取语义相似性的基础上的主题表示的句子。受层次狄利克雷过程的启发，我们提出了一个概率主题模型来推断句子的主题分布。由于每个主题定义了一组句子之间的语义连接，每个句子具有一定程度的隶属关系，我们提出了一个模糊超图模型，其中节点是句子和模糊超边的主题。为了产生一个信息丰富的摘要，我们从语料库中提取一组句子，同时最大限度地提高他们的相关性，用户定义的查询，他们的中心在模糊超图和他们的覆盖面的主题存在于语料库中。我们制定了一个多项式时间算法的理论基础上的次模函数来解决相关的优化问题。与其他基于图的摘要系统进行了深入的比较分析。我们得到的结果表明，我们的方法在内容覆盖的摘要方面的优越性。
2019-06-22 cs.AI cs.CL
Implementing Long Text Style Transfer with LLMs through Dual-Layered Sentence and Paragraph Structure Extraction and Mapping
School of Computer Science, Peking University（北京大学计算机学院）
本文提出 ZeroStylus 分层框架，通过句子与段落模板提取及多粒度匹配，在零样本、不微调条件下提升长文本风格迁移的连贯性与内容保留。
2025-05-11 cs.AI cs.CL
Dynamic Self-Attention : Computing Attention over Words Dynamically for Sentence Embedding
Korea University（高丽大学）
本文提出了一种新的句子嵌入的自注意机制动态自注意（DSA）。我们通过修改胶囊网络中的动态路由来设计DSA（Sabouretal.，2017）用于自然语言处理。DSA采用动态权向量处理信息词。我们在斯坦福自然语言推理（SNLI）数据集上以最少的参数实现了句子编码方法之间的新的最先进的结果，同时在斯坦福情感树库（SST）数据集上显示了比较结果。
2018-08-22 cs.CL cs.LG stat.ML
Sentence Punctuation for Collaborative Commentary Generation in Esports Live-Streaming
University of Tsukuba（筑波大学）；University of British Columbia（不列颠哥伦比亚大学）；Ritsumeikan University（立命馆大学）
针对电竞直播中协同解说生成存在的句子标点问题，提出了两种游戏解说文本序列的句子标点策略，即用两个或三个由Youtube标注的文本序列对句子进行标点，得到一个完整的解说句子。我们进行了比较实验，利用和微调两种策略和基线之间的最先进的预训练生成语言模型，以生成协作评论。通过自动度量和主观分析的客观评估表明，我们的策略，标点句子由两个文本序列优于基线。
2021-10-24 cs.CL cs.MM
Comparative Analysis of Machine Learning and Deep Learning Algorithms for Detection of Online Hate Speech
Delhi Technological University（德里理工大学）
在社交媒体时代，用户很容易在网上发表仇恨言论。已经进行了几次尝试来使用机器学习对仇恨言论进行分类，但是最先进的模型对于实际应用来说不够鲁棒。这归功于原始NLP特征工程技术的使用。在本文中，我们探讨了各种特征工程技术，从不同的嵌入到传统的NLP算法。我们还尝试了不同功能的组合。从我们的实验中，我们意识到，roBERTa（鲁棒优化的BERT方法）基于句子嵌入分类使用决策树给出了0.9998 F1得分的最佳结果。在我们的论文中，我们得出结论，BERT为基础的嵌入给这个问题的最有用的功能，并有能力成为一个实用的鲁棒模型。
2021-04-23 cs.AI cs.CL
Effective Parallel Corpus Mining using Bilingual Sentence Embeddings
Google AI（谷歌人工智能）；Carnegie Mellon University（卡内基梅隆大学）
提出了一种基于双语句子嵌入的并行语料挖掘方法。我们的嵌入模型经过训练，专门为相互翻译的双语句子对生成类似的表示。这是使用一种新的训练方法来实现的，该方法引入了由不是翻译但具有一定程度语义相似性的句子组成的硬否定。通过并行语料库重建和评估在黄金句子对与挖掘句子对上训练的机器翻译系统来评估所得到的嵌入的质量。我们发现，句子嵌入可以用来重建联合国平行语料库在句子层面上的准确率为48.9%的en-fr和54.9%的en-es。当适应文档级匹配时，我们实现了与[Jakob 2010]的计算密集型方法相当的并行文档匹配精度。使用重建的并行数据，我们能够训练NMT模型，这些模型的性能几乎与在原始数据上训练的模型一样好（在1-2 BLEU内）。
2018-08-02 cs.CL
Sentiment analysis in Tourism: Fine-tuning BERT or sentence embeddings concatenation?
LASTIMI Laboratory, EST Salé（LASTIMI实验室，萨累高等技术学院）；Mohammed V University in Rabat（拉巴特穆罕默德五世大学）
该研究针对摩洛哥购物场所情感分析任务，对比了微调BERT与拼接两种句子嵌入提升堆叠BiLSTM-BiGRU模型性能的方法，还开展了最优学习率搜索及不同嵌入组合的最优优化器对比。
2023-12-12 cs.AI cs.CL
Assessing the Reliability of Large Language Models for Deductive Qualitative Coding: A Comparative Study of ChatGPT Interventions
School of Information, University of Texas, Austin（信息学院，德克萨斯大学奥斯汀分校）
本研究比较了ChatGPT在演绎式定性编码中的四种干预策略，发现Step-by-Step Task Decomposition策略可靠性最强，证明定制化干预可使LLMs达到严格定性编码工作流程的要求。
2025-07-18 cs.CL cs.HC
Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
本文提出将可逆神经网络与Transformer语言自编码器结合，实现更通用的句子语义解耦，从而提升语言可解释性与可控生成能力。
2024-06-11 cs.AI cs.CL
Context-Preserving Text Simplification
University of St.Gallen（圣加仑大学）；University of Passau（帕绍大学）；University of Manchester（曼彻斯特大学）
我们提出了一个上下文保持文本简化（TS）的方法，递归地分裂和重组复杂的英语句子简化句子的语义层次结构。使用一组语言学原则的转换模式，输入的句子被转换成一个层次表示的核心句子和伴随的上下文，通过修辞关系连接的形式。因此，相对于以前提出的句子分割方法，通常不考虑话语层面的方面，我们的TS方法保留了输出中的分解成分的语义关系。与RST-DT中包含的注释的比较分析表明，我们能够以89%的精度捕获分裂句子之间的上下文层次结构，并且对于它们之间的修辞关系的分类，平均精度达到69%。
2021-05-24 cs.CL
A Comparative Investigation of Compositional Syntax and Semantics in DALL-E 2
University of Texas Health Science Center at Houston（休斯顿德克萨斯大学健康科学中心）；Smith College（史密斯学院）
本研究比较DALL-E 2与2-7岁儿童在理解测试中的语义表现，发现DALL-E 2在所有条件下均未达到儿童水平，尤其在可逆句、否定、形容词归属和被动句上失败，表明其缺乏组合性句子表征。
2024-03-18 cs.CL
Detecting PTSD in Clinical Interviews: A Comparative Analysis of NLP Methods and Large Language Models
University of Washington（华盛顿大学）
本研究比较了NLP方法和大语言模型在临床访谈中检测PTSD的效果，发现领域特定模型和嵌入方法表现最佳，强调了领域适应技术在PTSD筛查中的潜力。
2026-01-06 cs.AI cs.CL cs.LG
A Comparative Evaluation of Embeddings and LLMs in a Greek Book Publisher Setting - The CUP Dataset
ICS-FORTH（希腊计算机科学与技术研究所）；Crete University Press（克里特大学出版社）
该研究提出希腊图书检索基准CUP数据集，评估稀疏、密集、混合及大语言模型辅助的检索方法，发现多语言嵌入优于希腊特定模型，混合检索最佳，还分析了不同方法在各类查询中的表现及大语言模型相关技术的效果。
2026-07-24 cs.AI cs.CL
Query-oriented text summarization based on hypergraph transversals
City University of Hong Kong（香港城市大学）
现有的基于图和超图的文档摘要算法将语料库中的句子表示为图或超图的节点，其中边表示句子之间的词汇相似性关系。然后，使用流行的节点排名算法对语料库的每个句子进行单独评分，并通过提取高分句子来生成摘要。这种方法无法选择一个子集的共同相关的句子，它可能会产生冗余的摘要，错过了重要的主题的语料库。为了解决这个问题，本文提出了一种新的基于超图的摘要器，其中每个节点是一个句子，每个超边是一个主题，即一组共享一个主题的句子。根据主题在语料库中的突出性及其与用户定义的查询的相关性对主题进行加权。它进一步表明，识别一个子集的句子覆盖语料库的相关主题的问题是等价的，找到一个超图横在我们的主题为基础的超图。本文对超图断面的概念作了两种推广，并提出了基于次模函数理论的多项式时间算法来求解相关的离散优化问题.所提出的算法的最坏情况下的时间复杂度的平方的条款，这使得它比现有的超图为基础的方法更便宜。与DUC基准数据集上的相关模型进行了全面的比较分析，证明了我们的方法的有效性，其性能优于现有的基于图或超图的方法至少6%的ROUGE-SU 4得分。
2019-02-02 cs.AI cs.CL
Evaluating semantic models with word-sentence relatedness
The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
语义文本相似度（STS）系统被设计用于编码和评估单词、短语、句子和文档之间的语义相似度。评估这些系统中编码的语义信息的质量或真实性的一种方法是与人类判断进行比较。开发了一个用于评估语义模型的数据集，由775个英语单词-句子对组成，每个单词-句子对由参与最大差异缩放（MDS）任务的人类评分员注释语义相关性，以及更快的替代任务。作为这种相关性数据的一个示例应用，将基于行为的相关性与通过四种现成的STS模型计算的相关性进行了比较：n-gram，潜在语义分析（LSA），Word 2 Vec和UMBC Ebiquity。一些STS模型捕捉到了收集到的人类判断中的大部分差异，但它们对参与者处理和考虑的含义和蕴涵并不敏感。所有的文本刺激和判断数据都是免费提供的。
2017-01-03 cs.CL
What do you mean, BERT? Assessing BERT as a Distributional Semantics Model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Utrecht University（乌得勒支大学）
语境化的词嵌入，即词在语境中的向量表示，自然被看作是以前的非语境分布语义模型的扩展。在这项工作中，我们专注于BERT，一个深度神经网络，产生语境化的嵌入，并设置了最先进的几个语义任务，并研究其嵌入空间的语义一致性。虽然表现出一致性的趋势，但BERT并不完全符合语义向量空间的自然期望。特别是，我们发现，一个词出现的句子的位置，而没有意义的相关性，留下了显着的痕迹上的词嵌入和干扰相似性关系。
2020-05-08 cs.CL
What Makes Sentences Semantically Related: A Textual Relatedness Dataset and Empirical Study
Institute for Better Health（健康改善研究所）；University of Toronto（多伦多大学）；National Research Council Canada（加拿大国家研究委员会）
两个语言单位的语义相关程度一直被认为是理解意义的基础。此外，自动确定相关性具有许多应用，例如问答和摘要。然而，由于缺乏相关性数据集，以前的NLP工作主要集中在语义相似性上，这是相关性的一个子集。在本文中，我们介绍了一个语义文本相关性数据集STR-2022，该数据集使用比较注释框架手动注释了5，500个英语句子对，从而得到细粒度的分数。我们表明，人类的直觉，句子对的相关性是高度可靠的，重复注释的相关性为0.84。我们使用数据集来探索是什么使句子语义相关的问题。我们还展示了STR-2022用于评估句子表示的自动方法和各种下游NLP任务的实用性。我们的数据集、数据声明和注释问卷可以在以下网站找到：https://doi.org/10.5281/zenodo.7599667
2023-03-20 cs.CL
