Text Simplification with Sentence Embeddings
Manchester Metropolitan University(曼彻斯特 Metropolitan 大学)
本研究探索句子嵌入在文本简化中的应用,用小型前馈神经网络学习高低复杂度文本的句子嵌入转换,在小样本设置下效果可比Seq2Seq和LLM方法,还可跨数据集和跨语言应用,为轻量化文本简化模型提供新方向。
2025-10-28 cs.CL
Operation-Guided Progressive Human-to-AI Text Transformation Benchmark for Multi-Granularity AI-Text Detection
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·泽亚德人工智能大学);University College London(伦敦大学学院)
提出OpAI-Bench基准,通过九种渐进修订版本和五种AI编辑操作,模拟人机协作编辑过程,支持文档、句子、词元和跨度多粒度检测,揭示AI文本可检测性受编辑操作、领域和累积修订历史影响,并发现混合作者中间版本比纯人类或纯AI端点更难检测。
2026-06-04 cs.AI cs.CL cs.LG
Convolutional Lie Operator for Sentence Classification
本文提出基于李卷积的句子分类模型,通过捕捉复杂非欧几里得对称性提升分类准确率。
2025-12-18 cs.CL
Embedding Arithmetic of Multimodal Queries for Image Retrieval
Meta AI;Sorbonne Université(索邦大学);Valeo(法雷奥)
潜在文本表征表现出几何相似性,例如著名的类比:女王之于国王,就像女人之于男人。最近的作品旨在弥合这一语义差距嵌入图像和文本到一个多模态空间,使文本定义的转换到图像模态。我们引入SIMAT数据集来评估多模态查询的图像检索任务。SIMAT包含6 k图像和18 k文本转换查询,旨在替换场景元素或更改场景元素之间的成对关系。目标是检索与(源图像,文本转换)查询一致的图像。我们使用一个图像/文本匹配oracle(OSCAR)来评估图像转换是否成功。SIMAT数据集将向公众开放。我们使用SIMAT来评估使用图像/文本匹配目标(如CLIP)训练的多模态嵌入空间的几何属性。我们表明,香草CLIP嵌入不是很适合用delta向量变换图像,但对COCO数据集进行简单的微调可以带来显着的改善。我们还研究了利用预训练的通用句子编码器(FastText,LASER和LaBSE)是否有益。
2022-10-20 cs.CL cs.CV
Context-Aware Cross-Lingual Mapping
The George Washington University(乔治·华盛顿大学);AWS, Amazon AI(亚马逊云服务,亚马逊人工智能(AWS, Amazon AI))
跨语言词向量通常通过拟合将双语词典的条目从源向量空间映射到目标向量空间的正交矩阵来获得。然而,词向量最常用于句子或文档级表示,这些表示被计算为词嵌入的加权平均值。在本文中,我们提出了一种替代词级映射,更好地反映了词典级跨语言的相似性。我们通过直接映射平行语料库中对齐句子的平均嵌入来将上下文纳入转换矩阵。我们还实现了跨语言映射的深度上下文词嵌入使用平行的句子与词对齐。在我们的实验中,这两种方法导致跨语言的句子嵌入,优于上下文无关的词映射在句子翻译检索。此外,词级转换可以用于词级映射,而不会损失词翻译质量。
2019-03-31 cs.CL
Cross-Dialect Sentence Transformation: A Comparative Analysis of Language Models for Adapting Sentences to British English
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
本研究比较了不同语言模型将美式、印度和爱尔兰英语方言转换为英式英语的能力,发现印度和爱尔兰英语翻译与英式英语相似度较高,而美式英语略低;Llama-2-70b表现最佳,强调了模型选择对翻译质量的关键作用。
2023-11-05 cs.AI cs.CL
A Content-Preserving Secure Linguistic Steganography
CLstega通过可控分布转换实现内容保持的安全语言隐写术,有效提升隐写通信的安全性和嵌入容量。
2025-12-07 cs.CL cs.CR
Linear Transformations for Cross-lingual Semantic Textual Similarity
NTIS – New Technologies for the Information Society(NTIS——信息社会新技术);Faculty of Applied Sciences, University of West Bohemia(西波希米亚大学应用科学学院)
跨语言语义文本相似度系统估计两个句子之间的意义相似度,每个句子都是不同的语言。最先进的算法通常采用机器翻译并结合大量的特征,使得该方法具有强监督性,资源丰富,并且难以用于资源贫乏的语言。在本文中,我们研究的线性变换,这项目单语语义空间到一个共享的空间,使用双语词典。我们提出了一种新颖的转换,它建立在以前作品的最佳想法的基础上。我们的实验与无监督技术的句子相似性的基础上,只有语义空间,我们表明,他们可以显着提高字加权。我们的转换优于其他方法,并且与单词加权一起在不同语言的多个数据集上产生了非常有希望的结果。
2018-07-11 cs.CL
Charagram: Embedding Words and Sentences via Character n-grams
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
我们提出了Charagram嵌入,一个简单的方法学习基于字符的组成模型嵌入文本序列。一个单词或句子使用字符n-gram计数向量表示,然后进行单个非线性变换以产生低维嵌入。我们使用三个任务进行评估:单词相似性,句子相似性和词性标记。我们证明了Charagram嵌入优于基于字符级递归和卷积神经网络的更复杂的架构,在几个相似性任务上实现了新的最先进的性能。
2016-07-10 cs.CL
ESCL: Equivariant Self-Contrastive Learning for Sentence Representations
China Mobile Research(中国移动研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
以往的句子表征对比学习方法往往只关注产生正对的不敏感变换,而忽略了对语义表征有害的敏感变换的作用。因此,我们提出了一个等变自对比学习(ESCL)方法,充分利用敏感的转换,这鼓励学习表示是敏感的某些类型的转换与额外的等变学习任务。同时,为了提高算法的实用性和通用性,ESCL从多任务学习的角度出发,简化了传统等变对比方法的实现,实现了模型参数的共享。我们评估我们的ESCL语义文本相似性任务。该方法取得了更好的效果,同时使用更少的学习参数相比,以前的方法。
2023-03-09 cs.CL cs.LG
Learning Probabilistic Sentence Representations from Paraphrases
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
概率词嵌入在捕捉概括性和蕴涵概念方面表现出了有效性,但对句子进行类似类型的研究的工作很少。在本文中,我们定义概率模型,产生分布的句子。我们表现最好的模型将每个单词视为应用于多元高斯分布的线性变换算子。我们训练我们的模型的释义,并证明他们自然捕捉句子的特异性。虽然我们提出的模型总体上实现了最佳性能,但我们还表明,通过句子向量的范数,特异性由更简单的架构表示。定性分析表明,我们的概率模型捕捉到了语义蕴涵,并提供了分析单个词的特异性和精确性的方法。
2020-05-16 cs.CL
Towards Controlled Transformation of Sentiment in Sentences
Maastricht University(马斯特里赫特大学)
开发许多自然语言处理产品的一个障碍是获得满意结果所需的大量训练样本。生成这些示例通常是一项繁琐且耗时的任务。本文提出了一种转换句子情感的方法,以减少生成更多训练数据的工作量。这意味着一个句子可以转换为一个相反的情感句子,并且应该减少一半的文本生成所需的工作。建议的管道包括一个情感分类器与注意力机制,以突出的短句,确定一个句子的情感。然后,使用基线模型和自动编码器方法将这些短语更改为相反情感的短语。实验运行在管道的单独部分以及端到端模型上。情感分类器的准确性进行了测试,并发现执行充分。测试自动编码器如何改变编码短语的情感,发现这样的任务是可能的。我们使用人工评估来判断完整(端到端)流水线的性能,这表明使用词向量的模型优于编码器模型。数值评估显示,情感变化的成功率为54.7%。
2019-01-31 cs.AI cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California(南加州大学);Tencent AI Lab, Seattle(腾讯人工智能实验室(西雅图))
本研究针对句子嵌入组合语义可解释性不足的问题,提出支持嵌入空间组合操作的InterSent框架,通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入,在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
Efficient comparison of sentence embeddings
Ionian University(伊奥尼亚大学);University of the Aegean(爱琴海大学)
自然语言处理(NLP)领域在过去几年中有了很大的发展,并从单词和句子嵌入的最新发展中受益匪浅。这样的嵌入可以将复杂的NLP任务(如语义相似性或问题和提问(Q&A))转换为更简单的向量比较。然而,这样的问题转换提出了新的挑战,如嵌入的有效比较及其操作。在这项工作中,我们将讨论各种单词和句子嵌入算法,我们将选择句子嵌入算法,BERT,作为我们的选择算法,我们将评估两种向量比较方法,FAISS和Elasticsearch,在句子嵌入的特定问题中的性能。根据结果,当在只有一个节点的集中式环境中使用时,FAISS的性能优于Elasticsearch,特别是当包含大数据集时。
2022-04-18 cs.CL cs.LG
Transformation Networks for Target-Oriented Sentiment Classification
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
面向目标的情感分类旨在对句子中各个观点目标的情感极性进行分类。带有注意力的RNN似乎很适合这个任务的特点,并且确实达到了最先进的性能。在重新审视注意力机制的缺陷以及阻碍CNN在此分类任务中表现良好的障碍之后,我们提出了一种新的模型来克服这些问题。我们的模型采用CNN层来从双向RNN层产生的转换后的单词表示中提取显著特征,而不是注意力。在这两层之间,我们提出了一个组件来生成句子中单词的目标特定表示,同时结合了一种机制来保留RNN层的原始上下文信息。实验表明,我们的模型在一些基准测试中达到了新的最先进的性能。
2018-05-03 cs.CL
Universal Model for Paraphrasing -- Using Transformation Based on a Defined Criteria --
本文描述了一个通用的模型,根据定义的标准转换的释义。我们表明,通过使用不同的标准,我们可以构建不同类型的释义系统,包括一个回答问题,一个压缩句子,一个抛光,一个书面语言转换为口语。
2001-12-05 cs.CL
STRASS: A Light and Effective Method for Extractive Summarization Based on Sentence Embeddings
EURA NOVA
本文介绍了STRASS:通过变换选择和评分进行的摘要。它是一种利用现有句子嵌入空间中的语义信息的提取文本摘要方法。我们的方法通过选择具有与文档嵌入最接近的嵌入的句子来创建提取摘要。该模型学习文档嵌入的变换,以最小化提取摘要和地面实况摘要之间的相似性。由于转换仅由密集层组成,因此可以在CPU上进行训练,因此成本低廉。此外,推理时间短,根据句子的数量线性。作为第二个贡献,我们介绍了法国CASS数据集,由法国最高上诉法院的判决及其相应的摘要。在这个数据集上,我们的结果表明,我们的方法与最先进的提取方法具有相似的性能,并且具有有效的训练和推断时间。
2019-07-16 cs.CL cs.IR cs.LG
Transforming Complex Sentences into a Semantic Hierarchy
University of St.Gallen(圣加仑大学);University of Passau(帕绍大学);University of Manchester(曼彻斯特大学)
我们提出了一种方法,递归地分裂和改写复杂的英语句子成一个新的语义层次结构的简化句子,他们每个人都提出了一个更规则的结构,可以促进各种各样的人工智能任务,如机器翻译(MT)或信息抽取(IE)。使用一组手工制作的转换规则,输入的句子被递归地转换成一个两层的分层表示的形式的核心句子和伴随的上下文,通过修辞关系连接。通过这种方式,分解成分的语义关系保留在输出中,保持其对下游应用程序的可解释性。通过对两个不同领域的三个数据集进行全面的人工分析和自动评估,表明所提出的句法简化方法在结构化文本简化方面优于现有技术。此外,外部评估表明,当应用我们的框架作为预处理步骤时,最先进的Open IE系统的性能可以提高高达346%的精度和52%的召回率。为了实现可重复的研究,所有代码都在线提供。
2019-06-03 cs.CL
GenEOL: Harnessing the Generative Power of LLMs for Training-Free Sentence Embeddings
Duke University(杜克大学)
针对免训练句嵌入忽视LLM生成能力的问题,提出GenEOL方法,通过生成句子的语义保留变换并聚合其嵌入,在STS基准上平均提升2.85个百分点,在MTEB任务中表现优异且鲁棒性强。
2025-02-09 cs.AI cs.CL
Bilingual Dictionary Based Neural Machine Translation without Using Parallel Sentences
Soochow University(苏州大学);Alibaba DAMO Academy(阿里巴巴达摩院);Westlake University(西湖大学)
在本文中,我们提出了一个新的任务机器翻译(MT),这是基于没有平行的句子,但可以参考地面真理双语词典。受单语者通过查找双语词典学习翻译的能力的启发,我们提出了一个任务,看看有多大的潜力,MT系统可以实现使用双语词典和大规模单语语料库,而独立于平行句子。我们建议锚定训练(AT)来解决这个问题。AT使用双语词典来建立锚点,以缩小源语言和目标语言之间的差距。在不同语言对上的实验表明,我们的方法明显优于各种基线,包括基于词典的逐字翻译,词典监督的跨语言词嵌入转换和无监督的MT。在无监督MT很难表现良好的远距离语言对上,AT表现得更好,达到了与在超过400万个并行句子上训练的有监督SMT相当的性能。
2020-07-06 cs.CL
Learning Bilingual Sentence Embeddings via Autoencoding and Computing Similarities with a Multilayer Perceptron
RWTH Aachen University(亚琛工业大学);eBay, Inc.(易趣公司)
我们提出了一种新的模型架构和训练算法,从并行和单语数据的组合中学习双语句子嵌入。我们的方法连接了自动编码和神经机器翻译,以迫使源和目标句子嵌入共享相同的空间,而无需枢轴语言或额外的转换。我们在句子嵌入的基础上训练一个多层感知器,从非并行或有噪声的并行数据中提取好的双语句子对。我们的方法在句子对齐恢复和WMT 2018并行语料库过滤任务上表现出良好的性能,只有一个模型。
2019-06-05 cs.CL cs.LG
Automatic question generation based on sentence structure analysis using machine learning approach
Kempelen Institute of Intelligent Technologies(肯佩伦智能技术研究所)
问句自动生成是自然语言处理最具挑战性的任务之一。它需要“双向”语言处理:首先,系统必须理解输入文本(自然语言理解),然后必须以文本的形式生成问题(自然语言生成)。在这篇文章中,我们介绍了我们的框架,从非结构化的文本在英语中生成的事实问题。它将基于句型的传统语言学方法与几种机器学习方法相结合。我们首先从输入文本中获取词汇、句法和语义信息,然后为每个句子构建一个层次模式集。从模式中提取特征集,然后将其用于自动学习新的转换规则。我们的学习过程完全是数据驱动的,因为转换规则是从一组初始的问题对中获得的。这种方法的优点在于新的转换规则的简单扩展,这使得我们能够生成各种类型的问题,并且还可以通过强化学习来不断改进系统。该框架还包括一个问题评估模块,用于评估生成的问题的质量。它作为一个过滤器,用于选择最好的问题,并消除不正确的或重复的问题。我们已经进行了几个实验,以评估生成的问题的正确性,我们还比较了我们的系统与几个国家的最先进的系统。我们的研究结果表明,生成的问题的质量优于最先进的系统,我们的问题也可以与人类创建的问题相媲美。我们还创建并发布了一个包含所有创建的数据集和评估问题的界面,因此可以跟进我们的工作。
2022-05-25 cs.AI cs.CL
A Simple Geometric Method for Cross-Lingual Linguistic Transformations with Pre-trained Autoencoders
Chatlayer.ai by Sinch(Sinch旗下Chatlayer.ai);Sinch;Ghent University - Imec(根特大学 - imec)
为多种语言训练的强大句子编码器正在崛起。这些系统能够将广泛的语言属性嵌入到向量表示中。虽然显式探测任务可以用来验证特定语言属性的存在,但目前还不清楚是否可以操纵向量表示来间接引导这些属性。为了有效的学习,我们研究了在嵌入空间中使用几何映射来转换语言属性,而无需对预训练的句子编码器或解码器进行任何调整。我们使用预训练的多语言自动编码器在三个语言属性上验证了我们的方法,并在单语和跨语言设置中分析了结果。
2021-09-21 cs.CL cs.LG
Neural Syntactic Preordering for Controlled Paraphrase Generation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
对自然语言句子进行释义是一个多方面的过程:它可能涉及替换单个单词或短语,局部重新排列内容,或高层次的重组,如主题化或被动化。过去的方法很难以一种可解释的方式来覆盖这个释义可能性的空间。我们的工作受到机器翻译中的预排序文献的启发,使用句法转换来柔和地“重新排序”源句子并指导我们的神经释义模型。首先,给定一个输入句子,我们使用编码器-解码器模型推导出一组可行的句法重排。该模型在句子的部分词汇,部分句法视图上操作,并且可以重新排序大块。接下来,我们使用每个建议的重排来产生一个位置嵌入序列,这鼓励我们最终的编码器-解码器释义模型以特定的顺序处理源单词。我们的评估,自动和人类,表明该系统保留了基线方法的质量,同时大大增加了所生成的释义的多样性
2020-05-05 cs.CL
Mechanistic Decomposition of Sentence Representations
针对句子嵌入内部结构不可解释的问题,本文提出基于token级字典学习的机制性分解方法,以揭示池化过程及嵌入中的语义、句法潜在特征。
2025-06-10 cs.AI cs.CL
Sentence Smith: Controllable Edits for Evaluating Text Embeddings
University of Zurich(苏黎世大学)
Sentence Smith通过可控编辑生成文本,用于评估文本嵌入模型的细粒度性能。
2025-11-24 cs.CL
Offline bilingual word vectors, orthogonal transformations and the inverted softmax
babylon health(巴比伦健康)
通常双语词向量是“在线”训练的。Mikolov等人表明,它们也可以“离线”找到,即使用从专家知识编译的字典,将两个预先训练的嵌入与线性变换对齐。本文证明了两个空间之间的线性变换是正交的。这种变换可以使用奇异值分解来获得。我们引入了一种新的“倒置softmax”用于识别翻译对,我们将Mikolov原始映射的精度从34%提高到43%,当将由常见和罕见的英语单词组成的测试集翻译成意大利语时。正交变换对噪声具有更强的鲁棒性,使我们能够在没有专家双语信号的情况下通过从两种语言中出现的相同字符串构建“伪字典”来学习变换,在相同的测试集上实现40%的精度。最后,我们扩展了我们的方法,从200k意大利语句子的语料库中检索英语句子的真实翻译,精度为68%。
2017-02-13 cs.AI cs.CL cs.IR
MORPHOGEN: A Multilingual Benchmark for Evaluating Gender-Aware Morphological Generation
SBILab, Indraprastha Institute of Information Technology Delhi(SBILab,印度理工学院信息技术研究所德里)
MORPHOGEN通过构建三门语法有性语言的合成数据集,评估15种多语言大模型在性别意识形态生成任务中的表现,揭示当前模型在处理形态性别时的不足。
2026-04-20 cs.AI cs.CL cs.LG
Focused Contrastive Training for Test-based Constituency Analysis
Digital Philology(数字语文学);Research Group Data Mining and Machine Learning(数据挖掘与机器学习研究组);University of Vienna, Austria(奥地利维也纳大学)
我们提出了一个计划,自我训练的语法模型选区分析的语言测试的基础上。预训练的语言模型通过对来自语料库的语法句子和被句法测试扰动的不语法句子的对比估计来微调,句法测试是由选区理论激发的转换。我们表明,一致的收益可以实现,如果只选择某些积极的情况下进行训练,这取决于他们是否可能是一个测试转换的结果。这样,肯定和否定呈现出类似的特征,这使得目标对于语言模型更具挑战性,并且还允许指示测试应用在句子中的位置的附加标记。
2021-09-30 cs.AI cs.CL cs.LG
Story Realization: Expanding Plot Events into Sentences
Georgia Institute of Technology(佐治亚理工学院)
基于神经网络的自动故事情节生成方法尝试学习如何从自然语言情节摘要的语料库生成新颖的情节。先前的工作已经表明,被称为事件的句子的语义抽象改进了神经情节生成,并且允许将问题分解为:(1)事件序列的生成(事件到事件)和(2)将这些事件转换为自然语言句子(事件到句子)。然而,典型的神经语言生成方法的事件到句子可以忽略事件的细节,并产生语法正确,但语义无关的句子。我们提出了一个基于集合的模型,生成由事件引导的自然语言。我们提供了一个完整的端到端自动故事生成系统的结果--包括人类受试者的研究--表明我们的方法比基线方法生成更连贯和合理的故事。
2019-11-21 cs.AI cs.CL cs.LG
Style Transfer Through Back-Translation
Carnegie Mellon University(卡内基梅隆大学)
风格转换是指在不改变上下文意图或影响的情况下,对文本进行重新措辞,以包含特定的风格属性。本文介绍了一种新的风格自动转换方法。我们首先学习输入句子的潜在表示,该表示基于语言翻译模型,以便在减少文体属性的同时更好地保留句子的含义。然后使用对抗生成技术使输出与期望的风格相匹配。我们评估这种技术上的三种不同的风格转换:情绪,性别和政治倾向。两个国家的最先进的风格迁移建模技术相比,我们表现出改进的风格迁移的自动评估和手动评估的意义保存和流畅性。
2018-05-24 cs.CL
Leveraging Sentence-oriented Augmentation and Transformer-Based Architecture for Vietnamese-Bahnaric Translation
本文提出基于句子增强和Transformer架构的方法,解决巴拿语翻译中的资源限制问题,提升翻译准确性和可及性。
2026-01-27 cs.CL
Improving Question Generation With to the Point Context
The Chinese University of Hong Kong(香港中文大学);Alibaba DAMO Academy(阿里巴巴达摩院)
问题生成(Question generation,QG)是从参考句子和句子中指定的答案生成问题的任务。QG的一个主要挑战是识别与答案相关的上下文词,以完成陈述句到疑问句的转换。现有的序列到序列神经模型通过基于邻近度的答案位置编码来实现这一目标,直觉是答案的相邻单词具有很高的可能性是答案相关的。然而,这种直觉可能并不适用于所有情况,特别是对于具有复杂答案相关关系的句子。因此,当答案片段与也出现在地面事实问题中的其他非停止句单词之间的相对距离增加时,这些模型的性能急剧下降。为了解决这个问题,我们提出了一种方法来联合建模非结构化句子和结构化答案相关关系(提前从句子中提取)以生成问题。具体地说,结构化的答案相关关系充当到点的上下文,因此它自然有助于保持生成的问题的点,而非结构化的句子提供了完整的信息。大量的实验表明,到点上下文帮助我们的问题生成模型实现了几个自动评估指标的显着改善。此外,我们的模型是能够产生不同的问题,一个句子,它传达了多种关系的答案片段。
2019-10-24 cs.CL cs.LG
A Question-Focused Multi-Factor Attention Network for Question Answering
Department of Computer Science(计算机科学系);National University of Singapore(新加坡国立大学)
最近提出的用于问答(QA)的神经网络模型主要集中在捕获问题-问题关系。然而,他们有最小的能力来链接分布在多个句子中的相关事实,这对于实现更深层次的理解至关重要,例如执行多句推理,共指解析等,他们也没有明确地关注问答类型,而问答类型通常在QA中起着关键作用。在本文中,我们提出了一种新的端到端的问题为重点的多因素注意力网络的答案提取。使用基于张量的变换的多因素注意编码聚合有意义的事实,即使它们位于多个句子中。为了隐式地推断答案类型,我们还提出了一种最大注意力问题聚合机制,根据问题中的重要词来编码问题向量。在预测过程中,我们将序列级编码的第一个wh-word及其紧接着的字作为一个额外的来源的问题类型的信息。我们提出的模型在三个大规模具有挑战性的QA数据集(即NewsQA,TriviaQA和SearchQA)上取得了显着的改进。
2018-01-25 cs.CL
Robust Cross-lingual Embeddings from Parallel Sentences
University of Waterloo(滑铁卢大学);EPFL(洛桑联邦理工学院)
跨语言词嵌入的最新进展主要依赖于基于映射的方法,该方法通过线性变换将来自不同语言的预训练词嵌入投射到共享空间中。然而,这些方法假设词嵌入空间在不同语言之间是同构的,这已经被证明在实践中不成立(Søgaard等人,2018年),并从根本上限制了他们的表现。这促使研究联合学习方法,可以克服这一障碍,通过训练目标中的跨语言术语同时学习跨语言嵌入。我们提出了一个双语扩展的CBOW方法,利用双语对齐语料库,以获得强大的跨语言的单词和句子表示。我们的方法显着提高了跨语言的句子检索性能比所有其他方法,同时保持与当前国家的最先进的方法对单词翻译的奇偶校验。它还在zero-shot跨语言文档分类任务上实现了与深度RNN方法的对等,需要更少的计算资源进行训练和推理。作为一个额外的优势,我们的双语方法导致一个更显着的改善单语词向量的质量相比,其他竞争的方法。
2020-05-01 cs.CL cs.IR cs.LG
Discourse-Aware Text Simplification: From Complex Sentences to Linked Propositions
University of St.Gallen(圣加仑大学);Idiap Research Institute(Idiap研究所);University of Manchester(曼彻斯特大学);University of Passau(帕绍大学)
针对现有句法文本简化方法保守且忽略文本衔接的问题,提出一种话语感知的TS方法,通过从句和短语解嵌机制将复杂句子拆分为最小语义单元,并利用层次结构和语义关系保留上下文,生成简化的语义层次表示。
2023-08-01 cs.AI cs.CL
Text classification with pixel embedding
Southwestern University of Finance and Economics(西南财经大学);The University of Hong Kong(香港大学)
我们提出了一个新的框架来理解文本转换成视频一样的三维张量的句子或文章。对应于张量的一个切片的每一帧都是由单词的形状渲染的单词图像。张量的长度等于句子或文章中的字数。提出的从文本到三维张量的转换使得它非常方便地实现了一个$n$ -gram模型与卷积神经网络的文本分析。具体地,我们在3维文本张量上施加3维卷积核。卷积核大小的前两个维度等于单词图像的大小,并且核大小的最后一个维度是$n$。也就是说,每当我们在单词序列上滑动三维内核时,卷积就覆盖$n$单词图像并输出标量。通过对每个$n$ -gram以及具有多个内核的句子或文章连续迭代该过程,我们获得了二维特征图。随后的1维最大时间池应用于该特征图,并且三个完全连接的层最终用于进行文本分类。几个文本分类数据集的实验表明,与现有的方法相比,使用该模型具有令人惊讶的优越性能。
2021-11-05 cs.CL
SLING: Sino Linguistic Evaluation of Large Language Models
UMass Amherst(马萨诸塞大学阿默斯特分校)
为了了解预训练的汉语语言模型(LM)编码了哪些语言知识,我们引入了汉语语言学(SLING)基准,它由38 K最小句子对组成,分为9个高级语言现象。每一对都展示了特定句法或语义现象的可接受性对比(例如,关键字丢失vs.关键字丢失),LM应该为可接受的句子分配较低的困惑度。与CLiMP数据集(Xiang et al.,2021),其中也包含中文最小对,并通过翻译英语BLiMP数据集的词汇创建,SLING中的最小对主要是通过对中文树库9.0中自然发生的语言学家注释的句子应用句法和词汇转换来获得的,从而解决了CLiMP数据生成过程中的严重问题。我们测试了18个公开的预训练单语(例如,BERT-base-zh,CPM)和多语言(例如,mT5,XLM)SLING上的语言模型。我们的实验表明,LM的平均准确率远远低于人类的表现(69.7%对97.1%),而BERT-base-zh在所有测试的LM中达到了最高的准确率(84.8%),甚至更大。此外,我们发现,大多数LM有很强的性别和数量(单/复数)的偏见,他们表现得更好的地方比层次的现象。
2022-10-21 cs.CL
Low-Resource NMT: A Case Study on the Written and Spoken Languages in Hong Kong
The Chinese University of Hong Kong(香港中文大学)
本研究构建了基于Transformer的书面中文到书面粤语的低资源NMT系统,通过挖掘维基百科平行句对扩充训练数据,在多数测试集上超越百度翻译。
2025-05-23 cs.CL
Coloring the Blank Slate: Pre-training Imparts a Hierarchical Inductive Bias to Sequence-to-sequence Models
Johns Hopkins University(约翰斯·霍普金斯大学);Yale University(耶鲁大学);New York University(纽约大学)
词与词之间的关系是由层次结构而不是线性排序决定的。序列到序列(seq 2seq)模型尽管在下游NLP应用中取得了成功,但在执行句法转换时,通常无法以层次敏感的方式进行概括-例如,将陈述句转换为问题。然而,seq 2seq模型的句法评估仅观察到在被训练以执行句法转换之前未在自然语言数据上预训练的模型,尽管已经发现预训练在语言模型中诱导分层语言概括的事实;换句话说,seq 2seq模型的句法能力可能被大大低估。我们使用预训练的seq 2seq模型T5和BART以及它们的多语言变体mT5和mBART来解决这个差距。我们评估他们是否在两种语言中的两个转换层次概括:英语和德语中的问题形成和被动化。我们发现,预先训练的seq 2seq模型在执行语法转换时会分层概括,而从头开始训练的模型则不会。这一结果为来自无注释自然语言文本的分层句法信息的可学习性提供了证据,同时也证明了seq 2seq模型能够进行句法泛化,尽管只有在接触到比人类学习者接收到的更多的语言数据之后。
2022-03-17 cs.CL
Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation
本文提出一种基于流形的动态嵌入重构方法,通过连续几何变换调节词汇位置,降低困惑度、增强连贯性,并保持推理效率,实现上下文自适应语言建模。
2025-03-26 cs.CL
Unsupervised Parsing via Constituency Tests
Computer Science Division(计算机科学系);University of California, Berkeley(加利福尼亚大学伯克利分校)
我们提出了一种基于语言概念的选区测试的无监督解析方法。一种类型的选民测试涉及通过一些转换来修改句子(例如用代词替换跨度),然后判断结果(例如检查它是否符合语法)。基于这个想法,我们设计了一个无监督的解析器,通过指定一组转换,并使用一个无监督的神经接受模型来做出语法决定。为了生成一个给定句子的树,我们通过聚合其选区测试判断来对每个跨度进行评分,并选择总分最高的二叉树。虽然这种方法已经在当前方法的范围内实现了性能,但我们通过细化过程微调语法模型来进一步提高准确性,在该过程中,我们在改进估计树和改进语法模型之间进行交替。改进后的模型在Penn Treebank测试集上达到了62.8 F1,比之前公布的最佳结果绝对提高了7.6分。
2020-10-07 cs.CL cs.LG
How Does Data Corruption Affect Natural Language Understanding Models? A Study on GLUE datasets
Basement AI;University of Pennsylvania(宾夕法尼亚大学);University of Helsinki(赫尔辛基大学);University of Crete(克里特大学);University of Gothenburg(哥德堡大学)
自然语言理解(NLU)研究的一个中心问题是,高性能是否表明模型具有强大的推理能力。我们提出了一系列广泛的控制实验,其中预先训练的语言模型暴露于已经经历了特定的腐败转换的数据。这些涉及删除特定词类的实例,并且经常导致无意义的句子。我们的结果表明,当模型在损坏的数据上进行微调或测试时,大多数GLUE任务的性能仍然很高,这表明即使在无意义的背景下,它们也会利用其他线索进行预测。我们提出的数据转换可用于评估特定数据集构成评估模型语言理解能力的适当测试平台的程度。
2022-05-15 cs.CL
A Category Theory of Communication Theory
University of Oxford(牛津大学)
提出了一种代理如何理解语言的理论。如果理解一个句子$α$是将一个操作符与$α$联系起来,后者按照发送者的意图转换施事的表征状态,那么了解一种语言就包括了解与任何句子的含义相对应的操作符。这涉及到一个高阶算子,它对可能的转换进行操作,这些转换对代理的表示能力进行操作。我们形式化这些结构使用类似于范畴理论的概念和图表。
2015-05-28 cs.CL cs.IT cs.LO
Training Heterogeneous Features in Sequence to Sequence Tasks: Latent Enhanced Multi-filter Seq2Seq Model
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在语言处理中,具有极大方差的训练数据会导致语言模型的收敛困难。网络参数很难适应语义或语法结构变化很大的句子。为了解决这个问题,我们引入了一个模型,集中在输入句子中的每一个异质性的功能。在编码器-解码器架构的基础上,我们设计了一个潜在增强的多过滤器seq 2seq模型(LEMS),通过引入潜在空间变换和聚类来分析输入表示。这些表示是从编码器的最终隐藏状态中提取的,并位于潜在空间中。一个潜在的空间变换,用于提高质量的表示。因此,聚类算法可以很容易地分离样本的基础上,这些表示的功能。多个滤波器由来自其对应的聚类的特征来训练,并且训练数据的异质性可以相应地被解决。我们使用Geo-query数据集和Multi 30 k英-法数据集分别进行了语义解析和机器翻译两组对比实验,以证明我们的模型所做的改进。
2022-05-25 cs.CL cs.LG
Generating Animations from Screenplays
Disney Research(迪士尼研究院);Rutgers University(罗格斯大学);ETH Zurich(苏黎世联邦理工学院)
从自然语言文本自动生成动画在例如电影脚本编写、教学视频和公共安全的许多领域中找到应用。然而,将自然语言文本翻译成动画是一项具有挑战性的任务。现有的文本到动画系统只能处理非常简单的句子,这限制了它们的应用。在本文中,我们开发了一个文本到动画系统,这是能够处理复杂的句子。我们通过在过程中引入文本简化步骤来实现这一点。在现有的动画生成系统的基础上,我们创建了一个强大的NLP管道,从剧本中提取信息,并将其映射到系统的知识库。我们开发了一套语言转换规则,简化复杂的句子。从简化的句子中提取的信息用于生成粗略的故事板和描述文本的视频。我们的句子简化模块在BLEU和SARI指标方面优于现有系统。我们通过用户研究进一步评估了我们的系统:68%的参与者认为我们的系统可以从输入的剧本中生成合理的动画。
2019-04-10 cs.AI cs.CL cs.GR
Mapping Semantic & Syntactic Relationships with Geometric Rotation
TELUS Digital(TELUS数字公司)
RISE通过几何旋转方法在多语言嵌入空间中实现话语层面语义-语法转换的一致映射,支持线性表示假设。
2026-02-25 cs.CL
Guided Feature Transformation (GFT): A Neural Language Grounding Module for Embodied Agents
Baidu Research(百度研究院);Horizon Robotics(地平线机器人)
最近,人们越来越关注通过深度强化学习来训练体现在虚拟环境中的智能体以执行语言指导的任务。在本文中,我们提出了一个简单但有效的神经语言基础模块,用于具身智能体,可以从头开始进行端到端的训练,以原始像素,非结构化语言命令和稀疏奖励作为输入。我们将语言的基础过程建模为语言引导的视觉特征的转换,其中潜在的句子嵌入被用作转换矩阵。在几个语言导向的导航任务,具有挑战性的部分可观察性,需要简单的推理,我们的模块显着优于最先进的状态。我们还发布XWorld3D,一个易于定制的3D环境,可以潜在地进行修改,以评估各种具身智能体。
2018-09-04 cs.AI cs.CL cs.LG
Transforming Question Answering Datasets Into Natural Language Inference Datasets
Stanford University(斯坦福大学)
现有的自然语言推理数据集推动了语言理解的研究。我们提出了一种新的方法,自动推导NLI数据集的日益丰富的大型问答数据集。我们的方法取决于学习一个句子转换模型,转换成他们的陈述形式的问答对。尽管主要是在单个QA数据集上进行训练,但我们表明它可以成功地应用于各种其他QA资源。使用这个系统,我们自动获得了一个新的免费提供的数据集超过500 k NLI的例子(QA-NLI),并表明它表现出广泛的推理现象很少看到以前的NLI数据集。
2018-09-11 cs.CL
Story Operators: Decomposing the Original $\to$ Sequel Transformation in Embedding Space
将书籍视为嵌入空间中的点,通过PCA分解位移向量,识别出续集的三种类型(公式化、集中、组合),并以马克·吐温作品为例揭示结构变换。
2026-06-25 cs.CL
Document-Level Text Simplification in Estonian Using Large Language Models
National Library of Estonia(爱沙尼亚国家图书馆);University of Tartu(塔尔图大学)
本研究评估五种多语言大语言模型在爱沙尼亚语文档级简化中的表现,提出三种提示策略和综合评估框架,发现Gemini-2.0和LLaMA-3.3效果最佳,并贡献了新的连贯性指标和公开资源。
2026-10-08 cs.CL
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
语境化的词表示,如ELMo和BERT,表现出良好的各种语义和句法任务。在这项工作中,我们解决了神经语言表示中语义和结构之间的无监督解开的任务:我们的目标是学习上下文化向量的转换,丢弃词汇语义,但保留结构信息。为此,我们自动生成结构相似但语义不同的句子组,并使用度量学习方法来学习强调编码在向量中的结构成分的转换。我们证明了我们的转换集群向量在空间中的结构属性,而不是词汇语义。最后,我们证明了我们的蒸馏表示的效用,表明他们优于原来的上下文表示在一个Few-Shot解析设置。
2021-03-11 cs.CL cs.LG
Contextual Tamil Spelling and Grammar Correction Using Progressively Fine-Tuned Sequence-to-Sequence Transformers
National Institute of Technology, Tiruchirappalli(国家技术研究所蒂鲁吉拉伯利分校);Tamil University, Thanjavur(泰米尔大学)
针对泰米尔语低资源特性及现有方法无法处理上下文错误的问题,提出端到端序列到序列模型,通过四阶段渐进式微调mT5-small和mBART-50,在合成语料库上取得连音准确率87.5%、主谓一致准确率43.5%的结果。
2026-09-04 cs.CL
Generating Harder Cross-document Event Coreference Resolution Datasets using Metaphoric Paraphrasing
Education Testing Service (ETS)(美国教育考试服务中心(ETS));University of Colorado Boulder(科罗拉多大学博尔德分校)
针对现有跨文档事件共指消解数据集词汇多样性不足及比喻语言数据匮乏的问题,提出ECB+META数据集,利用ChatGPT进行隐喻改写并半自动标注,证明现有方法在该数据集上表现不佳。
2024-06-05 cs.CL