Reference-less Measure of Faithfulness for Grammatical Error Correction
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出了USIM，语法纠错（GEC）的语义措施，措施的语义忠实的输出源，从而补充现有的无参考措施（RLM）测量输出的语法性。USim通过比较源代码和更正的语义符号结构来操作，而不依赖于手动管理的引用。我们的实验建立了USim的有效性，通过显示：（1）语义注释可以一致地应用于不合语法的文本;（2）有效的更正获得了较高的USim相似性分数的来源;和（3）无效的更正获得较低的分数。
2018-05-09 cs.AI cs.CL
Automatic Design of Semantic Similarity Ensembles Using Grammatical Evolution
Software Competence Center Hagenberg GmbH（哈根贝格软件能力中心有限公司）
本文提出基于语法演化的自动化方法构建语义相似性集成，通过演化聚合函数最大化与人工评分的相关性，在基准数据集上优于现有集成技术。
2025-04-25 cs.AI cs.CL
Grammatical gender associations outweigh topical gender bias in crosslinguistic word embeddings
Babbel（巴巴贝尔（语言学习公司））
最近的研究表明，语义的向量空间模型可以反映人类文化中不受欢迎的偏见。我们对跨语言词嵌入的研究表明，主题性别偏见与语法性别联想的影响相互作用，并且在程度上被语法性别联想的影响所超越，并且两者都可以通过语料库词形化来减弱。这一发现对诸如机器翻译等下游应用具有启示意义。
2020-05-18 cs.CL
A Multilingual Semantic Wiki Based on Attempto Controlled English and Grammatical Framework
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
我们描述了一个语义维基系统与底层控制的自然语言语法实现语法框架（GF）。该语法将wiki内容限制为Attempto Controlled English（ACE）的一个定义良好的子集，并促进ACE与许多其他自然语言的语言片段之间的精确双向自动翻译，从而使wiki内容可以多语言访问。此外，我们的方法允许自动翻译成Web本体语言（OWL），这使得自动推理的wiki内容。因此，开发的wiki环境允许用户通过用户友好的多语言自然语言界面来构建、查询和查看OWL知识库。作为进一步的功能，底层的多语言语法被集成到wiki中，并且可以协作编辑以扩展wiki的词汇表，甚至定制其句子结构。这项工作展示了Attempto控制的英语和语法框架的现有技术的结合，并实现为现有的语义维基引擎AceWiki的扩展。
2013-03-11 cs.CL cs.HC
Reduplicative constructions in Mandarin: Socio-emotional profiling through distributional semantics
Beihang University（北京航空航天大学）；University of Tübingen（图宾根大学）
本研究利用分布语义学词嵌入分析汉语两种重叠构式，验证其能恢复语义语法属性，揭示语义语用分化，并证明嵌入可捕捉重叠的语义多样性与构式透明性。
2026-09-16 cs.CL
CFGs-2-NLU: Sequence-to-Sequence Learning for Mapping Utterances to Semantics and Pragmatics
University of California, Santa Cruz（加州大学圣克鲁兹分校）
在本文中，我们提出了一种新的自然语言理解方法，该方法利用上下文无关文法（CFG）结合序列到序列（seq2seq）深度学习。具体来说，我们使用一个为NLU（一个视频游戏）的目标应用程序生成对话的CFG，并训练一个长短期记忆（LSTM）递归神经网络（RNN），以将它产生的表面话语映射到产生它们的语法扩展的痕迹。重要的是，这个CFG是使用我们开发的工具编写的，该工具支持语法中非终结符符号的任意注释。因为我们已经为游戏对话管理器操作的语义和语用考虑在此语法中注释了符号，所以我们可以使用与任何表面话语相关联的语法痕迹来推断此类信息。在游戏过程中，我们将玩家的话语转换为语法痕迹（使用我们的RNN），收集归因于该痕迹中包含的符号的标记，并将此信息传递给对话管理器，对话管理器相应地更新对话状态。从离线评估任务中，我们证明了我们经过训练的RNN可以非常准确地将表面话语翻译为语法痕迹。据我们所知，这是seq2seq学习首次用于会话代理（我们游戏中的角色），他们明确地考虑语义和语用因素。
2016-07-22 cs.CL
Estimating Grammatical Gender Directions in Contextual Embeddings under Controlled and Natural Contexts
College of Foreign Languages and Cultures, Jilin University（吉林大学外语学院）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）
针对上下文嵌入中语法性别与社会语义偏见的纠缠问题，首次提出在受控模板和自然维基百科上下文中，利用质心、SVM和LDA估计器及污染感知加权策略进行解耦，并设计双目标评估指标平衡去偏与语义保留。
2026-06-29 cs.AI cs.CL
Explicit Grammar Semantic Feature Fusion for Robust Text Classification
Department of Computer Science, American International University-Bangladesh（计算机科学系，美国国际大学-孟加拉国）
本文提出显式语法语义特征融合方法，通过编码语法结构并融合语义信息，构建轻量文本分类模型，提升跨领域学习效果
2026-02-24 cs.CL
An exploration of the encoding of grammatical gender in word embeddings
Uppsala University（乌普萨拉大学）
词的向量表示，即词嵌入，开辟了语言学研究的新途径。这些表示可以捕获关于单词的不同类型的信息。名词语法性是根据名词的形式和语义特征对名词进行的一种典型分类。基于词嵌入的语法性研究有助于深入探讨语法性是如何决定的。在这项研究中，我们比较了不同的词嵌入集，根据神经分类器的准确性，确定语法性别的名词。研究发现，在瑞典语、丹麦语和荷兰语的嵌入中，语法性别的编码方式存在重叠。我们的实验结果的上下文嵌入指出，添加更多的上下文信息的嵌入是有害的分类器的性能。我们还观察到，从嵌入的训练语料库中删除诸如冠词之类的形态句法特征会显着降低分类性能，这表明很大一部分信息被编码在名词和冠词之间的关系中。
2020-11-03 cs.CL
When classifying grammatical role, BERT doesn't care about word order... except when it matters
Stanford University（斯坦福大学）；University of California, Irvine（加州大学欧文分校）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
因为意义通常可以单独从词汇语义中推断出来，所以词序在自然语言中通常是一个多余的线索。例如，单词chopped、chef和onion更有可能用来表达“The chef chopped the onion”，而不是“The onion chopped the chef”。“最近的工作表明，大语言模型是令人惊讶的词序不变，但至关重要的是，它在很大程度上考虑了自然的原型输入，其中组合意义大多与词汇预期相匹配。为了克服这种混淆，我们探讨语法角色表示在英语BERT和GPT-2，在词汇的期望是不够的情况下，词序知识是必要的正确分类。这种非原型的例子是自然出现的英语句子，有无生命的主体或有生命的物体，或者是我们系统地交换论点来组成像“洋葱切碎了厨师”这样的句子。我们发现，虽然早期层嵌入主要是词汇，词序实际上是至关重要的，在定义后一层表示的单词在语义上的非原型的位置。我们的实验隔离了词序对语境化过程的影响，并强调了模型如何在不常见但关键的情况下使用语境。
2022-03-11 cs.CL
EAT: a simple and versatile semantic representation format for multi-purpose NLP
Aalto University（阿尔托大学）
语义表示是许多需要人类可解释数据的NLP任务的核心。连词主义框架-主要由Pietroski（2005，2018）开发-获得表达性表征，只有少数基本语义类型和与句法位置系统相关的关系。虽然表示简单性对于计算应用至关重要，但这些发现尚未对NLP产生重大影响。我们提出了第一个通用的语义表示格式的自然语言处理直接基于这些见解。我们命名的格式EAT由于其基础上的事件，代理，主题参数在新戴维森逻辑形式。它建立在这样一个想法上，即类似的三方论元关系在各个类别中普遍存在，并且可以在没有额外词汇信息的情况下从语法结构中构建。我们提出了一个详细的阐述EAT以及它如何与其他流行的格式在以前的工作中使用，如抽象意义表示（AMR）和最小递归语义（MRS）。EAT在两个方面脱颖而出：简单性和多功能性。独特的是，EAT放弃了语义元预测，而是完全通过位置编码来表示语义角色。这是通过将角色数量限制为只有三个而实现的;从AMR和MRS中认识到的几十个角色中大幅减少。EAT的简单性使其在应用中具有非常多的用途。首先，我们表明，在Hajdik et al.（2019）的测试环境中，基于EAT大幅减少语义角色有利于MRS的文本生成。其次，我们实现了EAT从句法分析的推导，并将其应用于语法类之间的并行语料库生成。第三，我们训练一个编码器-解码器LSTM网络来将EAT映射为英语。最后，我们使用编码器-解码器网络和基于规则的替代…
2021-03-12 cs.CL
Measuring Gender Bias in Word Embeddings of Gendered Languages Requires Disentangling Grammatical Gender Signals
George Washington University（乔治华盛顿大学）；University of Washington（华盛顿大学）
当衡量一种语言的词嵌入所捕获的语义性别信息时，语言的语法性别是否会产生干扰？一些在性别语言嵌入中的异常性别偏见测量表明了这种可能性。我们证明，词嵌入学习语法性别的语言，这可能会扭曲社会性别偏见的测量名词和它的语法性别之间的关联。因此，词嵌入后处理方法被引入到量化，解开，和评估语法性别信号。该评估是在印欧语系的日耳曼语、罗曼语和斯拉夫语分支的五种性别语言上进行的。我们的方法降低了语法性别信号的强度，这是衡量的效果大小（科恩的d），由一个显着的平均值d = 1.3为法语，德语和意大利语，和d = 0.56为波兰语和西班牙语。一旦语法性别被解开，超过90%的10，000无生命名词和他们的语法性别之间的关联减弱，跨语言的偏见结果从词嵌入协会测试（WEAT）变得更加符合国家级的内隐偏见测量。结果进一步表明，从词嵌入中解开语法性别信号可能会导致语义机器学习任务的改进。
2022-06-03 cs.AI cs.CL cs.CY
GPT-3.5 for Grammatical Error Correction
University of Helsinki（赫尔辛基大学）
本研究探索 GPT-3.5 在多语言语法错误纠正中的三类应用，评估发现其英语表现较好但存在过度纠正问题，且在标点、时态等错误类型上仍有不足。
2024-05-14 cs.AI cs.CL
Scalable Construction of a Lung Cancer Knowledge Base: Profiling Semantic Reasoning in LLMs
Universidad Tecnológica de la Mixteca（拉巴斯技术大学）；Instituto Nacional de Enfermedades Respiratorias (INER) Ismael Cosío Villegas（国家呼吸疾病研究所（INER）伊斯梅尔·科索·维利亚斯）；Maynooth University（梅诺特大学）
本研究提出利用OpenIE构建肺癌知识库，通过语义推理提升生物医学NLP性能。
2026-01-05 cs.CL
Improving Semantic Composition with Offset Inference
University of Sussex（苏塞克斯大学）
基于计数的分布语义模型由于在任何文本集合中不可观察但似乎合理的共现而遭受稀疏性。这个问题在锚定填充树（APT）等模型中被放大，这些模型考虑了同现的语法类型。因此，我们引入了一种新的形式的分布式推理，利用丰富的类型结构的APT和推断丢失的数据由相同的机制，用于语义组合。
2017-04-21 cs.CL
Do Large Language Models Grasp The Grammar? Evidence from Grammar-Book-Guided Probing in Luxembourgish
University of Luxembourg（卢森堡大学）；Luxembourg Institute of Science and Technology（卢森堡科学与技术研究院）
本研究通过卢森堡语语法书引导探测，探讨大型语言模型对语法规则的理解，发现翻译性能与语法规则理解弱相关，大模型在语义上表现良好但句法和形态学能力较弱，推理能力有助于提升语法规则理解。
2026-02-21 cs.CL
Author Profiling for Hate Speech Detection
University of Cambridge（剑桥大学）；ILLC（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）；The ALTA Institute（阿尔塔研究所）
近年来，社交媒体的迅速发展助长了一些非常不受欢迎的现象，如互联网上辱骂性和攻击性语言的泛滥。之前的研究表明，这种仇恨内容往往来自那些有着共同刻板印象并在周围形成社区的用户。当前最先进的仇恨言论检测方法不注意用户和社区信息，并且完全依赖于文本（即，词汇和语义）线索。在本文中，我们提出了一种新的方法来解决这个问题，结合了基于社区的分析功能的Twitter用户。通过对16k条推文的数据集进行实验，我们发现我们的方法在仇恨言论检测方面明显优于目前的最新技术水平。此外，我们对模型特征进行了定性分析。我们发布我们的代码，预训练模型和所有在公共领域使用的资源。
2019-02-14 cs.CL
Say Anything: Automatic Semantic Infelicity Detection in L2 English Indefinite Pronouns
University of Toronto（多伦多大学）
第二语言使用者错误检测的计算研究主要针对初学者到中级水平的学习者典型的明显语法异常。相反，我们专注于收购微妙的语义细微差别的英语不定代词的非母语人士在不同水平的熟练程度。首先，我们提出了理论上的，语言学动机的假设，并支持实证证据的性质所构成的挑战，不定代词的英语学习者。然后，我们建议并评估一种自动检测非典型使用模式的方法，证明深度学习架构对于涉及细微语义异常的任务是有希望的。
2019-09-17 cs.CL
Syntagma Lexical Database
本文讨论了Syntagma词汇数据库的结构（主要针对意大利语）。基本数据库由四个表组成。表格表单包含词形变化，POS标记器使用这些词形变化来识别输入词。形式与引理有关。表引理存储了词的各种语法特征、词级语义数据和约束条件。在表Meanings中存储与意义相关的数据：定义，示例，域和语义信息。表配价包含每个意义的论元结构，以及每个论元的句法和语义特征。SLD的扩展版本包含到Syntagma的语义网和其他语言的WordNet同义词集的链接。
2015-03-19 cs.CL
Lightweight Stylistic Consistency Profiling: Robust Detection of LLM-Generated Textual Content for Multimedia Moderation
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出LiSCP方法，通过结合离散风格特征与连续语义信号，提升对抗环境下的LLM生成文本检测鲁棒性，实现在多领域中的优越性能。
2026-05-07 cs.CL
An enhanced Tree-LSTM architecture for sentence semantic modeling using typed dependencies
National Institute of Technology Calicut（卡利卡特国家理工学院）
基于树的长短期记忆（LSTM）网络已经成为建模语言文本含义的最先进技术，因为它们可以有效地利用语法句法，从而利用句子中单词之间的非线性依赖关系。然而，这些模型中的大多数都无法识别由单词或短语的语义角色变化引起的含义差异，因为它们不承认句子结构中的语法关系类型，也称为类型依赖。本文提出了一种增强的LSTM架构，称为关系门控LSTM，它可以使用控制输入来建模序列的两个输入之间的关系。我们还引入了一个称为类型依赖树-LSTM的Tree-LSTM模型，它使用句子依赖解析结构以及依赖类型将句子含义嵌入到密集向量中。该模型在两个典型的NLP任务-语义相关性评分和情感分析中，在较少的训练时间内优于其类型未知的对应物。结果与其他最先进的模型相当或具有竞争力。定性分析表明，句子的声音变化对模型的预测分数影响不大，而名词（名词）词的变化有更显着的影响。该模型识别句子对中的微妙语义关系。学习到的类型依赖嵌入的大小也与人类的直觉一致。研究结果表明语法关系在句子建模中的重要性。所提出的模型将作为未来研究在这个方向上的基础。
2020-09-25 cs.AI cs.CL cs.LG
Order matters: Distributional properties of speech to young children bootstraps learning of semantic representations
University of California Riverside（加州大学河滨分校）
一些研究者认为，语言的习得主要依赖于对语言输入的体验，而语言输入的复杂程度是递增的。我们开始使用一个简单的递归神经网络（SRN）来测试这个假设，该网络被训练用于预测CHILDES中的单词序列，CHILDES是一个针对儿童的500万单词的语音语料库。首先，我们证明了年龄排序的儿童表现出逐渐增加的语言复杂性。接下来，我们比较了在CHILDES上训练的两组SRN的性能，这两组SRN要么是按年龄排序的，要么不是。具体来说，我们评估了语法和语义结构的学习，并表明，年龄顺序输入的培训有利于语义的学习，但不是顺序结构。我们发现，当模型在去除了话语边界信息的输入上训练时，这种优势就被消除了。
2018-02-02 cs.CL
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
Morphology Aware Reversible Semantic Tokenization and Hierarchical Word Composition for Tamil Language Models
该研究针对泰米尔语，提出结合ThamizhiMorph的形态系统与分层词组合方法，在固定小模型预算下提升翻译性能，同时大幅降低序列长度与推理成本。
2026-08-04 cs.CL
Semantic properties of English nominal pluralization: Insights from word embeddings
Eberhard Karls Universität Tübingen（埃伯哈德·卡尔斯·图宾根大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大·埃尔朗根-纽伦堡大学）
名词复数化的语义分化在许多语言中都是语法化的。例如，复数标记可能仅与人类名词相关。英语似乎没有这样的区别。使用分布语义学，我们表明，英语名词复数表现出语义集群。例如，水果词的复数形式彼此更相似，而与其他语义类别的复数形式不太相似。因此，将复数形式中的意义转移简化为抽象复数意义的增加是过于简单化的。一个语义通知的方法，称为CosClassAvg，介绍了优于多元化的方法，在分布式语义，假设复数形式相当于一个固定的复数向量的增加。与我们的方法相比，一种方法，从成分分布语义，称为FRACSS，预测复数向量，更相似的语料库提取的复数向量的方向，但不是向量长度。一个建模研究表明，观察到的两个预测的语义空间之间的差异CosClassAvg和FRACSS结转到如何以及一个计算模型的听众可以理解以前未遇到的复数形式。当CosClassAvg生成的语义向量被用作金标准向量而不是FRACSS生成的向量时，从用三音子向量表示的单词形式到预测语义向量的映射更有效率。
2022-03-29 cs.CL
Trainable Methods for Surface Natural Language Generation
我们提出了三个系统的表面自然语言生成，是从注释语料库训练。前两个系统，称为NLG1和NLG2，需要一个语料库标记只有特定领域的语义属性，而最后一个系统，称为NLG3，需要一个语料库标记的语义属性和句法依赖信息。所有的系统都试图从特定于领域的语义表示中产生合乎语法的自然语言短语。NLG 1服务于基线系统，并使用短语频率在一个步骤中生成整个短语，而NLG 2和NLG 3使用最大熵概率模型单独生成短语中的每个单词。系统NLG 2和NLG 3学习确定短语的单词选择和单词顺序。我们目前的实验中，我们生成的短语来描述在航空旅行领域的航班。
2000-06-13 cs.CL
Radical-Enhanced Chinese Character Embedding
Harbin Institute of Technology（哈尔滨工业大学）；University of Science and Technology of China（中国科学技术大学）
提出了一种利用偏旁部首进行汉字嵌入学习的方法。部首是汉字的一个语义和语音成分。它起着重要的作用，因为具有相同偏旁的字符通常具有相似的语义和语法用法。然而，现有的中文处理算法通常以词或字为基本单位，而忽略了关键的偏旁信息。在本文中，我们填补了这一空白，利用偏旁学习汉字的连续表示。我们开发了一个专用的神经网络结构，有效地学习字符嵌入，并将其应用于汉字相似性判断和中文分词。实验结果表明，我们的激进的增强方法优于现有的嵌入学习算法在这两个任务。
2014-04-18 cs.CL
Noun2Verb: Probabilistic frame semantics for word class conversion
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
人类可以灵活地扩展不同语法类别的单词用法，这种现象称为词类转换。名词到动词的转换，或名词动词（例如，到谷歌廉价航班），是最流行的词类转换形式之一。然而，现有的自然语言处理系统在解释和生成新的名动词用法方面是贫乏的。以往的研究表明，如果听话者能够根据与说话者共享的知识计算出预期的含义，那么新的名动词用法是可理解的。在这里，我们探讨了这个建议的计算形式主义表达在框架语义。我们提出了一个正式的框架，Noun2Verb，模拟生产和理解的新名词动词的用法建模共享知识的扬声器和听众的语义框架。我们评估了一组增量概率模型，学习解释和生成新的名动词的用法，通过释义。我们发现，一个模型，说话人和听众合作学习的语义框架元素的联合分布更好地解释了经验名动词的使用比国家的最先进的语言模型，评估数据从1）当代英语在成人和儿童的讲话，2）当代普通话，3）英语的历史发展。我们的工作是基于概率框架语义的词类转换，并在自然语言处理系统和人类词汇创造力之间架起了桥梁。
2022-05-12 cs.CL
A theoretical model of dynamical grammatical gender shifting based on set-valued set function
ENS Paris-Saclay（巴黎萨克雷高等师范学院）
本文提出基于集合值集合函数的理论模型，用于研究动态语法性别转换的机制，通过形态模板与词项的非线性动态映射，揭示词形变化的底层规律。
2026-09-30 cs.AI cs.CL
Profiling the news spreading barriers using news headlines
Jozef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；Jozef Stefan Institute（约瑟夫·斯特凡研究所）
提出利用 COMET 常识推理与标题情感特征识别五类新闻传播障碍，并在十类新闻标题数据集上验证其优于传统、深度学习及 transformer 方法。
2023-04-07 cs.AI cs.CL cs.LG
Concrete Sentence Spaces for Compositional Distributional Models of Meaning
Oxford University Computing Laboratory（牛津大学计算实验室）；University of Cambridge Computer Laboratory（剑桥大学计算机实验室）
Coecke、Sadrzadeh和Clark（arXiv：1003.4394v1 [cs.CL]）为分布语义学开发了一个意义的合成模型，其中句子中的每个词都有一个意义向量，句子的分布意义是词向量的张量积的函数。抽象地说，这个函数是有限维向量空间范畴中对应于句子语法结构的态射。在本文中，我们提供了一个具体的方法来实现这种线性意义地图，通过构建一个基于语料库的向量空间的句子类型。我们的构造方法是基于结构化的向量空间，即所有句子的意义向量，无论其语法结构如何，都生活在同一个向量空间中。我们提出的句子空间是两个名词空间的张量积，其中的基向量是每一个增加了语法作用的词对。这使我们能够通过简单地取向量的内积来比较句子的含义。
2010-12-31 cs.AI cs.CL cs.IR
Guiding Text-to-Text Privatization by Syntax
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
针对文本到文本私有化中语义邻近替换破坏句法类别的问题，本文将私有化建模为语法属性匹配的候选选择，在保持隐私保证的同时使下游任务性能最高提升4.66%。
2023-06-02 cs.CL cs.CR cs.LG
DSTC8-AVSD: Multimodal Semantic Transformer Network with Retrieval Style Word Generator
Seoul National University（首尔大学）；Adobe Research（奥多比研究院）
视听场景感知对话（AVSD）是一个任务，生成一个给定的场景，视频，音频和对话中的前几轮的历史问题的响应。用于此任务的现有系统采用具有编码器-解码器框架的基于Transformers或递归神经网络的架构。尽管这些技术在这项任务上表现出了卓越的性能，但它们有很大的局限性：模型很容易过度拟合，只记住语法模式;模型遵循数据集中词汇的先验分布。为了缓解这些问题，我们提出了一个多模态语义Transformer网络。它采用了基于transformer的架构，带有基于注意力的单词嵌入层，通过查询词嵌入来生成单词。通过这种设计，我们的模型在生成阶段继续考虑单词的含义。实证结果表明，我们提出的模型优于大多数以前的作品的AVSD任务的优越性。
2020-04-01 cs.CL cs.LG
Improving Chinese Named Entity Recognition by Search Engine Augmentation
Shanghai Jiao Tong University（上海交通大学）；The University of Melbourne（墨尔本大学）
与英语相比，汉语存在着较多的语法歧义，如词边界模糊、词的多义等。在这种情况下，上下文信息是不足以支持中文命名实体识别（NER），特别是对罕见的和新兴的命名实体。使用外部知识的语义增强是缓解这一问题的潜在方法，而如何获得和利用外部知识的NER任务仍然是一个挑战。在本文中，我们提出了一种基于神经网络的方法来执行语义增强使用外部知识的搜索引擎为中文NER。特别地，采用多通道语义融合模型来生成增强的输入表示，其聚合从搜索引擎检索的外部相关文本。实验表明，我们的模型在4个NER数据集上的优越性，包括正式和社交媒体语言环境，这进一步证明了我们的方法的有效性。
2022-10-23 cs.AI cs.CL
Do language models capture implied discourse meanings? An investigation with exhaustivity implicatures of Korean morphology
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文通过韩语差异宾语标记考察大型语言模型能否捕捉隐含话语含义，发现语法标记的话语含义比话语标记更难被模型编码。
2024-05-15 cs.AI cs.CL
Synonym Detection Using Syntactic Dependency And Neural Embeddings
Shandong Jianzhu University（山东建筑大学）
向量空间模型的最新进展显著改善了一些NLP应用，如神经机器翻译和自然语言生成。虽然上下文中的词共现已被广泛用于基于计数/预测的分布模型，句法依赖在推导分布语义中的作用尚未得到彻底的研究。通过比较不同的向量空间模型在TOEFL同义词检测中的应用，系统地研究了句法依赖在解释分布相似性时的显著性。我们将句法依赖根据其不同的语法角色分成不同的组，然后使用上下文计数来构建相应的原始矩阵和SVD压缩矩阵。此外，使用相同的训练超参数和语料库，我们研究了评估中的典型神经嵌入。我们进一步研究了将人工编译的语义知识注入神经嵌入计算分布相似性的有效性。我们的研究结果表明，句法条件的上下文可以解释词汇语义比无条件的，而改装的神经嵌入与语义知识可以显着提高同义词检测。
2022-09-30 cs.AI cs.CL
MorphTE: Injecting Morphology in Tensorized Embeddings
Tianjin University（天津大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在深度学习时代，处理文本任务时，词嵌入至关重要。然而，存储和访问这些嵌入需要大量的空间。这不利于在资源有限的设备上部署这些模型。结合张量积强大的压缩能力，提出了一种基于形态增强的词嵌入压缩方法--形态增强张量化嵌入（Morphologically-enhanced Tensorized Embeddings，MorphTE）。一个词由一个或多个语素组成，语素是承载意义或具有语法功能的最小单位。MorphTE通过张量积将词嵌入表示为其词素向量的纠缠形式，这将先前的语义和语法知识注入到嵌入的学习中。此外，词素向量的维数和词素的数目远小于词的维数和词素的数目，这大大减少了词嵌入的参数。我们对机器翻译和问答等任务进行了实验。在四种不同语言的翻译数据集上的实验结果表明，MorphTE可以将词嵌入参数压缩约20倍而不损失性能，并且显着优于相关嵌入压缩方法。
2022-10-27 cs.AI cs.CL
Towards Compositional Distributional Discourse Analysis
University of Oxford（牛津大学）
范畴组合分布语义学提供了一种从单个词的意义中推导出句子意义的方法：句子的语法归约自动诱导出一个线性映射，用于组合从分布语义学获得的词向量。在本文中，我们将这段话从词到句扩展到从句子到语篇的写作。为了实现这一目标，我们引入了一个概念的基本照应话语之间的自然语言话语正式的基本话语表示结构（DRS）的中级表示;和知识库查询语义网所描述的基本图形模式的资源描述框架（RDF）。这为问答和照应解析的组合算法提供了一个高层次的规范，并使我们能够将自然语言理解作为一个涉及统计和逻辑资源的过程。
2018-11-08 cs.AI cs.CL cs.DB
Graded Entailment for Compositional Distributional Semantics
Microsoft（微软）；University of Oxford（牛津大学）
自然语言的范畴成分分布模型提供了一个概念上有动机的过程来计算句子的意义，给定的语法结构和它的词的意义。这种方法在主流经验语言处理任务中的表现优于其他模型。然而，直到最近，它一直缺乏词汇蕴涵的关键特征--就像其他意义的分布模型一样。在本文中，我们解决了问题的蕴涵的范畴组合分布语义。利用抽象的范畴框架，我们可以改变我们对模型的选择。这使得引入蕴涵的概念，利用量子计算中部分知识的分类语义的想法。新的语言模型使用密度矩阵，我们引入了一种新的鲁棒的分级顺序捕捉概念之间的蕴涵强度。这种分级措施出现在一个一般框架的近似蕴涵，诱导任何交换幺半群。量子逻辑嵌入了我们的等级秩序。我们的主要定理表明，蕴涵强度升降机组成的句子水平，给出了一个下界的句子蕴涵。我们描述了分级蕴涵的基本性质，如连续性，并提供了一个计算蕴涵强度的过程。
2016-01-25 cs.AI cs.CL cs.LO
