The lexical acquisition system presented in this paper incrementally updates linguistic properties of unknown words inferred from their surrounding context by parsing sentences with an HPSG grammar for German. We employ a gradual, information-based concept of ``unknownness'' providing a uniform treatment for the range of completely known to maximally unknown lexical entries. ``Unknown'' information is viewed as revisable information, which is either generalizable or specializable. Updating takes place after parsing, which only requires a modified lexical lookup. Revisable pieces of information are identified by grammar-specified declarations which provide access paths into the parse feature structure. The updating mechanism revises the corresponding places in the lexical feature structures iff the context actually provides new information. For revising generalizable information, type union is required. A worked-out example demonstrates the inferential capacity of our implemented system.
A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse
Preferred Networks, Inc.(Preferred Networks 公司);Tokyo Institute of Technology(东京工业大学);Tohoku University(东北大学);RIKEN(理化学研究所)
本研究针对神经语言模型中使用的词嵌入方法来识别语篇中未知词或实体的意义。我们提出了一种通过跟踪上下文在神经模型的输入和输出层中动态构建和利用词嵌入的方法。这扩展了Kobayashi et al.(2016)中使用的动态实体表示,并结合了Gu et al.(2016)和Gulcehre et al.(2016)独立提出的复制机制。此外,我们还构建了一个新的任务和数据集,称为Ancesturized Language Modeling,用于评估阅读时捕捉词义的能力。使用我们的新数据集进行的实验表明,所提出的RNN语言模型变体优于基线模型。此外,实验还表明,输出层的动态更新有助于模型预测再现实体,而输入层的动态更新则可有效预测再现实体后面的单词。
Unknown Word Detection for English as a Second Language (ESL) Learners Using Gaze and Pre-trained Language Models
Tsinghua University(清华大学);University of Washington(华盛顿大学);Groundlight AI;Rice University(莱斯大学);University of Chinese Academy of Sciences(中国科学院大学);Qinghai University(青海大学)
Hierarchical Memory Networks for Answer Selection on Unknown Words
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
Part of speech and gramset tagging algorithms for unknown words based on morphological dictionaries of the Veps and Karelian languages
Institute of Applied Mathematical Research of the Karelian Research Centre of the Russian Academy of Sciences(俄罗斯科学院卡累利阿研究中心应用数学研究所);Petrozavodsk State University(彼得罗扎沃茨克国立大学);Institute of Linguistics, Literature and History of the Karelian Research Centre of the Russian Academy of Sciences(俄罗斯科学院卡累利阿研究中心语言、文学与历史研究所)
A New NMT Model for Translating Clinical Texts from English to Spanish
College of Information and Computer Science, University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特信息与计算机科学学院);Department of Computer Sciences, University of Massachusetts Lowell(马萨诸塞大学洛约拉计算机科学系);Department of Quantitative Health Sciences, University of Massachusetts Medical School(马萨诸塞大学医学学院定量健康科学系);Bedford VAMC and CHOIR(贝德福德退伍军人医疗中心和CHOIR)
How much does a word weigh? Weighting word embeddings for word sense induction
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Samsung Moscow Research Center(三星莫斯科研究中心);University of Hamburg(汉堡大学)
本文描述了我们参与第一个关于俄语RUSSE'2018词义归纳和消歧的共享任务(Panchenko等人,2018年)。对于几十个模棱两可的单词中的每一个,参与者被要求根据这个单词的含义对包含它的文本片段进行分组,这是事先没有提供的,因此是任务的“归纳”部分。例如,给出了一个单词“bank”和一组出现该单词的文本片段(也称为“context”),例如“bank is a financial institution that accepts deposit”和“river bank is a slope beside a body of water”。一名参与者被要求在未知的预先数量的集群对应的集群,在这种情况下,“公司”和“地区”的意义的单词“银行”这样的情况下进行聚类。组织者提出了三个不同复杂性和文本类型的评估数据集,分别基于维基百科,网页和俄语词典的文本。我们提出了两个实验:分别基于表示为词嵌入的加权平均的上下文的聚类和基于使用两个最先进的产生式神经机器翻译系统的机器翻译的正和负两个。我们的团队在18个参与团队中的两个数据集上显示了第二好的结果,在剩下的一个数据集上显示了第三好的结果。我们成功地大幅超越了前几年基于感觉嵌入的竞争性最先进的基线。
RUSSE'2018: A Shared Task on Word Sense Induction for the Russian Language
University of Hamburg(汉堡大学);National Research University Higher School of Economics(国立研究型大学高等经济学院);The Vinogradov Institute of the Russian Language, Russian Academy of Sciences(俄罗斯科学院维诺格拉多夫俄语研究所);University of Mannheim(曼海姆大学);Krasovskii Institute of Mathematics and Mechanics(克拉索夫斯基数学与力学研究所);Scrapinghub(Scrapinghub公司);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Samsung Moscow Research Center(三星莫斯科研究中心);ABBYY(ABBYY公司)
本文介绍了第一个共享任务的结果对词义归纳(WSI)的俄语。虽然类似的共享任务在过去进行了一些罗曼语和日耳曼语,我们探讨的性能的感觉归纳和消歧方法的斯拉夫语,共享许多功能与其他斯拉夫语言,如丰富的形态和几乎自由的词序。参与者被要求根据事先没有提供的含义对给定单词的上下文进行分组。例如,给定单词“bank”和该单词的一组上下文,例如“bank is a financial institution that accepts deposit”和“river bank is a slope beside a body of water”,参与者被要求将这些上下文聚类到预先未知数量的聚类中,在这种情况下,这些聚类对应于单词“bank”的“company”和“area”含义。为了这个评估活动的目的,我们开发了三个新的评估数据集的基础上的感觉库存,具有不同的感觉粒度。这些数据集中的上下文是从维基百科、俄语学术语料库和俄语解释性词典中抽取的。共有18支队伍参加了比赛,提交了383个模型。多个团队成功地大幅超越了前几年基于感觉嵌入的竞争性最先进的基线。
Probing the statistical properties of unknown texts: application to the Voynich Manuscript
Institute of Physics of São Carlos, University of São Paulo(圣保罗大学圣保罗卡洛斯物理研究所);Max Planck Institute for the Physics of Complex Systems (MPIPKS)(马克斯·普朗克复杂系统物理研究所);Potsdam Institute for Climate Impact Research (PIK)(波茨坦气候影响研究所)