UDPipe at SIGMORPHON 2019: Contextualized Embeddings, Regularization with Morphological Categories, Corpora Merging
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了我们对SIGMORPHON 2019共享任务的贡献:形态学中的跨语言和上下文,任务2:上下文形态分析和词形化。我们提交了UDPipe 2.0的修改,它是CoNLL 2018共享任务中表现最好的系统之一:从原始文本到通用语法的多语言解析,也是2018年外部解析器评估共享任务的总冠军。作为我们的第一个改进,我们使用预训练的上下文嵌入(BERT)作为网络的额外输入;其次,我们使用单个形态特征作为正则化;最后,我们合并相同语言的选定语料库。在词形还原任务中,我们的系统以95.78的词形还原准确率远远超过所有提交的系统(第二名为95.00,第三名为94.46)。在形态分析中,我们的系统紧随其后:我们的形态分析准确率为93.19,获胜系统的93.23。
2019-08-19 cs.CL
On the Role of Morphological Information for Contextual Lemmatization
University of the Basque Country UPV/EHU(巴斯克大学(UPV/EHU))
本文实证研究了形态学信息在六种语言上下文词元还原中的作用,发现细粒度形态特征对训练并非关键,现代上下文词表示已隐式编码足够信息,使用简单UPOS标签或无形态学训练的模型在领域外表现更优。
2023-10-20 cs.AI cs.CL
Joint Diacritization, Lemmatization, Normalization, and Fine-Grained Morphological Tagging
New York University Abu Dhabi(纽约大学阿布扎比分校)
闪族语言可以是高度模糊的,有几个相同的表面形式的解释,和形态丰富,有许多语素实现几个形态特征。对于方言内容来说,这一问题更加严重,因为方言内容更容易受到干扰,而且缺乏标准的正字法。形态特征可以是词汇化的,如词元和变音形式,或者是非词汇化的,如性别、数字和词性标签等。词汇化和非词汇化特征的联合建模可以识别更复杂的形态模式,这提供了更好的上下文建模,并进一步消除歧义的词汇选择。然而,不同的建模粒度会使关节建模更加困难。我们的方法联合建模不同的功能,无论是词汇化(在字符级别上),我们也模型表面形式规范化,或非词汇化(在单词级别上)。我们使用阿拉伯语作为测试用例,并实现了现代标准阿拉伯语的最新结果,相对误差减少了20%,埃及阿拉伯语(阿拉伯语的方言变体)减少了11%。
2019-10-05 cs.CL
LemMED: Fast and Effective Neural Morphological Analysis with Short Context Windows
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
我们提出了LemMED,一个字符级的编码器-解码器的上下文形态分析(结合词形化和标记)。LemMED扩展并以另外两个基于注意力的模型命名,即Lematus,一个上下文lemmatizer,和MED,一个形态(再)变化模型。我们的方法不需要训练单独的词形化和标记模型,也不需要额外的资源和工具,如形态词典或转换器。此外,LemMED仅依赖于字符级表示和本地上下文。虽然该模型原则上可以在句子级别上考虑全局上下文,但我们的实验表明,在每个目标词周围仅使用单个词的上下文不仅在计算上更可行,而且也会产生更好的结果。我们在SIMGMORPHON-2019共享任务的框架中评估LemMED,该任务涉及组合词形化和标记。在平均性能方面,LemMED在13个系统中排名第5,仅在使用上下文嵌入的提交中表现最好。
2020-10-21 cs.CL
The SIGMORPHON 2019 Shared Task: Morphological Analysis in Context and Cross-Lingual Transfer for Inflection
Johns Hopkins University(约翰斯·霍普金斯大学);University of Melbourne(墨尔本大学);Allen Institute for AI(艾伦人工智能研究所);Google(谷歌);University of Helsinki(赫尔辛基大学);Stony Brook University(石溪大学);University of Colorado(科罗拉多大学)
SIGMORPHON 2019分享了关于跨语言迁移和形态学语境分析的任务,研究了100种语言对之间的屈折变化的迁移学习,以及66种语言的语境词形化和形态句法描述。第一个任务通过考察形态屈折变化知识从高资源语言到低资源语言的迁移来发展过去几年的屈折变化任务。今年还提出了一个新的第二个挑战词形化和形态特征分析的背景。所有提交的作品都有一个神经组件,并建立在今年的强大基线或前几年共享任务的高排名系统上。每个参与团队的准确性都比拐点任务的基线有所提高(尽管不是Levenshtein距离),而上下文分析任务中的每个团队都在最先进的神经和非神经基线上有所提高。
2020-02-25 cs.CL
Lemma Dilemma: On Lemma Generation Without Domain- or Language-Specific Training Data
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学希茨中心 - Ixa,巴斯克国家大学UPV/EHU);Humboldt-Universität zu Berlin(柏林洪堡大学)
本文实证研究大型语言模型在无监督训练数据条件下的上下文词元化能力,发现LLMs仅凭少量示例即可在12种语言上达到最先进结果,优于域外微调的编码器方法。
2025-10-08 cs.CL
LemmaTag: Jointly Tagging and Lemmatizing for Morphologically-Rich Languages with BRNNs
Institute of Formal and Applied Linguistics(形式与应用语言学研究所);Department of Applied Mathematics(应用数学系);Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院)
我们提出了LemmaTag,这是一种无特征的神经网络架构,它通过使用具有字符级和单词级嵌入的双向RNN来联合生成句子的词性标签和词元。我们证明了这两个任务受益于共享网络的编码部分,预测标签子类别,并使用标签输出作为输入的lemmatizer。我们在几种具有复杂形态的语言中评估了我们的模型,该模型在捷克语、德语和阿拉伯语的词性标记和词形化方面都超过了最先进的准确性。
2018-08-27 cs.CL cs.LG cs.NE
Contextualized End-to-End Neural Entity Linking
BlackRock(贝莱德);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了另一种实体链接模型(YELM),它将单词链接到实体,而不是跨度。这克服了与选择好的候选提及跨度相关联的任何困难,并且使得提及检测(MD)和实体消歧(ED)的联合训练容易成为可能。我们的模型是基于BERT,并产生上下文化的词嵌入,这是对联合MD和ED目标的训练。我们在几个标准的实体链接(EL)数据集上实现了最先进的结果。
2020-11-07 cs.CL
Transformer-Based Contextualized Language Models Joint with Neural Networks for Natural Language Inference in Vietnamese
University of Information Technology(信息科技大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
本文研究越南语自然语言推理,提出将上下文语言模型与神经网络联合的方法,在ViNLI数据集上取得82.78%的F1分数,并优于多种微调预训练模型。
2024-11-21 cs.CL
JSPG: Dynamic Dictionary Filtering via Joint Semantic-Pinyin-Glyph Retrieval for Chinese Contextual ASR
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对中文上下文ASR中大规模关键词字典带来的噪声问题,本文提出JSPG框架,结合语义、拼音和字形特征进行联合检索,有效提升关键词识别准确率。
2026-05-16 cs.CL
myNER: Contextualized Burmese Named Entity Recognition with Bidirectional LSTM and fastText Embeddings via Joint Training with POS Tagging
NECTEC, NSTDA(泰国国家科技发展署电子与计算机技术国家中心);Assumption University(易三仓大学);KMITL(泰国国王科技大学);Akita University(秋田大学);Yangon(仰光)
本文提出缅甸语词级NER语料库myNER,结合POS标注,通过CRF、BiLSTM-CRF与fastText嵌入的联合训练实验,证明上下文嵌入和词性联合训练能显著提升低资源语言NER性能。
2025-04-05 cs.CL
Adversarial Transformer Language Models for Contextual Commonsense Inference
Massachusetts Institute of Technology(麻省理工学院);Boston University(波士顿大学);Dartmouth College(达特茅斯学院)
语境化或话语感知常识推断是生成连贯常识断言(即,一个故事,一个故事,一个故事。该任务的一些问题是:对推断事实的主题缺乏可控性;在训练期间缺乏常识知识;以及可能的幻觉或虚假事实。在这项工作中,我们利用一个Transformer模型为这项任务,并开发技术,以解决上述问题的任务。我们通过引入一种我们称之为“暗示”的新技术来控制推理。提示是一种语言模型提示,它利用硬提示(特定单词)和软提示(虚拟可学习模板)。这作为一个控制信号来建议语言模型“谈论什么”。接下来,我们建立了一个方法,执行联合推理与多个常识知识库。常识的联合推理需要小心,因为它是不精确的,一般性的水平更灵活。您希望确保结果对于上下文“仍然有意义”。为此,我们将来自三个知识图谱(ConceptNet,ATOMIC 2020和GLUCOSE)的断言的文本版本与故事和目标句子对齐。这种组合使我们能够训练单个模型来执行与多个知识图谱的联合推理。我们展示了三个知识图谱联合推理的实验结果。我们的最后一个贡献是探索一个GAN架构,生成上下文的常识断言,并通过一个可扩展性来对它们进行评分。其结果是一个集成系统的上下文常识推理的故事,可以可控地生成似是而非的常识断言,并利用多个常识知识库之间的联合推理。
2023-02-10 cs.CL
Rule-Guided Joint Embedding Learning over Knowledge Graphs
Wuhan University of Technology(武汉理工大学);Jianghan University(江汉大学);Wuhan University of Science and Technology(武汉科技大学)
针对现有知识图谱嵌入模型多依赖结构信息的问题,提出融合上下文与文本信号的图卷积嵌入模型,引入规则计算的置信度和文本相关性指标加权上下文,在基准数据集上优于强基线。
2025-08-30 cs.CL
Jointly Learning Clinical Entities and Relations with Contextual Language Models and Explicit Context
George Mason University(乔治梅森大学);University of Washington(华盛顿大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
我们假设,明确的上下文信息集成到一个多任务学习框架将强调上下文的重要性,以提高性能,共同学习命名实体识别(NER)和关系抽取(RE)。我们的工作通过将实体从其周围的上下文中分割出来并使用每个独立的片段构建上下文表示来证明这一假设。这种关系表示允许联合NER/RE系统在NER和RE任务上实现接近最先进(SOTA)的性能,同时在端到端NER和RE上以49.07 F1击败SOTA RE系统。
2021-02-17 cs.CL cs.LG
A Comparison of Architectures and Pretraining Methods for Contextualized Multilingual Word Embeddings
ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
在多语言自然语言处理(NLP)领域中,缺乏许多语言的注释数据是一个众所周知的挑战。因此,最近的许多研究集中在zero-shot迁移学习和跨语言的联合训练,以克服低资源语言的数据稀缺性。在这项工作中,我们(i)执行命名实体识别(NER)和词性(POS)标记任务的最先进的多语言单词和句子编码器的全面比较;和(ii)提出了一种新的方法,用于创建多语言上下文词嵌入,将其与多个基线进行比较,并显示它在zero-shot传输设置中的最先进水平或以上。最后,我们表明,我们的方法可以更好地在联合培训设置跨语言的知识共享。
2019-12-15 cs.CL
Speaker and Time-aware Joint Contextual Learning for Dialogue-act Classification in Counselling Conversations
BITS Pilani(比尔拉理工学院);Maharaja Agrasen Institute of Technology(马哈拉贾·阿格拉森理工学院);IIIT-Delhi(德里印度信息技术学院)
COVID-19疫情的爆发使人们的心理健康面临风险。在这种环境下,社会咨询具有非常重要的意义。与一般的目标导向型对话不同,患者和治疗师之间的对话是相当含蓄的,尽管对话的目标是非常明显的。在这种情况下,理解患者的意图对于在治疗过程中提供有效的咨询是必不可少的,这同样适用于对话系统。在这项工作中,我们在开发用于心理健康咨询的自动对话系统方面迈出了一小步,但这是重要的一步。我们开发了一个新的数据集,命名为希望,提供一个平台的对话行为分类在咨询会话。我们确定这样的对话的要求,并提出了12个特定领域的对话行为(DAC)标签。我们从YouTube上公开的咨询会议视频中收集了12.9K的话语,提取它们的成绩单,清理并用DAC标签注释它们。此外,我们提出了SPARTA,一个基于变压器的架构与一个新的扬声器和时间感知上下文学习的对话行为分类。我们的评估显示了令人信服的性能在几个基线,实现国家的最先进的希望。我们还补充我们的实验与广泛的实证和定性分析斯巴达。
2021-11-12 cs.CL
Contextual Aware Joint Probability Model Towards Question Answering System
Stanford University(斯坦福大学)
在本文中,我们解决了SQuAD 2.0数据集的问答挑战。我们设计了一个模型架构,利用BERT的上下文感知的词嵌入和Bioblog的上下文交互式探索机制的能力。通过整合这两个国家的最先进的架构,我们的系统试图提取上下文单词表示在单词和字符的水平,更好地理解问题和上下文及其相关性。我们还提出了我们原来的联合后验概率预测模块及其相关的损失函数。到目前为止,我们最好的模型在测试PCE排行榜上获得了75.842%的F1分数和72.24%的EM分数。
2019-04-17 cs.AI cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick(华威大学);Southeast University(东南大学)
我们提出了一种新的生成模型,以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是,我们假设,全球潜在的主题是共享的文件,一个词是由一个隐藏的语义向量编码其上下文语义含义,其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入,这自然解决了单词多义的问题。实验结果表明,该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外,与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比,该模型还提取了更多的连贯主题。最后,该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成,以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Sentence Embedding Models for Ancient Greek Using Multilingual Knowledge Distillation
Sattler College(萨特勒学院)
针对古希腊语缺乏训练数据难构建高质量句子嵌入模型的问题,研究采用多语言知识蒸馏方法,借助自建的希英平行句子数据集训练BERT模型生成古希腊语句子嵌入,在多项任务上验证了效果并公开了数据集。
2023-08-24 cs.CL
CALM: Joint Contextual Acoustic-Linguistic Modeling for Personalization of Multi-Speaker ASR
Honda Research Institute Japan Co., Ltd.(本田研究院日本株式会社);Carnegie Mellon University(卡内基梅隆大学)
CALM通过端到端框架整合目标说话人条件和上下文偏差,降低多说话人语音识别的词错误率和字符错误率,验证了跨语言的联合语音-语言建模有效性。
2026-05-13 cs.CL cs.SD eess.AS
Memory Consolidation for Contextual Spoken Language Understanding with Dialogue Logistic Inference
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
对话语境在口语语言理解(SLU)系统中被证明是有用的,并且它们通常被编码为外显记忆表征。然而,大多数以前的模型学习的上下文记忆只有一个目标,最大限度地提高SLU的性能,留下的上下文记忆开发不足。在本文中,我们提出了一个新的对话逻辑推理(DLI)任务巩固上下文记忆联合SLU在多任务框架。DLI被定义为将混洗的对话会话排序为其原始逻辑顺序,并且与SLU模型共享相同的存储器编码器和检索机制。我们的实验结果表明,各种流行的上下文SLU模型可以受益于我们的方法,和改进是相当令人印象深刻的,特别是在插槽填充。
2019-06-05 cs.CL
Contextual Joint Factor Acoustic Embeddings
University of Sheffield(谢菲尔德大学)
将声学信息嵌入到固定长度表示中对于语音和音频技术中的整个范围的应用是感兴趣的。提出了两种新的无监督的方法来生成声学嵌入的声学上下文建模。第一种方法是上下文联合因子合成编码器,其中编码器/解码器框架中的编码器被训练为从周围音频帧提取联合因子以最佳地生成目标输出。第二种方法是上下文联合因子分析编码器,其中编码器被训练为分析来自与相邻音频最佳相关的源信号的联合因子。为了评估我们的方法的有效性相比,以前的工作,两个任务进行-电话分类和说话人识别-和测试不同的TIMIT数据集。实验结果表明,所提出的方法优于电话分类基线,产生74.1%的分类准确率。当使用额外的域外数据进行训练时,对于电话分类和说话人识别任务,可以获得额外的3%的改进。
2021-02-05 cs.AI cs.CL cs.LG
CEDR: Contextualized Embeddings for Document Ranking
Georgetown University(乔治城大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
虽然最近对神经排序架构给予了相当大的关注,但对用作这些模型输入的术语表示的关注要少得多。在这项工作中,我们研究了两个预训练的上下文语言模型(ELMo和BERT)可以用于ad-hoc文档排序。通过对TREC基准测试的实验,我们发现几种现有的神经排名架构可以受益于上下文化语言模型提供的额外上下文。此外,我们提出了一种联合方法,将BERT的分类向量纳入现有的神经模型,并表明它优于最先进的ad-hoc排名基线。我们称这种联合方法为CEDR(上下文嵌入文档排序)。我们还解决了使用这些模型进行排名的实际挑战,包括由BERT施加的最大输入长度和上下文化语言模型的运行时性能影响。
2019-08-19 cs.CL cs.IR
Enhancing the Robustness of Contextual ASR to Varying Biasing Information Volumes Through Purified Semantic Correlation Joint Modeling
Research Center of Auditory Intelligence(听觉智能研究中心);School of Computer Science and Technology(计算机科学与技术学院);Faculty of Computing(计算学院);Harbin Institute of Technology(哈尔滨工业大学)
针对上下文ASR中偏置信息量变化影响识别性能的问题,提出PSC-Joint方法,通过联合建模列表级、短语级和词元级语义相关性并采用净化机制,在AISHELL-1和KeSpeech上分别提升F1分数21.34%和28.46%。
2025-09-07 cs.CL cs.SD eess.AS
Joint Contextual Modeling for ASR Correction and Language Understanding
Uber AI(优步人工智能实验室)
自动语音识别(ASR)的质量对于对话系统是至关重要的,因为ASR错误传播到并直接影响下游任务,例如语言理解(LU)。在本文中,我们提出了多任务神经方法来执行上下文语言校正的ASR输出与LU同时提高这两个任务的性能。为了衡量这种方法的有效性,我们使用了一个公共基准,第二次对话状态跟踪(DSTC 2)语料库。作为基线方法,我们训练了特定于任务的统计语言模型(SLM)和微调了最先进的广义预训练(GPT)语言模型,以重新排列n个最佳ASR假设,然后是识别对话行为和槽的模型。i)我们使用GPT和分层CNN-RNN模型进一步训练了排名模型,其中具有歧视性损失,以检测给定n-best假设的最佳输出。我们扩展了这些排名模型,首先选择最佳ASR输出,然后以端到端的方式识别对话行为和插槽。ii)我们还提出了一种新的联合ASR纠错和LU模型,一种在顶部具有多头自注意力的单词混淆指针网络(WCN-Ptr),它消耗从n-best填充的单词混淆。我们表明,现成的ASR和以下LU系统的出错率可以显着降低14%,相对于使用少量的域内数据训练的联合模型。
2020-01-28 cs.CL cs.LG cs.SD
Suppressing Pressure, Amplifying Evidence: Self-Guided Attention Steering to Mitigate Sycophancy and Stubbornness
Purdue University(普渡大学);The Ohio State University(俄亥俄州立大学);Analogy AI, Inc.(Analogy AI公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Northwestern University(西北大学)
针对语言模型谄媚与固执的权衡问题,提出无需训练的SPAE框架,通过自我引导注意力调控抑制用户压力、放大上下文证据,在CoPE-Bench上显著提升模型可靠性。
2026-10-06 cs.AI cs.CL
A Joint Neural Baseline for Concept, Assertion, and Relation Extraction from Clinical Text
Kyoto University(京都大学);Tokyo University of Technology(东京工科大学);National Institute of Informatics(国立信息学研究所)
本文提出了一种联合神经基线,用于联合优化临床文本中的概念、断言和关系提取任务,通过实验验证其在F1指标上的优越性。
2026-03-08 cs.AI cs.CL
Improving Contextual ASR via Multi-grained Fusion with Large Language Models
School of Computer Science and Technology, Soochow University(计算机科学与技术学院,苏州大学)
针对端到端ASR模型难以识别上下文关键词的问题,提出一种结合大型语言模型的多粒度融合方法,联合词元级与短语级融合并采用后期融合策略,在中英文数据集上实现了关键词识别的最先进性能并保持了非关键词文本的高准确率。
2025-07-16 cs.AI cs.CL
Joint Learning of Word and Label Embeddings for Sequence Labelling in Spoken Language Understanding
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Intapp Inc.(Intapp公司)
我们提出了一个架构,共同学习单词和标签嵌入槽填充口语语言理解。所提出的方法使用组合的词嵌入和直接的词标签关联从训练数据的标签编码。与最先进的方法相比,我们的方法不需要将标签嵌入作为输入的一部分,因此可以很好地适用于各种模型架构。此外,我们的架构计算单词和标签之间的上下文距离,以避免添加上下文窗口,从而减少内存占用。我们在已建立的口语对话数据集上验证了该方法,并表明它可以用更少的可训练参数实现最先进的性能。
2019-10-16 cs.AI cs.CL cs.LG
Contextual Augmentation for Entity Linking using Large Language Models
Data Science Group, Paderborn University(数据科学组,帕德博恩大学)
针对传统实体链接两步流程计算成本高、效果有限的问题,提出联合实体识别与消歧的微调模型,结合大语言模型进行上下文增强,在域外基准数据集上实现了当前最优性能。
2025-10-17 cs.AI cs.CL