首页/论文/2102.08818

arXiv 2102.088182021-02cs.CL

SciDr在SDU-2020：IDEAS --识别科学领域的日常首字母缩略词并消除歧义

SciDr at SDU-2020: IDEAS -- Identifying and Disambiguating Everyday Acronyms for Scientific Domain

Indian Institute of Technology (Indian School of Mines) Dhanbad（印度理工学院（印度矿业学院）丹巴德分校）

Aadarsh Singh, Priyanshu Kumar

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们提出了我们的系统提交的共享任务的首字母缩略词识别（AI）和首字母缩略词消歧（AD）下举行的工作坊SDU。我们主要用BERT和SciBERT进行实验。此外，我们还评估了“无生物”标记和混合的有效性以及AI集成的威力。对于AD，我们将问题制定为跨度预测任务，尝试不同的训练技术，并利用外部数据。我们的系统在AI和AD任务中分别排名第11和第3。

英文摘要：

We present our systems submitted for the shared tasks of Acronym Identification (AI) and Acronym Disambiguation (AD) held under Workshop on SDU. We mainly experiment with BERT and SciBERT. In addition, we assess the effectiveness of "BIOless" tagging and blending along with the prowess of ensembling in AI. For AD, we formulate the problem as a span prediction task, experiment with different training techniques and also leverage the use of external data. Our systems rank 11th and 3rd in AI and AD tasks respectively.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

AT-BERT：对抗性训练BERT首字母缩写词识别SDU @ AAAI-21的获胜解决方案

AT-BERT: Adversarial Training BERT for Acronym Identification Winning Solution for SDU@AAAI-21

Alibaba Group（阿里巴巴集团）

首字母缩略词识别的重点是发现首字母缩略词和被缩写的短语，这对于科学文档理解任务至关重要。然而，手动标注的数据集的有限大小阻碍了问题的进一步改善。最近在大型语料库上预训练的语言模型的突破清楚地表明，无监督的预训练可以大大提高下游任务的性能。在本文中，我们提出了一种名为AT-BERT的对抗性训练BERT方法，这是我们为AAAI 2021年科学文档理解（SDU）挑战赛的首字母缩略词识别任务提供的获胜解决方案。具体地，采用预训练的BERT来捕获更好的语义表示。然后，我们将FGM对抗训练策略融入到BERT的微调中，使模型更具鲁棒性和通用性。此外，一个集成机制，设计涉及从多个BERT变量学习的表示。将所有这些组件组装在一起，在SciAI数据集上的实验结果表明，我们提出的方法优于所有其他具有竞争力的最先进的方法。

2021-01-12cs.CL

科学文档理解中的首字母缩略词识别与消歧

Acronym Identification and Disambiguation Shared Tasks for Scientific Document Understanding

University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）；Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）

缩略语是较长短语的缩写形式，经常用于写作，特别是学术写作，以节省空间并促进信息交流。因此，每个文本理解工具都应该能够识别文本中的首字母缩略词（即，首字母缩略词识别）并且还找到它们的正确含义（即，首字母缩略词消歧）。由于这些任务的大多数先前工作仅限于生物医学领域，并且使用在有限数据集上训练的无监督方法或模型，因此它们无法很好地执行科学文档理解。为了推动这一方向的研究，我们组织了两个共享的任务，分别命名为AI@SDU和AD@SDU的首字母缩略词识别和首字母缩略词消歧的科学文献。这两项共同任务分别吸引了52名和43名参与者。虽然提交的系统与现有的基线相比有了很大的改进，但仍然远远没有达到人类水平的性能。本文回顾了这两个共享任务以及它们各自的主要参与系统。

2021-01-06cs.CL

Primer AI的首字母缩略词识别与消歧系统

Primer AI's Systems for Acronym Identification and Disambiguation

Primer AI（Primer AI公司）

模糊首字母缩略词的流行使得人类和机器都更难理解科学文档，这就需要能够自动识别文本中的首字母缩略词并消除其含义的模型。我们引入了新的方法来识别和消歧首字母缩略词：我们的首字母缩略词识别模型项目学习令牌嵌入到标签预测，和我们的首字母缩略词消歧模型发现训练样本与类似的句子嵌入作为测试的例子。我们的两个系统都比以前提出的方法获得了显着的性能增益，并在SDU@AAAI-21共享任务排行榜上表现出竞争力。我们的模型部分是在新的远程监督数据集上进行训练的，我们称之为CNOMAI和CNOMAD。我们还在SciAD数据集中发现了一个重复冲突问题，并形成了一个去重复版本的SciAD，我们称之为SciAD-dedupe。我们公开发布了这三个数据集，希望它们能帮助社区在科学文档理解方面取得更大的进步。

2021-01-06cs.CLcs.LG

多语种首字母缩略词抽取的领域自适应预训练

Domain Adaptive Pretraining for Multilingual Acronym Extraction

Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（路德维希-马克西米利安-慕尼黑大学））

本文介绍了我们参与多语言缩略词提取共享任务SDU@AAAI-22的发现。该任务包括从科学和法律领域内的6种语言的文档中提取首字母缩略词。为了解决多语言首字母缩略词提取问题，我们采用了BiLSTM-CRF与多语言XLM-RoBERTA嵌入。我们在共享任务语料库上预训练了XLM-RoBERTa模型，以进一步使XLM-RoBERTa嵌入适应共享任务域。我们的系统（团队：SMR-NLP）在所有语言的缩略词提取方面都取得了有竞争力的性能。

2022-06-30cs.CL

基于BERT的多训练策略首字母缩略词消歧

BERT-based Acronym Disambiguation with Multiple Training Strategies

DeepBlue Technology (Shanghai) Co., Ltd（深兰科技（上海）有限公司）

首字母缩略词消歧（AD）任务的目的是找到一个歧义的首字母缩略词在一个给定的句子中的正确扩展。虽然使用首字母缩略词很方便，但有时它们可能很难理解。识别首字母缩略词的适当扩展是自然语言处理中的一项实际任务。针对AD在科学领域的研究较少的现状，本文提出了一种结合BERT和动态负样本选择、任务自适应预训练、对抗训练和伪标记等训练策略的二元分类模型。在SciAD上的实验结果表明了该模型的有效性，在SDU@AAAI-21共享任务2：首字母缩略词消歧中，该模型的成绩排名第一。

2021-03-02cs.CL

ADBCMM：通过建立反事实和多语言混合的首字母缩略词消歧

ADBCMM : Acronym Disambiguation by Building Counterfactuals and Multilingual Mixing

National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）

科学文献通常包含大量的首字母缩略词。对这些首字母缩略词的消歧将有助于研究人员更好地理解文档中词汇的含义。过去，由于大量的英文文献数据，缩略词任务主要应用于英文文献。然而，对于其他低资源的语言，由于缺乏大量的注释数据，该任务很难获得良好的性能，并且受到较少的关注。针对上述问题，本文提出了一种新的缩略词消歧方法ADBCMM，该方法通过构建反事实和多语言混合来显著提高低资源语言的性能。具体来说，通过平衡低资源语言中的数据偏差，ADBCMM将能够提高数据集之外的测试性能。在SDU@AAAI-22 - Shared Task 2：Acronym Disambiguation中，该方法获得了法语和西班牙语的第一名。你可以在这里重复我们的结果https://github.com/WENGSYX/ADBCMM。

2022-02-05cs.AIcs.CL

更多相关论文收起更多论文

SimCLAD：一个简单的缩略语消歧对比学习框架

SimCLAD: A Simple Framework for Contrastive Learning of Acronym Disambiguation

College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）

首字母缩略词消歧是指从词典中找到一个有歧义的首字母缩略词在给定句子中的正确含义，这是科学文档理解的关键点之一（SDU@AAAI-22）。最近，许多尝试试图通过微调预训练的掩蔽语言模型（MLM）来解决这个问题，以获得更好的首字母缩略词表示。然而，缩略词的意义在不同的上下文中是不同的，其对应的短语表示在不同的方向上映射在整个向量空间中缺乏区分。因此，预先训练的MLM的原始表示对于首字母缩略词消歧任务并不理想。在本文中，我们提出了一个简单的框架对比学习的首字母缩略词消歧（SimCLAD）方法，以更好地理解首字母缩略词的含义。具体来说，我们设计了一种持续对比的预训练方法，通过学习真实含义和歧义短语之间的短语级对比分布来增强预训练模型的泛化能力。对英文科技领域首字母缩略词的消歧实验结果表明，该方法优于所有其他竞争性最先进（SOTA）方法。

2021-12-09cs.AIcs.CL

CABACE：注入字符序列信息和领域知识以增强首字母缩略词和长格式提取

CABACE: Injecting Character Sequence Information and Domain Knowledge for Enhanced Acronym and Long-Form Extraction

Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）

首字母缩略词和长形式在研究文件中很常见，在科学和法律领域的文件中更是如此。这些文档中使用的许多首字母缩略词都是特定于领域的，很少在普通文本语料库中找到。因此，基于transformer的NLP模型通常会检测首字母缩略词标记的OOV（Out of Vocabulary），特别是对于非英语语言，并且在提取过程中将首字母缩略词链接到其长形式时，其性能会受到影响。此外，像BERT这样的预训练的Transformer模型并不专门处理科学和法律文档。这些要点是这项工作背后的首要动机，我们提出了一个新的框架CABACE：字母缩写词提取的字符感知BERT，它考虑到文本中的字符序列，并适应于科学和法律领域的掩蔽语言建模。我们进一步使用具有增强的损失函数的目标，将最大损失和掩码损失项添加到用于训练CABACE的标准交叉熵损失。我们进一步利用伪标签和对抗性数据生成来提高框架的通用性。实验结果证明了所提出的框架相比，各种基线的优越性。此外，我们表明，所提出的框架比基线模型更适合zero-shot推广到非英语语言，从而加强了我们的方法的有效性。我们的团队BacKGProp在SDU AAAI-22的首字母缩略词提取（AE）共享任务的全球排行榜上获得了法语数据集的最高分，丹麦语和越南语的第二高分，以及英语法律数据集的第三高分。

2021-12-25cs.AIcs.CLcs.IR