Detecting and analyzing missing citations to published scientific entities
Xiamen University（厦门大学）
在学术写作中，正确的引文是积累知识、维护学术诚信的重要手段。然而，正确引用并不是一件容易的事情。对于已发表的科学实体，不断增长的学术出版物和对术语的过度熟悉很容易导致引文缺失。针对这一情况，我们设计了一种基于已发表科学实体与文献中引文共现的引文推荐方法（CRPSE）。实验结果表明，我们的方法在推荐源文件出版的科学实体的有效性。我们进一步对2020年著名计算机科学会议发表的论文中的缺失引文进行了统计分析。在所收集的12,278篇论文中，发现475篇计算机科学和数学的已发表科学实体存在引文缺失。许多没有引用的实体被认为是公认的研究成果。在中位数的基础上，提出这些缺失引用的已发表科学实体的论文是在8年前发表的，这可以被认为是已发表科学实体发展成为一个被广泛接受的概念的时间框架。对于已发表的科学实体，我们呼吁按照学术标准的要求准确和完整地引用其源论文。
2022-10-18 cs.AI cs.CL cs.DL
Find the Funding: Entity Linking with Incomplete Funding Knowledge Bases
Radboud University（拉德堡德大学）；Elsevier（爱思唯尔）
从学术文章中自动提取资金信息为行业和研究社区增加了重要价值，例如跟踪资助组织的研究成果，根据收到的资金对研究人员和大学进行分析，以及支持开放获取政策。识别和链接资助实体的两个主要挑战是：（i）知识库（KB）的稀疏图结构，这使得常用的基于图的实体链接方法对于资助领域不是最佳的，（ii）知识库中的缺失实体，这（与最近的zero-shot方法不同）需要将没有知识库条目的实体提及标记为NIL。我们提出了一个实体链接模型，可以执行NIL预测，并以时间和数据有效的方式克服数据稀缺问题。我们的模型建立在一个基于transformer的提及检测和双编码器模型来执行实体链接。我们表明，我们的模型优于强大的现有基线。
2022-09-20 cs.CL cs.LG
Construction of a Syntactic Analysis Map for Yi Shui School through Text Mining and Natural Language Processing Research
Hebei University（河北大学）
本研究针对易水学派中医古籍非结构化文本，基于条件随机场构建实体关系抽取模型，结合TF-IDF和神经网络依存句法分析提取关键实体并可视化语法关系，为构建知识图谱奠定基础。
2024-02-16 cs.CL
Academic case reports lack diversity: Assessing the presence and diversity of sociodemographic and behavioral factors related to Post COVID-19 Condition
Dalla Lana School of Public Health, University of Toronto（多伦多大学达拉纳公共卫生学院）；York University（约克大学）；Vector Institute（矢量研究院）；Public Health Ontario（安大略省公共卫生局）
本研究利用NLP技术分析COVID-19后遗症病例报告中的社会健康决定因素，构建语料库并评估NER模型，发现BERT优于RNN，且敏感类别代表性不足。
2025-02-24 cs.AI cs.CL
AceKG: A Large-scale Knowledge Graph for Academic Data Mining
Shanghai Jiao Tong University（上海交通大学）
学术领域现有的知识图谱存在多关系信息不足、名称不明确、数据格式不适合大规模机器处理等问题。本文介绍了AceKG，一种新的学术领域的大型KG。AceKG不仅提供干净的学术信息，还为研究人员提供了一个大规模的基准数据集，以进行具有挑战性的数据采掘项目，包括链接预测，社区发现和学者分类。具体来说，AceKG基于一致的本体描述了31.3亿个三元组的学术事实，包括论文、作者、研究领域、地点和机构的必要属性，以及它们之间的关系。为了丰富所提出的知识图谱，我们还执行实体对齐与现有的数据库和基于规则的推理。基于AceKG，我们进行了三个典型的学术数据采掘任务的实验，并评估了几个国家的最先进的知识嵌入和网络表示学习方法的基准数据集从AceKG。最后，我们讨论了几个有前途的研究方向，受益于AceKG。
2018-08-07 cs.AI cs.CL cs.IR
BERT Goes to Law School: Quantifying the Competitive Advantage of Access to Large Legal Corpora in Contract Understanding
Lexion
在特定领域的语料库上微调语言模型，如BERT，已被证明在科学论文和生物医学文本等领域有价值。在本文中，我们表明，微调BERT的法律文件同样提供了宝贵的改善自然语言处理任务的法律领域。证明这一结果对于分析商业协议具有重要意义，因为由于其机密性，获得大型法律语料库具有挑战性。因此，我们表明，能够访问大型法律语料库是商业应用和分析合同的学术研究的竞争优势。
2019-11-01 cs.AI cs.CL cs.LG
Covidia: COVID-19 Interdisciplinary Academic Knowledge Graph
Shanghai Jiao Tong University（上海交通大学）
本文提出COVID-19跨学科学术知识图谱Covidia，通过对比学习分类框架和知识图谱方案实现跨领域知识抽取与整合，并建立研究社区发现与链接预测基准。
2023-04-14 cs.CL cs.IR
Representation Learning of Entities and Documents from Knowledge Base Descriptions
Studio Ousia；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）
在本文中，我们描述了TextEnt，一个神经网络模型，直接从知识库（KB）学习实体和文档的分布式表示。给定由单词和实体注释组成的KB中的文档，我们训练我们的模型来预测文档描述的实体，并将文档及其目标实体映射到连续向量空间中彼此接近。我们的模型使用从维基百科提取的大量文档进行训练。使用两个任务，即细粒度的实体类型和多类文本分类的性能进行评估的模型。结果表明，我们的模型在这两项任务上都达到了最先进的性能。该代码和经过训练的表示可在网上获得，以供进一步的学术研究。
2018-06-08 cs.CL cs.NE
LTNER: Large Language Model Tagging for Named Entity Recognition with Contextualized Entity Marking
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出 LTNER 框架，通过上下文化实体标记生成方法和基于 GPT-3.5 的免训练上下文学习提升 NER 性能，在 CoNLL03 上将 F1 从 85.9% 提高到 91.9%。
2024-04-08 cs.AI cs.CL
CE-GOCD: Central Entity-Guided Graph Optimization for Community Detection to Augment LLM Scientific Question Answering
Harbin Institute of Technology, Harbin, China（哈尔滨工业大学）；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research, China（认知智能国家重点实验室）
CE-GOCD通过构建和利用学术知识图谱的语义子结构，提升LLM在科学问答中的表现，通过中心实体引导的图优化和社区检测增强问答的准确性和全面性。
2026-01-29 cs.CL
Earnings-21: A Practical Benchmark for ASR in the Wild
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（卓越人类语言技术中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
常用的语音语料库不足以挑战学术和商业ASR系统。特别是，语音语料库缺乏详细的分析和WER测量所需的元数据。作为回应，我们提出了Earnings-21，这是一个39小时的财报电话语料库，包含来自九个不同金融行业的实体密集语音。该语料库旨在对ASR系统进行基准测试，特别关注命名实体识别。我们对四种商业ASR模型、两种使用开源工具构建的内部模型和一种开源LibriSpeech模型进行了基准测试，并讨论了它们在Earnings-21上的表现差异。使用我们最近发布的fstalign工具，我们提供了一个坦率的分析每个模型的识别能力在不同的分区。我们的分析发现，ASR的准确性，某些NER类别是穷人，提出了一个显着的障碍，成绩单的理解和使用。Earnings-21连接学术和商业ASR系统评估，并支持对实体建模和真实世界音频的WER进行进一步研究。
2021-06-16 cs.CL cs.SD eess.AS
Exploring Novelty Differences between Industry and Academia: A Knowledge Entity-centric Perspective
Department of Information Management, Nanjing University of Science and Technology（南京理工大学信息管理学院）；School of Management, Anhui University（安徽大学管理学院）
本文通过分析四种细粒度知识实体，量化创新程度，发现学术界在专利中创新产出更高，而产业界在数据集方面更具优势，学术产业合作对论文创新影响有限，但对专利创新有帮助。
2026-03-16 cs.CL cs.CY cs.DL
Quantifying Similarity between Relations with Fact Distribution
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了一个概念上简单而有效的方法来量化知识库中的关系之间的相似性。具体来说，我们的方法是基于实体对的条件概率分布之间的分歧。在本文中，这些分布参数化的一个非常简单的神经网络。虽然计算精确的相似性是in-tractable，我们提供了一个基于采样的方法来得到一个很好的近似。我们的经验表明，我们的方法的输出显着相关的人类判断。通过将我们的方法应用到各种任务中，我们还发现：（1）我们的方法可以有效地检测由开放信息抽取（Open IE）模型提取的冗余关系，（2）即使是最具竞争力的关系分类模型仍然会在非常相似的关系中出错，（3）我们的方法可以并入负采样和softmax分类中以减轻这些错误。本文的源代码和实验细节可以从https://github.com/thunlp/relation-similarity获得。
2019-07-21 cs.AI cs.CL cs.LG
TexSmart: A Text Understanding System for Fine-Grained NER and Enhanced Semantic Analysis
Tencent AI（腾讯人工智能）
本技术报告介绍了TexSmart，一个文本理解系统，支持细粒度的命名实体识别（NER）和增强的语义分析功能。与以前大多数公开的文本理解系统和工具相比，TexSmart具有一些独特的功能。首先，TexSmart的NER功能支持超过1，000种实体类型，而大多数其他公共工具通常支持几个到（最多）几十个实体类型。其次，TexSmart引入了新的语义分析功能，如语义扩展和深层语义表示，这在大多数以前的系统中都没有。第三，一系列算法（从非常快的算法到相对较慢但更准确的算法）在TexSmart中为一个功能实现，以满足不同学术和工业应用的要求。特别强调采用无监督或弱监督算法，目的是轻松更新我们的模型，以包含更少的人工注释工作的新数据。本报告的主要内容包括TexSmart的主要功能、实现这些功能的算法、如何使用TexSmart工具包和Web API以及一些关键算法的评估结果。
2020-12-31 cs.CL
Learning Distributed Representations of Texts and Entities from Knowledge Base
Studio Ousia；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；National Institute of Informatics（国立情报学研究所）；Keio University（庆应义塾大学）
我们描述了一个神经网络模型，共同学习分布式表示的文本和知识库（KB）的实体。给定知识库中的文本，我们训练我们提出的模型来预测与文本相关的实体。我们的模型被设计为通用的，能够轻松地解决各种NLP任务。我们训练模型使用一个大型语料库的文本和他们的实体注释提取自维基百科。我们在三个重要的NLP任务（即，句子文本相似性、实体链接和仿真问答），涉及无监督和监督设置。因此，我们在这三项任务上都取得了最先进的成果。我们的代码和训练模型可供进一步的学术研究公开使用。
2017-11-07 cs.CL cs.NE
Bag of Lies: Robustness in Continuous Pre-training BERT
University of Antwerp（安特卫普大学）；CLiPS
该研究以 COVID-19 为案例，通过错误信息和乱序输入等对抗实验评估持续预训练 BERT，并发布包含 LitCovid 原文及 AI 虚假对应文本的新数据集。
2024-06-14 cs.CL
Unsupervised Hierarchical Grouping of Knowledge Graph Entities
Data Science Institute（数据科学研究所）；Insight Centre for Data Analytics（洞察数据分析中心）；National University of Ireland Galway（爱尔兰国立高威大学）
知识图谱在学术界和工业界引起了广泛的关注。尽管它们很有用，但流行的知识图谱遭受信息不完整的困扰，特别是在它们的类型断言中。这鼓励了自动发现实体类型的研究。在此背景下，开发了多项工作来利用本体上的逻辑推理和统计机器学习方法来学习知识图谱中的类型断言。然而，这些方法在噪声数据上的性能有限，可扩展性有限，并且依赖于标记的训练样本。在这项工作中，我们提出了一种新的无监督的方法，学习分类实体到一个层次结构的命名组。我们表明，我们的方法是能够有效地学习实体组使用一个可扩展的程序在嘈杂和稀疏的数据集。我们在一组流行的知识图谱基准测试数据集上实验了我们的方法，并发布了结果组层次结构的集合。
2019-08-20 cs.AI cs.CL cs.IR
Quantifying Compositionality of Classic and State-of-the-Art Embeddings
University of Oxford（牛津大学）；University of Bristol（布里斯托大学）；University of Amsterdam（阿姆斯特丹大学）
本文提出一种两步评估方法，通过典型相关分析和重建指标量化不同嵌入（包括静态、Transformer和图模型）的加性组合性，发现后期训练和深层中组合性更强。
2025-09-14 cs.AI cs.CL
KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding
Embibe；University of South Carolina（南卡罗来纳大学）
由最先进的基于转换器的语言模型（TLM）（如BERT、GPT、T5等）学习的上下文实体表示，利用注意力机制从训练数据语料库中学习数据上下文。然而，这些模型不使用知识背景。知识上下文可以理解为知识图谱中实体及其与相邻实体之间关系的语义。我们提出了一种新的和有效的技术，注入知识上下文从多个知识图谱的概念和模糊的实体到TLM在微调。该算法将知识图谱嵌入到齐次向量空间中，为实体引入新的标记类型，对齐实体位置ID，并引入选择性注意力机制。我们以BERT为基准模型，通过注入ConceptNet和WordNet中的知识上下文实现了“知识注入的BERT”，在GLUE基准测试的8个不同子任务上，该模型的性能明显优于BERT和其他最近的知识感知BERT变体，如ERNIE，SenseBERT和BERT_CS。KI-BERT-base模型甚至在特定领域的任务（如SciTail和QQP、QNLI和MNLI的学术子集）上的表现明显优于BERT-large。
2021-09-03 cs.AI cs.CL cs.LG
NameRec*: Highly Accurate and Fine-grained Person Name Recognition
The University of Melbourne（墨尔本大学）
在本文中，我们介绍了NameRec* 任务，其目的是进行高度准确和细粒度的人名识别。传统的命名实体识别模型在从具有一致和完整语法的文本（例如新闻文章）中识别格式良好的人名方面具有良好的性能。然而，有快速增长的情况下，句子是不完整的语法和名称是在各种形式，如用户生成的内容和学术主页。为了解决在这种情况下的人名识别，我们提出了一个细粒度的注释计划的基础上anthroponymy。为了充分利用细粒度的注释，我们提出了一个共同指导的神经网络（CogNN）的人名识别。CogNN充分挖掘了句子内部的语境和丰富的训练信号的名称形式。为了更好地利用句子间的上下文和隐含关系，这是非常必要的识别长文档中的人名，我们进一步提出了一个句子间的BERT模型（IsBERT）。IsBERT具有重叠输入处理器和具有双向重叠上下文嵌入学习和多跳推理机制的句间编码器。为了从具有不同丰富上下文的不同文档中获益，我们提出了一种先进的自适应句间BERT模型（Ada-Is BERT），动态调整不同文档的句间重叠率。我们进行了广泛的实验，以证明所提出的方法在学术主页和新闻文章的优越性。
2021-03-23 cs.CL
The impact of fine tuning in LLaMA on hallucinations for named entity extraction in legal documentation
FaCENA, Universidad Nacional del Nordeste（法塞纳国立东北大学）；Legalhub S. A.（Legalhub公司）；Instituto de Modelado e Innovación Tecnológica, CONICET（模型与技术创新研究所，CONICET）
针对法律文书交通事故实体抽取，本文比较分段向量化与正则表达式方法，并评估LLaMA的LoRA微调效果，证明其可显著减少幻觉、提升准确率。
2025-06-10 cs.AI cs.CL
Good Idea or Not, Representation of LLM Could Tell
Shanghai Jiao Tong University（上海交通大学）；IGSNRR, Chinese Academy of Sciences（中国科学院地理科学与资源研究所）
本研究利用大型语言模型特定层的表示来量化科学想法的价值，发布了近四千篇论文的基准数据集，实验证明其方法预测分数与人类评分一致，且优于生成式输出。
2024-09-07 cs.AI cs.CL
Into the Single Cell Multiverse: an End-to-End Dataset for Procedural Knowledge Extraction in Biomedical Texts
Rice University（莱斯大学）；University of Washington（华盛顿大学）
针对生物医学文本程序性知识提取缺乏端到端数据集的问题，提出FlaMBé数据集，涵盖单细胞研究流程标注及最大规模组织/细胞类型NER/NED数据，助力NLP模型发展并推动研究可重复性。
2023-09-04 cs.CL
Quantification and Analysis of Scientific Language Variation Across Research Fields
University of California, Los Angeles（加州大学洛杉矶分校）
对不同学术领域术语差异的量化一直是一个有待解决的问题。提出了一种基于神经语言模型的计算方法，通过捕捉术语的语义变化来分析科学研究领域之间的语言差异。该模型是在五个计算机科学研究领域的大量文献集上训练的，为此我们获得了关键术语的特定于领域的向量表示，以及其他单词的全局向量表示。几种定量的方法被引入到确定的术语，其语义发生了巨大的变化，或保持不变，在不同的研究领域。我们还提出了一个指标来量化研究领域的整体语言变化。在对人类注释数据进行定量评估并与其他方法进行定性比较后，我们表明我们的模型可以通过识别跨学科研究中可能引起混淆的术语来改善跨学科数据协作。
2018-12-04 cs.CL cs.LG
From Text to Network: Constructing a Knowledge Graph of Taiwan-Based China Studies Using Generative AI
Graduate Institute of Health and Biotechnology Law, Taipei Medical University（健康与生物技术法研究生院，台北医学大学）
本文提出结合 GAI 与 LLM，从 1,367 篇台湾中国研究论文中抽取实体关系三元组，并基于 D3.js 构建知识图谱与向量数据库，以支持网络化知识导航。
2025-05-15 cs.AI cs.CL
Knowledge Graph Induction enabling Recommending and Trend Analysis: A Corporate Research Community Use Case
IBM Research AI（IBM研究院人工智能部门）
研究部门在推动组织创新方面发挥着重要作用。随着信息量在速度和数量上的增长，对研究人员和管理人员来说，获取洞察力、跟踪趋势、跟上新研究的步伐以及制定战略越来越具有挑战性。在本文中，我们提出了一个使用案例，如何企业的研究社区，IBM研究，利用语义Web技术，以诱导一个统一的知识图谱从结构化和文本数据，通过整合各种应用程序所使用的社区相关的研究项目，学术论文，数据集，成就和认可。为了使应用程序开发人员更容易访问知识图谱，我们确定了一组用于利用诱导知识的通用模式，并将其公开为API。这些模式诞生于用户研究，确定了最有价值的用例或用户痛点。我们概述了两种不同的场景：推荐和业务分析。我们将详细讨论这些情况，并提供一个具体的实体推荐的实证评估。所采用的方法和从这项工作中吸取的经验教训可适用于面临类似挑战的其他组织。
2022-09-15 cs.AI cs.CL cs.IR
