Discriminating the matched named entity pairs or identifying the entities' canonical forms are critical in text mining tasks. More precise named entity normalization in text mining will benefit other subsequent text analytic applications. We built the named entity normalization model with a novel Edge Weight Updating Neural Network. Our proposed model when tested on four different datasets achieved state-of-the-art results. We, next, verify our model's performance on NCBI Disease, BC5CDR Disease, and BC5CDR Chemical databases, which are widely used named entity normalization datasets in the bioinformatics field. We also tested our model with our own financial named entity normalization dataset to validate the efficacy for more general applications. Using the constructed dataset, we differentiate named entity pairs. Our model achieved the highest named entity normalization performances in terms of various evaluation metrics.
A Novel Neural Network Training Framework with Data Assimilation
College of Information Science and Engineering, China University of Petroleum – Beijing（中国石油大学（北京）信息科学与工程学院）
近年来，深度学习的兴起给人工神经网络带来了革命性的变化。然而，在学习算法中的梯度依赖性和离线训练机制阻止了ANN的进一步改进。在这项研究中，提出了一个基于数据同化的无梯度训练框架，以避免梯度的计算。在数据同化算法中，预报和观测之间的误差协方差被用来优化参数。前馈神经网络（FNN）分别用梯度下降法、数据同化算法（EnkKF卡尔曼滤波器（EnKF）和EnkSmoother with Multiple Data Assimilation（ESMDA））训练。ESMDA通过使用所有可用的观测值更新参数，使用预定义的迭代来训练FNN，这可以被视为离线学习。EnKF算法在新观测值出现时通过更新参数来优化FNN，可以看作是在线学习。两个合成的情况下，一个正弦函数和墨西哥帽函数的回归假设，以验证所提出的框架的有效性。均方根误差（RMSE）和决定系数（R2）被用作评估不同方法性能的标准。实验结果表明，该训练框架的性能优于梯度下降法。所提出的框架提供了用于在线/离线训练现有ANN的替代方案（例如，卷积神经网络、递归神经网络）。
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
Mention Memory: incorporating textual knowledge into Transformers through entity mention attention
University of Southern California（南加利福尼亚大学）；Google（谷歌）；Google Research（谷歌研究院）
诸如开放域问答之类的自然语言理解任务通常需要从多个源检索和吸收事实信息。我们建议通过将大型文本语料库的半参数表示集成到Transformer模型中作为事实知识的来源来解决这个问题。具体来说，我们的方法表示知识与“提及记忆”，一个表的密集向量表示的每一个实体中提到的语料库。所提出的模型- TOME -是一个Transformer，它通过内部记忆层访问信息，其中输入通道中提到的每个实体都参与提到记忆。这种方法支持在单个Transformer模型中对许多不同的信息源进行合成和推理。在使用1.5亿次维基百科提及的记忆的实验中，TOME在几个开放领域知识密集型任务上实现了强大的性能，包括声明验证基准HoVer和FEVER以及几个基于实体的QA基准。我们还表明，该模型学习参加信息提及没有任何直接的监督。最后，我们证明了该模型可以推广到新的看不见的实体更新的内存，而无需再训练。
Consistency-Aware Editing for Entity-level Unlearning in Language Models
Shanxi University, China（山西大学）；Cardiff University, UK（卡地夫大学）；Singapore University of Technology and Design, Singapore（新加坡科技设计大学）；ILCC, School of Informatics, University of Edinburgh, Edinburgh, UK（爱丁堡大学信息学院ILCC）
Related Knowledge Perturbation Matters: Rethinking Multiple Pieces of Knowledge Editing in Same-Subject
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；People’s Public Security University of China（中国人民公安大学）
Correct When Paired, Wrong When Split: Decoupling and Editing Modality-Specific Neurons in MLLMs
School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）；School of Software, Yunnan University（云南大学软件学院）；National University of Singapore（新加坡国立大学）；School of Engineering, Yunnan University（云南大学工程学院）
CoreEval: Automatically Building Contamination-Resilient Datasets with Real-World Knowledge toward Reliable LLM Evaluation
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）；The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
