Automatic Translating between Ancient Chinese and Contemporary Chinese with Limited Aligned Corpora
Peking University（北京大学）
汉语在长期的发展过程中发生了很大的变化。因此，以汉语为母语的人现在在阅读古代汉语句子时有困难。在本文中，我们提出了建立一个端到端的神经模型，以自动翻译古代和现代汉语。然而，现有的古今汉语平行语料库在句子层面上的对齐程度不高，而且能够对齐的语料有限，这给模型的训练带来了困难。为了构建模型的句子级并行训练数据，我们提出了一种无监督的算法，该算法通过使用对齐的句子对共享许多标记的事实来构建对齐的古今对。基于对齐后的语料库，我们提出了一个具有复制机制和局部注意的端到端神经模型，用于古今汉语翻译。实验结果表明，本文提出的无监督算法在句子对齐方面取得了99.4%F1的成绩，翻译模型从古代到现代的BLEU达到26.95，从现代到古代的BLEU达到36.34。
2022-10-13 cs.CL
An Algorithm for Aligning Sentences in Bilingual Corpora Using Lexical Information
在本文中，我们描述了一个算法，在双语语料库中使用的词汇信息的语言与他们的翻译对齐的句子。现有的有效算法忽略了词的身份，只考虑句子的长度（布朗，1991年;盖尔和教会，1993年）。对于源语言文本中的一个句子，该算法利用词汇信息和一定的语义学从目标语言文本中挑选最可能的翻译。它不使用句子长度进行统计分析。该算法是语言独立的。它还有助于检测翻译中文本的添加和删除。该算法在大多数情况下给出了与现有算法相当的结果，而在统计算法没有给出良好结果的情况下，它做得更好。
2003-02-12 cs.CL
Interactive Extractive Search over Biomedical Corpora
Allen Institute for AI（艾伦人工智能研究所）；Bar Ilan University（巴伊兰大学）；Tel Aviv University（特拉维夫大学）
我们提出了一个系统，允许生命科学研究人员搜索语言注释语料库的科学文本使用模式依赖图，以及使用模式令牌序列和布尔关键字查询的一个强大的变种。与以前的尝试依赖性为基础的搜索，我们引入了一个轻量级的查询语言，不需要用户知道的细节的基础语言表示，而是查询语料库提供一个简单的标记加上例句。由于高效的语言图索引和检索引擎，搜索以交互式速度进行。这允许用户查询的快速探索、开发和细化。我们使用两个语料库的示例工作流演示了该系统：PubMed语料库，包括14，446，243 PubMed摘要和CORD-19数据集，收集了超过45，000篇关于COVID-19研究的研究论文。该系统可在https://allenai.github.io/spike上公开获取
2020-06-07 cs.CL cs.IR
Samanantar: The Largest Publicly Available Parallel Corpora Collection for 11 Indic Languages
RBCDSAI；Tarento Technologies（塔伦托科技公司）；IIT Madras（马德拉斯印度理工学院）；AI4Bharat；EkStep Foundation（EkStep基金会）；Microsoft（微软公司）
本研究推出面向11种印度语言的最大公开平行语料库Samanantar，通过多源挖掘将规模提升4倍，基于其训练的多语言NMT模型在公开基准上表现更优，相关资源已公开以助力印度语言的NLP研究。
2023-06-12 cs.CL
Align and Shine: Building High-Quality Sentence-Aligned Corpora for Multilingual Text Simplification
Centre for Translation, Localisation and Interpreting Studies（翻译、本地化与诠释研究中心）；School of Languages, Cultures and Societies（语言、文化和社会学院）；University of Leeds, UK（利兹大学）
本文通过收集和处理可比语料库中的众包简化数据，构建了多语言文本简化任务的高质量句子对语料库，解决了其他语言缺乏大规模高质量数据的问题。
2026-05-10 cs.AI cs.CL
Detecting Context Dependence in Exercise Item Candidates Selected from Corpora
Swedish Language Bank, University of Gothenburg（哥德堡大学瑞典语语料库）
我们探讨的因素，影响其较大的文本背景下，以自动识别候选句子的语言学习练习语料库，这是在隔离的依赖单句。以前没有对这一问题进行过深入调查。理解这一方面可以有助于更有效地选择候选句子，除了减少项目写作所需的时间外，还可以确保更高程度的可变性和真实性。我们提出了一套相关方面收集的基础上定性分析的一组较小的上下文相关的语料库例句。此外，我们实现了一个基于规则的算法，使用这些标准，实现了0.76的平均精度为识别不同的问题相关的上下文依赖。该方法也进行了经验评估，其中80%的句子，我们的系统没有检测到上下文相关的元素也被认为是上下文无关的人类评分。
2016-05-06 cs.CL
AlignAR: Generative Sentence Alignment for Arabic-English Parallel Corpora of Legal and Literary Texts
School of Foreign Languages, Huaihua University（怀化大学外国语言学院）；Al-lith University College, Umm al-Qura University（乌姆·盖拉大学阿尔利思学院）
AlignAR通过生成式句子对齐方法，提升阿拉伯-英语法律和文学文本的平行语料库质量，验证了大语言模型在对齐任务中的优越性。
2026-01-01 cs.CL
A reproducible experimental survey on biomedical sentence similarity: a string-based method sets the state of the art
Universidad Nacional de Educación a Distancia (UNED)（西班牙国立远程教育大学）
本报告介绍了最大规模的、首次可重复的生物医学句子相似性实验调查，其目的如下：（1）阐明问题的最新进展;（2）解决一些阻碍评价大多数现有方法的可重复性问题;（3）评价几种未开发的句子相似性方法;（4）评价一个尚未开发的基准，称为语料库转录调节（Corpus-Transcriptional-Regulation）：（5）研究预处理阶段和命名实体识别（NER）工具对句子相似度方法性能的影响;最后，（6）弥补这一研究领域方法和实验重复性资源的缺乏。我们的实验调查基于一个单一的软件平台，该平台提供了详细的再现性协议和数据集作为补充材料，以允许精确复制我们所有的实验。此外，我们还介绍了一种新的基于聚合字符串的句子相似性方法，称为LiBlock，以及当前基于本体的方法的八种变体和一种新的预训练词嵌入模型，该模型在PMC-BioC语料库中的全文文章上进行训练。我们的实验表明，我们的新的字符串为基础的措施集在生物医学领域的句子相似性任务的最新技术水平，并显着优于所有的方法在此评估，除了一个基于本体的方法。同样，我们的实验证实，预处理阶段，和选择的NER工具，有显着影响的句子相似性方法的性能。我们还详细介绍了目前的方法的一些缺点和局限性，并警告需要完善目前的基准。最后，一个值得注意的发现是，我们的新的基于字符串的方法显着优于本文评估的所有最先进的机器学习模型。
2022-05-18 cs.AI cs.CL
Exploiting Twitter as Source of Large Corpora of Weakly Similar Pairs for Semantic Sentence Embeddings
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）
语义句子嵌入通常是有监督地构建的，最小化被注释者标记为语义相似的句子的嵌入对之间的距离。由于大标签数据集很少见，特别是对于非英语语言，而且价格昂贵，最近的研究集中在需要非配对输入句子的无监督方法上。相反，我们提出了一种独立于语言的方法来构建大型数据集的非正式文本对弱相似，没有人工的人力努力，利用Twitter的内在强大的信号的相关性：回复和报价的推文。我们使用收集到的对来训练一个具有三元组结构的Transformer模型，并在Twitter NLP相似性任务（PIT和TURL）和STSb上测试生成的嵌入。我们还介绍了四个新的句子排名评估基准的非正式文本，仔细提取的推文的初始集合，证明我们的最佳模型不仅学习经典的语义文本相似性，但也擅长的任务，对句子是不准确的释义。消融研究揭示了如何增加语料库的大小积极影响的结果，即使在2M的样本，这表明更大的集合的推文仍然不包含冗余的信息语义相似性。
2021-10-05 cs.CL
Multi-Task and Multi-Corpora Training Strategies to Enhance Argumentative Sentence Linking Performance
Tokyo Institute of Technology（东京工业大学）；University of Cambridge（剑桥大学）
论证结构预测的目的是建立文本单位之间的联系，并标记它们之间的关系，形成一个给定的输入文本的结构化表示。前一个任务，链接，已被确定为特别具有挑战性的早期作品，因为它需要找到一个非常大的搜索空间的可能的链接组合的最合适的结构。在本文中，我们改进了一个国家的最先进的连接模型，通过使用多任务和多语料库的训练策略。我们的辅助任务帮助模型学习每个句子在议论文结构中的作用。将多语料库训练与选择性采样策略相结合，增加了训练数据的大小，同时确保模型仍然能够很好地学习所需的目标分布。对英语作为外语学习者撰写的文章的实验表明，这两种策略显着提高了模型的性能;例如，我们观察到个人链接预测的F1宏增加了15.8%。
2021-09-27 cs.CL
A Hybrid Approach to Measure Semantic Relatedness in Biomedical Concepts
NIT Trichy（蒂鲁吉拉伯利国立理工学院）
目的：本研究旨在验证一种基于句子BERT模型和改进算法的混合方法来计算任意两个生物医学概念之间的相关性的有效性。材料和方法：我们通过使用ELMo、BERT和句子BERT模型编码概念偏好术语来生成概念向量。我们使用BioELMo和Clinical ELMo。我们使用了本体知识免费（OKF）模型，如PubMedBERT，BioBERT，BioClinicalBERT，以及本体知识注入（OKI）模型，如SapBERT，CoderBERT，KbBERT和UmlsBERT。我们使用Siamese网络在SNLI和STSb数据集上训练所有的BERT模型，以允许模型在短语或句子级别上学习更多的语义信息，以便它们能够更好地表示多词概念。最后，为了将本体关系知识注入到概念向量中，我们使用了改进算法和来自各种UMLS关系的概念。我们在四个公开的数据集上评估了我们的混合方法，其中还包括最近发布的EHR-RelB数据集。EHR-RelB是最大的公开可用的相关性数据集，其中89%的术语是多词，这使得它更具挑战性。结果：句子BERT模型大多优于相应的BERT模型。使用基于SapBERT的Sentence BERT模型生成的概念向量和使用UML相关概念进行的改进在所有四个数据集上都取得了最佳结果。结论：在大多数情况下，句子BERT模型比BERT模型在计算相关性分数方面更有效。将本体知识注入概念向量进一步提高了它们…
2021-01-25 cs.CL
Fine-Grained Spoiler Detection from Large-Scale Review Corpora
University of California, San Diego（加州大学圣地亚哥分校）；Amazon.com, Inc（亚马逊公司）
本文提出了计算方法，自动检测关键情节曲折的媒体产品的评论。首先，我们创建了一个大规模的书评数据集，其中包括在书评级别的细粒度剧透注释，以及书籍和（匿名）用户信息。其次，我们仔细分析了这个数据集，发现：剧透语言往往是特定于书籍的;剧透分布在书籍和评论作者之间差异很大;剧透句子往往共同出现在评论的后半部分。第三，受这些发现的启发，我们开发了一个端到端的神经网络架构来检测评论语料库中的剧透句子。定量和定性结果表明，所提出的方法大大优于现有的基线。
2019-05-31 cs.CL
BERT Goes to Law School: Quantifying the Competitive Advantage of Access to Large Legal Corpora in Contract Understanding
Lexion
在特定领域的语料库上微调语言模型，如BERT，已被证明在科学论文和生物医学文本等领域有价值。在本文中，我们表明，微调BERT的法律文件同样提供了宝贵的改善自然语言处理任务的法律领域。证明这一结果对于分析商业协议具有重要意义，因为由于其机密性，获得大型法律语料库具有挑战性。因此，我们表明，能够访问大型法律语料库是商业应用和分析合同的学术研究的竞争优势。
2019-11-01 cs.AI cs.CL cs.LG
Preparing the Vuk'uzenzele and ZA-gov-multilingual South African multilingual corpora
University of Pretoria（比勒陀利亚大学）；University of the Witwatersrand（金山大学）；Lelapa AI
本文构建了包含11种南非官方语言的Vuk'uzenzele和ZA-gov-multilingual多语言政府语料库，利用LASER嵌入生成平行句对，并通过微调大规模多语言预训练模型为9种本土语言提供了NMT基准。
2023-04-05 cs.CL
A Dataset for Plain Language Adaptation of Biomedical Abstracts
Lister Hill National Center for Biomedical Communications（李斯特·希尔国家生物医学交流中心）；U.S. National Library of Medicine（美国国家医学图书馆）；National Institutes of Health（美国国立卫生研究院）
尽管与健康相关的文献呈指数级增长，但科学文章的语言可能难以让公众理解。因此，将这种专家级语言改编成通俗语言版本对于公众可靠地理解大量与健康相关的文献是必要的。用于自动适应的深度学习算法是一种可能的解决方案;然而，需要黄金标准数据集进行适当的评估。到目前为止，建议的数据集包括成对的可比较的专业和一般公众面对的文件或从这些文件中挖掘出的语义相似的句子。这导致了不完美的比对和小测试集之间的权衡。为了解决这个问题，我们创建了Plain Language Adaptation of Biomedical Abstracts数据集。此数据集是第一个手动调整的数据集，它既与文档对齐，又与文档对齐。该数据集包含750个改编摘要，共计7643个句子对。在描述数据集的同时，我们还使用最先进的深度学习方法对数据集进行了自动适应基准测试，为未来的研究设定了基线。
2022-10-21 cs.AI cs.CL
Identification of Fertile Translations in Medical Comparable Corpora: a Morpho-Compositional Approach
Université de Nantes（南特大学）；LINA FRE CNRS 2729（法国国家科学研究中心LINA联合研究室（FRE 2729））；Lingua et Machina（语言与机器（机构））；Inria（法国国家信息与自动化研究所）
本文提出了一种从可比语料库中提取生物医学领域词汇的方法。该方法是基于合成翻译和利用词素级翻译等价。它可以生成各种各样的形态结构的单词的翻译，也可以生成“肥沃”的翻译。我们发现，肥沃的翻译增加了英语到法语翻译的提取词汇的整体质量。
2012-09-11 cs.CL
Semi-Supervised Cleansing of Web Argument Corpora
Bauhaus-Universität Weimar（魏玛包豪斯大学）；Paderborn University（帕德博恩大学）
辩论门户和类似的网络平台构成了计算论证研究及其应用的主要文本来源之一。虽然建立在这些来源上的语料库具有丰富的与论证相关的内容和结构，但它们也包括与其目的无关甚至有害的文本。在本文中，我们提出了一个面向精度的方法来检测这种不相关的文本在半监督的方式。给定一些种子示例，该方法会自动学习相关性和不相关性的基本词汇模式，然后从匹配模式的句子中逐步引导新模式。在现有的args.me语料库与40万议论文，我们的方法检测到近87k无关的句子，在精度为0.97，根据人工评估。该方法具有较低的工作量，可以适用于其他网络论元语料库，提供了一种通用的方法来提高语料库的质量。
2020-11-03 cs.CL
Claim Extraction in Biomedical Publications using Deep Discourse Model and Transfer Learning
University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Syracuse University（雪城大学）
主张是科学论述的基本单位。科学出版物数量的指数增长使得自动索赔提取成为研究人员的一个重要问题，他们被这种信息过载所淹没。这种自动化的索赔提取系统对于人工和程序化探索科学知识都是有用的。在本文中，我们介绍了一个新的数据集，其中包含来自生物医学领域的1,500篇科学摘要，每个句子都有专家注释，表明该句子是否提出了科学主张。我们介绍了一种新的索赔提取模型，并将其与几种基线模型进行了比较，包括基于规则的技术和深度学习技术。此外，我们表明，使用带有微调步骤的迁移学习方法可以提高大型话语注释数据集的性能。与没有迁移学习的基线模型相比，我们的最终模型将F1分数提高了14个百分点以上。我们发布了一个可公开访问的工具，用于话语和索赔预测以及注释工具。我们讨论了生物医学文献之外的进一步应用。
2020-01-16 cs.CL
UFRGS Participation on the WMT Biomedical Translation Shared Task
本文介绍了南里奥格兰德联邦大学（UFRGS）团队为生物医学翻译共享任务开发的机器翻译系统。我们的系统基于统计机器翻译和神经机器翻译，分别使用Moses和OpenNMT工具包。我们参与了英语/西班牙语和英语/葡萄牙语对的四个翻译方向。为了创建我们的训练数据，我们连接了几个平行的语料库，既有来自域内和域外的资源，也有来自UMLS的术语资源。根据官方的共享任务评估，我们的系统获得了最好的BLEU分数。
2019-05-06 cs.CL
NEJM-enzh: A Parallel Corpus for English-Chinese Translation in the Biomedical Domain
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
机器翻译需要大量的平行文本。虽然这样的数据集在新闻专线等领域很丰富，但在生物医学领域却不太容易获得。汉语和英语是世界上使用最广泛的两种语言，但据我们所知，在生物医学领域还没有一个平行的语料库。在这项研究中，我们开发了一个有效的管道来获取和处理一个英汉平行语料库，由大约10万个句子对和每边300万个标记组成，来自新英格兰医学杂志（NEJM）。我们发现，在域外数据上进行训练并使用少至4，000个NEJM句子对进行微调，可以将en $\to$ zh（zh $\to$ en）方向的翻译质量提高25.3（13.4）BLEU。在较大的域内数据集上，翻译质量继续以较慢的速度提高，在完整数据集上，en $\to$ zh（zh $\to$ en）方向的BLEU增加了33.0（24.3）。
2020-05-18 cs.CL cs.DL
Coursera Corpus Mining and Multistage Fine-Tuning for Improving Lectures Translation
Kyoto University（京都大学）；National Institute of Information and Communications Technology（国立信息与通信技术研究所）
讲座翻译是口语翻译的一种，缺乏公开的平行语料库。为了解决这个问题，我们研究了一个独立于语言的并行语料库挖掘框架，这是一种快速有效的方法，可以从Coursera公开的讲座中挖掘并行语料库。我们的方法确定句子对齐，依赖于机器翻译和余弦相似性在连续空间的句子表示。我们还展示了如何使用由此产生的语料库在多级微调为基础的领域自适应高质量的讲座翻译。对于日语-英语讲座翻译，我们提取了大约40，000行的并行数据，并通过手动过滤创建了开发和测试集，以衡量翻译性能。我们证明，挖掘语料库大大提高了翻译质量时，结合使用域外的平行语料库，通过多级训练。本文还提出了一些指导原则，以收集和清理语料库，挖掘平行句子，解决挖掘数据中的噪音，并创建高质量的评估分裂。为了可重复性，我们将发布并行数据创建的代码。
2020-01-14 cs.AI cs.CL cs.LG
BiSECT: Learning to Split and Rephrase Sentences with Bitexts
University of Pennsylvania（宾夕法尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
NLP应用程序中的一个重要任务，如句子简化，是能够将一个长的复杂句子拆分成较短的句子，并在必要时重新措辞。我们引入了一个新的数据集和一个新的模型，这个'分裂和改写'的任务。我们的BiSECT训练数据由100万个英语长句和较短的、意义等同的英语句子组成。我们通过在双语平行语料库中提取1-2个句子对齐，然后使用机器翻译将语料库的两边转换为相同的语言来获得这些。BiSECT包含比以前的Split和Rephrase语料库更高质量的训练样本，句子分割需要更大的修改。我们对语料库中的示例进行分类，并在一个新的模型中使用这些类别，该模型允许我们针对输入句子的特定区域进行拆分和编辑。此外，我们表明，在BiSECT上训练的模型可以执行更广泛的分割操作，并在自动和人工评估中改进了以前最先进的方法。
2021-09-10 cs.CL
The Causal News Corpus: Annotating Causal Relations in Event Sentences from News
National University of Singapore（新加坡国立大学）；Koc University（科奇大学）；Rijksuniversiteit Groningen（格罗宁根大学）；Radboud University（拉德堡德大学）；National Institute of Japanese Literature（日本文学研究所）；Birmingham City University（伯明翰城市大学）；Instituto Politécnico Nacional（国立理工学院）；Mersin University（梅尔辛大学）；University of East Anglia（东英吉利大学）；ETH Zürich（苏黎世联邦理工学院）
尽管理解因果关系的重要性，语料库处理因果关系是有限的。现有的事件因果关系标注准则与传统的因果关系语料库存在着差异。许多准则限制自己仅包括显式关系或基于条款的参数。因此，我们提出了一个事件因果关系的注释模式，解决这些问题。我们从抗议事件新闻中抽取了3,559个事件句子，并标注了它们是否包含因果关系。我们的语料库被称为因果新闻语料库（CNC）。建立在最先进的预训练语言模型上的神经网络在测试集上的F1得分为81.20%，在5倍交叉验证中的F1得分为83.46%。CNC可以在两个外部语料库之间转换：CauseTimeBank（CTB）和Penn Discourse Treebank（PDTB）。利用这些外部数据集进行训练，我们在CNC测试集上实现了高达约64%的F1，而无需额外的微调。CNC也是两个外部语料库的有效训练和预训练数据集。最后，我们展示了我们的任务的困难，在一个众包注释练习的外行。我们的注释语料库是公开的，因果文本挖掘研究人员提供了宝贵的资源。
2022-04-25 cs.CL
Extracting a bilingual semantic grammar from FrameNet-annotated corpora
University of Gothenburg（哥德堡大学）；University of Latvia（拉脱维亚大学）
我们提出了创建一个基于英语瑞典语的语法框架。本研究的目的是使现有的框架计算访问多语言自然语言应用程序通过一个共同的语义语法API，并促进移植到其他语言的语法。在本文中，我们描述了语义语法的抽象语法，同时专注于其自动提取的可能性。我们已经从Berkeley FrameNet（BFN）中的~ 58，500个注释句子和Swedish FrameNet（SweFN）中的~ 3，500个注释句子中提取了共享的抽象语法。抽象语法定义了769个帧特定的价模式，覆盖77.8%的BFN和74.9%的SweFN属于共享的471帧集的例子。作为一个侧面的结果，我们提供了一个统一的方法比较语义和句法价模式跨框架。
2014-04-08 cs.CL
Individual corpora predict fast memory retrieval during reading
Bergische Universität Wuppertal（伍珀塔尔大学）；Universität Hamburg（汉堡大学）
从其中训练预测语言模型的语料库可以被认为是语义系统的经验。我们在平板电脑上记录了两名参与者两个月的日常阅读，生成了300/500 K令牌的个体语料库样本。然后，我们从个人语料库和7000万句报纸语料库中训练word 2 vec模型，以获得基于个人和规范的长期记忆结构。为了测试个体语料库是否能对长期记忆提取的认知任务做出更好的预测，我们生成了由134个句子组成的刺激材料，这些句子具有不相关的个体和基于范数的单词概率。对于随后的眼动追踪研究1-2个月后，我们的回归分析表明，个人，但不是正常语料库为基础的单词概率可以解释首次注视时间和首次通过凝视时间。字长还影响注视时间和总观看时间。结果表明，语料库代表个人的长期记忆结构可以更好地解释阅读性能比规范语料库，最近获得的信息是词汇访问迅速。
2020-10-20 cs.CL cs.IR
EvidenceBench: A Benchmark for Extracting Evidence from Biomedical Papers
Laboratory for Emerging Intelligence, University of California, San Diego（新兴智能实验室，加州大学圣地亚哥分校）；Elsevier（埃塞洋）；Department of Cellular and Molecular Medicine, University of California, San Diego（细胞与分子医学系，加州大学圣地亚哥分校）；Sichuan Cancer Hospital & Institute（四川癌症医院与研究所）；The Third People’s Hospital of Chengdu（成都第三人民医院）
我们提出EvidenceBench基准，通过新颖的假设生成与逐句标注流程，评估语言模型和检索系统从生物医学论文中提取证据的能力，发现模型性能仍显著低于专家水平，并扩展了含107,461篇论文的EvidenceBench-100k数据集。
2025-08-08 cs.CL
Aligning Noisy Parallel Corpora Across Language Groups : Word Pair Feature Matching by Dynamic Time Warping
我们提出了一个新的算法称为DK-vec对齐对亚洲/印欧噪声平行文本没有句子边界。DK-vec改进了以前的对齐算法，因为它更好地处理了嘈杂语料库的非线性性质。该算法使用频率，位置和新近度信息作为模式匹配的特征。动态时间弯曲被用作词对之间的匹配技术。该算法产生一个小的双语词典，提供锚点对齐。
1994-09-22 cmp-lg cs.CL
Inter-sentence Relation Extraction for Associating Biological Context with Events in Biomedical Texts
The University of Arizona（亚利桑那大学）
我们提出了一个分析的问题，确定生物背景，并将其与生物医学文本中的生物化学事件。这构成了一个非平凡的、跨领域的关系抽取任务。我们专注于生物背景的物种，组织类型和细胞类型，与生化事件的描述。我们描述的上下文-事件关系的注释语料库的属性，并提出和评估几个分类上下文-事件关联训练的句法，距离和频率特征。
2018-12-14 cs.CL cs.LG stat.ML
Long-range fractal correlations in literary corpora
在本文中，我们分析了分形结构的长人类语言记录映射到时间序列的文本大样本。在这项工作中建立的特定映射是在语言基础上的启发，在这个意义上，它保留了{ \em这个词}作为沟通的基本单位。结果证实，除了句子层面的句法规则产生的短程相关性之外，大型书面语言样本中还出现了长程结构，从而在词语使用中产生了长程相关性。
2002-01-09 cond-mat.stat-mech cs.CL nlin.AO
Harvesting comparable corpora and mining them for equivalent bilingual sentences using statistical classification and analogy- based heuristics
平行句子是一种相对稀缺但非常有用的资源，对于许多应用，包括跨语言检索和统计机器翻译。这项研究探索了我们从以前获得的可比语料库中挖掘此类数据的新方法。这项任务是非常实用的，因为非平行的多语言数据存在的数量远远超过平行语料库，但平行的句子是一个更有用的资源。在这里，我们提出了一种网络爬行方法，用于从例如维基百科转储和Euronews网页构建主题对齐的可比语料库。机器翻译的改进显示在各种文本域的波兰语-英语语言对上。我们还测试了另一种基于可比语料库数据构建平行语料库的方法。它可以自动扩大现有的语料库的句子从语料库的主题之间的类比的基础上。
2015-11-18 cs.CL stat.ML
BioBERT: a pre-trained biomedical language representation model for biomedical text mining
Korea University（高丽大学）；Clova AI Research, Naver Corp（Naver公司Clova人工智能研究院）
随着生物医学文档数量的快速增长，生物医学文本挖掘变得越来越重要。随着自然语言处理（NLP）的发展，从生物医学文献中提取有价值的信息越来越受到研究人员的欢迎，深度学习推动了有效的生物医学文本挖掘模型的发展。然而，直接应用自然语言处理的进步，生物医学文本挖掘往往会产生不满意的结果，由于一个词的分布偏移从一般领域语料库的生物医学语料库。在这篇文章中，我们研究了最近引入的预训练语言模型BERT如何适用于生物医学语料库。我们介绍了BioBERT（Bidirectional Encoder Representations from Transformers for Biomedical Text Mining），这是一个在大规模生物医学语料库上预训练的特定领域语言表示模型。在任务之间具有几乎相同的架构，BioBERT在生物医学语料库上进行预训练时，在各种生物医学文本挖掘任务中的性能大大优于BERT和以前的最先进模型。虽然BERT获得的性能与以前的国家的最先进的模型，生物BERT显着优于他们在以下三个代表性的生物医学文本挖掘任务：生物医学命名实体识别（0.62%的F1分数提高），生物医学关系抽取（2.80%的F1分数提高）和生物医学问答（12.24%的MRR提高）。我们的分析结果表明，生物医学语料库上的预训练BERT有助于它理解复杂的生物医学文本。我们在https：//github.com/na…
2019-10-18 cs.CL
BioSentVec: creating sentence embeddings for biomedical texts
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)（美国国立卫生研究院国家医学图书馆国家生物技术信息中心）
句子嵌入已经成为当今自然语言处理（NLP）系统的重要组成部分，特别是与先进的深度学习方法结合在一起。尽管在一般领域中可以使用预训练的句子编码器，但迄今为止还不存在用于生物医学文本的编码器。在这项工作中，我们介绍了BioSentVec：第一个开放的句子嵌入集，使用来自PubMed学术文章和MIMIC-III临床数据库中的临床笔记的超过3000万个文档进行训练。我们评估BioSentVec嵌入在两个句子对相似性任务，在不同的文本类型。我们的基准测试结果表明，与其他竞争对手相比，BioSentVec嵌入可以更好地捕捉句子语义，并在两项任务中实现最先进的性能。我们希望BioSentVec能够促进生物医学文本挖掘的研究和开发，并补充生物医学词嵌入的现有资源。BioSentVec可在https://github.com/ncbi-nlp/BioSentVec上公开获取
2020-01-24 cs.AI cs.CL cs.LG
Sentence Bag Graph Formulation for Biomedical Distant Supervision Relation Extraction
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；University of Rochester（罗切斯特大学）；School of Electrical and Information Engineering, Beijing University of Civil Engineering and Architecture（北京建筑大学电气与信息工程学院）；Beijing Key Laboratory of Intelligent Processing for Building Big Data, Beijing University of Civil Engineering and Architecture（北京建筑大学北京市建筑大数据智能处理重点实验室）
本文提出句子袋图建模框架，通过消息传递聚合实体对信息并融合句间依赖，有效缓解远程监督关系抽取中的噪声标注问题，在生物医学和通用文本数据集上均显著超越现有方法。
2023-10-29 cs.CL cs.LG
Towards Effective Sentence Simplification for Automatic Processing of Biomedical Text
Arizona State University（亚利桑那州立大学）
生物医学文章特有的句子的复杂性对自然语言解析器提出了挑战，自然语言解析器通常在非技术文本的大规模语料库上进行训练。我们提出了一个文本简化过程，生物医学，旨在降低句子的复杂性，在生物医学摘要，以提高处理后的句子的句法分析器的性能。句法分析通常是文本挖掘管道中的第一步。因此，性能的任何改进都会对所有处理步骤产生连锁反应。我们评估我们的方法使用语料库的生物医学句子注释的句法链接。我们的实证结果表明，当处理简化的句子，而不是原来的句子在语料库中的Charniak-McClosky分析器和4.23%的链接语法分析器的2.90%的改善。
2010-01-24 cs.CL
Building Subject-aligned Comparable Corpora and Mining it for Truly Parallel Sentence Pairs
Polish Japanese Institute of Information Technology（波兰-日本信息技术学院）
平行句子是一种相对稀缺但非常有用的资源，对于许多应用，包括跨语言检索和统计机器翻译。本研究探讨了我们的方法，从以前获得的可比语料库挖掘这些数据。这项任务是非常实用的，因为非平行的多语言数据存在的数量远远超过平行语料库，但平行的句子是一个更有用的资源。在这里，我们提出了一个网络爬行方法，从维基百科的文章建立主题对齐的可比语料库。我们还介绍了一种方法，用于提取真正的平行的句子，从嘈杂的或只是可比的句子对过滤掉。我们描述了我们的执行这项任务的一个专门的工具，以及训练和适应的机器翻译系统，提供我们的过滤器与可比的句子对的相似性的额外信息。
2015-09-29 cs.CL cs.IR stat.ML
Automated Detection of Adverse Drug Reactions in the Biomedical Literature Using Convolutional Neural Networks and Biomedical Word Embeddings
Novartis Pharma A.G.（诺华制药股份公司）
监测药物不良反应（ADR）病例的生物医学文献是药物警戒中一项至关重要且耗时的任务。计算机辅助方法的发展，以帮助这一过程中的不同形式一直是许多最近的作品的主题。已经显示出前景的一个特定领域是使用深度神经网络，特别是卷积神经网络（CNN），用于检测ADR相关句子。使用令牌级卷积和通用词嵌入，该架构相对于更传统的模型以及长短期记忆（LSTM）模型表现出良好的性能。在这项工作中，我们使用ADE语料库评估和比较两种不同的CNN架构。此外，我们表明，通过去重复的ADR相关的句子，我们可以大大减少过度乐观的分类结果。最后，我们评估了专门为生物医学文本开发的词嵌入的使用，并表明它们在这项任务中具有更好的性能。
2018-04-24 cs.CL cs.LG stat.ML
Sentence Alignment with Parallel Documents Facilitates Biomedical Machine Translation
Tsinghua University（清华大学）；Chinese Academy of Medical Sciences/Peking Union Medical College（中国医学科学院/北京协和医学院）
目的：当今的神经机器翻译（NMT）可以达到接近人类水平的翻译质量，并极大地促进了国际交流，但缺乏平行语料库是开发高度专业化领域（如生物医学）翻译系统的关键问题。这项工作提出了一个无监督的算法，通过使用句子对齐从文档级翻译中获得并行语料库，并探讨了训练材料如何影响生物医学NMT系统的性能。材料与方法：通过混合文档级翻译来训练双语词嵌入（BWEs）以评估跨语言词相似度，并通过结合句子的语义和位置相似度来定义句子距离。句子的对齐被公式化为一个扩展的推土机距离问题。利用UpToDate中的双语文章和PubMed摘要的译文，利用该算法构建了一个汉英生物医学平行语料库，并将其用于NMT的训练和评估。结果如下：在两个手动对齐的翻译数据集上，该算法在1对1的情况下实现了准确的句子对齐，在多对多的情况下优于竞争算法。针对生物医学数据进行微调的NMT模型显著提高了域内翻译质量（zh-en：+17.72 BLEU; en-zh：+17.02 BLEU）。训练数据的大小和不同语料库的组合都会显著影响模型的性能。结论：该算法放松了句子对齐的假设，有效地生成准确的翻译对，有利于训练高质量的生物医学NMT模型。
2022-02-07 cs.CL
Comparing Variation in Tokenizer Outputs Using a Series of Problematic and Challenging Biomedical Sentences
University of Toronto（多伦多大学）；ICES（ICES（临床评估科学研究所））；Dalla Lana School of Public Health（达拉拉纳公共卫生学院）
本研究比较了八种分词器在24个挑战性生物医学句子上的输出，发现存在细微差异，尤其影响具有生物医学意义的词汇，如x-ray和IL-10。
2023-05-15 cs.CL
Experiments on transfer learning architectures for biomedical relation extraction
Loria, CNRS, Inria, Université de Lorraine（洛里亚研究所、法国国家科学研究中心、法国国家信息与自动化研究所、洛林大学）
关系抽取（RE）是从文本中自动识别和构造感兴趣的关系。最近，BERT提高了几个NLP任务的最佳性能，包括RE。然而，在机器学习架构和迁移学习策略中使用BERT的最佳方式仍然是一个悬而未决的问题，因为它高度依赖于每个特定的任务和领域。在这里，我们探索各种基于BERT的架构和迁移学习策略（即，冷冻或微调）用于两个语料库上的生物医学RE任务。在测试的架构和策略中，我们的 *BERT-segMCNN在两个语料库上的性能高于最先进的水平（在ChemProt和PGxCorpus语料库上分别有1.73%和32.77%的绝对改进）。更一般地说，我们的实验说明了使用BERT进行微调的预期兴趣，以及除了BERT经典地利用的上下文之外，使用结构信息（与句子分割）的未开发优势。
2020-11-24 cs.CL cs.LG
BioSimplify: an open source sentence simplification engine to improve recall in automatic biomedical information extraction
Department of Biomedical Informatics, Arizona State University（亚利桑那州立大学生物医学信息学系）
Biocompatibility是一个用Java编写的开源工具，它引入并促进了一种用于自动话语分析和信息抽取的句子简化新模型的使用（与用于提高人类可读性的句子简化相反）。该模型基于一种“猎枪”方法，通过组合其组成要素的变体，产生原始句子的许多不同（更简单）版本。该工具针对处理生物医学科学文献进行了优化，例如PubMed中索引的摘要。我们测试了我们的工具对PPI提取任务的影响，它将PPI工具的f分数提高了约7%，召回率提高了约20%。生物统计工具和测试语料库可以从https://biosimplify.sourceforge.net下载。
2011-07-28 cs.CL
Sentence Simplification Aids Protein-Protein Interaction Extraction
Arizona State University（亚利桑那州立大学）
从生物医学文章中自动提取蛋白质-蛋白质相互作用（PPI）的精确系统可以帮助加速生物医学研究。生物医学信息学研究人员正在合作提供元服务，并推进PPI提取的最新技术。当前自然语言处理系统经常忽略的一个问题是生物医学文献中句子的特征复杂性。在本文中，我们报告的影响，自动简化的句子有一个国家的最先进的PPI提取系统的性能，显示了显着改善召回（8%）时，句子简化方法的应用，没有显着影响精度。
2010-01-24 cs.CL
Benchmarking for Biomedical Natural Language Processing Tasks with a Domain Specific ALBERT
The University of Sydney（悉尼大学）
生物医学文本数据的可用性和自然语言处理（NLP）的进步使生物医学NLP的新应用成为可能。使用领域特定语料库训练或微调的语言模型可以胜过一般模型，但迄今为止，生物医学NLP的工作在语料库和任务方面受到限制。我们提出了BioALBERT，这是一个特定于领域的自适应Transformers（ALBERT）的精简双向编码器表示，在生物医学（PubMed和PubMed Central）和临床（MIMIC-III）语料库上进行了训练，并针对20个基准数据集的6个不同任务进行了微调。实验表明，BioALBERT在命名实体识别（+11.09%BLURB分数提高）、关系抽取（+0.80%BLURB分数）、句子相似度（+1.05%BLURB分数）、文档分类（+0.62%F1-分数）和问答（+2.83%BLURB分数）方面优于现有技术。它代表了20个基准数据集中的17个的最新技术水平。通过提供BioALBERT模型和数据，我们的目标是帮助生物医学NLP社区避免培训的计算成本，并为未来广泛的生物医学NLP任务建立一套新的基线。
2021-07-09 cs.CL
Using English as Pivot to Extract Persian-Italian Parallel Sentences from Non-Parallel Corpora
Shiraz University（设拉子大学）；University of Calabria（卡拉布里亚大学）；Complutense University（马德里康普顿斯大学）
统计机器翻译系统（SMT）的有效性很大程度上取决于训练阶段使用的并行语料库的数量。对于低资源语言对，没有足够的并行语料库来构建准确的SMT。本文提出了一种从非平行（可比）语料库中抽取波斯语-意大利语双语平行句的新方法。在本研究中，英语被用作枢轴语言，计算源和目标句子和候选选择阶段之间的匹配分数。此外，一个新的单语句子相似性度量，归一化谷歌距离（NGD），提出了改进的匹配过程。此外，基线系统的一些扩展，以提高提取的句子与BLEU测量的质量。实验结果表明，使用新的基于主元的抽取方法可以显著提高双语语料的质量，从而提高波斯语-意大利语SMT系统的性能。
2017-01-29 cs.CL
Extracting Connected Concepts from Biomedical Texts using Fog Index
University of Western Ontario（西安大略大学）
在本文中，我们建立雾指数（FI）作为一个文本过滤器来定位文本中包含感兴趣的连接生物医学概念的句子。为此，我们使用了24篇随机论文，每篇论文包含四对连接的概念。对于每一对，我们根据它们是否包含两个，任何或没有概念来对句子进行分类。然后，我们使用FI来衡量每个类别的句子的难度，发现包含这两个概念的句子具有较低的可读性。我们根据FI对文本的句子进行排名，并选择30%最难的句子。我们使用关联矩阵来跟踪其中最频繁的概念对。该矩阵报告第一个过滤器产生了一些几乎没有连接的对。为了去除这些不需要的对，我们使用其阳性预测值（PPV）和灵敏度的等加权调和平均值作为第二个过滤器。实验结果证明了该方法的有效性。
2013-07-30 cs.CL cs.IR
How Important is Domain Specificity in Language Models and Instruction Finetuning for Biomedical Relation Extraction?
University of Kentucky, Lexington, KY USA（肯塔基大学）
本文在四个生物医学关系抽取数据集上比较通用与生物医学预训练LM及不同指令微调来源，发现通用模型通常更优，而少量生物医学指令微调即可取得与通用指令微调相近的收益。
2025-07-25 cs.CL
Conceptualized Representation Learning for Chinese Biomedical Text Mining
Alibaba Group（阿里巴巴集团）
随着生物医学文档和Web数据数量的快速增长，生物医学文本挖掘变得越来越重要。近年来，单词表征模型如BERT在研究者中越来越受欢迎。然而，这是很难估计的数据集包含生物医学文本的一般和生物医学语料库的词分布是完全不同的。此外，医学领域具有难以通过语言模型学习的长尾概念和术语。对于中文生物医学文本，由于其结构复杂，短语组合的多样性，其识别难度更大。在本文中，我们研究了最近推出的预训练语言模型BERT可以适应中国生物医学语料库，并提出了一种新的概念化的表示学习方法。我们还发布了一个新的中文生物医学语言理解评估基准（\textbf{ChineseBLUE}）。我们研究了中国预训练模型的有效性：BERT，BERT-wwm，RoBERTa和我们的方法。在基准测试上的实验结果表明，我们的方法可以带来显着的增益。我们在GitHub上发布了预训练的模型：https://github.com/alibaba-research/ChineseBLUE。
2020-08-25 cs.AI cs.CL cs.IR
Small-world networks for summarization of biomedical articles
Medical University of Vienna（维也纳医科大学）
近年来，已经开发了许多方法来识别文本文档的重要部分。摘要工具可以利用这些方法从大量的文本信息中提取摘要。然而，识别文本文档中代表中心思想的概念，并提取最能传达这些概念的信息量最大的句子仍然是摘要方法中的两个关键任务。在本文中，我们介绍了一种基于图的方法来解决这两个挑战的背景下，生物医学文本摘要。我们表明，如何总结可以发现有意义的概念，在生物医学文本文档中使用亥姆霍兹原理。摘要器将有意义的概念视为主要主题，并基于句子共享的主题构建图。摘要器可以通过提取具有较高程度值的句子来生成信息丰富的摘要。我们评估的性能，我们的方法总结的生物医学文章使用召回为导向的替代Gisting评价（ROUGE）工具包。结果表明，程度可以是一个有用的中心性措施，以确定重要的句子，在这种类型的基于图的建模。我们的方法可以提高生物医学文本摘要的性能相比，一些国家的最先进的和公开可用的摘要。结合基于概念的建模策略和基于图形的句子提取方法，我们的摘要器可以产生比较方法中信息量最高的摘要。这项研究工作可以被看作是一个起点，小世界网络的研究在生物医学文本摘要。
2019-03-07 cs.CL cs.IR
Improving Neural Text Simplification Model with Simplified Corpora
Yangzhou University（扬州大学）
文本简化（TS）可以被视为单语翻译任务，在一种语言中的文本变体之间进行翻译。最近的神经TS模型借鉴了神经机器翻译的见解，使用编码器-解码器模型来学习词汇简化和内容缩减。但与神经机器翻译不同的是，我们无法获得足够的普通和简化的句子对TS，这是昂贵的和耗时的建设。目标方简化句子在提高统计TS的流畅性方面起着重要作用，我们研究了使用简化句子进行训练，而不改变网络架构。我们建议通过反向翻译将简单的训练语句与合成的普通语句配对，并将该合成数据视为附加的训练数据。我们使用合成句子对和原始句子对来训练编码器-解码器模型，与现有的方法相比，该方法可以在可用的WikiLarge数据和WikiSmall数据上获得实质性的改进。
2018-10-10 cs.CL
Gextext: Disease Network Extraction from Biomedical Literature
目的：我们提出了一种完全无监督的方法，直接从非结构化生物医学文本语料库中学习潜在疾病网络。该方法解决了当前无监督知识提取中的挑战，例如检测远程依赖关系和大型训练语料库的要求。方法：设C为n个语块的语料库.设V是语料库中出现的p个疾病术语的集合。设X表示V在C中的出现。Gextext通过正相关的发生模式来识别疾病的相似性。这些信息被组合以生成一个图，在该图上测地距离描述相异性。通过Gextext和GloVE在100-1000份PubMed摘要的语料库上学习疾病。对生物医学语义相似性度量和基因图谱相似性进行了相似性矩阵估计验证。结果：Gextext推断的疾病体上的测地线距离与语义相似性的外部度量呈负相关。基因图谱相似性也与推断图上的接近性显著相关。Gextext在我们的实验中表现优于GloVE。Gextext图中包含的信息超过了文本中的显式信息内容。结论：Gextext从非结构化文本中提取潜在的关系，使PubMed摘要中的疾病组图完全无监督建模成为可能。
2019-12-17 cs.CL cs.DL
Noisy-parallel and comparable corpora filtering methodology for the extraction of bi-lingual equivalent data at sentence level
Polish Japanese Academy of Information Technology（波兰日本信息技术学院）
文本对齐和文本质量对于机器翻译（MT）系统、某些NLP工具以及任何其他需要双语数据的文本处理任务的准确性至关重要。本研究提出了一种基于波兰语（非位置敏感语言）的独立于语言的双句过滤方法。这种清理方法是在TED演讲语料库上开发的，最初也在维基百科的可比语料库上进行了测试，但它可以用于任何文本域或语言对。所提出的方法实现了句子比较的各种语法。其中一些利用同义词和文本的语义和结构分析作为附加信息。确保最大限度地减少数据丢失。讨论了使用该工具处理文本的MT系统评分的改进。
2015-10-15 cs.CL
Edit Policy-Aligned Text Simplification
The University of Osaka（大阪大学）；Institute of Science Tokyo（东京科学研究所）；NTT Inc.（日本电报电话公司）
本文提出利用LLM作为评判者自动构建政策一致的训练数据，实现无需人工标注或平行语料库的句子简化系统，实验表明其在词法简化和整体重写任务上均优于现有方法。
2026-10-22 cs.CL
Query Focused Multi-document Summarisation of Biomedical Texts
Macquarie University（麦考瑞大学）；Australian National University（澳大利亚国立大学）
本文介绍了麦考瑞大学和澳大利亚国立大学参与2020年BioASQ挑战赛（BioASQ8b）的任务B阶段。我们的整体框架实现了查询集中的多文档提取摘要，通过应用分类或回归层的候选句子嵌入和问题和句子嵌入之间的比较。我们使用BERT和BioBERT、Siamese架构和强化学习对变体进行了实验。当使用BERT来获得词嵌入，然后使用LSTM层来获得句子嵌入时，我们观察到最佳结果。使用Siamese架构或BioBERT的变体没有改善结果。
2020-08-27 cs.CL
BERE: An accurate distantly supervised biomedical entity relation extraction network
从文献中自动抽取实体关系抽取（RE）是构建生物医学数据库的重要来源，它比人工处理更高效、可扩展。然而，现有的RE模型通常忽略了句子结构和目标实体中包含的信息。在本文中，我们提出了BERE，这是一种基于深度学习的模型，它使用Gumbel Tree-GRU来学习句子结构，并使用联合嵌入来整合实体信息。它还采用词级注意力改进的关系抽取和事件级注意力，以适应远程监督数据集。由于现有的数据集相对较小，我们进一步构建了一个更大的药物靶点相互作用提取（DTIE）数据集的远程监督。在DDIExtraction 2013任务和DTIE数据集上进行的实验表明，我们的模型在F1测量和PR曲线方面优于最先进的基线。
2019-06-22 cs.CL
What Do Biomedical NER and Entity Linking Benchmarks Measure? A Corpus-Centric Diagnostic Framework
National Library of Medicine（国家医学图书馆）
本文提出一种以语料库为中心的诊断框架，用于分析生物医学NER和实体链接基准测试的相关属性，揭示语料库特性对评估信号、泛化需求和基准测试结论范围的影响。
2026-05-19 cs.CL
