LEDGER: A Long-Context Benchmark of Corporate Annual Reports for Grounded Financial Retrieval and Extraction
Artefact Research Center（Artefact 研究中心）；MICS, CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工高等电力学院 MICS 实验室）；Ardian
提出LEDGER基准，包含4,999份数字化公司年报，用于评估大语言模型在长上下文金融任务中的表现，涵盖KPI检索、单值查找和全量提取任务。
2026-06-12 cs.CL
Quootstrap: Scalable Unsupervised Extraction of Quotation-Speaker Pairs from Large News Corpora via Bootstrapping
EPFL（洛桑联邦理工学院 (EPFL)）
我们提出了Quootstrap，一种提取报价的方法，以及说出他们的发言者的名字，从大型新闻语料库。虽然以前的工作主要是用监督机器学习来解决这个问题，但我们的方法遵循完全无监督的自举范式。它利用了大型新闻语料库中存在的冗余，更准确地说，事实上，相同的引用经常出现在多篇新闻文章中，上下文中略有不同。从几个种子模式开始，例如[“Q”，S说]，我们的方法提取一组引文-说话人对（Q，S），其依次用于发现表达相同引文的新模式;然后用较大的模式集重复该过程。我们的算法是高度可扩展的，我们通过在大型ICWSM 2011 Spinn 3r语料库上运行它来证明这一点。验证我们的结果与众包的地面真相，我们获得了90%的准确率在40%的召回使用一个单一的种子模式，具有显着更高的召回值更频繁地报告（因此可能更有趣）的报价。最后，我们展示了我们的算法的输出计算社会科学的有用性，通过分析我们提取的报价中表达的情绪。
2018-04-07 cs.CL cs.IR cs.SI
Semi-automated Fact-checking in Portuguese: Corpora Enrichment using Retrieval with Claim extraction
Universidade Federal de Goiás (UFG)（巴西戈亚尼亚联邦大学）
本论文提出一种利用LLM提取声明并检索外部证据的方法，有效增强了葡萄牙语新闻事实核查语料库，并引入数据预处理框架提升质量。
2025-07-19 cs.AI cs.CL cs.IR
Inferring Concept Hierarchies from Text Corpora via Hyperbolic Embeddings
Facebook AI Research（脸书人工智能研究院）；ETH Zürich（苏黎世联邦理工学院）
我们认为，从大型文本语料库推断是一个关系的任务。为此，我们提出了一种新的方法相结合的双曲嵌入和赫斯特模式。这种方法使我们能够设置适当的约束条件，从分布式上下文推断概念层次结构，同时也能够预测丢失的是一个关系，并纠正错误的提取。此外，与其他方法相比，双曲空间的层次性质使我们能够学习高效的表示，并提高推断层次结构的分类一致性。实验表明，我们的方法在几个常用的基准测试中达到了最先进的性能。
2019-02-03 cs.CL
Mathematical Entities: Corpora and Benchmarks
National Institute of Standards and Technology（美国国家标准与技术研究院）；Topos Institute（拓扑斯研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文构建含182397句的三个数学标注语料库及元数据基准，评估神经与符号模型，发现术语和定义提取难以泛化，并提供基于搜索与实体链接的学习助手。
2024-06-17 cs.CL math.HO
Reducing Formal Context Extraction: A Newly Proposed Framework from Big Corpora
University of Kurdistan Hewler（库尔德斯坦赫斯勒大学）；Charmo University（查莫大学）；Garmian Polytechnic University（加尔米安理工大学）；Sulaimani Polytechnic University（苏莱曼尼亚理工大学）；University of Huddersfield（哈德斯菲尔德大学）；University of Raparin（拉帕林大学）
本文提出一种结合WordNet与频率统计的混合框架，用于缩减从自由文本中提取概念层次时的形式背景规模，在Wikipedia语料库实验中保留高达98%的概念层次质量，并在概念格性能上优于五种基线方法。
2025-04-01 cs.CL
Dataset Construction via Attention for Aspect Term Extraction with Distant Supervision
Swisscom AG（瑞士电信公司）；EPFL（洛桑联邦理工学院）
方面术语提取（ATE）检测句子或文本跨度中的自以为是的方面术语，最终目标是执行基于方面的情感分析。监督ATE的可用数据集数量很少，而且它们只覆盖少数几个领域，这就需要以新的和创造性的方式利用其他数据源。公开可用的评论语料库包含了过多的固执己见的方面术语，并覆盖了更大的领域范围。在本文中，我们首先提出了一种方法，使用这样的审查语料库创建一个新的数据集ATE。我们的方法依赖于一个注意力机制来选择句子，这些句子很可能包含实际的固执己见的方面。因此，我们提高了提取方面的质量。然后，我们使用构造的数据集训练模型，并执行ATE与远程监督。通过对人类注释数据集的评估，我们证明了我们的方法在各种无监督和有监督的基线上实现了显着提高的性能。最后，我们证明了句子选择在为ATE创建新数据集时很重要。具体来说，我们表明，使用一组选定的句子导致更高的ATE性能相比，使用整个句子集。
2017-09-26 cs.CL
Automated Phrase Mining from Massive Text Corpora
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；Army Research Laboratory（陆军研究实验室）
短语挖掘是文本分析的基本任务之一，其目的是从文本语料库中提取高质量的短语。短语挖掘在诸如信息抽取/检索、分类构造和主题建模等各种任务中是重要的。大多数现有的方法依赖于复杂的，受过训练的语言分析器，因此可能在新领域和体裁的文本语料库上的性能不令人满意，而无需额外但昂贵的适应。近年来，一些数据驱动的方法已经被成功地开发出来，用于从大量特定领域的文本中提取短语。然而，没有一个最先进的模型是完全自动化的，因为它们需要人类专家来设计规则或标记短语。由于人们可以很容易地从公共知识库中获得许多高质量的短语，其规模远远大于人类专家所产生的规模，因此在本文中，我们提出了一种用于自动短语挖掘的新框架AutoPhrase，该框架以有效的方式利用了大量的高质量短语，并与有限的人类标记短语相比，实现了更好的性能。此外，我们开发了一个POS引导的短语分割模型，它结合了浅层句法信息的词性（POS）标签，以进一步提高性能，当一个POS标签可用。请注意，AutoPhrase可以支持任何语言，只要通用知识库（例如，Wikipedia），同时受益于但不需要POS标记器。与最先进的方法相比，新方法在不同领域和语言的五个真实数据集上的有效性有了显着提高。
2017-03-11 cs.CL
Modeling the dynamics of domain specific terminology in diachronic corpora
Leipzig University（莱比锡大学）；Stuttgart University（斯图加特大学）
在术语工作、自然语言处理和数字人文学中，一些研究致力于分析术语的上下文和含义的变化，以检测术语的语义变化和演变。我们区分了三种不同的方法来描述语境变化：基于模式和语言线索的分析方法，探索单个词的潜在语义空间的方法，以及主题成员关系的分析方法。本文提出了上下文波动的概念，作为一种新的检测语义变化的措施，并将其应用于政治科学的案例研究中的关键词提取。该措施量化了一个词的上下文变化的动态历时语料库中，以确定的时间段，其特点是激烈的争议性辩论或大量的语义转换。
2017-07-11 cs.CL
Extracting a bilingual semantic grammar from FrameNet-annotated corpora
University of Gothenburg（哥德堡大学）；University of Latvia（拉脱维亚大学）
我们提出了创建一个基于英语瑞典语的语法框架。本研究的目的是使现有的框架计算访问多语言自然语言应用程序通过一个共同的语义语法API，并促进移植到其他语言的语法。在本文中，我们描述了语义语法的抽象语法，同时专注于其自动提取的可能性。我们已经从Berkeley FrameNet（BFN）中的~ 58，500个注释句子和Swedish FrameNet（SweFN）中的~ 3，500个注释句子中提取了共享的抽象语法。抽象语法定义了769个帧特定的价模式，覆盖77.8%的BFN和74.9%的SweFN属于共享的471帧集的例子。作为一个侧面的结果，我们提供了一个统一的方法比较语义和句法价模式跨框架。
2014-04-08 cs.CL
GeBioToolkit: Automatic Extraction of Gender-Balanced Multilingual Corpus of Wikipedia Biographies
我们介绍GeBioToolkit，一个工具，用于提取多语言平行语料库在句子级别，从维基百科的传记文件和性别信息。尽管维基百科中存在性别不平等，但该工具包旨在提取性别平衡的语料库。虽然我们的工具包可以定制为任何数量的语言（和不同的领域），但在这项工作中，我们提供了英语，西班牙语和加泰罗尼亚语的2，000个句子的语料库，这些句子已经由母语人士进行了后期编辑，成为机器翻译评估的高质量数据集。虽然GeBioCorpus旨在成为第一个非合成性别平衡的测试数据集之一，但GeBioToolkit旨在为标准化程序铺平道路，以产生性别平衡的数据集
2019-12-10 cs.CL
Wiki Dumps to Training Corpora: South Slavic Case
University of Belgrade, Faculty of Mining and Geology（贝尔格莱德大学，采矿与地质学系）；University of Pisa, Department of Computer Sciences（比萨大学，计算机科学系）
本文提出将维基数据转化为七种南斯拉夫语言高质量语料的流程，通过文本提取清洗和冗余过滤提升语料质量，为语言模型训练和跨语言比较提供可靠资源。
2026-05-15 cs.CL
Term-Centric Hierarchy Induction from Heterogeneous Corpora
MaiNLP, Center for Information and Language Processing, LMU Munich（LMU慕尼黑大学信息与语言处理中心MaiNLP）；Fraunhofer Institute for Systems and Innovation Research ISI（弗劳恩霍夫系统与创新研究所ISI）；Department of Computer Science, IT University of Copenhagen（哥本哈根IT大学计算机科学系）
提出一种术语中心框架，通过自动术语提取将异构语料映射到共享表示空间，结合领域先验与数据驱动聚类构建可解释层级，在百万级多源基准上优于文本和摘要基线。
2026-06-26 cs.CL
PET: An Annotated Dataset for Process Extraction from Natural Language Text
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Free University of Bozen-Bolzano（博尔扎诺-博岑自由大学）；University of Mannheim（曼海姆大学）
针对业务流程描述缺乏黄金标注语料的问题，本文提出首个标注活动、网关、参与者和流程信息的PET数据集，并提供多种基线以基准化文本过程提取的难度与挑战。
2022-06-13 cs.CL
Clinical Intent Extraction: A FHIR-Aligned Representation and the CIRCA Benchmark
Holon Institute of Technology（霍隆理工学院）；Afeka College of Engineering（阿费卡工程学院）
提出临床意图提取任务及FHIR对齐的表示CIR，构建含10,011个意图的CIRCA基准，揭示现有模型在完整结构化意图提取上的不足。
2026-09-25 cs.CL
Entity Extraction with Knowledge from Web Scale Corpora
The University of Western Australia（西澳大利亚大学）；The University of Melbourne（墨尔本大学）
实体抽取是文本挖掘和自然语言处理中的一项重要任务。一种流行的实体提取方法是将来自自由文本的子串与实体字典进行比较。在本文中，我们提出了几种技术作为后处理步骤，以提高现有的实体提取技术的有效性。这些技术利用网络规模语料库训练的模型，这使得我们的技术强大而通用。实验结果表明，我们的技术带来了显着的效率和效果的提高。
2019-11-21 cs.CL cs.DB cs.LG
Wasm: A Pipeline for Constructing Structured Arabic Interleaved Multimodal Corpora
本文提出Wasm流水线，从Common Crawl构建保留文档结构并输出markdown的阿拉伯语交错多模态数据集，兼顾纯文本与多模态预训练，并公开数据集与处理流程。
2025-11-10 cs.AI cs.CL
Russian Web Tables: A Public Corpus of Web Tables for Russian Language Based on Wikipedia
Unidata；Saint-Petersburg State University（圣彼得堡国立大学）
包含WebTables等表格数据的语料库是学术界的重要资源。从本质上讲，它们是任何现代信息管理研究的支柱。它们用于数据抽取、知识库构建、问答、栏目语义类型检测等各种任务。这样的语料库不仅是数据的来源，而且是构建测试数据集的基础。到目前为止，还没有这样的俄语语料库，这严重阻碍了上述领域的研究。在本文中，我们提出了第一个语料库的Web表格专门创建的俄语材料。它是通过我们开发的一个特殊工具包来抓取俄语维基百科的。语料库和工具包都是开放源代码的，可供公众使用。最后，我们提出了一个简短的研究，介绍了俄罗斯维基百科的表和他们的统计数据。
2022-10-03 cs.CL cs.DL cs.IR
Automatic extraction of paraphrastic phrases from medium size corpora
本文提出了一个通用的系统，旨在获取释义短语从一个有代表性的语料库。为了减少用于NLP系统（例如信息抽取，IE）的资源的详细描述所花费的时间，我们建议使用机器学习系统，该系统有助于定义新的模板和相关的资源。这些知识是从文本集合中自动获得的，与大型语义网络进行交互。
2005-09-28 cs.AI cs.CL
A Cognitive Study on Semantic Similarity Analysis of Large Corpora: A Transformer-based Approach
IIIT Naya Raipur（新赖布尔印度信息技术学院）
针对传统神经网络在语义相似度建模中上下文提取不当的问题，本文提出基于Transformer的DeBERTa变体方法，结合K折交叉验证在专利短语匹配数据集上实验，取得0.79平均Pearson相关系数，性能优于传统技术。
2023-06-25 cs.AI cs.CL cs.NE
DECODEM: Data Extraction from Corporate Organizational Documents via Enhanced Methods
Washington University in St. Louis School of Law（圣路易斯华盛顿大学法学院）
研究旨在通过增强方法从公司组织文档提取数据，介绍DECODEM基准数据集，评估多种大语言模型提取管道，结果显示自动提取可行且性能因变量而异，标准化基准和评估证明前沿模型能高精度提取信息，凸显自动特征提取作用。
2026-10-21 cs.AI cs.CL cs.CY
NLP for Knowledge Discovery and Information Extraction from Energetics Corpora
Naval Surface Warfare Center（海军水面作战中心）
本研究展示了NLP在含能材料研究中的实用性，通过应用LDA、Word2Vec和Transformer模型实现知识发现与信息提取，并构建了准确率达59-76%的文档分类流水线，有望加速该领域研究。
2024-02-10 cond-mat.mtrl-sci cs.CL
Bilingual Terminology Extraction from Comparable E-Commerce Corpora
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
双语术语是电子商业领域中重要的机器翻译资源，通常采用人工翻译或从并行数据中自动提取的方式。人工翻译成本高，而电子商业平行语料库又非常缺乏。但是，同一商品领域的不同语言的可比数据是丰富的。在本文中，我们提出了一个新的框架提取电子商务双语术语可比数据。得益于电子商业中的跨语言预训练，该框架能够充分利用源端术语和目标端句子之间的深层语义关系，提取出相应的目标术语。对不同语言对的实验结果表明，我们的方法比各种强基线实现了更好的性能。
2022-07-29 cs.CL
Bootstrapping Distantly Supervised IE using Joint Learning and Small Well-structured Corpora
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个框架，以提高性能的远程监督关系抽取，通过联合学习解决两个相关的任务：概念实例提取和关系抽取。我们将此与文档结构的新用途相结合：在一些小的，结构良好的语料库中，可以识别对应于关系参数的部分，并且从这些部分中标记的远距离示例往往具有良好的精度。使用这些作为种子，我们提取额外的关系的例子，通过应用标签传播的图形组成的噪声的例子从一个大型的非结构化测试语料库。结合软约束，概念的例子应该有相同类型的第二个参数的关系，我们得到了显着的改进，在几个国家的最先进的方法，远程监督关系抽取。
2016-08-11 cs.CL
Casting a Wide Net: Robust Extraction of Potentially Idiomatic Expressions
University of Groningen（格罗宁根大学）
像“out of the woods”和“up the ante”这样的习惯表达为自然语言处理应用程序带来了一系列困难。我们提出的注释和提取的工作，我们称之为潜在的惯用表达（PIE），一个子类的多词表达，涵盖了字面和非字面使用的惯用表达。现有的PIE语料库规模较小，对不同PIE类型的覆盖范围有限，这阻碍了研究。为了进一步提取和消除潜在习语的歧义，需要更大的PIE语料库。此外，更大的语料库是一个潜在的资源，有价值的语言学见解的习语表达及其变异。我们提出了自动工具，以促进建设较大的PIE语料库，通过调查的可行性，使用基于词典的提取PIE作为预提取工具的英语。我们通过评估成语词典的可靠性和覆盖率，PIE语料库的注释以及从大型语料库中自动提取PIE来实现这一点。结果表明，字典的组合是一个可靠的来源的习惯表达，PIE可以注释具有较高的可靠性（0.74-0.91 Fleiss' Kappa），和基于解析的PIE提取产生高度准确的性能（88%F1-分数）。结合互补的PIE提取方法进一步增加了可靠性，超过92%F1分数。此外，这里提出的提取方法可以扩展到其他类型的多词表达式和其他语言，只要有足够的NLP工具可用。
2019-11-20 cs.CL
Noisy-parallel and comparable corpora filtering methodology for the extraction of bi-lingual equivalent data at sentence level
Polish Japanese Academy of Information Technology（波兰日本信息技术学院）
文本对齐和文本质量对于机器翻译（MT）系统、某些NLP工具以及任何其他需要双语数据的文本处理任务的准确性至关重要。本研究提出了一种基于波兰语（非位置敏感语言）的独立于语言的双句过滤方法。这种清理方法是在TED演讲语料库上开发的，最初也在维基百科的可比语料库上进行了测试，但它可以用于任何文本域或语言对。所提出的方法实现了句子比较的各种语法。其中一些利用同义词和文本的语义和结构分析作为附加信息。确保最大限度地减少数据丢失。讨论了使用该工具处理文本的MT系统评分的改进。
2015-10-15 cs.CL
Synthetic QA Corpora Generation with Roundtrip Consistency
Google Research（谷歌研究院）
我们介绍了一种新的方法来生成合成问答语料库相结合的问题生成和答案提取模型，并通过过滤的结果，以确保往返的一致性。通过对所得到的语料库进行预训练，我们在SQuAD 2和NQ上获得了显着的改进，在后者上建立了一个新的最先进的水平。我们的合成数据生成模型，问题生成和答案提取，可以完全复制通过微调一个公开的BERT模型SQuAD 2和NQ的提取子集。我们还描述了一个更强大的变体，它可以为问题生成进行完整的序列到序列预训练，从SQuAD 2上的人类表现中获得精确匹配和F1，其精确匹配率低于0.1%和0.4%。
2019-06-12 cs.CL
Multi-domain machine translation enhancements by parallel data extraction from comparable corpora
平行文本是一种相对稀缺的语言资源，但它是一种非常有用的研究材料，有着广泛的应用。本研究提出并分析了新的方法，我们开发了从以前建立的可比语料库获得这样的数据。这些方法是自动的和无监督的，这使得它们适合大规模的研究。这项任务是非常实用的，因为非平行的多语言数据比平行语料库更频繁地出现，并且访问它们很容易，尽管平行句子是一个更有用的资源。在这项研究中，我们提出了一种自动网络爬行的方法，以建立主题对齐的可比语料库，例如基于维基百科或Euronews.com。我们还开发了新的方法，从可比数据中获得平行句子，并提出了能够选择不一致或部分等价翻译的语料库过滤方法。我们的方法很容易扩展到其他语言。通过分析其使用对统计机器翻译系统的影响，对所创建语料库的质量进行了评估。实验的基础上提出的波兰语-英语对文本从不同的领域，即讲座，短语手册，电影对话，欧洲议会议事录和文本包含药品传单。我们还测试了第二种基于可比语料库的数据创建平行语料库的方法，该方法允许基于它们之间的类比自动扩展关于给定域的现有句子语料库。因此，它不需要具有过去的并行资源来训练分类器。
2016-03-22 cs.CL stat.ML
PolyIE: A Dataset of Information Extraction from Polymer Material Scientific Literature
College of Computing（计算学院）
针对聚合物材料缺乏科学信息抽取数据集的问题，构建了PolyIE数据集，包含146篇论文的实体与N元关系标注，并评估了现有模型，为相关研究提供基准。
2023-11-13 cs.AI cs.CL cs.IR
PIE-QG: Paraphrased Information Extraction for Unsupervised Question Generation from Small Corpora
Deakin University（迪肯大学）
有监督的问答系统（QA系统）依赖于特定领域的人类标记数据进行训练。无监督QA系统生成自己的问答训练对，通常使用辅助知识源来实现这一结果。我们的方法（称为PIE-QG）使用开放信息抽取（OpenIE）生成合成的训练问题，从转述的段落，并使用问答对作为训练数据的语言模型的国家的最先进的QA系统的基础上BERT。从每段文章中抽取<主语、谓语、宾语>形式的三元组，用主语（或宾语）和谓语构成疑问句，宾语（或主语）被认为是答案。在五个提取的QA数据集上进行的实验表明，我们的技术与现有的最先进的QA系统具有同等的性能，其优点是在数量级更少的文档上进行训练，并且不依赖任何外部参考数据源。
2023-01-03 cs.AI cs.CL
Semi-supervised knowledge extraction for detection of drugs and their effects
University of Pisa（比萨大学）；Institute of Informatics and Telematics (IIT-CNR)（信息与通信技术研究所（IIT-CNR））；LUCENSE SCaRL（LUCENSE 有限责任公司）
新精神活性物质是处于立法灰色地带的药物，因为它们没有在国际上和官方上被禁止，这可能导致它们的贸易不受起诉。这种现象的加剧是，电子邮件可以很容易地在网上出售和购买。在这里，我们考虑了在专门讨论药物的在线论坛上发布的大量文本帖子，加上一小部分已知物质和相关影响，我们称之为种子。我们提出了一种半监督的方法来提取知识，应用于检测药物（包括药物）和效果的语料库正在调查。基于非常小的初始种子集，这项工作突出了对比方法和上下文推理如何有效地从语料库中检测物质和效果。我们的结果令人鼓舞，其F1得分接近0.9，为缩短新精神活性物质的检测时间铺平了道路，一旦这些物质在互联网上被讨论和宣传。
2016-09-21 cs.CL
Experiments on transfer learning architectures for biomedical relation extraction
Loria, CNRS, Inria, Université de Lorraine（洛里亚研究所、法国国家科学研究中心、法国国家信息与自动化研究所、洛林大学）
关系抽取（RE）是从文本中自动识别和构造感兴趣的关系。最近，BERT提高了几个NLP任务的最佳性能，包括RE。然而，在机器学习架构和迁移学习策略中使用BERT的最佳方式仍然是一个悬而未决的问题，因为它高度依赖于每个特定的任务和领域。在这里，我们探索各种基于BERT的架构和迁移学习策略（即，冷冻或微调）用于两个语料库上的生物医学RE任务。在测试的架构和策略中，我们的 *BERT-segMCNN在两个语料库上的性能高于最先进的水平（在ChemProt和PGxCorpus语料库上分别有1.73%和32.77%的绝对改进）。更一般地说，我们的实验说明了使用BERT进行微调的预期兴趣，以及除了BERT经典地利用的上下文之外，使用结构信息（与句子分割）的未开发优势。
2020-11-24 cs.CL cs.LG
Gextext: Disease Network Extraction from Biomedical Literature
目的：我们提出了一种完全无监督的方法，直接从非结构化生物医学文本语料库中学习潜在疾病网络。该方法解决了当前无监督知识提取中的挑战，例如检测远程依赖关系和大型训练语料库的要求。方法：设C为n个语块的语料库.设V是语料库中出现的p个疾病术语的集合。设X表示V在C中的出现。Gextext通过正相关的发生模式来识别疾病的相似性。这些信息被组合以生成一个图，在该图上测地距离描述相异性。通过Gextext和GloVE在100-1000份PubMed摘要的语料库上学习疾病。对生物医学语义相似性度量和基因图谱相似性进行了相似性矩阵估计验证。结果：Gextext推断的疾病体上的测地线距离与语义相似性的外部度量呈负相关。基因图谱相似性也与推断图上的接近性显著相关。Gextext在我们的实验中表现优于GloVE。Gextext图中包含的信息超过了文本中的显式信息内容。结论：Gextext从非结构化文本中提取潜在的关系，使PubMed摘要中的疾病组图完全无监督建模成为可能。
2019-12-17 cs.CL cs.DL
MORE: A Metric Learning Based Framework for Open-domain Relation Extraction
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Zhejiang University City College（浙江大学城市学院）
开放关系抽取（OpenRE）是从开放领域语料库中抽取关系模式的任务。现有的大多数OpenRE方法要么不能充分利用高质量的标注语料，要么不能直接学习语义表示，影响了下游聚类效率。为了解决这些问题，在这项工作中，我们提出了一种新的学习框架命名为MORE（基于度量学习的开放式关系抽取）。该框架利用深度度量学习从标记数据中获取丰富的监督信号，并驱动神经模型直接学习语义关系表示。在两个真实数据集上的实验结果表明，我们的方法优于其他最先进的基线。我们的源代码可以在Github上找到。
2022-06-01 cs.AI cs.CL
Online Inference for Relation Extraction with a Reduced Feature Set
University of California, Berkeley（加州大学伯克利分校）；Amazon（亚马逊）；Xerox Research Centre Europe（施乐欧洲研究中心）
访问网络规模的语料库正逐渐带来强大的自动知识库创建和扩展触手可及。为了利用这些大型的未注释的-而且极难注释的-语料库，需要无监督的机器学习方法。文本的概率模型最近作为这样一种工具取得了一些成功，但可扩展性仍然是其应用中的一个障碍，标准方法依赖于已知难以扩展的采样方案。因此，在这份报告中，我们提出了一个经验评估的次线性时间稀疏随机变分推理（SSVI）计划适用于RelLDA。我们表明，在线推理导致相对较强的定性结果，但也确定了它的一些病理-和那些模型-这将需要克服，如果SSVI是用于大规模的关系抽取。
2015-04-18 cs.CL cs.LG
Weakly-supervised Relation Extraction by Pattern-enhanced Embedding Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
从文本语料库中抽取关系是文本挖掘的一项重要任务。当关注于弱监督的关系抽取时，也就是说，利用几个关系实例（即，一对实体和它们的关系）作为种子以从语料库中提取更多的实例。现有的分布式方法利用实体的语料库级共现统计来预测它们的关系，并且需要大量的标记实例来学习有效的关系分类器。或者，基于模式的方法执行自举或应用神经网络来对局部上下文进行建模，但仍然依赖于大量的标记实例来构建可靠的模型。在本文中，我们研究集成分布和模式为基础的方法在弱监督设置，使这两种类型的方法可以提供互补的监督对方建立一个有效的，统一的模型。我们提出了一种新的协同训练框架，其中包含一个分布式模块和一个模式模块。在训练过程中，分布模块帮助模式模块区分信息模式和其他模式，模式模块生成一些高置信度的实例来改进分布模块。通过改进模式模块和更新分布模块之间的迭代，可以有效地优化整个框架。我们在两个任务上进行了实验：文本语料库的知识库补全和语料库级的关系抽取。实验结果证明了我们的框架在弱监督环境下的有效性。
2017-12-26 cs.CL
A Novel Framework to Expedite Systematic Reviews by Automatically Building Information Extraction Training Corpora
Northwestern University（西北大学）；Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；University of Manchester（曼彻斯特大学）
系统性综述识别和整理各种临床研究，并比较数据元素和结果，以便为特定临床问题提供基于证据的答案。这个过程是手动的，需要很多时间。目前还缺乏一种工具来自动化这一过程。这项工作的目的是开发一个框架，使用自然语言处理和机器学习来构建信息抽取算法，以识别新的主要出版物中的数据元素，而不必通过手动注释的昂贵任务来为每个数据元素类型构建黄金标准。该系统分两个阶段开发。最初，它使用现有系统评价中包含的信息，使用修改后的Jaccard相似性度量，从包含特定数据元素的参考文献的PDF文件中识别句子。将这些句子作为标记数据，训练支持向量机（SVM）分类器，从新文章中提取感兴趣的数据元素。我们使用纳入标准作为示例数据元素，对与充血性心力衰竭相关的Cochrane数据库系统评价进行了实验。实验结果表明，该系统自动识别包含感兴趣的数据元素的句子，具有较高的召回率（93.75%）和合理的精度（27.05% -这意味着审稿人平均只需阅读3.7个句子）。实证结果表明，该工具是检索有价值的信息，从参考文章，即使它是耗时的手动识别。因此，我们希望该工具将是有用的自动数据提取生物医学研究出版物。这项工作的未来范围是将这一信息框架推广到所有类型的系统评价。
2016-06-21 cs.CL cs.IR cs.LG
Leveraging LLMs to Create Content Corpora for Niche Domains
Bellevue College（贝尔维尤学院）；Eastside Preparatory School（东侧预备学校）；Google Cloud（谷歌云）
针对小众领域专业语料构建难的问题，提出融合LLM增强技术的语料生成策略框架，在行为教育领域的习惯养成应用中验证，生成3531个独特挑战，用户满意度达4.3/5、91%受访者愿意使用。
2025-07-31 cs.AI cs.CL cs.CY
Improving Neural Relation Extraction with Implicit Mutual Relations
East China Normal University（华东师范大学）；National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
关系抽取的目的是从文本语料库中抽取两个实体之间的关系。构建知识图谱是一项重要的工作。大多数现有的方法通过从包含目标实体对的训练句子中学习实体对之间的关系来预测实体对之间的关系。与现有的远程监督方法存在训练语料不足以提取关系的问题相比，我们提出的从大量未标记语料中挖掘隐含相互关系的方法将实体对的语义信息转移到RE模型中，这更具有表达力和语义合理性。基于隐含的相互关系构建实体邻近图后，通过将图的每个顶点嵌入到低维空间中来保持实体对的语义关系。因此，我们可以很容易地和灵活地集成隐含的相互关系和其他实体信息，如实体类型，到现有的RE方法。我们在《纽约时报》和另一个Google Distant Supervision数据集上的实验结果表明，我们提出的神经RE框架为RE任务提供了有希望的改进，并且显着优于最先进的方法。此外，用于挖掘隐式相互关系的组件是如此灵活，可以帮助显着提高基于CNN和基于RNN的RE模型的性能。
2019-07-08 cs.CL cs.IR
CoType: Joint Extraction of Typed Entities and Relations with Knowledge Bases
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Army Research Laboratory（陆军研究实验室）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
从文本中提取感兴趣类型的实体和关系对于理解海量文本语料库非常重要。传统上，实体关系抽取系统依赖于人工标注的语料库进行训练，并采用增量管道。这样的系统需要额外的人类专业知识来移植到一个新的领域，并且容易受到错误级联的影响。在本文中，我们研究了联合提取类型化实体和关系与标记数据从知识库（即，远程监控）。由于我们通过远程监督进行类型标记的算法是上下文不可知的，因此嘈杂的训练数据对任务构成了独特的挑战。我们提出了一种新的领域独立的框架，称为CoType，它运行一个数据驱动的文本分割算法来提取实体提及，并联合嵌入实体提及，关系提及，文本特征和类型标签到两个低维空间（分别为实体和关系提及），在每个空间中，类型接近的对象也将具有相似的表示。CoType然后使用这些学习到的嵌入来估计测试（unreceived）提及的类型。我们制定了一个联合优化问题，学习嵌入文本语料库和知识库，采用一种新的部分标签损失函数的噪声标记的数据，并引入一个对象的“翻译”功能，以捕捉交叉约束的实体和关系。在三个公共数据集上的实验证明了CoType在不同领域（例如，新闻，生物医学），与下一个最佳方法相比，F1评分平均提高25%。
2017-06-02 cs.CL cs.LG
How Important is Domain Specificity in Language Models and Instruction Finetuning for Biomedical Relation Extraction?
University of Kentucky, Lexington, KY USA（肯塔基大学）
本文在四个生物医学关系抽取数据集上比较通用与生物医学预训练LM及不同指令微调来源，发现通用模型通常更优，而少量生物医学指令微调即可取得与通用指令微调相近的收益。
2025-07-25 cs.CL
Parmesan: mathematical concept extraction for education
NIST（美国国家标准与技术研究院）；Topos Institute（Topos研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出面向范畴论教育的数学概念搜索与定义原型系统 Parmesan，结合概念、关系、定义抽取及实体链接等混合 NLP 技术，并发布两个已标注的数学语料库。
2023-07-17 cs.CL cs.IR math.CT
Syntactic and Semantic-driven Learning for Open Information Extraction
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Information Processing Laboratory（中文信息处理实验室）；State Key Laboratory of Computer Science（计算机科学国家重点实验室）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Baidu Inc.（百度公司）
构建准确，高覆盖率的神经开放IE系统的最大瓶颈之一是需要大型标记语料库。开放领域语料库的多样性和自然语言表达的多样性进一步加剧了这一问题。在本文中，我们提出了一种句法和语义驱动的学习方法，它可以学习神经开放的IE模型，而无需任何人类标记的数据，通过利用句法和语义知识作为噪音，更高级别的监督。具体来说，我们首先采用语法模式作为数据标签函数，并使用生成的标签预训练基本模型。然后提出了一种句法和语义驱动的强化学习算法，该算法能够有效地将基本模型推广到开放的场景中，并具有较高的准确率。实验结果表明，该方法的性能明显优于有监督的同类方法，甚至可以达到与有监督的最先进（SoA）模型相媲美的性能
2021-03-05 cs.CL
Current Trends and Approaches in Synonyms Extraction: Potential Adaptation to Arabic
Birzeit University（比尔宰特大学）
从词典或语料库中提取同义词正受到特别关注，因为同义词在提高NLP应用程序性能方面发挥着重要作用。本文综述了同义词自动提取的各种方法和发展趋势。这些方法可分为四大类。第一种方法是使用翻译图来找到同义词。第二种方法是发现新的转换对，例如（阿拉伯语-英语）（英语-法语）然后（阿拉伯语-法语）。第三种方法是通过探索同义图来构建新的WordNet，第四种方法是使用深度学习方法从语料库中找到相似的单词，例如词嵌入和最近的BERT模型。本文还提出了这些方法之间的比较分析，并强调潜在的适应自动生成同义词在阿拉伯语作为未来的工作。
2022-05-20 cs.AI cs.CL cs.IR
MMCR4NLP: Multilingual Multiway Corpora Repository for Natural Language Processing
Kyoto University（京都大学）
越来越多的研究人员已经成功地证明，使用额外的语言有助于改善许多自然语言处理任务的结果，从这个意义上说，多语言正逐渐变得无处不在。多语言多通道语料库（MMC）包含多个语言的同一个句子。这种语料库主要用于多源和枢轴语言机器翻译，但也可用于通过迁移学习开发多语言序列标记器。虽然这些语料库是可用的，但它们并不是为多语言实验而组织的，研究人员每次想要使用这些语料库时都需要编写样板代码。此外，由于没有正式的MMC集合，因此很难与现有方法进行比较。因此，我们提出了我们的工作，建立一个统一的和系统组织的存储库MMC跨越大量的语言。我们还提供培训，开发和测试的语料库，其中官方的分裂是不可用的。我们希望这将有助于加快多语言NLP研究的步伐，并确保NLP研究人员获得更可信的结果，因为它们可以很容易地进行比较。我们指出语料来源，提取程序，如果有的话和相关的统计数据。我们还公开我们的收藏以供研究之用。
2019-02-14 cs.CL
An Empirical Study of UMLS Concept Extraction from Clinical Notes using Boolean Combination Ensembles
University of Minnesota（明尼苏达大学）；Dartmouth College（达特茅斯学院）；Mayo Clinic（梅奥诊所）；The University of Texas Health Science Center（德克萨斯大学健康科学中心）
我们在这项研究中的目标是调查布尔运算符的行为，结合注释输出从多个自然语言处理（NLP）系统跨多个语料库，并评估如何过滤聚合的统一医学语言系统（UMLS）元词库概念影响系统性能的命名实体识别（NER）的UMLS概念。我们使用了三个注释UMLS概念的语料库：2010 i2 b2 VA挑战集（31，161个注释），多源临床问题集成平台（MiPACQ）语料库（17，457个注释，包括UMLS概念唯一标识符）和Fairview Health Services语料库（44，530个注释）。我们的研究结果表明，对于UMLS概念匹配，布尔集成的MiPACQ语料库倾向于更高的性能超过个别系统。使用近似网格搜索可以帮助优化精确度-召回率权衡，并且可以提供一组用于选择最佳集合的算法。
2021-08-04 cs.CL
Interpreting Language Models Through Knowledge Graph Extraction
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在大型文本语料库上训练的基于transformer的语言模型在自然语言处理社区中非常受欢迎，并且通常用作下游任务的起点。虽然这些模型非常有用，但要量化其性能超出传统的准确性指标是一个挑战。在本文中，我们比较BERT为基础的语言模型，通过在训练过程的顺序阶段获得的知识的快照。来自训练语料库的结构化关系可以通过用探测任务查询掩蔽的语言模型来揭示。我们提出了一种方法来揭示一个知识获取的时间轴通过生成知识图谱提取完形填空语句在不同阶段的RoberTa的早期培训。我们将这种分析扩展到比较BERT模型（DistilBERT，BERT-base，RoBERTa）的预训练变体。这项工作提出了一个定量的框架比较语言模型，通过知识图谱提取（GED，Graph 2 Vec）和展示了一部分的语音分析（POSOR），以确定每个模型变体的语言优势。使用这些指标，机器学习从业者可以比较模型，诊断模型的行为优势和弱点，并识别新的目标数据集以提高模型性能。
2021-11-16 cs.CL cs.LG
Zero-Shot Cross-Lingual Opinion Target Extraction
Semalytix GmbH（Semalytix有限公司）；Bielefeld University（比勒费尔德大学）
基于情感的情感分析涉及对所谓的意见目标表达（OTE）的识别。为了自动提取OTE，通常采用监督学习算法，该算法在手动标注的语料库上进行训练。这些语料库的创建是劳动密集型的，因此足够大的数据集通常只适用于非常有限的语言和领域。在这项工作中，我们提出了一个zero-shot跨语言的意见目标表达的提取方法，以解决缺乏可用的注释数据的特定语言。我们利用跨各种语言共享公共向量空间的多语言词嵌入，并将其纳入卷积神经网络架构中以进行OTE提取。我们对5种语言的实验给出了有希望的结果：我们可以成功地在源语言的注释数据上训练模型，并在目标语言中不使用任何注释样本的情况下对目标语言进行准确的预测。根据源语言和目标语言对的不同，我们在zero-shot模式下的性能达到了目标语言数据训练模型的77%。此外，通过从多个源语言进行跨语言学习，我们可以将这种性能提高到目标语言数据训练的基线模型的87%。
2019-04-19 cs.CL cs.LG
RuREBus: a Case Study of Joint Named Entity Recognition and Relation Extraction from e-Government Domain
ABBYY；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；National Research University Higher School of Economics（俄罗斯国立高等经济大学）；Novosibirsk State University（新西伯利亚国立大学）；Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；Innopolis University（伊诺波利斯大学）；Kazan Federal University（喀山联邦大学）
我们展示了一个应用程序的信息抽取方法，如命名实体识别（NER）和关系抽取（RE）到一个新的语料库，由文件组成，由国家机构发出。这个语料库的主要挑战是：1）注释方案与一般领域语料库的注释方案有很大不同，2）文档是用英语以外的语言编写的。与预期不同的是，最先进的基于transformer的模型在这两项任务中表现出适度的性能，无论是按顺序进行还是以端到端的方式进行。我们的实验表明，微调一个大型的未标记的语料库不会自动产生显着的改善，因此，我们可以得出结论，更复杂的策略，利用未标记的文本是必需的。在本文中，我们描述了整个开发管道，从文本注释开始，基线开发，并设计了一个共享的任务，希望改善基线。最终，我们意识到，目前的NER和RE技术还远未成熟，无法克服像我们这样的挑战。
2020-10-29 cs.CL cs.CY
tieval: An Evaluation Framework for Temporal Information Extraction Systems
INESC TEC（INESC TEC（葡萄牙系统与计算机工程研究所））；University of Porto（波尔图大学）；Polytechnic Institute of Tomar（托马尔理工学院）；Ci2 - Smart Cities Research Center（Ci2智慧城市研究中心）
针对时间信息抽取系统评估中数据集格式与标注不一致、评估指标实现困难等问题，开发了tieval这一Python库，提供统一接口导入多语料库并支持传统指标与时间感知度评估，促进系统间的公平比较。
2023-11-24 cs.CL
SCoRE: Streamlined Corpus-based Relation Extraction using Multi-Label Contrastive Learning and Bayesian kNN
Department of Physical, Computer and Mathematical Sciences - University of Modena and Reggio Emilia（物理、计算机和数学科学系 - 模纳和雷吉奥艾米利亚大学）
SCoRE提出无需微调、模块化的句子级关系抽取系统，结合监督对比学习与贝叶斯kNN，在低监督下抗噪，匹配或超越SOTA且能耗更低，并引入新评估指标与基准数据集。
2025-07-09 cs.AI cs.CL cs.IR
Using English as Pivot to Extract Persian-Italian Parallel Sentences from Non-Parallel Corpora
Shiraz University（设拉子大学）；University of Calabria（卡拉布里亚大学）；Complutense University（马德里康普顿斯大学）
统计机器翻译系统（SMT）的有效性很大程度上取决于训练阶段使用的并行语料库的数量。对于低资源语言对，没有足够的并行语料库来构建准确的SMT。本文提出了一种从非平行（可比）语料库中抽取波斯语-意大利语双语平行句的新方法。在本研究中，英语被用作枢轴语言，计算源和目标句子和候选选择阶段之间的匹配分数。此外，一个新的单语句子相似性度量，归一化谷歌距离（NGD），提出了改进的匹配过程。此外，基线系统的一些扩展，以提高提取的句子与BLEU测量的质量。实验结果表明，使用新的基于主元的抽取方法可以显著提高双语语料的质量，从而提高波斯语-意大利语SMT系统的性能。
2017-01-29 cs.CL
Corpus-Driven Knowledge Acquisition for Discourse Analysis
大型在线文本语料库的可用性为自然语言处理（NLP）和机器学习（ML）之间的世界提供了一个自然和有前途的桥梁。近年来，NLP社区一直在积极研究统计技术来驱动词性标记器，但特定于应用程序的文本语料库也可以用于驱动更高层次的知识获取。在本文中，我们将展示如何使用ML技术来支持信息提取系统的知识获取。为许多信息提取应用程序指定显式的域模型通常是非常困难的，并且为每个新域实现手工编码的领域分析总是劳动密集型的。我们已经发现，尽管如此，仍然可以使用ML算法来捕获仅隐含在代表性文本语料库中的知识。我们的工作解决了传统上与话语分析和插入式推理生成相关的问题，并展示了ML算法在这种更高级别的语言分析中的实用性。我们的工作的好处解决了信息提取（IE）技术的可移植性和可扩展性。当使用手工编码的语义学来管理信息提取系统中的话语分析时，很容易需要数月的编程工作来将成功的IE系统移植到新的领域。我们将展示ML算法如何减少这一点
1994-06-07 cmp-lg cs.CL
CEntRE: A paragraph-level Chinese dataset for Relation Extraction among Enterprises
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Henan University（河南大学）
企业关系抽取的目的是从非结构化或半结构化的文本数据中发现企业实体对并识别它们之间的业务关系，它在风险分析、评级研究和供应链安全等实际应用中具有重要意义。然而，以往的工作主要集中在获取企业的人员、企业业务等属性信息，而对企业关系抽取的研究较少。为了鼓励研究的进一步进展，我们引入了CENTRE，这是一个新的数据集，它是从公开的商业新闻数据中构建的，经过仔细的人工注释和智能数据处理。在CENTRE上使用六个优秀模型进行的大量实验证明了我们提出的数据集的挑战。
2022-10-19 cs.CL cs.CR
