Relation Extraction with Weighted Contrastive Pre-training on Distant Supervision
Kyoto University（京都大学）
远程监督的对比预训练在提高监督式关系抽取任务方面表现出显著的效果。然而，现有的方法忽略了在预训练阶段的远程监督的固有噪声。在本文中，我们提出了一种加权对比学习方法，利用监督数据来估计预训练实例的可靠性，并显式地减少噪声的影响。在三个监督数据集上的实验结果证明了我们提出的加权对比学习方法与两个最先进的非加权基线相比的优势。我们的代码和模型可以在https://github.com/YukinoWan/WCL上获得
2023-02-10 cs.CL
Multi-Row, Multi-Span Distant Supervision For Table+Text Question
IBM Research（IBM研究院）；IIT Bombay（印度理工学院孟买分校）
针对TextTableQA中多单元格、多文本跨度匹配导致的噪声多实例训练问题，提出基于transformer的MITQA系统，通过多实例损失和课程设计应对远程监督，在两个基准数据集上取得SOTA结果。
2023-06-11 cs.AI cs.CL
RDSGAN: Rank-based Distant Supervision Relation Extraction with Generative Adversarial Framework
Wuhan University（武汉大学）
远程监督已被广泛用于关系抽取，但遭受噪声标记问题。神经网络模型被提出来用注意力机制去噪，但由于其非零权值而不能消除噪声数据。硬决策是从正集合中删除错误标记的实例，但会导致删除实例中包含的有用信息丢失。在本文中，我们提出了一种新的生成式神经框架RDSGAN（基于秩的远程监督GAN），自动生成有效的远程监督关系抽取的实例。我们的框架结合了软注意力和硬决策，通过对抗训练来学习真阳性实例的分布，并通过基于排名的远程监督来选择符合分布的有效实例，从而解决了假阳性问题。实验结果表明，我们的框架优于强基线。
2020-09-30 cs.CL cs.LG
Combining Distant and Direct Supervision for Neural Relation Extraction
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
在远程监督的关系抽取中，噪声标签使得训练质量模型变得困难。以前的神经模型使用注意力机制来解决这个问题，该机制关注可能表达关系的句子。我们通过将远程监督数据与额外的直接监督数据相结合来改进这种模型，我们将其用作注意力权重的监督。我们发现，对这两种类型的监督进行联合训练会产生更好的模型，因为它提高了模型识别噪声句子的能力。此外，我们发现，在这种设置中，最大池的sigmoidal注意力权重比常用的加权平均注意力具有更好的性能。我们提出的方法在广泛使用的FB-NYT数据集上实现了一个新的最先进的结果。
2019-04-06 cs.CL
Distant Supervision Relation Extraction with Intra-Bag and Inter-Bag Attentions
University of Science and Technology of China（中国科学技术大学）
提出了一种神经网络关系抽取方法来处理远程监控产生的带噪声的训练数据。以往的研究主要集中在通过设计具有袋内关注度的神经网络来实现袋内水平去噪。本文同时考虑袋内和袋间的注意力，分别对袋级和袋级的噪声进行处理。首先，通过使用袋内注意力加权句子嵌入来计算关系感知袋表示。这里，利用每个可能的关系作为用于注意力计算的查询，而不是在传统方法中仅使用目标关系。此外，在训练集中，共享相同的关系标签的一组袋的表示计算通过加权袋表示使用基于相似性的袋间注意模块。最后，一个袋子组被用作训练样本时，建立我们的关系提取器。纽约时报数据集上的实验结果表明，我们提出的袋内和袋间注意力模块的有效性。我们的方法也实现了更好的关系抽取的准确性比国家的最先进的方法在这个数据集上。
2019-03-30 cs.AI cs.CL
DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction
Beijing University of Posts and Telecommunications（北京邮电大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
远程监控可以有效地标记数据，用于关系抽取，但遭受噪声标记问题。近年来的研究主要采用软袋级降噪策略来寻找句子袋中相对较好的样本，这与在句子级对假阳性样本进行硬判决相比是次优的。在本文中，我们介绍了一个对抗性学习框架，我们命名为DSGAN，学习一个级别的真正生成器。受生成对抗网络的启发，我们将生成器生成的正样本作为负样本来训练网络。直到最优生成器的鉴别能力下降最大时，才得到最优生成器。我们采用生成器过滤远程监督训练数据集，并将假阳性实例重新分配到阴性集合中，从而为关系分类提供清洁的数据集。实验结果表明，与现有系统相比，该策略显著提高了远程监控关系抽取的性能。
2018-05-24 cs.CL
CANDiS: Coupled & Attention-Driven Neural Distant Supervision
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Indian Institute of Science（印度科学理工学院）
用于关系抽取的远程监督使用具有现有知识库的、按顺序对齐的文本数据作为训练数据。这种技术的无监督性质允许它扩展到网络规模的关系抽取任务，代价是训练数据中的噪声。以前的工作已经探索了相同实体对的实例之间的关系，以减少这种噪音，但实体对的实例之间的关系还没有得到充分利用。我们探讨使用的动词短语和实体类型的相似性的基础上的实例间的耦合。我们提出了一种新的技术，CANDIS，铸造远程监督使用实例间耦合到一个端到端的神经网络模型。CANDIS在实例级集成了一个注意力模块来模拟这个问题的多实例性质。CANDIS在标准基准数据集上的性能优于现有的最先进技术。
2017-10-26 cs.CL
Denoising Distant Supervision for Relation Extraction via Instance-Level Adversarial Training
Tsinghua University（清华大学）；Capital Normal University（首都师范大学）
现有的神经关系抽取（NRE）模型依赖于远程监督，存在错误标注问题.在本文中，我们提出了一种新的对抗性训练机制的关系抽取的实例，以减轻噪音问题。与以往的去噪方法相比，我们提出的方法可以更好地区分这些信息的实例从噪声。我们的方法也是有效和灵活的，适用于各种NRE架构。在大规模基准数据集上进行的关系抽取实验表明，该去噪方法能有效滤除噪声，与现有模型相比，性能有了显著提高.
2018-05-28 cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science（印度科学研究所）；University of British Columbia（英属哥伦比亚大学）
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督（DS）是一种流行的技术，用于从有限监督开始开发关系提取器。我们注意到，在远程监督关系抽取设置中的大多数句子都很长，并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先，我们提出了两个新的词注意力模型的远程监督关系抽取：（1）双向门控递归单元（Bi-GRU）为基础的词注意力模型（BGWA），（2）以实体为中心的注意力模型（EA），和（3）组合模型，采用加权投票方法结合多个互补的模型改进的关系抽取。其次，介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声，使可靠的自动评估成为可能。第三，通过在多个真实数据集上的大量实验，我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
Distant Supervision for Relation Extraction beyond the Sentence Boundary
Microsoft Research（微软研究院）
对结构化知识日益增长的需求导致了人们对关系抽取的极大兴趣，特别是在监督有限的情况下。然而，现有的距离监督方法只能提取单个句子中表达的关系。一般来说，跨句关系抽取是探索不足，即使在监督学习设置。在本文中，我们提出了第一种将远程监督应用于跨句关系抽取的方法。我们的方法的核心是一个图形表示，可以将标准的依赖关系和话语关系，从而提供了一个统一的方式来建模内和跨句子的关系。我们从这个图中的多条路径中提取特征，当遇到语言变化和分析错误时，提高了准确性和鲁棒性。在一个重要的精准医学提取任务上的实验表明，我们的方法可以学习一个准确的跨句子提取器，只使用一个小的现有知识库和生物医学研究文章中的未标记文本。与现有的远程监督范式相比，我们的方法以相似的精度提取了两倍的关系，从而证明了跨句子关系的普遍性和我们方法的前景。
2017-08-14 cs.CL
Leveraging 2-hop Distant Supervision from Table Entity Pairs for Relation Extraction
The Ohio State University（俄亥俄州立大学）
远程监控（Distant Supervision，DS）已被广泛用于自动构造（噪声）标记数据以用于关系抽取（RE）。给定两个实体，远距离监督利用直接提到它们的句子来预测它们的语义关系。我们把这种策略称为1跳DS，不幸的是，它可能不适合于支持句子很少的长尾实体。在本文中，我们引入了一种新的策略，名为2跳DS，以提高远程监督RE，观察到存在大量的关系表在Web上包含共享共同关系的实体对。我们将这样的实体对称为彼此的锚，并收集所有提到给定目标实体对的锚实体对的句子，以帮助关系预测。我们在多示例学习范式中开发了一种新的神经RE方法REDS 2，该方法采用分层模型结构分别融合来自1跳DS和2跳DS的信息。在基准数据集上进行的大量实验结果表明，REDS2可以在不同的设置中始终优于各种基线。
2019-09-13 cs.CL
Distant Supervision for Relation Extraction with Linear Attenuation Simulation and Non-IID Relevance Embedding
Beijing Institute of Technology（北京理工大学）；Baidu Inc.（百度公司）
关系抽取的远程监督是一种有效降低人工成本的方法，被广泛应用于大规模语料库中关系事实的发现，关系事实的发现属于多实例多标签问题。然而，现有的远程监督方法存在选择句子中的重要词和提取包中的有效句子的问题。为此，我们提出了一种新的方法来解决这些问题在本文中。首先，我们提出了一个线性衰减模拟，以反映实体和单词之间的距离在句子中的单词的重要性。其次，我们提出了一种非独立同分布（non-IID）的相关性嵌入来捕获包中句子的相关性。该方法不仅可以捕获词的复杂信息，而且可以表达包中实例的互信息。在基准数据集上的大量实验很好地验证了所提出方法的有效性。
2018-12-22 cs.CL
Effective Slot Filling Based on Shallow Distant Supervision Methods
Saarland University（萨尔大学）
萨尔大学（LSV）的口语系统今年参加了TAC KBP英语插槽填充轨道的5次运行。从文档检索到关系预测和响应后处理，流水线所有部分的有效算法都捆绑在一个名为“关系工厂”的模块化端到端关系抽取系统中。主要运行只关注浅层技术，并在使用相同的训练数据和模式的同时，对LSV去年的系统进行了重大改进。改进主要是通过聚焦于表面跳过n元语法的特征表示和针对提取的远距离监督模式的改进的评分来获得的。有效提取的重要因素是远程监督分类器的训练和调整方案，以及基于维基百科链接的翻译模型的查询扩展。在TAC KBP 2013年英语插槽填充评估中，LSV RISK Factory系统的提交主运行获得了37.3%的F1分数。
2014-01-06 cs.CL
H-FND: Hierarchical False-Negative Denoising for Distant Supervision Relation Extraction
UC Los Angeles（加州大学洛杉矶分校）；UC Santa Barbara（加州大学圣巴巴拉分校）；Academia Sinica（中央研究院）
虽然远程监督自动生成用于关系抽取的训练数据，但它也向生成的数据集引入了假阳性（FP）和假阴性（FN）训练实例。虽然这两种类型的错误降低了最终的模型性能，以前的工作远距离监督去噪更多地集中在抑制FP噪声，而不是解决FN问题。在这里，我们提出了H-FND，一个分层的假阴性去噪框架，用于鲁棒的远程监督关系抽取，作为FN去噪解决方案。H-FND使用分层策略，该策略首先确定在训练过程中是否应该保留、丢弃或修改非关系（NA）实例。对于那些需要修改的学习实例，该策略进一步重新分配它们适当的关系，使它们更好地进行训练输入。在SemEval-2010和TACRED上进行了实验，控制FN比率，随机将训练和验证实例的关系变为否定，以生成FN实例。在这种情况下，H-FND可以正确地修改FN实例，即使50%的实例已经变成负数，也可以保持较高的F1分数。在NYT 10上的实验进一步表明，H-FND是适用于一个现实的设置。
2020-12-14 cs.CL
Robust Distant Supervision Relation Extraction via Deep Reinforcement Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
远程监控已经成为关系抽取的标准方法。然而，即使它是一种有效的方法，它也不是没有代价的-所得到的远程监督训练样本往往是非常嘈杂的。为了对抗噪声，大多数最近的国家的最先进的方法集中在选择一个最好的句子或计算软注意力权重的一个特定的实体对的句子的集合。然而，这些方法都是次优的，误报问题仍然是性能的一个关键绊脚石瓶颈。我们认为，这些不正确的标记的候选句子必须处理与硬决定，而不是被处理软注意力权重。为了做到这一点，我们的论文描述了一个激进的解决方案--我们探索了一种深度强化学习策略来生成假阳性指标，在这种情况下，我们自动识别每种关系类型的假阳性，而无需任何监督信息。与以往研究中的移除操作不同，我们将它们重新分配到负例中。实验结果表明，该策略显着提高了远程监控的性能相比，国家的最先进的系统。
2018-05-24 cs.CL
Denoising Relation Extraction from Document-level Distant Supervision
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tencent（腾讯）
远程监控技术被广泛应用于数据库级关系抽取的自动标注，提高了关系抽取的性能。然而，现有的成功DS不能直接转移到更具挑战性的文档级关系抽取（DocRE），因为固有的噪声在DS中可能会在文档级甚至成倍增加，并显着损害RE的性能。为了应对这一挑战，我们提出了一种新的DocRE预训练模型，该模型通过多个预训练任务对文档级DS数据进行降噪。在大规模DocRE基准测试上的实验结果表明，该模型能够从噪声DS数据中捕获有用的信息，并取得了令人满意的结果。
2020-11-08 cs.CL
FGSI: Distant Supervision for Relation Extraction method based on Fine-Grained Semantic Information
Harbin Normal University（哈尔滨师范大学）
关系抽取的主要目的是抽取句子中带有标签的实体对之间的语义关系，它在句子的语义理解和知识图谱的构建中起着重要的作用。在本文中，我们提出了一个句子中的关键语义信息在实体的关系提取中起着关键作用。我们提出了一个假设，即句子内部的关键语义信息在实体关系抽取中起着关键作用。并基于这一假设，从句子内部根据实体的位置将句子分成三段，通过句内注意力机制寻找句子内部的细粒度语义特征，减少无关噪声信息的干扰。提出的关系抽取模型可以充分利用现有的正语义信息。实验结果表明，与现有方法相比，所提出的关系抽取模型提高了查准率-查全率曲线和P@N值，证明了该模型的有效性。
2023-03-18 cs.AI cs.CL
ReasonBERT: Pre-trained to Reason with Distant Supervision
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）
我们提出了ReasonBert，这是一种预训练方法，它增强了语言模型在长距离关系和多个可能的混合上下文中进行推理的能力。与现有的预训练方法不同，这些方法只从自然发生的文本的本地上下文中获取学习信号，我们提出了一种广义的远程监督概念，可以自动连接多个文本和表格，以创建需要远程推理的预训练样本。模拟不同类型的推理，包括交叉多个证据，从一个证据到另一个证据的桥接，以及检测无法回答的案例。我们对各种提取的问答数据集进行了全面的评估，从单跳到多跳，从纯文本到纯表格再到需要各种推理能力的混合数据集，并表明ReasonBert在一系列强基线上取得了显着的改进。Few-Shot实验进一步证明，我们的预训练方法大大提高了样本效率。
2021-09-10 cs.AI cs.CL cs.LG
Hierarchical Relation-Guided Type-Sentence Alignment for Long-Tail Relation Extraction with Distant Supervision
University of Technology Sydney（悉尼科技大学）
远程监督使用知识图谱中的三重事实来标注语料库以进行关系抽取，导致错误标注和长尾问题。一些作品使用关系的层次结构进行知识转移到长尾关系。然而，粗粒度的关系通常仅意味着属性（例如，域或主题）的远距离事实，使得很难区分关系的基础上，单独的句子语义。一种解决方案是诉诸实体类型，但关于如何充分利用实体类型的信息以及如何将多粒度实体类型与句子对齐的问题仍然存在。在这项工作中，我们提出了一种新的模型来丰富实体类型的远程监督句子。它包括（1）一个成对的类型丰富的句子编码模块注入上下文无关的和相关的背景，以减轻重复级别的错误标记，和（2）一个分层的类型句子对齐模块丰富的句子与三重事实的基本属性，以支持长尾关系。我们的模型在基准测试的整体和长尾性能方面取得了新的最先进的结果。
2021-09-19 cs.CL
Learning with Noise: Enhance Distantly Supervised Relation Extraction with Dynamic Transition Matrix
ICST, Peking University, China（北京大学信息科学技术学院（ICST））；School of Computing and Communications, Lancaster University, UK（兰卡斯特大学计算与通信学院）；IBM China Research Lab, China（IBM中国研究实验室）
远程监督显著减少了为许多分类任务构建训练数据的人工努力。虽然很有前途，但这种技术通常会将噪声引入到生成的训练数据中，这会严重影响模型性能。本文深入研究了远程监督在关系抽取中的应用。我们表明，动态转移矩阵可以有效地表征噪声的训练数据建立远程监督。转移矩阵可以有效地训练使用一种新的课程学习为基础的方法，没有任何直接监督的噪音。我们在广泛的提取场景下彻底评估我们的方法。实验结果表明，我们的方法不断提高提取结果，并优于国家的最先进的各种评估方案。
2017-05-11 cs.CL
An Overview of Distant Supervision for Relation Extraction with a Focus on Denoising and Pre-training Methods
University of California, San Diego（加州大学圣地亚哥分校）
关系抽取是自然语言处理的基础性工作。RE试图通过识别文本中实体对之间的关系信息，将原始的非结构化文本转换为结构化知识。RE有许多用途，例如知识图谱完成、文本摘要、问答和搜索查询。逆向工程方法的发展历程大致可以分为四个阶段：基于模式的逆向工程、基于语义的逆向工程、基于神经元的逆向工程和基于大语言模型的逆向工程。本调查首先概述了可再生能源早期阶段的一些示范性工作，突出了限制和缺点，以使进展背景化。接下来，我们审查流行的基准和批判性地检查用于评估RE性能的指标。然后，我们讨论了远程监督，一个范例，塑造了现代RE方法的发展。最后，我们回顾了最近的RE作品，重点是去噪和预训练方法。
2022-07-17 cs.CL
False Positive and Cross-relation Signals in Distant Supervision Data
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；CAS IBM Netherlands（IBM荷兰认知计算中心）；Google Research, New York（谷歌研究院纽约分院）
远程监督（Distant Supervision，DS）是一种从文本中提取关系抽取的成熟方法，它基于这样的假设：当知识库包含一个术语对之间的关系时，包含该对的句子可能表达该关系。在本文中，我们使用的众包关系抽取任务的结果，以确定两个问题与DS数据质量：在不同的关系的误报程度相差很大，和观察到的因果关系之间的关系，不考虑DS方法。众包数据聚合是使用模糊感知的CrowdTruth度量来执行的，该度量用于捕获和解释注释者之间的分歧。我们还提出了初步的结果，使用人群，以提高DS训练数据的关系分类模型，而不需要人群注释整个集合。
2017-11-29 cs.CL
Uncover the Ground-Truth Relations in Distant Supervision: A Neural Expectation-Maximization Framework
Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）；National Research Council Canada（加拿大国家研究委员会）；University of Leeds（利兹大学）
关系抽取的远程监督使得人们能够以较少的人力从非常大的文本语料库中有效地获取结构化关系。然而，大多数现有技术的模型，这样的任务假设，给定的文本可以是嘈杂的，但其相应的标签是干净的。这种不切实际的假设与给定的标签通常也有噪声的事实相矛盾，从而导致这些模型在真实世界数据上的性能显着下降。为了应对这一挑战，我们提出了一种新的标签去噪框架，该框架将神经网络与概率建模相结合，在学习过程中自然地考虑到噪声标签。我们的经验表明，我们的方法显着提高了目前的艺术在揭露的真值关系标签。
2019-09-12 cs.CL
Effective Distant Supervision for Temporal Relation Extraction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在新领域中训练时态关系抽取模型的主要障碍是缺乏多样的高质量示例以及收集更多示例的挑战。我们提出了一种方法，自动收集远程监督的时间关系的例子。我们抓取并自动标记时间关系在文本中明确的事件对，然后屏蔽这些明确的线索，迫使在此数据上训练的模型学习其他信号。我们证明了预训练的Transformer模型能够在zero-shot和Few-Shot设置中从弱标记的示例转移到人类注释的基准，并且掩蔽方案在提高泛化方面很重要。
2021-04-07 cs.CL cs.LG
Improving Distantly Supervised Relation Extraction with Self-Ensemble Noise Filtering
IIT Kharagpur（印度理工学院卡拉格普尔分校）；SUTD（新加坡科技设计大学）
远程监督模型在关系抽取中非常流行，因为我们可以使用远程监督方法获得大量的训练数据，而无需人工注释。在远程监督中，如果句子包含元组的两个实体，则该句子被认为是元组的源。然而，这个条件过于宽松，不能保证句子中存在相关的关系特定信息。因此，远程监督的训练数据包含大量噪声，这对模型的性能产生不利影响。在本文中，我们提出了一种自集成过滤机制，以过滤掉噪声样本在训练过程中。我们评估我们提出的框架上的纽约时报数据集，这是通过远程监督。我们的实验与多个国家的最先进的神经关系抽取模型表明，我们提出的过滤机制提高了模型的鲁棒性，并增加其F1分数。
2021-08-22 cs.CL
Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yorùbá
Saarland University（萨尔兰大学）；Heidelberg University（海德堡大学）
缺乏标记的训练数据限制了自然语言处理工具的开发，例如用于发展中国家使用的许多语言的命名实体识别。远程和弱监督等技术可以用于以（半）自动方式创建标记数据。此外，为了减轻自动注释中错误的一些负面影响，可以集成噪声处理方法。预训练的词嵌入是大多数神经命名实体分类器的另一个关键组成部分。随着更复杂的上下文词嵌入的出现，模型大小和性能之间出现了一个有趣的权衡。虽然这些技术已被证明在高资源环境中工作良好，但我们想研究它们在低资源场景中的表现。在这项工作中，我们执行命名实体识别的豪萨语和Yorkebá，两种语言，广泛使用在几个发展中国家。我们评估了不同的嵌入方法，并表明远程监督可以成功地利用在一个现实的低资源的情况下，它可以增加一倍以上的分类器的性能。
2020-03-31 cs.CL cs.LG
Deep Ranking Based Cost-sensitive Multi-label Learning for Distant Supervision Relation Extraction
Beihang University（北京航空航天大学）；PLA Academy of Military Science（中国人民解放军军事科学院）
知识库为提高信息检索系统的智能性提供了一种潜在的途径，因为知识库中存在着大量的实体间关系，可以帮助信息检索系统进行从一个实体到另一个实体的推理。关系抽取是构造知识库的基本技术之一。远程监督是一种用于关系抽取的半监督学习方法，它使用标记和未标记的数据进行学习。然而，这种方法遭受关系重叠的问题，其中一个实体元组可能具有多个关系事实。我们相信，关系类型可以有潜在的联系，我们称之为类关系，并可以利用，以提高关系抽取。然而，这种属性之间的关系类还没有得到充分的探讨。为了利用关系之间的类联系来提高关系抽取的效率，本文提出了一种基于排序的多标签学习框架和卷积神经网络，在该框架中引入了基于排序的损失函数和正则化技术来学习关系之间的潜在联系。此外，为了解决远程监督关系抽取中的类不平衡问题，我们进一步采用代价敏感学习来重新调整正标签和负标签的代价。在一个广泛使用的数据集上进行的大量实验表明，我们的模型可以有效地利用类关系，缓解类不平衡问题。
2019-07-25 cs.CL
Guided Distant Supervision for Multilingual Relation Extraction Data: Adapting to a New Language
University of Luxembourg（卢森堡大学）；Aston University（阿斯顿大学）
本文应用引导式远程监督方法构建了最大的德语传记关系抽取数据集，并训练和评估了多种最先进模型，同时通过多语言和跨语言实验探索了对低资源语言的益处。
2024-03-27 cs.CL cs.LG
Query Focused Multi-Document Summarization with Distant Supervision
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
我们认为，更好地建模查询集群的相互作用，以促进查询为重点的多文档摘要（QFS）的问题。由于缺乏训练数据，现有的工作在很大程度上依赖于检索式的方法来估计查询和文本段之间的相关性。在这项工作中，我们利用远程监督从问答，其中各种资源可以更明确地捕捉查询和文档之间的关系。我们提出了一个由粗到细的建模框架，它引入了单独的模块，用于估计片段是否与查询相关，可能包含答案和中心。在此框架下，经过训练的证据估计器进一步辨别哪些检索到的片段可能回答摘要中的最终选择的查询。我们证明，我们的框架优于强比较系统的标准QFS基准。
2020-04-06 cs.CL cs.IR cs.LG
Transfer Learning and Distant Supervision for Multilingual Transformer Models: A Study on African Languages
Saarland University（萨尔兰大学）；Saarland Informatics Campus（萨尔兰信息学园区）；DFKI GmbH（德国人工智能研究中心）；Nuhu Bamalli Polytechnic（努胡·巴马里理工学院）
多语言Transformer模型，如mBERT和XLM-RoBERTa，已经在各种语言的许多NLP任务中获得了很大的改进。然而，最近的工作也表明，从高资源语言的结果不能很容易地转移到现实的，低资源的情况。在这项工作中，我们研究了三种非洲语言Hausa，isiXhosa和Yorkebá在NER和主题分类上的不同可用资源的性能趋势。我们表明，结合迁移学习或远程监督，这些模型可以实现与10或100个标记的句子相同的性能与基线更多的监督训练数据。然而，我们也发现了这并不成立的设置。我们的讨论和其他实验的假设，如时间和硬件的限制突出的挑战和机会，在低资源的学习。
2020-10-07 cs.CL cs.LG
Sentence Bag Graph Formulation for Biomedical Distant Supervision Relation Extraction
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；University of Rochester（罗切斯特大学）；School of Electrical and Information Engineering, Beijing University of Civil Engineering and Architecture（北京建筑大学电气与信息工程学院）；Beijing Key Laboratory of Intelligent Processing for Building Big Data, Beijing University of Civil Engineering and Architecture（北京建筑大学北京市建筑大数据智能处理重点实验室）
本文提出句子袋图建模框架，通过消息传递聚合实体对信息并融合句间依赖，有效缓解远程监督关系抽取中的噪声标注问题，在生物医学和通用文本数据集上均显著超越现有方法。
2023-10-29 cs.CL cs.LG
Comprehensive Named Entity Recognition on CORD-19 with Distant or Weak Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们在COVID-19开放研究数据集挑战（CORD-19）语料库上创建了这个具有全面命名实体识别（NER）的CORD-NER数据集（2020-03-13）。该CORD-NER数据集涵盖了75种细粒度实体类型：除了常见的生物医学实体类型（例如，基因、化学物质和疾病），它涵盖了许多与COVID-19研究明确相关的新实体类型（例如，冠状病毒，病毒蛋白，进化，材料，底物和免疫反应），这可能有利于COVID-19相关病毒，传播机制和潜在疫苗的研究。CORD-NER注释是使用不同NER方法的四个源的组合。CORD-NER注释的质量超过了SciSpacy（基于文档样本集的F1得分高出10%以上），这是一种完全监督的BioNER工具。此外，CORD-NER支持增量添加新文档，并在需要时通过添加数十个种子作为输入示例来添加新的实体类型。我们将根据CORD-19语料库的增量更新和我们系统的改进不断更新CORD-NER。
2020-04-15 cs.AI cs.CL cs.IR
Empower Distantly Supervised Relation Extraction with Collaborative Adversarial Training
Zhejiang University（浙江大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；iFLYTEK Research（讯飞研究院）
近年来，随着远程监督（DS）关系抽取（RE）的发展，利用多示例学习（MIL）从噪声DS中提取高质量的监督信息受到了广泛关注。在这里，我们超越标签噪声，并确定DS-MIL的关键瓶颈是其低数据利用率：由于MIL细化了高质量的监督，MIL放弃了大量的训练实例，这导致数据利用率低，并阻碍了模型训练具有丰富的监督。在本文中，我们提出了协同对抗训练来提高数据利用率，它在不同级别上协调虚拟对抗训练（VAT）和对抗训练（AT）。具体来说，由于VAT是无标签的，我们采用实例级VAT来回收被MIL丢弃的实例，并在包级部署AT，充分发挥MIL的高质量监管潜力，从而实现了持续的改进（~ 5绝对AUC评分）与先前的现有技术相比，验证了数据利用问题的重要性和方法的有效性。
2021-06-21 cs.CL
Distant Supervision for Entity Linking
Tsinghua University（清华大学）
实体链接是信息抽取知识库填充过程中必不可少的操作。它研究了在知识库中将文本实体提及与其对应的消歧条目对齐。在本文中，我们提出了一个新的范例命名为远程监督实体链接（DSEL），在这个意义上，消除歧义的实体，属于一个巨大的知识库（Freebase）自动对齐到相应的描述性网页（维基页面）。通过这种方式，可以在没有手动注释的情况下生成大规模的弱标记数据，并将其馈送到分类器以链接更多新发现的实体。与传统的基于知识库的范式相比，DSEL通过充分利用Freebase和Wikipedia各自的优势而获益更多。具体而言，所提出的范例有利于弥合歧义标签（自由基）的实体和他们的文本描述（维基百科）的Web规模的实体。在140，000个项目和60，000个特征的数据集上进行的实验实现了0.517的基线F1度量。此外，我们分析了特征性能，并将F1-measure提高到0.545。
2015-08-05 cs.CL cs.IR
Distantly Supervised Relation Extraction in Federated Settings
University of Chinese Academy of Sciences（中国科学院大学）
本文研究了联邦环境下的远程监督关系抽取。以前的研究集中在集中训练的假设下，需要从不同的平台收集文本并将其存储在一台机器上。然而，集中培训面临着两个问题的挑战，即数据壁垒和隐私保护，这使得集中多个平台的数据几乎不可能或成本过高。因此，在联邦学习范式中研究远程监督是值得的，它将模型训练从对原始数据的直接存取的需要中分离出来。然而，在联邦设置中，克服远程监督的标签噪声变得更加困难，因为包含相同实体对的句子可能分散在不同的平台上。在本文中，我们提出了一个联邦去噪框架来抑制联邦设置中的标签噪声。该框架的核心是一种基于多实例学习的去噪方法，该方法能够通过跨平台协作选择可靠的实例。在纽约时报数据集和miRNA基因调控关系数据集上的实验结果表明了该方法的有效性。
2020-08-12 cs.CL cs.LG
Errata: Distant Supervision for Relation Extraction with Matrix Completion
Stanford University（斯坦福大学）
距离监督关系抽取的本质是一个不完全的多标签分类问题，具有稀疏和噪声特征。为了解决稀疏性和噪声的挑战，我们提出使用最小秩的分解矩阵上的矩阵完成来解决分类问题。我们将关系分类公式化为在稀疏矩阵中完成测试项（实体对）的未知标签，该稀疏矩阵将训练和测试文本特征与训练标签连接起来。我们的算法框架是基于这样的假设，即按特征和按标签的联合矩阵的秩是低的。我们应用两个优化模型来恢复底层的低秩矩阵，利用特征标签矩阵的稀疏性。然后用不动点延拓（FPC）算法求解矩阵完备化问题，该算法能找到全局最优解。在两个广泛使用的具有不同文本特征维度的数据集上的实验表明，我们的低秩矩阵完成方法显着优于基线和最先进的方法。
2014-11-17 cs.CL cs.LG
From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
远程监督是一种很有前途的关系抽取方法，但经常受到噪声标签问题的困扰。传统的DS方法通常将实体对表示为一组句子，并使用多示例学习技术对标签进行去噪。然而，基于袋的范例，未能利用句间级和实体级的证据关系抽取，其去噪算法往往是专门的和复杂的。在本文中，我们提出了一个新的DS范式-基于文档的远程监督，模型关系抽取作为一个基于文档的机器阅读理解（MRC）的任务。通过将关于实体的所有句子重新组织为文档，并通过使用关系特定问题查询文档来提取关系，基于文档的DS范式可以同时编码和利用所有句子级、句间级和实体级证据。设计了一种新的损失函数DSLoss（distantsupervisoryloss），该函数仅使用$\langle$文档、问题、答案$\rangle$元组就能有效地训练MRC模型，从而从本质上解决了噪声标签问题。实验表明，我们的方法实现了新的国家的最先进的DS性能。
2020-12-09 cs.CL
Learning Named Entity Tagger using Domain-Specific Dictionary
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）；CooTek Inc.（触宝公司）
深度神经模型的最新进展使我们能够构建可靠的命名实体识别（NER）系统，而无需手工制作功能。然而，这样的方法需要大量手动标记的训练数据。人们一直在努力用远程监督（与外部字典结合）取代人类注释，但生成的嘈杂标签对学习有效的神经模型构成了重大挑战。在这里，我们提出了两个神经模型，以适应嘈杂的远程监督的字典。首先，在传统的序列标签框架下，我们提出了一个修改的模糊CRF层来处理具有多个可能标签的令牌。在识别了远程监督中噪声标签的性质之后，我们超越了传统的框架，提出了一种新的、更有效的神经模型AutoNER，并采用了一种新的Tie or Break方案。此外，我们还讨论了如何完善远程监督，以获得更好的NER性能。在三个基准数据集上进行的大量实验表明，AutoNER在只使用字典而不需要额外的人工操作时实现了最佳性能，并在最先进的监督基准测试中提供了有竞争力的结果。
2018-09-10 cs.CL
Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；University of Surrey（萨里大学）；Southern University of Science and Technology（南方科技大学）
随着各种数字文本信息呈指数级爆炸式增长，如何从海量的非结构化文本信息中有效地获取特定知识成为一个挑战。关系抽取是自然语言处理的基本任务之一，其目的是从给定的文本中抽取实体对之间的语义关系。为了避免人工标注数据集，远距离监督关系抽取（DSRE）被广泛应用，旨在利用知识库自动标注数据集。不幸的是，由于潜在的强假设，这种方法严重遭受错误的标签。为了解决这个问题，我们提出了一个新的框架，使用混合注意力为基础的Transformer块与多实例学习来执行DSRE任务。具体地说，首先使用Transformer块作为句子编码器来捕获句子的句法信息，其主要利用多头自注意从词级提取特征。然后，采用一种更为简洁的句子级注意力机制来构造袋子表示，旨在整合句子的有效信息来有效地表示袋子。在公开数据集New York Times（NYT）上的实验结果表明，该方法在评估数据集上的性能优于现有算法，验证了该模型在DSRE任务中的有效性.
2020-03-26 cs.CL cs.LG
Improving Distantly Supervised Relation Extraction with Neural Noise Converter and Conditional Optimal Selector
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
距离监督关系抽取已成功应用于具有数千个关系的大型语料库。然而，不可避免的错误标记的问题，由远程监督将损害性能的关系抽取。在本文中，我们提出了一种方法与神经噪声转换器，以减轻噪声数据的影响，和一个条件最优选择器，使正确的预测。我们的噪声转换器在logit水平上学习结构化转移矩阵，并捕获远程监督关系抽取数据集的属性。另一方面，条件最优选择器有助于对实体对做出正确的预测决策，即使句子组被无关系句子淹没。我们在一个广泛使用的数据集上进行了实验，结果表明，与竞争性基线方法相比，该方法有显著的改进。
2018-11-14 cs.AI cs.CL
NanoNER: Named Entity Recognition for nanobiology using experts' knowledge and distant supervision
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
针对纳米生物学领域，提出基于专家知识与远程监督的NER模型NanoNER，在728篇全文语料上对已知实体F1达0.98，并能以0.77-0.81精确度发现新实体，且所需人力少，可推广至其他专业领域。
2024-01-30 cs.AI cs.CL cs.IR
Global Relation Embedding for Relation Extraction
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；The Ohio State University（俄亥俄州立大学）
本文研究了具有远程监督的文本关系嵌入问题。为了解决远程监督的错误标记问题，我们建议将文本关系与关系的全局统计数据嵌入，即，从整个语料库中收集的文本和知识库关系的共现统计。这种方法证明对远程监督引入的训练噪声更鲁棒。在一个流行的关系抽取数据集上，我们证明了学习的文本关系嵌入可以用来增强现有的关系抽取模型，并显着提高其性能。最值得注意的是，对于最好的现有模型发现的前1,000个关系事实，精确度可以从83.9%提高到89.3%。
2018-04-19 cs.CL
Denoising Distantly Supervised Named Entity Recognition via a Hypergeometric Probabilistic Model
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huawei Cloud&AI（华为云与人工智能）
去噪是基于远程监控的命名实体识别的关键步骤。以往的去噪方法大多基于实例级置信度统计，忽略了不同数据集和实体类型上潜在噪声分布的多样性。这使得它们难以适应高噪声率设置。在本文中，我们提出了超几何学习（HGL），一个去噪算法的远程监督NER，同时考虑噪声分布和实例级的信心。具体而言，在神经网络训练期间，我们自然地对每批中的噪声样本进行建模，这些噪声样本遵循由噪声率参数化的超几何分布。然后根据前一步训练得到的标签置信度以及该样本批次中的噪声分布，将批次中的每个实例视为正确实例或噪声实例。实验表明，HGL可以有效地去除从远程监督检索到的弱标记数据，从而显著改善训练模型。
2021-06-17 cs.CL
Indirect Supervision for Relation Extraction using Question-Answer Pairs
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）；Shanghai Jiao Tong University（上海交通大学）
兴趣类型的自动关系抽取（RE）对于高效地解释海量文本语料库具有重要意义。传统的RE模型严重依赖于人工标注的语料库进行训练，这在生成标记数据时代价高昂，并且在处理更多关系类型时成为障碍。因此，更多的RE提取系统已经转向建立在通过链接到知识库（远程监督）而自动获取的训练数据上。然而，由于知识库的不完整性和上下文无关的标签，通过远程监督（DS）收集的训练数据可能是非常嘈杂的。近年来，随着越来越多的注意力被带到解决问答（QA）任务，用户反馈或这些任务的数据集变得更容易访问。在本文中，我们提出了一个新的框架，要求，利用问答对作为一个间接的监督源的关系抽取，并研究如何使用这种监督，以减少噪音引起的DS。我们的模型联合嵌入关系提及，类型，QA实体提及对和文本特征在两个低维空间（RE和QA），其中具有相同关系类型或语义相似的问答对的对象具有相似的表示。共享特征连接这两个空间，从两个来源携带更清晰的语义知识。请求，然后使用这些学习的嵌入来估计测试关系提及的类型。我们制定了一个全球性的目标函数，并采用了一种新的边缘为基础的QA损失，以减少噪音DS利用语义证据的QA数据集。我们的实验结果实现了平均11%的改善F1分数在两个公共RE数据集结合TREC QA数据集。
2017-11-23 cs.AI cs.CL
HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）
远距离监督假设任何包含相同实体对的句子都反映相同的关系。以往的远距离监督关系抽取（DSRE）任务一般都是独立地进行单级或袋级去噪，而忽略了与跨级的显式交互。本文提出了一种基于层次对比学习的远程监督关系抽取框架（HiCLRE），该框架综合了全局结构信息和局部细粒度交互，能够有效地减少噪声句子。具体来说，我们提出了一个三层的分层学习框架，通过调整现有的多头自注意力，生成去噪的上下文感知表示，命名为多粒度重构。同时，伪正样本也提供在特定的水平，对比学习通过动态梯度的数据增强策略，称为动态梯度对抗扰动。实验表明，HiCLRE在各种主流DSRE数据集上的性能明显优于强基线。
2022-02-27 cs.AI cs.CL
Mix of Experts Language Model for Named Entity Recognition
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Columbia University（哥伦比亚大学）
针对远程监督NER标注噪声问题，本文提出基于专家混合的BOND-MoE模型，在EM框架下集成多模型并引入公平分配模块，在真实数据集上取得最先进性能。
2024-04-30 cs.AI cs.CL
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory（Sber人工智能实验室）
医学实体抽取是医学文本处理的第一步。通常，医学EE是一个两步过程：命名实体识别（NER）和命名实体规范化（NEN）。我们提出了一种从电子健康记录（EHR）中进行医疗EE的新方法，作为一个单步多标签分类任务，通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标，以远程监督的方式进行端到端的训练。我们表明，我们的模型可以学习对足够频繁出现的实体进行泛化，从而为最频繁的实体实现人类级别的分类质量。我们的工作表明，医疗实体提取可以在没有人类监督的情况下进行端到端的提取，并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
Revisiting the Negative Data of Distantly Supervised Relation Extraction
Fudan University（复旦大学）
远程监督自动生成大量的训练样本用于关系抽取。然而，它也引发了两个主要问题：噪声标签和不平衡的训练数据。以往的研究多集中在减少错误标记的关系（误报），而很少有人探讨由于知识库的不完整性（误报）而导致的关系缺失。此外，负面标签的数量压倒性地超过了以往的问题配方中的积极的。在本文中，我们首先对负面数据带来的上述挑战进行了深入分析。接下来，我们将关系抽取问题转化为一个正的无标签学习任务，以减轻假阴性问题。第三，我们提出了一个管道的方法，称为\textsc{ReRe}，执行双层次的关系检测，然后主题/对象提取，以实现样本有效的训练。实验结果表明，该方法始终优于现有的方法，并保持良好的性能，即使在大量的假阳性样本学习。
2021-05-21 cs.AI cs.CL
Ontology-Driven Structural Regularization for Document-Level Relation Extraction
University of Padua（帕多瓦大学）
针对DocRE依赖人工标注、远程监督资源利用不足的问题，提出本体驱动框架强化结构一致性，减少逻辑矛盾，提升泛化性能，为利用大规模远程数据提供有效策略。
2026-08-24 cs.CL
Towards DS-NER: Unveiling and Addressing Latent Noise in Distant Annotations
Soochow University（苏州大学）；Hong Kong University of Science and Technology（香港理工大学）
本研究聚焦远程监督命名实体识别中不同标注方法间的潜在噪声问题，提出将噪声分为未标注实体问题和噪声实体问题的新评估框架及对应方案，在多源多技术数据集上优于现有最优方法。
2025-05-18 cs.CL cs.LG
Distantly-Supervised Neural Relation Extraction with Side Information using BERT
Centro de Informática, Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）；Montreal Institute for Learning Algorithms, University of Montreal（蒙特利尔大学蒙特利尔学习算法研究所）；Department of Chemical and Biological Engineering, Northwestern University（西北大学化学与生物工程系）
关系抽取（RE）是对句子中实体之间的关系进行分类。最近开发关系提取器的范例是远程监督（DS），它允许通过在文本语料库和知识库（KB）之间进行对齐来自动创建新的数据集。知识库有时也可以为RE任务提供额外的信息。RESIDE模型是采用这种策略的方法之一，它提出了一种利用知识库边信息的远程监督神经关系抽取。考虑到这种方法优于最先进的基线，在本文中，我们提出了一种相关的方法来RESIDE也使用额外的边信息，但简化了句子编码与BERT嵌入。通过实验，我们在Google Distant Supervision和Riedel数据集上对BGWA和RESIDE基线方法进行了验证。虽然曲线下面积由于不平衡的数据集而减小，但P@N结果表明，使用BERT作为句子编码可以实现优于基线方法的性能。
2020-09-10 cs.CL cs.IR cs.LG
Identifying civilians killed by police with distantly supervised entity-event extraction
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们为自然语言处理提出了一个新的、具有社会影响力的任务：从新闻语料库中提取被警察杀害的人的名字。我们提出了一个新收集的警察死亡语料库，我们公开发布，并提出了一个模型来解决这个问题，使用基于EM的远程监督与逻辑回归和卷积神经网络分类器。我们的模型优于两个现成的事件提取器系统，它可以建议候选受害者的名字在某些情况下比一个主要的手动收集的警察死亡数据库。
2017-07-22 cs.CL
Same but Different: Distant Supervision for Predicting and Understanding Entity Linking Difficulty
L3S Research Center, Leibniz University of Hannover（莱布尼茨汉诺威大学L3S研究中心）；GESIS - Leibniz Institute for the Social Sciences（GESIS——莱布尼茨社会科学研究所）
实体链接（Entity Linking，EL）是自动识别文本中提到的实体并将其解析为维基百科等参考知识库中的相应实体的任务。有大量的EL工具可用于不同类型的文档和领域，但EL仍然是一项具有挑战性的任务，其中缺乏精确度，特别是模糊的提及往往会破坏自动消歧结果在实际应用中的有用性。先验近似的困难，以链接一个特定的实体提到可以促进标记的关键情况下，作为半自动EL系统的一部分，而检测潜在的因素，影响EL性能，如语料库特定的功能，可以提供关于如何改进系统的基础上的特殊特性的基础语料库的见解。在本文中，我们首先介绍了一种基于共识的方法来生成难度标签的实体提到任意语料库。然后，利用难度标签作为训练数据的监督分类任务，能够预测实体提到使用各种功能的EL难度。在新闻文章语料库上的实验表明，EL难度可以估计具有较高的准确性，也揭示了潜在的功能，影响EL性能。最后，评估结果表明，所提出的方法，以通知半自动EL管道的有效性。
2018-12-13 cs.CL cs.IR cs.LG
Distantly Supervised Relation Extraction with Sentence Reconstruction and Knowledge Base Priors
Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所人工智能研究中心）
我们提出了一个多任务，概率的方法，以促进远程监督关系抽取，使更接近的句子，包含相同的知识库对的表示。为了实现这一点，我们通过与关系分类器联合训练的变分自编码器（VAE）来偏置句子的潜在空间。潜码引导成对表征并影响句子重构。通过远程监督创建的两个数据集上的实验结果表明，多任务学习的性能优势。将知识库先验引入VAE的额外探索表明，句子空间可以向知识库的空间转移，提供可解释性并进一步改善结果。
2021-04-16 cs.CL
