BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision
Georgia Institute of Technology（佐治亚理工学院）
研究了远程监控下的开放域命名实体识别问题。远程监督，虽然不需要大量的手动注释，通过外部知识库产生高度不完整和嘈杂的远程标签。为了应对这一挑战，我们提出了一个新的计算框架-- BOND，它利用了预先训练的语言模型（例如，BERT和RoBERTa）来改进NER模型的预测性能。具体来说，我们提出了一种两阶段的训练算法：第一阶段，我们使用距离标签将预先训练好的语言模型适应于NER任务，可以显著提高召回率和精确率;第二阶段，我们去掉距离标签，并提出一种自训练方法来进一步提高模型性能。在5个基准数据集上的实验表明，BOND方法优于现有的远程监督NER方法。代码和远程标记的数据已在https://github.com/cliang1453/BOND上发布。
2020-06-28 cs.AI cs.CL cs.LG
Topic-driven Distant Supervision Framework for Macro-level Discourse Parsing
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Soochow University（苏州大学）
针对篇章解析缺乏高质量训练语料及现有远监督方法忽略域内外任务差异的问题，提出利用主题与修辞结构关系的远监督框架，通过迁移学习和师生模型缩小域内外差距，在MCDTB和RST-DT数据集上取得最优性能。
2023-05-23 cs.AI cs.CL
A Distant Supervision Corpus for Extracting Biomedical Relationships Between Chemicals, Diseases and Genes
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Chan Zuckerberg Initiative（陈·扎克伯格倡议）
我们介绍了ChemDisGene，一个新的数据集，用于训练和评估多类多标签文档级生物医学关系抽取模型。我们的数据集包含80k生物医学研究摘要，其中标记了化学物质，疾病和基因，其中部分人类专家标记了这些实体之间的18种生物医学关系（用于评估），其余部分（用于训练）通过CTD数据库进行远程标记，准确率约为78%。与类似的现有数据集相比，我们的数据集更大、更干净;它还包括将提及链接到其实体的注释。我们还提供了三个基线深度神经网络关系抽取模型，这些模型在我们的新数据集上进行了训练和评估。
2022-04-13 cs.AI cs.CL
Multi-Row, Multi-Span Distant Supervision For Table+Text Question
IBM Research（IBM研究院）；IIT Bombay（印度理工学院孟买分校）
针对TextTableQA中多单元格、多文本跨度匹配导致的噪声多实例训练问题，提出基于transformer的MITQA系统，通过多实例损失和课程设计应对远程监督，在两个基准数据集上取得SOTA结果。
2023-06-11 cs.AI cs.CL
Distant Supervision Relation Extraction with Intra-Bag and Inter-Bag Attentions
University of Science and Technology of China（中国科学技术大学）
提出了一种神经网络关系抽取方法来处理远程监控产生的带噪声的训练数据。以往的研究主要集中在通过设计具有袋内关注度的神经网络来实现袋内水平去噪。本文同时考虑袋内和袋间的注意力，分别对袋级和袋级的噪声进行处理。首先，通过使用袋内注意力加权句子嵌入来计算关系感知袋表示。这里，利用每个可能的关系作为用于注意力计算的查询，而不是在传统方法中仅使用目标关系。此外，在训练集中，共享相同的关系标签的一组袋的表示计算通过加权袋表示使用基于相似性的袋间注意模块。最后，一个袋子组被用作训练样本时，建立我们的关系提取器。纽约时报数据集上的实验结果表明，我们提出的袋内和袋间注意力模块的有效性。我们的方法也实现了更好的关系抽取的准确性比国家的最先进的方法在这个数据集上。
2019-03-30 cs.AI cs.CL
Jointly Embedding Entities and Text with Distant Supervision
The Ohio State University（俄亥俄州立大学）；National Institutes of Health（美国国立卫生研究院）；Washington University in St. Louis（圣路易斯华盛顿大学）
知识库实体和概念的学习表示对于NLP应用变得越来越重要。然而，最近的实体嵌入方法依赖于为新域和语料库创建昂贵的结构化资源。我们提出了一种远程监督的方法，用于联合学习嵌入的实体和文本从unnanotated语料库，只使用实体和表面形式之间的映射列表。我们从开放领域和生物医学语料库中学习嵌入，并与依赖于人类注释文本或大型知识图谱结构的先前方法进行比较。我们的嵌入比以前的工作更好地捕捉实体相似性和相关性，无论是在现有的生物医学数据集还是我们发布给社区的新的基于维基百科的数据集。类比完成和实体意义消歧的结果表明，实体和词捕捉互补的信息，可以有效地结合下游使用。
2018-07-09 cs.AI cs.CL
ReasonBERT: Pre-trained to Reason with Distant Supervision
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）
我们提出了ReasonBert，这是一种预训练方法，它增强了语言模型在长距离关系和多个可能的混合上下文中进行推理的能力。与现有的预训练方法不同，这些方法只从自然发生的文本的本地上下文中获取学习信号，我们提出了一种广义的远程监督概念，可以自动连接多个文本和表格，以创建需要远程推理的预训练样本。模拟不同类型的推理，包括交叉多个证据，从一个证据到另一个证据的桥接，以及检测无法回答的案例。我们对各种提取的问答数据集进行了全面的评估，从单跳到多跳，从纯文本到纯表格再到需要各种推理能力的混合数据集，并表明ReasonBert在一系列强基线上取得了显着的改进。Few-Shot实验进一步证明，我们的预训练方法大大提高了样本效率。
2021-09-10 cs.AI cs.CL cs.LG
Learning What You Need from What You Did: Product Taxonomy Expansion with User Behaviors Supervision
Fudan University（复旦大学）；Université de Montréal（蒙特利尔大学）；Meituan（美团）
分类法已被广泛用于各个领域，以支持许多应用程序。特别是，产品分类在电子商务领域的推荐，浏览和查询理解中起着至关重要的作用。然而，分类法需要不断捕捉电子商务平台中新出现的术语或概念以保持最新，如果依赖人工维护和更新，则成本高昂且劳动密集。因此，我们将分类法扩展任务定位为自动将新概念附加到现有分类法。在本文中，我们提出了一个自我监督和面向用户行为的产品分类法扩展框架，添加到现有的分类新的概念。我们的框架提取符合用户的意图和认知的上下义关系。具体而言，i）为了充分利用用户行为信息，我们从查询点击概念中提取出匹配用户兴趣的候选上下义关系; ii）为了增强新概念的语义信息并更好地检测上下义关系，我们通过现有分类法和用户点击日志中的用户生成内容和结构信息来对概念和关系进行建模，通过利用预训练语言模型和结合对比学习的图神经网络; iii）为了降低数据集构建的成本并克服数据偏斜，我们从现有的分类中构建了一个高质量和平衡的训练数据集，没有监督。美团平台是中国领先的垂直电子商务平台，每天有超过7000万活跃用户订购外卖，对真实世界的产品分类进行了广泛的实验，证明了我们提出的框架优于最先进的方法。值得注意的是，我们的方法将真实世界产品分类的大小从39，263扩大到94，698个关系，精确度为88%。
2022-03-28 cs.AI cs.IR
PELESent: Cross-domain polarity classification using distant supervision
University of São Paulo (USP)（圣保罗大学 (USP)）
互联网用户每天发布的大量文本促进了在若干自然语言处理领域（诸如情感分析）中分析该内容的方法的发展。此任务的主要目标是对消息的极性进行分类。尽管已经提出了许多用于情感分析的方法，但是一些最成功的方法依赖于大型注释语料库的可用性，这是一个昂贵且耗时的过程。近年来，远程监督已被用于获得更大的数据集。因此，受这些技术的启发，在本文中，我们扩展了这些方法，以纳入电子消息中使用的流行图形符号（表情符号），以便为葡萄牙语创建一个大型情感语料库。经过近一百万条推文的训练，几个模型在同一领域和跨领域语料库中进行了测试。我们的方法获得了非常有竞争力的结果，在五个注释语料库从混合域（Twitter和产品评论），这证明了这种方法的域独立属性。此外，我们的研究结果表明，表情符号和表情符号的组合能够正确地捕捉消息的情感。
2017-07-09 cs.AI cs.CL cs.LG
FGSI: Distant Supervision for Relation Extraction method based on Fine-Grained Semantic Information
Harbin Normal University（哈尔滨师范大学）
关系抽取的主要目的是抽取句子中带有标签的实体对之间的语义关系，它在句子的语义理解和知识图谱的构建中起着重要的作用。在本文中，我们提出了一个句子中的关键语义信息在实体的关系提取中起着关键作用。我们提出了一个假设，即句子内部的关键语义信息在实体关系抽取中起着关键作用。并基于这一假设，从句子内部根据实体的位置将句子分成三段，通过句内注意力机制寻找句子内部的细粒度语义特征，减少无关噪声信息的干扰。提出的关系抽取模型可以充分利用现有的正语义信息。实验结果表明，与现有方法相比，所提出的关系抽取模型提高了查准率-查全率曲线和P@N值，证明了该模型的有效性。
2023-03-18 cs.AI cs.CL
UserBERT: Modeling Long- and Short-Term User Preferences via Self-Supervision
Rakuten Institute of Technology, Rakuten Group, Inc.（乐天集团株式会社乐天技术研究所）
电子商务平台每天从数百万独立用户那里生成大量的客户行为数据，例如点击和购买。然而，有效地将这些数据用于行为理解任务是具有挑战性的，因为通常没有足够的标签以监督的方式从所有用户那里学习。本文将BERT模型扩展到电子商务用户数据，以自监督的方式进行预训练表示。通过将序列中的用户操作视为类似于句子中的单词，我们将现有的BERT模型扩展到用户行为数据。此外，我们的模型采用统一的结构，同时从长期和短期用户行为以及用户属性中学习。我们提出了不同类型的用户行为序列的标记化方法，输入表示向量的生成，以及一种新的借口任务，使预训练模型能够从自己的输入中学习，从而消除了对标记训练数据的需要。大量的实验表明，学习的表示在转移到三个不同的现实世界的任务，特别是与特定于任务的建模和多任务表示学习的显着改善
2022-02-14 cs.AI cs.LG
DSIRM: Learning Query-Bridged Discrete Semantic Identifiers for E-commerce Relevance Modeling
Taobao & Tmall Group of Alibaba（淘宝与天猫集团）
针对电商搜索中连续嵌入难以捕捉细粒度属性区分的问题，提出查询桥接对比量化的离散语义标识符相关性模型（DSIRM），通过注入查询-物品交互监督学习语义感知分区，并利用生成式大语言模型预测物品标识符，显著提升相关性建模效果。
2026-06-03 cs.AI cs.IR
Neural Language Models with Distant Supervision to Identify Major Depressive Disorder from Clinical Notes
Mayo Clinic（梅奥诊所）
重度抑郁症（MDD）是一种流行的精神疾病，与全球范围内的重大医疗负担相关。MDD的表型分型有助于早期诊断，因此在患者管理中可能具有显着优势。在先前的研究中，MDD表型已经从结构化电子健康记录（EHR）中提取或使用脑电图（EEG）数据与传统的机器学习模型来预测MDD表型。然而，MDD表型信息也记录在自由文本EHR数据中，例如临床笔记。虽然临床记录可以提供更准确的表型信息，但必须开发自然语言处理（NLP）算法来提取这些信息。NLP的最新进展产生了最先进的神经语言模型，例如Transformers（BERT）模型的双向编码器表示，这是一种基于transformer的模型，可以从无监督文本数据的语料库中进行预训练，然后在特定任务中进行微调。然而，由于缺乏大型训练数据集，这种神经语言模型在临床NLP任务中未得到充分利用。在文献中，研究人员已经利用远程监督范例来对临床文本分类任务进行训练机器学习模型，以减轻缺乏注释的训练数据的问题。该范式对神经语言模型是否有效仍然是未知的。在本文中，我们建议利用神经语言模型在远程监督范例，以确定MDD表型的临床笔记。实验结果表明，我们提出的方法是有效的，在识别MDD表型和生物临床BERT，一个特定的BERT模型的临床数据，实现了最好的性能相比，传统的机器学习模型。
2021-04-19 cs.AI cs.CL cs.IR
Semi-automatic Data Enhancement for Document-Level Relation Extraction with Distant Supervision from Large Language Models
National Key Laboratory of General Artificial Intelligence, BIGAI（北京通用人工智能研究院）
提出一种结合大语言模型与自然语言推理的方法，自动生成关系三元组以增强文档级关系抽取数据集，并通过DocGNRE数据集验证其在长尾关系类型上的有效性。
2023-11-13 cs.AI cs.CL
Comprehensive Named Entity Recognition on CORD-19 with Distant or Weak Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们在COVID-19开放研究数据集挑战（CORD-19）语料库上创建了这个具有全面命名实体识别（NER）的CORD-NER数据集（2020-03-13）。该CORD-NER数据集涵盖了75种细粒度实体类型：除了常见的生物医学实体类型（例如，基因、化学物质和疾病），它涵盖了许多与COVID-19研究明确相关的新实体类型（例如，冠状病毒，病毒蛋白，进化，材料，底物和免疫反应），这可能有利于COVID-19相关病毒，传播机制和潜在疫苗的研究。CORD-NER注释是使用不同NER方法的四个源的组合。CORD-NER注释的质量超过了SciSpacy（基于文档样本集的F1得分高出10%以上），这是一种完全监督的BioNER工具。此外，CORD-NER支持增量添加新文档，并在需要时通过添加数十个种子作为输入示例来添加新的实体类型。我们将根据CORD-19语料库的增量更新和我们系统的改进不断更新CORD-NER。
2020-04-15 cs.AI cs.CL cs.IR
Improving Distantly-supervised Entity Typing with Compact Latent Space Clustering
Zhejiang University（浙江大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；iFLYTEK Research（科大讯飞研究院）；University of Southern California（南加州大学）
近年来，远程监控技术在细粒度实体分类（FET）方面取得了巨大的成功。尽管它在减少手动标记工作方面效率很高，但它也带来了处理错误实体类型标签的挑战，因为远程监督以上下文不可知的方式分配标签。现有的工作缓解了这个问题，部分标签损失，但通常遭受确认偏差，这意味着分类器适合自己给定的伪数据分布。在这项工作中，我们建议使用紧凑潜在空间聚类（CLSC）来正则化远程监督模型，以绕过这个问题并有效地利用噪声数据。我们提出的方法首先动态地构建不同实体提及的相似性图，通过标签传播来推断噪声实例的标签。基于推断的标签，提及嵌入相应地更新，以鼓励具有接近语义的实体提及在嵌入空间中形成紧凑的聚类，从而导致更好的分类性能。在标准基准测试上进行的大量实验表明，我们的CLSC模型始终优于最先进的远程监督实体类型系统。
2019-04-13 cs.AI cs.CL
Cross-Camera Feature Prediction for Intra-Camera Supervised Person Re-identification across Distant Scenes
Sun Yat-sen University（中山大学）；Pazhou Lab（琶洲实验室）
人物重新识别（Re-ID）旨在跨非重叠相机视图匹配人物图像。大多数Re-ID方法集中在小规模的监控系统中，其中每个行人都是在相邻场景的不同摄像机视图中捕获的。然而，在覆盖更大区域的大规模监视系统中，需要跨越远处场景（例如，犯罪嫌疑人从一个城市逃到另一个城市）。由于大多数行人出现在有限的局部区域中，因此难以利用同一人的交叉相机对来收集训练数据。在这项工作中，我们研究了远程场景中的摄像机内监督人员重新识别（ICS-DS Re-ID），它使用带有摄像机内身份标签的跨摄像机未配对数据进行训练。这是具有挑战性的，因为跨相机配对数据在大多数现有的Re-ID方法中对学习相机不变特征起着至关重要的作用。为了从交叉摄像机非配对训练数据中学习摄像机不变量表示，提出了一种交叉摄像机特征预测方法，通过变换伪交叉摄像机正特征对并最小化伪特征对的距离，从摄像机特定特征分布中挖掘交叉摄像机自监督信息.此外，我们自动定位和提取本地级别的功能由一个Transformer。全局和局部特征的联合学习形成了一个全局-局部的跨摄像机特征预测方案，用于挖掘细粒度的跨摄像机自监督信息。最后，跨摄像机的自我监督和摄像机内的监督聚合在一个框架。在ICS-DS环境中对Market-SCT、Duke-SCT和MSMT 17-SCT数据集进行实验。评估结果表明，我们的方法的优越性，获得显着改善的15.4秩-1和22.3 mAP的市场SC…
2021-07-29 cs.AI cs.CV
Uplift Modeling Under Limited Supervision
University of Luxembourg（卢森堡大学）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央高等电力学院）；Inria（法国国家信息与自动化研究所）
本文提出一种基于图神经网络和获取函数的框架，在有限监督和极低实验预算下预测电子商务中的处理效应，实验表明其显著优于现有方法。
2024-09-02 cs.AI cs.LG stat.ME
NanoNER: Named Entity Recognition for nanobiology using experts' knowledge and distant supervision
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
针对纳米生物学领域，提出基于专家知识与远程监督的NER模型NanoNER，在728篇全文语料上对已知实体F1达0.98，并能以0.77-0.81精确度发现新实体，且所需人力少，可推广至其他专业领域。
2024-01-30 cs.AI cs.CL cs.IR
Language-Independent Sentiment Labelling with Distant Supervision: A Case Study for English, Sepedi and Setswana
University of Johannesburg, South Africa（约翰内斯堡大学）；IU International University of Applied Sciences, Germany（国际应用科学大学）；University of the Witwatersrand, South Africa（沃尔特·斯皮克兰大学）
本文提出一种语言无关的情感标注方法，利用emoji和词语信息，对英语、塞佩迪语和塞斯瓦纳语的推文进行情感标注，准确率分别达到66%、69%和63%。
2025-11-25 cs.AI cs.CL
Intent term selection and refinement in e-commerce queries
Institute for Clarity in Documentation（文档清晰性研究所）；Brookhaven Laboratories（布鲁克海文实验室）；NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）；Palmer Research Laboratories（帕尔默研究实验室）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；University of Minnesota（明尼苏达大学）；WalmartLabs（沃尔玛实验室）
在电子商业中，用户倾向于通过向搜索引擎发出查询并检查检索到的结果来搜索期望的产品。如果搜索引擎成功地正确理解了用户的查询，则它将返回对应于产品的结果，这些产品的属性与查询中的表示查询的产品意图的术语相匹配。然而，由于查询处理中的不同问题，搜索引擎可能无法检索满足查询的产品意图的结果，从而降低了用户体验：（i）当查询中存在多个术语时，可能无法确定表示查询的产品意图的相关术语，以及（ii）可能遭受查询中的术语与产品描述之间的词汇差距，也就是说，查询中使用的术语在语义上类似于产品描述中的术语，但与产品描述中的术语不同。因此，识别描述查询的产品意图的术语并预测比搜索引擎的现有查询术语更好地描述查询的产品意图的附加术语是电子商业搜索中的基本任务。在本文中，我们利用一个主要的电子商业零售商的历史查询重构日志开发远程监督的方法来解决这两个问题。我们的方法利用的事实，一个术语的意义是依赖于上下文（其他条款在附近），它是用来学习的重要性，对查询的产品意图。我们发现，识别和强调的条款，定义查询的产品意图导致排名提高了3%。此外，对于识别查询中的重要术语和预测代表产品意图的附加术语的任务，实验表明，我们的方法优于非上下文基线。
2019-08-22 cs.AI cs.IR cs.LG
