Aesthetics of Sanskrit Poetry from the Perspective of Computational Linguistics: A Case Study Analysis on Siksastaka
IIT Kanpur(印度理工学院坎普尔分校);University of Hyderabad(海得拉巴大学);IIT Roorkee(印度理工学院鲁尔基分校);Utah State University(犹他州立大学);IIT Kharagpur(印度理工学院克勒格布尔分校);IIT Mandi(印度理工学院曼迪分校)
本文提出人机协同的可解释计算语言学框架,结合六大梵语诗学派对 Siksastaka 进行多层面标注与分析,并提供 Web 应用支持后续研究。
2023-08-14 cs.CL
KCAT: A Knowledge-Constraint Typing Annotation Tool
Zhejiang University(浙江大学);iFLYTEK Research(科大讯飞研究院);University of Southern California(南加州大学)
细粒度实体分类是一项艰巨的任务,它会受到从远程监控中提取的噪声样本的影响。数千个手动注释的样本可以实现比以前的远程监督方法生成的数百万个样本更好的性能。然而,人类很难区分和记忆成千上万的类型,因此很难进行大规模的人类标记。在本文中,我们介绍了知识约束类型标注工具(KCAT),这是有效的细粒度实体类型标注。KCAT通过实体链接将候选类型的大小减小到人类可接受的范围内,并提供多步类型化方案来修改实体链接结果。此外,KCAT提供了一个高效的注释器客户端来加速注释过程,并提供了一个全面的管理器模块来分析众包注释。实验表明,KCAT能显著提高标注效率,标注时间消耗随着类型集规模的扩大而缓慢增加。
2019-06-13 cs.AI cs.CL
Marvin: Semantic annotation using multiple knowledge sources
University of Manchester(曼彻斯特大学)
人们正在生产比历史上任何时候都多的书面材料。这一增长如此之高,以至于各领域的专业人员再也无法应付如此数量的出版物。文本挖掘工具可以为用户提供帮助,而文本语义标注是辅助信息检索和信息抽取的工具之一。在这份报告中,我们介绍了Marvin,一个用Java编写的文本注释器,它可以用作命令行工具和Java库。Marvin能够使用多个源注释文本,包括WordNet,MetaMap,DBPedia和以SKOS表示的同义词。
2016-02-02 cs.AI cs.CL
Mitrasamgraha: A Comprehensive Classical Sanskrit Machine Translation Dataset
Center for Integrated Japanese Studies, Tohoku University(东大理工一体化研究机构,东北大学);University of California, Berkeley(加州大学伯克利分校);Adam Mickiewicz University in Poznań(波兹南亚当·密茨凯维奇大学);Kyoto University(京都大学);Indian Institute of Technology, Kharagpur(印度理工学院,克拉格普尔分校);B. P. Mandal College of Engineering Madhepura(马德赫帕尔工程学院)
Mitrasamgraha 是一个涵盖梵语到英语机器翻译的高质量数据集,包含大量双语文本对,用于研究不同领域和时间对翻译性能的影响。
2026-01-12 cs.CL
Constructing large scale biomedical knowledge bases from scratch with rapid annotation of interpretable patterns
BenevolentAI(benevolent人工智能公司)
知识库建设是总结,理解和推断生物医学实体之间的关系至关重要。然而,对于许多实际应用,如药物发现,相关事实的稀缺性(例如,基因X是疾病Y的治疗靶标)严重限制了领域专家直接或通过训练关系抽取模型来创建可用知识库的能力。在本文中,我们提出了一个简单而有效的方法,提取新的事实与预先指定的二元关系类型的生物医学文献,而不需要任何训练数据或手工制作的规则。我们的系统发现,排名,并提出了最显着的模式领域专家在一个可解释的形式。通过将模式标记为与期望的关系类型兼容,专家间接地批量注释其关系在文献中用这种模式表达的候选对。即使完全没有种子数据,专家也能够在几分钟内发现数千个具有所需关系的高质量配对。当少量相关对确实存在时-即使它们的关系比感兴趣的关系更一般(例如,基因X与疾病Y在生物学上相关)-我们的系统利用它们以便i)学习要注释的模式的更好排名或ii)以完全自动化的方式生成弱标记对。我们评估我们的方法本质上,并通过下游的知识库完成任务,并表明,这是一种有效的方式构建知识库时,很少或根本没有相关的事实已经可用。
2019-07-03 cs.CL
Annotating and normalizing biomedical NEs with limited knowledge
命名实体识别(NER)是任何新领域语言处理的第一步。目前,这是BioNLP对英文临床文本的常见处理。然而,它在其他主要语言中仍处于起步阶段,西班牙语就是如此。在PharmaCoNER共享任务的保护伞下,本文描述了一种非常简单的方法,用于临床病例中药理学,化学和最终生物医学命名实体的注释和规范化。为共享任务开发的系统是基于有限的知识,收集,结构化和munged的方式,显然优于过去的类似的基于字典的系统获得的分数为英语。随着这种恢复的知识为基础的方法,NER在子域中,本文还强调了基于资源的系统在验证和巩固的注释指南和人类注释的做法的关键贡献。从这个意义上说,一些作者对人类注释数据集的整体质量提出了质疑,该系统获得的上述“官方”结果在两个PharmaCoNER子任务中分别排名第二(0.91 F1分数)和第一(0.916 F1分数)。
2019-12-19 cs.CL
Learning a Cost-Effective Annotation Policy for Question Answering
The Ohio State University(俄亥俄州立大学);ETH Zurich(苏黎世联邦理工学院)
现有技术的问答(QA)依赖于大量的训练数据,对于这些训练数据,标记是耗时的并且因此是昂贵的。因此,定制QA系统具有挑战性。作为一种补救措施,我们提出了一种新的框架来注释QA数据集,需要学习一个具有成本效益的注释策略和半监督注释方案。后者减少了人工工作:它利用底层QA系统来建议潜在的候选注释。然后,人类注释器简单地提供关于这些候选项的二进制反馈。我们的系统被设计为使过去的注释不断提高未来的性能,从而提高整体注释成本。据我们所知,这是第一篇以最小的注释成本来解决注释问题的论文。我们比较我们的框架对传统的手动注释在一组广泛的实验。我们发现,我们的方法可以减少高达21.1%的注释成本。
2020-11-08 cs.CL
Building a Word Segmenter for Sanskrit Overnight
IIT Kharagpur(印度理工学院卡拉格普尔分校);American Express India Pvt Ltd(美国运通印度私人有限公司)
梵语中有大量的数字化文本。然而,在这样的文本中的分词任务是具有挑战性的,由于“Sandhi”的问题。在连读变调中,一个句子中的单词经常融合在一起形成一个单一的文本块,其中单词的重复消失,单词边界的声音经历了变化,这也反映在书面文本中。在这里,我们提出了一种使用深度序列到序列(seq2seq)模型的方法,该模型仅将混叠字符串作为输入并预测未混叠字符串。最先进的模型涉及语言学,并且对于输入的词汇和形态分析具有外部依赖性。我们的模型可以“一夜之间”训练出来,并用于生产。尽管采用了知识精益方法,但我们的系统比现有技术更好,比现有技术增加了16.79%。
2018-02-17 cs.CL cs.IR
Synthesized Annotation Guidelines are Knowledge-Lite Boosters for Clinical Information Extraction
McWilliams School of Biomedical Informatics, University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心麦克威廉姆斯生物医学信息学院);School of Dentistry, University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心牙科学院);Enterprise Development and Integration, University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心企业开发与集成部);Virginia Tech Carilion School of Medicine, Department of Health Systems & Implementation Science(弗吉尼亚理工大学卡里利恩医学院卫生系统与实施科学系)
本文提出一种无需人工输入的自改进方法,利用LLM生成标注指南,提升临床信息提取性能,实验显示在多个基准测试中取得显著改进。
2025-04-01 cs.AI cs.CL cs.IR
Self-supervised Knowledge Triplet Learning for Zero-shot Question Answering
Arizona State University(亚利桑那州立大学)
所有问答(QA)系统的目标都是能够概括看不见的问题。目前的监督方法依赖于昂贵的数据注释。此外,这样的注释可能会引入意想不到的注释者偏见,这使得系统更多地关注偏见而不是实际任务。在这项工作中,我们提出了知识三元组学习(KTL),一个自我监督的任务在知识图谱。我们提出了一种方法来为常识和科学知识创建合成图。我们提出了如何使用KTL来执行zero-shot QA的方法,我们的实验表明,在大型预训练的Transformer模型上有相当大的改进。
2020-09-17 cs.AI cs.CL cs.LG
Towards a Knowledge Graph based Speech Interface
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学)
使用人类语音作为输入的应用需要具有高识别精度的语音接口。识别的文本中的单词或短语被注释有机器可理解的含义,并链接到知识图谱,以供目标应用程序进一步处理。这些被识别的单词的语义注释可以被表示为主语-谓语-宾语三元组,其共同形成通常被称为知识图谱的图。这种类型的知识表示便于与任何口头输入应用一起使用语音接口,因为信息以逻辑、语义形式表示,可以使用任何web标准查询语言来进行检索和存储。在这项工作中,我们开发了一种将语音输入与知识图谱联系起来的方法,并研究了识别错误在整个过程中的影响。我们发现,对于低WER的语料库,DBpedia知识图谱的实体的注释和链接是相当可观的。DBpedia Spotlight是一个将文本文档与链接的开放数据进行链接的工具,用于将语音识别输出链接到DBpedia知识图谱。这种基于知识的语音识别接口对于诸如问答或口语对话系统的应用是有用的。
2017-05-23 cs.CL cs.HC
KnowledgeHub: An end-to-end Tool for Assisted Scientific Discovery
IBM Research Europe(IBM欧洲研究院);IBM Research(IBM研究院);University College London(伦敦大学学院)
本文提出 KnowledgeHub 工具,通过集成 PDF 解析、本体标注、NER/RC 模型训练、知识图谱构建及基于检索的大语言模型问答与摘要,实现端到端的辅助科学发现。
2024-06-17 cs.AI cs.CL cs.DL
FlyAOC: Evaluating Agentic Ontology Curation of Drosophila Scientific Knowledge Bases
University of Michigan(密歇根大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
FlyAOC通过FlyBench评估AI代理在从科学文献中进行端到端本体编纂的能力,发现多代理设计性能更优,但模型规模扩大效益递减。
2026-09-28 cs.AI cs.CL cs.IR
Computer Science Named Entity Recognition in the Open Research Knowledge Graph
TIB Leibniz Information Centre for Science and Technology(莱布尼茨科学技术信息中心)
计算机科学(CS)学术文章上的领域特定命名实体识别(NER)是一项信息抽取任务,可以说对于可以困扰任务的各种注释目标来说更具挑战性,并且在一般领域中的NER研究较少。鉴于在净入学率方面已经取得了重大进展,我们相信,在未来几年,学术领域特定的净入学率将受到越来越多的关注。目前,这项工作的重点-CS NER的进展部分受到其新近出现和缺乏科学实体/术语的标准化注释目标的阻碍。这项工作提出了一个标准化的任务,通过定义一组七个贡献为中心的学术实体CS NER即,研究问题,解决方案,资源,语言,工具,方法和数据集。接下来,其主要贡献是:结合现有的CS NER资源,这些资源将其注释集中在我们考虑的以贡献为中心的学术实体的集合或子集上;此外,注意到需要大数据来训练神经NER模型,这项工作还从文章标题和摘要中提供了数千个以贡献为中心的实体注释,从而为CS NER释放了累积的大型新颖资源;最后,从一般域NER任务中训练出一个受最新神经结构启发的序列标记CS NER模型。在整个工作中,几个实际的考虑,这可能是有用的信息技术设计师的数字图书馆。
2022-11-14 cs.CL cs.DL cs.IR
Antarlekhaka: A Comprehensive Tool for Multi-task Natural Language Annotation
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文介绍Antarlekhaka,一个支持多任务、多标注者协作的NLP标注工具,涵盖8类任务,包括独特的句子边界检测和词序标注,在客观评估中优于其他工具,并已用于梵语和孟加拉语的实际标注。
2023-10-11 cs.CL
On the Impact of Knowledge-based Linguistic Annotations in the Quality of Scientific Embeddings
Expert.ai Research Lab(Expert.ai 研究实验室)
从本质上讲,嵌入算法的工作原理是优化单词与其通常上下文之间的距离,以生成一个嵌入空间,对单词的分布表示进行编码。除了单个单词或单词片段之外,从文本的语言分析中产生的其他特征,包括词汇,语法和语义信息,可以用于提高嵌入空间的质量。然而,到目前为止,我们还没有精确地了解这些单独的注释及其可能的组合对嵌入质量的影响。在本文中,我们进行了全面的研究,使用显式的语言注释,从科学语料库中生成嵌入,并量化其在所产生的表示的影响。我们的研究结果表明,这种注释的嵌入效果如何根据评估任务而变化。总的来说,我们观察到使用语言注释学习嵌入有助于实现更好的评估结果。
2021-04-13 cs.CL
A knowledge-based approach to semi-automatic annotation of multimedia documents via user adaptation
当前的注释过程方法集中在注释模式、注释语言上,或者是非常受应用程序驱动的。在本文中,它提出了一个更灵活的架构注释需要一个知识组件,以允许灵活的搜索和导航的注释材料。特别是,它声称,一个一般的方法必须考虑到的需求,能力和目标的生产者,注释者和消费者的注释材料。因此,我们建议有必要采用基于用户模型的方法。
2004-10-23 cs.CL cs.DL cs.IR
ZEBRA: Leveraging Model-Behavioral Knowledge for Zero-Annotation Preference Dataset Construction
Chungnam National University(Chungnam 国立大学);Korea University(韩国大学)
本文提出ZEBRA零标注框架,通过利用模型基准表现的行为知识对响应对进行二值化来构建偏好数据集,无需实例级标注,在大幅降低成本的同时实现了与实例监督方法相当的对齐性能。
2025-06-02 cs.AI cs.CL
CCNU at SemEval-2025 Task 3: Leveraging Internal and External Knowledge of Large Language Models for Multilingual Hallucination Annotation
Hubei Provincial Key Laboratory of Artificial Intelligence and Smart Learning(湖北省人工智能与智能学习重点实验室);National Language Resources Monitoring and Research Center for Network Media(网络媒体语言资源监测与研究中心);School of Computer Science, Central China Normal University(中央财经大学计算机学院)
本文提出面向 Mu-SHROOM 多语言幻觉标注任务的系统,通过并行调用专长不同的 LLM 并融合内外部知识模拟众包标注,DeepSeek-V3 在印地语排名第一、七种语言进入前五。
2025-05-17 cs.CL
Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing
ETH Z\"urich
针对知识追踪依赖专家标注且忽视题目标签语义的问题,提出KCQRL框架,利用LLM自动标注解答步骤中的KC,并通过假负例消除的对比学习生成语义嵌入,在15种KT算法和两个数学数据集上稳定提升性能。
2025-03-13 cs.CL cs.LG
CKBP v2: Better Annotation and Reasoning for Commonsense Knowledge Base Population
Hong Kong University of Science and Technology(香港科技大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出CKBP v2,一个高质量常识知识库填充评估集,通过专家标注与对抗样本解决旧版标注错误与数据对齐问题,并证明其能提升下游常识推理与零样本问答性能。
2024-09-21 cs.CL
Zero-shot Medical Entity Retrieval without Annotation: Learning From Rich Knowledge Graph Semantics
Amazon AI(亚马逊人工智能)
医疗实体检索是理解和沟通各种卫生系统信息的一个组成部分。目前的方法往往在特定的医学领域工作得很好,但对看不见的子专业推广得很差。在公共卫生危机下,随着新的医疗条件和药物治疗的频繁出现,这一问题日益受到关注。由于医学语料库的高度模糊性和可变性,Zero-shot检索是具有挑战性的,这使得很难在提及和概念之间建立准确的相似性度量。然而,医学知识图谱(KG)包含丰富的语义,包括大量的同义词以及其策划的图形结构。为了利用这些有价值的信息,我们提出了一套学习任务,旨在训练有效的zero-shot实体检索模型。在不需要任何人工注释的情况下,我们的知识图谱丰富架构显著优于常见的zero-shot基准测试,包括BM 25和临床BERT,在多个主要医学本体(如UMLS,SNOMED和ICD-10)中的召回率高出7%至30%。
2021-05-26 cs.AI cs.CL
Knowledge Graph Extraction from Videos
几乎所有现有的用于自动视频注释(或字幕)的技术都使用自然语言句子来描述视频。然而,这有几个缺点:(i)很难在自动数据处理中进一步使用所生成的自然语言注释,(ii)生成自然语言注释需要解决生成语义上精确且语法上正确的自然语言句子的困难子任务,这实际上与视频注释的任务无关,(iii)难以定量地测量性能,作为标准度量(例如,准确性和F1分数)是不适用的,和(iv)注释是语言特定的。本文提出了从视频中提取知识图谱的新任务,以给定视频的内容的知识图谱的形式产生描述。由于不存在用于此任务的数据集,因此我们还包括一种自动生成它们的方法,从使用自然语言注释视频的数据集开始。然后,我们描述了从视频中提取知识图谱的初始深度学习模型,并报告了MSVD* 和MSR-VTT* 的结果,这两个数据集是使用我们的方法从MSVD和MSR-VTT获得的。
2020-07-20 cs.AI cs.CL
Automating Governing Knowledge Commons and Contextual Integrity (GKC-CI) Privacy Policy Annotations with Large Language Models
University of Chicago(芝加哥大学);Colgate University(科尔盖特大学)
本文提出用大型语言模型自动完成隐私政策的GKC-CI参数标注,通过微调50个模型实现90.65%的专家级准确率,并规模化应用于456份政策。
2024-12-10 cs.CL cs.CY cs.LG
ReCellTy: Domain-Specific Knowledge Graph Retrieval-Augmented LLMs Reasoning Workflow for Single-Cell Annotation
Shandong University(山东大学);Qilu Hospital of Shandong University(山东大学齐鲁医院);Johns Hopkins University(约翰霍普金斯大学);Cognicore Artificial Intelligence Co., Ltd.(科智人工智能有限公司)
本文提出ReCellTy,通过整合生物信息知识图谱和多任务推理工作流,提升单细胞注释的准确性与自动化水平,改进人类评估得分和语义相似度,缩小大中小语言模型性能差距。
2026-04-09 cs.AI cs.CL cs.DB
Cross-context News Corpus for Protest Events related Knowledge Base Construction
我们描述了一个黄金标准语料库的抗议事件,包括来自不同国家的英语各种本地和国际来源。语料库包含文档、句子和标记级别的注释。该语料库有助于创建机器学习模型,自动分类新闻文章和提取抗议事件相关信息,构建知识库,使比较社会和政治科学研究。对于每个新闻源,注释从新闻文章的随机样本开始,并继续使用主动学习绘制的样本。每批样本都由两名社会和政治科学家进行注释,由注释监督员进行裁决,并通过半自动识别注释错误进行改进。我们发现,语料库的品种和质量的发展和基准文本分类和事件提取系统在跨上下文设置,这有助于自动化文本处理系统的泛化性和鲁棒性。这个语料库和报告的结果将设置目前缺乏自动抗议事件收集研究的共同点。
2020-08-01 cs.CL
Towards Temporal Knowledge-Base Creation for Fine-Grained Opinion Analysis with Language Models
Insight SFI Research Ireland Centre for Data Analytics, University of Galway(爱尔兰数据分析师中心,Galway大学)
针对现有文本观点分析缺乏时间锚点细粒度标注的问题,提出一种以LLM为自动标注器的可扩展时序观点知识库构建方法,定义三类数据模型,经定量评估和双模型标注验证,可适配RAG等多类下游应用。
2025-09-02 cs.CL
Sentence, Phrase, and Triple Annotations to Build a Knowledge Graph of Natural Language Processing Contributions -- A Trial Dataset
TIB Leibniz Information Centre for Science and Technology(莱布尼茨科学与技术信息中心)
目的:这项工作的目的是规范化NLPCONTRIBUTIONS计划(从今以后,NLPCONTRIBUTIONGRAPH)的结构,直接从文章句子,在自然语言处理(NLP)学术文章的贡献信息通过两个阶段的注释方法:1)试点阶段-定义计划(在以前的工作中描述);和2)裁定阶段-规范化的图形模型(本文的重点)。设计/方法/办法:我们第二次重新注释了50篇先前注释过的NLP学术文章中的贡献相关信息,这些文章的数据管道包括:以贡献为中心的句子,短语和三重陈述。为此,特别注意在裁定注释阶段减少注释噪音,同时制定我们提出的新NLP贡献结构和图形方案的指导方针。调查结果:NLP CONTRIBUTIONGRAPH在50篇文章中的应用最终产生了900个以贡献为中心的句子,4,702个以贡献信息为中心的短语和2,980个表面结构三元组的数据集。第一阶段和第二阶段之间的注释内一致性,在F1方面,句子为67.92%,短语为41.82%,三重陈述为22.31%,这表明随着信息粒度的增加,注释决策方差更大。实际影响:我们展示了NLPContributiongraph数据集成到开放式研究知识图谱(ORKG),下一代基于KG的数字图书馆与智能计算,使结构化的学术知识,作为一个可行的援助,以协助研究人员在他们的日常任务。
2021-05-07 cs.CL cs.DL cs.IR
Using Emotion Embeddings to Transfer Knowledge Between Emotions, Languages, and Annotation Formats
University of Southern California(南加州大学);Information Science Institute, University of Southern California(南加州大学信息科学研究所);Microsoft Cognitive Services(微软认知服务)
随着越来越多的学科将情感融入其理论和应用,从文本中进行情感推理的需求继续多样化。这些需求包括推断不同的情感类型、处理多种语言和不同的注释格式。不同配置之间的共享模型将实现知识共享并降低培训成本,并将简化在新环境中部署情感识别模型的过程。在这项工作中,我们研究了如何构建一个单一的模型,可以通过利用多语言模型和Demux(一种基于transformer的模型,其输入包括感兴趣的情绪)在这些不同的配置之间转换,使我们能够动态地改变模型预测的情绪。Demux还生成情感嵌入,对它们执行操作可以让我们通过汇集每个集群的嵌入来过渡到情感集群。我们表明,Demux可以同时转移知识的zero-shot方式到一个新的语言,一个新的注释格式和看不见的情感。代码可在https://github.com/gchochla/Demux-MEmo上获得。
2023-03-12 cs.AI cs.CL cs.LG
Evaluating Knowledge Generation and Self-Refinement Strategies for LLM-based Column Type Annotation
University of Mannheim(曼海姆大学)
本文实验比较了基于LLM的列类型标注的多种知识生成与自我精炼策略,发现将微调模型与自我精炼的术语定义结合可获最高性能,且不同策略的成本效益取决于标注规模。
2025-03-04 cs.CL
Blending Reward Functions via Few Expert Demonstrations for Faithful and Accurate Knowledge-Grounded Dialogue Generation
University of Virginia(弗吉尼亚大学)
本文提出一种结合准确率与忠实度指标的新颖奖励函数,利用强化学习和少量偏好标注,在知识 grounding 对话生成中抑制幻觉并忽略无关信息,实验证明其性能可与强监督基线竞争。
2023-11-02 cs.CL
Automated Annotation of Evolving Corpora for Augmenting Longitudinal Network Data: A Framework Integrating Large Language Models and Expert Knowledge
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of International Studies and Institute for Carbon Neutrality, Peking University(北京大学国际关系学院与碳中和研究院);Analytics Lab for Global Risk Politics, Peking University(北京大学全球风险政治分析实验室)
本文提出EALA框架,结合大型语言模型、历史标注数据与专家编码本,实现纵向网络数据演化语料库的自动标注,有效预测交互并捕捉主题演变,推进政治学研究。
2025-03-03 cs.CL cs.SI
Knowledge Management System with NLP-Assisted Annotations: A Brief Survey and Outlook
Columbia University(哥伦比亚大学)
知识管理系统(KMS)对工业研究人员,化学或研究企业,或基于证据的决策有很高的需求。然而,现有的系统在分类和组织论文见解或关系方面具有局限性。传统的数据库通常与日志系统不相交,这限制了它在生成简明、整理的概述方面的效用。在这项工作中,我们简要地调查现有的方法,这个问题的空间,并提出了一个统一的框架,利用关系数据库记录层次信息,以促进研究和写作过程中,或产生有用的知识,从参考或见解连接的概念。我们的双向知识管理系统(BKMS)框架实现了新的功能,包括改进的分层笔记,人工智能辅助的头脑风暴和多向关系。潜在的应用包括为制造或研究企业管理库存和变更,或生成基于证据的决策分析报告。
2022-11-03 cs.AI cs.CL cs.DB
Semi-Unsupervised Lifelong Learning for Sentiment Classification: Less Manual Data Annotation and More Self-Studying
Research Institute of Big Data Analytics, Xi’an Jiaotong-Liverpool University(西交利物浦大学大数据分析研究院);The University of Liverpool(利物浦大学)
终身机器学习是一种新型的机器学习范式,它可以在学习过程中不断积累知识。知识的提取和重用能力使终身机器学习能够解决相关问题。传统的方法,如朴素贝叶斯和一些基于神经网络的方法,只旨在实现最佳性能的单一任务。与之不同的是,本文中的终身机器学习关注的是如何在学习过程中积累知识,并将其用于进一步的任务。同时,随着知识的重用,训练对标记数据的需求也大大减少。本文认为终身学习的目标是使用较少的标记数据和计算成本,以达到与监督学习一样甚至更好的性能。
2019-05-30 cs.AI cs.CL
DISCOS: Bridging the Gap between Discourse Knowledge and Commonsense Knowledge
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
常识知识对于人工智能系统理解自然语言至关重要。以前的常识性知识获取方法通常依赖于人工注释(例如,ATOMIC)或文本生成模型(例如,COMET)。人工标注可以提供高质量的常识性知识,但人工标注成本高,往往导致标注规模小、覆盖率低。另一方面,生成模型具有自动生成更多知识的潜力。尽管如此,机器学习模型通常很好地拟合训练数据,因此很难生成高质量的新知识。为了解决以前的方法的局限性,在本文中,我们提出了一种替代的常识知识获取框架DISCOS(从DIScourse到COmmonSense),它自动填充昂贵的复杂常识知识,以更实惠的语言知识资源。实验表明,我们可以成功地从ASER,一个大规模的话语知识图谱的可能性的话语知识转换为原子定义的if-then常识知识,没有任何额外的注释工作。进一步的研究表明,DISCOS显着优于以前的监督方法的新颖性和多样性与可比的质量。通过在ASER的核心部分填充ATOMIC,我们总共可以获得3.4M类ATOMIC推理常识知识。代码和数据可在https://github.com/HKUST-KnowComp/DISCOS-commonsense上获得。
2021-02-18 cs.AI cs.CL
KGLink: A column type annotation method that combines knowledge graph and pre-trained language model
HKUST(香港科技大学);HKUST(GZ)(香港科技大学(广州))
本文提出KGLink方法,结合WikiData知识图谱与预训练语言模型解决表格列类型标注中的类型粒度和上下文缺失问题,在多数据集实验中验证了其有效性和高效性。
2024-06-01 cs.CL cs.IR cs.LG
Model-based annotation of coreference
University of Copenhagen(哥本哈根大学)
人类不会对文本进行推理,而是对文本内容的模型进行推理。因此,当注释者被要求注释文本的相关范围时,这是一个有点不自然的任务。本文提出了一种替代方案,我们预处理文档,链接实体的知识库,并把共指注释任务-在我们的情况下,仅限于代词-到一个注释任务,注释者被要求分配代词的实体。基于模型的注释,导致更快的注释和更高的注释者之间的协议,我们认为,它也开辟了另一种方法,共指消解。我们提出了两个新的共指基准数据集,英语维基百科和英语师生对话,并评估他们的最先进的共指解析器。
2020-03-01 cs.CL
Implications of Annotation Artifacts in Edge Probing Test Datasets
University of Michigan(密歇根大学);Wadhwani AI(瓦德瓦尼人工智能研究所)
本文研究了边缘探测测试数据集中的标注偏差(如记忆效应),发现消除这些偏差后,LLM编码器即使使用简单探针也能与随机编码器表现出显著差异。
2023-10-20 cs.CL
Knowledge Distillation in Automated Annotation: Supervised Text Classification with LLM-Generated Training Labels
University of Pennsylvania(宾夕法尼亚大学)
本文评估了用生成式LLM生成的标签替代人工标注数据来微调监督文本分类器的潜力,提出推荐工作流并在14个任务上复现实验,发现基于LLM标签微调的模型表现与人工标注相当,是一种快速高效且低成本的构建方法。
2024-06-25 cs.CL cs.LG
Toward Fast and Accurate Neural Chinese Word Segmentation with Multi-Criteria Learning
Ant Group(蚂蚁集团)
模糊的标注标准导致不同粒度的中文分词数据集的差异。多准则中文分词的目标是在数据集之间捕获各种标注准则,并利用它们的共同基础知识。在本文中,我们提出了一个域自适应分割器,利用不同的标准,各种数据集。我们的模型是基于双向编码器表示从Transformers(BERT),这是负责引入开放领域的知识。私有和共享投影层分别用于捕获特定领域的知识和公共知识。我们还通过蒸馏、量化和编译器优化来优化计算效率。实验表明,我们的分割器在10个CWS数据集上的性能优于以前的最先进的(SOTA)模型,具有优越的效率。
2020-10-09 cs.CL
ALIGNMEET: A Comprehensive Tool for Meeting Annotation, Alignment, and Evaluation
Charles University(查理大学)
摘要是一个具有挑战性的问题,更具有挑战性的是手动创建,更正和评估摘要。当输入是会议设置中的多方对话时,问题的严重性会增加。为了促进这方面的研究,我们提出了ALIGNMEET,一个全面的工具,会议注释,对齐和评估。该工具旨在为快速注释提供高效清晰的界面,同时降低引入错误的风险。此外,我们还增加了一个评估模式,可以对会议记录进行全面的质量评估。据我们所知,没有这样的工具可用。我们将该工具作为开源发布。它也可以直接从PyPI安装。
2022-05-11 cs.CL
ADMEDTAGGER: an annotation framework for distillation of expert knowledge for the Polish medical language
Gdansk University of Technology(格但斯克技术大学)
本文提出了一种标注框架,展示如何利用一个多语言预训练大语言模型作为教师模型,蒸馏出用于标注波兰医疗文本所需的专业知识,通过开发多类分类器,解决了标注资源不足的问题,最终得到了高效的分类器。
2026-05-18 cs.AI cs.CL
BIRD-History: A Benchmark for History-Driven Text-to-SQL with Fine-Grained Knowledge Annotations
Zhejiang University(浙江大学)
本研究推出带细粒度知识标注的BIRD-History基准测试,针对现有Text-to-SQL系统无法利用历史查询日志处理隐含领域知识的问题,提出插件式检索器,可提升多个Text-to-SQL系统的未明确查询处理性能。
2026-09-01 cs.AI cs.CL
Automated Knowledge Graph Construction using Large Language Models and Sentence Complexity Modelling
Indiana University(印第安纳大学);Purdue University(普渡大学);Department of Biomedical Engineering(生物医学工程系);Informatics, Indiana University(印第安纳大学信息学院)
本文提出CoDe-KG端到端流水线,结合共指消解与句法分解构建句子级知识图谱,贡献超15万三元组数据集,并在关系抽取上取得显著提升。
2025-09-22 cs.CL
NUANCED: Natural Utterance Annotation for Nuanced Conversation with Estimated Distributions
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Facebook
现有的会话系统大多是以代理为中心的,其假设用户话语将紧密遵循系统本体(用于NLU或对话状态跟踪)。然而,在现实世界的场景中,非常希望用户能够以他们自己的方式自由地说话。这是非常困难的,如果不是不可能的,为用户适应未知的系统本体。在这项工作中,我们试图建立一个以用户为中心的对话系统。由于没有一个干净的映射用户的自由形式的话语的本体,我们首先模型的用户偏好估计分布在系统本体和映射用户的话语,这样的分布。学习这种映射对现有知识的推理提出了新的挑战,从事实知识,常识知识到用户自己的情况。为此,我们构建了一个名为NUANCED的新数据集,专注于会话推荐的现实设置。NUANCED通过对话模拟和释义收集,包含5.1 k个对话、26 k个高质量用户响应回合。我们进行实验,显示我们的问题设置的有用性和挑战。我们相信NUANCED可以作为一个有价值的资源,推动现有的研究从以代理为中心的系统,以用户为中心的系统。代码和数据可在\url{https://github.com/facebookresearch/nuanced}上公开获取。
2021-09-09 cs.CL
Discovering Drug-Target Interaction Knowledge from Biomedical Literature
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院);University of Science and Technology of China(中国科学技术大学)
药物与靶点的相互作用(DTI)在生物医学科学和应用中起着至关重要的作用。随着生物医学领域每年数以百万计的论文涌现,从生物医学文献中自动发现药物、靶点及其相互作用的DTI知识成为业界的迫切需求。发现生物知识的现有方法主要是提取方法,其通常需要详细的注释(例如,生物实体的所有提及、每两个实体提及之间的关系等)。然而,这是困难的和昂贵的,以获得足够的注释,由于需要来自生物医学领域的专家知识。为了克服这些困难,我们使用生成方法探索了这项任务的第一个端到端解决方案。我们将DTI三元组视为一个序列,并使用基于transformer的模型直接生成它们,而不使用实体和关系的详细注释。此外,我们提出了一种半监督方法,该方法利用上述端到端模型来过滤未标记的文献并对其进行标记。实验结果表明,我们的方法显着优于提取基线的DTI发现。我们还创建了一个数据集KD-DTI来推进这项任务,并将其发布给社区。
2021-09-27 cs.AI cs.CL
On the Biased Assessment of Expert Finding Systems
Ghent University -- imec(根特大学—— imec)
本研究针对专家发现系统评估中因自动推荐标注导致的偏差问题,分析偏差来源并提出标注约束方案,以保障评估的公平性与方法比较的有效性。
2024-10-07 cs.CL cs.IR
VIANA: Visual Interactive Annotation of Argumentation
University of Konstanz(康斯坦茨大学)
辩论挖掘解决了识别辩论文本片段的边界并提取它们之间关系的挑战性任务。完全自动化的解决方案并没有达到令人满意的准确性,由于它们的语义和领域知识的不足。因此,专家目前依赖于耗时的手动注释。在本文中,我们提出了一个可视化的分析系统,增强了手动注释过程中自动建议哪些文本片段注释。这些建议的准确性随着时间的推移通过结合语言知识和语言建模来从用户交互中学习参数相似性的度量来提高。基于与领域专家的长期合作,我们确定并建模了五个高级分析任务。我们使仔细阅读和笔记,注释的论点,论点重建,提取的论点关系,并探讨论点图。为了避免上下文切换,我们通过无缝变形在所有视图之间转换,在视觉上锚定所有基于文本和图形的层。我们评估我们的系统与两个阶段的专家用户研究的基础上,总统辩论的语料库。结果表明,专家更喜欢我们的系统,由于提供的自动建议和文本和图形视图之间的紧密集成的加速比现有的解决方案。
2019-07-29 cs.CL cs.HC
Using Titles vs. Full-text as Source for Automated Semantic Document Annotation
ZBW—Leibniz Information Centre for Economics(ZBW—莱布尼茨经济信息中心);Kiel University(基尔大学)
链接开放数据云是当今最大的知识图谱的重要组成部分,它由关于出版物、新闻报道和其他媒体文章等文档的元数据组成。虽然对文档元数据的广泛访问是一个巨大的进步,但分配语义注释并按照语义概念组织文档并不容易。在SKOS词库中提供类似概念的语义注释是一个经典的研究课题,但通常是在文档的全文上进行。这是第一次,我们提供了分类方法的系统比较,以调查语义注释可以在多大程度上只使用文档的元数据进行,例如在链接开放数据云上作为标签发布的标题。我们比较了从分析文档标题获得的分类与从分析全文获得的语义标注。除了突出的文本分类基线kNN和SVM,我们还比较了学习排序和神经网络的最新技术,并重新审视了传统的方法逻辑回归,Rocchio和朴素贝叶斯。结果表明,在我们的四个数据集中的三个数据集中,与使用全文时的分类性能相比,仅使用标题的分类性能达到了90%以上的质量。因此,仅使用标题进行文档分类是自动语义标注的合理方法,并为丰富知识图谱开辟了新的可能性。
2017-09-27 cs.CL cs.DL
Investigating Low-Cost LLM Annotation for~Spoken Dialogue Understanding Datasets
Laboratoire d’Informatique d’Avignon (LIA)(阿维尼翁计算机实验室(LIA));Orange Innovation(奥兰治创新公司)
针对口语对话数据集语义表征不足的问题,本文研究利用大语言模型自动增强其语义标注,评估了微调适用性、标注知识捕获能力及半自动标注的影响。
2024-06-19 cs.AI cs.CL cs.HC
Hierarchical Annotation for Building A Suite of Clinical Natural Language Processing Tasks: Progress Note Understanding
University of Wisconsin(威斯康星大学);Loyola University Chicago(芝加哥洛约拉大学);Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
将自然语言处理方法应用于电子健康记录(EHR)数据是一个不断发展的领域。现有的语料库和标注集中在文本特征建模和关系预测上。然而,有一个注释的语料库建立临床诊断思维,涉及文本理解,领域知识的抽象和推理的过程中,一个缺乏。这项工作介绍了一个层次化的注释模式,有三个阶段,以解决临床文本理解,临床推理和总结。我们创建了一个注释语料库的基础上广泛收集的公开可用的每日进展记录,一种类型的EHR文档,是在时间序列中收集的问题为导向的格式。进度记录的常规格式遵循主观、客观、评估和计划标题(SOAP)。我们还定义了一套新的任务,进度说明理解,三个任务利用三个注释阶段。这套新的任务旨在训练和评估未来的NLP模型,用于临床文本理解、临床知识表示、推理和总结。
2022-04-06 cs.AI cs.CL cs.CY
Annotation Guidelines-Based Knowledge Augmentation: Towards Enhancing Large Language Models for Educational Text Classification
National Engineering Research Center of Educational Big Data, Faculty of Artificial Intelligence in Education, Central China Normal University(国家教育大数据工程研究中心,教育人工智能学院,中央财经大学)
提出AGKA方法,利用GPT-4.0从标注指南提取知识并辅以典型示例,增强LLM在教育文本分类中的性能,在六个LEC数据集上验证,GPT-4.0和Llama 3 70B表现优异。
2025-10-23 cs.AI cs.CL
Towards Model-Based Data Acquisition for Subjective Multi-Task NLP Problems
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
针对主观多任务NLP标注成本高的问题,提出基于模型的单文本任务选择方法,可减少40%标注量且知识损失极小,还探究了任务关联及自监督正则化的效果。
2023-12-13 cs.AI cs.CL
Bayesian Methods for Semi-supervised Text Annotation
University of Ljubljana(卢布尔雅那大学);West University of Timisoara(蒂米什瓦拉西部大学)
人工标注是自然语言理解方法发展的重要信息来源。由于在生产力的压力下,注释者可以为给定的文本分配不同的标签,因此生成的注释的质量经常变化。如果决策很困难,认知负荷很高,需要了解更广泛的背景,或仔细考虑背景知识,情况尤其如此。为了缓解这个问题,我们提出了两种半监督方法来指导注释过程:贝叶斯深度学习模型和贝叶斯集成方法。使用贝叶斯深度学习方法,我们可以发现不可信的注释,可能需要重新注释。最近提出的贝叶斯集成方法帮助我们将注释者的标签与训练模型的预测相结合。三个仇恨语音检测实验的结果表明,所提出的贝叶斯方法能够提高BERT模型的标注和预测性能。
2020-10-28 cs.CL stat.ML