Knowledge Graph Anchored Information-Extraction for Domain-Specific Insights
Accenture Labs(埃森哲实验室)
数据的数量和复杂性不断增加,给人类消费信息和及时响应带来了挑战。对于那些规则和法规快速变化的领域中的企业来说,未能识别变化可能会付出高昂的代价。与专家分析或特定领域的本体和分类法的开发相反,我们使用基于任务的方法来满足新领域中的特定信息需求。具体来说,我们建议从传入的实例数据中提取基于任务的信息。由最先进的NLP技术构建的管道,包括用于实体提取的bi-LSTM-CRF模型,基于注意力的深度语义角色标注,以及自动化的基于动词的关系提取器,用于自动提取实例级语义结构。然后,将每个实例与更大的、特定于领域的知识图谱相结合,以产生新的、及时的见解。手动验证的初步结果表明,该方法可有效提取特定信息以完成最终用例。
2021-04-20 cs.AI cs.CL
A Survey on Temporal Reasoning for Temporal Information Extraction from Text (Extended Abstract)
University Medical Center Utrecht(乌得勒支大学医学中心);KU Leuven(鲁汶大学)
时间深深地融入了人们对世界的感知和交流。我们几乎是无意识地为我们的语言话语提供了时间线索,比如动词时态,没有这些线索,我们很难造句。从文本中提取时间线索,并构建关于描述事件顺序的全局时间视图是自动自然语言理解的主要挑战。时间推理是将不同的时间线索组合成一个连贯的时间视图的过程,在时间信息抽取中起着核心作用。本文综述了过去几十年来关于文本时间信息抽取的时间推理研究,并提供了一个将符号推理与基于机器学习的信息抽取系统相结合的案例研究。
2020-05-15 cs.AI cs.CL cs.LG
CPTuning: Contrastive Prompt Tuning for Generative Relation Extraction
Peking University(北京大学)
针对实体重叠对下的多关系抽取问题,提出CPTuning对比提示调优,结合阈值化概率学习、言语化生成与Trie约束解码,显著提升T5-large性能。
2025-01-04 cs.AI cs.CL
Reconstruction of Protein-Protein Interaction Pathways by Mining Subject-Verb-Objects Intermediates
BioInformatics Research Centre, Nanyang Technological University(南洋理工大学生物信息学研究中心);CRC for Innovative Dairy Products(创新乳制品合作研究中心);The University of Melbourne(墨尔本大学);Victorian Bioinformatics Consortium, Monash University(莫纳什大学维多利亚生物信息学联盟)
新文章发表率的指数增长限制了研究人员对相关文献的访问。这促使人们使用文本挖掘工具来提取关键的生物信息。以前的研究报告了现有的通用文本处理器的广泛修改,以处理生物文本。然而,这一修改要求尚未得到审查。在这项研究中,我们构建了Muscorian,使用MontyLingua,一个通用的文本处理器。它使用了一个两层的泛化-专业化范式先前提出的文本一般处理到一个合适的中间格式之前,特定于域的数据提取技术应用在专业化层。使用语料库和专家进行的评估表明,在提取蛋白质-蛋白质相互作用方面,精确度为86-90%,召回率约为30%,这与使用专门的生物文本处理工具或修改的现有工具的先前研究相当。我们的研究还通过使用同一个泛化层来完成两个特定的信息抽取任务,证明了两层泛化-特定化范式的灵活性。
2007-08-06 cs.CL cs.DL cs.IR
Data Extraction Attacks in Retrieval-Augmented Generation via Backdoors
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
本文提出通过在微调阶段注入中毒数据对RAG植入后门,使攻击者能利用特定触发器操纵LLM泄露检索数据库文档,在Gemma-2B-IT上以5%中毒数据实现94.1%逐字提取成功率,揭示了RAG供应链的隐私风险。
2025-03-30 cs.CL cs.CR
Jointly Learning Span Extraction and Sequence Labeling for Information Extraction from Business Documents
CINNAMON AI;Hung Yen University of Technology and Education(兴安技术教育大学)
提出了一种新的商务文档信息抽取模型。与以往仅基于跨度提取或序列标记的研究不同,该模型兼顾了跨度提取和序列标记的优点。这种组合允许模型处理具有稀疏信息(少量提取信息)的长文档。该模型是端到端训练的,以统一的方式联合优化这两个任务。在英语和日语的四个商业数据集上的实验结果表明,该模型取得了令人满意的结果,并显着快于正常的跨度为基础的提取方法。代码也可用。
2022-05-26 cs.AI cs.CL
An Effective System for Multi-format Information Extraction
Northeastern University(东北大学)
2021年语言与智力挑战赛中的多格式信息抽取任务,旨在从不同维度对信息抽取进行综合测评。它由一个多槽关系抽取子任务和两个事件抽取子任务组成,这两个子任务分别从事件级和文档级抽取事件。在这里,我们描述我们的系统,这种多格式的信息抽取竞争任务。具体而言,对于关系抽取子任务,我们将其转换为传统的三元组抽取任务,并设计了一种基于投票的方法,充分利用现有的模型。对于事件级事件提取子任务,我们将其转换为NER任务,并使用基于指针标记的方法进行提取。此外,考虑到标注的触发信息可能有助于事件提取,设计了一个辅助触发识别模型,并利用多任务学习机制将触发特征集成到事件提取模型中。对于文档级事件提取子任务,我们设计了一种基于编码器-解码器的方法,并提出了一种类似于transformer的解码器。最后,我们的系统在该多格式信息抽取任务的测试集排行榜上排名第4,其关系抽取、文档级事件抽取和文档级事件抽取的F1得分分别为79.887%、85.179%和70.828%。我们模型的代码可以在{https://github.com/neukg/MultiIE}上找到。
2021-08-16 cs.AI cs.CL
Verbal chunk extraction in French using limited resources
探索了一种提取法语动词词块的方法,并在有效语料库上进行了测试。声明性的形态和本地语法规则,指定块和一些简单的上下文结构,依赖于有限的词汇信息和一些简单的启发式/统计特性,从受限制的语料库。具体的目标,该系统的架构和形式主义,它依赖的语言信息和有效语料库上取得的成果。
2004-08-26 cs.CL
Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems
Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该研究揭示了上下文检索式RAG语言模型存在数据存储泄露漏洞,攻击者可通过提示注入提取数据,漏洞随模型规模扩大而加剧,且位置偏差消除策略可有效缓解,在生产级GPTs上验证了攻击的高成功率。
2024-10-06 cs.AI cs.CL cs.CR
Exploit Multiple Reference Graphs for Semi-supervised Relation Extraction
Wuhan University(武汉大学)
人工标注标记数据的关系抽取是费时费力的。半监督方法为解决这一问题提供了有力的帮助,引起了人们极大的研究兴趣。现有的工作主要集中在将未标记的样本映射到类中以增强标记的数据集。然而,很难找到一个全面良好的映射函数,特别是对于一个句子中含有复杂句法成分的样本。为了解决这个问题,我们建议在未标记的数据和标记的数据之间建立连接,而不是直接将未标记的样本映射到类。具体来说,我们首先使用三种信息来构造引用图,包括实体引用、动词引用和语义引用。目标是在语义上或词汇上将未标记的样本连接到标记的样本。然后,我们开发了一个多参考图(MRefG)模型,利用参考信息更好地识别高质量的未标记样本。我们的方法的有效性证明了广泛的比较实验与国家的最先进的基线在两个公共数据集。
2020-10-22 cs.CL
Span-Oriented Information Extraction -- A Unifying Perspective on Information Extraction
University of Notre Dame(圣母大学);Colby College(科尔比学院)
针对信息抽取任务间异质性阻碍进展的问题,提出以文本片段为中心的统一视角,将各类信息抽取任务转化为同一基本面向片段的信息抽取任务的变体。
2024-03-18 cs.AI cs.CL cs.IR
Video Event Extraction via Tracking Visual States of Arguments
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
视频事件提取的目的是从视频中检测出显著事件,并识别每个事件的论点以及它们的语义角色。现有的方法侧重于捕捉每帧的整体视觉场景,忽略了细粒度的参数级信息。受事件作为状态变化的定义的启发,我们提出了一种新的框架来检测视频事件,通过跟踪所有涉及的参数的视觉状态的变化,预计将提供最翔实的证据提取视频事件。为了捕捉参数的视觉状态变化,我们将它们分解为对象内像素的变化、对象的位移以及多个参数之间的交互。我们进一步提出了对象状态嵌入,对象运动感知嵌入和参数交互嵌入来编码和跟踪这些变化。各种视频事件提取任务的实验表明,显着的改进相比,国家的最先进的模型。特别是在动词分类上,我们在视频情景识别的F1@5中获得了3.49%的绝对增益(19.53%的相对增益)。
2022-11-05 cs.CL cs.CV
Rule-Based Approaches to Atomic Sentence Extraction
The Pennsylvania State University(宾夕法尼亚州立大学)
本研究通过分析复杂句子结构对基于规则的原子句子提取性能的影响,提出了依赖关系提取规则,并在WikiSplit数据集上实现了较高的提取准确率。
2026-01-01 cs.CL
AnnIE: An Annotation Platform for Constructing Complete Open Information Extraction Benchmark
University of Mannheim(曼海姆大学);NEC Laboratories Europe(NEC欧洲实验室);University of Stuttgart(斯图加特大学);LMU Munich(慕尼黑大学)
开放式信息抽取(Open Information Extraction,OIE)是以无模式的方式从关系形式的句子中抽取事实及其相应的论元的任务。由于现有OIE基准的不完整性,OIE系统的内在性能很难测量:地面真值提取并没有将可以从句子中提取的相同事实的所有可接受的表面实现分组。为了更现实地衡量OIE系统的性能,有必要手动注释完整的事实(即,同一事实的所有可接受的表面实现的聚类)。我们建议安妮:一个交互式注释平台,为此类具有挑战性的注释任务提供便利,并支持创建完整的面向事实的OIE评估基准。AnnIE是模块化和灵活的,以支持不同的用例场景(即,涵盖不同类型事实的基准)。我们使用AnnIE建立两个完整的OIE基准:一个是动词介导的事实,另一个是包含命名实体的事实。最后,我们评估了几个OIE系统上我们的完整的基准与AnnIE创建。我们的研究结果表明,现有的不完整的基准过于宽松,OIE系统并不像以前报道的那样强大。我们在非限制性许可下公开发布AnnIE。
2022-04-13 cs.CL
CEVO: Comprehensive EVent Ontology Enhancing Cognitive Annotation
University of Dayton(代顿大学);University of Leipzig(莱比锡大学);Kno.e.sis Center(Kno.e.sis中心)
虽然命名实体的一般分析已经在非结构化和结构化数据上得到了大量的研究关注,但是命名实体之间的关系的分析受到了有限的关注。事实上,对文献的回顾揭示了组织关系所需的抽象概念化研究的不足。我们相信,这样的抽象概念化可以使各种社区和应用程序受益,例如自然语言处理、信息抽取、机器学习和本体工程。在本文中,我们提出了综合事件本体论(CEVO),建立在莱文的概念层次的英语动词,动词与共享的意义,和句法行为进行分类。我们提出了这个本体的基本概念和要求。此外,我们提出了三个用例采用CEVO本体的注释任务:(i)注释关系在纯文本中,(ii)注释本体属性,(iii)链接文本关系的本体属性。这些用例展示了使用CEVO进行注释的好处:(i)从抽象概念化中注释英语动词,(ii)扮演上层本体的角色,用于组织本体属性,以及(iii)使用任何底层词汇促进文本关系的注释。此资源可在https://shekarpour.github.io/cevo.io/上使用https://w3id.org/cevo命名空间获得。
2018-10-03 cs.CL
Think Rationally about What You See: Continuous Rationale Extraction for Relation Extraction
Tsinghua University(清华大学);Amazon(亚马逊);The Chinese University of Hong Kong(香港中文大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对现有关系抽取研究忽略上下文核心内容或易受无关内容干扰的问题,提出新型理由提取框架RE2,通过连续性、稀疏性因子及可优化二元掩码提取相关连贯理由,在四个数据集上性能优于基线模型。
2023-05-02 cs.CL cs.IR
Automatic Extraction of Bengali Root Verbs using Paninian Grammar
Jadavpur University(贾达普大学)
在这项研究工作中,我们提出了一种基于监督学习方法的算法,利用Panini [1]在Ashtadhyayi中提出的语法规则提取孟加拉语动词的根形式。这种方法可以应用于从梵语派生出来的语言。提出的系统已经开发的动词的时态,人称和形态变化的基础上,找到他们的根形式。研究工作分两个阶段进行:第一,将动词的表层形式或屈折形式分成一定数量的时态和人称相似的组。在这项任务中,使用了孟加拉语的标准模式。接下来,我们应用一套规则从动词的表层形式中提取词根形式。该系统已进行了测试,从孟加拉语文本语料库中开发的TDIL项目的印度政府收集的10000个动词。输出的准确率已达到98%,这是由语言专家验证。根动词识别是语义搜索、多句子搜索查询处理、语义理解、词义消歧、句子分类等过程中的关键步骤。
2020-03-31 cs.CL
Enriching Relation Extraction with OpenIE
University of Luxembourg(卢森堡大学)
关系抽取(RE)是信息抽取(IE)的一个子学科,其关注于从自然语言输入设备(例如句子、子句或甚至由多个句子和/或子句组成的短段落)预测关系谓词。RE与命名实体识别(NER)和消歧(NED)一起构成了许多高级IE任务(如知识库(KB)填充和验证)的基础。在这项工作中,我们将探讨如何最近的开放信息抽取(OpenIE)的方法可能有助于提高RE的任务,通过编码结构化信息的句子的主要单位,如主题,对象,动词短语,状语,到各种形式的矢量化(因此非结构化)表示的句子。我们的主要猜想是,通过OpenIE将长且可能复杂的句子分解为多个较小的子句,甚至有助于微调上下文敏感的语言模型,如RE的BERT(及其大量变体)。我们的实验在两个注释语料库,知识网和FewRel,证明了我们的丰富的模型相比,现有的RE方法的准确性提高。我们的最佳结果分别达到KnowledgeNet和FewRel的F1分数的92%和71%,证明了我们的方法在竞争基准上的有效性。
2022-12-19 cs.CL cs.IR cs.LG
Entangled Relations: Leveraging NLI and Meta-analysis to Enhance Biomedical Relation Extraction
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出MetaEntailRE方法,通过元类别分析、可行假设过滤和分组预测选择三项增强,将关系抽取转化为文本蕴含任务,在BioRED和ReTACRED上分别取得17.6和13.4个百分点的F1提升。
2025-03-07 cs.CL
TIMELINE: Exhaustive Annotation of Temporal Relations Supporting the Automatic Ordering of Events in News Articles
University of Manchester(曼彻斯特大学)
本文针对新闻时序关系标注中指南模糊、长距离关系缺失及非动词事件被排除的问题,提出新的标注方案并构建TIMELINE语料库,提升了标注一致性并验证了基线模型性能。
2023-10-26 cs.CL
Building a Web-Scale Dependency-Parsed Corpus from CommonCrawl
University of Hamburg(汉堡大学);University of Mannheim(曼海姆大学)
我们目前的DepCC,最大的语言学分析语料库,包括3.65亿份文件,由252亿令牌和7.5亿美元的命名实体出现在14.3亿句从网络规模的爬行的\textsc{Common Crawl}项目。这些句子使用依赖性解析器和命名实体标记器进行处理,并包含出处信息,从而实现从训练基于语法的词嵌入到开放式信息抽取和问答的各种应用。我们建立了所有句子及其语言元数据的索引,以便在语料库中进行快速搜索。我们展示了这个语料库的实用性动词相似性任务,表明我们的语料库训练的分布模型产生更好的结果比模型训练较小的语料库,如维基百科。这种分布模型优于SimVerb3500数据集上较小语料库上训练的动词相似性模型。
2018-02-28 cs.CL
CANDiS: Coupled & Attention-Driven Neural Distant Supervision
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Indian Institute of Science(印度科学理工学院)
用于关系抽取的远程监督使用具有现有知识库的、按顺序对齐的文本数据作为训练数据。这种技术的无监督性质允许它扩展到网络规模的关系抽取任务,代价是训练数据中的噪声。以前的工作已经探索了相同实体对的实例之间的关系,以减少这种噪音,但实体对的实例之间的关系还没有得到充分利用。我们探讨使用的动词短语和实体类型的相似性的基础上的实例间的耦合。我们提出了一种新的技术,CANDIS,铸造远程监督使用实例间耦合到一个端到端的神经网络模型。CANDIS在实例级集成了一个注意力模块来模拟这个问题的多实例性质。CANDIS在标准基准数据集上的性能优于现有的最先进技术。
2017-10-26 cs.CL
MARAGE: Transferable Multi-Model Adversarial Attack for Retrieval-Augmented Generation Data Extraction
University of Toronto(多伦多大学)
本文提出MARAGE框架,通过多模型梯度连续优化对抗性字符串,实现跨模型可迁移的RAG数据提取攻击,并验证其优于现有基线。
2025-02-05 cs.CL cs.CR cs.LG
Event Temporal Relation Extraction based on Retrieval-Augmented on LLMs
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出一种基于大语言模型检索增强的事件时序关系抽取方法,利用LLMs检索知识优化提示模板与动词化器,在三个数据集上验证了有效性。
2024-03-22 cs.CL
Valence extraction using EM selection and co-occurrence matrices
Instytut Podstaw Informatyki PAN(波兰科学院基础信息技术研究所);Centrum Wiskunde & Informatica(数学与计算机科学中心)
本文讨论了两个新的程序提取动词配价从原始文本中,与波兰语的应用。第一个新技术,EM选择算法,执行无监督的消歧的价框架森林,通过应用非概率深度语法分析器和一些后处理的文本。第二个新的想法涉及过滤不正确的框架中检测到的解析文本,并采取类似的论点往往有类似的框架动词的观察动机。这种现象是描述在新引入的共生矩阵。使用共生矩阵,我们将过滤分为两步。首先为每个动词确定有效参数的列表,而在下一阶段计算将参数组合到框架中所依据的模式。我们最好的提取字典达到$F$ -分数为45%,相比之下,标准的基于帧的BHT过滤的$F$ -分数为39%。
2009-11-27 cs.CL
Automatic Extraction of Subcategorization Frames for Czech
我们提出了一些新的机器学习技术的动词在捷克语中的次范畴化信息的识别。我们比较了三种不同的统计技术应用于这个问题。我们展示了如何使用学习算法从捷克布拉格依赖树库中发现以前未知的子分类框架。然后,该算法可以用来标记捷克语树库中的动词的依存关系作为参数或参数。使用我们的技术,我们能够在看不见的解析文本上实现88%的精度。
2000-09-08 cs.CL
Textual Entailment for Event Argument Extraction: Zero- and Few-Shot with Multi-Source Learning
HiTZ Basque Center for Language Technologies(HiTZ巴斯克语言技术中心);Raytheon BBN Technologies(雷神BBN技术公司);University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
最近的工作表明,NLP任务(如关系抽取(RE))可以使用动词化重新转换为文本蕴涵任务,由于预先训练的蕴涵模型,在zero-shot和Few-Shot设置中具有强大的性能。事实上,在目前的RE数据集的关系很容易用语言表达的怀疑是否蕴涵将是有效的,在更复杂的任务。在这项工作中,我们证明了蕴涵在事件参数提取(EAE)中也是有效的,在ACE和WikiEvents中分别将手动注释的需要减少到50%和20%,同时实现与完整训练相同的性能。更重要的是,我们表明,重铸EAE蕴涵的依赖模式,这一直是一个路障域之间的注释转移。由于蕴涵,ACE和WikiEvents之间的多源传输进一步将注释减少到不传输的完整训练的10%和5%(分别)。我们的分析表明,获得良好结果的关键是使用多个蕴涵数据集来预训练蕴涵模型。与以前的方法类似,我们的方法需要少量的手动语言化工作:每个事件参数类型只需要不到15分钟,并且可以与具有不同专业知识水平的用户实现可比的结果。
2022-05-03 cs.CL
Bi-Directional Iterative Prompt-Tuning for Event Argument Extraction
Huazhong University of Science and Technology(华中科技大学)
近年来,提示微调在事件论元抽取中引起了越来越多的关注。然而,现有的提示微调方法由于缺乏对实体信息的考虑而没有取得令人满意的性能。在本文中,我们提出了一个双向迭代提示微调方法EAE,EAE任务被视为完形填空风格的任务,充分利用实体信息和预训练的语言模型(PLM)。此外,我们的方法探讨事件的论点相互作用,通过引入上下文实体的论点作用到提示建设。由于模板和动词化器是完形填空提示语中的两个重要组成部分,本文提出利用角色标签语义知识构造语义动词化器,并设计了三种模板用于EAE任务。ACE 2005英语数据集上的实验表明,该方法显着优于同行国家的最先进的方法。我们的代码可在https://github.com/HustMinsLab/BIP上获得。
2022-10-28 cs.CL
Improving Distantly Supervised Relation Extraction by Natural Language Inference
Iowa State University(爱荷华州立大学)
为了减少关系抽取(RE)任务的人工注释,已经提出了远程监督方法,同时与低性能作斗争。在这项工作中,我们提出了一种新的DSRE-NLI框架,它既考虑了来自现有知识库的远程监督,也考虑了来自其他任务的预训练语言模型的间接监督。DSRE-NLI通过半自动关系动词化(SARV)机制激活现成的自然语言推理(NLI)引擎,以提供间接监督,并进一步整合远程注释,使多分类RE模型受益。基于NLI的间接监督只从人类获取一个关系动词化模板作为每个关系的语义通用模板,然后通过从远距离标注语料库中自动挖掘的高质量文本模式来丰富模板集。通过两种简单有效的数据整合策略,训练数据的质量得到了显著提高。大量实验表明,该框架显着提高了远程监督RE基准数据集上的SOTA性能(高达F1的7.73%)。
2022-07-31 cs.CL cs.LG
TECO: Improving Multimodal Intent Recognition with Text Enhancement through Commonsense Knowledge Extraction
Faculty of Information Technology(信息技术学院);VNU University of Engineering and Technology(VNU工程技术大学)
针对多模态意图识别中文本语义利用及跨模态对齐融合的难题,提出TECO方法,通过提取生成与检索的常识知识增强文本特征,再融合视听模态,性能显著优于现有基线。
2024-12-11 cs.CL
Extraction of V-N-Collocations from Text Corpora: A Feasibility Study for German
本文对Church等人(1991)提出的一种统计方法在德语语篇语料库动名搭配抽取中的应用进行了评价。该方法所产生的德语的属性的一些问题进行了讨论,并认为该方法的各种修改,可能会提高德语的提取结果。所有的变体方法的精度和召回率进行了评估的V-N搭配包含支持动词,和后果进一步的工作,从德语语料库中提取搭配进行了讨论。有足够大的语料库(>= 6百万。单词标记),使用最严格的方法,错误提取的平均错误率可以降低到2.2%(97.8%的精度),然而,与具有87.6%精度的较不严格的方法相比,数据损失几乎50%。根据要实现的目标,重点可以放在高召回率的词典编纂的目的或高精度的自动词汇习得,在每一种情况下,不幸的是,导致相应的其他变量的减少。如果有非常大的语料库(即50 - 100万字),或者除了在机器可读(搭配)词典中找到的数据之外,还使用特殊领域的语料库,那么低召回率仍然是可以接受的。
1996-03-18 cmp-lg cs.CL
Unlocking Korean Verbs: A User-Friendly Exploration into the Verb Lexicon
Seoultech(首尔科技大学);The University of British Columbia(不列颠哥伦比亚大学);The Chinese University of Hong Kong(香港中文大学);dot Inc.(42dot公司);Seoul National University(首尔大学);National Institute of Korean Language(韩国国立国语院);KAIST(韩国科学技术院);Anyang University(安阳大学)
本文介绍了一个用户友好的Web界面和Python库,用于收集整合韩语动词相关信息(如次范畴框架)并简化句法分析与语义角色标注,助力基于Sejong词典数据集的韩语处理应用开发。
2025-04-02 cs.CL
Verb Argument Structure Alternations in Word and Sentence Embeddings
New York University(纽约大学)
动词出现在不同的句法环境或框架中。我们调查是否人工神经网络编码语法的区别推断动词的特质框架选择属性。我们介绍了五个数据集,统称为FAVA,包含在聚合近10K的句子标记为语法的可接受性,说明不同的口头论点结构的交替。然后,我们测试模型是否可以区分可接受的英语动词框架组合从不可接受的单独使用句子嵌入。为了获得收敛的证据,我们进一步构建了相应的词级数据集LaVA,并研究是否可以从词嵌入中提取相同的句法特征。我们的模型对某些语言变化进行了可靠的分类,但对其他语言变化则没有,这表明虽然这些表示确实编码了细粒度的词汇信息,但它是不完整的,或者很难提取。此外,词级模型和句子级模型之间的差异表明,词嵌入中存在的一些信息不会传递给下游的句子嵌入。
2018-11-27 cs.CL
Super Library Agent: Joint Generation and Maintenance of Multiple Applications Beyond the Single Codebase
KAIST(韩国科学技术院)
针对关联应用组合维护的冗余与结构退化问题,提出超级库智能体方法,通过候选引导提取等技术,在WebGen-Bench等基准上减少冗余并避免结构退化。
2026-09-01 cs.AI cs.CL cs.SE
Word Tagging with Foundational Ontology Classes: Extending the WordNet-DOLCE Mapping to Verbs
University of Passau(帕绍大学)
语义标注是处理大规模词汇信息的基础,它将信息映射到一组可分类的类别,在这些类别上可以应用规则和算法,基础本体类可以用作此类任务的正式类别集。之前WordNet名词同义词集和DOLCE之间的对齐为基于本体的注释提供了一个起点,但在NLP任务中,动词也非常重要。这项工作提出了一个扩展的WordNet-DOLCE名词映射,对齐动词根据其链接到名词表示perdurants,转移到动词的DOLCE类分配给名词,最好代表该动词的出现。为了评估这个资源的有用性,我们实现了一个基于基础本体的语义注释框架,它为文本中的每个单词或短语分配了一个高级基础类别,并将其与类似的注释工具进行了比较,准确率提高了9.05%。
2018-06-20 cs.CL
What Should/Do/Can LSTMs Learn When Parsing Auxiliary Verb Constructions?
Uppsala University(乌普萨拉大学);University of Copenhagen(哥本哈根大学)
研究神经NLP模型学习语言的兴趣越来越大。一个突出的问题是是否有必要对层次结构进行建模。我们提出了一个神经解析器的语言学调查,增加了对这个问题的见解。我们将助动词结构与限定主动词结构进行比较,考察助动词结构的及物性和一致性信息。这种比较的动机是依存语法的理论工作,特别是Tesnière(1959)的工作,其中AVCs和FMV都是核的实例,核是句法的基本单位。AVC是一个分离的核,它至少由两个单词组成,而FMV是它的非分离的对应物,只由一个单词组成。我们建议AVC和FMV的表示应该捕获类似的信息。我们使用诊断分类探测协议和传递性信息的向量学习的过渡为基础的神经解析器在四个类型不同的语言。我们发现,解析器学习不同的信息,如果只有顺序模型(BiLSTM)中使用的架构,但类似的信息时,使用递归层的AVC和FMV。我们通过仔细观察网络中信息是如何学习的,以及不同的AVC依赖表示会发生什么来解释为什么会出现这种情况。我们的结论是,在依存句法分析中使用递归层可能会有好处,而且我们还没有找到将其集成到解析器中的最佳方法。
2020-10-12 cs.CL
Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement
Idiap Research Institute(伊迪亚普研究所);University of Geneva(日内瓦大学)
本文通过新的多项选择任务和Blackbird Language Matrices数据集,采用两级架构研究多语言预训练语言模型的句法表征,发现其存在语言特异性差异,句法结构在密切相关语言间也不共享。
2024-11-29 cs.CL
Extraction of Templates from Phrases Using Sequence Binary Decision Diagrams
Kyushu University(九州大学);University of Tokyo(东京大学);National Institute of Information and Communications Technology(信息通信研究机构)
从一组相关短语中提取模板,如“把X当作Y”,需要识别其内部结构。本文提出了一种无监督的方法,通过使用一种新的放松的序列二叉决策图(SeqBDD)的变体,只从标记的文本中提取模板。SeqBDD可以将一组序列压缩成与最小DFA等效的图形结构,但更紧凑,更适合模板提取任务。本文的主要贡献是SeqBDD构造算法的宽松形式,使其能够从少量数据中形成一般表示。在Relaxed SeqBDD构建过程中,文本中共享结构的压缩过程自然会导致我们希望提取的模板。实验表明,该方法能够对语料库中基于动词+介词模板的任务和社交媒体短信中基于短语模板的任务进行高质量的抽取。
2020-01-28 cs.CL
Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects
Aalborg University(奥尔堡大学)
本文研究了扩散语言模型的记忆化现象,提出通用概率提取框架并验证其理论,显示DLMs在记忆化信息泄露方面优于自回归模型。
2026-03-02 cs.CL
Semantic interpretation of temporal information by abductive inference
除了动词和动词中的时间信息外,文本的时间解释还依赖于一般世界知识和默认假设。我们将提出一个理论,一方面描述动词、动词的时态和时态之间的关系,另一方面描述动词所代表的可能性和时间段以及它们的相对时间位置。该理论是制定在逻辑和Ness Schelkens等人所描述的概念是一个实际的实施。我们将展示如何溯因决议程序可以使用这种表示从文本中提取时间信息。
2000-11-22 cs.CL
Augmenting Visual Question Answering with Semantic Frame Information in a Multitask Learning Approach
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
视觉问答(VQA)涉及提供关于图像的自然语言问题的答案。已经提出了几种深度神经网络方法来以端到端的方式对任务进行建模。鉴于任务是建立在视觉处理的基础上,如果问题集中在动词描述的事件上,语言理解部分就变得至关重要。我们的假设是,模型应该知道动词语义,通过语义角色标签,参数类型和/或框架元素表示。不幸的是,不存在包含动词语义信息的VQA数据集。我们的第一个贡献是一个新的VQA数据集(imSituVQA),我们利用imSitu注释构建。imSitu数据集由使用语义框架元素手动标记的图像组成,主要来自FrameNet。其次,我们提出了一个多任务CNN-LSTM VQA模型,该模型学习对答案和语义框架元素进行分类。我们的实验表明,语义框架元素分类有助于VQA系统避免不一致的反应,提高了性能。
2020-01-31 cs.AI cs.CL cs.CV
CV-Probes: Studying the interplay of lexical and world knowledge in visually grounded verb understanding
Faculty of Informatics, Brno University of Technology(信息学院,布拉格技术大学);Kempelen Institute of Intelligent Technologies(智能技术研究所);Utrecht University(乌得勒支大学)
本文提出 CV-Probes 数据集,研究视觉-语言模型在动词短语 ground 中对上下文和世界知识的整合,发现模型在处理强依赖上下文的动词短语时存在困难且对动词 token 关注不足,指出需改进训练与评估方法。
2025-07-14 cs.CL
Open Visual Knowledge Extraction via Relation-Oriented Multimodality Model Prompting
Emory University(埃默里大学);Tongji University(同济大学);The Hong Kong University of Science and Technology(香港科技大学);Georgia Institute of Technology(佐治亚理工学院);Northwestern University(西北大学)
本文提出OpenVik,通过开放式关系区域检测器和大型多模态模型提示生成无格式限制的视觉知识,并验证其在知识质量与视觉推理应用中的有效性。
2023-10-28 cs.AI cs.CL cs.CV
Extraction of semantic relations from a Basque monolingual dictionary using Constraint Grammar
本文论述了利用词典半自动地构建词典和词汇知识库。我们研究的最终目标是用语义信息,如意义、定义、语义关系等,丰富巴斯克语词汇数据库,摘自巴斯克语单语词典本文的工作主要集中在提取最能体现中心词的语义关系,即同义关系、反义关系、上位关系和其他由特定关系词和派生词标记的关系。处理所有名词性、动词性和形容词性条目。巴斯克语使用形态变化来标记格,因此语义关系必须从后缀而不是介词推断。我们的方法结合了形态分析器和表面语法分析(基于约束语法),并已被证明是非常成功的高度曲折的语言,如巴斯克语。编写规则的工作量和字典的实际处理时间都非常少。目前,我们已经提取了42,533个关系,只剩下2,943个(9%)定义没有任何提取的关系。出错率非常低,因为只有2.2%的提取关系是错误的。
2000-10-17 cs.CL
Abductive reasoning with temporal information
自然语言中的文本包含了大量的时间信息,既有显性的,也有隐性的。动词和时态词承载了大部分的显性信息,但为了全面理解,必须考虑到一般世界知识和默认假设。我们将提出一个理论,一方面,动词,他们的时态和动词之间的关系,另一方面,他们所代表的可能性和时间段及其相对的时间位置,同时允许与一般世界知识的互动。该理论是一阶逻辑的扩展,是Van Eynde 2001和Schelkens等人2000中描述的概念的实际实现。我们将展示如何一个溯因解析过程可以使用这种表示从文本中提取时间信息。这里提出的理论是Verdoolaege等人2000年的理论的扩展,适用于VanEynde 2001年,简化和扩展了对模型的分析,并更加强调如何构建模型。
2000-11-23 cs.CL