A framework for mining process models from emails logs
Paris Dauphine University(巴黎第九大学);PSL Research University(巴黎文理研究大学);CNRS(法国国家科学研究中心);LAMSADE(LAMSADE实验室)
由于其广泛用于个人,但最重要的是,专业背景,电子邮件代表了一个有价值的信息来源,可以收获的理解,再造和重新利用公司和机构的未记录的业务流程。为了实现这一目标,一些研究人员研究了从电子邮件日志中提取面向过程的信息的问题,以利用许多可用的过程挖掘技术和工具。在本文中,我们在这个方向上走得更远,提出了一种新的方法,利用无监督的机器学习技术,很少有人参与的电子邮件日志挖掘过程模型。此外,我们的方法允许半自动地用活动名称标记电子邮件,可以用于新传入电子邮件中的活动识别。一个用例演示了所提出的解决方案的实用性,该解决方案使用了一个大小适中但真实的数据集,该数据集包含属于两个不同流程模型的电子邮件。
2016-09-20 cs.CL cs.LG
From Chat Logs to Collective Insights: Aggregative Question Answering
University of Waterloo(滑铁卢大学);Cornell University(康奈尔大学)
本文提出聚合式问答任务,要求模型基于大规模用户与聊天机器人对话日志进行聚合推理,并构建含6027个问题的WildChat-AQA基准,揭示现有方法在效果与成本上的不足。
2025-09-20 cs.AI cs.CL cs.LG
Extracting Semantic Concepts and Relations from Scientific Publications by Using Deep Learning
Universiti Sains Malaysia(马来西亚理科大学);Hodeidah University(荷台达大学)
随着网络上非结构化数据的不断增加,以机器可理解的形式表示这些数据中的知识的动机也在增加。本体是语义Web上以更有意义的方式表示信息的主要基石之一。当前的本体库无论是在范围上还是在时效性上都是相当有限的。此外,目前的本体抽取系统存在着使用小数据集、依赖大量预定义模式抽取语义关系、抽取的关系类型很少等缺点和不足。本文的目的是介绍一种自动提取科技出版物中的语义概念和关系的方案。本文提出了新类型的语义关系,并指出使用深度学习(DL)模型进行语义关系抽取。
2020-09-04 cs.CL
Extracting Semantics from Maintenance Records
GE Research(通用电气研究院)
自然语言处理的快速发展已经导致其在各种工业和企业环境中的使用,包括其用于从诸如工程手册和现场维护报告之类的文档中信息抽取,特别是命名实体识别和关系抽取。虽然命名实体识别是一个很好的研究问题,现有的国家的最先进的方法需要大的标记数据集,这是很难获得的敏感数据,如维护记录。此外,工业领域专家倾向于不信任来自黑盒机器学习模型的结果,特别是当提取的信息用于下游预测性维护分析时。我们克服了这些挑战,开发三种方法建立在领域专家知识的基础上,在字典和本体。我们开发了一种基于语法和语义规则的方法,以及一种利用预训练的语言模型的方法,该方法在我们的基础词典查找之上针对问答任务进行了微调,以从维护记录中提取感兴趣的实体。我们还开发了一个初步的本体来表示和捕捉的语义维护记录。我们对真实世界的航空维修记录数据集的评估显示了有希望的结果,并有助于确定在嘈杂的工业数据背景下命名实体识别所面临的挑战。
2021-08-11 cs.AI cs.CL
Guidelines and a Corpus for Extracting Biographical Events
University of Turin(都灵大学)
尽管传记在语义网中广泛传播,但自动提取传记事件的资源和方法是有限的。这种限制减少了结构化的、机器可读的传记信息的数量,特别是关于属于代表性不足群体的人的信息。我们的工作挑战这一限制,提供了一套指导方针的语义注释的生活事件。该指南旨在与现有的ISO语义标注标准互操作:ISO-TimeML(ISO-24617-1)和SemAF(ISO-24617-4)。通过对维基百科中代表性不足的作家(即出生在非西方国家、移民或属于少数民族的作者)的传记进行注释任务,对指南进行了测试。1,000个句子由4个注释者注释,平均注释者间一致性为0.825。所得到的语料库被映射到OntoNotes上。这样的映射允许扩大我们的语料库,表明已经存在的资源可以用于传记事件提取任务。
2022-06-07 cs.AI cs.CL
MedCPT: Contrastive Pre-trained Transformers with Large-scale PubMed Search Logs for Zero-shot Biomedical Information Retrieval
National Center for Biotechnology Information (NCBI)(国家生物技术信息中心);National Library of Medicine (NLM)(国家医学图书馆);National Institutes of Health (NIH)(国立卫生研究院)
MedCPT 利用 2.55 亿条 PubMed 点击日志进行对比预训练,首次实现生物医学零样本语义检索,并在六个 IR 任务上超越 GPT-3 规模基线模型。
2023-10-04 cs.AI cs.CL cs.IR
Extracting a bilingual semantic grammar from FrameNet-annotated corpora
University of Gothenburg(哥德堡大学);University of Latvia(拉脱维亚大学)
我们提出了创建一个基于英语瑞典语的语法框架。本研究的目的是使现有的框架计算访问多语言自然语言应用程序通过一个共同的语义语法API,并促进移植到其他语言的语法。在本文中,我们描述了语义语法的抽象语法,同时专注于其自动提取的可能性。我们已经从Berkeley FrameNet(BFN)中的~ 58,500个注释句子和Swedish FrameNet(SweFN)中的~ 3,500个注释句子中提取了共享的抽象语法。抽象语法定义了769个帧特定的价模式,覆盖77.8%的BFN和74.9%的SweFN属于共享的471帧集的例子。作为一个侧面的结果,我们提供了一个统一的方法比较语义和句法价模式跨框架。
2014-04-08 cs.CL
UPB at SemEval-2021 Task 8: Extracting Semantic Information on Measurements as Multi-Turn Question Answering
University Politehnica of Bucharest(布加勒斯特理工大学);Research Institute for Artificial Intelligence(人工智能研究所);Romanian Academy(罗马尼亚科学院)
度量和计数语义信息的提取是科学语篇分析中的一个重要课题。SemEval-2021的第8项任务:计数和测量(MeasEval)旨在通过提供一个新的数据集来促进这一方向的研究,参与者可以在此数据集上训练他们的模型,从科学文本中提取有意义的测量信息。该竞赛由五个子任务组成,这些子任务相互叠加:(1)数量跨度识别,(2)从识别的数量及其值修饰符分类中提取单元,(3)测量实体和测量属性的跨度识别,(4)限定符跨度识别,以及(5)识别的数量、测量实体、测量属性和限定符之间的关系抽取。我们首先识别数量,提取它们的测量单位,用相应的修饰符对它们进行分类,然后用它们以多轮问答的方式联合解决最后三个子任务,从而解决了这些挑战。我们性能最好的模型在测试集中获得了36.91%的重叠F1分数。
2021-04-09 cs.CL
TPLogAD: Unsupervised Log Anomaly Detection Based on Event Templates and Key Parameters
School of Computer Science and Technology(计算机科学技术学院);Fudan University(复旦大学)
本文提出无监督日志异常检测方法TPLogAD,通过template2vec和para2vec分别建模事件模板与关键参数,在四个公开数据集上取得优于现有方法的效果。
2024-11-22 cs.AI cs.CL cs.CY
ADALog: Adaptive Unsupervised Anomaly detection in Logs with Self-attention Masked Language Model
NeuroEdge AI;Cognizant
ADALog通过自适应无监督方法在日志中检测异常,利用预训练双向编码器和自适应阈值处理,实现高效准确的异常检测。
2025-05-15 cs.AI cs.CL cs.LG
Thematic Annotation: extracting concepts out of documents
与主题注释的标准方法不同,这项工作中使用的技术并不主要依赖于某种-可能是统计-关键字提取。事实上,建议的注释算法使用一个大规模的语义数据库-EDR电子词典-它提供了一个概念层次的基础上,上下义词的关系。这个概念层次结构是用来生成一个合成表示的文件,通过聚合的话存在于局部同质的文件片段到一组概念,最好地保持文件的内容。这种新的提取技术使用了一种未经探索的主题选择方法。代替使用基于语义资源的语义相似性度量,后者被处理以提取与文档内容相关的概念层次结构的部分。然后搜索这个概念层次结构,以提取最相关的概念集来表示文档中讨论的主题。请注意,该算法能够提取文档中不直接存在的通用概念。
2004-12-30 cs.CL
Extracting Keyword for Disambiguating Name Based on the Overlap Principle
Universitas Sumatera Utara(苏门答腊北部大学)
名称消歧已经成为语义Web议程中的主要主题之一。语义Web是当前Web的延伸,其中的信息不仅被赋予了明确的含义,而且具有许多目的,包含了自然的歧义或许多事物的重叠,主要是处理人名。因此,我们开发了一种方法来提取关键字,从网页摘录利用重叠原则,一个概念来理解的事情有歧义,从而产生的人的特征,以处理各种各样的网页,网页是稳步获得地面的语义研究。
2016-01-30 cs.CL cs.IR
Extracting and Analyzing Semantic Relatedness between Cities Using News Articles
University of Tennessee(田纳西大学);Kent State University(肯特州立大学)
新闻报道捕捉了关于我们社会的各种话题。它们不仅反映了我们物质世界中发生的社会经济活动,还反映了一些只存在于人们感知中的文化、人类利益和公共关注。城市经常在新闻文章中被提及,并且两个或更多城市可能在同一篇文章中同时出现。这种同时出现的情况往往表明所提及的城市之间存在某种联系,而这种联系可能会根据新闻文章的内容而在不同的主题下出现。我们把不同主题下的关联度称为语义关联度。通过阅读新闻文章,人们可以掌握城市之间的一般语义相关性,然而,鉴于数十万篇新闻文章,任何人都很难(如果不是不可能的话)手动阅读它们。本文提出了一个计算框架,可以“阅读”大量的新闻文章,并提取城市之间的语义相关性。该框架基于自然语言处理模型,并采用机器学习过程来识别新闻文章的主要主题。我们描述了这个框架的整体结构及其各个模块,然后将其应用于一个实验数据集,该数据集包含超过50万篇新闻文章,涵盖了美国100个城市,时间跨度为10年。我们在不同的主题和多年的探索性可视化提取的语义相关性。我们还分析了地理距离对语义相关性的影响,发现不同的距离衰减效应。该框架可用于支持城市网络研究中的大规模内容分析。
2018-09-08 cs.CL cs.SI
Extracting Radiological Findings With Normalized Anatomical Information Using a Span-Based BERT Relation Extraction Model
University of Washington(华盛顿大学);George Mason University(乔治梅森大学)
医学成像对于诊断和治疗许多医学问题至关重要,包括许多形式的癌症。医学成像报告提取放射科医生的发现和观察结果,创建非结构化医学图像的非结构化文本表示。这种文本编码信息的大规模使用需要将非结构化文本转换为结构化的语义表示。我们探讨的提取和规范化的放射学报告中的解剖信息,是与放射学的发现。我们调查这个提取和规范化的任务,使用基于跨度的关系抽取模型,共同提取实体和关系,使用BERT。这项工作探讨了影响提取和归一化性能的因素,包括身体部位/器官系统,发生频率,跨度长度和跨度多样性。它讨论了提高性能和创建高质量的放射性现象的语义表示的方法。
2021-08-20 cs.CL
Sample Efficient Multimodal Semantic Augmentation for Incremental Summarization
UIC(伊利诺伊大学芝加哥分校);Intel labs(英特尔实验室)
在这项工作中,我们开发了一个提示的方法,任务视频的增量摘要。我们开发了一个样本有效的Few-Shot方法提取语义概念作为中间步骤。我们利用现有的模型从图像中提取的概念,并将其扩展到视频,并介绍了一个聚类和查询方法的样本效率,在感知器为基础的架构的最新进展的动机。我们的工作提供了进一步的证据,证明一种具有更丰富的输入上下文的方法,其中包含来自视频的相关实体和动作,并将其用作提示,可以增强模型生成的摘要。我们在相关数据集上展示了结果,并讨论了工作的可能方向。
2023-03-08 cs.CL cs.CV
Investigating large language models for their competence in extracting grammatically sound sentences from transcribed noisy utterances
Institute of Computer Science Polish Academy of Sciences(波兰科学院计算机科学研究所)
本研究通过波兰语场景下的两项实验,探究大语言模型从带噪声对话转录中提取语法规范话语的能力,发现其相关能力仍较表层,未完全掌握或无法有效应用句法-语义规则。
2024-10-07 cs.CL
Better Neural Machine Translation by Extracting Linguistic Information from BERT
Simon Fraser University(西蒙弗雷泽大学)
向神经机器翻译(NMT)添加语言信息(语法或语义)主要集中在使用来自预训练模型的点估计。直接使用大量预先训练的上下文词嵌入模型的能力,例如BERT(Devlin et al.,2019)在NMT中的作用不大,因为在不使训练变得脆弱和不可靠的情况下,很难为NMT获得有效的微调。我们通过从BERT中提取密集微调的基于向量的语言信息来增强NMT,而不是使用点估计。实验结果表明,我们的方法,将语言信息有助于NMT更好地概括在各种训练环境中,并不比传统的基于transformer的NMT更难训练。
2021-04-07 cs.CL
A Comparative Benchmark of Large Language Models for Labelling Wind Turbine Maintenance Logs
Institute for Energy Systems, School of Engineering, The University of Edinburgh(爱丁堡大学工程学院能源系统研究所);Nadara
本文提出一种可复现的框架,用于评估大型语言模型在分类复杂工业记录任务中的性能,通过对比不同模型的可靠性、效率和校准能力,发现最佳模型需结合人类在循环系统提升数据标注质量。
2025-09-08 cs.CL
A bilingual approach to specialised adjectives through word embeddings in the karstology domain
University of Zadar(扎达尔大学);Jožef Stefan Institute(约瑟夫·斯特凡研究所);University of Ljubljana(卢布尔雅那大学)
我们提出了一个实验,在提取形容词表达特定的语义关系,使用词嵌入。实验的结果,然后彻底分析和分类成组的形容词表现出形式或语义相似性。实验和分析进行英语和克罗地亚在岩溶学领域使用的数据集和方法开发的TermFrame项目。文章的主要原创贡献是两方面的:首先,提出了一种新的和有前途的方法提取语义相关的术语,其次,提供了一个详细的评估的输出,使我们一方面更好地了解特定领域的语义结构和词嵌入提取的相似性的类型。
2022-03-31 cs.CL
Techniques for Jointly Extracting Entities and Relations: A Survey
TCS Research & Innovation(塔塔咨询服务公司研究与创新中心);Indian Institute of Technology Bombay(印度理工学院孟买分校)
关系抽取是信息抽取中的一项重要任务,它涉及实体提及之间的语义关系识别。传统上,关系抽取是在实体提取之后以“流水线”方式进行的,因此关系抽取仅关注于确定在一对提取的实体提及之间是否存在任何语义关系。这导致错误从实体提取阶段传播到关系抽取阶段。此外,实体提取进行没有任何知识的关系。因此,观察到联合执行实体和关系抽取对于这两个任务都是有益的。在本文中,我们调查各种技术,共同提取实体和关系。我们根据它们用于联合提取的方法对技术进行分类,即它们是否采用联合推理或联合建模或两者兼而有之。我们进一步描述了联合推理和联合建模的一些代表性技术。我们还描述了两个标准的数据集,评估技术和这些数据集上的联合提取方法的性能。我们提出了一个简单的分析应用一般域联合提取方法的生物医学数据集。本调查是有用的研究人员以及从业人员在该领域的信息抽取,涵盖了广泛的景观联合提取技术。
2021-03-10 cs.CL
An automated domain-independent text reading, interpreting and extracting approach for reviewing the scientific literature
Federal University of Ceara(塞阿拉联邦大学)
本文提出了一种基于机器学习的自然语言处理方法,该方法能够从文章语料库中自动识别和提取分类参数和数值参数。该方法(命名为.RIX)与ML模型的伴随/可互换使用一起操作,例如神经元网络(NN),潜在语义分析(LSA),朴素贝叶斯分类器(NBC)和使用正则表达式的模式识别模型(REGEX)。7,873篇涉及天然产物(NP)的科学文章的语料库被用来证明a.RIX引擎的效率。该引擎自动提取分类和数值参数,例如(i)从中提取活性分子的植物物种,(ii)活性分子可以作用于的微生物物种,以及(iii)针对这些微生物的最小抑制浓度(MIC)值。参数的提取没有词性标注(POS)和命名实体识别(NER)的方法(即,不需要文本注释),和模型的训练与无监督的方法进行。通过这种方式,.RIX基本上可以用于任何科学领域的文章。最后,它可能会在某些领域淘汰当前的文章审查过程,特别是那些机器学习模型捕获文本结构,文本语义和潜在知识的领域。
2021-10-06 cs.CL
Automatically Extracting Information in Medical Dialogue: Expert System And Attention for Labelling
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Luxembourg(卢森堡大学)
医学对话信息抽取是现代医学中一个日益重要的问题。由于电子病历数量庞大,很难从其中提取关键信息。以前,研究人员提出了基于注意力的模型来从EMR中检索特征,但它们的局限性反映在它们无法识别医学对话中的不同类别。在本文中,我们提出了一个新的模型,专家系统和注意力标记(ESAL)。我们使用专家和预训练的BERT的混合来检索不同类别的语义,使模型能够融合它们之间的差异。在我们的实验中,ESAL被应用到一个公共数据集,实验结果表明,ESAL显着提高了医疗信息分类的性能。
2023-03-11 cs.CL
Beyond Grounding: Extracting Fine-Grained Event Hierarchies Across Modalities
Columbia University(哥伦比亚大学);Virginia Tech(弗吉尼亚理工大学);Samsung Research America(三星美国研究院);HKUST(香港科技大学)
本文提出从多模态数据中提取事件层级结构的任务,构建MultiHiEve数据集,并设计弱监督模型以超越现有基线,揭示跨模态事件的层级关系。
2023-12-20 cs.CL cs.CV
Multi-features based Semantic Augmentation Networks for Named Entity Recognition in Threat Intelligence
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
从非结构化网络文本中提取攻击者和漏洞等网络安全实体是安全分析的重要组成部分。然而,由于网络安全实体名称的高频变化和随机性导致情报数据的稀疏性,使得现有方法难以很好地提取安全相关概念和实体。为此,我们提出了一种语义增强方法,该方法结合了不同的语言特征来丰富输入令牌的表示,以检测和分类非结构化文本上的网络安全名称。特别是,我们编码和聚合的组成特征,形态特征和部分语音特征为每个输入令牌,以提高该方法的鲁棒性。更重要的是,令牌从网络安全领域语料库中最相似的K个词中获得增强的语义信息,其中注意模块被用来衡量词的差异,以及基于大规模一般领域语料库的上下文线索。在网络安全数据集DNRTI和MalwareTextDB上进行了实验,结果表明了该方法的有效性。
2022-07-01 cs.CL cs.CR cs.IR
Ranking sentences from product description & bullets for better search
Walmart Labs(沃尔玛实验室)
电子商务目录中的产品包含信息丰富的字段,如描述和项目符号,这些字段对于使用基于NER的系统提取实体(属性)非常有用。然而,这些字段通常是冗长的,并且包含许多从搜索角度来看不相关的信息。平等对待这些领域中的每个句子可能会导致全文匹配不佳,并在提取属性以开发本体、语义搜索等方面引入问题。为了解决这个问题,我们描述了两种基于提取摘要的方法,通过利用产品标题和搜索点击日志中的信息,利用强化学习对句子进行排序。我们比较了这两个模型的准确性。
2019-07-15 cs.CL cs.IR cs.LG
Learning to Learn Semantic Parsers from Natural Language Supervision
LAER AI, Inc.(LAER人工智能公司);Carnegie Mellon University(卡内基梅隆大学)
作为人类,我们经常依靠语言来学习语言。例如,当在对话中被纠正时,我们可以从纠正中学习,随着时间的推移提高我们的语言流利性。受此启发,我们提出了一个学习算法,用于训练语义分析器从监督(反馈)表示在自然语言。我们的算法从用户的更正中学习语义解析器,例如“不,我真正的意思是在他工作之前,而不是之后”,同时学习解析这种自然语言反馈,以利用它作为一种监督形式。与金标准的逻辑形式的监督,我们的方法不需要用户熟悉的基本逻辑形式主义,从外延监督不同,它不需要用户知道正确的答案,他们的查询。这使得我们的学习算法在现有会话日志可用并且可以用作训练数据的设置中自然地可扩展。我们构建了一个新的数据集的自然语言反馈的对话设置,并表明我们的方法是有效的学习语义解析器从这样的自然语言监督。
2019-02-22 cs.CL cs.LG
Unsupervised Auditory and Semantic Entrainment Models with Deep Neural Networks
Institute of Informatics, Slovak Academy of Sciences(斯洛伐克科学院信息学研究所);Faculty of Informatics and Information Technology, Slovak Technical University(斯洛伐克技术大学信息学与信息技术学院);Constantine the Philosopher University, Nitra(尼特拉君士坦丁哲学家大学);Orange Innovation(Orange创新)
该研究提出一种非监督深度学习框架,利用文本和听觉特征评估对话中的语义协同适应,模型能区分人-人与机器交互,且不同分析单元结果一致。
2023-12-22 cs.CL cs.SD eess.AS