A framework for information extraction from tables in biomedical literature
University of Manchester(曼彻斯特大学);AstraZeneca plc(阿斯利康公司)
科学文献呈指数级增长,专业人员无法应付当前的出版物数量。文本挖掘在过去提供了从文本中检索和提取信息的方法,然而,这些方法大多忽略了表格和图形。在挖掘表数据方面所做的研究仍然没有一个综合的挖掘方法,可以考虑表的所有复杂性和挑战。我们的研究正在检查从临床文献中的表格中提取数字(患者数量、年龄、性别分布)和文本(不良反应)信息的方法。本文提出了一个需求分析模板和一个完整的临床领域表格信息抽取方法,包括7个步骤:(1)表格检测,(2)功能处理,(3)结构处理,(4)语义标注,(5)语用处理,(6)单元选择和(7)句法处理和抽取。根据变量、任务及其复杂性的不同,我们的方法的F度量值在82%到92%之间。
2019-02-26 cs.CL cs.CV cs.LG
Data Mining in Clinical Trial Text: Transformers for Classification and Question Answering Tasks
University of Bristol(布里斯托大学);University of Sussex(萨塞克斯大学)
本研究将自然语言处理的最新进展应用于基于医学文本的证据合成。感兴趣的文本包括英文和多语种背景下的临床试验摘要。主要重点是通过人口,干预,比较和结果(PICO)框架表征的信息,但数据提取并不限于这些领域。最近的神经网络架构的基础上Transformers器显示迁移学习和下游自然语言处理任务,如通用阅读理解,提出了这种架构的使用上下文的词嵌入和自我注意力机制的性能提高。本文有助于解决PICO句子预测任务中的歧义相关问题,以及强调如何训练命名实体识别系统的注释用于训练高性能,但灵活的体系结构系统评价自动化中的问答。此外,它还演示了如何通过增强来解决PICO实体提取的训练注释量不足的问题。本文中的所有模型都是为了支持系统性综述(半)自动化而创建的。他们取得了很高的F1分数,并证明了应用基于变换的分类方法,以支持生物医学文献中的数据采掘的可行性。
2020-01-30 cs.CL cs.LG
Mining of product reviews at aspect level
Banasthali Vidyapith(伯纳斯达利大学)
今天的世界是一个互联网的世界,几乎所有的工作都可以在它的帮助下完成,从简单的手机充值到最大的商业交易都可以在这种技术的帮助下完成。人们花了他们的大部分时间在网上冲浪,它成为一个新的来源,娱乐,教育,通信,购物等用户不仅使用这些网站,但也给他们的反馈和建议,这将是有用的其他用户。通过这种方式,大量的用户评论被收集在网络上,需要进行探索,分析和组织,以更好地做出决策。意见挖掘或情感分析是一种自然语言处理和信息抽取任务,它识别以积极、消极或中立的评论和引用的形式解释的用户观点或意见。基于方面的意见挖掘是意见挖掘的一个层次,它确定给定评论的方面并为每个特征对评论进行分类。本文提出了一个基于方面的意见挖掘系统,分类为积极的,消极的和中立的每一个功能的评论。在所提出的系统中也处理否定。使用产品评论的实验结果表明了该系统的有效性。
2014-06-14 cs.CL cs.IR
State of the Art, Evaluation and Recommendations regarding "Document Processing and Visualization Techniques"
在欧洲FP5研究计划的框架内建立了几个卓越网络。在这些卓越网络中,NEMIS项目专注于文本挖掘领域。在这一领域内,文件处理和可视化被确定为关键主题之一,并在NEMIS项目中创建了WG1工作组,对与文本挖掘过程相关的技术进行详细调查,并确定相关研究领域的相关研究主题。在本文件中,我们介绍了这一全面调查的结果。该报告包括对当前最先进技术和实践的描述,确定领域的后续研究路线图,以及对文本挖掘领域预期技术发展的建议。
2004-12-29 cs.CL
Mining Healthcare Procurement Data Using Text Mining and Natural Language Processing -- Reflection From An Industrial Project
Information School, the University of Sheffield(谢菲尔德大学信息学院);Vamstar Ltd.(Vamstar有限公司)
虽然文本挖掘和NLP研究已经建立了几十年,但在报告这些技术在构建真实世界应用程序中的使用的文献中仍然存在空白。例如,他们通常只关注单一的,有时甚至是简化的任务,而不深入讨论现实世界中常见的数据异构性和不一致性,或者它们对方法开发的影响。此外,很少有以前的工作集中在医疗保健领域。在这项工作中,我们描述了一个行业项目,该项目开发了文本挖掘和NLP解决方案,以挖掘医疗保健行业数百万个异构的多语言采购文档。我们提取结构化的采购合同数据,用于为动态评估供应商风险的平台提供动力。我们的工作在许多方面做出了独特的贡献。首先,我们处理高度异构的多语言数据,并记录我们应对这些挑战的方法。这主要是基于一种有效使用领域知识并推广到多种文本挖掘和NLP任务和语言的方法。其次,应用这种方法挖掘数以百万计的采购文件,我们开发了第一个结构化的采购合同数据库,这将有助于促进招标过程。第二,最后,我们讨论了实际的文本挖掘/NLP开发的经验教训,并为未来的研究和实践提出建议。
2023-01-09 cs.AI cs.CL
Psychologically Motivated Text Mining
University of Cambridge(剑桥大学);University of California, Merced(加利福尼亚大学默塞德分校)
自然语言处理技术越来越多地应用于基于大型文本集合来识别社会趋势和预测行为。现有的方法通常依赖于表面的词汇和句法信息。然而,心理学研究表明,人类概念化的模式,如隐喻框架,是人类期望和决策的可靠预测。在本文中,我们提出了一种方法来学习模式的隐喻框架从大型文本集合,使用统计技术。我们将该方法应用于三种不同语言的数据,并评估所识别的模式,证明其心理有效性。
2016-09-28 cs.CL
Improving Patent Mining and Relevance Classification using Transformers
Univ Montpellier(蒙彼利埃大学);IMT Mines Alès(法国国立高等矿业电信学校联盟阿莱斯矿业学院);Total Research and Technology(道达尔研究与技术公司)
专利分析和挖掘对公司来说是一个耗时且成本高昂的过程,但如果他们愿意保持竞争力,则必不可少。为了应对大量专利所带来的过载,我们的想法是自动过滤它们,只给专家带来少数可阅读的内容。本文报告了对预训练的深度自然语言处理模型进行微调和再训练在专利分类中的成功应用。我们提出的解决方案结合了几种最先进的处理方法来实现我们的目标-减少工作量,同时保持召回率和精度指标。
2021-07-02 cs.CL
Mining Arguments from Cancer Documents Using Natural Language Processing and Ontologies
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
在医学领域,科学研究的连续流包含由论点和反论点支持的相互矛盾的结果。由于医学专业知识发生在不同的层面,部分人类代理人难以面对大量的研究,也难以理解争论主题的支持者和反对者所声称的理由和证据。为了更好地理解与医学领域当前最新技术水平相关的新发现的支持论点,我们需要能够识别科学论文中论点的工具。我们的工作旨在填补上述技术空白。非常清楚这项任务的难度,我们依靠众所周知的领域知识与自然语言处理的交叉来走这条路。为了将现有的医学知识形式化,我们依赖于本体论。为了构建论证模型,我们还使用了描述逻辑的表达能力和推理能力。为了进行论证挖掘,我们在基于规则的语言中正式化了各种语言模式。我们针对与乳腺癌相关的科学论文语料库测试了我们的解决方案。运行实验表明,F-测量值在0.71和0.86之间,用于识别论点的结论,在0.65和0.86之间,用于识别论点的前提。
2016-07-27 cs.AI cs.CL
Integrating Natural Language Processing Techniques of Text Mining Into Financial System: Applications and Limitations
University of Tirana(地拉那大学)
本文综述了2018至2023年自然语言处理文本挖掘技术在资产定价、公司金融等金融系统各领域的应用,指出常用模型与算法,并从工程视角提出分析路径及现存挑战。
2024-12-29 cs.AI cs.CL econ.GN
Suggestion Mining from Online Reviews using ULMFiT
NSIT-Delhi(德里内塔吉·苏巴斯理工学院);Bloomberg(彭博);DTU-Delhi(德里理工大学);Adobe(奥多比);IIIT-Delhi(德里英迪拉·甘地信息技术学院)
在本文中,我们介绍了SemEval 2019任务9的子任务A的方法和系统描述:从在线评论和论坛中挖掘建议。给定一个句子,任务要求预测句子是否包含建议。我们的模型是基于通用语言模型微调文本分类。我们在训练语言和分类模型之前应用各种预处理技术。我们进一步提供了使用训练模型获得的结果的详细分析。我们的团队在34名参赛者中排名第10,获得了0.7011的F1分数。我们在https://github.com/isarth/SemEval9_MIDAS上公开分享我们的实现
2019-04-19 cs.CL
Applying Text Mining to Analyze Human Question Asking in Creativity Research
Faculty of Mathematics and Information Sciences, Warsaw University of Technology(华沙技术大学数学与信息科学学院);Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology(技术学院-以色列理工学院数据与决策科学学院);School of Applied Data Science, Modul University Vienna(维也纳模尔大学应用数据科学学院);Systems Research Institute Polish Academy of Sciences(波兰科学院系统研究 institute)
本研究应用文本挖掘方法衡量问题的认知潜力,考虑问题类型、复杂性和答案内容,提出新方法并在五个数据集上验证,表明自然语言处理在创造力研究中具有重要作用。
2025-01-03 cs.CL
Multi-granularity Argument Mining in Legal Texts
University of Pittsburgh(匹兹堡大学)
在本文中,我们将探讨使用多层次的粒度的法律论据挖掘。论证挖掘通常被概念化为句子分类问题。在这项工作中,我们将参数挖掘概念化为令牌级(即,词级)分类问题。我们使用Longformer模型来对令牌进行分类。结果表明,令牌级的文本分类识别某些法律论点的元素更准确地比证据级的文本分类。令牌级分类还提供了更大的灵活性来分析法律文本,并在处理大量输入数据时更深入地了解模型的重点。
2022-10-19 cs.CL cs.IR
Explaining the Deep Natural Language Processing by Mining Textual Interpretable Features
Politecnico di Torino(都灵理工大学)
尽管最先进的深度自然语言模型(例如LSTM,BERT)提供了高准确性,但它们在现实生活中的应用仍然受到广泛限制,因为它们对最终用户来说就像一个黑匣子。因此,可解释性正迅速成为基于深度学习方法的未来数据驱动系统的基本要求。已经做了几次尝试来填补准确性和可解释性之间的现有差距。然而,针对深度自然语言模型定制的强大且专业的xAI(可解释的人工智能)解决方案仍然缺失。我们提出了一个新的框架,名为T-EBAnO,它提供了创新的预测本地和基于类的模型全局解释策略,为黑盒深度自然语言模型量身定制。给定深度NLP模型和文本输入数据,T-EBAnO提供了一个客观的,人类可读的,特定于领域的自动决策过程背后的原因评估。具体来说,该框架提取了一组可解释的特征,挖掘模型的内部知识。然后,它量化的影响,每个功能在预测过程中,利用新的归一化扰动影响关系指数在局部水平和新的全球绝对影响和全球相对影响指数在全球水平。使用T-EBAnO获得的局部和全局解释的有效性和质量在(i)由微调的BERT模型执行的情感分析任务和(ii)由LSTM模型执行的有毒评论分类任务上得到了证明。
2021-06-12 cs.AI cs.CL
Mining United Nations General Assembly Debates
Warsaw University of Technology(华沙理工大学);University of Warsaw(华沙大学);Modul University Vienna(维也纳 modul 大学)
本研究将NLP技术应用于联合国大会演讲分析,旨在构建配套数据集与分析工具,助力政治科学家深入研究国际关系、理解全球外交话语。
2024-06-19 cs.CL cs.IR
Editorial for the First Workshop on Mining Scientific Papers: Computational Linguistics and Bibliometrics
研讨会“采矿科学论文:计算语言学与文献计量学”(CLBib 2015),与第15届国际科学计量学和信息计量学会议位于同一地点(ISSI 2015),汇集了文献计量学和计算语言学的研究人员,以研究文献计量学如何从大规模文本分析和科学论文的意义挖掘中受益,从而探索文献计量学和自然语言处理(NLP)的交叉学科性。研讨会的目标是回答这样的问题:我们如何使用文本分析获得的数据来增强作者网络分析和文献计量学?自然语言处理能为科学写作的结构、引文网络和文本内引文分析提供什么样的见解?本次研讨会是促进对跨学科性的反思以及文献计量学和自然语言处理这两个学科可以从中获得的好处的第一步。
2015-06-17 cs.CL cs.DL cs.IR
LLMs for Argument Mining: Detection, Extraction, and Relationship Classification of pre-defined Arguments in Online Comments
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文评估了四个最先进LLM在三个论点挖掘任务上的表现,发现大型和微调模型整体表现强劲但环境成本高,且在处理长篇细微和情绪化评论时存在系统性缺陷。
2025-05-29 cs.CL
Cross-lingual Argument Mining in the Medical Domain
University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU);HiTZ - Ixa
本文研究医学文本的跨语言论辩挖掘,提出基于数据迁移的自动标注生成策略,证明其优于模型迁移方法,并实现全自动数据增强以提升英语单语效果。
2024-07-23 cs.CL
Exploration of Attention Mechanism-Enhanced Deep Learning Models in the Mining of Medical Textual Data
University of California San Diego(加州大学圣迭戈分校);Columbia University(哥伦比亚大学);Brandeis University(布兰迪斯大学);New York University(纽约大学);North Carolina State University(北卡罗来纳州立大学)
研究提出融合领域知识的自适应注意力深度学习模型,优化医疗文本理解,在疾病预测等任务中提升准确性与鲁棒性,为智能医疗信息处理与临床决策提供新方法。
2024-05-23 cs.CL
Case Studies on using Natural Language Processing Techniques in Customer Relationship Management Software
AdresGezgini Inc.(AdresGezgini公司)
如何将存储在客户关系管理(CRM)数据库中的文本语料库用于数据采掘和分割?为了回答这个问题,我们继承了自然语言处理(NLP)文献中常用的最先进的方法,例如词嵌入,以及深度学习文献,例如递归神经网络(RNN)。我们使用了CRM系统中的文本注释,这些文本注释是由互联网广告咨询公司的客户代表在2009年至2020年期间拍摄的。我们通过使用相应的文本语料库来训练词嵌入,并表明这些词嵌入不仅可以直接用于数据采掘,还可以用于RNN架构,RNN架构是使用长短期记忆(LSTM)单元构建的深度学习框架,用于更全面的分割目标。结果证明,CRM中的结构化文本数据可以用来挖掘出非常有价值的信息,任何CRM都可以配备有用的NLP功能,一旦问题定义正确,解决方法方便地实现。
2021-06-09 cs.CL
Overview of the VLSP 2023 -- ComOM Shared Task: A Data Challenge for Comparative Opinion Mining from Vietnamese Product Reviews
VNU University of Engineering and Technology(越南国家大学工程技术大学)
本文介绍VLSP 2023的ComOM共享任务,旨在推动越南语产品评论比较观点挖掘技术发展,构建了含120篇文档的标注数据集,要求模型提取比较五元组,以宏平均五元组F1值评估参赛模型。
2024-03-04 cs.CL cs.LG
Sentiment analysis and opinion mining on E-commerce site
本文针对电子商务场景下的情感极性分类问题,提出一种广泛的情感对立分类技术,并同时开展句子级和评论级分类实验,为后续情感分析研究提供方向。
2023-07-04 cs.CL cs.LG
Analysis of the Evolution of Advanced Transformer-Based Language Models: Experiments on Opinion Mining
LYRICA Laboratory(LYRICA实验室);School of Information Sciences(信息科学学院)
本文通过实验分析先进Transformer语言模型在观点挖掘中的表现,并进行高层次比较,为工程师选型和研究者后续方向提供指导。
2023-08-07 cs.AI cs.CL cs.LG
A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques
University of Georgia(佐治亚大学)
每天生成的文本数量正在急剧增加。这些大量的非结构化文本不能简单地被计算机处理和感知。因此,需要高效和有效的技术和算法来发现有用的模式。文本挖掘是从文本中提取有意义信息的任务,近年来受到了广泛的关注。在本文中,我们描述了几个最基本的文本挖掘任务和技术,包括文本预处理,分类和聚类。此外,我们简要介绍了文本挖掘在生物医学和医疗保健领域。
2017-07-28 cs.AI cs.CL cs.IR
Sentiment Analysis: A Survey
University at Buffalo(布法罗大学)
情感分析(也称为意见挖掘)是指利用自然语言处理、文本分析和计算语言学等方法,识别和提取源材料中的主观信息。挖掘用户生成内容中表达的意见是一个具有挑战性但实际上非常有用的问题。本调查将涵盖一般情感分析和意见挖掘中使用的各种方法和方法。重点将是互联网文本一样,产品评论,推文和其他社会媒体。
2014-05-11 cs.CL cs.IR
Social Media Data Mining With Natural Language Processing on Public Dream Contents
Washington University in St. Louis(圣路易斯华盛顿大学);University of Michigan(密歇根大学)
本研究利用Reddit r/Dreams社区的37.4万+订阅用户梦境数据,通过统计方法及微调LLaMA 3.1-8B模型做情感分类,分析新冠疫情前后梦境情绪变化,探究疫情对公众心理健康与潜意识的影响。
2024-12-02 cs.AI cs.CL cs.CY
Discourse Analysis of Covid-19 in Persian Twitter Social Networks Using Graph Mining and Natural Language Processing
Amirkabir University of Technology(阿米尔卡比尔理工大学);Allame Tabatabaei Universiy(阿拉梅·塔巴塔巴伊大学);Tarbiat Modarres University(塔比亚特莫达雷斯大学)
分析社交网络的公开数据是理解话语动态的一种新的科学方法。本研究的目的是使用波斯社会智能数据采掘对新冠肺炎现象进行后结构主义话语分析(PDA)(受拉克劳和墨菲的话语理论启发)。研究的大数据是来自波斯Twitter网络的16万用户的500万条推文,以比较两种话语。除了单独分析推文文本之外,还基于转发关系创建了社交网络图数据库。我们使用VoteRank算法来介绍和排名的人,其职位成为口碑,提供的总信息传播范围最大化的网络。这些用户还根据他们的单词使用模式进行聚类(使用高斯混合模型)。有影响力的传播者的建构话语被比作最活跃的用户。该分析是基于8次事件中与Covid相关的帖子进行的。此外,通过对推文的统计内容分析和极性分析,对所有提到的子群体,特别是对排名靠前的个人进行了话语分析。本研究最重要的结果是,推特被试的话语建构是以政府为基础的,而不是以社区为基础的。被分析的伊朗社会并不认为自己对新冠病毒的邪恶问题负有责任,不相信参与,并期望政府解决所有问题。最活跃和最有影响力的用户的相似性是政治、国家和批评性话语建构占主导地位。除了其研究方法论的优势外,也有必要注意到其研究的局限性。对伊朗社会今后遇到类似危机提出了建议。
2021-09-01 cs.CL cs.SI
Understanding Enthymemes in Argument Maps: Bridging Argument Mining and Logic-based Argumentation
Université Paul Sabatier(保罗萨巴蒂埃大学);CNRS(法国国家科学研究中心);IRIT(图灵与信息技术研究所);Inria(法国国家信息与自动化研究所);I3S(信息、信号与系统实验室);University College London(伦敦大学学院)
本研究针对论证挖掘得到的论证图难以自动分析的问题,提出用经典逻辑表示文本显式信息、缺省逻辑表示隐式信息来对论证图进行逻辑实例化,以支撑后续自动推理分析。
2024-08-16 cs.AI cs.CL
Negation Detection for Clinical Text Mining in Russian
ITMO University(ITMO大学)
在医学中开发预测建模需要来自非结构化临床文本的额外特征。在俄罗斯,没有自然语言处理的工具来处理医疗记录的问题。本文研究的是一个否定检测模块。无语料库机器学习方法是基于梯度提升分类器,用于检测一种疾病是否被否认,没有提到或在文本中提出。检测器对五种疾病的否定进行分类,并显示平均F分数从0.81到0.93。否定检测的益处已经通过预测急性冠状动脉综合征患者的手术存在而得到证实。
2020-04-10 cs.CL cs.LG
Commonsense Knowledge Mining from Pretrained Models
Harvard University(哈佛大学)
推断常识知识是自然语言处理中的一个关键挑战,但由于训练数据的稀疏性,先前的工作表明,用于常识知识挖掘的监督方法在对新数据进行评估时表现不佳。在这项工作中,我们开发了一种方法,使用一个大的,预先训练的双向语言模型生成常识知识。通过将关系三元组转换为屏蔽句,我们可以使用该模型通过估计两个实体之间的逐点互信息来对三元组的有效性进行排序。由于我们不更新双向模型的权重,因此我们的方法不会因任何一个常识知识库的覆盖而有偏见。虽然这种方法在测试集上的表现比在相应的训练集上显式训练的模型差,但在从新的来源中挖掘常识知识时,它优于这些方法,这表明无监督技术可能比当前的监督方法更好地推广。
2019-09-02 cs.AI cs.CL cs.LG
ARAACOM: ARAbic Algerian Corpus for Opinion Mining
Université de Khenchela(肯切拉大学);Université de Constantine 2(康斯坦丁第二大学);Université de Poitiers(普瓦捷大学)
如今,不再需要付出巨大的努力,将大量的表格分发给成千上万的人并收集它们,然后将其转换为电子格式以跟踪人们对某些主题的意见。今天,许多网站可以用更少的努力达到很大的范围。大多数网站建议他们的访问者留下关于他们对网站或事件的感觉的备份。因此,这为我们提供了大量的数据,需要强大的手段来利用。网络中的意见挖掘变得越来越有吸引力的任务,由于个人和社会越来越需要跟踪人们对日常生活中的几个主题(体育,政治,电视等)的情绪。很多观点挖掘的著作都是用西方语言特别是英语写成的,阿拉伯语的著作还很少见。在本文中,我们提出了我们的方法,在阿拉伯语阿尔及利亚报纸的意见挖掘。$\bullet$信息系统~情感分析$\bullet$计算方法学~自然语言处理
2020-01-22 cs.CL cs.IR
Opinion Mining In Hindi Language: A Survey
Banasthali Vidyapith(巴纳斯塔利大学)
意见在人类生活中非常重要。这些意见帮助人类执行决策。随着Web的影响力日益增强,Web文档可以被看作是人类新的意见来源。Web包含了用户通过博客、论坛条目和社交网站等产生的大量信息,为了分析这些大量的信息,需要开发一种方法来自动分类Web上可用的信息。这个领域被称为情感分析和意见挖掘。意见挖掘或情感分析是一项自然语言处理任务,它从评论、新闻和博客等各种文本形式中挖掘信息,并根据其极性将其分类为积极、消极或中性。但是,从过去几年来,在网络上看到了印地语的巨大增长。意见挖掘的研究主要是在英语语言中进行的,但在印地语中进行意见挖掘也是非常重要的,因为印地语中的大量信息也可以在Web上获得。本文简要介绍了印地文的研究工作。
2014-04-19 cs.CL cs.IR
Mining Scientific Papers for Bibliometrics: a (very) Brief Survey of Methods and Tools
University of Franche-Comte(弗朗什-孔泰大学);Université du Québec à Montréal (UQAM)(魁北克大学蒙特利尔分校);GESIS, Leibniz Institute for the Social Sciences(GESIS莱布尼茨社会科学研究所)
科学出版中的开放获取运动和谷歌学术等搜索引擎使科学文章更广泛地可访问。在过去十年中,由于ArXiv和CiteSeer等在线平台上的出版物数量不断增加,全文科学论文的可用性变得越来越普遍。以机器可读格式提供文章的努力和开放获取出版的兴起导致了许多科学论文的标准化格式(如NLM-JATS,TEI,DocBook)。我们的目标是促进文献计量学和计算语言学的交叉研究,以研究文献计量学如何从大规模文本分析和科学论文的意义挖掘中受益,从而探索文献计量学和自然语言处理的跨学科性。
2015-05-06 cs.CL cs.DL
Pbm: A new dataset for blog mining
National University of Computer & Emerging Sciences(国家计算机与新兴科学大学)
随着Web 2.0提供协作内容创建和共享,文本挖掘变得至关重要。现在研究人员对文本挖掘方法发现知识的兴趣越来越大。文本挖掘研究人员来自不同的领域,如:自然语言处理,计算语言学,机器学习和统计学。一个典型的文本挖掘应用包括文本的预处理、词干提取和词形化、标注和注释、知识模式的推导、结果的评估和解释。有许多方法可以执行文本挖掘任务,如:聚类,分类,情感分析和摘要。对这些任务的评价标准化的必要性日益增加。建立标准化的一个主要组成部分是为这些任务提供标准数据集。虽然有各种标准的数据集可用于传统的文本挖掘任务,但有很少和昂贵的数据集博客挖掘任务。博客作为web2.0时代的一种新体裁,是网络用户的数字化日记,具有时间顺序的条目,包含了大量有用的知识,这给文本挖掘带来了挑战和机遇。在本文中,我们报告了一个新的土著数据集巴基斯坦政治博客圈。本文描述了数据汇集、组织和标准化的过程。我们已经使用这个数据集进行各种文本挖掘任务的博客圈,如:博客搜索,政治情绪分析和跟踪,有影响力的博客的识别,和聚类的博客帖子。我们希望为那些渴望在这一领域进一步追求的人免费提供此数据集。
2012-01-10 cs.AI cs.CL cs.IR
Mining Clinical Notes for Physical Rehabilitation Exercise Information: Natural Language Processing Algorithm Development and Validation Study
University of Pittsburgh(匹兹堡大学);Umm Al-Qura University(乌姆古拉大学)
本研究开发并比较了多种NLP算法,从卒中患者临床笔记中提取康复锻炼信息,发现基于规则的方法在多数任务中表现最佳,而基于LLM的ChatGPT在特定运动检测上具有优势。
2024-03-15 cs.AI cs.CL
Scalable Text Mining with Sparse Generative Models
University of Waikato(怀卡托大学)
信息时代带来了大量的数据。其中大部分是以文本形式出现的,人类无法逾越,计算机无法理解。文本挖掘是一个不断扩展的研究领域,旨在利用包含在大量文档集合中的信息。基于机器学习的常规数据采掘方法面临着文本数据规模的挑战,需要可扩展的文本挖掘方法。本文提出了一种可伸缩文本挖掘的解决方案:结合稀疏计算的生成模型。一个统一的形式化生成文本模型的定义,汇集了研究传统,使用正式等效的模型,但忽略了平行的发展。该框架允许使用在不同的处理任务(如检索和分类)中开发的方法,从而在不同的文本挖掘任务中产生有效的解决方案。提出了一种基于倒排索引的概率模型稀疏计算方法。这降低了根据稀疏性的常见文本挖掘操作的计算复杂性,产生具有现代搜索引擎的可扩展性的概率模型。建议的组合提供稀疏生成模型:文本挖掘的解决方案是通用的,有效的,可扩展的。对文本分类和排名检索数据集进行了广泛的实验,结果表明,所提出的解决方案在有效性上与领先的特定任务方法相匹配或优于领先的特定任务方法,维基百科文章分类的分类时间减少了一个数量级。所开发的方法进一步应用于2014年的两个Kaggle数据采掘竞赛,有超过一百个参赛团队,获得第一名和第二名。
2016-02-07 cs.AI cs.CL cs.IR
MatNexus: A Comprehensive Text Mining and Analysis Suite for Materials Discover
Interdisciplinary Centre for Advanced Materials Simulation, Ruhr-Universität Bochum(鲁尔大学波鸿分校跨学科先进材料模拟中心)
MatNexus是一款端到端的材料科学文本挖掘分析软件,通过集成模块实现文献检索、文本处理、机器学习向量表示生成及词嵌入可视化,助力研究人员高效探索材料。
2023-11-07 cond-mat.mtrl-sci cs.CL physics.chem-ph
A survey on natural language processing (nlp) and applications in insurance
Data Analytics Solutions(数据分析解决方案);SCOR(斯高保险);Université de Bretagne Occidentale(布列塔尼西部大学);EURIA(欧洲研究与创新中心(EURIA));Paris, France(法国巴黎);Brest, France(法国布雷斯特);Beijing, China(中国北京)
文本是当今最广泛使用的通信手段。这些数据是丰富的,但在算法中利用起来却很复杂。多年来,科学家们一直在尝试实现不同的技术,使计算机能够复制人类阅读的某些机制。在过去的五年里,研究破坏了算法释放文本数据价值的能力。如今,它为保险业带来了许多机会。了解这些方法,尤其是知道如何应用它们,是一个重大挑战,也是释放存储多年的文本数据价值的关键。用计算机处理语言带来了许多新的机会,特别是在保险部门,报告是保险公司使用的信息的中心。SCOR的数据分析团队一直致力于实施创新工具或产品,以使用最新的文本分析研究。了解保险中的文本挖掘技术可以增强对承保风险的监控,并最终使投保人受益。本文旨在解释自然语言处理(NLP)为保险提供的机会。它详细介绍了今天在实践中使用的不同方法,追溯了它们的故事。我们还使用开源库和Python代码来说明某些方法的实现,我们已经开发了这些技术来促进这些技术的使用。在对过去几年中文本挖掘的发展进行了概述之后,我们分享了如何对文本挖掘进行全面的研究,并分享了一些将这些模型应用于保险产品或服务的例子。最后,我们更详细地解释了组成自然语言处理研究的每一个步骤,以确保读者能够对实现有深入的理解。
2020-10-01 cs.CL cs.LG stat.ML
Architecture of Text Mining Application in Analyzing Public Sentiments of West Java Governor Election using Naive Bayes Classification
Amikom Yogyakarta University(阿米孔日惹大学);Gunadarma University(古纳达玛大学)
西爪哇省省长的选举是一个吸引公众注意力的事件,社交媒体用户也不例外。公众对未来地区领导人的看法有助于预测选民的可当选性和倾向。意见挖掘过程可以使用的数据可以从Twitter获得。由于数据是非常多样的形式和非常非结构化的,它必须使用数据预处理技术进行管理和不知情的半结构化数据。这种半结构化的信息之后是分类阶段,将意见分类为消极或积极的意见。研究方法论采用文献研究,研究将检查以前对类似主题的研究。本研究的目的是要找出适当的架构,将其发展成twitter意见探勘的应用,以了解西爪哇省省长选举的民意。本文的研究结果表明,Twitter意见挖掘是文本挖掘的一部分,Twitter中的意见要想被分类,首先要经过文本预处理阶段。twitter数据所需的预处理步骤是清理,大小写折叠,POS标记和词干分析。由此产生的文本挖掘架构是一个架构,可用于不同主题的文本挖掘研究。
2018-09-20 cs.CL cs.CY cs.IR
Reading Stockholm Riots 2013 in social media by text-mining
Stockholm University(斯德哥尔摩大学);Jagiellonian University(雅盖隆大学);CIOP – National Research Instutute(CIOP国家研究院)
2013年5月在斯德哥尔摩发生的骚乱是一个在世界媒体上引起反响的事件,因为它的暴力层面已经蔓延到瑞典首都。在这项研究中,我们通过文本挖掘和自然语言处理研究了社交媒体在创造媒体现象中的作用。我们的分析重点关注两个沟通渠道:Twitter和Poloniainfo.se(瑞典波兰社区论坛)。我们的初步结果显示,一些热门话题驱动的讨论主要涉及瑞典警察和瑞典政治通过计数字的使用。媒体干预的典型特征。我们已经建立了最流行的短语网络,按类别(地理,媒体机构等)聚类。情感分析显示出对警察的负面内涵。这个初步的探索性定量研究的目的是产生问题和假设,我们可以仔细遵循更深入的定性方法。
2013-10-04 cs.CL cs.SI physics.soc-ph
Procedural Text Mining with Large Language Models
University of Brescia(布雷西亚大学);TIB Leibniz Information Centre for Science and Technology(TIB莱布尼茨科学技术信息中心)
本研究探索用GPT-4等大语言模型,以零样本和含本体、少样本的上下文学习变体,通过增量问答从非结构化PDF提取过程,验证了方法潜力,为解决过程提取中训练数据不足的难题提供了新路径。
2023-10-05 cs.AI cs.CL cs.IT