RuBioRoBERTa: a pre-trained biomedical language model for Russian language biomedical text mining
Sberbank Artificial Intelligence Laboratory（俄罗斯联邦储蓄银行人工智能实验室）
本文介绍了几种基于BERT的俄语生物医学文本挖掘模型（RuBioBERT，RuBioRoBERTA）。这些模型是在俄罗斯生物医学领域免费提供的文本语料库上进行预训练的。通过这种预训练，我们的模型在RuMedBench -俄罗斯医学语言理解基准测试中展示了最先进的结果，该测试涵盖了多种任务，包括文本分类、问答、自然语言推理和命名实体识别。
2022-04-08 cs.AI cs.CL
ISO-Bench: Benchmarking Multimodal Causal Reasoning in Visual-Language Models through Procedural Plans
Stony Brook University（石溪大学）
针对多模态模型跨模态因果推理的核心挑战，提出ISO-Bench基准以评估视觉观察与程序性文本的因果依赖推断能力，实验发现前沿模型表现远逊于人类，并指明了改进方向。
2025-07-30 cs.CL
Mining Healthcare Procurement Data Using Text Mining and Natural Language Processing -- Reflection From An Industrial Project
Information School, the University of Sheffield（谢菲尔德大学信息学院）；Vamstar Ltd.（Vamstar有限公司）
虽然文本挖掘和NLP研究已经建立了几十年，但在报告这些技术在构建真实世界应用程序中的使用的文献中仍然存在空白。例如，他们通常只关注单一的，有时甚至是简化的任务，而不深入讨论现实世界中常见的数据异构性和不一致性，或者它们对方法开发的影响。此外，很少有以前的工作集中在医疗保健领域。在这项工作中，我们描述了一个行业项目，该项目开发了文本挖掘和NLP解决方案，以挖掘医疗保健行业数百万个异构的多语言采购文档。我们提取结构化的采购合同数据，用于为动态评估供应商风险的平台提供动力。我们的工作在许多方面做出了独特的贡献。首先，我们处理高度异构的多语言数据，并记录我们应对这些挑战的方法。这主要是基于一种有效使用领域知识并推广到多种文本挖掘和NLP任务和语言的方法。其次，应用这种方法挖掘数以百万计的采购文件，我们开发了第一个结构化的采购合同数据库，这将有助于促进招标过程。第二，最后，我们讨论了实际的文本挖掘/NLP开发的经验教训，并为未来的研究和实践提出建议。
2023-01-09 cs.AI cs.CL
Multimodal Procedural Planning via Dual Text-Image Prompting
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
该研究提出多模态程序规划任务，设计双模态提示方法TIP结合大语言模型与扩散模型能力，构建两个测试基准，验证了方法在规划信息性、时序一致性和准确性上的优势。
2023-05-02 cs.CL
ScriptWorld: Text Based Environment For Learning Procedural Knowledge
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文提出ScriptWorld，首个基于脚本文本数据构建的日常现实活动交互式文本游戏环境，覆盖10项日常活动，并通过实验证明预训练语言模型的先验知识能有效提升强化学习智能体在现实世界文本游戏中的表现。
2023-07-08 cs.AI cs.CL cs.LG
Remember Me, Refine Me: A Dynamic Procedural Memory Framework for Experience-Driven Agent Evolution
AGI Institute, School of Computer Science, Shanghai Jiao Tong University（AGI研究院，计算机科学学院，上海交通大学）；Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）；Key Laboratory of Shanghai Education Commission for Intelligent Interaction and Cognitive Engineering, Shanghai Jiao Tong University（上海市教育委员会智能交互与认知工程重点实验室，上海交通大学）
本文提出ReMe框架，通过多维蒸馏、情境适应重用和基于效用的精炼机制，解决传统静态记忆存储的不足，实验证明其在BFCL-V3和AppWorld上达到新状态，展示了自进化记忆在终身学习中的高效性。
2026-04-15 cs.AI cs.CL
Very Large Language Model as a Unified Methodology of Text Mining
University of Notre Dame（圣母大学）
文本数据采掘是从语言文本中提取必要信息的过程。典型的文本挖掘任务包括文本分类、文本聚类、主题建模、信息抽取和文本摘要。收集各种数据集，并为不同类型的任务设计各种算法。本文提出了一个大胆的设想，即超大型大语言模型（VLLM）将成为文本挖掘的一种有效的统一方法。我讨论了这种新方法对传统方法的至少三个优点。最后，我讨论了在设计和开发的VLLM技术的文本挖掘的挑战。
2022-12-20 cs.AI cs.DB cs.LG
PLSQLBench: Benchmarking LLM Systems for Executable Procedural Database Programming
Oracle AI, Turing Enterprise Inc（Oracle AI 图灵企业公司）
本研究提出首个过程式数据库编程基准PLSQLBench，含2865个任务实例，经8个LLM实验发现其在多方面存在困难，工具增强智能体性能有提升但仍有差距，凸显了传统基准未覆盖的能力。
2026-08-18 cs.CL
PANGeA: Procedural Artificial Narrative using Generative AI for Turn-Based Video Games
Southern Methodist University Guildhall（南卫理公会大学Guildhall）
本研究提出PANGeA框架，在游戏设计师准则引导下利用大语言模型生成回合制RPG叙事内容，通过验证系统和定制记忆机制保障叙事一致性，支持多引擎与多类LLM集成，实验验证了其应对自由形式输入时的叙事生成能力。
2024-07-09 cs.AI cs.CL
Graph Guided Question Answer Generation for Procedural Question-Answering
Samsung AI Center, Cambridge（三星AI中心剑桥分部）；Samsung AI Center, Toronto（三星AI中心多伦多分部）
本文提出一种图引导的程序性文本问答自动生成方法，将流程步骤与整体流程表示为图并以节点为条件生成可控、高语义覆盖的训练数据，从而训练出可在移动设备运行且性能超过GPT3和ChatGPT的小型任务特定QA模型。
2024-01-24 cs.AI cs.CL
A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models
Rama Labs（Rama实验室）
提出一种实时音乐界面，将自然语言场景描述转化为可演化的程序化声景，通过直接参数调整实现细粒度控制，并采用三种可互换后端生成连贯音频流。
2026-07-02 cs.CL cs.HC cs.SD
Advancing Chinese biomedical text mining with community challenges
Sichuan University（四川大学）；West China Hospital（华西医院）；Tongji University（同济大学）；Shanghai Business School（上海商学院）；Takeda Co. Ltd.（武田制药有限公司）；Harbin Institute of Technology（哈尔滨工业大学）
本文系统回顾了2017至2023年中国6项生物医学文本挖掘社区挑战赛中的39个评测任务，分析其任务类型、数据来源与临床应用潜力，并探讨其贡献、局限及大语言模型时代的未来方向。
2024-08-30 cs.AI cs.CL cs.LG
HERO'S JOURNEY: Testing Complex Rule Induction with Text Games
Department of Linguistics（语言学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出HERO'S JOURNEY基准，通过目标导向的文本游戏评估大型语言模型在属性与程序归纳任务中的规则推理能力，发现模型虽能进行规则归纳但能力有限且不均衡，程序执行成为瓶颈，而表面语义影响较小。
2026-06-01 cs.CL
Adaptive Multi-Resolution Procedural Knowledge Compression for Large Language Models
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
提出SKIM框架，通过自适应多分辨率软令牌压缩程序性技能，在保持任务性能的同时将技能令牌长度压缩至30%-60%。
2026-06-11 cs.CL
Procedural Memory Is Not All You Need: Bridging Cognitive Gaps in LLM-Based Agents
aampe
本文指出LLMs仅依赖程序性记忆难以应对复杂多变环境，提出通过模块化架构融合语义记忆与联想学习，以构建具备自适应智能的智能体。
2025-05-06 cs.AI cs.LG
Proc3D: Procedural 3D Generation and Parametric Editing of 3D Shapes with Large Language Models
Proc3D利用大语言模型实现3D形状的可编辑生成，通过参数化编辑提升设计效率和准确性。
2026-01-18 cs.AI cs.CV cs.GR
Conceptualized Representation Learning for Chinese Biomedical Text Mining
Alibaba Group（阿里巴巴集团）
随着生物医学文档和Web数据数量的快速增长，生物医学文本挖掘变得越来越重要。近年来，单词表征模型如BERT在研究者中越来越受欢迎。然而，这是很难估计的数据集包含生物医学文本的一般和生物医学语料库的词分布是完全不同的。此外，医学领域具有难以通过语言模型学习的长尾概念和术语。对于中文生物医学文本，由于其结构复杂，短语组合的多样性，其识别难度更大。在本文中，我们研究了最近推出的预训练语言模型BERT可以适应中国生物医学语料库，并提出了一种新的概念化的表示学习方法。我们还发布了一个新的中文生物医学语言理解评估基准（\textbf{ChineseBLUE}）。我们研究了中国预训练模型的有效性：BERT，BERT-wwm，RoBERTa和我们的方法。在基准测试上的实验结果表明，我们的方法可以带来显着的增益。我们在GitHub上发布了预训练的模型：https://github.com/alibaba-research/ChineseBLUE。
2020-08-25 cs.AI cs.CL cs.IR
50 Ways to Bake a Cookie: Mapping the Landscape of Procedural Texts
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
网络上充满了各种各样任务的指导，从给汽车换油到烤苹果派。然而，由于内容是独立创建的，因此单个任务可能有数千个相应的过程文本。这使得用户很难看到更大的画面，并理解可以完成任务的多种方式。在这项工作中，我们提出了一个无监督学习的方法总结成一个直观的图形表示多个程序的文本，让用户可以轻松地探索共性和差异。我们展示了我们的方法上的食谱，程序文本的一个突出的例子。用户研究表明，我们的表示是直观和连贯的，它有可能帮助用户完成几项感官构建任务，包括为新手厨师调整食谱，并找到创造性的方法来调味。
2022-10-31 cs.AI cs.CL
Knowledge-Aware Procedural Text Understanding with Multi-Stage Training
Peking University（北京大学）；Microsoft（微软）
过程文本描述了逐步自然过程中的动态状态变化（例如，光合作用）。在这项工作中，我们专注于过程文本理解的任务，其目的是理解这样的文档和跟踪实体的状态和位置在一个过程中。虽然最近的方法已经取得了实质性的进展，但它们的结果远远落后于人类的表现。常识推理的困难和数据不足这两个挑战仍然没有解决，这就需要结合外部知识库。以往的外部知识注入工作通常依赖于嘈杂的Web挖掘工具和启发式规则，适用的场景有限。在本文中，我们提出了一种新的知识感知过程文本理解（KOALA）模型，它有效地利用多种形式的外部知识在这项任务中。具体来说，我们检索翔实的知识三元组从ConceptNet和执行知识感知推理，同时跟踪的实体。此外，我们采用了一个多阶段的训练模式，微调BERT模型从维基百科收集的未标记的数据，然后进一步微调它的最终模型。在两个过程文本数据集ProPara和Recipes上的实验结果验证了所提出方法的有效性，与各种基线相比，我们的模型达到了最先进的性能。
2021-02-13 cs.AI cs.CL
Constructing Flow Graphs from Procedural Cybersecurity Texts
Arizona State University（亚利桑那州立大学）
遵循用自然语言编写的过程文本是具有挑战性的。我们必须阅读全文来识别相关信息或识别指令流程来完成一项任务，这很容易出现故障。如果这样的文本是结构化的，我们可以很容易地可视化推理流程，推理或推断特定的步骤，甚至构建自动化系统来帮助新手代理实现目标。然而，由于这些文本的多样性，这种结构恢复任务是一个挑战。本文提出从这些文本中识别相关信息，并在句子之间生成信息流。我们在网络安全领域建立了一个大型注释程序文本数据集（CTFW）（3154个文档）。此数据集包含有关软件漏洞分析经验的有价值的说明。我们在CTFW上进行了广泛的实验，在多种设置下使用我们的LM-GNN模型变体。为了展示这项任务和我们的方法的普遍性，我们还尝试了来自其他两个领域（维护手册和烹饪）的程序文本，这与网络安全有很大的不同。我们的实验表明，图卷积网络与BERT句子嵌入优于BERT在所有三个领域
2021-05-29 cs.AI cs.CL cs.CR
Be Consistent! Improving Procedural Text Comprehension using Label Consistency
Cornell University（康奈尔大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们的目标是过程性的文本理解，即跟踪实体的属性（例如，它们的位置）随给定程序文本的时间而改变（例如，一段关于光合作用的文字，一个食谱）。这项任务是具有挑战性的，因为世界在整个文本中不断变化，尽管最近取得了进展，但当前的系统仍然难以完成这项任务。我们的方法是利用这样一个事实，即对于许多程序文本，多个独立的描述是现成的，并且从它们的预测应该是一致的（标签一致性）。我们提出了一个新的学习框架，在训练过程中利用标签一致性，允许将一致性偏差内置到模型中。对程序文本的标准基准数据集ProPara的评估（Dalvi等人，2018年），表明我们的方法显着提高了预测性能（F1）比现有的最先进的系统。
2019-06-21 cs.CL cs.LG
EgoOops: A Dataset for Mistake Action Detection from Egocentric Videos referring to Procedural Texts
Kyoto University（京都大学）；Sony Interactive Entertainment（索尼互动娱乐）
针对现有错误检测研究缺乏流程文本支撑、相关数据集覆盖领域有限的问题，本文提出跨领域第一人称错误动作检测数据集EgoOops及结合视频文本对齐与标签分类的检测方法，验证了流程文本对错误检测的重要性。
2025-07-31 cs.AI cs.CL cs.CV
The Role of Semantic Parsing in Understanding Procedural Text
Michigan State University（密歇根州立大学）；Florida Institute for Human and Machine Cognition（佛罗里达人类与机器认知研究所）
本文研究符号语义表示对过程性文本实体状态推理的辅助作用，提出基于符号解析的框架PROPOLIS并将语义解析信息集成至神经模型，实验证明显式融入语义知识能提升过程性理解，并提出了评估该任务的新指标。
2023-05-18 cs.CL cs.SC
Everything Happens for a Reason: Discovering the Purpose of Actions in Procedural Text
Facebook AI Research（Facebook人工智能研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们的目标是更好地理解程序文本，例如，一段关于光合作用的文章，不仅预测发生了什么，而且预测为什么有些行动需要在其他行动之前发生。我们的方法建立在先前的过程理解框架上，用于预测行动的影响，也可以识别这些影响所能实现的后续步骤。我们提出了我们的新模型（XPAD），偏向于那些（1）解释更多的段落中的动作和（2）更合理的背景知识的影响预测。我们还扩展了现有的基准数据集程序文本理解，ProPara，通过增加新的任务，解释行动预测其依赖关系。我们发现，XPAD显着优于以前的系统在这项任务上，同时保持在ProPara的原始任务的性能。该数据集可在http://data.allenai.org/propara上获得
2019-09-18 cs.AI cs.CL
Procedural Text Understanding via Scene-Wise Evolution
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc.（腾讯公司）
程序化文本理解需要机器对动态叙述中的实体状态进行推理。当前的过程式文本理解方法通常是\textbf{entity-wise}，其分别跟踪每个实体并独立地预测每个实体的不同状态。这样的实体智慧范式没有考虑实体和它们的状态之间的交互。在本文中，我们提出了一个新的\textbf{scene-wise}范式的过程文本理解，联合跟踪状态的所有实体在一个场景的方式。基于这种范式，我们提出了\textbf{S} cene \textbf{G}和\textbf{R} easoner（\textbf{SGR}），它引入了一系列动态演变的场景图，共同制定实体，状态及其关联的整个叙事的演变。通过这种方式，所有实体和状态之间的深层交互可以联合捕获并同时从场景图中导出。实验表明，SGR不仅达到了新的最先进的性能，而且显着加快推理的速度。
2022-03-15 cs.CL
CLMSM: A Multi-Task Learning Framework for Pre-training on Procedural Text
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
本文提出CLMSM持续预训练框架，结合对比学习与掩码步骤建模，在食谱数据上预训练并在实体追踪与动作对齐任务中表现优异，具备跨域泛化能力。
2023-10-22 cs.AI cs.CL
Unveiling Cultural Blind Spots: Analyzing the Limitations of mLLMs in Procedural Text Comprehension
Sharif University of Technology（谢里夫理工大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出 CAPTex 基准，从多语言、文化领域和提问方式评估 mLLM 的文化程序性文本理解，揭示其在低资源语言和特定文化场景中的明显不足。
2025-02-20 cs.CL
Coalescing Global and Local Information for Procedural Text Understanding
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Bosch Research（博世研究院）
程序文本理解是一项具有挑战性的语言推理任务，需要模型在叙事的发展过程中跟踪实体状态。一个完整的过程理解解决方案应该结合三个核心方面：输入的局部和全局视图，以及输出的全局视图。先前的方法考虑了这些方面的子集，导致低精度或低召回。在本文中，我们提出了合并全球和本地信息（CGLI），一个新的模型，建立实体和时间步感知的输入表示（本地输入）考虑到整个上下文（全球输入），我们共同建模的实体状态与结构化的预测目标（全球输出）。因此，CGLI同时优化了查准率和查全率。我们扩展CGLI额外的输出层，并将其集成到一个故事推理框架。在一个流行的程序化文本理解数据集上的大量实验表明，我们的模型达到了最先进的结果;在一个故事推理基准上的实验表明，我们的模型对下游推理产生了积极的影响。
2022-08-26 cs.CL
A Dataset for Tracking Entities in Open Domain Procedural Text
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了第一个数据集跟踪状态变化的程序文本从任意域使用一个不受限制的（开放）词汇。例如，在描述使用马铃薯除雾的文本中，车窗可以在有雾、粘性、不透明和透明之间转变。此任务的先前公式提供了所涉及的文本和实体，并询问这些实体如何仅针对小的预定义属性集（例如，#21453;，限制了他们的忠诚度。我们的解决方案是一个新的任务公式，其中只给出一个过程文本作为输入，任务是为每个步骤生成一组状态更改元组（实体，属性，前状态，后状态），其中实体，属性和状态值必须从开放的词汇表中预测。使用众包，我们创建了OPENPI 1，这是一个高质量的（91.5%的覆盖率由人类判断并完全审查），大规模的数据集，包括来自WikiHow.com的810个程序真实世界段落的4，050个句子的29，928个状态变化。基于BLEU指标，当前最先进的生成模型达到了16.1%的F1，为新的模型架构留下了足够的空间。
2020-10-31 cs.CL
MedTextWeaver: Procedural Knowledge Evolution in Agentic Medical Text Editing
School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学）
ExperienceWeaver 通过经验学习优化小样本下 LLM 的临床文本改进，通过提炼反馈知识提升模型修订能力。
2026-08-04 cs.AI cs.CL
WIQA: A dataset for "What if..." reasoning over procedural text
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们介绍了WIQA，第一个大规模的数据集“如果…“对程序性案文的质疑。WIQA包含三个部分：每个描述一个过程的段落的集合，例如，海滩侵蚀;每个段落的一组众包影响图，描述一个变化如何影响另一个;以及一个大型（40 k）的“如果......？“多项选择题来自图表。例如，给定一个关于海滩侵蚀的段落，暴风雨天气会导致更多或更少的侵蚀（或没有影响）？任务是根据相关段落回答问题。WIQA包含三类问题：对段落中提到的步骤的扰动;需要常识知识的外部（段落外）扰动;以及不相关（无影响）扰动。我们发现，最先进的模型达到了73.8%的准确率，远低于人类的96.3%。我们分析了挑战，特别是跟踪影响链，并将数据集作为一个开放的挑战提交给社区。
2019-09-10 cs.AI cs.CL
Towards Flow Graph Prediction of Open-Domain Procedural Texts
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；Academic Center for Computing and Media Studies, Kyoto University（京都大学学术计算与媒体研究中心）
本文提出基于食谱流程图构建开放领域程序性文本流程图预测框架，并引入wikiHow-FG语料库，通过领域自适应实验证明跨领域迁移能提升流程图预测性能。
2023-05-31 cs.CL
What-if I ask you to explain: Explaining the effects of perturbations in procedural text
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们解决的任务，解释扰动的影响程序文本，过程理解的一个重要测试。考虑一段描述兔子生命周期的文字：人类可以很容易地解释如果一只母兔生病，母兔不会怀孕，因此不会生育，导致兔子数量减少。我们提出了四，一个系统，从段落构建这样的解释，通过建模的解释任务作为一个多任务学习问题。与最近的过程理解基准的几个强基线相比，QUARTET提供了更好的解释（基于程序文本中的句子）。我们还提出了一个令人惊讶的次级效应：我们的模型还实现了一个新的SOTA，在下游QA任务上具有7%的绝对F1改进。这说明，好的解释不一定要以牺牲最终任务的表现为代价。
2020-10-08 cs.CL
Creative Procedural-Knowledge Extraction From Web Design Tutorials
Cornell Tech, Cornell University（康奈尔大学康奈尔科技校区）；ByteDance AI Lab（字节跳动人工智能实验室）；Adobe Research（奥多比研究院）
复杂的设计任务通常需要以特定的顺序执行各种操作。为了（半）自主地完成这些任务，应用程序需要理解和学习广泛的设计过程，即，创造性程序知识（CPK）。先前的知识库构建和挖掘通常不涉及创意领域，如设计和艺术。在本文中，我们形式化的本体CPK使用五个组件：目标，工作流，动作，命令和用法，并提取组件的值从在线设计教程。我们抓取了19.6K教程相关的网页，并构建了一个Web应用程序，供专业设计人员识别和总结CPK组件。注释数据集包括819个独特的命令，47，491个动作和2，022个工作流和目标。基于这个数据集，我们提出了一个通用的CPK提取管道，并证明了现有的文本分类和序列到序列模型在识别，预测和总结异构风格描述的复杂操作方面是有限的。通过定量和定性的误差分析，我们讨论了CPK提取的挑战，需要解决未来的研究。
2019-04-18 cs.CL cs.IR
Into the Single Cell Multiverse: an End-to-End Dataset for Procedural Knowledge Extraction in Biomedical Texts
Rice University（莱斯大学）；University of Washington（华盛顿大学）
针对生物医学文本程序性知识提取缺乏端到端数据集的问题，提出FlaMBé数据集，涵盖单细胞研究流程标注及最大规模组织/细胞类型NER/NED数据，助力NLP模型发展并推动研究可重复性。
2023-09-04 cs.CL
What Happened? Leveraging VerbNet to Predict the Effects of Actions in Procedural Text
Allen Institute for AI（艾伦人工智能研究所）
我们的目标是回答有关描述过程的段落的问题（例如，光合作用）。这种类型的文本具有挑战性，因为行动的影响往往是隐含的（未说明的），需要背景知识和推理来推理不断变化的世界状态。为了提供这些知识，我们利用VerbNet来建立一个规则库（称为语义词典）的前提条件和行动的影响，并使用它与常识的持久性知识来回答有关变化的问题。我们的评估表明，我们的系统，ProComp，显着优于两个强大的阅读理解（RC）基线。我们的贡献有两个方面：语义词典规则库本身，以及演示基于模拟的机器阅读方法如何优于仅依赖表面线索的RC方法。自从进行了这项工作以来，我们已经开发出优于ProComp的神经系统，如其他地方所述（Dalvi等人，NAACL'18）。然而，语义词典仍然是一个新的和潜在的有用的资源，其与神经系统的集成仍然是一个目前尚未探索的机会，进一步改善机器阅读过程。
2018-04-15 cs.AI cs.CL
$I^2G$: Generating Instructional Illustrations via Text-Conditioned Diffusion
University of Rochester（罗切斯特大学）
提出语言驱动框架，将程序性文本分解为目标与步骤，通过成分解析、话语连贯模型及新评估协议，在三个数据集上显著优于基线，生成准确反映指令的视觉内容。
2025-05-22 cs.AI cs.CL
Tracking State Changes in Procedural Text: A Challenge Dataset and Models for Process Paragraph Comprehension
Allen Institute for AI（艾伦人工智能研究所）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们提出了一个新的数据集和模型，用于理解有关过程的段落（例如，光合作用），一个重要的文本类型描述了一个动态的世界。新的数据集ProPara是第一个包含关于不断变化的世界的自然（而不是机器生成的）文本以及这些变化期间实体状态（位置和存在）的完整注释（81k数据点）的数据集。最终任务，通过文本跟踪实体的位置和存在，是具有挑战性的，因为行为的因果影响往往是隐含的，需要推断。我们发现以前在合成数据上运行良好的模型在ProPara上仅实现了平庸的性能，并引入了两个新的神经模型，它们利用替代机制进行状态预测，特别是使用LSTM输入编码和跨度预测。新模型将准确性提高了19%。社区可在http://data.allenai.org/propara上获得数据集和模型。
2018-05-17 cs.CL
A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques
University of Georgia（佐治亚大学）
每天生成的文本数量正在急剧增加。这些大量的非结构化文本不能简单地被计算机处理和感知。因此，需要高效和有效的技术和算法来发现有用的模式。文本挖掘是从文本中提取有意义信息的任务，近年来受到了广泛的关注。在本文中，我们描述了几个最基本的文本挖掘任务和技术，包括文本预处理，分类和聚类。此外，我们简要介绍了文本挖掘在生物医学和医疗保健领域。
2017-07-28 cs.AI cs.CL cs.IR
Scalable Text Mining with Sparse Generative Models
University of Waikato（怀卡托大学）
信息时代带来了大量的数据。其中大部分是以文本形式出现的，人类无法逾越，计算机无法理解。文本挖掘是一个不断扩展的研究领域，旨在利用包含在大量文档集合中的信息。基于机器学习的常规数据采掘方法面临着文本数据规模的挑战，需要可扩展的文本挖掘方法。本文提出了一种可伸缩文本挖掘的解决方案：结合稀疏计算的生成模型。一个统一的形式化生成文本模型的定义，汇集了研究传统，使用正式等效的模型，但忽略了平行的发展。该框架允许使用在不同的处理任务（如检索和分类）中开发的方法，从而在不同的文本挖掘任务中产生有效的解决方案。提出了一种基于倒排索引的概率模型稀疏计算方法。这降低了根据稀疏性的常见文本挖掘操作的计算复杂性，产生具有现代搜索引擎的可扩展性的概率模型。建议的组合提供稀疏生成模型：文本挖掘的解决方案是通用的，有效的，可扩展的。对文本分类和排名检索数据集进行了广泛的实验，结果表明，所提出的解决方案在有效性上与领先的特定任务方法相匹配或优于领先的特定任务方法，维基百科文章分类的分类时间减少了一个数量级。所开发的方法进一步应用于2014年的两个Kaggle数据采掘竞赛，有超过一百个参赛团队，获得第一名和第二名。
2016-02-07 cs.AI cs.CL cs.IR
The Materials Science Procedural Text Corpus: Annotating Materials Synthesis Procedures with Shallow Semantic Structures
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
材料科学文献包含了数以百万计的材料合成程序描述的非结构化自然语言文本。对这些合成过程的大规模分析将促进对材料合成的更深入的科学理解，并实现自动化合成规划。这种分析需要从原始文本中提取合成过程的结构化表示作为第一步。为了方便合成提取模型的训练和评估，我们引入了一个由领域专家标注的230个合成过程的数据集，这些合成过程具有表示合成句子语义的标记图。这个图中的节点是合成操作及其类型化参数，带标签的边指定节点之间的关系。我们详细描述了这个新的资源，并强调了一些具体的挑战，浅语义结构的科学文本注释。我们将语料库提供给社区，以促进科学信息抽取系统的进一步研究和开发。
2019-07-13 cs.CL cs.LG
Pbm: A new dataset for blog mining
National University of Computer & Emerging Sciences（国家计算机与新兴科学大学）
随着Web 2.0提供协作内容创建和共享，文本挖掘变得至关重要。现在研究人员对文本挖掘方法发现知识的兴趣越来越大。文本挖掘研究人员来自不同的领域，如：自然语言处理，计算语言学，机器学习和统计学。一个典型的文本挖掘应用包括文本的预处理、词干提取和词形化、标注和注释、知识模式的推导、结果的评估和解释。有许多方法可以执行文本挖掘任务，如：聚类，分类，情感分析和摘要。对这些任务的评价标准化的必要性日益增加。建立标准化的一个主要组成部分是为这些任务提供标准数据集。虽然有各种标准的数据集可用于传统的文本挖掘任务，但有很少和昂贵的数据集博客挖掘任务。博客作为web2.0时代的一种新体裁，是网络用户的数字化日记，具有时间顺序的条目，包含了大量有用的知识，这给文本挖掘带来了挑战和机遇。在本文中，我们报告了一个新的土著数据集巴基斯坦政治博客圈。本文描述了数据汇集、组织和标准化的过程。我们已经使用这个数据集进行各种文本挖掘任务的博客圈，如：博客搜索，政治情绪分析和跟踪，有影响力的博客的识别，和聚类的博客帖子。我们希望为那些渴望在这一领域进一步追求的人免费提供此数据集。
2012-01-10 cs.AI cs.CL cs.IR
TILFA: A Unified Framework for Text, Image, and Layout Fusion in Argument Mining
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；HKUST（香港科技大学）；NVIDIA AI Technology Center (NVAITC), NVIDIA（英伟达人工智能技术中心（NVAITC），英伟达）
TILFA框架融合文本、图像和布局信息，处理含光学字符的混合论证数据，在立场分类任务中显著超越基线并获排行榜第一。
2023-10-08 cs.AI cs.CL
LLaPa: A Vision-Language Model Framework for Counterfactual-Aware Procedural Planning
Harbin Institute of Technology（哈尔滨工业大学）；University of New South Wales（新南威尔士大学）
本文提出视觉-语言模型框架LLaPa用于多模态程序化规划，结合任务-环境重排序器与反事实活动检索器增强推理，在ActPlan-1K和ALFRED基准上生成更优规划。
2025-07-11 cs.CL
Multi-granularity Argument Mining in Legal Texts
University of Pittsburgh（匹兹堡大学）
在本文中，我们将探讨使用多层次的粒度的法律论据挖掘。论证挖掘通常被概念化为句子分类问题。在这项工作中，我们将参数挖掘概念化为令牌级（即，词级）分类问题。我们使用Longformer模型来对令牌进行分类。结果表明，令牌级的文本分类识别某些法律论点的元素更准确地比证据级的文本分类。令牌级分类还提供了更大的灵活性来分析法律文本，并在处理大量输入数据时更深入地了解模型的重点。
2022-10-19 cs.CL cs.IR
Relevant CommonSense Subgraphs for "What if..." Procedural Reasoning
Michigan State University（密歇根州立大学）
我们研究的挑战，学习因果推理过程中的文本回答“如果.“在需要外部常识知识时提问。我们提出了一种新的多跳图推理模型，以1）有效地从一个大型的知识图谱中提取一个常识子图与最相关的信息; 2）通过推理从常识子图获得的表示和问题和上下文之间的上下文交互来预测因果答案。我们在WIQA基准上评估了我们的模型，并与最近的模型相比实现了最先进的性能。
2022-06-07 cs.CL
Towards an Argument Mining Pipeline Transforming Texts to Argument Graphs
Trier University（特里尔大学）
本文的研究目标是从自然语言文本中自动抽取议论文的信息成分及其相互关系。此外，我们解决了目前缺乏系统提供完整的论证结构，从任意自然语言文本的一般用途。我们提出了一个参数挖掘管道作为一个普遍适用的方法转换为基于图形的参数表示的德语和英语语言的文本。我们还介绍了新的方法来评估现有的基准参数结构的基础上的结果。我们的研究结果表明，生成的参数图可以是有益的，以检测新的连接之间的不同陈述的议论文。我们的管道实现在GitHub上公开提供。
2020-09-28 cs.AI cs.CL cs.LG
Opinion Mining on Non-English Short Text
Florida State University（佛罗里达州立大学）
随着此类场所的类型和数量的增加，文本资源上的情感自动分析已成为一项必不可少的数据采掘任务。在本文中，我们研究了非正式短文本收集的意见挖掘问题。文本的积极和消极的情感强度检测。我们专注于一种非英语语言，它几乎没有用于文本挖掘的资源。这种方法将有助于增强在不存在固执己见词列表的语言中的情感分析。提出了一种新的方法，根据文本的情感强度，将文本投影到密集的低维特征向量中。我们在多变量尺度上检测积极和消极情绪的混合物。土耳其推文的实证评估表明，我们的方法得到了很好的结果意见挖掘的建议框架。
2017-04-04 cs.CL cs.IR
Cross-institution text mining to uncover clinical associations: a case study relating social factors and code status in intensive care medicine
Bakar Computational Health Sciences Institute, University of California, San Francisco（加州大学旧金山分校巴卡尔计算健康科学研究所）；Julius Center for Health Sciences and Primary Care, University Medical Center Utrecht, Utrecht University（乌得勒支大学医学中心尤利乌斯健康科学与初级保健中心）
目的：嵌入在电子医疗记录中的临床笔记的文本挖掘越来越多地用于提取患者特征，否则无法或仅部分可用，以评估其与相关健康结果的关联。由于开发文本挖掘模型所需的手动数据标记是资源密集型的，我们研究了在外部机构开发的现成文本挖掘模型以及有限的机构内标记数据是否可以用于可靠地提取研究变量以进行关联研究。材料与方法：我们开发了多个文本挖掘模型的不同组合的机构内和外部机构的数据，以提取社会因素出院报告的重症监护病人。随后，我们评估了社会因素与不复苏/插管代码之间的关联。结果如下：在五分之三的情况下，基于手动标记数据的关联与文本挖掘的社会因素之间存在重要差异。采用外部机构文本挖掘模型，使用手动标记的机构内数据，导致模型具有更高的F1分数，但没有有意义的不同关联。讨论内容：虽然文本挖掘有助于将分析扩展到更大的样本，从而发现更多的关联，但估计可能不可靠。需要使用更好的文本挖掘模型进行确认，理想情况下是在更大的手动标记数据集上。结论：目前使用的文本挖掘模型不够准确，不能可靠地用于关联研究。使用机构内数据的模型适应并没有改善估计。需要进一步的研究来为文本挖掘在医学研究中的可靠使用创造条件。
2023-01-16 cs.CL stat.ME
Automated Spelling Correction for Clinical Text Mining in Russian
ITMO University（ITMO大学）
本文的主要目标是开发一个拼写检查模块的俄语临床文本。所描述的方法结合字符串距离测量算法和机器学习嵌入方法的技术。我们的整体精度为0.86，词法精度为-0.975，错误精度为0.74。针对拼写错误、否定、体验者和时态检测等问题，我们开发了拼写检查器作为医学文本挖掘工具的一部分。
2020-04-10 cs.CL
Core Conflictual Relationship: Text Mining to Discover What and When
在详细介绍了核心人际关系主题（CCRT）之后，我们提出了相关方法的目标，这些方法被描述为数据的语言化和可视化。这也被称为数据采掘和文本挖掘，以及数据中的知识发现。对应分析方法，也被称为几何数据分析，在案例研究中显示是全面和揭示。计算效率取决于分析过程的结构。为了说明和揭示案例研究的各个方面，本文使用了相对广泛的梦境报告。几何数据分析证实了CCRT方法的有效性。
2018-05-28 cs.CL
CU-UD: text-mining drug and chemical-protein interactions with ensembles of BERT-based models
University of Delaware（特拉华大学）；Weill Cornell Medicine（威尔康奈尔医学院）
确定化学物质和蛋白质之间的关系是一项重要的文本挖掘任务。BioCreative VII轨道1 DrugProt任务旨在促进能够自动检测PubMed摘要中化合物/药物与基因/蛋白质之间关系的系统的开发和评估。在本文中，我们描述了我们的提交，这是一个集成系统，包括多个基于BERT的语言模型。我们使用多数表决和多层感知器将各个模型的输出结合起来。我们的系统获得了0.7708的精确度和0.7770的召回率，为0.7739的F1分数，证明了使用基于BERT的语言模型的集成自动检测化学品和蛋白质之间的关系的有效性。我们的代码可在https://github.com/bionlplab/drugprot_bcvii上获得。
2021-11-11 cs.AI cs.CL
BioBERT: a pre-trained biomedical language representation model for biomedical text mining
Korea University（高丽大学）；Clova AI Research, Naver Corp（Naver公司Clova人工智能研究院）
随着生物医学文档数量的快速增长，生物医学文本挖掘变得越来越重要。随着自然语言处理（NLP）的发展，从生物医学文献中提取有价值的信息越来越受到研究人员的欢迎，深度学习推动了有效的生物医学文本挖掘模型的发展。然而，直接应用自然语言处理的进步，生物医学文本挖掘往往会产生不满意的结果，由于一个词的分布偏移从一般领域语料库的生物医学语料库。在这篇文章中，我们研究了最近引入的预训练语言模型BERT如何适用于生物医学语料库。我们介绍了BioBERT（Bidirectional Encoder Representations from Transformers for Biomedical Text Mining），这是一个在大规模生物医学语料库上预训练的特定领域语言表示模型。在任务之间具有几乎相同的架构，BioBERT在生物医学语料库上进行预训练时，在各种生物医学文本挖掘任务中的性能大大优于BERT和以前的最先进模型。虽然BERT获得的性能与以前的国家的最先进的模型，生物BERT显着优于他们在以下三个代表性的生物医学文本挖掘任务：生物医学命名实体识别（0.62%的F1分数提高），生物医学关系抽取（2.80%的F1分数提高）和生物医学问答（12.24%的MRR提高）。我们的分析结果表明，生物医学语料库上的预训练BERT有助于它理解复杂的生物医学文本。我们在https：//github.com/na…
2019-10-18 cs.CL
Life is a Circus and We are the Clowns: Automatically Finding Analogies between Situations and Processes
The Hebrew University of Jerusalem（希伯来大学）
类比产生了推理，抽象，灵活的分类和反事实推理-即使是今天最好的人工智能系统也缺乏这些能力。许多研究表明，类比是能够适应新领域的非脆弱系统的关键。尽管它们很重要，但类比在NLP社区中很少受到关注，大多数研究都集中在简单的单词类比上。处理更复杂的类比的工作严重依赖于手动构建的，难以缩放的输入表示。在这项工作中，我们探索了一个更现实，更具有挑战性的设置：我们的输入是一对自然语言程序文本，描述了一种情况或一个过程（例如，心脏如何工作/泵如何工作）。我们的目标是从文本中自动提取实体及其关系，并基于关系相似性找到不同域之间的映射（例如，血液映射到水）。我们开发了一个可解释的，可扩展的算法，并证明它识别正确的映射87%的时间为程序文本和94%的故事从认知心理学文献。我们发现它可以从一个大型的程序文本数据集中提取类比，达到79%的精度（数据中的类比流行率：3%）。最后，我们证明了我们的算法是强大的释义输入文本。
2023-01-19 cs.AI cs.CL
