Multimodal Procedural Planning via Dual Text-Image Prompting
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of California, Los Angeles(加州大学洛杉矶分校);University of California, Santa Cruz(加州大学圣克鲁兹分校)
该研究提出多模态程序规划任务,设计双模态提示方法TIP结合大语言模型与扩散模型能力,构建两个测试基准,验证了方法在规划信息性、时序一致性和准确性上的优势。
2023-05-02 cs.CL
PANGeA: Procedural Artificial Narrative using Generative AI for Turn-Based Video Games
Southern Methodist University Guildhall(南卫理公会大学Guildhall)
本研究提出PANGeA框架,在游戏设计师准则引导下利用大语言模型生成回合制RPG叙事内容,通过验证系统和定制记忆机制保障叙事一致性,支持多引擎与多类LLM集成,实验验证了其应对自由形式输入时的叙事生成能力。
2024-07-09 cs.AI cs.CL
ScriptWorld: Text Based Environment For Learning Procedural Knowledge
Indian Institute of Technology Kanpur(坎普尔印度理工学院)
本文提出ScriptWorld,首个基于脚本文本数据构建的日常现实活动交互式文本游戏环境,覆盖10项日常活动,并通过实验证明预训练语言模型的先验知识能有效提升强化学习智能体在现实世界文本游戏中的表现。
2023-07-08 cs.AI cs.CL cs.LG
PLSQLBench: Benchmarking LLM Systems for Executable Procedural Database Programming
Oracle AI, Turing Enterprise Inc(Oracle AI 图灵企业公司)
本研究提出首个过程式数据库编程基准PLSQLBench,含2865个任务实例,经8个LLM实验发现其在多方面存在困难,工具增强智能体性能有提升但仍有差距,凸显了传统基准未覆盖的能力。
2026-08-18 cs.CL
A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models
Rama Labs(Rama实验室)
提出一种实时音乐界面,将自然语言场景描述转化为可演化的程序化声景,通过直接参数调整实现细粒度控制,并采用三种可互换后端生成连贯音频流。
2026-07-02 cs.CL cs.HC cs.SD
Procedural Text Mining with Large Language Models
University of Brescia(布雷西亚大学);TIB Leibniz Information Centre for Science and Technology(TIB莱布尼茨科学技术信息中心)
本研究探索用GPT-4等大语言模型,以零样本和含本体、少样本的上下文学习变体,通过增量问答从非结构化PDF提取过程,验证了方法潜力,为解决过程提取中训练数据不足的难题提供了新路径。
2023-10-05 cs.AI cs.CL cs.IT
HERO'S JOURNEY: Testing Complex Rule Induction with Text Games
Department of Linguistics(语言学系);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出HERO'S JOURNEY基准,通过目标导向的文本游戏评估大型语言模型在属性与程序归纳任务中的规则推理能力,发现模型虽能进行规则归纳但能力有限且不均衡,程序执行成为瓶颈,而表面语义影响较小。
2026-06-01 cs.CL
Adaptive Multi-Resolution Procedural Knowledge Compression for Large Language Models
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
提出SKIM框架,通过自适应多分辨率软令牌压缩程序性技能,在保持任务性能的同时将技能令牌长度压缩至30%-60%。
2026-06-11 cs.CL
Intelligent Documentation in Medical Education: Can AI Replace Manual Case Logging?
Department of Computer Science, University of California, Davis, CA, USA(计算机科学系,加州大学戴维斯分校);Department of Radiology, University of California, Davis, CA, USA(放射学系,加州大学戴维斯分校)
本研究探讨了大型语言模型在自动完成放射学程序性病例记录中的可行性,结果显示LLMs在提取结构化信息方面表现优异,能有效减轻学员文书负担并提高记录一致性。
2026-01-19 cs.AI cs.CL
Multi-Agent Procedural Graph Extraction with Structural and Logical Refinement
Arizona State University(亚利桑那州立大学);NEC Labs America(NEC美国实验室)
本文提出多代理框架\model{},通过结构和逻辑细化提升过程图提取的准确性和可控性。
2026-01-27 cs.AI
ActPlan-1K: Benchmarking the Procedural Planning Ability of Visual Language Models in Household Activities
HKUST(香港科技大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本研究提出多模态规划基准ActPlan-1K,从多模态和反事实维度评估VLM的家庭活动流程规划能力,发现当前VLM表现仍有不足,并提供自动评估指标助力后续研究。
2024-10-04 cs.CL
Automating Skill Acquisition through Large-Scale Mining of Open-Source Agentic Repositories: A Framework for Multi-Agent Procedural Knowledge Extraction
本文提出一种多代理过程知识提取框架,通过挖掘开源仓库获取高质量代理技能,结合安全治理和评估指标实现可扩展的知识获取,提升知识转移效率40%。
2026-03-17 cs.AI
FlowExtract: Procedural Knowledge Extraction from Maintenance Flowcharts
University of Groningen(格罗宁根大学);Philips Consumer Lifestyle B.V.(飞利浦消费生活方式有限公司)
本文提出FlowExtract,通过分离元素检测与连接性重建,利用YOLOv8和EasyOCR提取标准流程图节点,结合新边检测方法实现高精度连接提取,优于视觉语言模型基线,为可查询的过程知识表示提供实用路径。
2026-08-25 cs.AI cs.CV
PARADISE: Evaluating Implicit Planning Skills of Language Models with Procedural Warnings and Tips Dataset
Johns Hopkins University(约翰斯·霍普金斯大学);Koç University(科克大学);KUIS AI(库伊斯人工智能研究院)
本文提出PARADISE数据集,通过基于wikiHow的警告与提示问答任务评估语言模型从目标推断隐式规划知识的能力,发现小型微调模型在多数场景优于大模型,但所有模型仍不及人类。
2024-06-06 cs.CL
Tacit Knowledge Extraction via Logic Augmented Generation and Active Inference
CNR - Institute of Cognitive Sciences and Technologies(CNR-认知科学与技术研究所);University of Bologna(博洛尼亚大学);MISTER Smart Innovation(MISTER智能创新);Consorzio MUSP(MUSP协会)
本文提出一种结合逻辑增强生成与主动推断的神经符号框架,用于构建基于本体的知识图谱,以提升工业领域隐性知识的表达与重用能力。
2026-05-08 cs.AI
5W1H Extraction With Large Language Models
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(工信部模式分析与机器智能重点实验室)
本研究针对5W1H新闻要素抽取,构建高质量数据集并设计多种提示与微调策略,实验证明微调模型性能优于ChatGPT,并验证了跨领域适应能力。
2024-05-25 cs.CL
50 Ways to Bake a Cookie: Mapping the Landscape of Procedural Texts
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
网络上充满了各种各样任务的指导,从给汽车换油到烤苹果派。然而,由于内容是独立创建的,因此单个任务可能有数千个相应的过程文本。这使得用户很难看到更大的画面,并理解可以完成任务的多种方式。在这项工作中,我们提出了一个无监督学习的方法总结成一个直观的图形表示多个程序的文本,让用户可以轻松地探索共性和差异。我们展示了我们的方法上的食谱,程序文本的一个突出的例子。用户研究表明,我们的表示是直观和连贯的,它有可能帮助用户完成几项感官构建任务,包括为新手厨师调整食谱,并找到创造性的方法来调味。
2022-10-31 cs.AI cs.CL
Procedural Knowledge Extraction from Industrial Troubleshooting Guides Using Vision Language Models
University of Groningen(Groningen大学)
本文研究如何利用视觉语言模型从工业故障排除指南中提取结构化知识,通过对比两种提示策略评估模型性能,揭示布局敏感性与语义稳健性的权衡。
2026-08-25 cs.AI cs.CV
Knowledge-Aware Procedural Text Understanding with Multi-Stage Training
Peking University(北京大学);Microsoft(微软)
过程文本描述了逐步自然过程中的动态状态变化(例如,光合作用)。在这项工作中,我们专注于过程文本理解的任务,其目的是理解这样的文档和跟踪实体的状态和位置在一个过程中。虽然最近的方法已经取得了实质性的进展,但它们的结果远远落后于人类的表现。常识推理的困难和数据不足这两个挑战仍然没有解决,这就需要结合外部知识库。以往的外部知识注入工作通常依赖于嘈杂的Web挖掘工具和启发式规则,适用的场景有限。在本文中,我们提出了一种新的知识感知过程文本理解(KOALA)模型,它有效地利用多种形式的外部知识在这项任务中。具体来说,我们检索翔实的知识三元组从ConceptNet和执行知识感知推理,同时跟踪的实体。此外,我们采用了一个多阶段的训练模式,微调BERT模型从维基百科收集的未标记的数据,然后进一步微调它的最终模型。在两个过程文本数据集ProPara和Recipes上的实验结果验证了所提出方法的有效性,与各种基线相比,我们的模型达到了最先进的性能。
2021-02-13 cs.AI cs.CL
Constructing Flow Graphs from Procedural Cybersecurity Texts
Arizona State University(亚利桑那州立大学)
遵循用自然语言编写的过程文本是具有挑战性的。我们必须阅读全文来识别相关信息或识别指令流程来完成一项任务,这很容易出现故障。如果这样的文本是结构化的,我们可以很容易地可视化推理流程,推理或推断特定的步骤,甚至构建自动化系统来帮助新手代理实现目标。然而,由于这些文本的多样性,这种结构恢复任务是一个挑战。本文提出从这些文本中识别相关信息,并在句子之间生成信息流。我们在网络安全领域建立了一个大型注释程序文本数据集(CTFW)(3154个文档)。此数据集包含有关软件漏洞分析经验的有价值的说明。我们在CTFW上进行了广泛的实验,在多种设置下使用我们的LM-GNN模型变体。为了展示这项任务和我们的方法的普遍性,我们还尝试了来自其他两个领域(维护手册和烹饪)的程序文本,这与网络安全有很大的不同。我们的实验表明,图卷积网络与BERT句子嵌入优于BERT在所有三个领域
2021-05-29 cs.AI cs.CL cs.CR
Everything Happens for a Reason: Discovering the Purpose of Actions in Procedural Text
Facebook AI Research(Facebook人工智能研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们的目标是更好地理解程序文本,例如,一段关于光合作用的文章,不仅预测发生了什么,而且预测为什么有些行动需要在其他行动之前发生。我们的方法建立在先前的过程理解框架上,用于预测行动的影响,也可以识别这些影响所能实现的后续步骤。我们提出了我们的新模型(XPAD),偏向于那些(1)解释更多的段落中的动作和(2)更合理的背景知识的影响预测。我们还扩展了现有的基准数据集程序文本理解,ProPara,通过增加新的任务,解释行动预测其依赖关系。我们发现,XPAD显着优于以前的系统在这项任务上,同时保持在ProPara的原始任务的性能。该数据集可在http://data.allenai.org/propara上获得
2019-09-18 cs.AI cs.CL
EgoOops: A Dataset for Mistake Action Detection from Egocentric Videos referring to Procedural Texts
Kyoto University(京都大学);Sony Interactive Entertainment(索尼互动娱乐)
针对现有错误检测研究缺乏流程文本支撑、相关数据集覆盖领域有限的问题,本文提出跨领域第一人称错误动作检测数据集EgoOops及结合视频文本对齐与标签分类的检测方法,验证了流程文本对错误检测的重要性。
2025-07-31 cs.AI cs.CL cs.CV
CLMSM: A Multi-Task Learning Framework for Pre-training on Procedural Text
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
本文提出CLMSM持续预训练框架,结合对比学习与掩码步骤建模,在食谱数据上预训练并在实体追踪与动作对齐任务中表现优异,具备跨域泛化能力。
2023-10-22 cs.AI cs.CL
MedTextWeaver: Procedural Knowledge Evolution in Agentic Medical Text Editing
School of Computing and Data Science, The University of Hong Kong(计算与数据科学学院,香港大学)
ExperienceWeaver 通过经验学习优化小样本下 LLM 的临床文本改进,通过提炼反馈知识提升模型修订能力。
2026-08-04 cs.AI cs.CL
WIQA: A dataset for "What if..." reasoning over procedural text
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们介绍了WIQA,第一个大规模的数据集“如果…“对程序性案文的质疑。WIQA包含三个部分:每个描述一个过程的段落的集合,例如,海滩侵蚀;每个段落的一组众包影响图,描述一个变化如何影响另一个;以及一个大型(40 k)的“如果......?“多项选择题来自图表。例如,给定一个关于海滩侵蚀的段落,暴风雨天气会导致更多或更少的侵蚀(或没有影响)?任务是根据相关段落回答问题。WIQA包含三类问题:对段落中提到的步骤的扰动;需要常识知识的外部(段落外)扰动;以及不相关(无影响)扰动。我们发现,最先进的模型达到了73.8%的准确率,远低于人类的96.3%。我们分析了挑战,特别是跟踪影响链,并将数据集作为一个开放的挑战提交给社区。
2019-09-10 cs.AI cs.CL
What Happened? Leveraging VerbNet to Predict the Effects of Actions in Procedural Text
Allen Institute for AI(艾伦人工智能研究所)
我们的目标是回答有关描述过程的段落的问题(例如,光合作用)。这种类型的文本具有挑战性,因为行动的影响往往是隐含的(未说明的),需要背景知识和推理来推理不断变化的世界状态。为了提供这些知识,我们利用VerbNet来建立一个规则库(称为语义词典)的前提条件和行动的影响,并使用它与常识的持久性知识来回答有关变化的问题。我们的评估表明,我们的系统,ProComp,显着优于两个强大的阅读理解(RC)基线。我们的贡献有两个方面:语义词典规则库本身,以及演示基于模拟的机器阅读方法如何优于仅依赖表面线索的RC方法。自从进行了这项工作以来,我们已经开发出优于ProComp的神经系统,如其他地方所述(Dalvi等人,NAACL'18)。然而,语义词典仍然是一个新的和潜在的有用的资源,其与神经系统的集成仍然是一个目前尚未探索的机会,进一步改善机器阅读过程。
2018-04-15 cs.AI cs.CL
$I^2G$: Generating Instructional Illustrations via Text-Conditioned Diffusion
University of Rochester(罗切斯特大学)
提出语言驱动框架,将程序性文本分解为目标与步骤,通过成分解析、话语连贯模型及新评估协议,在三个数据集上显著优于基线,生成准确反映指令的视觉内容。
2025-05-22 cs.AI cs.CL
FABLE: A Novel Data-Flow Analysis Benchmark on Procedural Text for Large Language Model Evaluation
University of South Carolina(南卡罗来纳大学)
本文提出了FABLE基准,通过跨三个领域的八种经典数据流分析评估LLM的数据流推理能力,发现推理模型准确率更高但推理速度较慢,而通用和代码模型表现接近随机猜测。
2025-05-30 cs.AI
ContractEval: Query-Conditioned Execution Matching for Procedural Instruction Conformance
Oracle Health AI(甲骨文健康人工智能);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
ContractEval通过将程序指令建模为查询活跃义务并与执行证据匹配,诊断LLM智能体执行中的结构性符合性失败,实现可审计的程序性符合性评估。
2026-09-10 cs.AI
Human-Aligned Procedural Level Generation Reinforcement Learning via Text-Level-Sketch Shared Representation
Gwangju Institute of Science and Technology(光州科学技术学院)
研究如何在过程级生成强化学习中实现人类对齐,提出VIPCGRL框架,整合文本、关卡和草图模态,通过四重对比学习训练共享嵌入空间,基于嵌入相似度调整策略,实验证明该框架在类人性上优于现有基线。
2026-07-20 cs.AI
Graph Guided Question Answer Generation for Procedural Question-Answering
Samsung AI Center, Cambridge(三星AI中心剑桥分部);Samsung AI Center, Toronto(三星AI中心多伦多分部)
本文提出一种图引导的程序性文本问答自动生成方法,将流程步骤与整体流程表示为图并以节点为条件生成可控、高语义覆盖的训练数据,从而训练出可在移动设备运行且性能超过GPT3和ChatGPT的小型任务特定QA模型。
2024-01-24 cs.AI cs.CL
From Memory to Guide: Spatio-Temporal Composer for Procedural Coding Memory
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));MemoraX AI
提出从记忆到引导范式,通过时空编排器将程序性记忆转化为运行时引导,在EngramBench的13项长时程任务中提升通过率7.2个百分点并减少32.2%令牌使用。
2026-10-06 cs.AI
Life is a Circus and We are the Clowns: Automatically Finding Analogies between Situations and Processes
The Hebrew University of Jerusalem(希伯来大学)
类比产生了推理,抽象,灵活的分类和反事实推理-即使是今天最好的人工智能系统也缺乏这些能力。许多研究表明,类比是能够适应新领域的非脆弱系统的关键。尽管它们很重要,但类比在NLP社区中很少受到关注,大多数研究都集中在简单的单词类比上。处理更复杂的类比的工作严重依赖于手动构建的,难以缩放的输入表示。在这项工作中,我们探索了一个更现实,更具有挑战性的设置:我们的输入是一对自然语言程序文本,描述了一种情况或一个过程(例如,心脏如何工作/泵如何工作)。我们的目标是从文本中自动提取实体及其关系,并基于关系相似性找到不同域之间的映射(例如,血液映射到水)。我们开发了一个可解释的,可扩展的算法,并证明它识别正确的映射87%的时间为程序文本和94%的故事从认知心理学文献。我们发现它可以从一个大型的程序文本数据集中提取类比,达到79%的精度(数据中的类比流行率:3%)。最后,我们证明了我们的算法是强大的释义输入文本。
2023-01-19 cs.AI cs.CL
Semi-automatic annotation process for procedural texts: An application on cooking recipes
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Université de Strasbourg/ENGEES(斯特拉斯堡大学/国立水、环境与森林工程学院);A2ZI
Taaable是一个基于案例的推理系统,它可以根据用户的限制来调整烹饪食谱。在它里面,食谱的准备部分被形式化为一个图表。该图是组成烹饪过程的指令序列的语义表示,并且用于结合文本适配来计算过程适配。它由烹饪动作和配料等组成,表示为顶点,以及它们之间的语义关系,表示为弧,并通过自然语言处理自动构建。自动注释过程的结果通常是一个断开的图形,表示不完整的注释,或者可能包含错误。因此,需要验证和纠正步骤。在本文中,我们提出了一个现有的图形工具命名为\kcatos,设想用于表示和编辑决策树,并显示它是如何被改编和集成在WikiTaaable,语义维基中使用的Taaable存储的知识。该界面为维基用户提供了一种纠正烹饪过程的案例表示的方法,同时提高了WikiTaaable中存储的有关烹饪过程的知识的质量。
2012-09-25 cs.AI
Transparent and Coherent Procedural Mistake Detection
University of Michigan(密歇根大学)
本文提出了一种透明且一致的程序性错误检测方法,通过生成视觉自我对话的合理性来提高检测性能,并利用NLI模型制定自动化指标以评估生成的合理性一致性。
2025-12-09 cs.AI cs.CL
ProcAgent: An Agentic Framework for Procedural Task Guidance on Edge with Human-in-the-Loop
University of Tennessee Knoxville(田纳西大学诺克斯维尔分校);Worcester Polytechnic Institute(伍斯特理工学院)
研究针对家具组装等过程性任务,提出ProcAgent框架,利用提议与验证架构,结合多种技术,在边缘设备上实现实时自适应指导,经多维度评估及用户研究,证明能在不牺牲可用性的情况下于边缘硬件达成自适应过程性辅助。
2026-07-29 cs.AI cs.HC
IPCGRL: Language-Instructed Reinforcement Learning for Procedural Level Generation
Gwangju Institute of Science and Technology (GIST), South Korea(全州科学技术学院(GIST));Dongseo University, South Korea(东国大学)
针对文本指令驱动的程序化内容生成问题,提出结合句子嵌入与强化学习的 IPCGRL,通过任务特定嵌入微调提升关卡生成的可控性与未见指令泛化能力。
2025-07-24 cs.AI cs.CL cs.LG
An Approach for Process Model Extraction By Multi-Grained Text Classification
School of Software, Tsinghua University(清华大学软件学院);Smeal College of Business, Penn State University(宾夕法尼亚州立大学斯米尔商学院)
过程模型提取(Process Model Extraction,PME)是近年来出现的一门介于自然语言处理(Natural Language Processing,NLP)和业务过程管理(Business Process Management,BPM)之间的交叉学科,旨在从文本描述中提取过程模型。以往的进程提取器严重依赖于人工特征,忽略了不同文本粒度的线索之间的潜在关系。在本文中,我们形式化的PME任务到多粒度的文本分类问题,并提出了一个分层的神经网络,有效地建模和提取多粒度的信息,而无需手动定义的程序功能。在这种结构下,我们相应地提出了粗到细(粒度)的学习机制,训练多粒度的任务在粗到细粒度的顺序,以共享低级别的任务的高层知识。为了评估我们的方法,我们从两个不同的领域构建了两个多粒度数据集,并从不同的维度进行了广泛的实验。实验结果表明,我们的方法优于最先进的方法,具有统计学意义,进一步的研究证明了其有效性。
2020-03-20 cs.AI cs.CL
Procedural Memory Is Not All You Need: Bridging Cognitive Gaps in LLM-Based Agents
aampe
本文指出LLMs仅依赖程序性记忆难以应对复杂多变环境,提出通过模块化架构融合语义记忆与联想学习,以构建具备自适应智能的智能体。
2025-05-06 cs.AI cs.LG
A Conglomerate of Multiple OCR Table Detection and Extraction
Birla Institute of Technology, Patna(比拉理工学院巴特那分校);Birla Institute of Technology, Mesra(比拉理工学院梅斯拉分校)
用表格表示信息是一种紧凑而简洁的方法,可以简化搜索、索引和存储要求。从可解析文档中提取和克隆表更容易且应用广泛,但行业在从OCR文档或图像中检测和提取表方面仍面临挑战。本文提出了一种从OCR文档中检测和提取多表的算法。该算法使用图像处理技术、文本识别和程序编码的组合来识别同一图像中的不同表格,并将文本映射到可存储为逗号分隔值、数据库、Excel和多种其他可用格式的点阵中的适当的对应单元格。
2020-10-16 cs.AI cs.IR
Proc3D: Procedural 3D Generation and Parametric Editing of 3D Shapes with Large Language Models
Proc3D利用大语言模型实现3D形状的可编辑生成,通过参数化编辑提升设计效率和准确性。
2026-01-18 cs.AI cs.CV cs.GR
Scientific and Technological Text Knowledge Extraction Method of based on Word Mixing and GRU
知识抽取的任务是从非结构化文本数据中抽取三元关系(头实体-关系-尾实体)。现有的知识提取方法分为“流水线”方法和联合提取方法。“流水线”方法是将命名实体识别和实体关系抽取分离,使用各自的模块进行抽取。这种方法虽然具有较好的灵活性,但训练速度较慢。联合抽取的学习模型是通过神经网络实现的端到端模型,同时实现实体识别和关系抽取,能够很好地保留实体和关系之间的关联,将实体和关系的联合抽取转化为序列标注问题。提出一种基于词混合和GRU的科技资源知识抽取方法,结合词混合向量映射方法和自注意力机制,有效提高中文科技资源文本关系抽取的效果。
2022-03-31 cs.AI cs.CL
Time-Stamped Language Model: Teaching Language Models to Understand the Flow of Events
Michigan State University(密歇根州立大学)
由于过程中描述的世界的动态性,在文本中描述的整个过程中跟踪实体具有挑战性。首先,我们建议制定这个任务作为一个问答问题。这使我们能够在其他QA基准测试中使用预先训练的基于transformer的语言模型,使其适应过程性文本理解。其次,由于基于transformer的语言模型不能单独对事件流进行编码,本文提出了一种基于时间戳的语言模型(TSLM模型),通过引入时间戳编码来对LM体系结构中的事件信息进行编码。我们的模型在Propara数据集上进行了评估,结果显示出对已发表的最新结果的改进,F1评分增加了$3.1\%$。此外,我们的模型在NPN-Cooking数据集上的位置预测任务上产生了更好的结果。这一结果表明,我们的方法是有效的程序性文本的理解一般。
2021-04-15 cs.AI cs.CL cs.LG
ReGraph: Learning to Generate Recipe Graphs from Food Images
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信体智能研究院);Singapore Management University(新加坡管理大学)
本研究针对现有食谱生成方法的过程结构捕捉不足问题,构建了ReGraph食谱图数据集并提出RGL两阶段框架,可让LMM从食物图像生成结构化食谱图,提升了烹饪实体与过程关系的生成效果。
2026-08-10 cs.AI
Parser Extraction of Triples in Unstructured Text
Wipro Limited(威普罗有限公司)
网络包含大量非结构化文本的存储库。我们调查的机会,建立一个知识图谱从这些文本源。我们生成了一组三元组,可用于知识收集和集成。我们定义了一个语言编译器的架构,使用OpenNLP解析器处理主谓宾三元组。我们实现了一个深度优先的搜索遍历的POS标记的语法树附加谓词和对象的信息。解析器能够更高精度和更高召回率地提取跨连接边界的句法关系。我们能够提取ReVerb正确提取的2-2.5倍。这些抽取被用于各种语义Web应用和问答中。我们验证了在CtrudeWeb数据集上提取50,000个三元组。
2018-11-06 cs.AI cs.CL cs.LG
SimWorlds: A Multi-Agent System for Dynamic 3D Scene Creation
Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学);University of California, Merced(加州大学默塞德分校)
提出多智能体框架SimWorlds,通过规划-编码-审查流程和运行时状态检查工具,从文本生成动态4D场景,并引入基准4DBuildBench评估视觉保真度和物理一致性。
2026-07-03 cs.AI
Automatic Extraction of Causal Relations from Natural Language Texts: A Comprehensive Survey
University of Waterloo(滑铁卢大学)
从自然语言文本中自动提取因果关系是人工智能领域的一个具有挑战性的开放性问题。大多数早期的解决方案都是在小型和特定领域的数据集上手动构建语言和句法规则。然而,随着大数据的出现,可负担得起的计算能力的可用性以及最近机器学习的普及,解决这个问题的范式已经慢慢改变。机器现在被期望以领域独立的方式,在最少的监督下从标记数据中学习通用的因果提取规则。在本文中,我们提供了一个全面的调查因果关系抽取技术从这两种范式,并分析其相对的优势和劣势,为今后的工作提出建议。
2016-05-25 cs.AI cs.CL cs.IR
Anything2Skill: Compiling External Knowledge into Reusable Skills for Agents
East China Normal University(华东师范大学);Shanghai AI Laboratory(上海人工智能实验室)
提出Anything2Skill框架,将异构外部知识编译为可复用、可检索、可执行的技能,结合RAG显著提升智能体任务成功率。
2026-06-23 cs.AI
Toward an Artificial General Teacher: Procedural Geometry Data Generation and Visual Grounding with Vision-Language Models
Freya
本文研究几何教育中的视觉解释问题,提出通过程序生成几何图示数据,结合视觉-语言模型进行领域特定微调,提升几何元素分割性能,并引入几何感知的评估指标。
2026-04-03 cs.AI cs.CV cs.LG
Unsupervised Text Extraction from G-Maps
University of Kalyani(卡利亚尼大学)
本文提出了一种从Google地图、GIS地图/图像中提取文本的方法。由于采用无监督方法,因此不需要关于文本和非文本部分的任何先验知识或训练集。采用模糊C均值聚类技术对图像进行分割,用Prewitt方法检测边缘。连通元分析和网格化技术提高了计算结果的正确性。该方法达到98.5%的准确率水平的基础上,实验数据集。
2014-04-24 cs.AI cs.CV
ArtisanCAD: An Industrial-Level CAD Agent with Expert-Grounded Knowledge Distillation
Peking University(北京大学);Eastern Institute of Technology(东方理工学院);Renmin University of China(中国人民大学);TenFong Technology Co., Ltd.(十方科技有限公司);IM Motors Technology Co., Ltd.(智己汽车科技有限公司)
研究针对工业部件CAD中现有方法的不足,提出ArtisanCAD智能体,利用专家基础知识蒸馏,以CAD中间表示为核心,能弥合文本意图与CAD构建差距,在基准测试和汽车部件设计中表现良好,可生成可编辑模型。
2026-07-09 cs.AI cs.GR