ARID: A Deployable Edge AI System for Structured Information Extraction from Industrial Maintenance Work Orders
National Tsing Hua University（国立清华大学）
针对嵌入式离线处理维护工单需可预测结构化输出的问题，ARID在Jetson上结合双教师过滤、噪声感知合成、4位推理与语法约束解码，实现高F1的固定模式JSON提取，并验证输出有效性可迁移但语义不可迁移。
2026-09-22 cs.AI cs.CL cs.LG
A Comparative Study of Rule Extraction for Recurrent Neural Networks
McGill University（麦吉尔大学）；Pennsylvania State University（宾夕法尼亚州立大学）
通过规则提取来理解递归网络有着悠久的历史。由于需要解释或验证神经网络，这已经引起了新的兴趣。表示有状态规则的一种基本形式是确定性有限自动机（DFA）。以往的研究表明，从训练好的二阶递归网络中提取DFA不仅是可能的，而且是相对稳定的。最近，几种新类型的递归网络与更复杂的架构已经推出。这些处理具有挑战性的学习任务，通常涉及序列数据。然而，它仍然是一个悬而未决的问题，是否可以充分地从这些模型中提取的DFA。具体来说，目前还不清楚当应用于在不同复杂程度的数据集上训练的不同递归网络时，DFA提取将受到什么影响。在这里，我们研究了几个被广泛采用的递归网络上的DFA提取，这些网络被训练来学习一组七个规则的Tomita文法。我们首先正式分析富田文法的复杂性，并根据复杂性对这些文法进行分类。然后，我们实证评估不同的递归网络的DFA提取的所有富田文法的性能。我们的实验表明，对于大多数递归网络，其提取性能随着底层语法复杂度的增加而降低。在较低复杂度的文法上，大多数递归网络获得了理想的提取性能。对于复杂度最高的语法，几个复杂的模型都失败了，只有某些递归网络具有令人满意的提取性能。
2018-11-14 cs.CL cs.LG
Vietnamese Open Information Extraction
Ryerson University（瑞尔森大学）；York University（约克大学）；Angiang University（安江大学）
开放式信息抽取（Open Information Extraction，OIE）是从文本文档中自动抽取关系及其参数的过程，而不需要将搜索限制在预定义的关系中。近年来，世界动物卫生组织为英语建立了几个系统，但没有为越南语建立任何系统。在本文中，我们提出了一种方法，OIE越南语使用基于小句的方法。因此，我们利用越南语的依存句法分析使用语法子句，努力考虑所有可能的关系，在一个句子。对应的小句类型是根据其成分的语法功能，通过其命题作为可提取关系来识别的。因此，我们的系统是第一个OIE系统命名为vnOIE的越南语，可以生成开放的关系和他们的参数从越南语文本具有高度可扩展性的提取，同时是域独立的。实验结果表明，我们的OIE系统取得了令人满意的结果，准确率为83.71%。
2018-01-23 cs.CL
Information Extraction Using the Structured Language Model
本文提出了一种数据驱动的方法来信息抽取（视为模板填充）使用结构化语言模型（SLM）作为统计分析器。模板填充的任务被转换为使用SLM的约束解析。该模型是从一组用帧/槽标签和跨度注释的句子中自动训练的。培训分阶段进行：首先，训练受约束的句法分析器，使得对训练数据的分析满足指定的语义跨度，然后，丰富非终端标签以包含语义信息，最后，在从前一阶段得到的分析树上训练受约束的句法+语义分析器。尽管使用的训练数据量很小，但该模型的性能优于为MiPad -个人信息管理-任务手动编写的简单语义语法的槽级准确性。
2001-08-29 cs.CL cs.IR
Information Extraction of Clinical Trial Eligibility Criteria
Facebook Inc.（Facebook公司）
临床试验根据从患者人口统计学到食物过敏的各种标准来预测受试者的合格性。试用版将其需求作为语义复杂、非结构化的自由文本发布。将试验标准正式化为计算机可解释的语法将有助于确定合格性。在本文中，我们研究了一个信息抽取（IE）的方法接地标准从临床试验（点）政府共享的知识库。我们将这个问题框架为一个新的知识库人口任务，并实现了机器学习和上下文无关文法相结合的解决方案。据我们所知，这项工作是第一个标准提取系统应用注意力为基础的条件随机场架构的命名实体识别（NER），和word2vec嵌入聚类命名实体链接（NEL）。我们在GitHub上发布系统的资源和核心组件，网址为https://github.com/facebookresearch/Clinical-Trial-Parser。最后，我们报告我们的每一个模块和端到端的性能，我们得出结论，我们的系统是有竞争力的Criteria2Query，我们认为是目前最先进的标准提取。
2020-07-28 cs.CL
Application-driven automatic subgrammar extraction
对于许多应用程序来说，相对于手头任务的相对简单性，宽覆盖语法的空间和运行时间要求显得不合理地大。另一方面，手工开发依赖于应用程序的语法存在重复工作的危险，这些工作很难在其他应用程序上下文中重用。为了克服这个问题，我们在本文中提出了一个自动提取的应用程序调整一致的子文法证明大规模生成语法的过程。该程序已实现了大规模的系统语法和系统语法和类型统一的语法之间的形式等价的基础上。它的百科全书条目生成的评价，并讨论了未来的发展方向，适用性和扩展。
1997-11-19 cmp-lg cs.CL
Clinical Relationships Extraction Techniques from Patient Narratives
Zagazig University（扎加齐格大学）；Ain-Shames University（艾因夏姆斯大学）
临床电子科学框架（Clinical E-Science Framework，CLEF）项目旨在通过构建一个用于临床研究、循证医疗和基因型与表型信息学的系统，从医学文本中提取重要信息。该系统分为两个部分，一个部分涉及识别文本中临床重要实体之间的关系。利用完全解析和领域特定语法，可以应用多种方法来提取关系。在系统的第二部分，统计机器学习（ML）方法被应用于提取关系。用临床关系手工注释的肿瘤学叙述的语料库可以用于训练和测试已经通过监督机器学习（ML）方法设计和实现的系统。可以从这些文本中提取许多特征，这些特征用于由分类器构建模型。多个监督机器学习算法可以应用于关系提取。增加的功能，改变语料库的大小，并改变关系提取算法的类型的影响进行了检查。关键词：文本挖掘;信息抽取;自然语言处理;实体;关系。
2013-06-21 cs.CL cs.IR
Sparse Logistic Regression with High-order Features for Automatic Grammar Rule Extraction from Treebanks
Université Paris Nanterre（巴黎楠泰尔大学）；CNRS（法国国家科学研究中心）；Modyco（莫迪科研究所）；Sorbonne Université（索邦大学）；ISIR（机器人与交互系统研究所）；Institut Universitaire de France（法国大学研究院）
本文提出一种基于稀疏 Logistic Regression 的新方法，从 Treebanks 中提取并探索细粒度语法模式和潜在句法规则，结合统计信息对规则排名，在西班牙语、法语和 Wolof 语中成功捕获了已知与未知的显著语法规则。
2024-03-26 cs.CL
SAGE:Specification-Aware Grammar Extraction for Automated Test Case Generation with LLMs
University of Seoul, South Korea（首尔大学，韩国）；Yonsei University, South Korea（延世大学，韩国）
针对有限监督下从自然语言规范生成有效通用语法的难题，提出SAGE方法，通过微调开源LLM结合GRPO强化学习及迭代反馈归纳CCFG，在语法有效性和测试效果上均显著优于现有LLM。
2025-06-04 cs.CL
Tense, aspect and mood based event extraction for situation analysis and crisis management
Middle East Technical University（中东科技大学）；Graduate School of Informatics（信息学研究生院）
现在的事件抽取系统主要处理相对少量的关于情景的时间和模态限定的信息，主要处理过去时态的断言句。然而，具有更广泛的时态、体和语气覆盖范围的系统可以提供更好的分析，并且可以用于更广泛的文本分析应用。本论文针对土耳其语开发了一个这样的系统。这是通过扩展开放源代码信息挖掘和分析（OPTIMA）研究小组的事件提取软件，通过实现适当的扩展的语义表示格式，通过添加一个部分语法，提高TAM（时态，方面和语气）标记，副词分析和匹配功能的Express，并通过构建一个适当的词典在CORLEONE的标准。这些扩展基于IV锚定关系理论（Temürcü，2007，2011），这是一个跨语言适用的语义框架，用于分析时态，体和语气相关类别。其结果是一个系统，它可以，除了提取基本的事件结构，分类的句子在新闻报道中，根据其时间，模态和意志/言外之言的价值。虽然重点是土耳其语的自然灾害、疾病爆发和人为灾害的新闻报道，但这种方法可以适用于其他语言、领域和体裁。这一事件提取和分类系统经过进一步发展，可以为自动浏览系统提供基础，以防止环境和人道主义风险。
2020-08-01 cs.CL
Extraction of semantic relations from a Basque monolingual dictionary using Constraint Grammar
本文论述了利用词典半自动地构建词典和词汇知识库。我们研究的最终目标是用语义信息，如意义、定义、语义关系等，丰富巴斯克语词汇数据库，摘自巴斯克语单语词典本文的工作主要集中在提取最能体现中心词的语义关系，即同义关系、反义关系、上位关系和其他由特定关系词和派生词标记的关系。处理所有名词性、动词性和形容词性条目。巴斯克语使用形态变化来标记格，因此语义关系必须从后缀而不是介词推断。我们的方法结合了形态分析器和表面语法分析（基于约束语法），并已被证明是非常成功的高度曲折的语言，如巴斯克语。编写规则的工作量和字典的实际处理时间都非常少。目前，我们已经提取了42，533个关系，只剩下2，943个（9%）定义没有任何提取的关系。出错率非常低，因为只有2.2%的提取关系是错误的。
2000-10-17 cs.CL
Constructing Reference Sets from Unstructured, Ungrammatical Text
Fetch Technologies（Fetch技术公司）；University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
Web上大量的文本是非结构化和不合语法的，例如分类广告、拍卖列表、论坛帖子等。我们称这些文本为“帖子”。“尽管它们的结构不一致，缺乏语法，帖子充满了有用的信息。本文介绍了通过直接分析这些帖子来半自动构建关系信息表（称为“参考集”）的工作。参考集可以应用于许多任务，例如本体维护和信息抽取。我们的参考集构造方法从少量的背景知识开始，并构造表示帖子中的实体的元组以形成参考集。我们还描述了这种方法的特殊情况下，即使是少量的背景知识是不可能发现和使用的扩展。为了评估机器构造的参考集的效用，我们将它们与基于参考集的信息抽取中手动构造的参考集进行比较。我们的结果表明，我们的方法构造的参考集优于手动构造的参考集。我们还比较了基于参考集的提取方法使用机器构造的参考集监督提取方法使用通用功能。这些结果表明，使用机器构造的参考集优于监督方法，即使监督方法需要训练数据。
2014-01-16 cs.CL cs.IR
A survey on phrase structure learning methods for text classification
文本分类是将文本自动分类到预定义的类别之一的任务。文本分类问题在自然语言处理、数据采掘和信息检索等领域得到了广泛的研究。文本分类是许多信息管理任务的重要组成部分，如主题识别，垃圾邮件过滤，电子邮件路由，语言识别，体裁分类，可读性评估等。当使用短语模式时，文本分类的性能显着提高。短语模式的使用有助于捕获非本地行为，从而有助于改进文本分类任务。短语结构提取是短语模式识别的第一步。本文对短语结构学习方法进行了详细的研究。这将使未来的工作在几个NLP任务，它使用语法检查，问答，信息抽取，机器翻译，文本分类等短语结构的语法信息。本文还对短语结构学习方法进行了不同层次的分类和详细的比较。
2014-06-21 cs.CL
On the Possibility of Rewarding Structure Learning Agents: Mutual Information on Linguistic Random Sets
Universidad Tecnológica de la Mixteca（米斯特克理工大学）；Facultad de Ciencias – UNAM（墨西哥国立自治大学理学院）
我们提出了第一次尝试阐明一个理论和经验的方法来设计奖励提供的自然语言环境的一些结构学习代理。为此，我们重新审视的信息论的无监督诱导的短语结构语法的行为特征的模拟行动建模为集值随机变量（随机集的语言样本）构成语义结构。我们的研究结果表明，模拟的语义结构（开放信息抽取三元组）可以区分随机构建的观察其成分之间的互信息的经验证据。这表明了奖励结构学习代理的可能性，而不使用预先训练的结构分析器（Oracle演员/专家）。
2019-12-04 cs.AI cs.CL cs.IT
Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning
EPFL（洛桑联邦理工学院）；Université Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学，国家科学研究中心，格勒诺布尔理工学院，格勒诺布尔信息学实验室）
本文提出输入依赖语法约束解码方法，无需微调即可统一控制语言模型生成结构化输出，在信息抽取、实体消歧和成分句法解析任务上显著优于无约束模型甚至超越微调模型。
2024-01-18 cs.AI cs.CL cs.LG
Automatic Extraction of Bengali Root Verbs using Paninian Grammar
Jadavpur University（贾达普大学）
在这项研究工作中，我们提出了一种基于监督学习方法的算法，利用Panini [1]在Ashtadhyayi中提出的语法规则提取孟加拉语动词的根形式。这种方法可以应用于从梵语派生出来的语言。提出的系统已经开发的动词的时态，人称和形态变化的基础上，找到他们的根形式。研究工作分两个阶段进行：第一，将动词的表层形式或屈折形式分成一定数量的时态和人称相似的组。在这项任务中，使用了孟加拉语的标准模式。接下来，我们应用一套规则从动词的表层形式中提取词根形式。该系统已进行了测试，从孟加拉语文本语料库中开发的TDIL项目的印度政府收集的10000个动词。输出的准确率已达到98%，这是由语言专家验证。根动词识别是语义搜索、多句子搜索查询处理、语义理解、词义消歧、句子分类等过程中的关键步骤。
2020-03-31 cs.CL
A generic tool to generate a lexicon for NLP from Lexicon-Grammar tables
Université Paris-Est（巴黎东部大学）
词汇语法表是一种覆盖率很高的语法词典，但由于其依赖于隐含信息，不能直接应用于自然语言处理（NLP）中。在本文中，我们介绍了LGExtract，一个通用的工具，用于从词汇语法表中生成NLP的语法词典。它基于一个包含未定义信息的全局表和一个包含对所有表执行的所有操作的唯一提取脚本。我们还提出了一个实验，已进行生成一个新的法语动词和谓词名词的词汇。
2010-05-31 cs.CL
DLPaper2Code: Auto-generation of Code from Deep Learning Research Papers
IIIT Delhi（印度德里信息技术学院）；IBM Research, India（IBM印度研究院）
随着深度学习的研究论文越来越多，现有作品的可复制性或采用性成为一个挑战。这是由于缺乏作者提供的开源实现。此外，在不同的图书馆重新实现研究论文是一项艰巨的任务。为了应对这些挑战，我们提出了一种新的可扩展方法DLPaper2Code，用于提取和理解研究论文中可用的深度学习设计流程图和表格，并将其转换为抽象计算图。然后将提取的计算图实时转换为Keras和Caffe中的执行就绪源代码。创建了一个类似arXiv的网站，其中自动生成的设计可供5，000篇研究论文公开使用。生成的设计可以使用直观的拖放UI框架以众包方式进行评级和编辑。为了评估我们的方法，我们使用手动定义的语法创建了一个模拟数据集，其中包含超过216，000个有效的设计可视化。在模拟数据集上的实验表明，该框架在流程图内容提取中提供了超过$93\%$的准确性。
2017-11-09 cs.AI cs.LG stat.ML
Binding Language Models in Symbolic Languages
The University of Hong Kong（香港大学）；University of Washington（华盛顿大学）；University of Waterloo（滑铁卢大学）；Salesforce Research（赛富时研究院）；Yale University（耶鲁大学）；Shanghai Jiao Tong University（上海交通大学）；Allen Institute for AI（艾伦人工智能研究所）；Meta AI
虽然端到端神经方法最近在性能和易用性方面都主导了NLP任务，但它们缺乏可解释性和鲁棒性。我们提出了Binder，一个将任务输入映射到程序的无训练神经符号框架，它（1）允许将语言模型（LM）功能的统一API绑定到程序设计语言（例如，SQL，Python）来扩展其语法覆盖范围，从而解决更多样化的问题，（2）采用LM作为程序解析器和API在执行期间调用的底层模型，以及（3）只需要一些上下文中的范例注释。具体来说，我们采用GPT-3 Codex作为LM。在解析阶段，只有少量的上下文范例，Codex能够识别任务输入中原始程序设计语言无法回答的部分，正确地生成API调用以提示Codex解决无法回答的部分，并识别在哪里放置API调用，同时与原始语法兼容。在执行阶段，Codex可以执行多功能（例如，常识QA、信息抽取）在API调用中给出适当的提示。Binder在WikiTableQuestions和TabFact数据集上实现了最先进的结果，其显式输出程序有利于人类调试。请注意，以前最好的系统都是在数万个特定于任务的样本上进行微调的，而Binder只使用数十个注释作为上下文范例，而没有任何训练。我们的代码可在https://github.com/HKUNLP/Binder上获得。
2023-03-01 cs.CL
Learning Language from a Large (Unannotated) Corpus
描述了一种新的方法，从大型文本语料库中全自动、无监督地提取依存语法和相关的语法到语义关系映射。所建议的方法建立在作者先前对Link Grammar、RelEx和OpenCog系统的工作基础上，以及一些先前的论文和统计语言学习文献中的方法。如果成功的话，这种方法将能够直接从一个大型的、未注释的语料库中挖掘出支持自然语言理解和生成系统所需的所有信息。
2014-01-14 cs.CL cs.LG
Growing Graphs with Hyperedge Replacement Graph Grammars
University of Notre Dame（圣母大学）
发现存在于大型真实世界图中的底层结构是一个基本的科学问题。在本文中，我们表明，一个图的团树可以用来提取一个超边替换文法。如果我们存储来自提取过程的排序，则保证提取的图语法生成原始图的同构副本。或者，可以使用图形语法规则的随机应用来快速创建随机图形。在大型现实世界的网络实验中，我们表明，随机图，从提取的图形语法生成，表现出广泛的性质，是非常相似的原始图形。除了度或特征向量中心性等图形属性之外，图形的“外观”最终取决于局部图形子结构中的小细节，这些细节难以在全局级别上定义。我们表明，我们的生成图模型是能够保留这些局部子结构时，生成新的图形和执行良好的新的和困难的模型鲁棒性测试。
2016-08-10 cs.CL cs.SI
Verbal chunk extraction in French using limited resources
探索了一种提取法语动词词块的方法，并在有效语料库上进行了测试。声明性的形态和本地语法规则，指定块和一些简单的上下文结构，依赖于有限的词汇信息和一些简单的启发式/统计特性，从受限制的语料库。具体的目标，该系统的架构和形式主义，它依赖的语言信息和有效语料库上取得的成果。
2004-08-26 cs.CL
Automatic Extraction of Rules Governing Morphological Agreement
Carnegie Mellon University（卡内基梅隆大学）；George Mason University（乔治梅森大学）
建立语言的描述文法是语言文档化和保存的一个必不可少的步骤。然而，与此同时，这是一项繁琐、耗时的任务。在本文中，我们采取步骤自动化这一过程，设计一个自动化的框架，从原始文本中提取一个简明的，人类和机器可读的格式的第一遍语法规范。我们专注于提取规则描述协议，在世界上许多语言的语法的核心形态句法现象。我们将我们的框架应用于Universal Advertisement项目中包含的所有语言，并取得了可喜的成果。使用跨语言迁移，即使在感兴趣的语言中没有专家注释，我们的框架也提取了语法规范，该语法规范几乎等同于使用大量黄金标准注释数据创建的语法规范。我们通过人类专家对我们的框架产生的规则进行评估来证实这一发现，其平均准确率为78%。我们在https://neulab.github.io/lase/上发布了一个界面来演示提取的规则。
2020-10-06 cs.CL
DT-grams: Structured Dependency Grammar Stylometry for Cross-Language Authorship Attribution
Universität Innsbruck（因斯布鲁克大学）
跨语言的作者归属问题依赖于翻译，使使用单一语言的功能，或语言无关的特征提取方法。直到最近，缺乏数据集的这个问题阻碍了后者的发展，和单一语言的解决方案进行机器翻译语料库。在本文中，我们提出了一种新的独立于语言的功能，作者分析依赖图和通用部分的语音标签的基础上，被称为DT-gram（依赖树图），这是通过选择特定的子部分的依赖图的句子。我们通过对双语作者的未翻译数据集进行跨语言作者归属来评估DT-gram，结果表明，平均而言，它们在五种不同语言对中的宏观平均F1得分比以前的方法高出0.081。此外，通过提供不同特征集的结果进行比较，我们为以前未翻译的跨语言作者归属任务提供了一个基线。
2021-06-10 cs.CL
The Scope of In-Context Learning for the Extraction of Medical Temporal Constraints
Dartmouth College（达特茅斯学院）；Washington State University（华盛顿州立大学）；Arizona State University（亚利桑那州立大学）；University of Virginia（弗吉尼亚大学）
本文提出医学时间约束分类体系与基于上下文无关文法的表示模型，并开发上下文学习方法自动提取药物指南中的时间约束，平均F1达0.62。
2023-10-16 cs.CL cs.LG
Entity Graph Extraction from Legal Acts -- a Prototype for a Use Case in Policy Design Analysis
Warsaw University of Technology（华沙工业大学）；University of Warsaw（华沙大学）
本文提出一个面向公共政策设计定量研究的原型系统，通过自动收集法律文件、制度语法标注和超图分析实体间关系，并以2003年UNESCO《保护非物质文化遗产公约》进行测试验证。
2022-09-02 cs.CL cs.HC cs.IR
An Ensemble Approach for Automatic Structuring of Radiology Reports
CodaMetrix（科达矩阵）；Amazon（亚马逊）；Mass General Physicians Organization（麻省总医院医师组织）
电子医疗记录的自动结构化对于临床工作流程解决方案具有很高的要求，以便于提取、存储和查询患者护理信息。然而，开发可扩展的解决方案极具挑战性，特别是对于放射学报告，因为大多数医疗机构要么不使用模板，要么使用部门/机构特定的模板。此外，放射科医生的报告风格各不相同，因为句子是电报式的，不遵循一般的英语语法规则。我们提出了一个集成的方法，巩固了三个模型的预测，捕捉文本信息的各种属性的自动标签的句子与部分标签。这三种模式是：1）焦点句子模型，捕获目标句子的上下文; 2）周围上下文模型，捕获目标句子的邻近上下文;以及最后，3）布局/布局模型，旨在学习报告格式提示。我们利用双向LSTM，其次是句子编码器，以获取上下文。此外，我们定义了几个功能，包括报告的结构。我们将我们提出的方法与专有数据集上的多个基线和最先进的方法进行比较，以及来自MIMIC-III数据集的100个手动注释的放射学笔记，我们正在公开提供。我们提出的方法显著优于其他方法，达到97.1%的准确率。
2020-10-11 cs.CL cs.LG
