Comparison of Pre-trained Language Models for Turkish Address Parsing
Huawei Turkey R&D Center(华为土耳其研发中心)
本文聚焦土耳其语地址解析,全面评估多语言与土耳其语特定的BERT等预训练模型,并提出MLP微调方法,实验证明特定语言模型结合MLP微调效果略优。
2023-06-24 cs.CL cs.LG
MindBench: A Comprehensive Benchmark for Mind Map Structure Recognition and Analysis
Meituan(美团)
本文提出MindBench基准,通过五类结构化理解与解析任务系统评估多模态大语言模型在思维导图等结构化文档上的文本识别、空间感知和关系辨别能力,揭示了现有模型的潜力与不足。
2024-07-03 cs.AI cs.CL cs.CV
ZEROTOP: Zero-Shot Task-Oriented Semantic Parsing using Large Language Models
UC San Diego(加州大学圣迭戈分校);Microsoft Semantic Machines(微软语义机器公司)
我们探讨使用大语言模型(LLM)的zero-shot语义解析。语义解析涉及将自然语言语句映射到任务特定的含义表示。语言模型通常在公开可用的文本和代码上进行训练,并且不能期望在zero-shot设置中直接推广到特定于域的解析任务。在这项工作中,我们提出了ZEROTOP,一个zero-shot面向任务的分析方法,将语义解析问题分解成一组抽象和提取的问答(QA)问题,使我们能够利用LLM的能力,zero-shot回答阅读理解问题。对于每一个话语,我们提示LLM与问题相对应的顶级意图和一组插槽,并使用LLM代构建的目标意义表示。我们观察到,目前的LLM无法检测到无法回答的问题,因此,无法处理与缺失插槽对应的问题。为了解决这个问题,我们使用合成负样本在公共QA数据集上微调语言模型。实验结果表明,我们的基于QA的分解与微调LLM配对可以正确解析MTOP数据集中的话语~16%,而不需要任何注释数据。
2022-12-21 cs.CL
Calibrating LLMs for Text-to-SQL Parsing by Leveraging Sub-clause Frequencies
Carnegie Mellon University(卡内基梅隆大学);Bloomberg(彭博)
本文针对LLM在Text-to-SQL解析中自信出错的问题,提出利用SQL结构化特性的“子句频率”(SCF)分数,并通过多元Platt scaling(MPS)将其组合,有效提升了查询正确性置信度的校准与错误检测效果。
2025-09-17 cs.AI cs.CL cs.LG
Log Parsing: How Far Can ChatGPT Go?
The University of Newcastle(纽卡斯尔大学);Chongqing University(重庆大学)
本文评估 ChatGPT 在自动化日志解析中的有效性及不同提示方法的影响,发现适当提示(尤其少样本提示)可取得良好效果,并总结相关挑战与机遇。
2023-08-20 cs.AI cs.SE
LibreLog: Accurate and Efficient Unsupervised Log Parsing Using Open-Source Large Language Models
Concordia University(康考迪亚大学);DePaul University(德保罗大学)
本文提出无监督日志解析方法LibreLog,利用开源LLM(Llama3-8B)结合固定深度分组树、检索增强生成、自我反思和模板记忆技术,在保护隐私和降低成本的同时,实现了最先进的解析准确率和效率。
2024-11-18 cs.AI cs.SE
MicLog: Towards Accurate and Efficient LLM-based Log Parsing via Progressive Meta In-Context Learning
MicLog通过渐进元内省学习提升日志解析准确性和效率,实现更高精度与更快处理速度。
2026-01-11 cs.AI cs.SE
Overview of CAPITEL Shared Tasks at IberLEF 2020: Named Entity Recognition and Universal Dependencies Parsing
Cardiff University(卡迪夫大学)
我们介绍了在IberLEF 2020竞赛系列的背景下举行的CAPITEL-EVAL共享任务的结果。CAPITEL-EVAL由两个子任务组成:(1)命名实体识别和分类;(2)通用依存句法分析。两者的源数据都是一个新注释的语料库CAPITEL,一个新闻领域的西班牙语文章的集合。共有7个团队参加了CAPITEL-EVAL,在所有子任务中共提交了13次运行。有关该任务的数据、结果和更多信息,请访问sites.google.com/view/capitel2020。
2020-11-11 cs.CL
PhoNLP: A joint multi-task learning model for Vietnamese part-of-speech tagging, named entity recognition and dependency parsing
VinAI Research(VinAI研究院)
我们提出了第一个多任务学习模型-命名PhoNLP -联合越南语词性(POS)标记,命名实体识别(NER)和依存句法分析。在越南基准数据集上的实验表明,PhoNLP产生了最先进的结果,优于单任务学习方法,该方法独立地为每个任务微调预训练的越南语语言模型PhoBERT(Nguyen和Nguyen,2020)。我们在Apache License 2.0下公开发布PhoNLP作为开源工具包。虽然我们为越南语指定了PhoNLP,但我们的PhoNLP训练和评估命令脚本实际上可以直接用于其他语言,这些语言具有预先训练的基于BERT的语言模型和黄金注释语料库,可用于POS标记,NER和依存句法分析这三个任务。我们希望PhoNLP可以作为未来NLP研究和应用的强大基线和有用的工具包,不仅适用于越南语,也适用于其他语言。我们的PhoNLP可从以下网址获得:https://github.com/VinAIResearch/PhoNLP
2021-04-08 cs.CL
Czech Text Processing with Contextual Embeddings: POS Tagging, Lemmatization, Parsing and NER
Charles University(查理大学)
语境化嵌入是一种根据语境获取适当词义的方法。我们评估了两种预计算这种嵌入的方法,BERT和Flair,在四个捷克文本处理任务:词性(POS)标记,词形化,依赖分析和命名实体识别(NER)。前三个任务,词性标注,词形还原和依存句法分析,评估两个语料库:布拉格依存树库3.5和通用的依存关系2.3。在捷克命名实体语料库1.1和2.0上评估命名实体识别(NER)。我们报告了上述任务和语料库的最新结果。
2021-04-12 cs.CL
Nested Named Entity Recognition as Holistic Structure Parsing
Shanghai Jiao Tong University(上海交通大学)
命名实体识别(NER)作为自然语言处理的基础任务和知识抽取的核心技术之一,被广泛用于从文本中抽取信息,为后续任务提供支持。嵌套NER是NER的一个分支,其中命名实体(NE)彼此嵌套。然而,大多数以前的研究嵌套的NER通常采用线性结构来模拟嵌套的NE实际上是容纳在一个层次结构。因此,为了解决这种不匹配,这项工作模型的完整嵌套的NE在一个句子作为一个整体结构,然后我们提出了一个整体结构解析算法,揭示整个NE一次为所有。此外,目前还没有将语料库层面的信息应用于名词性英语的研究。为了弥补这些信息的丢失,我们引入了逐点互信息(PMI)和其他频率特征,从语料库感知统计,甚至更好的性能,从语料库级别的整体建模。实验表明,该模型在广泛使用的基准测试中取得了令人满意的结果,接近甚至达到了最先进的水平。进一步的实证研究表明,我们提出的语料库感知特征可以显著提高NER领域自适应,这表明了我们提出的语料库级整体结构建模的惊人优势。
2022-04-17 cs.CL
Addressing Resource and Privacy Constraints in Semantic Parsing Through Data Augmentation
UC Berkeley(加州大学伯克利分校);Microsoft Semantic Machines(微软语义机器公司)
我们介绍了一种新的设置低资源面向任务的语义解析,其中包括几个限制,可能会出现在现实世界的情况下:(1)缺乏类似的数据集/模型从相关领域,(2)无法直接从语法采样有用的逻辑形式,(3)隐私要求未标记的自然话语。我们的目标是改善低资源的语义分析器使用通过用户交互收集的话语。在这个极具挑战性但现实的环境中,我们研究数据增强方法,包括生成一组对应于逻辑形式的结构化规范话语,然后模拟相应的自然语言并过滤所产生的对。我们发现,尽管我们的设置受到限制,但这种方法是有效的:在复杂SMCalFlow数据集的低资源设置中(Andreas等人,2020年),我们观察到33%的相对改善超过非数据增强的基线在前1匹配。
2022-05-18 cs.AI cs.CL
Deepparse : An Extendable, and Fine-Tunable State-Of-The-Art Library for Parsing Multinational Street Addresses
Laval University(拉瓦尔大学);Group for Research in Artificial Intelligence of Laval University (GRAIL)(拉瓦尔大学人工智能研究组(GRAIL))
本文提出了Deepparse,一个基于深度学习的开源、可扩展且可微调的多国地址解析Python库,在60多个国家实现平均99%的解析准确率,支持多语言和任意地址标准,并允许用户使用新数据微调生成自定义解析器。
2023-11-20 cs.CL
Addressing the Data Sparsity Issue in Neural AMR Parsing
University of Rochester(罗切斯特大学);Brandeis University(布兰迪斯大学)
神经注意力模型在不同的NLP任务中取得了巨大的成功。然而,由于数据稀疏性问题,他们并没有履行他们在AMR解析任务上的承诺。在本文中,我们描述了一个序列到序列的AMR解析模型,并提出了不同的方法来解决数据稀疏性问题。我们表明,我们的方法在基线神经注意力模型上取得了显着的改进,我们的结果也与不使用额外语言资源的最先进的系统竞争。
2017-02-16 cs.CL
Leveraging Subword Embeddings for Multinational Address Parsing
Laval University(拉瓦尔大学)
地址解析包括标识组成地址的段,如街道名称或邮政编码。由于地址解析对于像记录链接这样的任务的重要性,已经有许多技术来处理它。神经网络方法为地址解析定义了一种新的最先进的方法。虽然这种方法取得了显着的成果,以前的工作只集中在应用神经网络,以实现从一个来源国的地址解析的地址。我们提出了一种方法,在该方法中,我们采用子字嵌入和递归神经网络架构,以建立一个单一的模型,能够学习解析来自多个国家的地址在同一时间,同时考虑到语言和地址格式系统的差异。我们在用于培训的国家实现了约99%的准确率,无需预处理或后处理。我们探讨的可能性,通过培训获得的地址解析知识的一些国家的地址转移到其他没有进一步的培训,在zero-shot迁移学习设置。我们在80%的国家(41个国家中的33个国家)取得了良好的成绩,其中近50%(41个国家中的20个国家)的性能接近最先进水平。此外,我们提出了一个开源的Python实现我们的训练模型。
2021-05-02 cs.CL cs.LG
Dependency Parsing as MRC-based Span-Span Prediction
Zhejiang University(浙江大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
高阶依存句法分析方法可以部分但不能完全解决依存树中的边应该在文本跨度/子树级别而不是词级别构造的问题。在本文中,我们提出了一种新的依存句法分析方法来解决这个问题。该方法通过直接建模跨度-跨度(换句话说,子树-子树)关系来构造依赖树。它由两个模块组成:{ \it文本跨度建议模块},其建议候选文本跨度,每个候选文本跨度表示由(root,start,end)表示的依赖关系树中的子树;以及{ \it跨度链接模块},其在建议的跨度之间构建链接。我们使用的机器阅读理解(MRC)框架作为骨干形式化的跨度链接模块,其中一个跨度被用作一个查询,以提取文本跨度/子树,它应该被链接到。该方法具有以下优点:(1)它解决了依赖树中的边应该在子树之间构造的基本问题;(2)MRC框架允许该方法在跨度建议阶段检索缺失的跨度,这导致对合格跨度的更高召回率。在PTB、CTB和UD基准测试上的大量实验证明了该方法的有效性。代码可在\url{https://github.com/ShannonAI/mrc-for-dependency-parsing}上获得
2022-05-21 cs.AI cs.CL
Multinational Address Parsing: A Zero-Shot Evaluation
Laval University(拉瓦尔大学)
地址解析包括标识组成地址的段,如街道名称或邮政编码。由于地址解析对于记录链接等任务的重要性,人们已经采用了许多技术来处理地址解析,最新的技术是依赖于神经网络。虽然这些模型产生了显著的结果,但以前关于神经网络的工作只集中在解析来自单个来源国家的地址。本文探讨了将通过在一些国家/地区的地址上训练深度学习模型获得的地址解析知识转移到其他国家/地区的可能性,而无需在zero-shot迁移学习设置中进行进一步训练。我们还在相同的zero-shot传输设置中使用注意力机制和域对抗训练算法来提高性能。这两种方法都为大多数受测试国家提供了最先进的性能,同时为其余国家提供了良好的结果。我们还探索了不完整地址对我们最佳模型的影响,并评估了在训练过程中使用不完整地址的影响。此外,我们还提出了一些训练模型的开源Python实现。
2021-12-07 cs.CL cs.LG
DORIC : Domain Robust Fine-Tuning for Open Intent Clustering through Dependency Parsing
POSTECH(浦项科技大学)
我们在对话系统技术挑战11(DSTC 11)中介绍了我们在轨道2上的工作。DSTC 11-Track 2旨在为zero-shot、跨域、意图集归纳提供基准。在缺乏域内训练数据集的情况下,可以跨域使用的鲁棒话语表示是诱导用户意图所必需的。为了实现这一点,我们利用多域对话数据集来微调语言模型,并提出提取动词-对象对以去除不必要信息的伪影。此外,我们还设计了一种方法来生成每个聚类的名称,以便于聚类结果的解释。我们的方法在精度得分方面取得了第三名的成绩,并且在各种领域数据集上显示出比基线模型更高的精度和归一化互信息(NMI)得分。
2023-03-17 cs.AI cs.CL
Straight to the Tree: Constituency Parsing with Neural Syntactic Distance
MILA(蒙特利尔学习算法研究所);University of Montréal(蒙特利尔大学);AdeptMind Scholar;University of Waterloo(滑铁卢大学);Microsoft Research(微软研究院)
在这项工作中,我们提出了一种新的选区解析方案。该模型预测一个向量的实值标量,命名为句法距离,在输入句子中的每个分裂位置。语法距离指定选择拆分点的顺序,以自上而下的方式递归地划分输入。与传统的移位-归约解析方案相比,我们的方法不存在复合错误的潜在问题,同时更快,更容易并行化。我们的模型在PTB数据集中的单个模型,判别式解析器中实现了有竞争力的性能,并且在CTB数据集中优于以前的模型。
2018-06-11 cs.AI cs.CL cs.LG
Coarse-to-Fine Decoding for Neural Semantic Parsing
Institute for Language, Cognition and Computation(语言、认知与计算研究所);University of Edinburgh(爱丁堡大学)
语义解析旨在将自然语言语句映射为结构化的意义表示。在这项工作中,我们提出了一个结构感知的神经架构,它分解成两个阶段的语义解析过程。给定一个输入话语,我们首先生成其含义的粗略草图,其中低级别信息(如变量名和参数)被掩盖。然后,我们通过考虑自然语言输入和草图本身来填充缺失的细节。四个不同领域和意义表征的数据集上的实验结果表明,我们的方法不断提高性能,实现竞争力的结果,尽管使用相对简单的解码器。
2018-05-12 cs.CL
AceParse: A Comprehensive Dataset with Diverse Structured Texts for Academic Literature Parsing
Shanghai Jiao Tong University(上海交通大学);IGSNRR, Chinese Academy of Sciences(中国科学院地理科学与资源研究所)
本文提出首个支持解析学术文献中公式、表格等多样结构化文本的综合性数据集AceParse,并基于此微调多模态模型AceParser,在F1分数和Jaccard相似度上分别超越SOTA 4.1%和5%。
2025-02-02 cs.AI cs.CL
Syntax-Semantics Interaction Parsing Strategies. Inside SYNTAGMA
本文讨论了SYNTAGMA,一个基于规则的自然语言处理系统解决棘手的问题,句法歧义减少和词义消歧,以及提供创新和原始的解决方案,成分生成和约束管理。为了深入了解它是如何运作的,该系统的总体架构和组件,以及它的词汇,语法和语义资源进行了描述。在此基础上,本文提出了一种通过句法和语义信息的相互作用进行选择性句法分析的机制,从而使句法分析器对输入文本进行连贯而准确的解释。
2016-01-21 cs.CL
Semi-Supervised Methods for Out-of-Domain Dependency Parsing
The University of Birmingham(伯明翰大学)
依存句法分析是自然语言处理的重要任务之一,它为文本分配句法树。由于依赖语料库的广泛可用性以及解析和机器学习技术的改进,基于监督学习的系统的解析准确性已经得到显著提高。然而,由于监督学习的性质,这些句法分析系统高度依赖于人工标注的训练语料库。它们在域内数据上工作得相当好,但在域外文本上测试时,性能显着下降。为了弥补域内和域外之间的性能差距,本文研究了三种用于域外依存句法分析的半监督技术,即协同训练、自训练和依存语言模型。我们的方法使用容易获得的未标记的数据,以提高域外解析的准确性,而不需要昂贵的语料库注释。在多个英文领域和多语种数据上的测试结果表明,该算法在句法分析准确率上有很好的提高。总的来说,这项工作进行了调查的半监督方法域外依存句法分析,在那里我扩展和比较了一些重要的半监督方法在一个统一的框架。这些技术之间的比较表明,自训练的作品同样以及合作训练域外解析,而依赖语言模型可以提高域内外的准确性。
2018-10-04 cs.CL
Towards Zero-Shot Frame Semantic Parsing for Domain Scaling
Google Research(谷歌研究院)
面向目标的人机对话语言理解系统的最先进的槽填充模型依赖于深度学习方法。虽然这种模型的多任务训练简化了对大型域内注释数据集的需求,但仅使用语义框架(例如后端API或知识图谱模式)来引导新领域的语义解析模型仍然是对话系统的语言理解的圣杯任务之一。本文提出了一种基于深度学习的方法,该方法可以仅利用上下文中的槽描述,而不需要任何标记或未标记的域内示例,以快速引导新的域。本文的主要思想是在多任务深度学习的插槽填充模型中利用插槽名称和描述的编码,以隐式地对齐跨域的插槽。所提出的方法是有前途的解决域缩放问题,并消除任何手动注释的数据或显式模式对齐的需要。此外,我们在多个域上的实验表明,与仅使用域内数据相比,这种方法可以显著提高插槽填充性能,特别是在低数据状态下。
2017-07-07 cs.AI cs.CL
Multi-Task Learning by using Contextualized Word Representations for Syntactic Parsing of a Morphologically Rich Language
VTT Technical Research Centre of Finland Ltd.(芬兰VTT技术研究中心有限公司);University of Konstanz(康斯坦茨大学);Al-Khawarizmi Institute of Computer Science(花剌子密计算机科学研究所);University of Engineering and Technology(工程技术大学);Umm Al-Qura University(乌姆·库拉大学);Copenhagen University(哥本哈根大学)
本文针对乌尔都语这一形态丰富语言,提出结合上下文词表示的多任务学习框架,通过统一序列标注和共享架构同时学习成分与依存结构,显著提升分析性能,F1达91.39,依存得分85.69。
2026-09-25 cs.AI cs.CL
Open-source Frame Semantic Parsing
University College London(伦敦大学学院)
虽然近年来框架语义解析的最新技术取得了巨大的进步,但最终用户仍然很难将最新技术的模型应用于实践。为了解决这个问题,我们提出了Frame Semantic Transformer,这是一个开源的Python库,它在FrameNet 1.7上实现了接近最先进的性能,同时专注于易用性。我们使用一个T5模型微调Propbank和FrameNet范例作为基础,并通过使用FrameNet词汇单元在推理时提供T5的提示来提高性能。我们通过在训练过程中使用文本数据增强来增强对真实数据的鲁棒性。
2023-03-22 cs.AI cs.CL cs.LG
Shallow Parsing Pipeline for Hindi-English Code-Mixed Social Media Text
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
在这项研究中,印度语-英语代码混合的社会媒体文本(CSMT)的浅层解析的问题已经解决。我们已经注释了数据,开发了一个语言标识符,一个规范化,一个词性标注器和一个浅层解析器。据我们所知,我们是第一个尝试在CSMT上进行浅层解析的。开发的管道已提供给研究界,使更好的印地语英语CSMT的文本分析的目标。该管道可在http://bit.ly/csmt-parser-api上访问。
2016-04-11 cs.CL
Shift-Reduce Constituent Parsing with Neural Lookahead Features
Singapore University of Technology and Design(新加坡科技与设计大学)
基于转换的模型可以快速准确地进行成分分析。与基于图表的模型相比,它们通过从跨越非局部成分的解析器堆栈中提取历史信息来利用更丰富的特征。另一方面,在增量解析期间,不利用当前单词右侧的成分信息,这是移位归约解析的相对弱点。为了解决这一限制,我们利用快速神经模型来提取前瞻特征。特别是,我们构建了一个双向LSTM模型,它利用完整的句子信息来预测每个单词开始和结束的成分的层次结构。然后将结果作为前瞻特征传递给基于强转换的成分解析器。与基线相比,所得到的解析器在WSJ中给出了1.3%的绝对改进,在CTB中给出了2.3%的绝对改进,给出了全监督解析的最高准确率。
2016-12-02 cs.CL
Annotating the Tweebank Corpus on Named Entity Recognition and Building NLP Models for Social Media Analysis
Harvard Medical School(哈佛医学院)
社交媒体数据,如Twitter消息(“tweets”),由于其简短,嘈杂和口语化的性质,对NLP系统构成了特殊的挑战。诸如命名实体识别(NER)和句法分析之类的任务需要高度领域匹配的训练数据以获得良好的性能。到目前为止,还没有完整的训练语料库用于NER和句法分析(例如,词性标记、依存句法分析)。虽然有一些公开可用的tweet注释NLP数据集,但它们只针对个别任务而设计。在这项研究中,我们的目标是创建Tweebank-NER,一个英语NER语料库的基础上Tweebank V2(TB 2),训练国家的最先进的(SOTA)推文NLP模型,并发布一个NLP管道称为Twitter-Stanza。我们使用Amazon Mechanical Turk为TB 2中的命名实体添加注释,并衡量注释的质量。我们在TB 2上对Stanza管道进行训练,并与其他NLP框架进行比较(例如,FLAIR,spaCy)和基于transformer的模型。Stanza tokenizer和lemmatizer在TB 2上实现了SOTA性能,而Stanza NER tagger,词性(POS)tagger和依赖解析器实现了与非transformer模型竞争的性能。基于transformer的模型在Tweebank-NER中建立了一个强大的基线,并在TB 2上的POS标注和依存句法分析中实现了新的SOTA性能。我们发布了…
2022-05-10 cs.CL
Statistical versus symbolic parsing for captioned-information retrieval
我们讨论的实现问题的MARIE-1,主要是符号解析器完全实现,和MARIE-2,更多的统计分析器部分实现。他们处理了10万个图片说明的语料库。我们认为MARIE-2的混合方法应该更适合这个语料库,因为它的算法(而不是数据)更简单。
1994-08-15 cmp-lg cs.CL
Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding
Amazon AWS AI Labs(亚马逊AWS人工智能实验室)
文本到SQL语义解析的研究主要依赖于解析器本身或基于简单启发式的方法来理解自然语言查询。在合成SQL查询时,解析器没有可用的NLQ的显式语义信息,这导致不理想的泛化性能。此外,没有词汇级细粒度的查询理解,查询和数据库之间的链接只能依赖于模糊字符串匹配,这导致在实际应用中的次优性能。鉴于此,本文提出了一个通用的,模块化的神经语义解析框架,是基于令牌级细粒度查询理解。我们的框架包括三个模块:命名实体识别器(NER),神经实体链接器(NEL)和神经语义解析器(NSP)。NER模型通过对查询和数据库进行联合建模,分析用户意图并识别查询中的实体。NEL模型将类型化实体链接到数据库中的模式和单元值。解析器模型利用可用的语义信息和链接结果,并基于动态生成的语法合成树结构的SQL查询。在最新发布的语义解析数据集SQUALL上的实验表明,该模型在WikiTableQuestions(WTQ)测试集上的执行准确率为56.8%,比现有模型高出2.7%.
2022-09-28 cs.CL
Is ChatGPT a game changer for geocoding -- a benchmark for geocoding address parsing techniques
Texas A&M University(德克萨斯A&M大学)
本研究构建含23.9万条低质量地址记录的地理编码地址解析基准数据集,对比评估GPT-3、Transformer类及双向LSTM-CRF模型的性能,发现双向LSTM-CRF表现最优,GPT-3少样本下具潜力并开源相关资源。
2023-12-15 cs.CL cs.LG
UDapter: Language Adaptation for Truly Universal Dependency Parsing
University of Groningen(格罗宁根大学)
多语言依存句法分析的最新进展使真正的通用语法分析器的想法更接近现实。然而,跨语言干扰和有限的模型能力仍然是主要障碍。为了解决这个问题,我们提出了一种新的多语言任务适应方法的上下文参数生成和适配器模块的基础上。这种方法允许通过语言嵌入来学习适配器,同时跨语言共享模型参数。它还允许一个简单而有效的整合现有的语言类型学功能到解析网络。由此产生的解析器,UDBACK,优于强大的单语和多语言的基线上的大多数高资源和低资源(zero-shot)的语言,显示出成功的建议的适应方法。我们的深入分析表明,通过类型特征共享软参数是成功的关键。
2020-10-06 cs.CL
Handling tree-structured text: parsing directory pages
Goldman Sachs(高盛)
文本阅读顺序的确定是文档理解的基础。这个问题很容易在页面中解决,其中文本被组织成一系列行,垂直对齐运行页面的高度(产生多个可以从左到右阅读的列)。我们提出了一种情况-目录页面解析问题-在页面上的信息是在一个不规则的,视觉组织,二维格式。目录页面在财务招股说明书中相当常见,并携带有关组织,其地址和关系的信息,这些信息是客户入职业务任务的关键。有趣的是,目录页有时具有层次结构,这就需要将阅读序列概括为阅读树。我们提出的解决方案,识别目录页面和构建阅读树的问题,使用(学习)分类器的文本段和自下而上(从右到左,自下而上)遍历段。该解决方案是生产服务的关键部分,支持从客户入职文档中自动提取组织、地址和关系信息。
2021-11-24 cs.CL
Towards Discourse Parsing-inspired Semantic Storytelling
DFKI GmbH(德国人工智能研究中心);pc GmbH Neue Kommunikation(3pc新传播有限公司)
我们以前的工作语义讲故事使用文本分析程序,包括命名实体识别和事件检测。在本文中,我们概述了我们对语义讲故事的长期愿景,并描述了当前的概念和技术方法。在推动我们研究的项目中,我们开发了基于人工智能的技术,这些技术得到了行业合作伙伴的验证。一个长期的目标是开发一种语义讲故事的方法,这种方法具有广泛的覆盖范围,而且是健壮的。我们提供了第一个实验结果,涉及话语分析,适用于一个具体的用例,"探索邻里!这是基于一个半自动收集的数据集,其中包含有关柏林一个地区值得注意的人的文件。虽然从纯文本中自动获得连贯关系的注释是一个不小的挑战,我们的初步结果是有希望的。我们设想我们的方法与其他特征(NER,共指消解,知识图谱)相结合
2020-04-25 cs.CL
Error Diversity Matters: An Error-Resistant Ensemble Method for Unsupervised Dependency Parsing
University of Alberta(阿尔伯塔大学);McGill University(麦吉尔大学)
针对无监督依存句法分析,提出一种考虑错误多样性的集成选择方法,通过事后聚合多种模型输出,避免错误累积,提升性能与鲁棒性。
2025-02-06 cs.AI cs.CL cs.LG
Bilingual Rhetorical Structure Parsing with Large Parallel Annotations
FRC CSC RAS(俄罗斯科学院联邦研究中心计算机科学中心);ISP RAS(俄罗斯科学院信息学问题研究所)
针对跨语言篇章解析中平行数据有限及RST应用不一致的问题,该研究为英文GUM RST语料库引入平行俄文标注,提出端到端RST解析器,在英俄语料库上取得最先进结果,并首次评估了跨语言端到端RST解析的潜力。
2024-09-23 cs.CL
Towards Generalizable and Robust Text-to-SQL Parsing
The Chinese University of Hong Kong(香港中文大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
文本到SQL解析解决了将自然语言问题映射到可执行SQL查询的问题。在实践中,文本到SQL解析器经常遇到各种具有挑战性的场景,要求它们具有通用性和健壮性。虽然大多数现有的工作都解决了特定的泛化或鲁棒性挑战,但我们的目标是以更全面的方式研究它。具体来说,我们认为文本到SQL的解析器应该是(1)在三个泛化级别上可泛化的,即i.i.d.,zero-shot和组合,以及(2)对输入扰动的鲁棒性。为了提高这些能力的解析器,我们提出了一种新的TKK框架,包括任务分解,知识获取,知识组合学习文本到SQL解析的阶段。通过将学习过程划分为多个阶段,我们的框架提高了解析器获取一般SQL知识的能力,而不是捕获虚假模式,使其更具泛化性和鲁棒性。在各种泛化和鲁棒性设置下的实验结果表明,我们的框架在所有场景下都是有效的,并在Spider,SParC和CoSQL数据集上实现了最先进的性能。代码可以在https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/tkk上找到。
2022-10-23 cs.CL
From SPMRL to NMRL: What Did We Learn (and Unlearn) in a Decade of Parsing Morphologically-Rich Languages (MRLs)?
Bar Ilan University(巴伊兰大学)
自SPMRL成立以来,已经整整十年了。SPMRL是一个研究计划,旨在解决形态丰富语言的统计解析(MRL)的特殊挑战。在这里,我们回顾了这十年来解析MRL的情况,重点介绍了前神经时代的架构,建模和词汇挑战的解决方案和经验教训,并认为类似的挑战再次出现在MRL的神经架构中。然后,我们的目标是提供一个高潮,这表明将SPMRL术语中提出的象征性思想融入到当今的神经架构中,有可能将MRL的NLP推向一个新的水平。我们勾画了设计MRL神经模型(NMRL)的策略,并通过调查希伯来语(一种形态丰富,高度融合的语言)中的多标记任务来展示对这些策略的初步支持
2020-05-04 cs.CL
Semantic Parsing with Syntax- and Table-Aware SQL Generation
Microsoft Research Asia(微软亚洲研究院);Microsoft AI and Research(微软人工智能与研究院);Harbin Institute of Technology(哈尔滨工业大学)
我们提出了一个生成模型映射到SQL查询的自然语言的问题。现有的基于神经网络的方法通常逐词生成SQL查询,然而,由于问题词和表内容之间的不匹配,所生成的结果的大部分是不正确的或不可执行的。我们的方法解决了这个问题,考虑表的结构和SQL语言的语法。生成的SQL查询的质量通过(1)学习从列名、单元格或SQL关键字复制内容;以及(2)通过利用列-单元格关系来改进WHERE子句的生成而得到显著提高。实验进行WikiSQL,最近发布的数据集最大的问题SQL对。我们的方法显着提高了国家的最先进的执行精度从69.0%到74.4%。
2018-04-23 cs.CL
A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages
IIT Kanpur(印度理工学院坎普尔分校);University of Cambridge(剑桥大学);University of Utah(犹他大学);Tata Consultancy Services(塔塔咨询服务公司);IIT Kharagpur(印度理工学院卡拉格普尔分校)
神经依存句法分析在许多领域和语言中都取得了令人瞩目的性能。大量标记数据的瓶颈限制了这些方法对低资源语言的有效性。在这项工作中,我们专注于依存句法分析的形态丰富的语言(MRL)在低资源设置。虽然形态信息是必不可少的依存句法分析任务,形态消歧和缺乏强大的分析器提出了挑战,以获得这些信息的MRL。为了应对这些挑战,我们提出了简单的辅助任务进行预训练。我们在低资源环境中对10个MRL进行实验,以测量我们提出的预训练方法的有效性,并观察到2点(UAS)和3.6点(LAS)的平均绝对增益。代码和数据可在https://github.com/jivnesh/LCM上获得
2021-04-12 cs.CL
Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem
Nanjing University(南京大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Squirrel AI Learning(松鼠AI智适应教育)
著名的Seq 2Seq技术及其众多变体在许多任务上实现了出色的性能,例如神经机器翻译,语义解析和数学单词问题解决。然而,这些模型要么只考虑输入对象作为序列,而忽略了重要的结构信息的编码,或他们简单地处理输出对象作为序列输出,而不是结构对象的解码。在本文中,我们提出了一种新的图到树神经网络,即Graph 2 Tree组成的图编码器和分层树解码器,编码增强的图结构的输入和解码的树结构的输出。特别是,我们研究了我们的模型解决两个问题,神经语义解析和数学单词问题。我们广泛的实验表明,我们的Graph 2 Tree模型在这些任务上的性能优于或匹配其他最先进的模型。
2020-10-06 cs.CL cs.LG stat.ML
Evaluating Inter-Bilingual Semantic Parsing for Indian Languages
Microsoft(微软);AI4Bharat;American Express, AI Labs(美国运通人工智能实验室);University of Utah(犹他大学)
针对印度语言缺乏复杂语义解析数据集的问题,本文构建覆盖11种语言的双语间 Seq2seq 数据集 IE-SEMPARSE,并通过多策略评测验证其与现有多语言基准性能高度相关。
2023-06-05 cs.CL
Structured Sentiment Analysis Using Sequence Labeling as Dependency Graph Parsing
Universidade da Coruña(拉科鲁尼亚大学);Graz University of Technology(格拉茨工业大学);University of Copenhagen(哥本哈根大学)
本研究将结构化情感分析转化为依存图解析任务,利用线性化图编码的序列标注方法,在五种语言七个数据集上取得与领先复杂单模型相当的性能。
2026-10-09 cs.CL
Towards Knowledge-Intensive Text-to-SQL Semantic Parsing with Formulaic Knowledge
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);National University of Singapore(新加坡国立大学)
在本文中,我们研究的问题,知识密集型的文本到SQL,其中领域知识是必要的解析专家的问题到SQL查询领域特定的表。我们通过构建一个新的中文基准测试KnowSQL来正式化这个场景,该测试由覆盖各个领域的特定领域问题组成。然后,我们通过呈现公式化的知识来解决这个问题,而不是通过注释额外的数据示例。更具体地说,我们构建了一个公式化的知识库作为领域知识库,并提出了一个框架(ReGroupP),利用这种公式化的知识在解析。使用ReGroupP的实验表明,KnowSQL总体上有28.2%的显着改进。
2023-01-03 cs.CL
Spatial Dependency Parsing for Semi-Structured Document Information Extraction
Clova AI, NAVER Corp.(NAVER公司Clova AI)
半结构化文档图像的信息抽取(IE)通常通过将每个识别的输入标记分类到IOB(内部、外部和开始)类别中的一个来处理序列标记问题。然而,这样的问题设置具有两个固有的局限性,即(1)它不能容易地处理复杂的空间关系,以及(2)它不适合于高度结构化的信息,尽管如此,在现实世界的文档图像中经常观察到这些信息。为了解决这些问题,我们首先制定的IE任务的空间依存句法分析问题,侧重于在文档中的文本标记之间的关系。在这种设置下,我们提出了SPADE(空间依赖性解析器),模型高度复杂的空间关系和任意数量的信息层的文档中的一个端到端的方式。我们对各种文档(如收据,名片,表单和发票)进行了评估,并表明与基于BERT的IOB taggger等强大基线相比,它实现了类似或更好的性能。
2021-07-01 cs.CL cs.LG
GraphQ IR: Unifying the Semantic Parsing of Graph Query Languages with One Intermediate Representation
Tsinghua University(清华大学);Huawei Cloud Computing Technologies Co., Ltd.(华为云计算技术有限公司)
由于自然语言和形式语言之间存在着巨大的语义鸿沟,神经语义解析在处理输入语义和输出语法方面的复杂性是其面临的主要问题。最近的工作已经提出了几种形式的补充监督,但没有一个是通用的跨多个形式语言。本文提出了一种统一的图查询语言中间表示(IR),命名为GraphQ IR,它具有一个类似自然语言的表达式,可以弥合语义鸿沟,并具有形式化定义的语法,可以维护图的结构。因此,神经语义解析器可以更精确地将用户查询转换为GraphQ IR,后者可以稍后被错误地编译为各种下游图查询语言。在标准i.i.d.下,对包括KQA Pro、Overnight、GrailQA和MetaQA-Cypher在内的多个基准测试进行了广泛的实验,分布外和低资源设置验证了GraphQ IR相对于先前最先进技术的优越性,最高精度提高了11%。
2022-11-07 cs.CL cs.DB
Three studies of grammar-based surface-syntactic parsing of unrestricted English text. A summary and orientation
本文研究了无约束英语文本自动表层句法分析的语法设计。它包括一个摘要和三篇文章。{ \it Morphological disambiguation}记录了在Fred Karlsson提出的约束语法框架内进行的英语形态(或词性)消歧的语法。消歧器试图丢弃那些由词法分析器提出的上下文不合法的替代形态分析。这1,100个约束表达了大约23个一般的、基本上是句法的陈述,作为对形态标记线性顺序的限制。形态学消歧器的错误率比另一种最先进的概率消歧器的错误率小大约十倍,因为两者都允许留下一些最难的歧义未解决。这种准确性表明了基于语法的自然语言解析方法的可行性,因此也有助于更广泛的关于概率与语言技巧{ \it Experiments with Analogistics}解决了如何解决那些在形态消歧器中仍然存在的歧义的问题。两种方法提出和经验评估:(i)启发式消歧的约束条件和(ii)从完全消歧的语料库的一部分,然后应用这些信息来解决剩余的歧义学习技术。
1994-06-27 cmp-lg cs.CL
Neural-Bayesian Program Learning for Few-shot Dialogue Intent Parsing
Hong Kong Polytechnic University(香港理工大学);WeBank Co Ltd(微众银行有限公司)
针对跨场景对话意图解析需大量特征工程与数据标注的痛点,提出少样本场景下的DI-Parser模型,通过多源数据元学习与少样本能力提升性能,优于现有最优模型,具备工业应用价值。
2024-10-08 cs.CL cs.LG
Lost in Speech: Benchmarking, Evaluation, and Parsing of Spoken Bilingual Conversational Language Beyond Standard UD Assumptions
Arizona State University(亚利桑那州立大学)
针对口语双语会话中的不流利和话语驱动结构,提出SpokeBench基准、Flex-UD评估指标和DECAP解析框架,显著提升依赖解析性能。
2026-06-08 cs.CL
A Tale of Two Linkings: Dynamically Gating between Schema Linking and Structural Linking for Text-to-SQL Parsing
University of Virginia(弗吉尼亚大学);Microsoft Research(微软研究院)
在文本到SQL的语义解析中,为生成的SQL查询选择正确的实体(表和列)是至关重要的,也是具有挑战性的;解析器需要将自然语言(NL)问题和SQL查询连接到数据库中的结构化知识。我们制定了两个链接过程,以解决这一挑战:模式链接链接明确的NL提到数据库和结构链接的实体在输出SQL中的数据库模式中的结构关系。直观地说,这两个链接过程的有效性变化的基础上产生的实体,因此,我们建议使用门控机制动态地选择它们之间。将所提出的方法与两个基于图神经网络的语义解析器以及BERT表示相结合,在具有挑战性的Spider数据集上展示了解析准确性的实质性收益。分析表明,我们提出的方法有助于增强结构的模型输出时,生成复杂的SQL查询,并提供更多的解释预测。
2020-11-22 cs.CL
Building a Macedonian Recipe Dataset: Collection, Parsing, and Comparative Analysis
Faculty of Computer Science(计算机科学与工程系);Ss. Cyril and Methodius University(西里尔和美多迪乌斯大学)
针对数字研究中马其顿食谱资源匮乏的问题,通过网络爬取、结构化解析与归一化处理构建首个马其顿食谱数据集,经共现分析挖掘其料理特征,为相关饮食文化研究提供新资源。
2025-11-17 cs.CL
Semantic Enhanced Text-to-SQL Parsing via Iteratively Learning Schema Linking Graph
Tsinghua University(清华大学)
对于旨在将人类话语解析成SQL语句的Text-to-SQL系统来说,对新数据库的可推广性是至关重要的。现有的工作实现了这一目标,利用精确匹配的方法来确定词汇之间的匹配问题的话和模式项目。然而,这些方法在其他具有挑战性的情况下失败,例如同义词替换,其中对应的问题词和模式项目之间的表面形式不同。在本文中,我们提出了一个名为ISESL-SQL的框架,迭代地建立一个语义增强的模式链接图之间的问题令牌和数据库模式。首先,我们提取一个模式链接图从PLM通过探测过程中的无监督的方式。然后在训练过程中通过深度图学习方法进一步优化模式链接图。同时,我们还设计了一个辅助任务,称为图正则化,以改善模式链接图中提到的模式信息。在三个基准测试上的大量实验表明,ISESL-SQL可以始终优于基线,进一步的调查表明其通用性和鲁棒性。
2022-08-08 cs.CL
Two Questions about Data-Oriented Parsing
在本文中,我目前正在进行的工作,面向数据的解析(DOP)模型。在以前的工作中,DOP进行了测试,从宾夕法尼亚州树库的一组清理的分析部分的语音字符串,取得了良好的测试结果。然而,这留下了两个重要的问题没有回答:(1)如果在未经编辑的数据上测试,DOP如何执行,以及(2)DOP如何用于解析包含未知单词的单词串?本文探讨了这些问题。我们表明,未编辑的数据上的解析结果比清理后的数据更差,虽然与其他模型相比非常有竞争力。至于单词串的解析,我们表明,这个问题的难度并不取决于未知的单词,但在以前看不见的词汇类别的已知单词。我们给出了一种新的方法来分析这些话,通过估计未知子树的概率。该方法是普遍感兴趣的,因为它表明,可以获得良好的性能,而不使用一部分的语音标记。据我们所知,我们的方法优于其他统计分析器测试Penn Treebank字串。
1996-06-17 cmp-lg cs.CL