A Conditional Splitting Framework for Efficient Constituency Parsing
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）；Institute for Infocomm Research, A-STAR（A*STAR资讯通信研究院）
我们引入了一个通用的seq 2seq解析框架，将选区解析问题（句法和话语解析）转化为一系列有条件的分割决策。我们的解析模型估计在给定的文本跨度可能的分裂点的条件概率分布，并支持有效的自上而下的解码，这是线性的节点数。条件分裂公式与高效的束搜索推理一起促进结构一致性，而不依赖于昂贵的结构化推理。至关重要的是，对于话语分析，我们表明，在我们的配方，话语分割可以作为一个特殊的情况下，分析，使我们能够进行话语分析，而不需要分割为先决条件。实验表明，我们的模型在标准的句法分析任务上取得了良好的效果，在有/没有预先训练的表示和竞争对手的国家的最先进的（SoTA）的方法，比我们的计算成本更高。在话语分析中，我们的方法优于SoTA的一个很好的保证金。
2021-06-30 cs.AI cs.CL
Semantic Parsing of Interpage Relations
Istanbul Technical University（伊斯坦布尔技术大学）；Yapı Kredi Teknoloji（Yapı Kredi科技公司）
文档的页面级分析一直是数字化工作中感兴趣的主题，并且多模态方法已被应用于分类和页面流分割。在这项工作中，我们专注于捕捉更精细的多页文档的页面之间的语义关系。为此，我们正式的任务，作为语义解析的页间关系，我们提出了一个端到端的方法进行页间依赖提取，灵感来自依存句法分析文献。我们进一步设计了一个多任务训练方法，以联合优化用于分割，分类和解析页面依赖关系的页面嵌入，使用从页面中提取的文本和视觉特征。此外，我们还结合了两种模态的特征，以获得多模态页面嵌入。据我们所知，这是第一个研究，以提取丰富的语义跨页关系的多页文档。我们的实验结果表明，所提出的方法提高了41个百分点的LAS语义解析，提高了33个百分点的准确性页面流分割，和45个百分点的页面分类在一个天真的基线。
2022-05-26 cs.CL cs.LG
End-to-End Chinese Parsing Exploiting Lexicons
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
传统的汉语句法分析主要采用分词、词性标注和依存句法分析三个流水线系统来完成。本文提出了一种基于字符输入的端到端汉语句法分析模型，该模型联合学习输出分词、词性标记和依存结构。特别是，我们的解析模型依赖于词字符图注意力网络，它可以丰富的字符输入与外部的单词知识。在三个中文句法分析基准数据集上的实验表明了该模型的有效性，在端到端的中文句法分析中取得了较好的结果。
2020-12-08 cs.CL
Zero-Shot Dependency Parsing with Worst-Case Aware Automated Curriculum Learning
University of Copenhagen（哥本哈根大学）；Uppsala University（乌普萨拉大学）；KU Leuven（鲁汶大学）；National University of Defense Technology（国防科技大学）
大型多语言预训练语言模型，如mBERT和XLM-RoBERTa，被发现对于句法分析模型的跨语言迁移非常有效（Wu and Dredze 2019），但仅限于相关语言之间。然而，当解析真正的低资源语言时，源语言和训练语言很少相关。为了弥补这一差距，我们采用了一种多任务学习的方法，该方法依赖于自动化课程学习，以动态优化离群语言的解析性能。我们表明，这种方法是显着优于均匀和大小比例抽样的zero-shot设置。
2022-03-16 cs.CL
Iterative Utterance Segmentation for Neural Semantic Parsing
Microsoft Research Asia（微软亚洲研究院）
神经语义解析器通常无法解析长而复杂的话语到正确的意义表示，由于缺乏利用的原则组合。为了解决这个问题，我们提出了一个新的框架，通过迭代话语分割提高神经语义解析器。给定一个输入话语，我们的框架迭代两个神经模块之间：一个分段器用于从话语中分割一个跨度，和一个解析器用于将跨度映射到部分含义表示。然后，这些中间的分析结果被组合成最终的意义表示。一个关键的优点是，这个框架不需要任何手工模板或额外的标记数据的话语分割：我们实现这一点，通过提出一种新的训练方法，其中解析器提供伪监督的分割器。在Geo，ComplexWebQuestions和Formulas上的实验表明，我们的框架可以持续提高不同领域的神经语义解析器的性能。在需要组合泛化的数据分割上，我们的框架带来了显着的准确性提高：Geo 63.1到81.2，Formulas 59.7到72.7，ComplexWebQuestions 27.1到56.3。
2020-12-13 cs.CL
Joint Syntacto-Discourse Parsing and the Syntacto-Discourse Treebank
Oregon State University（俄勒冈州立大学）
语篇分析一直被视为独立于选区分析或依存句法分析的独立问题。解决这个问题的大多数尝试都是流水线式的，而不是端到端的，复杂的，不独立的：他们假设黄金标准的文本分割（基本话语单位），并使用外部解析器的句法特征。在本文中，我们提出了第一个端到端的话语分析器，联合分析在句法和话语水平，以及第一个句法话语树库集成Penn树库与PennyTreebank。该句法-语篇联合分析器建立在我们最近提出的基于跨度的选区分析器的基础上，不需要任何预处理（如分割或特征提取），达到了最先进的端到端语篇分析精度。
2017-08-28 cs.CL
Zero-shot Dependency Parsing with Pre-trained Multilingual Sentence Representations
Amazon Alexa AI（亚马逊Alexa AI）；University of Groningen（格罗宁根大学）
我们调查是否现成的深双向句子表示训练的大规模多语言语料库（多语言BERT），使无监督的通用依赖分析器的发展。这种方法只利用多种语言的单语语料库的混合，不需要任何翻译数据，使其适用于低资源语言。在我们的实验中，我们在使用单个系统的同时，在共享任务的所有六种真正低资源语言中，都优于最好的CoNLL 2018语言特定系统。然而，我们也发现，（i）分析准确率仍然变化显着时，改变训练语言和（ii）在一些目标语言zero-shot转移失败的所有测试条件下，提出了对整个方法的“通用性”的关注。
2019-10-12 cs.CL
An attentive neural architecture for joint segmentation and parsing and its application to real estate ads
Ghent University（根特大学）；imec（imec研究所）
在使用自然语言处理（NLP）技术处理人类产生的文本时，出现的两个基本子任务是（i）将纯文本分割成有意义的子单元（例如，实体），以及（ii）依存句法分析，以建立子单元之间的关系。在本文中，我们开发了一个相对简单和有效的神经联合模型，执行分割和依存句法分析在一起，而不是在大多数国家的最先进的作品一个接一个。我们将特别关注房地产广告设置，旨在将广告转换为结构化描述，我们将其命名为属性树，包括以下任务：（1）识别属性的重要实体（例如，房间）和（2）将它们构造成树格式。在这项工作中，我们提出了一个新的联合模型，能够同时处理这两个任务，并构建属性树（i）避免错误传播，将出现从子任务一个接一个的流水线方式，（ii）利用子任务之间的相互作用。为此，我们对管道方法和新提出的联合模型进行了广泛的比较研究，报告属性树的整体边缘F1得分提高了超过三个百分点。此外，我们提出了注意力方法，以鼓励我们的模型在构建属性树的过程中专注于突出的令牌。因此，我们通过实验证明了所提出的联合模型的注意神经架构的有用性，展示了我们的应用程序的边缘F1分数进一步提高了两个百分点。
2018-03-19 cs.CL
82 Treebanks, 34 Models: Universal Dependency Parsing with Multi-Treebank Models
Uppsala University（乌普萨拉大学）；Google Research（谷歌研究院）
我们为CoNLL 2018通用依存句法分析共享任务提供了乌普萨拉系统。我们的系统是一个管道，由三个部分组成：第一个执行联合单词和句子分割;第二个预测词性标签和形态特征;第三个预测依赖树的单词和标签。我们不是为每个树库训练一个解析模型，而是为一种语言或密切相关的语言训练多个树库模型，大大减少了模型的数量。在正式测试中，我们在LAS和MLAS指标的27支球队中排名第7。我们的系统在分词、通用词性标注和形态特征方面获得了最好的分数。
2018-09-06 cs.CL
Predicting Above-Sentence Discourse Structure using Distant Supervision from Topic Segmentation
University of British Columbia（不列颠哥伦比亚大学）
RST风格的语篇分析在许多NLP任务中起着至关重要的作用，揭示了潜在的复杂和多样的文档的潜在语义/语用结构。尽管它的重要性，在现代话语分析中最普遍的限制之一是缺乏大规模的数据集。为了克服数据稀疏性问题，最近提出了来自情感分析和摘要等任务的远程监督方法。在这里，我们通过利用主题分割的远程监督来扩展这条研究路线，这可以为高级话语结构提供强大的，通常是互补的信号。在两个人类注释的话语树库上的实验证实，我们的建议在句子和段落级别上生成准确的树结构，在句子到文档任务上始终优于以前的远程监督模型，并且偶尔在句子到段落级别上达到更高的分数。
2021-12-12 cs.AI cs.CL
A Pilot Study of Text-to-SQL Semantic Parsing for Vietnamese
NVIDIA（英伟达）；VinAI Research（越南人工智能研究院）
语义解析是自然语言处理的一项重要任务。然而，越南语在这一研究领域是一种低资源语言。在本文中，我们提出了第一个公共的大规模文本到SQL语义解析数据集越南。我们扩展并评估了两个强大的语义解析基线EditSQL（Zhang等人，2019）和IRNet（Guo et al.，2019年，在我们的数据集上。我们比较了两个基线的关键配置，发现：自动越南语分词提高了两个基线的分析结果;归一化逐点互信息（NPMI）得分（Bouma，2009）是有用的模式链接;潜在的句法特征提取的神经依赖分析越南语也改善了结果;用于越南语的单语语言模型PhoBERT（Nguyen和Nguyen，2020）有助于产生比最近最好的多语言语言模型XLM-R（Conneau等人，2020年）。
2020-10-05 cs.AI cs.CL
Not All Linearizations Are Equally Data-Hungry in Sequence Labeling Parsing
Universidade da Coruña（科鲁尼亚大学）；CITIC（信息技术与通信研究中心）；Priberam Labs（Priberam实验室）
已经提出了不同的线性化来将依存句法分析转换为序列标记，并将任务解决为：（i）头部选择问题，（ii）找到标记弧作为括号字符串的表示，或（iii）将基于转换的解析器的部分转换序列与单词相关联。然而，人们对这些线性化在低资源设置中的行为知之甚少。在这里，我们首先研究它们的数据效率，从一组不同的丰富资源树库中模拟数据受限的设置。其次，我们测试这种差异是否体现在真正的低资源设置。结果表明，头部选择编码的数据效率更高，在理想的（黄金）框架中表现更好，但当运行设置类似于现实世界的低资源配置时，这种优势大大消失，有利于括号格式。
2021-08-17 cs.CL
Systematic Investigation of Strategies Tailored for Low-Resource Settings for Low-Resource Dependency Parsing
IIT Kanpur（印度理工学院坎普尔分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）；IIT Mandi（印度理工学院曼迪分校）
在这项工作中，我们专注于低资源的依存句法分析的多种语言。有几项战略是专门为提高低资源情况下的业绩而制定的。虽然这些都是众所周知的社区，这是不平凡的选择这些策略的最佳组合，我们感兴趣的低资源的语言，并没有太多的注意力已经给予衡量这些策略的有效性。我们在7种通用依赖（UD）低资源语言上试验了5种低资源策略。我们对这些语言的详尽实验支持对预训练模型中未涵盖的语言进行有效改进。我们展示了一个成功的应用程序的集成系统上一个真正的低资源语言梵语。代码和数据可在https://github.com/Jivnesh/SanDP上获得
2023-01-29 cs.CL
A Pilot Study for Chinese SQL Semantic Parsing
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
语义解析的任务对于对话和问答系统是非常有用的。已经提出了许多数据集来将自然语言文本映射到SQL，其中最近的Spider数据集提供了具有多个表和复杂查询的跨域样本。我们为中文构建了一个Spider数据集，中文目前在这个任务领域是一种资源较少的语言。有趣的研究问题来自语言的独特性，这需要分词，也来自SQL关键字和DB表的列通常用英语编写的事实。我们比较字符和单词为基础的编码器的语义解析器，和不同的嵌入方案。结果表明，基于词的语义分析器是受分割错误和跨语言的词嵌入是有用的文本到SQL。
2019-10-16 cs.CL
Do Audio-Visual Segmentation Models Truly Segment Sounding Objects?
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Tsinghua University（清华大学）
该研究针对当前视听分割模型存在的依赖视觉显著性、忽略音频线索的偏差问题，构建了含多种负向音频场景的鲁棒基准AVSBench-Robust，并提出结合负样本均衡训练与分类器引导相似度学习的方法，有效提升了模型的分割性能与鲁棒性。
2025-02-20 cs.AI cs.LG cs.MM
Optimizing for Measure of Performance in Max-Margin Parsing
Berlin Big Data Center（柏林大数据中心）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
在自然语言处理领域，序列标注、序列分割和句法分析等统计学习问题已被结构化预测方法成功地解决。相应的判别式学习算法的吸引人的特性是它们能够将感兴趣的损失函数直接集成到优化过程中，这潜在地可以增加所得到的性能精度。在这里，我们展示了选区分析的例子，如何优化F1分数的最大利润框架的结构SVM。特别地，优化是相对于原始（未二进制化）树的。
2017-09-08 cs.CL
Holographic Neural PCFG for Unsupervised Parsing
Ritsumeikan University（立命馆大学）；The Institute of Statistical Mathematics（统计数学研究所）；Kyoto University（京都大学）
研究无监督成分句法分析，提出全息神经PCFG，将规则评分转为代数关系建模，采用全息嵌入赋予规则概率封闭形式。该方法在六种语言中达最优性能，大幅减少参数且训练稳定，还能直接从字符解析日语。
2026-07-10 cs.CL cs.LG
Cross-Lingual Dependency Parsing with Late Decoding for Truly Low-Resource Languages
University of Amsterdam（阿姆斯特丹大学）；University of Copenhagen（哥本哈根大学）
在跨语言依赖标注投影中，由于早期解码，信息在传输过程中经常丢失。我们提出了一个端到端的基于图的神经网络依赖解析器，可以训练它来重现边缘分数矩阵，这些分数可以直接投影到单词对齐上。我们表明，我们的方法跨语言的依存句法分析不仅是简单的，而且还实现了2.25%的绝对改善平均跨10种语言相比，以前的状态。
2017-01-06 cs.CL
ChunkNorris: A High-Performance and Low-Energy Approach to PDF Parsing and Chunking
Wikit；Laboratoire Hubert Curien（Hubert Curien实验室）；Université Jean Monnet（Jean Monnet大学）；INSA Rouen Normandie（Rouen Normandie国立理工学院）
ChunkNorris通过高效启发式方法实现PDF解析与分块的高性能低能耗，优于现有技术，适用于资源受限的检索增强生成任务。
2025-11-28 cs.AI cs.CL cs.IR
Universal Dependency Parsing from Scratch
Stanford University（斯坦福大学）
本文描述了斯坦福大学在CoNLL 2018 UD共享任务上的系统。我们介绍了一个完整的神经管道系统，以原始文本作为输入，并执行共享任务所需的所有任务，从标记和句子分割，到POS标记和依存句法分析。我们提交的单个系统在大型树库上实现了非常有竞争力的性能。此外，在修复了一个不幸的错误后，我们更正后的系统将在官方评估指标LAS，MLAS和BLEX上排名第二，第一和第三，并且在所有指标的低资源树库类别上都将大大优于所有提交系统。我们通过广泛的消融研究进一步证明了不同模型组件的有效性。
2019-01-29 cs.CL
Fast and Accurate End-to-End Span-based Semantic Role Labeling as Word-based Graph Parsing
Institute of Artificial Intelligence（人工智能研究院）；School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）
本文提出了铸造端到端的跨度为基础的SRL作为一个基于词的图解析任务。主要的挑战是如何在单词级别表示跨度。借鉴中文分词和命名实体识别的研究思路，提出并比较了四种不同的图表示模式，BES、BE、BIES和BII四种方案，其中BES方案性能最好。我们通过详细的分析进一步获得有趣的见解。此外，我们提出了一个简单的约束维特比过程，以确保合法性的输出图根据SRL结构的约束。我们在两个广泛使用的基准数据集上进行实验，即，CoNLL 05和CoNLL 12。结果表明，我们的基于单词的图解析方法实现了一贯优于以前的结果，在所有设置的端到端和谓词给定，没有和预先训练的语言模型（PLM）。更重要的是，我们的模型每秒可以解析669/252个句子，分别没有和有PLM。
2022-09-16 cs.CL
Cascading and Direct Approaches to Unsupervised Constituency Parsing on Spoken Sentences
National Taiwan University（国立台湾大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文首次研究口语语句的无监督成分句法分析，比较级联ASR与直接训练两种方法，发现级联方法更优，且准确分割足以解析口语，直接方法能无偏学习头部方向性。
2023-05-09 cs.CL eess.AS
Prosodic features improve sentence segmentation and parsing
University of Edinburgh（爱丁堡大学）
解析口语对话提出了解析文本所没有的挑战，包括缺乏清晰的句子边界。我们从以前的工作中知道，韵律有助于解析单个句子（Tran et al. 2018），但我们想展示韵律对解析未分割成句子的语音的影响。在英语Switchboard语料库上的实验中，我们发现韵律有助于我们的模型进行解析和准确识别句子边界。然而，我们发现，性能最好的解析器不一定是产生最好的句子分割性能的解析器。我们建议，最好的解析，而不是来自建模句子边界与其他成分的边界。
2023-02-23 cs.CL
RST Parsing from Scratch
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）；Institute for Infocomm Research, A-STAR（新加坡科技研究局资讯通信研究院）
我们在修辞结构理论（RST）框架中引入了一种新颖的自上而下的端到端文档级语篇解析公式。在这个公式中，我们认为话语分析作为一个序列的分裂决策在令牌的边界，并使用seq2seq网络模型的分裂决策。我们的框架有利于话语分析从零开始，而不需要话语分割为先决条件，相反，它产生分割的一部分，分析过程。我们的统一解析模型采用了一个束搜索解码的最佳树结构通过搜索通过一个空间的高分树。通过对标准英语语料库的大量实验，我们证明了我们的解析器在端到端解析和黄金分割解析方面都优于现有方法。更重要的是，它不使用任何手工制作的功能，使其更快，更容易适应新的语言和领域。
2021-05-23 cs.AI cs.CL
DMRST: A Joint Framework for Document-Level Multilingual RST Discourse Segmentation and Parsing
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
文本语篇分析对于理解自然语言中的信息流和论证结构具有重要意义，有利于后续任务的完成。虽然以前的工作显着提高了文本话语解析的性能，但它们并不容易应用于实际用例：（1）EDU分割没有集成到大多数现有的树解析框架中，因此在新出现的数据上应用这些模型并不简单。(2)大多数解析器不能用于多语言场景，因为它们只使用英语开发。(3)从单域树库训练的解析器不能很好地泛化域外输入。在这项工作中，我们提出了一个文档级的多语言的文本分析框架，进行EDU分割和话语树分析联合。此外，我们提出了一个跨翻译增强策略，使框架，以支持多语言解析，提高其领域的通用性。实验结果表明，我们的模型实现了最先进的性能在所有子任务的文档级的多语言文本分析。
2021-10-09 cs.CL
A Differentiable Relaxation of Graph Segmentation and Alignment for AMR Parsing
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
摘要意义表示是一种广泛的语义形式主义，它将句子意义表示为一个有向无环图。为了训练大多数AMR解析器，需要将图分割成子图，并将每个子图与句子中的单词对齐;这通常在预处理时完成，依赖于手工制定的规则。相比之下，我们将对齐和分割视为模型中的潜在变量，并将其作为端到端训练的一部分。由于结构化隐变量的边缘化是不可行的，我们使用变分自编码框架。为了确保端到端的可微优化，我们引入了可微松弛的分割和对齐问题。我们观察到，诱导分割产生了很大的收益使用“贪婪”分割启发式。我们的方法的性能也接近依赖于\citet{lyu-titov-2018-amr}的分割规则的模型的性能，该分割规则是手工制作的以处理单个AMR构造。
2022-10-24 cs.CL cs.LG
Prosodic segmentation for parsing spoken dialogue
解析口语对话带来了独特的困难，包括不流利和类似于广告的单元之间的无标记边界。以前的工作已经表明，韵律可以帮助解析不流利的语音（Tran et al. 2018），但假设解析器的输入已经被分割成类似韵律的单元（SU），这在现有的语音应用中是不正确的。我们研究韵律如何影响一个分析器，接收整个对话轮作为输入（一个回合为基础的模型），而不是黄金标准的预分割SU（一个SU为基础的模型）。在英语Switchboard语料库上的实验中，我们发现，当单独使用成绩单，话轮为基础的模型有麻烦分割SU，导致更差的分析性能比SU为基础的模型。然而，韵律可以有效地取代黄金标准SU边界：韵律，回合为基础的模型表现以及SU为基础的模型（90.79与90.65 F1得分，分别），尽管执行两个任务（SU分割和解析），而不是一个（解析单独）。分析表明，音高和强度特征对于该语料库是最重要的，因为它们允许模型正确区分SU边界和语音不流利-这是模型在其他方面难以做到的区别。
2021-10-12 cs.CL
Worth Their Weights? Evaluating Generative Models for Discourse Parsing
Indiana University Bloomington（印第安纳大学伯明顿分校）；Georgetown University（乔治城大学）
本研究对比评估生成式与判别式模型在RST话语解析中的性能，发现参数匹配时判别式模型更优，大规模生成式模型有时胜出，且生成式模型在EDU分割上具优势，在RST-DT基准取得新最优结果。
2026-10-14 cs.CL
Low-Resource Parsing with Crosslingual Contextualized Representations
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
尽管在依存句法分析方面取得了进展，但树库较小的语言仍然面临挑战。我们评估最近的方法，多语言的上下文单词表示（CWRs），并比较他们的跨语言迁移从一个大的树库语言与一个小的或不存在的树库，通过共享参数之间的语言在解析器本身。我们在模拟和真正的低资源情况下进行了多种语言选择的实验，并表明多语言CWRs极大地促进了低资源依存句法分析，即使没有跨语言的监督，如字典或并行文本。此外，我们研究了非上下文部分的学习语言模型（我们称之为“解文本探针”），以证明多语种语言模型更好地编码跨语言词汇对应对齐单语语言模型相比。这一分析进一步证明了多语言培训是一种有效的跨语言迁移方法。
2019-09-19 cs.CL
Automatic Discourse Segmentation: Review and Perspectives
Laboratoire Informatique d’Avignon, UAPV（阿维尼翁信息学实验室（UAPV））；Institut Universitari de Lingüística Aplicada, UPF（庞培法布拉大学应用语言学大学院（UPF））；Djibouti Institute of Science and Information Technologies – CERD（吉布提科学与信息技术研究所 – CERD）
多语言篇章分析是一个非常突出的研究课题。语篇分析的第一个阶段是语篇切分。在这篇文章中报告的研究地址的两个在线可用的话语段（英语和葡萄牙语）的审查。我们评估了为西班牙语、法语和非洲语言开发类似话语分段器的可能性。
2020-05-01 cs.CL cs.IR
Indiscapes: Instance Segmentation Networks for Layout Parsing of Historical Indic Manuscripts
Centre for Visual Information Technology (CVIT)（视觉信息技术中心）；International Institute of Information Technology, Hyderabad (IIIT-H)（海得拉巴国际信息技术学院）
印度次大陆的棕榈叶手稿和早期纸质文献是世界文学文化遗产的重要组成部分。尽管其重要性，大规模的注释印度手稿图像数据集不存在。为了解决这一缺陷，我们引入了Indiscapes，这是有史以来第一个具有历史印度手稿多区域布局注释的数据集。为了解决脚本的巨大多样性和存在密集的不规则布局元素（例如文本行、图片、每个图像多个文档）的挑战，我们采用全卷积深度神经网络架构，用于手稿图像的全自动实例级空间布局解析。我们证明了所提出的架构的有效性，从Indiscapes数据集的图像。为了注释的灵活性和保持领域专家的非技术性质，我们还提供了一个自定义的基于Web的GUI注释工具和一个仪表板风格的分析门户。总的来说，我们的贡献为大规模启用下游应用程序（如OCR和历史印度语手稿中的单词识别）奠定了基础。
2019-12-15 cs.CL cs.CV
Unsupervised Mutual Learning of Discourse Parsing and Topic Segmentation in Dialogue
针对对话中话语解析与主题分割的监督标注昂贵及无监督方法忽视二者交互的问题，提出统一表示与两个语言学假设，构建无监督互学习框架UMLF，联合建模修辞与主题结构，在多个数据集上超越强基线并有效提升大语言模型的话语结构建模。
2025-02-24 cs.CL
Learning Recursive Segments for Discourse Parsing
Institut de recherche en informatique de Toulouse (IRIT)（图卢兹计算机科学研究院）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；INRIA（法国国家信息与自动化研究所）；Université Paris 7（巴黎第七大学）
自动检测语篇片段是实现全语篇分析的重要基础。先前关于话语分割的研究依赖于这样的假设，即文档中的基本话语单元（EDU）总是形成线性序列（即，它们永远不能嵌套）。不幸的是，这个假设被证明是太强了，因为一些话语理论，如SDRT，允许嵌套的话语单位。在本文中，我们提出了一个简单的方法，话语分割，是能够产生嵌套EDU。我们的方法建立在标准的多类分类技术结合一个简单的修复启发式，强制执行全局一致性。我们的系统开发和评估的第一轮注释提供的法国Annodis项目（正在进行的努力，以创建一个话语银行的法国）。仅在47个文档（1，445个EDU）上进行了交叉验证，我们的系统在查找EDU方面取得了令人鼓舞的性能结果，F分数为73%。
2010-03-28 cs.CL
Neural Token Segmentation for High Token-Internal Complexity
The Open University（开放大学）；Bar Ilan University（巴伊兰大学）
将原始文本标记为单词单元是NLP管道中关键任务的重要预处理步骤，例如标记，解析，命名实体识别等。对于大多数语言来说，这个标记化步骤很简单。然而，对于具有高标记内部复杂性的语言，需要进一步的标记到分词。以前的典型分割研究是基于字符水平的框架，没有涉及语境化的表示。上下文化向量和BERT在许多应用中显示出显著的效果，但没有显示出提高语言分割本身的性能。在这里，我们提出了一种新的神经分割模型，它结合了两个世界中最好的，上下文化的令牌表示和字符级解码，这是特别有效的语言与高令牌内部复杂性和极端的形态歧义。与最先进的技术相比，我们的模型在希伯来语和阿拉伯语的分割准确性方面有了很大的改进，并在现有管道上进一步改进了下游任务，如词性标记，依存句法分析和命名实体识别。当在相同的设置下将我们的分段优先管道与联合分段和标记进行比较时，我们表明，与神经元之前的研究相反，管道性能更优越。
2022-03-21 cs.CL
Tackling the Low-resource Challenge for Canonical Segmentation
University of Stuttgart（斯图加特大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
典型的形态学切分包括将词划分为标准化的词素。在这里，我们感兴趣的任务时，训练数据是有限的方法。我们比较模型的性能，在模拟低资源设置的高资源语言德语，英语和印度尼西亚语的新数据集上的实验，真正的低资源语言Popoluca和Tepehua。我们探索了两个新的任务模型，借鉴了形态生成的密切相关领域：LSTM指针生成器和序列到序列模型，具有通过模仿学习训练的硬单调注意力。我们发现，在低资源环境中，新方法在所有语言上的准确率高达11.4%。然而，尽管所有语言在模拟低资源场景中的准确率都超过了50%，但对于真正的低资源语言Popoluca和Tepehua，我们的最佳模型分别仅获得了37.4%和28.4%的准确率。因此，我们得出结论，规范分割仍然是一个具有挑战性的任务，低资源的语言。
2020-10-06 cs.AI cs.CL stat.ML
Unsupervised and Few-shot Parsing from Pretrained Language Models
Tianjin University（天津大学）
预训练的语言模型通常被认为能够编码语法[Tenney等人，2019年，Jawahar等人，2019，Hewitt and Manning，2019].在这篇文章中，我们提出了UPOA，一个无监督的成分分析模型，它仅基于在预训练的语言模型中学习的自我注意力权重矩阵来计算Out Association得分，作为跨度分割的句法距离。我们进一步提出了一个增强版本，UPIO，它利用内部关联和外部关联分数估计跨度的可能性。通过UPOA和UPIO的实验表明，自注意力机制中查询和关键字的线性投影矩阵在句法分析中起着重要的作用。因此，我们将无监督模型扩展到Few-Shot解析模型（FPOA，FPIO），这些模型使用一些注释树来学习更好的线性投影矩阵进行解析。在Penn Treebank上的实验表明，我们的无监督句法分析模型UPIO在短句（长度<= 10）上取得了与现有技术相当的结果。我们的Few-Shot解析模型FPIO训练只有20个注释树优于以前的Few-Shot解析方法训练50注释树。跨语言解析的实验表明，无监督和Few-Shot解析方法在SPMRL的大多数语言上都优于以前的方法[Seddah等人，2013年]。
2022-06-10 cs.CL
Evaluating Parsing Schemes with Entropy Indicators
本文介绍了一个客观的度量分析方案。它基于香农的字母序列的原始工作，可以扩展到词性标记序列。它表明，这种正规语言是一个不充分的自然语言模型，但表示使用的语言模型略高的乔姆斯基层次。我们展示了如何熵的解析和未解析的句子可以测量。如果被解析的句子的熵较低，这表明语言的一些结构已经被捕获。我们应用这个熵指标来支持一个特定的解析方案，影响自上而下的分割。这种方法可以用于将解析任务分解为计算上更易处理的子任务。它还有助于提取谓词/论元结构。
1997-09-22 cmp-lg cs.CL
LCP-dropout: Compression-based Multiple Subword Segmentation for Neural Machine Translation
Kyushu Institute of Technology（九州工业大学）
在这项研究中，我们提出了一个简单而有效的预处理方法的基础上数据压缩算法的子词切分。基于压缩的子词切分作为神经机器翻译中训练数据的预处理方法，近年来引起了广泛关注。其中，BPE/BPE-dropout是与传统方法相比最快和最有效的方法之一。然而，基于压缩的方法具有的缺点在于，由于确定性而难以生成多个分割。为了克服这个困难，我们专注于概率字符串算法，称为本地一致性分析（LCP），已被应用到实现最佳压缩。采用LCP的概率机制，我们提出了多个子词切分，提高BPE/BPE-dropout的LCP-dropout，并表明它优于各种基线学习，特别是小训练数据。
2022-03-19 cs.CL cs.LG
Fast and Accurate Neural Word Segmentation for Chinese
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）
在中文分词任务中，具有最小特征工程的神经模型取得了与传统方法相媲美的性能。然而，目前的神经模型的训练和工作过程都是计算效率低下的。本文提出了一种贪婪神经分词器，平衡的词和字符嵌入输入，以减轻现有的缺点。我们的分割器是真正的端到端，能够在中国基准数据集上比最先进的神经模型更快甚至更准确地执行分割。
2017-04-24 cs.CL
Evolution of Efficient Symbolic Communication Codes
Novosibirsk State University（新西伯利亚国立大学）；Aigents（艾真特公司）
该研究将语言结构视为通信编码演化产物，通过最大化反熵等指标开展元学习以优化分词，经多语言实验验证了不同指标对各语言及子词解析的差异化作用。
2023-06-11 cs.CL cs.IT cs.LG
MRL Parsing Without Tears: The Case of Hebrew
DICTA；Bar Ilan University（巴伊兰大学）
针对形态丰富语言句法分析的误差传播与高延迟问题，论文提出面向希伯来语的独立专家分类器“翻转流水线”，在 POS 标注和依存分析上达到 SOTA。
2024-03-11 cs.CL
