SPaR.txt, a cheap Shallow Parsing approach for Regulatory texts
Heriot-Watt University（赫瑞-瓦特大学）；Northumbria University（诺森比亚大学）
自动合规性检查（ACC）系统旨在将建筑法规语义解析为一组规则。然而，已知语义解析是困难的并且需要大量的训练数据。创建这样的训练数据的复杂性导致研究集中在小的子任务上，例如浅解析或规则的有限子集的提取。这项研究介绍了一个浅解析任务，训练数据是相对便宜的创建，学习ACC. We的词典的目的。我们注释一个小的特定领域的数据集200句，SPaR.txt，并训练序列标签，达到79，93 F1-分数的测试集。然后，我们通过手动评估表明，该模型识别了一组建筑法规文档中的大多数（89，84%）定义术语，并且以合理的准确度（70，3%）发现了连续和不连续的多词表达式（MWE）。
2021-10-04 cs.CL
GDTB: Genre Diverse Data for English Shallow Discourse Parsing across Modalities, Text Types, and Domains
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Georgetown University（乔治城大学）
针对现有英语浅层话语解析数据集不公开、领域单一且老旧的问题，本文提出基于UD English GUM语料库的开放多体裁PDTB风格基准GDTB，实验验证其与PDTB兼容，且联合训练可缓解跨领域性能下降。
2024-11-01 cs.CL
Revisiting Shallow Discourse Parsing in the PDTB-3: Handling Intra-sentential Implicits
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
在PDTB-3中，几千个隐含的话语关系被新注释了\textit{within}单个句子，增加了超过15，000个隐含的关系注释了PDTB-2中的\textit{across}相邻句子。由于这些\textit{intra-sentential implicits}的参数的位置不再像\textit{inter-sentential implicits}那样定义良好，因此话语分析器必须识别它们的位置和意义。这是目前工作的重点。本文对我们的结果进行了全面的分析，展示了不同场景下的模型性能，指出了局限性并指出了未来的发展方向。
2022-04-01 cs.CL
Shallow Discourse Parsing with Maximum Entropy Model
MOE Key Laboratory of Computational Linguistics, Peking University（北京大学教育部计算语言学重点实验室）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
近年来，更多的研究致力于研究完整的浅层语篇分析的子任务，如识别语篇连接词和连接词的论元。有必要设计一个完整的话语解析器来将这些子任务拉到一起。因此，我们开发了一个语篇分析器，将自由文本转化为语篇关系。该解析器包括连接标识符、参数标识符、意义分类符和非显式标识符，它们以流水线形式相互连接。每个组件都采用最大熵模型，并从Penn Discourse Tree-bank中提取了丰富的词汇和句法特征。在论元识别器中采用了基于中心语的PDTB表示方法，将语篇连接词的论元识别问题转化为寻找论元的中心语和论元的结尾。在非显式标识符中，引入了使用频率高、能反映话语关系的词等语境类型特征，以提高非显式标识符的性能。与其他方法相比，实验结果取得了可观的性能。
2017-10-31 cs.CL
A Learning Approach to Shallow Parsing
提出了一种基于SNoW的浅层句法分析学习方法，并进行了实验研究。该方法通过结合简单的预测来学习识别句法模式，以产生连贯的推理。这种方法的两个实例进行了研究和实验结果名词短语（NP）和主语动词（SV）的短语，比较有利的最佳公布的结果。在这样做的时候，我们比较了两种方法建模的学习识别模式的问题，并建议浅解析模式更好地学习使用开放/关闭预测比使用内部/外部预测。
2000-08-22 cs.CL cs.LG
Hindi to English Transfer Based Machine Translation System
Banasthali Vidyapith（巴纳斯塔利大学）；Centre for development of advanced computing（先进计算发展中心）
在像印度这样的大社会中，将一种人类语言转换为另一种语言的需求巨大。在这方面已经做了大量的工作。许多基于转移的MTS已经开发了英语到其他语言，如MANTRA CDAC Pune，MATRA CDAC Pune，SHAKTI IISc Bangalore和IIIT Hyderabad。还有一点工作做印地语到其他语言。目前我们正在研究它。在本文中，我们重点设计一个系统，通过使用基于迁移的方法将文档从印地语翻译为英语。该系统通过解析来检查输入文本的结构。重新排序规则用于生成目标语言的文本。它比基于语料库的MTS更好，因为基于语料库的MTS需要大量的词对齐数据用于翻译，这对于许多语言是不可用的，而基于迁移的MTS只需要两种语言（源语言和目标语言）的知识来制定迁移规则。我们得到正确的翻译简单断言句和复杂和复合句几乎正确。
2015-07-08 cs.CL
Memory-Based Shallow Parsing
我们提出了一个基于记忆的学习（MBL）方法，浅层分析中的词性标注，组块，并确定句法关系制定为基于记忆的模块。本文的实验结果表明，在华尔街日报（WSJ）树库中，NP组块的F值为93.8%，VP组块的F值为94.7%，主语检测的F值为77.1%，目标检测的F值为79.0%。
1999-06-02 cs.CL cs.LG
Prepositional Attachment Disambiguation Using Bilingual Parsing and Alignments
Monash University（莫纳什大学）；IIT Bombay（印度理工学院孟买分校）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什大学联合研究院）
本文试图解决英语中介词短语的附加问题。这项工作的动机来自于像机器翻译这样的NLP应用程序，对于这些应用程序来说，正确地连接介词是非常关键的。这个想法是正确的PP附件的一个句子的帮助下，从另一种语言的平行数据的对齐。我们的工作的新颖之处在于制定的问题到一个双重分解为基础的算法，强制执行协议之间的解析树从两种语言的约束。在英语-印地语语言对上进行了实验，并且性能比基线提高了10%，其中基线是由针对英语训练的MSTParser模型预测的附件。
2016-03-29 cs.CL
CST5: Data Augmentation for Code-Switched Semantic Parsing
Google（谷歌）
将语义解析器扩展到代码交换输入一直是一个具有挑战性的问题，主要是由于缺乏监督的训练数据。在这项工作中，我们介绍了CST5，一种新的数据增强技术，微调T5模型使用一个小的种子集（$\approx$ 100话语），以产生代码转换的话语从英语话语。我们表明，CST5生成高质量的代码转换数据，无论是内在的（每人的评价）和extraderior通过比较基线模型，没有数据增强的训练模型与增强的数据。根据经验，我们观察到使用CST 5，可以通过使用多达20倍的标记数据来实现相同的语义解析性能。为了帮助这一领域的进一步研究，我们还发布了（a）Hinglish-TOP，迄今为止最大的人类注释代码转换语义解析数据集，包含10k人类注释印地语-英语（Hinglish）代码转换话语，以及（b）超过170K CST 5从TOPv2数据集生成的代码转换话语。人工评估表明，人工注释的数据以及CST 5生成的数据质量良好。
2022-11-14 cs.CL
Codeswitched Sentence Creation using Dependency Parsing
On-Device AI Samsung R & D Institute（三星研发研究院终端人工智能部门）
语码转换已成为世界上使用多种语言的人最常见的现象之一，特别是在印度这样的国家，印度拥有大约23种官方语言，双语人数约为3亿。在各种自然语言处理（NLP）任务中，码交换数据的稀缺性成为该领域探索的瓶颈。因此，我们提出了一种新的算法，利用英语语法的句法结构，开发语法上明智的Codeswitched版本的英语印地语，英语马拉地语和英语卡纳达语数据。除了在很大程度上保持语法的健全性，我们的方法还保证了从给定数据的微小快照中生成丰富的数据。我们使用多个数据集来展示我们算法的能力，同时我们使用一些定性指标来评估生成的Codeswitched数据的质量，并为几个NLP任务提供基线结果。
2020-12-05 cs.CL
Specifying a shallow grammatical representation for parsing purposes
是否有可能指定一个语法表示（描述符及其应用指南），以这种程度，它可以一致地应用于不同的语法学家，例如，生产一个基准语料库的分析器评估？赞成和反对的论点已经给出，但很少有经验证据。在这篇文章中，我们报告了一个双盲实验与表面导向的形态句法语法表示在一个大型的英语句法分析器。我们认为，一个一贯适用的表示形态和浅语法可以指定。可以通过合理的努力指定一个覆盖率接近100%的语法表示，特别是如果表示是基于结构差异的（即它是结构上可解析的）。
1995-02-13 cmp-lg cs.CL
A Preliminary Study for Literary Rhyme Generation based on Neuronal Representation, Semantics and Shallow Parsing
Universidade do Estado do Rio de Janeiro（里约热内卢州立大学）
近年来，计算创造力领域的研究人员研究了人类的创造过程，提出了不同的方法来重现它与一个正式的程序。本文介绍了一种结合语言结构和神经网络模型的西班牙语文学韵脚生成模型（\textit{Word2vec}）。变成一个语义同化的结构通过我们的算法生成的文本的手动评估所获得的结果是令人鼓舞的。
2021-12-25 cs.AI cs.CL
XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing
University of Waterloo（滑铁卢大学）；Penn State University（宾夕法尼亚州立大学）
使用大语言模型的上下文学习最近在语义解析任务（如文本到SQL翻译）中显示出令人惊讶的结果。使用几个question-SQL对的示例来验证GPT-3或Codex可以产生非常好的结果，可以与最先进的基于微调的模型相媲美。然而，现有的工作主要集中在英语数据集，这是未知的大语言模型是否可以作为其他语言的竞争力的语义解析器。为了弥补这一差距，我们的工作重点是跨语言的文本到SQL的语义解析翻译非英语的话语到SQL查询的基础上的英语模式。我们考虑一个zero-shot迁移学习设置，假设我们没有任何标记的例子在目标语言（但有注释的例子在英语）。这项工作介绍了XRICL框架，学习检索相关的英语范例为一个给定的查询构造提示。我们还包括目标语言的全局翻译范例，以促进大语言模型的翻译过程。为了系统地评估我们的模型，我们构建了两个新的基准数据集，XSpider和XKaggle-dbqa，其中包括中文，越南语，波斯语和印地语的问题。我们的实验表明，XRECL有效地利用了大型预训练的语言模型，以超越现有的基线。数据和代码可在https://github.com/Impavidity/XRICL上公开获取。
2022-10-25 cs.CL
CoMuMDR: Code-mixed Multi-modal Multi-domain corpus for Discourse paRsing in conversations
Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎浦尔学院）
本文构建含音频、转写文本及九种篇章关系标注的印地语–英语代码混合、多模态、多领域会话语料库 CoMuMDR，并通过 SoTA 基线实验揭示现有模型在现实代码混合场景中的不足。
2025-06-10 cs.AI cs.CL cs.LG
El Volumen Louder Por Favor: Code-switching in Task-oriented Semantic Parsing
Facebook（脸书）
能够解析代码转换（CS）的话语，如西班牙语+英语或印地语+英语，是必要的民主化面向任务的语义解析系统为某些地区。在这项工作中，我们专注于Spanglish（西班牙语+英语），并发布了一个数据集，CSTOP，包含5800 CS话语及其语义分析。我们研究了各种跨语言（XL）模型的CS泛化能力，并展示了只有一种语言的数据时，预训练的XL语言模型的优势。因此，我们专注于改进只有英语语料库以及零或几个CS训练实例可用的情况下的预训练模型。我们提出了两种数据增强方法的zero-shot和Few-Shot设置：微调使用匹配和对齐和增强使用生成模型，然后匹配和过滤。将Few-Shot设置与上述改进相结合，可将zero-shot和全数据设置之间的初始30点精度差距缩小三分之二。
2021-01-28 cs.AI cs.CL cs.LG
What's Hard in English RST Parsing? Predictive Models for Error Analysis
Georgetown University（乔治城大学）
本文研究了英语 RST 解析中的难点，通过建模隐式关系、长距离依赖等因素，并发布两个带标注测试集，发现长距离依赖是主要挑战，最终预测错误发生位置的准确率超过76%。
2023-09-10 cs.CL
CALCS 2021 Shared Task: Machine Translation for Code-Switched Data
University of Houston（休斯顿大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta AI
到目前为止，语码转换的研究主要集中在语言识别、词性、名词性实体和句法分析方面。在本文中，我们解决机器翻译的代码转换的社会媒体数据。我们创建一个社区共享任务。我们提供两种参与模式：监督和无监督。在有监督的环境中，参与者面临的挑战是在一个方向上将英语翻译成印地语-英语（英语-印度式英语）。对于无监督设置，我们提供以下语言对：英语和西班牙语-英语（英语-西班牙式英语），以及英语和现代标准阿拉伯语-埃及阿拉伯语（英语-MSAEA）。我们分享了在策划“进入”语码转换语言评估数据方面的见解和挑战。此外，我们为共享任务中的所有语言对提供基线。共享任务的排行榜包括对应于5个不同团队的12个单独系统提交。最好的成绩是英语到印度式英语的BLEU分数为12.67%，MSAEA到英语的BLEU分数为25.72%。
2022-02-19 cs.CL
Word Level Language Identification in English Telugu Code Mixed Data
Language Technologies Research Centre（语言技术研究中心）；KCIS, IIIT Hyderabad（印度理工学院海得拉巴分校知识与计算智能系统学院）
在多语言或社会语言结构中，语码转换（ICS）或语码混合（CM）是当今常见的现象。世界上大多数人都懂一种以上的语言。CM的使用在社交媒体平台上尤其明显。此外，ICS在技术、健康和法律方面特别重要，因为用母语很难传达即将到来的发展。在诸如对话系统、机器翻译、语义解析、浅层解析等应用中，CM和代码切换提出了严峻的挑战。要在代码混合数据中做任何进一步的改进，必要的步骤是语言识别。在本文中，我们提出了各种模型的研究-朴素贝叶斯分类器，随机森林分类器，条件随机场（CRF），和隐马尔可夫模型（HMM）的语言识别在英语-泰卢固语代码混合数据。针对代码混合语言资源的匮乏，提出了基于CRF模型和HMM模型的词级语言识别方法。我们表现最好的系统是基于CRF的，f1分数为0.91。
2020-10-09 cs.CL
The Text Classification Pipeline: Starting Shallow going Deeper
University of Catania（卡塔尼亚大学）；University of Palermo（巴勒莫大学）
本文综述文本分类流水线，从浅层到深层，强调深度学习与大型语言模型的作用，并整合传统与当代方法以促进整体理解。
2025-03-20 cs.AI cs.CL cs.IR
