Attributed Rhetorical Structure Grammar for Domain Text Summarization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种新的文本自动摘要方法，它将面向领域的文本分析（DoTA）和修辞结构理论（Rectorical Structure Theory，ARSG）结合在一起，形成一种语法形式：属性修辞结构语法（Attributed Rhoretic Structure Grammar，ARSG）。我们开发了机器学习算法，用于从样本领域文本的语料库中学习这样的语法，以及用于学习的语法的解析算法，以及用于生成特定领域摘要的可调节文本摘要算法。实验结果表明，在领域知识的支持下，该方法可以有效地弥补丢失大量训练数据集的缺陷。我们还表明，基于知识的方法可以通过引入语法分析和推理机的推理引擎。为了检查模型转移的可行性，我们引入了一种技术，用于以可接受的代价将文法从一个域映射到其他域。我们还将我们的方法与其他一些方法进行了全面比较。
2019-09-03 cs.AI cs.CL
ParCzech4Speech: A New Speech Corpus Derived from Czech Parliamentary Data
Charles University, Faculty of Mathematics and Physics（查尔斯大学数学与物理系）；Institute of Formal and Applied Linguistics (ÚFAL)（形式与应用语言学研究所）
本文介绍ParCzech4Speech 1.0，一个基于捷克议会数据的语音语料库，含2,695小时，通过WhisperX和Wav2Vec 2.0处理获得高可靠对齐，提供三种变体，以CC-BY许可发布。
2025-09-08 cs.CL
Refining Czech GEC: Insights from a Multi-Experiment Approach
Charles University（查尔斯大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出基于Transformer和实时合成错误生成流水线的捷克语语法纠错系统，通过多组实验系统考察语料、错误生成策略、领域平衡、分词粒度、模型规模与数据扩展等因素，并评估LLMs表现，最终在性能和计算效率上均达到最优。
2025-08-27 cs.CL
Citation Data of Czech Apex Courts
Institute of Law and Technology（法律与技术研究所）；Masaryk University（马萨里克大学）；University of Pittsburgh（匹兹堡大学）
在本文中，我们介绍了捷克最高法院（最高法院，最高行政法院和宪法法院）的引文数据。该数据集是从捷克法院判决文本语料库中自动提取的- CzCDC 1.0。我们通过建立自然语言处理管道来提取法院判决标识符，从而获得引文数据。管道包括（i）文档分割模型和（ii）参考识别模型。此外，该数据集经过人工处理，以获得高质量的引文数据，作为后续定性和定量分析的基础。该数据集将向公众开放。
2020-02-06 cs.CL
The Czech Court Decisions Corpus (CzCDC): Availability as the First Step
在本文中，我们描述了捷克法院判决语料库（CzCDC）。CzCDC是捷克最高法院（或顶级法院）发布的237，723项裁决的数据集，即最高法院，最高行政法院和宪法法院。所有裁决均于1993年1月1日至2018年9月30日期间公布。法院判决可在各法院的网页上或通过商业法律信息数据库查阅。这往往导致对这些决定感兴趣的研究人员要么求助于各自的法院，要么求助于商业提供者。这会导致延误和额外费用。由于在法院提供裁决的数据格式方面缺乏法院间标准，这些问题进一步加剧。此外，法院的数据库往往缺乏适当的文件。我们的目标是使法院判决的数据集以一致的（普通的）格式免费在线提供，以降低与获取数据以供未来研究相关的成本。我们认为，通过CzCDC简化对法院判决的访问可以使其他研究人员受益。在本文中，我们描述了将其纳入CzCDC和数据集的基本统计之前的决策处理。该数据集包含法院判决的纯文本，这些文本没有注释任何语法或句法特征。
2019-10-21 cs.CL cs.IR
The LIG system for the English-Czech Text Translation Task of IWSLT 2019
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔大学、法国国家科学研究中心、格勒诺布尔理工学院、信息与信号处理实验室）
在本文中，我们介绍了我们提交的IWEST 2019英语到捷克语文本翻译任务。我们的系统旨在研究如何使用预训练的语言模型作为输入嵌入，可以改进在少量数据上训练的专用机器翻译系统。因此，我们实现了一个基于transformer的编码器-解码器神经系统，该系统能够使用预训练的语言模型的输出作为输入嵌入，并比较了三种配置下的性能：1）没有任何预先训练的语言模型（受约束的），2）使用在允许的英语-捷克语数据的单语部分上训练的语言模型（受约束的），以及3）使用在大量外部单语数据上训练的语言模型（不受约束的）。我们使用BERT作为外部预训练语言模型（配置3），并使用BERT架构训练我们自己的语言模型（配置2）。关于训练数据，我们在少量的平行文本上训练我们的MT系统：一组仅由提供的Must-C语料库组成，另一组由Must-C语料库和WMT的新闻评论语料库组成。我们观察到，使用外部预训练的BERT将我们的系统在开发集上的分数提高了BLEU的+0.8到+1.5，在测试集上提高了BLEU的+0.97到+1.94。然而，使用我们自己的语言模型只在允许的并行数据上训练，似乎只有当系统在最小的数据集上训练时，才能提高机器翻译的性能。
2019-11-07 cs.CL
Learning unification-based grammars using the Spoken English Corpus
本文描述了一个语法学习系统，它结合了基于模型和数据驱动的学习在一个单一的框架。我们使用英语口语语料库（SEC）学习语法的结果表明，基于模型和数据驱动的学习相结合，可以产生一个更合理的语法比使用任何一种学习风格隔离的情况下。
1994-06-28 cmp-lg cs.CL
AI Brown and AI Koditex: LLM-Generated Corpora Comparable to Traditional Corpora of English and Czech Texts
本文构建了 AI Brown 和 AI Koditex 两个 LLM 生成的多体裁英捷语料库，复刻传统人类语料库并进行 UD 标注，用于人机文本的语言学比较研究。
2025-09-26 cs.AI cs.CL
Announcing CzEng 2.0 Parallel Corpus with over 2 Gigawords
Charles University（查理大学）
我们提出了一个新版本的捷克-英语平行语料库CzEng 2.0，包括超过20亿个单词（2“gigawords”）在每种语言。语料库包含文档级信息，并使用多种技术进行过滤以降低噪声量。除了以前版本的CzEng中的数据外，它还包含新的真实和高质量的合成并行数据。CzEng可免费用于研究和教育目的。
2020-07-06 cs.CL
Proposing TAGbank as a Corpus of Tree-Adjoining Grammar Derivations
The University of British Columbia（不列颠哥伦比亚大学）
为填补词汇化语法形式缺乏大规模语料库的空白，本文提出从现有句法树库自动提取TAG推导的TAGbank语料库，概述映射方法并讨论挑战，支持句法分析等任务并计划扩展多语言语料库。
2025-04-13 cs.CL
CsFEVER and CTKFacts: Acquiring Czech data for fact verification
Czech Technical University in Prague（布拉格捷克理工大学）；Charles University（查理大学）
本文构建并发布捷克语事实验证数据集 CsFEVER 与 CTKFacts，结合翻译对齐和人工标注，分析标注偏差并提供基线模型与工具。
2022-10-17 cs.CL cs.LG
EMMT: A simultaneous eye-tracking, 4-electrode EEG and audio corpus for multi-modal reading and translation scenarios
Charles University（查理大学）
我们提出了眼动多模态翻译（EMMT）语料库，一个数据集包含单眼眼动记录，音频和4电极脑电图（EEG）数据的43名参与者。我们的目标是收集认知信号的参与者从事一些语言密集型任务，涉及不同的文本图像刺激设置时，从英语翻译到捷克语的反应。每个参与者被暴露于32个文本-图像刺激对，并被要求（1）阅读英语句子，（2）将其翻译成捷克语，（3）查阅图像，（4）再次翻译，更新或重复先前的翻译。文本刺激包括200个独特的句子，616个独特的单词，加上200个独特的图像作为视觉刺激。这些录音是在两周内收集的，所有参与研究的人都是捷克本地人，英语水平很高。由于研究中涉及的任务的性质和参与者的数量相对较大，语料库非常适合翻译过程研究，认知科学等学科的研究。
2022-04-06 cs.CL cs.HC
FlaCGEC: A Chinese Grammatical Error Correction Dataset with Fine-grained Linguistic Annotation
East China Normal University（华东师范大学）；Singapore Management University（新加坡管理大学）
针对现有中文语法纠错数据集缺乏语法错误深层语言结构的问题，研究者构建了带细粒度语言标注的FlaCGEC数据集，实验表明该数据集具有挑战性，可用于模型泛化能力诊断。
2023-09-26 cs.AI cs.CL
ChatLang-8: An LLM-Based Synthetic Data Generation Framework for Grammatical Error Correction
Atommerce；Upstage AI；Korea University（高丽大学）
本文提出含主题、语法选择与评估模块的 LLM 合成数据框架，并构建含 100 万句对的 ChatLang-8 数据集，显著改善 GEC 数据分布与模型性能。
2024-06-11 cs.AI cs.CL
Random Sentences from a Generalized Phrase-Structure Grammar Interpreter
在认知科学的许多领域中，拥有随机生成的语料库的来源通常是有用的。这些语料库可以用作学习实验中的人工刺激的基础（例如，Ellefson & Christiansen，2000），或者作为计算模型的输入（例如，Christiansen & Dale，2001）。下面的紧凑和通用的C程序解释文本文件中指定的短语结构语法。它遵循在Unix或基于Unix的命令行设置的参数，并从该语法生成随机句子的语料库。
2007-02-14 cs.CL
The Grammar and Syntax Based Corpus Analysis Tool For The Ukrainian Language
NASK National Research Institute（NASK国家研究院）
本文介绍了扩展至乌克兰语的文本挖掘工具StyloMetrix，基于手动设计的指标分析语法和句法模式，并展示了其在文本分类任务上的实验及局限性。
2023-05-22 cs.AI cs.CL
Data Augmentation for Spoken Grammatical Error Correction
ALTA Institute, Department of Engineering（ALTA研究所，工程系）
针对SGEC标注数据稀缺问题，提出全自动生成含语法错误与不流利现象音频-文本对的方法及客观评估指标，并在S&I Corpus上验证其对书面GEC和SGEC的增强价值。
2025-07-25 cs.AI cs.CL cs.SD
BenCzechMark : A Czech-centric Multitask and Multimetric Benchmark for Large Language Models with Duel Scoring Mechanism
Brno University of Technology（布拉格技术大学）；Masaryk University（马萨里大学）；University of Helsinki（赫尔辛基大学）；Czech Technical University in Prague（布拉格捷克技术大学）；University of Ostrava（奥斯特拉瓦大学）；CIIRC（捷克信息与通信研究中心）；Hugging Face
本文提出BenCzechMark，首个捷克语综合基准，含50项任务和双评分机制，并构建7B捷克语模型及语料库，提供排行榜以评估模型性能。
2025-05-22 cs.AI cs.CL
ELQA: A Corpus of Metalinguistic Questions and Answers about English
Georgetown University（乔治城大学）；Tohoku University（东北大学）
本文提出ELQA，一个包含超过70k条关于英语本身问答的元语言语料库，涵盖语法、含义等主题，并在多个大型语言模型上评估其生成元语言答案的能力。
2023-07-03 cs.CL
The EcoLexicon Semantic Sketch Grammar: from Knowledge Patterns to Word Sketches
University of Granada（格拉纳达大学）；University of Quebec in Trois-Rivières（魁北克大学三河城分校）
许多项目已经将知识模式（KPs）应用于专业信息的检索。然而，术语学家仍然依赖于人工分析的索引行提取语义信息，因为没有用户友好的公开可用的应用程序，使他们能够找到知识丰富的上下文（KRC）。为了填补这一空白，我们在著名的语料库查询系统Sketch Engine中创建了基于知识产权的生态词典语义SketchGrammar（ESSG）。ESSG现在第一次在Sketch Engine中公开提供，用于查询EcoLexicon英语语料库。此外，在用户上传的任何英语语料库中重用ESSG使Sketch Engine能够提取编码通用特定、部分-整体、位置、原因和功能关系的KRC，因为大多数KP是域独立的。信息以摘要列表（单词草图）的形式显示，其中包含由给定语义关系链接的术语对。本文描述了建立一个基于KP的草图文法的过程，特别关注的最后一个阶段，即评价与细化的目的。我们进行了初步的浅层精度和召回的64个英语草图语法规则，迄今为止创建的上下义关系，部分和因果关系的评价。精确度是根据从每个单词草图类型中提取的一致性随机样本来测量的。回忆率的评估是基于一个随机样本的一致性，其中已知的术语对发现。假阳性的噪音有助于进一步指定规则，而假阴性的沉默使我们能够找到有用的新模式。
2018-04-15 cs.CL
Multilingual Coreference Resolution with Harmonized Annotations
University of West Bohemia（西波希米亚大学）
在本文中，我们提出了共指消解实验与一个新创建的多语种语料库CorefUD。我们专注于以下语言：捷克语，俄语，波兰语，德语，西班牙语和加泰罗尼亚语。除了单语实验之外，我们还结合了多语言实验中的训练数据，并训练了两个联合模型-斯拉夫语言和所有语言。我们依赖于一个端到端的深度学习模型，我们稍微适应了CorefUD语料库。我们的研究结果表明，我们可以从协调的注释中受益，并且使用联合模型对具有较小训练数据的语言有很大帮助。
2021-09-03 cs.CL
Building a Neural Machine Translation System Using Only Synthetic Parallel Data
Seoul National University（首尔大学）
最近的工作表明，翻译模型自动生成的合成并行数据可以有效地用于各种神经机器翻译（NMT）问题。在这项研究中，我们建立NMT系统只使用合成并行数据。作为一种有效的替代真正的并行数据，我们还提出了一种新的类型的合成并行语料库。所提出的伪并行数据与以前的作品不同，因为在句子对的两侧混合了地面真值和合成示例。捷克-德国和法国-德国的翻译实验表明，建议的伪平行语料库，这不仅显示出增强的结果，双向翻译任务，但也有很大的改善与地面真实的真实平行语料库的帮助下的有效性。
2017-09-17 cs.CL
Supervised Grammar Induction Using Training Data with Limited Constituent Information
基于语料库的语法归纳通常依赖于手工解析的训练数据来学习语言的结构。不幸的是，构建大型注释语料库的成本非常昂贵。针对训练数据中标签较少的情况，改进了归纳策略。我们发现，信息量最大的语言成分是在解析树中的较高节点，通常表示复杂的名词短语和重复子句。他们只占所有选民的20%。为了从稀疏标记的训练数据（例如，只有更高级别的成分标签），我们提出了一个适应策略，它产生的语法，解析几乎以及语法从完全标记语料库诱导。我们的研究结果表明，部分解析器，以取代人类注释，它必须能够自动提取更高级别的成分，而不是基础名词短语。
1999-05-02 cs.CL
Learning Language from a Large (Unannotated) Corpus
描述了一种新的方法，从大型文本语料库中全自动、无监督地提取依存语法和相关的语法到语义关系映射。所建议的方法建立在作者先前对Link Grammar、RelEx和OpenCog系统的工作基础上，以及一些先前的论文和统计语言学习文献中的方法。如果成功的话，这种方法将能够直接从一个大型的、未注释的语料库中挖掘出支持自然语言理解和生成系统所需的所有信息。
2014-01-14 cs.CL cs.LG
Dependency Grammar Induction with Neural Lexicalization and Big Training Data
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
我们研究了大模型（词汇化程度）和大数据（训练语料库大小）对依存语法归纳的影响。我们用L-DMV和L-NDMV进行了实验，L-DMV是配价依赖模型的词汇化版本，L-NDMV是配价神经依赖模型的词汇化扩展。我们发现，L-DMV只受益于非常小程度的词汇化和中等规模的训练语料库。L-NDMV可以受益于大的训练数据和更大程度的词汇化，特别是当用良好的模型初始化来增强时，并且它实现了与当前最先进技术竞争的结果。
2017-08-02 cs.CL
Error-Driven Pruning of Treebank Grammars for Base Noun Phrase Identification
寻找简单的、非递归的基本名词短语是许多自然语言处理应用程序的重要子任务。虽然以前的经验方法基本NP识别已经相当复杂，本文提出了一个非常简单的算法，是针对相对简单的任务。特别是，我们提出了一种基于语料库的方法，通过匹配部分的语音标签序列来寻找基本的NP。该算法的训练阶段基于两种成功的技术：首先从“树库”语料库中读取基本NP语法;然后通过选择具有高“效益”分数的规则来改进语法。使用这个简单的算法与一个天真的启发式匹配规则，我们实现了令人惊讶的准确性在宾夕法尼亚州树库华尔街日报的评价。
1998-08-26 cmp-lg cs.CL
A State-Transition Grammar for Data-Oriented Parsing
本文提出了一种语法形式主义，设计用于面向数据的方法来语言处理。形式主义最好被描述为一个右线性索引文法，以语言学上有趣的方式扩展。本文继续研究如何处理用这种形式主义预解析的语料库，以提供用于解析新文本的概率语言模型。
1995-02-27 cmp-lg cs.CL
A Robust Parsing Algorithm For Link Grammars
在本文中，我们提出了一个强大的分析算法的基础上的链接文法形式主义的分析自然语言。我们的算法是一个自然的扩展，原来的动态规划识别算法，递归计数输入句子中的两个单词之间的联系的数量。修改后的算法使用空链接的概念，以便允许任何一对相邻单词之间的连接，而不管它们的字典定义。该算法通过进行三次动态规划来进行。在第一遍中，使用原始算法解析输入，该算法强制约束链接以确保语法性。在第二遍中，计算每个单词子串的总成本，其中成本由解析子串所需的空链接的数量确定。最后一遍以最小的代价计算解析的总数。所有的原始修剪技术在鲁棒算法中都有自然的对应物。当与记忆化一起使用时，这些技术使算法能够以立方最坏情况复杂度有效地运行。我们已经实现了这些想法，并测试他们通过分析的交换机语料库的会话英语。该语料库由大约300万字的文本组成，相当于从70个不同主题的电话交谈中收集的150多个小时的转录语音。虽然在这个语料库中只有一小部分的句子是“语法”的标准，强大的链接语法分析器是能够提取相关的结构的大部分句子。我们提出了我们的实验结果，使用这个系统，包括从语料库中选择和随机句子的分析。
1995-08-02 cmp-lg cs.CL
ParaCotta: Synthetic Multilingual Paraphrase Corpora from the Most Diverse Translation Sample Pair
Kata.ai Research Team（Kata.ai研究团队）；Kumamoto University（熊本大学）；University of Edinburgh（爱丁堡大学）；Universitas Indonesia（印度尼西亚大学）；Oracle Digital Assistant（甲骨文数字助手）；Brawijaya University（布拉维贾亚大学）
我们发布了17种语言的合成平行释义语料库：阿拉伯语，加泰罗尼亚语，捷克语，德语，英语，西班牙语，爱沙尼亚语，法语，印地语，印度尼西亚语，意大利语，荷兰语，罗马尼亚语，俄语，瑞典语，越南语和中文。我们的方法仅依赖于单语数据和神经机器翻译系统来生成释义，因此应用简单。我们使用束搜索生成多个翻译样本，并根据它们的句子BLEU选择词汇最多样化的对。我们比较我们生成的语料库与\texttt{ParaBank2}。根据我们的评估，我们的合成释义对语义相似，词汇多样。
2022-05-10 cs.CL
Bootstrapping incremental dialogue systems from minimal data: the generalisation power of dialogue grammars
Heriot-Watt University（赫瑞瓦特大学）
我们研究了一种端到端的方法，用于从少量未注释的对话数据自动诱导基于任务的对话系统。它结合了增量语义语法-动态语义和类型论（DS-TTR）-与强化学习（RL），其中语言生成和对话管理是一个联合决策问题。这样产生的系统是渐进的：对话是逐字处理的，以前被证明是支持自然的，自发的对话必不可少的。我们假设，语法中丰富的语言知识应该能够处理大量的对话变体，即使在很少的对话上进行训练。我们的实验表明，我们的模型可以处理74%的Facebook AI bAbI数据集，即使只训练了0.13%的数据（5个对话）。它还可以处理65%的bAbI+，这是我们通过系统地添加增量对话现象（如重启和自我纠正）创建的语料库。我们将我们的模型与最先进的检索模型MemN 2N进行比较。我们发现，在语义准确性方面，MemN 2N对bAbI+转换的鲁棒性非常差，即使在完整的bAbI数据集上进行训练也是如此。
2017-09-22 cs.CL
Neural Machine Translation of Text from Non-Native Speakers
University of Notre Dame（圣母大学）
神经机器翻译（NMT）系统在面对噪声数据时会降级，特别是当系统仅在干净数据上训练时。在本文中，我们表明，增加训练数据的句子包含人工引入的语法错误，可以使系统更强大的错误。结合自动语法错误纠正系统，我们可以恢复1.5 BLEU出2.4 BLEU由于语法错误丢失。我们还提出了一套西班牙语翻译的JFLEG语法纠错语料库，它允许测试NMT鲁棒性真正的语法错误。
2019-03-11 cs.CL
Lexicons and grammars for language processing: industrial or handcrafted products?
Université Paris-Est（巴黎东部大学）；Universidade Estadual Paulista (UNESP)（圣保罗州立大学）；University of Belgrade（贝尔格莱德大学）
本文分析词典和语法的手工构建与自动化工业化两种趋势，探讨哪种方式或两者结合能获得最佳结果。
2026-06-02 cs.CL
No Keyword is an Island: In search of covert associations
Institute of the Czech National Corpus, Faculty of Arts, Charles University（查理大学文学院捷克国家语料库研究所）；Department of Slavic Studies, Brown University（布朗大学斯拉夫语研究系）
本文介绍了如何语料库辅助语篇分析的关键字（KW）的识别和解释的基础上，可以受益于市场购物篮分析（MBA）后，KW提取。MBA是一种最初用于营销的数据采掘技术，可以揭示购物车中物品之间的一致关联，也可以揭示许多文本语料库中关键词之间的一致关联。通过识别KW之间的重复关联，我们可以弥补缺乏更广泛的背景，这是一个主要问题，阻碍了孤立的KW的解释（特别是当分析大数据时）。为了展示MBA在话语中“重新语境化”关键词的优势，进行了一项关于移民主题的试点研究，对比了反制度和中右翼的捷克互联网媒体。进行了。结果表明，MBA有助于确定反系统新闻门户网站的主导战略：编织一个令人困惑的意识形态暗流，并将移民的概念与众多其他主题（即，洪水的话语）。
2021-09-20 cs.CL
Transparency at the Source: Evaluating and Interpreting Language Models With Access to the True Distribution
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
提出一种基于大规模概率语法生成人工类语言数据的设置，用于训练、评估和解释神经语言模型，通过访问真实分布计算困惑度下界并直接比较学习表示与符号规则，揭示不同架构和训练目标在学习动态上的显著差异。
2023-10-23 cs.CL
Learning Unification-Based Natural Language Grammars
当解析非限制性语言时，广泛覆盖的语法通常生成不足。可以通过句子纠正或语法纠正来解决未成年人问题。本论文主要研究自动语法纠正（或语法的机器学习）作为解决未成年人问题的一种方法。一般来说，语法校正方法可以分为{ \it数据驱动}或{ \it基于模型}。数据驱动型学习者使用数据密集型方法来获取语法。它们通常使用不适合实际文本处理需要的语法形式主义，并且不能保证所得到的语法足以用于随后的语义解释。也就是说，数据驱动的学习者获得的语法生成的字符串，人类会判断为语法错误的（他们{ \it过度生成}），并且无法分配语言上合理的解析。基于模型的学习者是知识密集型的，并且成功依赖于语法性的{ \it模型}的完整性。但在实践中，该模型将是不完整的。鉴于在这篇论文中，我们通过学习来处理未成年人，我们假设数据驱动和基于模型的学习的结合使用将允许数据驱动学习来补偿基于模型的学习的不完整性，而基于模型的学习将补偿数据驱动学习的不健全性。我们描述了一个系统，我们已经用来测试的假设经验。该系统将数据驱动和基于模型的学习相结合，以获得更适合于实际文本分析的基于统一的语法。本文以英语口语语料库为语料，通过对欠生成、过生成和句法可译性的定量测量，证明了这一假设的正确性。
1995-02-03 cmp-lg cs.CL
A Corpus-based Evaluation of a Domain-specific Text to Knowledge Mapping Prototype
Khulna University of Engineering & Technology (KUET)（库尔纳工程技术大学）；the University of Bolton（博尔顿大学）；University of Dhaka（达卡大学）
本文的目的是评估一个文本到知识映射（TKM）的原型。原型是特定领域的，其目的是将教学文本映射到知识域。知识领域的背景是直流电路。在开发过程中，原型已经用来自域的有限数据集进行了测试。原型达到了一个阶段，它需要与一个有代表性的语言数据集称为语料库进行评估。语料库是从典型源中提取的文本的集合，其可以用作评估NLP系统的测试数据集。由于该领域没有可用的语料库，我们开发并注释了一个具有代表性的语料库。原型的评价考虑了它的两个主要组成部分-词汇成分和知识模型。对词汇成分的评价丰富了原型的词汇、语法结构等词汇资源。这导致原型解析语料库中合理数量的句子。虽然处理词汇是直接的，但识别和提取适当的语义关系要复杂得多。因此，有必要手动开发领域的概念结构，以制定特定领域的语义关系框架。语义关系框架由55个关系组成，其中42个关系为反向关系。我们还对语料进行了修辞分析，以证明其在语义表达上的代表性。最后，我们对语料进行了主题分析和语篇分析，分析原型对语篇的覆盖情况。
2012-04-28 cs.CL
Towards Corpus-Grounded Agentic LLMs for Multilingual Grammatical Analysis
University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）；University of Ljubljana, Faculty of Arts（卢布尔雅那大学艺术学院）；Jožef Stefan Institute（乔塞夫·斯塔芬研究所）
本文提出基于语料库的代理LLM框架，用于多语言语法分析，通过数据驱动推理提升语法探究的可解释性和扩展性。
2025-11-28 cs.CL
A Benchmark for Learning to Translate a New Language from One Grammar Book
Google（谷歌公司）；Stanford University（斯坦福大学）；University of Oslo（奥斯陆大学）；Oxford University（牛津大学）
提出MTOB基准，要求模型仅从一本语法书学习翻译英语与Kalamang语，基线LLM表现优于随机但低于人类，旨在衡量LLM新任务适应能力。
2024-02-09 cs.CL
Grammar as a Foreign Language
Google（谷歌）
句法成分分析是自然语言处理中的一个基本问题，并且几十年来一直是深入研究和工程的主题。因此，最准确的解析器是特定于域的、复杂的和低效的。在本文中，我们表明，领域不可知的注意力增强序列到序列模型实现最广泛使用的句法选区解析数据集的最先进的结果，当训练的大型合成语料库，使用现有的解析器进行注释。当只在一个小的人类注释数据集上训练时，它也与标准解析器的性能相匹配，这表明该模型具有高度的数据效率，与没有注意力机制的序列到序列模型相比。我们的解析器也很快，在未优化的CPU实现下每秒处理100多个句子。
2015-06-09 cs.CL cs.LG stat.ML
A Data-Oriented Approach to Semantic Interpretation
在面向数据的语法分析（DOP）中，标注的语言语料库被用作随机语法。通过以最可能的方式组合来自语料库的子分析来构造新输入句子的最可能分析。这种方法已成功地用于句法分析，使用语料库与句法注释，如宾州树库。如果使用带有语义注释的句子的语料库，则相同的方法也可以生成输入句子的最可能的语义解释。本文介绍了这种语义解释方法，并总结了初步实验的结果。对ATIS语料库中大部分句子的句法标注都添加了语义标注。一个面向数据的语义解释算法成功地测试了这个语义丰富的语料库。
1996-06-18 cmp-lg cs.CL
A Corpus-based Evaluation of Lexical Components of a Domainspecific Text to Knowledge Mapping Prototype
Khulna University of Engineering & Technology (KUET)（库尔纳工程技术大学）；the University of Bolton（博尔顿大学）
本文的目的是评估的文本知识图谱（TKM）原型的词汇成分。原型是特定领域的，其目的是将教学文本映射到知识域。原型的知识领域的背景是物理学，特别是直流电路。在开发过程中，原型已经用来自域的有限数据集进行了测试。该原型现在达到了需要使用称为语料库的代表性语言数据集进行评估的阶段。语料库是从典型源中提取的文本的集合，其可以用作评估NLP系统的测试数据集。由于该领域没有可用的语料库，我们开发了一个有代表性的语料库，并用语言信息对其进行注释。原型的评估认为它的两个主要组成部分之一-词汇知识库。借助语料库，评价丰富了词汇、语法结构等词汇知识资源。这导致原型解析语料库中合理数量的句子。
2012-04-28 cs.CL cs.IR
Contextual Tamil Spelling and Grammar Correction Using Progressively Fine-Tuned Sequence-to-Sequence Transformers
National Institute of Technology, Tiruchirappalli（国家技术研究所蒂鲁吉拉伯利分校）；Tamil University, Thanjavur（泰米尔大学）
针对泰米尔语低资源特性及现有方法无法处理上下文错误的问题，提出端到端序列到序列模型，通过四阶段渐进式微调mT5-small和mBART-50，在合成语料库上取得连音准确率87.5%、主谓一致准确率43.5%的结果。
2026-09-04 cs.CL
Naamah: A Large Scale Synthetic Sanskrit NER Corpus via DBpedia Seeding and LLM Generation
Centre for Development of Advanced Computing (C-DAC)（发展高级计算中心）
本文提出Naamah，一个包含102942个句子的高质量梵语NER数据集，结合DBpedia实体提取与混合推理模型生成，用于评估XLM RoBERTa和IndicBERTv2模型。
2026-04-29 cs.AI cs.CL
Backdoor Attacks on Dense Retrieval via Public and Unintentional Triggers
Nanyang Technological University, Singapore（南洋理工大学）；Zhejiang University（浙江大学）；The Chinese University of Hong Kong（香港中文大学）
针对密集检索系统的脆弱性，本文提出一种由语法错误触发的隐蔽后门攻击，利用对比损失对语法错误的敏感性和难负样本采样的易感性，以极低语料投毒率实现高攻击成功率，且对正常查询无影响，恶意内容难被防御策略检测。
2025-08-25 cs.CL
Pipeline and Dataset Generation for Automated Fact-checking in Almost Any Language
Artificial Intelligence Center, Faculty of Electrical Engineering, Czech Technical University in Prague（捷克技术大学布拉格校区电气工程学院人工智能中心）；Department of Journalism, Faculty of Social Sciences, Charles University（查理大学社会科学学院新闻学系）
本文提出一种基于段落级处理的自动化事实核查流水线，利用QACG方法和机器翻译生成多语言训练数据，并开源了捷克语等四种语言的模型与FactSearch应用。
2023-12-15 cs.CL
Data-Oriented Language Processing. An Overview
在过去的几年里，一种新的语言处理方法开始出现，它已经被称为各种标签，如“面向数据的分析”，“基于语料库的解释”和“树库语法”（参见。van den Berg et al. 1994; Bod 1992-96; Bod et al. 1996 a/b; Bonnema 1996; Charniak 1996 a/b; Goodman 1996; Kaplan 1996; Rajman 1995 a/b; Scha 1990-92; Sekine & Grishman 1995; Sima'an et al. 1994; Sima'an 1995-96; Tugwell 1995）。这种方法，我们称之为“面向数据的处理”或“DOP”，体现了这样一种假设，即人类的语言感知和产生与具体的过去语言经验的表征有关，而不是与抽象的语言规则有关。因此，实例化这种方法的模型维护了以前发生的话语的语言表示的大型语料库。当处理一个新的输入话语时，该话语的分析是通过组合来自语料库的片段来构建的;片段的出现频率用于估计哪个分析是最可能的。在本文中，我们给出了一个面向数据的处理模型，采用标记短语结构树的语料库进行了深入的讨论。然后，我们回顾了一些其他的模型，实例化的DOP方法。这些模型中的许多也采用标记短语结构树，但是使用不同的标准从语料库中提取片段或采用不同的消歧策略（Bod 1996 b; Charnia…
1996-11-14 cmp-lg cs.CL
A Methodology for Creating Question Answering Corpora Using Inverse Data Annotation
Zurich University of Applied Sciences (ZHAW)（苏黎世应用科学大学（ZHAW））；National Distance Education University (UNED)（国立远程教育大学（UNED））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
在本文中，我们介绍了一种新的方法来有效地构建一个语料库的问答结构化数据。为此，我们引入了一个中间表示，它是基于逻辑查询计划在一个数据库中称为操作树（OT）。这种表示允许我们反转注释过程，而不会失去我们生成的查询类型的灵活性。此外，它允许查询标记与OT操作的细粒度对齐。在我们的方法中，我们从一个上下文无关文法随机生成OT。之后，注释者必须编写由OT表示的适当的自然语言问题。最后，注释器将标记分配给OT操作。我们应用该方法来创建一个新的语料库OTTA（操作树和令牌分配），一个大型语义解析语料库评估自然语言接口数据库。我们将OTTA与Spider和LC-WMD 2.0进行了比较，结果表明，我们的方法在保持查询复杂性的同时，将注释速度提高了两倍多。最后，我们训练一个国家的最先进的语义解析模型对我们的数据，并表明我们的语料库是一个具有挑战性的数据集，可以利用令牌对齐，以提高性能显着。
2020-06-25 cs.AI cs.CL cs.LG
Real-Word Error Correction with Trigrams: Correcting Multiple Errors in a Sentence
Department of Computer Engineering, Kerman Branch, Islamic Azad University（伊斯兰阿扎德大学克尔曼分校计算机工程系）
拼写纠正是文本挖掘中的一项基本任务。在这项研究中，我们评估了由Mays，Damerau和Mercer提出的实字纠错模型，并描述了该模型的几个缺点。我们提出了一个新的变化，侧重于检测和纠正多个真实的字错误的句子，通过操纵概率上下文无关文法（PCFG），区分项目之间的搜索空间。我们在华尔街日报语料库上测试了我们的方法，并表明它优于Hirst和Budanitsky的基于WordNet的方法以及Wilcox-O 'Hearn，Hirst和Budanitsky的固定窗口大小方法。O 'Hearn，Hirst和Budanitsky的固定窗口大小方法。
2023-02-07 cs.AI cs.CL
