Formal context reduction in deriving concept hierarchies from corpora using adaptive evolutionary clustering algorithm star
Sulaimani Polytechnic University(苏莱曼尼理工大学);Kurdistan Institution for Strategic Studies and Scientific Research(库尔德斯坦战略研究与科学研究机构);University of Kurdistan Hewler(库尔德斯坦赫勒大学);Torrens University(托伦斯大学);Yonsei University(延世大学)
自动化从语料库导出概念层次结构的过程是有益的,因为概念层次结构的手动构造通常是耗时且资源密集的过程。因此,从语料库中学习概念层次结构的整个过程包括一系列步骤:将文本解析成句子,将句子拆分,然后将其标记化。在lemmatization步骤之后,使用FCA提取对。然而,在正式语境中可能会有一些无趣的和错误的对。生成形式背景可能会导致一个耗时的过程,因此需要减少形式背景的大小,以删除不感兴趣和错误的对,从而花费更少的时间来提取概念格和概念层次。在此前提下,本研究的目的是提出两个框架:(1)一个框架,以审查目前的过程中派生的概念层次从语料库使用FCA;(2)框架,以减少形式背景歧义的第一个框架,使用自适应版本的ECA*。在这两个框架上,使用维基百科的385个样本语料进行实验,研究了形式背景的缩减,得到了概念格和概念层次。使用概念格不变量将所得到的形式背景格评估为标准格。相应地,这两个格之间的同态保持了89%的质量,从而产生的概念层次结构的基本的,和减少的概念格继承了标准的结构关系。自适应ECA* 检查其对应的四个基线算法,以测量具有不同密度(填充率)的随机数据集上的执行时间。结果表明,自适应ECA* 执行概念格的速度比其他提到的竞争技术在不同的填充率。
2021-07-10 cs.AI cs.CL
From Retrieval to Weights: Parametric Individualization of Small Language Models with Individual Text Corpora
Bergische Universität Wuppertal(伍珀塔尔大学);Goethe-Universität Frankfurt(法兰克福大学)
本研究通过DoRA微调将个体文本语料库整合进小语言模型权重,实现参数化个性化,实验表明适配器能有效拟合个体文本,为个性化辅导代理奠定基础。
2026-09-10 cs.CL cs.IR
Entity Extraction with Knowledge from Web Scale Corpora
The University of Western Australia(西澳大利亚大学);The University of Melbourne(墨尔本大学)
实体抽取是文本挖掘和自然语言处理中的一项重要任务。一种流行的实体提取方法是将来自自由文本的子串与实体字典进行比较。在本文中,我们提出了几种技术作为后处理步骤,以提高现有的实体提取技术的有效性。这些技术利用网络规模语料库训练的模型,这使得我们的技术强大而通用。实验结果表明,我们的技术带来了显着的效率和效果的提高。
2019-11-21 cs.CL cs.DB cs.LG
Statistical keyword detection in literary corpora
理解人类语言的复杂性需要对文本中单词的统计分布进行适当的分析。我们考虑通过涉及词的“空间”使用的统计信息来检测文本的相关词并对其进行排名的信息检索问题。香农信息熵被用作自动关键词提取的工具。通过使用查尔斯·达尔文的《物种起源》作为代表性文本样本,我们展示了我们的检测器的性能,并将其与文献中的其他建议进行了比较。随机混洗文本作为校准排名指数的工具受到特别关注。
2008-05-30 cs.CL cs.IR physics.soc-ph
Cross Script Hindi English NER Corpus from Wikipedia
Jamia Millia Islamia(贾米亚·米利亚·伊斯兰大学)
社交媒体平台上生成的文本基本上是混合语言文本。任何形式的语言混合都会给语言处理系统带来相当大的困难。此外,语言处理研究的进展取决于标准语料库的可用性。混合语言印度命名实体识别(NER)系统的发展面临的障碍,由于缺乏标准的评估语料库。这样的语料库可能是混合语言的性质,其中文本是使用多种语言编写的,主要是使用一个单一的脚本。我们的工作的动机是强调自动生成这样的语料库,以鼓励混合语言的印度语净率。本文介绍了一个跨脚本印地语-英语语料库的准备从维基百科的类别页面。语料库成功地使用标准的CoNLL-2003的PER,ORG,MISC的类别进行注释。对多种机器学习算法进行了评价,取得了良好的效果。
2018-10-08 cs.CL cs.IR cs.LG
Automatic extraction of paraphrastic phrases from medium size corpora
本文提出了一个通用的系统,旨在获取释义短语从一个有代表性的语料库。为了减少用于NLP系统(例如信息抽取,IE)的资源的详细描述所花费的时间,我们建议使用机器学习系统,该系统有助于定义新的模板和相关的资源。这些知识是从文本集合中自动获得的,与大型语义网络进行交互。
2005-09-28 cs.AI cs.CL
Term-Centric Hierarchy Induction from Heterogeneous Corpora
MaiNLP, Center for Information and Language Processing, LMU Munich(LMU慕尼黑大学信息与语言处理中心MaiNLP);Fraunhofer Institute for Systems and Innovation Research ISI(弗劳恩霍夫系统与创新研究所ISI);Department of Computer Science, IT University of Copenhagen(哥本哈根IT大学计算机科学系)
提出一种术语中心框架,通过自动术语提取将异构语料映射到共享表示空间,结合领域先验与数据驱动聚类构建可解释层级,在百万级多源基准上优于文本和摘要基线。
2026-06-26 cs.CL
Reducing Formal Context Extraction: A Newly Proposed Framework from Big Corpora
University of Kurdistan Hewler(库尔德斯坦赫斯勒大学);Charmo University(查莫大学);Garmian Polytechnic University(加尔米安理工大学);Sulaimani Polytechnic University(苏莱曼尼亚理工大学);University of Huddersfield(哈德斯菲尔德大学);University of Raparin(拉帕林大学)
本文提出一种结合WordNet与频率统计的混合框架,用于缩减从自由文本中提取概念层次时的形式背景规模,在Wikipedia语料库实验中保留高达98%的概念层次质量,并在概念格性能上优于五种基线方法。
2025-04-01 cs.CL
Exploiting Global and Local Hierarchies for Hierarchical Text Classification
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室)
层次文本分类旨在利用标签层次结构进行多标签文本分类。现有的方法在全局视图中对标签层次进行编码,其中标签层次被视为包含所有标签的静态层次结构。由于全局层次结构是静态的,与文本样本无关,这使得这些方法很难利用层次信息。与全局层次结构相反,局部层次结构作为一种结构化的标签层次结构,对应于每个文本样本.它是动态的,与文本样本相关,这在以前的方法中被忽略了。为了充分利用全局和局部层次结构,本文提出了基于全局和局部层次结构的层次引导BERT(HBGL)方法,该方法利用BERT的大规模参数和先验语言知识对全局和局部层次结构进行建模,并通过直接利用BERT对语义和层次信息进行建模,避免了语义和层次模块的有意融合。我们的方法在三个基准数据集上取得了显著的改进。
2022-11-08 cs.CL
Scalable Cross-lingual Document Similarity through Language-specific Concept Hierarchies
Universidad Politécnica de Madrid(马德里理工大学);Amazon Research(亚马逊研究院)
随着越来越多的数字文章以更广泛的语言出现,以及不同语言的使用范围不断扩大,我们需要能够浏览多语言语料库的注释方法。多语言概率主题模型是近年来出现的一组半监督机器学习模型,可用于对多种语言的文本集合进行主题探索。然而,这些方法需要主题对齐的训练数据来创建语言独立的空间。这种限制限制了该技术可以为训练提供解决方案的场景数量,并且很难扩展到训练阶段需要大量多语言文档的情况。本文提出了一种无监督的文档相似度算法,不需要平行或可比语料库,或任何其他类型的翻译资源。该算法用跨语言标签标注从单一语言文档中自动创建的主题,并通过独立训练的模型中的多语言概念层次来描述文档。在英语,西班牙语和法语版的JCR-Accounts语料库上进行的实验显示,通过相似内容对文档进行分类和排序的结果很有希望。
2020-12-15 cs.AI cs.CL cs.IR
Generative Adversarial Nets for Multiple Text Corpora
Northwestern University(西北大学)
生成对抗网络(GANs)已成功应用于图像数据的人工生成。在文本数据方面,从单个语料库中人工生成自然语言已经做了很多工作。我们考虑多个文本语料库作为输入数据,其中GANs可以有两种应用:(1)在每个语料库具有不同词嵌入的情况下创建一致的跨语料库词嵌入;(2)为每个语料库生成鲁棒的词袋文档嵌入。我们展示了我们的GAN模型对现实世界的文本数据集,从不同的语料库,并表明,从两个模型的嵌入导致监督学习问题的改进。
2017-12-25 cs.CL
Multi-Level Analysis and Annotation of Arabic Corpora for Text-to-Sign Language MT
在本文中,我们提出了一个正在进行的努力,现代标准阿拉伯语(MSA)的文本,半自动注释工具有关的形态,句法和语义水平的描述词汇语义分析和注释。
2016-05-24 cs.CL
Understanding the Properties of Generated Corpora
IBM Research(IBM研究院)
文本生成模型已成为许多研究任务的焦点,特别是对于句子语料库的生成。然而,理解自动生成的文本语料库的属性仍然具有挑战性。我们提出了一套工具,检查生成的文本语料库的属性。将这些工具应用于各种生成语料库,使我们能够对生成模型的属性有新的认识。作为表征过程的一部分,我们发现两种领先的生成技术生成的语料库存在显着差异。
2022-10-27 cs.CL
Compiling and Processing Historical and Contemporary Portuguese Corpora
University of Cologne(科隆大学)
本技术报告描述了用于处理三个大型葡萄牙语语料库的框架。两个语料库包含报纸的文本,一个在巴西出版,另一个在葡萄牙出版。第三个文集是《科洛尼亚》,这是一部葡萄牙历史文集,包含16世纪至20世纪初撰写的文本。该报告介绍了语料库的预处理方法、分割和注释以及索引和查询方法。最后,介绍了使用语料库发表的研究论文。
2017-10-02 cs.CL
Hearst Patterns Revisited: Automatic Hypernym Detection from Large Text Corpora
Facebook AI Research(Facebook人工智能研究)
用于无监督上位词检测的方法可以根据两种范例广泛地分类:基于模式的方法和分布式方法。在本文中,我们研究了这两种方法在几个上位任务上的性能,发现简单的基于模式的方法在常见的基准数据集上始终优于分布式方法。我们的研究结果表明,基于模式的模型提供了重要的上下文约束,尚未捕获的分布方法。
2018-06-08 cs.CL
Chinese-Portuguese Machine Translation: A Study on Building Parallel Corpora from Comparable Texts
Macao Polytechnic Institute(澳门理工学院);Dublin City University(都柏林城市大学)
尽管中国与葡语国家之间的联系日益密切,但中葡语言对中的平行语料库并不多。这两种语言的人口都非常多,有12亿母语为汉语的人和2.79亿母语为葡萄牙语的人,然而,就可用的平行语料库而言,这两种语言可以被认为是低资源。在本文中,我们描述了我们的方法来策展中葡平行语料库和评估其质量。我们从澳门政府网站中抽取双语语料,并提出了一种分层策略来构建大型平行语料库。实验进行现有的语料库和我们使用基于短语的机器翻译(PBMT)和国家的最先进的神经机器翻译(NMT)模型。这项工作的结果可以作为未来的中葡MT系统的基准。我们在本文中使用的方法也展示了一个很好的例子,如何提高低资源语言对的MT系统的性能。
2018-04-05 cs.CL
Automatic Creation of Text Corpora for Low-Resource Languages from the Internet: The Case of Swiss German
iCoSys Institute, University of Applied Sciences and Arts Western Switzerland(瑞士西部应用科学与艺术大学iCoSys研究所);University of Fribourg(弗里堡大学);Swisscom AG(瑞士电信公司)
本文介绍了SwissCrawl,最大的瑞士德语文本语料库。它由50多万个句子组成,是使用定制的网络抓取工具生成的,该工具也可以应用于其他低资源语言。该方法演示了如何免费提供的网页可以用来构建全面的文本语料库,这是自然语言处理的根本重要性。在实验评估中,我们表明,使用新的语料库导致语言建模任务的显着改善。为了捕获新内容,我们的方法将持续运行,以随着时间的推移不断增加语料库。
2020-06-16 cs.CL
Measuring the Measuring Tools: An Automatic Evaluation of Semantic Metrics for Text Corpora
IBM Research AI(IBM研究院人工智能部门)
在各种自然语言处理应用中,比较文本语料库之间的语义相似性的能力是重要的。然而,评价这些指标的标准方法尚未建立。我们提出了一套自动和可解释的措施,用于评估语料库级别的语义相似性指标的特点,允许明智的比较他们的行为。我们证明了我们的评估措施的有效性,在捕捉基本特征的经典和国家的最先进的指标的集合进行评估。我们的措施表明,最近开发的指标正在变得更好地识别语义分布不匹配,而经典的指标是更敏感的表面文本水平的扰动。
2022-11-29 cs.CL
Luminoso at SemEval-2018 Task 10: Distinguishing Attributes Using Text Corpora and Relational Knowledge
Luminoso Technologies, Inc.(Luminoso科技公司)
Luminoso参与了SemEval 2018的“捕获区别性属性”任务,该任务基于ConceptNet系统,ConceptNet是一个专注于一般知识的开放知识图谱。在本文中,我们描述了如何在少量语义信息特征上训练线性分类器,以在任务上获得0.7368的$F_1$分数,接近任务的最高分数0.75。
2018-12-11 cs.CL
Topic Discovery in Massive Text Corpora Based on Min-Hashing
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所)
十多年来,在文本语料库中发现主题的任务一直由潜在Dirichlet分配和其他主题模型主导。为了将这些方法应用于大量文本语料库,词汇表需要大大减少,并且通常需要大型计算机集群和/或GPU。此外,主题的数量必须事先提供,但这取决于语料库的特点,这往往是很难估计,特别是对于海量文本语料库。不幸的是,主题质量和时间复杂度都对这种选择很敏感。本文介绍了一种基于Min-Hashing的主题发现方法,该方法可以使用适当的计算机硬件处理大量文本语料和大词汇量,并且不需要预先确定主题的数量。其基本思想是生成语料库词汇的多个随机分区,以找到高度共现的单词集,然后将其聚类以产生最终的主题。与概率主题模型中的主题分布在完整的词汇,所提出的方法发现的主题是一组高度共现的话。有趣的是,这些主题是不同粒度级别的各种主题的基础。使用20个新闻组(18 K),路透社(800 K),西班牙语维基百科(1 M)和英语维基百科(5 M)语料库进行了广泛的定性和定量评估表明,所提出的方法能够始终如一地发现有意义和连贯的主题。值得注意的是,所提出的方法的时间复杂度是线性的语料库和词汇量的大小;非并行实现能够发现主题从整个英文版的维基百科超过500万个文档和100万个单词在不到7个小时。
2019-08-07 cs.CL
Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning
Ingenuity Labs Research Institute & ECE, Queen’s University(女王大学创新实验室研究所与电子与计算机工程系);Amazon.com Inc(亚马逊公司)
利用标签层次结构已成为解决zero-shot多标签文本分类问题的一种很有前途的方法。传统的方法旨在学习文本和标签之间的匹配模型,使用图形编码器来合并标签层次结构以获得有效的标签表示\cite{rios2018few}。最近,像BERT \cite{devlin2018bert}这样的预训练模型已被用于将分类任务转换为文本蕴涵任务\cite{yin-etal-2019-benchmarking}。这种方法自然适合于M-MTC任务。然而,在现有的工作中,预训练的模型没有得到充分的研究,因为它们不会为文本或标签生成单独的矢量表示,因此将它们与传统的图形编码方法相结合是不直观的。在本文中,我们探索如何改进带有标签层次结构的预训练模型。我们提出了一个加强标签层次推理(RLHR)的方法,以鼓励在训练过程中的层次结构中的标签之间的相互依赖性。同时,为了克服平面预测的弱点,我们设计了一个回滚算法,可以在推理过程中删除预测中的逻辑错误。在三个真实数据集上的实验结果表明,我们的方法取得了更好的性能,并优于以前的非预训练的方法在机器学习MTC任务。
2021-04-04 cs.CL
Semi-Supervised Cleansing of Web Argument Corpora
Bauhaus-Universität Weimar(魏玛包豪斯大学);Paderborn University(帕德博恩大学)
辩论门户和类似的网络平台构成了计算论证研究及其应用的主要文本来源之一。虽然建立在这些来源上的语料库具有丰富的与论证相关的内容和结构,但它们也包括与其目的无关甚至有害的文本。在本文中,我们提出了一个面向精度的方法来检测这种不相关的文本在半监督的方式。给定一些种子示例,该方法会自动学习相关性和不相关性的基本词汇模式,然后从匹配模式的句子中逐步引导新模式。在现有的args.me语料库与40万议论文,我们的方法检测到近87k无关的句子,在精度为0.97,根据人工评估。该方法具有较低的工作量,可以适用于其他网络论元语料库,提供了一种通用的方法来提高语料库的质量。
2020-11-03 cs.CL
"Chi nas dal soch el sent de legn" -- Auditing Text Corpora for Lombard
NLP Centre, Faculty of Informatics Masaryk University(马萨里克大学信息学院自然语言处理中心)
本文通过手动审计伦巴第语的平行和单语语料库,发现网络抓取数据存在严重的语言误识别、模板文本和非语言噪声问题,并揭示了高质量数据偏向西部伦巴第语变体、东部变体被边缘化的代表性偏差,强调需要关注变体多样性和社区驱动的数据策展。
2026-06-04 cs.CL
Do Language Models Care About Text Quality? Evaluating Web-Crawled Corpora Across 11 Languages
University of Groningen(格罗宁根大学);Jožef Stefan Institute(约热·什特凡研究所);Universitat d'Alacant(阿利坎特大学);Prompsit(普龙普西特公司)
本文通过人工评估和下游任务测试,比较四个大型网络爬取语料库在11种低资源欧洲语言上的质量,发现内在质量与训练效果不一致,质量对LM训练影响不显著。
2024-03-13 cs.CL
CompText: Visualizing, Comparing & Understanding Text Corpus
UC Davis(加州大学戴维斯分校)
自然语言处理(NLP)中的一种常见做法是在不通读整个文献的情况下可视化文本语料库,仍然抓住所描述的中心思想和关键点。长期以来,研究者们致力于从文本中提取主题,并根据主题在语料库中的相对重要性将其可视化。然而,最近,研究人员开始提出更复杂的系统,不仅暴露了语料库的主题,还暴露了与主题密切相关的词,为用户提供了一个整体视图。这些详细的可视化催生了基于可视化的文本语料库比较研究。主题经常被比较以理想化语料库之间的差异。然而,为了从不同的语料库中获取更大的语义,研究人员已经开始根据与文本相关的主题的情感来比较文本。通过比较权重最大的词,可以了解语料库的重要主题。有多种现有的文本比较方法,目前比较的主题,而不是情绪,但我们认为,专注于情感携带的话会更好地比较两个语料库。因为只有情感才能解释文本的真实感受,而不仅仅是主题,没有情感的主题只是名词。我们的目标是区分语料库,重点是情感,而不是比较所有的话出现在两个语料库。这背后的基本原理是,这两个语料库没有多少相同的词进行并排比较,所以比较情感词给我们一个想法,语料库是如何吸引读者的情感。我们可以认为,熵或主题的意外性和分歧也应该是重要的,并帮助我们确定关键的支点和语料库中某些主题的重要性以及相对情绪。
2022-07-27 cs.CL
Dodging the Data Bottleneck: Automatic Subtitling with Automatically Segmented ST Corpora
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);Zoom Video Communications(Zoom视频通讯公司)
字幕语音翻译(SubST)是通过插入符合特定显示准则的字幕中断来自动将语音数据翻译成格式良好的字幕的任务。与语音翻译(ST)类似,模型训练需要包括与其文本翻译配对的音频输入的并行数据。然而,在SubST中,文本还必须使用字幕分隔符进行注释。到目前为止,这一需求已经成为系统开发的瓶颈,正如公开可用的SubST语料库的缺乏所证实的那样。为了填补这一空白,我们提出了一种方法,将现有的ST语料库转换为SubST资源,而无需人工干预。我们建立了一个分割器模型,自动分割文本到适当的字幕,利用音频和文本在多模式的方式,实现高分割质量的zero-shot条件。与SubST系统分别训练手动和自动分割的结果相似的性能进行比较实验,表明我们的方法的有效性。
2022-11-16 cs.CL
Heaps' Law in GPT-Neo Large Language Model Emulated Corpora
University of Prince Edward Island(爱德华王子岛大学)
本研究验证了GPT-Neo模型生成的模拟语料遵循Heaps定律,且模型规模越大,词汇增长越接近人类文本,为改进模型输出提供了方向。
2023-11-10 cs.CL
AlignAR: Generative Sentence Alignment for Arabic-English Parallel Corpora of Legal and Literary Texts
School of Foreign Languages, Huaihua University(怀化大学外国语言学院);Al-lith University College, Umm al-Qura University(乌姆·盖拉大学阿尔利思学院)
AlignAR通过生成式句子对齐方法,提升阿拉伯-英语法律和文学文本的平行语料库质量,验证了大语言模型在对齐任务中的优越性。
2026-01-01 cs.CL
Automatic Method Of Domain Ontology Construction based on Characteristics of Corpora POS-Analysis
现在人们普遍认识到,本体论是基于知识的系统的基本基石之一。然而,目前缺乏的是一个目前公认的策略,如何建立本体,什么样的资源和技术是必不可少的,以优化的费用和时间,一方面和的幅度,完整性,另一方面的本体的鲁棒性。提出了一种基于文本语料库的辐射防护领域本体的半自动构建方法。该方法包括以下几个步骤:1)基于词性标注的文本标注; 2)重要语言结构的揭示和模板的形成; 3)模板对应的文本片段的搜索; 4)基本本体实例化过程
2014-05-06 cs.CL
The Growing Gains and Pains of Iterative Web Corpora Crawling: Insights from South Slavic CLASSLA-web 2.0 Corpora
Jožef Stefan Institute(乔泽夫·斯塔芬研究所);Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅纳大学计算机与信息科学学院);Institute of Contemporary History(当代历史研究所);Natural Language Processing Centre, Masaryk University(马萨里克大学自然语言处理中心)
本文通过南斯拉夫语言的迭代网络爬取,生成了包含170亿单词的CLASSLA-web 2.0语料库,同时发现爬取后网络内容质量下降的问题。
2026-02-27 cs.CL
Improving Neural Text Simplification Model with Simplified Corpora
Yangzhou University(扬州大学)
文本简化(TS)可以被视为单语翻译任务,在一种语言中的文本变体之间进行翻译。最近的神经TS模型借鉴了神经机器翻译的见解,使用编码器-解码器模型来学习词汇简化和内容缩减。但与神经机器翻译不同的是,我们无法获得足够的普通和简化的句子对TS,这是昂贵的和耗时的建设。目标方简化句子在提高统计TS的流畅性方面起着重要作用,我们研究了使用简化句子进行训练,而不改变网络架构。我们建议通过反向翻译将简单的训练语句与合成的普通语句配对,并将该合成数据视为附加的训练数据。我们使用合成句子对和原始句子对来训练编码器-解码器模型,与现有的方法相比,该方法可以在可用的WikiLarge数据和WikiSmall数据上获得实质性的改进。
2018-10-10 cs.CL
Noisy-parallel and comparable corpora filtering methodology for the extraction of bi-lingual equivalent data at sentence level
Polish Japanese Academy of Information Technology(波兰日本信息技术学院)
文本对齐和文本质量对于机器翻译(MT)系统、某些NLP工具以及任何其他需要双语数据的文本处理任务的准确性至关重要。本研究提出了一种基于波兰语(非位置敏感语言)的独立于语言的双句过滤方法。这种清理方法是在TED演讲语料库上开发的,最初也在维基百科的可比语料库上进行了测试,但它可以用于任何文本域或语言对。所提出的方法实现了句子比较的各种语法。其中一些利用同义词和文本的语义和结构分析作为附加信息。确保最大限度地减少数据丢失。讨论了使用该工具处理文本的MT系统评分的改进。
2015-10-15 cs.CL
About the creation of a parallel bilingual corpora of web-publications
ElVisti Information center(ElVisti信息中心)
给出了文本平行语料库的生成算法。该算法基于文本文档中的“关键词”的使用,以及它们的自动翻译方法。通过使用俄语和乌克兰语形态词典以及俄语和乌克兰语名词翻译词典挑选出关键词。此外,为了计算文档中的术语的权重,使用了统计学规则。所考虑的算法是以程序复合体的形式实现的,集成到内容监控InfoStream系统中。结果,建立了一个包含约3万份文件的并行双语网络出版物语料库
2008-07-02 cs.CL
Clustering Comparable Corpora of Russian and Ukrainian Academic Texts: Word Embeddings and Semantic Fingerprints
University of Oslo(奥斯陆大学);University of Helsinki(赫尔辛基大学);National Research University Higher School of Economics(国立研究型大学高等经济学院)
我们提出了我们的经验,在应用分布式语义(神经词嵌入)的问题,表示和聚类文件中的双语可比语料库。我们的数据是俄罗斯和乌克兰学术文本的集合,其主题是他们的学术领域。为了建立这些文档的独立于语言的语义表示,我们在单语语料库上训练神经分布模型,并学习从一种语言到另一种语言的向量的最佳线性变换。由此产生的矢量,然后用来产生“语义指纹”的文件,作为输入到聚类算法。所提出的方法进行了比较,包括“正交翻译”与Levenshtein编辑距离的几个基线,并优于他们的一个很大的保证金。我们还表明,语言独立的“语义指纹”优于多语言聚类算法在以前的工作中提出的,在同一时间需要较少的语言资源。
2016-04-18 cs.CL
Cross-Discourse and Multilingual Exploration of Textual Corpora with the DualNeighbors Algorithm
University of Richmond(里士满大学)
词汇的选择取决于作者及其主题的文化背景。不同的词语被用来描述类似的行为,物体,以及基于诸如阶级,种族,性别,地理和政治亲和力等因素的特征。因此,基于定位和计数单词的探索性技术可能会得出加强文化影响边界的结论。我们提供了一种新的方法,DualNeighbors算法,用于链接主题相似的文件内和跨话语和语言障碍,以揭示跨文化的联系。这种技术的定性和定量评价显示为应用于两个文化数据集的兴趣,研究人员在人文和社会科学。提供了DualNeighbors算法的开源实现以帮助其应用。
2018-06-28 cs.CL
Data Caricatures: On the Representation of African American Language in Pretraining Corpora
Columbia University, Department of Computer Science(哥伦比亚大学计算机科学系);University of Michigan, Department of Linguistics(密歇根大学语言学系);University of Pennsylvania, School of Social Policy and Practice, Annenberg School for Communications(宾夕法尼亚大学社会政策与实践学院、安纳伯格通讯学院);University of Tennessee, Knoxville, Department of English(田纳西大学基洛纳分校英语系)
该研究结合定量实验、人工判断与定性分析,考察12个开源英语预训练语料库中AAL的数量和质量,发现其严重不足、部分文本有害且过滤器偏向WME。
2025-07-25 cs.CL
Building low-resource African language corpora: A case study of Kidawida, Kalenjin and Dholuo
USIU-Africa(美国国际大学非洲分校);Kabarak University(卡巴拉克大学);Maseno University(马塞诺大学)
本文通过众包方法为三种肯尼亚低资源语言构建平行文本和语音语料库,并开放共享,以促进非洲语言的自然语言处理研究和应用。
2025-01-19 cs.CL
Is This Collection Worth My LLM's Time? Automatically Measuring Information Potential in Text Corpora
EPFL(瑞士联邦理工学院);DHLab(数字人文实验室)
本文提出了一种自动化方法,通过生成多项选择题并测量LLM在有无原始材料时的表现差异,来评估文本语料库的信息潜力,以优化数据获取和整合决策。
2026-01-08 cs.CL
CLASSLA-web: Comparable Web Corpora of South Slavic Languages Enriched with Linguistic and Genre Annotation
Jožef Stefan Institute(约热夫·施特凡研究所);University of Ljubljana(卢布尔雅那大学);Institute of Contemporary History(当代史研究所)
本文构建了覆盖七种南斯拉夫官方语言的可比网络语料库,采用统一爬取与CLASSLA-Stanza标注及X-GENRE体裁分类,发现体裁分布与地区经济水平相关。
2024-03-26 cs.CL
An Algorithm for Aligning Sentences in Bilingual Corpora Using Lexical Information
在本文中,我们描述了一个算法,在双语语料库中使用的词汇信息的语言与他们的翻译对齐的句子。现有的有效算法忽略了词的身份,只考虑句子的长度(布朗,1991年;盖尔和教会,1993年)。对于源语言文本中的一个句子,该算法利用词汇信息和一定的语义学从目标语言文本中挑选最可能的翻译。它不使用句子长度进行统计分析。该算法是语言独立的。它还有助于检测翻译中文本的添加和删除。该算法在大多数情况下给出了与现有算法相当的结果,而在统计算法没有给出良好结果的情况下,它做得更好。
2003-02-12 cs.CL
Automated Phrase Mining from Massive Text Corpora
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院);Army Research Laboratory(陆军研究实验室)
短语挖掘是文本分析的基本任务之一,其目的是从文本语料库中提取高质量的短语。短语挖掘在诸如信息抽取/检索、分类构造和主题建模等各种任务中是重要的。大多数现有的方法依赖于复杂的,受过训练的语言分析器,因此可能在新领域和体裁的文本语料库上的性能不令人满意,而无需额外但昂贵的适应。近年来,一些数据驱动的方法已经被成功地开发出来,用于从大量特定领域的文本中提取短语。然而,没有一个最先进的模型是完全自动化的,因为它们需要人类专家来设计规则或标记短语。由于人们可以很容易地从公共知识库中获得许多高质量的短语,其规模远远大于人类专家所产生的规模,因此在本文中,我们提出了一种用于自动短语挖掘的新框架AutoPhrase,该框架以有效的方式利用了大量的高质量短语,并与有限的人类标记短语相比,实现了更好的性能。此外,我们开发了一个POS引导的短语分割模型,它结合了浅层句法信息的词性(POS)标签,以进一步提高性能,当一个POS标签可用。请注意,AutoPhrase可以支持任何语言,只要通用知识库(例如,Wikipedia),同时受益于但不需要POS标记器。与最先进的方法相比,新方法在不同领域和语言的五个真实数据集上的有效性有了显着提高。
2017-03-11 cs.CL
ExcavatorCovid: Extracting Events and Relations from Text Corpora for Temporal and Causal Analysis for COVID-19
Raytheon BBN Technologies(雷神BBN科技公司)
政策制定者及时应对以减轻COVID-19大流行的影响取决于对事件、其原因及其影响的全面把握。据报道,这些事件的速度和规模令人震惊。在本文中,我们介绍了挖掘机Covid,一个机器阅读系统,摄取开源文本文档(例如,新闻和科学出版物),提取COVID 19相关事件及其之间的关系,并构建时间和因果分析图(TCAG)。挖掘机将帮助政府机构减轻信息过载,了解与疫情相关的政治和经济决策及事件可能产生的下游影响,并及时做出反应,以减轻COVID-19的影响。我们预计挖掘机的实用性将在COVID-19大流行之后继续存在:挖掘机将使分析师和决策者能够更好地理解和解决未来的复杂问题。交互式TCAG可视化可在http://afrl402.bbn.com:5050/index.html上获得。我们还在https://vimeo.com/528619007上发布了一个演示视频。
2021-05-05 cs.CL
Introducing corpora Hlava Cor and Hlava AD: Human Label Variation in Coreference and Discourse Relations
Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics(查理大学数学物理学院形式与应用语言学研究所)
为探究文本连贯性理解中的个体差异,构建了两个多标注捷克语语料库,分别针对共指识别和话语关系标注,并收集标注者的解释,发现标注一致性约60-65%,且自动模型分歧处人类标注更困难。
2026-06-25 cs.CL
Character Entropy in Modern and Historical Texts: Comparison Metrics for an Undeciphered Manuscript
Yale University(耶鲁大学)
本文概述了三个语料库的创建,用于对伏尼契手稿进行多语言比较和分析:一个由柯里尔语言、抄写手和转录系统划分的伏尼契文本语料库,一个由维基百科汇编的294种语言样本组成的语料库,以及一个由8种语言的18个转录历史文本组成的语料库。耶鲁大学伏尼契工作组将在以后的工作中使用这些语料库。我们证明了这些语料库的效用研究伏尼契文字和语言的特点,与伏尼契文的条件字符熵的分析。我们讨论了字符熵和语言之间的相互作用,脚本大小和类型,字母组合,抄写惯例和缩写,位置字符变体,和二元组频率。这种分析的特点之间的相互作用的脚本组成,字符大小和可预测性。我们发现,大量的操纵的组合物是不足以对齐条件熵水平与自然语言。伏尼契文的这种不同寻常的可预测性并不归因于特定的文字或转录系统、基础语言或替代密码。伏尼契文与我们语料库中的所有比较文本都不同,因为字符的位置在单词中受到高度限制,这可能表明与基础语言的音位区别已经消失。
2021-05-18 cs.CL
Corpora Preparation and Stopword List Generation for Arabic data in Social Network
本文提出了一种从在线社交网络(OSN)和评论网站上准备阿拉伯语语料库的方法,用于情感分析(SA)任务。本文还提出了一种方法,从准备语料库生成一个停用词列表。本研究旨在探讨去除停用词对联想任务的影响。问题是,之前生成的停用词列表是基于现代标准阿拉伯语(MSA)的,而MSA不是OSN中使用的通用语言。我们已经生成了一个埃及方言的停用词列表和一个基于语料库的列表,用于OSN语料库。我们比较文本分类的效率时,使用生成的列表与以前生成的MSA列表,并结合埃及方言列表与MSA列表。使用朴素贝叶斯和决策树分类器和两种特征选择方法,unigram和bigram进行文本分类。实验表明,包含埃及方言单词的通用列表比仅使用MSA停用词列表具有更好的性能。
2014-10-05 cs.CL
Emergent Visual-Semantic Hierarchies in Image-Text Representations
Tel Aviv University(特拉维夫大学)
本研究揭示基础视觉-语言模型虽未经专门训练却涌现出视觉-语义层级理解能力,提出径向嵌入框架进行探测与优化,并构建HierarCaps基准,通过仅文本微调进一步提升层级推理性能。
2024-07-15 cs.CL cs.CV
Topic Modelling of Empirical Text Corpora: Validity, Reliability, and Reproducibility in Comparison to Semantic Maps
University of Duisburg-Essen(杜伊斯堡-埃森大学);University of Amsterdam(阿姆斯特丹大学)
使用卓越研究框架(REF 2014)中提交评估的6,638个社会影响案例描述,我们复制了在此背景下制作的主题模型(潜在狄利克雷分配或LDA),并将结果与使用传统单词文档矩阵(主成分分析或PCA)的因子分析结果进行比较。例如,从样本中删除一小部分文档,平均而言,对LDA的影响要比对基于PCA的模型的影响大得多,以至于在PCA的情况下,最大的失真比基于LDA的模型的最小失真的影响小。然而,在语义一致性方面,LDA模型优于基于PCA的模型。主题模型告诉我们的统计属性的文件集的研究,但结果是统计的,不应该被用于语义解释-例如,在拨款选择和微观决策,或学术工作-没有后续使用特定领域的语义地图。
2018-06-04 cs.CL
Natural Language Inference Prompts for Zero-shot Emotion Classification in Text across Corpora
Universidad de Jaén(哈恩大学);University of Stuttgart(斯图加特大学)
在文本情感分类中,相关标签集取决于领域和应用场景,并且在模型开发时可能不知道。这与监督学习的经典范例相冲突,在经典范例中,标签需要被预定义。获得具有灵活的标签集合的模型的解决方案是使用零样本学习的范例作为自然语言推理任务,这另外增加了不需要任何标记的训练数据的优点。这提出了如何提示用于零样本学习情感分类的自然语言推理模型的问题。提示公式的选项包括情绪名称愤怒或声明“这段文字表达愤怒”。在本文中,我们分析了如何敏感的自然语言推理为基础的zero-shot学习分类器是这样的变化,以提示下考虑的语料库:如何仔细提示需要选择?我们进行实验的一组情感数据集,根据不同的来源(推文,事件,博客)与三个自然语言推理模型呈现不同的语言寄存器,并表明,确实一个特定的提示制定的选择需要适合语料库。我们表明,这一挑战可以解决多种提示的组合。这样的集合在语料库中比单个提示更鲁棒,并且表现出与特定语料库的单个最佳提示几乎相同的性能。
2022-09-15 cs.CL
Modeling Language Change in Historical Corpora: The Case of Portuguese
Saarland University(萨尔大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Macquarie University(麦考瑞大学)
本文提出了一些实验来模拟变化的历史葡萄牙语语料库组成的文学文本的时间文本分类的目的。算法进行了训练,以分类文本的出版日期,考虑到词汇的变化表示为词的n元语法,和形态句法的变化表示的词性(POS)分布。我们报告的结果,99.8%的准确率使用字单字功能与支持向量机分类器预测出版日期的文件在一个世纪和半个世纪的时间间隔。进行特征分析,以调查最翔实的功能,为这项任务,以及它们是如何与语言变化。
2016-09-30 cs.CL
Clinical Document Corpora -- Real Ones, Translated and Synthetic Substitutes, and Assorted Domain Proxies: A Survey of Diversity in Corpus Design, with Focus on German Text Data
Institute for Medical Informatics, Statistics and Epidemiology (IMISE), University of Leipzig(莱比锡大学医学信息学、统计学与流行病学研究所)
本文综述德语临床文档语料库及翻译、合成和领域代理替代方案,系统分类71个独特语料库,并指出公开替代品虽缓解数据瓶颈,却在文体、措辞和医学专业性上存在效度差异。
2025-02-18 cs.CL
AI Brown and AI Koditex: LLM-Generated Corpora Comparable to Traditional Corpora of English and Czech Texts
本文构建了 AI Brown 和 AI Koditex 两个 LLM 生成的多体裁英捷语料库,复刻传统人类语料库并进行 UD 标注,用于人机文本的语言学比较研究。
2025-09-26 cs.AI cs.CL
Data interference: emojis, homoglyphs, and issues of data fidelity in corpora and their results
Università degli Studi di Modena e Reggio Emilia(摩德纳和雷焦艾米利亚大学)
本文研究分词过程中表情符号和同形异义字符对语料库数据保真度的干扰,提出预处理方法以确保数字文本的准确表征,从而提升定量与定性语料分析的可靠性和可重复性。
2025-07-02 cs.CL
RT-SFT: Text Style Transfer from Non-Parallel Corpora by Roundtrip Translation
Johns Hopkins University(约翰霍普金斯大学)
本文提出基于参数高效LLM微调和往返翻译的文本风格迁移方法,通过合成平行语料库提升风格迁移效果,并结合RAG增强术语和名称知识的鲁棒性与一致性。
2026-10-05 cs.CL
A Framework for Neural Topic Modeling of Text Corpora
主题建模是指发现文本数据语料库中出现的主要主题的问题,其解决方案在许多领域都有重要的应用。在这项工作中,灵感来自最近的进展,在自然语言处理领域,我们介绍FAME,一个开源的框架,使一个有效的机制,提取和合并文本特征,并利用它们发现的主题和聚类文本文档中的语义相似的语料库。这些特征的范围从传统方法(例如,基于频率的)到来自基于变换器的语言模型(诸如BERT模型家族)的最新自动编码嵌入。为了证明该库的有效性,我们在著名的News-Group数据集上进行了实验。该图书馆可在网上查阅。
2021-08-19 cs.CL cs.LG