Regionalized models for Spanish language variations based on Twitter
Consejo Nacional de Ciencia y Tecnología(国家科学技术委员会);Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación(信息与通信技术研究与创新中心);Centro de Investigación en Ciencias de Información Geoespacial(地理空间信息科学研究中心);Instituto Politécnico Nacional(国家理工学院)
西班牙语是世界上使用最多的语言之一,但在不同的国家,西班牙语的书写和口语并不一定相同。了解当地语言的变化可以帮助提高模型在区域任务上的性能,既可以理解当地的结构,也可以改善消息的内容。例如,想想一个机器学习工程师,他在特定地区自动执行一些语言分类任务,或者一个社会科学家试图理解社交媒体上的一个地区性事件;两者都可以利用基于方言的语言模型来理解正在发生的事情,并提供更多的上下文信息,从而提高精度。这份手稿介绍并描述了一套西班牙语的区域化资源,这些资源建立在26个西班牙语国家的四年Twitter公共信息上。我们介绍了基于FastText的词嵌入,基于BERT的语言模型,以及每个区域的样本语料库。我们还提供了一个广泛的比较,包括词汇和语义相似的地区,以及使用区域资源的消息分类任务的例子。
2022-12-09 cs.CL cs.CY cs.SI
Crossing Borders Without Crossing Boundaries: How Sociolinguistic Awareness Can Optimize User Engagement with Localized Spanish AI Models Across Hispanophone Countries
本文通过分析拉美与西班牙西班牙语变体的社会语言学差异,论证地域敏感本地化AI模型的必要性,并提出至少五种西班牙语子变体以提升用户信任、包容性和国际化战略效果。
2025-08-19 cs.CL
Quantifying literature quality using complexity criteria
Universidad Simón Bolívar(西蒙·玻利瓦尔大学)
我们测量了英语和西班牙语文本的熵和符号多样性,包括文学诺贝尔奖获得者和其他著名作家。熵,符号多样性和符号频率分布进行了比较,这四个群体。我们还建立了一个规模敏感的写作质量,并评估其与Flesch的可读性指数为英语和西班牙语的Szigriszt的清晰度指数的关系。结果表明,熵和词的多样性与写作质量之间的相关性。文本体裁也会影响文本的熵和多样性。结果表明,文本的自动质量评估的可行性。
2017-01-15 cs.CL
MASIVE: Open-Ended Affective State Identification in English and Spanish
Columbia University(哥伦比亚大学)
本研究提出开放式情感状态识别新任务,发布英西双语数据集MASIVE,发现微调小型多语言模型优于大型LLM,预训练提升基准表现,且母语数据对性能至关重要。
2024-11-12 cs.CL
Cross-domain Sentiment Classification in Spanish
Facultad de Ingeniería Universidad de Buenos Aires(布宜诺斯艾利斯大学工程学院);CSC-CONICET(阿根廷国家科学与技术研究理事会科学计算中心)
情感分类是自然语言处理领域的一项基础性工作,具有重要的学术和商业应用价值。它旨在自动预测文本中存在的情感程度,这些文本在某种程度上包含观点和主观性,如产品和电影评论或推文。这可能真的很难做到,部分原因是不同的文本域包含不同的单词和表达式。此外,由于缺乏数据库和资源,当文本以非英语语言编写时,这种困难会增加。因此,一些跨领域和跨语言的技术经常被应用到这个任务,以改善结果。在这项工作中,我们进行了一项研究的能力,一个大型数据库的产品评论训练的分类系统推广到不同的西班牙语域。从MercadoLibre网站上收集了七个拉丁美洲国家的评论,从而建立了一个大型和平衡的数据集。结果表明,跨领域的泛化是可行的,但在使用这些产品评论进行训练时非常具有挑战性,并且可以通过预训练和微调分类模型来改进。
2023-03-15 cs.CL
Curated Datasets and Neural Models for Machine Translation of Informal Registers between Mayan and Spanish Vernaculars
Universitat d’Alacant(阿利坎特大学)
本文构建并发布聚焦玛雅语与西班牙语日常非正式表达的 MayanV 平行语料,并训练神经翻译模型,证明通用资源难以反映真实语域。
2024-04-11 cs.CL cs.LG
Lexical Simplification Benchmarks for English, Portuguese, and Spanish
Universitat Pompeu Fabra(庞培法布拉大学);Manchester Metropolitan University(曼彻斯特城市大学);George Mason University(乔治梅森大学)
即使在高度发达的国家,也有15- 30%的人口只能理解使用基本词汇书写的文本。他们对日常文本的理解有限,这使他们无法在社会中发挥积极作用,并在医疗保健,法律代表或民主选择方面做出明智的决定。词汇简化是一项自然语言处理任务,旨在通过用简单的词汇和表达替换复杂的词汇和表达,同时保留原始含义,使每个人都能理解文本。在过去的20年里,它引起了相当大的关注,并且已经为各种语言提出了全自动的词汇简化系统。阻碍该领域发展的主要障碍是缺乏用于构建和评估词汇简化系统的高质量数据集。我们提出了一个新的基准数据集的词汇简化英语,西班牙语和(巴西)葡萄牙语,并提供有关数据选择和注释程序的细节。这是第一个提供三种语言词汇简化系统直接比较的数据集。为了展示数据集的可用性,我们采用了两个具有不同架构的最先进的词汇简化系统(神经与\非神经)到所有三种语言(英语,西班牙语和巴西葡萄牙语),并评估它们在我们新数据集上的表现。为了更公平的比较,我们使用了几个评估指标,这些指标反映了系统功效的各个方面,并讨论了它们的优点和缺点。我们发现,一个国家的最先进的神经词汇简化系统优于一个国家的最先进的非神经词汇简化系统在所有三种语言。更重要的是,我们发现最先进的神经词汇简化系统对英语的表现明显优于西班牙语和葡萄牙语。
2022-09-12 cs.CL
BERTuit: Understanding Spanish language in Twitter through a native transformer
Universidad Politécnica de Madrid(马德里理工大学)
复杂的基于注意力的语言模型(如BERT、Roberta或GPT-3)的出现允许在大量场景中处理高度复杂的任务。然而,当应用于特定领域时,这些模型遇到了相当大的困难。Twitter等社交网络就是这种情况,它是一种不断变化的信息流,使用非正式和复杂的语言编写,其中每条消息都需要仔细评估才能理解,即使是考虑到上下文所起的重要作用的人类。通过自然语言处理来解决这一领域的任务面临着严峻的挑战。当强大的最先进的多语言语言模型应用于此场景时,语言特定的细微差别会在翻译中丢失。为了面对这些挑战,我们提出了\textbf{BERTuit},这是迄今为止为西班牙语提出的更大的Transformer,使用RoBERTa优化在2.3亿西班牙语tweet的大规模数据集上进行了预训练。我们的动机是提供一个强大的资源,以更好地了解西班牙语Twitter,并用于专注于这个社交网络的应用程序,特别强调解决方案,致力于解决这个平台上的错误信息的传播。BERTuit在几个任务上进行了评估,并与M-BERT,XLM-RoBERTA和XLM-T进行了比较,这些都是非常有竞争力的多语言Transformers。我们的方法的实用性与应用程序,在这种情况下:一个zero-shot的方法来可视化组的恶作剧和剖析作者传播虚假信息。错误信息在Twitter等平台上以英语以外的语言广泛传播,这意味着Transformers的性能在传输到…
2022-06-13 cs.CL cs.LG
A New Look at the Classical Entropy of Written English
Universidad del Valle(德尔瓦列大学)
本文提出了一种用计算机直接处理并根据Shannon理论从第一性原理求出合理长度英文文本样本的熵和冗余的简单方法。作为一个例子,英语语言的熵的结果已经获得了基于书面英语的2030万字符,考虑从一个到五百个字符长度的符号。除了对英语熵的现实价值进行了分析外,还对熵的一些经典概念提出了新的看法。这种方法也可以推广到其他拉丁语言。一些实际应用的影响,如剽窃检测软件,和最少的话,应该使用在社会互联网网络消息,进行了讨论。
2009-11-19 cs.CL
Complexity-entropy analysis at different levels of organization in written language
University of Havana(哈瓦那大学)
书面语言是复杂的。书面文本可以被认为是试图传达一个有意义的信息,最终受到语言规则,上下文依赖和高度冗余的资源使用的限制。尽管有这些限制,但不可预测性是自然语言的基本要素。在这里,我们提出了使用熵的措施,以维护书面文本的可预测性和惊喜之间的平衡。简而言之,可以在文档中度量创新和上下文保持。它表明,这也可以在不同层次的组织的文本。所提出的分析类型是相当普遍的,也可以用于分析其他复杂信息中的相同平衡,例如DNA,其中已知存在组织层次结构。
2019-03-14 cs.CL
A Tidy Data Model for Natural Language Processing using cleanNLP
cleanNLP包提供了一组快速工具,用于将文本语料库转换为一组规范化的表。底层的自然语言处理管道利用了斯坦福大学的CoreNLP库,为用英语、法语、德语和西班牙语编写的文本提供了许多注释任务。注释器包括标记化、词性标注、命名实体识别、实体链接、情感分析、依存句法分析、共指消解和信息抽取。
2018-05-03 cs.CL stat.CO
The predictability of letters in written english
University of Wuppertal(伍珀塔尔大学)
我们表明,在书面英语文本中的字母的可预测性强烈地依赖于他们在单词中的位置。第一个字母通常最不容易预测。这与直觉上的概念一致,即单词是书面语言中定义良好的子单元,这些单元之间的相关性要比它们内部的相关性弱得多。这意味着单词内部每个字母的平均熵大约是第一个字母的熵的四分之一。
2007-10-26 cs.CL physics.soc-ph stat.ML
Calculating entropy at different scales among diverse communication systems
Universidad Simón Bolívar(西蒙·玻利瓦尔大学)
我们评估了改变观察尺度对文本描述熵度量的影响。在字符、单词和基本尺度上研究了编码音乐、计算机代码和两种人类自然语言,基本尺度是通过调整用于解释每个文本描述的符号长度直到产生最小熵来产生的。结果表明,基本尺度方法是可比的文字使用时,测量熵水平的书面文本。然而,这种方法也可以用于缺少文字的通信系统,例如音乐。在基本尺度上测量符号熵可以定量计算不同通信系统的相对复杂程度。研究结果为研究通信系统结构之间的差异开辟了新的视野。
2015-10-05 cs.CL cs.IT math.IT
Entropy in Large Language Models
Carl von Ossietzky Universität Oldenburg(奥尔登堡卡尔·冯·奥西特齐克大学)
本研究比较了大语言模型与自然语言的词熵,发现LLM的词熵低于自然口语,旨在评估LLM训练数据对信息和不确定性的影响。
2026-02-23 cs.CL
Generative AI Text Classification using Ensemble LLM Approaches
Deloitte \& Touche Assurance \& Enterprise Risk Services India Private Limited, India
本文提出一种集成神经模型,利用预训练LLMs生成的概率作为传统机器学习分类器的特征,在AuTexTification任务中实现AI与人类文本区分及模型归因,并在模型归因任务中排名第一。
2023-09-14 cs.AI cs.CL
Entropy and type-token ratio in gigaword corpora
Institute for Cross-Disciplinary Physics and Complex Systems IFISC (UIB-CSIC)(跨学科物理与复杂系统研究所)
本文研究了六种十亿词级多语言语料库的词汇多样性,揭示了文本熵与类型-标记比之间的经验函数关系,并基于Zipf和Heaps定律推导出大文本长度极限下的解析表达式,与实验结果一致。
2025-06-24 cs.CL cs.IR physics.soc-ph
Maximum Entropy, Word-Frequency, Chinese Characters, and Multiple Meanings
Beijing Jiaotong University(北京交通大学);University of Electronic Science and Technology of China(电子科技大学);Umeå University(于默奥大学)
作者所写的文本的词频分布很好地解释了最大熵分布,RGF(随机组形成)预测。RGF分布完全由文本中的单词总数(M)、不同单词的数量(N)和最常见单词的重复次数(k_max)的先验值确定。它在这里示出,这种最大熵预测也描述了一个文本写在汉字。特别是它表明,虽然相同的中文文本写在单词和汉字有很大不同的形状分布,但它们都很好地预测各自的三个先验特征值。有人指出,这是类似的形状的分布时,翻译一个给定的文本到另一种语言的变化。RGF预测的另一个结果是,取长文本的一部分将改变输入参数(M,N,k_max),因此也改变频率分布的形状。这一点在以汉字书写的文本中得到明确证实。由于在三个先验值(M,N,k_max)之外,RGF预测没有系统特定的信息,因此必须在与RGF预测和测量的频率的系统偏差中寻找任何特定的语言特征。一个这样的系统偏差被确定,并通过统计信息理论论证和扩展的RGF模型,提出这种偏差是由汉字的多重含义。对汉字的影响比对汉语单词的影响大。讨论了Zipf定律、Simon模型与本文结果的关系。
2015-03-29 cs.CL physics.soc-ph
Multifractal hopscotch in "Hopscotch" by Julio Cortazar
Cracow University of Technology(克拉科夫理工大学);Polish Academy of Sciences(波兰科学院)
本研究通过多重分形分析科塔萨尔《跳房子》的句长变异性,发现其在不同语言版本中均呈现左侧不对称的丰富多重分形特征,揭示了作者赋予读者的阅读自由对文本统计结构的影响。
2025-01-22 cs.CL
Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学)
跨语言词嵌入(CLWE)已被证明是有用的,在许多跨语言的任务。然而,大多数现有的学习CLWE的方法,包括那些与上下文嵌入是意义不可知的。在这项工作中,我们提出了一个新的框架,对齐上下文嵌入的意义上的水平,利用跨语言的信号,从双语词典。我们首先提出了一种新的感知交叉熵损失模型明确的词义操作我们的框架。用我们的感知交叉熵损失预训练的单语ELMo和BERT模型在词义消歧任务中表现出显着的性能改善。然后,我们在感知交叉熵损失的基础上提出了一个感知对齐目标,用于跨语言模型预训练,并为几种语言对(英语到德语/西班牙语/日语/中文)预训练跨语言模型。与最佳基线结果相比,我们的跨语言模型在zero-shot跨语言NER、情感分类和XNLI任务上的平均性能分别提高了0.52%、2.09%和1.29%。
2022-09-15 cs.AI cs.CL
Word-length entropies and correlations of natural language written texts
National Technical University of Athens(雅典国立技术大学);NCSR Demokritos(德谟克利特国家科学研究中心);National Observatory of Athens(雅典国家天文台);University of Athens(雅典大学);Athena R.C.(雅典娜研究中心)
我们研究了十种欧洲语言的字长的频率分布和相关性。我们的研究结果表明:a)由平均值和熵量化的短词的字长分布将乌拉尔语(芬兰语)语料库与其他语料库区分开来,b)长词的尾部,表现在分布的高阶矩中,区分日耳曼语族(英语除外)源自罗马语和希腊语,以及c)在日耳曼语和芬兰语的情况下,通过比较真实熵与混洗文本的真实熵来测量的附近字长之间的相关性被发现较小。
2014-01-24 cs.CL physics.data-an
Align and Shine: Building High-Quality Sentence-Aligned Corpora for Multilingual Text Simplification
Centre for Translation, Localisation and Interpreting Studies(翻译、本地化与诠释研究中心);School of Languages, Cultures and Societies(语言、文化和社会学院);University of Leeds, UK(利兹大学)
本文通过收集和处理可比语料库中的众包简化数据,构建了多语言文本简化任务的高质量句子对语料库,解决了其他语言缺乏大规模高质量数据的问题。
2026-05-10 cs.AI cs.CL
FACE: Evaluating Natural Language Generation with Fourier Analysis of Cross-Entropy
Nanyang Technological University(南洋理工大学);Heriot-Watt University(赫瑞-瓦特大学);Southern University of Science and Technology(南方科技大学);Genify
本文提出FACE指标,基于语言交叉熵的傅里叶分析来衡量模型生成与人类语言的相似度,实验证明其能有效识别模型差距、随规模扩展且与人类判断高度相关。
2023-10-25 cs.CL
PoeLM: A Meter- and Rhyme-Controllable Language Model for Unsupervised Poetry Generation
HiTZ Center(HiTZ中心);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU));Meta AI;University of Copenhagen(哥本哈根大学)
正式体诗对诗歌的格律和韵律有着严格的限制。大多数关于生成这种类型的诗歌的先前工作使用现有的诗歌进行监督,这对于大多数语言和诗歌形式来说是很难获得的。在这项工作中,我们提出了一种无监督的方法来生成诗歌,遵循任何给定的韵律和押韵方案,而不需要任何诗歌文本进行训练。我们的方法的工作原理是将一个常规的非诗歌语料库分成短语,前置控制代码,描述每个短语的长度和结束韵,并在增强的语料库中训练一个Transformer语言模型。在推理过程中,我们为所需的韵律和韵律方案构建控制代码,并根据它们来调节我们的语言模型,以生成正式的诗歌。在西班牙语和巴斯克语中的实验表明,我们的方法能够生成有效的诗歌,这些诗歌的质量通常与人类所写的诗歌相当。
2022-10-28 cs.AI cs.CL
Execution-Based Evaluation for Open-Domain Code Generation
Carnegie Mellon University(卡内基梅隆大学);Inspired Cognition(Inspired认知公司)
本文提出首个基于执行的开放域自然语言到Python代码生成数据集ODEX,包含945个多语言NL-Code对和1,707个测试用例,揭示了CODEX与CODEGEN在开放域与封闭域间的性能差异及规模扩展影响。
2023-05-19 cs.AI cs.CL cs.SE