Two-parameter Model of Word Length "Language - Genre"
Victor Kromer
提出了一个由音节数衡量的字长双参数模型。第一个参数依赖于语言类型，第二个参数依赖于文本体裁，反映了语言优化协同过程的完成程度。
A two-parameter model of word length measured by the number of syllables comprising it is proposed. The first parameter is dependent on language type, the second one - on text genre and reflects the degree of completion of synergetic processes of language optimization.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Experiments with adversarial attacks on text genres
基于预先训练的Transformers的神经模型，如BERT或XLM-RoBERTa，在许多NLP任务中展示了SOTA结果，包括非主题分类，如体裁识别。然而，通常这些方法对测试文本的微小改动表现出较低的可靠性。一个相关的问题涉及训练语料库中的主题偏差，例如，在特定体裁中关于特定主题的单词的流行度可以欺骗体裁分类器来识别该体裁中关于该主题的任何文本。为了减轻可靠性问题，本文研究了攻击类型分类器的技术，以了解Transformer模型的局限性，并提高其性能。虽然简单的文本攻击，如那些基于词替换使用关键字提取的tf-idf，不能够欺骗强大的模型，如XLM-RoBERTa，我们表明，嵌入式算法，可以取代一些最“重要”的话与他们类似的话，例如，TextFocal，有能力影响模型预测的情况下，一个显着的比例。
One Sense per Collocation and Genre/Topic Variations
本文利用两个不同语料库和细粒度的语义区分，重新审视了一个意义对应一个搭配的假设。我们发现，该假设是较弱的细粒度的意义区分（70%与99%的早期报告的双向歧义）。我们还表明，一个意义每搭配跨语料库举行，但搭配从一个语料库到另一个，以下体裁和主题的变化。这解释了在跨语料库执行词义消歧时的低结果。事实上，我们证明，当两个独立的语料库共享一个相关的体裁/主题，词义消歧的结果会更好。未来的词义消歧工作将不得不考虑体裁和主题作为其模型的重要参数。
Entropy analysis of word-length series of natural language texts: Effects of text language and genre
我们估计了自然语言文本在字长表示中的$n$ -gram熵，发现这些熵对文本语言和体裁敏感。我们将这种敏感性归因于单个单词长度的概率分布的变化，并强调单词长度在5到10之间的概率的均匀性的关键作用。此外，与混洗数据的熵的比较揭示了估计的$n$ -gram熵的字长相关性的影响。
Language Model Adaptation to Specialized Domains through Selective Masking based on Genre and Topical Characteristics
本文提出基于体裁与主题信息的词语重要性排序掩码方法，通过法律领域持续预训练在LegalGLUE上验证其有效性，并公开模型与代码。
Variation of sentence length across time and genre
本文利用COHA全文语料库检验书面英语句子长度随时间下降的假设，并以in order to频率下降为证据，揭示句子长度、体裁与句法用法变化之间的相互关联。
Lyrics-Based Music Genre Classification Using a Hierarchical Attention Network
音乐体裁分类，特别是仅使用歌词分类，一直是音乐信息检索中的一个具有挑战性的课题。在这项研究中，我们应用递归神经网络模型来分类一个完整的歌词大数据集。由于歌词呈现分层结构-其中单词组合形成线条，线条形成片段，片段形成完整的歌曲-我们采用分层注意力网络（HAN）来利用这些层，并学习单词，线条和片段的重要性。我们在117种类型的数据集和减少的20种类型的数据集上测试模型。实验结果表明，HAN优于非神经模型和简单的神经模型，同时也比以前的研究分类更多的类型。通过学习过程，我们还可以可视化模型认为歌曲中的哪些单词或台词对分类流派很重要。因此，HAN从计算的角度提供了对区分音乐流派的抒情结构和语言特征的见解。
The RepEval 2017 Shared Task: Multi-Genre Natural Language Inference with Sentence Representations
本文介绍了RepEval 2017共享任务的结果，该任务在Williams等人（2017）最近引入的多类型自然语言推理语料库（MultiNLI）上评估了神经网络句子表示学习模型。所有五个参与团队都击败了Williams等人报告的双向LSTM（BiLSTM）和连续词袋基线。最好的单一模型使用具有剩余连接的堆叠BiLSTM来提取句子特征，并在体裁匹配测试集上达到74.5%的准确率。令人惊讶的是，在体裁匹配和体裁不匹配的测试集上，以及在代表各种语言现象的测试数据的子集上，竞争的结果相当一致，这表明所有提交的系统都学会了合理的独立于领域的句子意义表示。
LLMs Know More Than Words: A Genre Study with Syntax, Metaphor & Phonetics
本文通过引入多语言体裁分类数据集，研究LLMs在语法、隐喻和语音特征上的学习能力及其对分类任务的影响。
Multilingual Music Genre Embeddings for Effective Cross-Lingual Music Item Annotation
用音乐类型来注释音乐项对于音乐推荐和信息检索是至关重要的，但由于音乐类型是主观概念，因此具有挑战性。最近，为了明确地考虑这种主观性，音乐项目的注释被建模为翻译任务：从一组源自其他标签系统的音乐流派标签中预测音乐项目在目标词汇或分类（标签系统）内的音乐流派。然而，如果没有一个平行的语料库，以前的解决方案不能处理其他语言的标签系统，仅限于英语。在这里，通过学习多语言音乐流派嵌入，我们可以在不依赖于平行语料库的情况下进行跨语言音乐流派翻译。首先，我们在预训练的词嵌入上应用组合性函数来表示多词标签。其次，我们通过利用多语言音乐流派图和改进的改进算法来调整标签表示以适应音乐领域。实验表明，我们的方法：1）在翻译多种语言（英语，法语和西班牙语）的标签系统的音乐类型是有效的; 2）在英语多源翻译任务中优于以前的基线。我们公开发布新的多语言数据和代码。
AuthBench: A Large-Scale Multilingual Benchmark for Authorship Representation across Genres and Lengths
AuthBench是一个大规模多语言作者身份表征基准，涵盖多种语言、体裁和长度，通过统一零样本协议评估47个神经模型，发现作者身份表征仍远未解决，并提供诊断资源以研究其成败原因。
GASC: Genre-Aware Semantic Change for Ancient Greek
单词含义会随着时间的推移而变化，具体取决于语言和语言外因素。将一个词的正确含义与其历史背景相关联是历时研究的核心挑战，并且与一系列NLP任务相关，包括历史文本中的信息检索和语义搜索。贝叶斯模型的语义变化已经成为一个强大的工具，以解决这一挑战，提供明确的和可解释的表示语义变化现象。然而，虽然语料库通常带有丰富的元数据，现有的模型是有限的，他们无法利用上下文信息（如文本体裁）超出文档的时间戳。这一点在古代语言中尤为重要，因为缺乏数据和漫长的历时跨度使得很难明确区分一词多义（一个词有几个意义）和语义变化（获得、失去或改变意义的过程），而目前的系统在这些语言中表现不佳。我们开发了GASC，一个动态语义变化模型，利用关于文本体裁的分类元数据来促进推理，并揭示古希腊语料库中的意义演变。在一个新的评估框架中，与最先进的模型相比，我们的模型实现了更好的预测性能。
Mathematical Model of Word Length on the Basis of the Cebanov-Fucks Distribution with Uniform Parameter Distribution
13个类型学上不同的语言的数据已被处理使用一个双参数字长模型，基于1-位移均匀泊松分布。第二个参数对第一个参数的统计依赖关系被揭示为德语文本和字母类型。
Lexical Base as a Compressed Language Model of the World (on the material of the Ukrainian language)
本文证实了用正式统计方法（频率和功能语类不受限制）选出的词汇表不是一个无关词的集合。它创造了一个相互关联的项目系统，它可以被称为“语言的词汇基础”。这份精选的词汇表涵盖了人类活动的所有领域。为了验证这一说法，确定了不同语言的表意词典所共有的不变的概要方案。
Metaphors' journeys across time and genre: tracking the evolution of literary metaphors with temporal embeddings
本研究通过时间嵌入分析文学隐喻在不同时代和体裁中的演变，发现隐喻处理需求受体裁影响显著，现代文学中隐喻更难处理，而网络语言中更易处理。
GeNRe: A French Gender-Neutral Rewriting System Using Collective Nouns
本文提出首个使用集合名词的法语性别中立改写系统GeNRe，包含基于规则的系统和微调语言模型，并探索指令模型以提升性能。
LyCon: Lyrics Reconstruction from the Bag-of-Words Using Large Language Models
针对歌词版权限制问题，本研究提出利用公开词袋数据集和元数据，结合大型语言模型重建无版权歌词，并发布了与知名来源元数据对齐的LyCon数据集，支持条件歌词生成等学术实验。
Studying word order through iterative shuffling
该研究通过提出迭代打乱推理（IBIS）算法，在GLUE套件等场景中反驳了“词序编码NLP任务必需意义”的假设，证明多数情况下词序打乱难改变信息，且IBIS优于现有词序算法，可用于语言建模与约束生成。
Recurrent Neural Network Language Model Adaptation Derived Document Vector
在许多自然语言处理（NLP）任务中，通常使用词频-逆文档频率（TF-IDF）向量将文档建模为词袋。基于频率的TF-IDF特征向量的一个主要缺点是它忽略了文档中单词之间的语法和语义关系的词序，并且它们在某些NLP任务中可能很重要，例如体裁分类。本文提出了一种新的分布式矢量表示的文件：一个简单的递归神经网络语言模型（RNN-LM）或长短期记忆RNN语言模型（LSTM-LM）首先创建的所有文件在一个任务中的LM参数，然后适应每个文件，和适应的参数向量化表示的文件。新的文档向量分别标记为DV-RNN和DV-LSTM。我们相信，我们的新的文档向量可以捕捉到一些高层次的顺序信息的文档，其他当前的文档表示无法捕捉。新的文档向量进行了评估，在体裁分类的文件在三个语料库：布朗语料库，BNC婴儿语料库和人工创建的Penn Treebank数据集。将它们的分类性能与TF-IDF向量和最新的段落向量分布式记忆模型（PV-DM）的分类性能进行了比较。结果表明，在大多数情况下，DV-LSTM的性能明显优于TF-IDF和PV-DM，并且所提出的文档向量与TF-IDF或PV-DM的组合可以进一步提高性能。
Comparing Fifty Natural Languages and Twelve Genetic Languages Using Word Embedding Language Divergence (WELD) as a Quantitative Measure of Language Distance
我们引入了一种新的基于词嵌入的语言间距离度量，称为词嵌入语言分歧（WELD）。WELD定义为不同语言之间词汇相似性分布的差异。使用这样的措施，我们进行语言比较的50个自然语言和12个遗传语言。我们的自然语言数据集是一个从圣经翻译的跨各种语系的50种语言的平行语料库的集合。尽管我们使用并行语料库，可以保证所有语言都有相同的内容，但有趣的是，在许多情况下，同一家族中的语言会聚集在一起。除了自然语言之外，我们还对12种不同生物（4种植物，6种动物和2种人类）基因组中的编码区进行了语言比较。我们的结果证实了人类/动物与植物的遗传语言模型存在显著的高水平差异。所提出的方法是一个步骤，以定义一个定量的语言之间的相似性度量，在语言分类，体裁识别，方言识别和评估的翻译应用。
Average word length dynamics as indicator of cultural changes in society
本文分析了俄、英两种语言平均词长的动态变化规律。词属于历时文本语料库谷歌图书Ngram和追溯到过去两个世纪的研究。研究发现，平均字长在19世纪略有增加，然后在20世纪的大部分时间里迅速增长，并在20世纪末至21世纪初开始下降。确定了对词平均长度增加或减少贡献最大的词。在此基础上，本文将实词和虚词分别进行了分析。长实词对词平均长度的贡献最大。正如它所示，这些词反映了社会发展的主要趋势，因此，经常使用。人称代词使用频率的变化对平均字长的变化也有显著影响。对与平均词长有关的其他参数也进行了分析。
How much does a word weigh? Weighting word embeddings for word sense induction
本文描述了我们参与第一个关于俄语RUSSE'2018词义归纳和消歧的共享任务（Panchenko等人，2018年）。对于几十个模棱两可的单词中的每一个，参与者被要求根据这个单词的含义对包含它的文本片段进行分组，这是事先没有提供的，因此是任务的“归纳”部分。例如，给出了一个单词“bank”和一组出现该单词的文本片段（也称为“context”），例如“bank is a financial institution that accepts deposit”和“river bank is a slope beside a body of water”。一名参与者被要求在未知的预先数量的集群对应的集群，在这种情况下，“公司”和“地区”的意义的单词“银行”这样的情况下进行聚类。组织者提出了三个不同复杂性和文本类型的评估数据集，分别基于维基百科，网页和俄语词典的文本。我们提出了两个实验：分别基于表示为词嵌入的加权平均的上下文的聚类和基于使用两个最先进的产生式神经机器翻译系统的机器翻译的正和负两个。我们的团队在18个参与团队中的两个数据集上显示了第二好的结果，在剩下的一个数据集上显示了第三好的结果。我们成功地大幅超越了前几年基于感觉嵌入的竞争性最先进的基线。
Word forms - not just their lengths- are optimized for efficient communication
一个词的长度和它的使用频率之间的反比关系，最早由G. K. Zipf在1935年提出，是一个经典的经验法则，适用于各种人类语言。我们证明，长度是一个更普遍的属性的一个方面的话：他们是如何独特的相对于其他词在一种语言。区别性在识别流利语音中的单词中起着关键作用，因为它反映了在为模糊信号选择最佳候选时潜在竞争者的实力。语音信息量是在一种语言的声音或字符序列的统计模型下对单词的字符串概率的测量，它简明地捕捉了独特性。通过对13种语言的大规模语料库的分析，我们发现独特性在预测频率方面明显优于字长。这一发现提供了证据表明，听众的处理限制形状细粒度方面的词的形式跨越语言。
Leader: Prefixing a Length for Faster Word Vector Serialization
两种相互竞争的文件格式已经成为分发预训练的词嵌入的事实标准。两者都以这种格式分发的最流行的预训练嵌入命名。GloVe格式是一种完全基于文本的格式，它具有巨大的文件大小和缓慢的读取速度，而word2vec格式是一种较小的二进制格式，它混合了单词的文本表示和向量本身的二进制表示。这两种格式都有问题，我们用一种新的格式来解决，我们称之为Leader格式。我们包含了一个字长前缀，以便在保持二进制格式所提供的较小文件大小的同时实现更快的读取。我们还创建了一个极简库，以方便阅读和编写各种单词向量格式，以及将预先训练的嵌入转换为我们新的Leader格式的工具。
Word length predicts word order: "Min-max"-ing drives language evolution
本文提出基于最小-最大理论，通过词类长度与词序关系的实证研究，揭示词序变化的普遍机制。
Zipf Distributions from Two-Stage Symbolic Processes: Stability Under Stochastic Lexical Filtering
本研究通过几何机制解释Zipf定律的起源，提出全组合词模型在随机词汇过滤下的稳定性，揭示Zipf定律可能源于几何约束而非语言效率。
Distinct word length frequencies: distributions and symbol entropies
我们将使用两种方法来分析一种语言的词汇中不同单词的频率计数在长度上的分布。第一，将着眼于几种语言的经验分布，并得出一个合理解释不同单词数量作为长度函数的分布。我们将能够根据字母和空格的边际概率导出频率计数、平均字长和字长的方差。第二部分是基于信息论，证明了条件熵也可以用来估计语言中给定长度的不同词的频率。此外，它将显示如何这些技术也可以应用于估计高阶熵使用词汇字长。
Primitive Part-of-Speech Tagging using Word Length and Sentential Structure
有人认为，当婴儿学习第一语言时，他们会使用一系列小线索来帮助识别和理解，其中一个线索就是单词长度。在本文中，我们提出了一个统计部分的语音标签，它只训练自己在一个句子中的每个单词的字母数。
Word-length entropies and correlations of natural language written texts
我们研究了十种欧洲语言的字长的频率分布和相关性。我们的研究结果表明：a）由平均值和熵量化的短词的字长分布将乌拉尔语（芬兰语）语料库与其他语料库区分开来，b）长词的尾部，表现在分布的高阶矩中，区分日耳曼语族（英语除外）源自罗马语和希腊语，以及c）在日耳曼语和芬兰语的情况下，通过比较真实熵与混洗文本的真实熵来测量的附近字长之间的相关性被发现较小。
The Role of Word Length in Semantic Topology
本文从一词多义与词长的负相关关系出发，提出了一个关于语义空间结构的拓扑论证。将得到的图结构应用于自由召回实验的建模，从而对召回概率的比较值进行预测。联想回忆有利于较长的单词，而顺序回忆有利于较短的单词。Lohnas等人（2015）和Healey和Kahana（2016）的PEERS实验数据证实了两种预测值，相关系数为$r_{seq}= -0.17$和$r_{ass}= +0.17$。该论点被应用于预测的整体属性列表召回，这导致了一个新的解释词长效应的基础上优化的检索策略。
Information content versus word length in random typing
最近，已经声称，从字长优化中预期信息内容的度量与字长之间的线性关系，并且已经表明，在许多语言中，这种线性得到信息内容与字长之间的强相关性的支持（Piantadosi等人，2011，PNAS 108，3825-3826）。在这里，我们详细研究了这种措施和标准信息理论之间的一些联系。本文研究了随机打字过程中的度量与词长之间的关系。随机打字过程是指在一个包含字母和空格的键盘上随机按下一个字符串而形成的文本。虽然这种随机过程并不根据信息内容优化字长，但它表现出信息内容和字长之间的线性关系。给出了随机分型过程的三种主要变体的精确斜率和截距。信息内容和单词长度之间的强相关性可以简单地从构成单词的单元（例如，字母），而不一定是Piantadosi等人提出的词与其上下文之间的相互作用。
Complete Variable-Length Codes: An Excursion into Word Edit Operations
给定一个字母表A和一个二元关系$τ$ $\subseteq$ A * x A *，一个语言X $\subseteq$ A * 是$τ$ -独立的，如果$τ$（X）$\cap$ X = $\emptyset$ ; X是$τ$ -封闭的，如果$τ$（X）$\subseteq$ X。语言X是完备的，如果A上的任何词是X中某个词的连接的因子。给定一个包含X的语言族F，如果F中没有其它集合能严格包含X，则X在F中是极大的。一个语言X $\subseteq$ A * 是一个变长码，如果在X的字之间的任何方程必然是平凡的。研究了$τ$ -独立或$τ$ -闭变长码的极大性与完备性之间的关系。我们专注于二进制关系，通过删除，插入或替换一些字符来计算单词的图像。
Word Length Frequency and Distribution in English: Observations, Theory, and Implications for the Construction of Verse Lines
最近在诗歌理论和经验度量方面的观察表明，构建一个诗歌行涉及到对源文本的模式匹配搜索，并且找到的元素（完整单词总计指定数量的音节）的数量通过将单词总数除以源文本中每个单词的平均音节数来给出。本文使后一点明确的数学，并在这个演示过程中显示，在英语输出的单词长度频率总数是几何分布（以前的研究人员报告了调整泊松分布），顺序分布是随机的，在全球范围内，与显着的非随机性的精细结构。数据来自一个不到200万个单词的语料库，以及一个71,000个单词形式的音节计数词典。模式匹配理论被证明是内部连贯的，它是观察到，这里描述的一些分析技术形成一个令人满意的测试规则（等距）划线的文本。
A Comparative Analysis of Word Segmentation, Part-of-Speech Tagging, and Named Entity Recognition for Historical Chinese Sources, 1900-1950
本文比较了LLMs与传统NLP工具在1900-1950年中文历史文本上的分词、词性标注和命名实体识别性能，发现LLMs在准确率上全面领先，但计算成本更高，且能更好地处理诗歌及时间变化带来的挑战。
Pre-Inference Routing for Cost-Efficient Document Field Extraction
该研究提出推理前路由方法，利用文档级信号在低成本与强提取器间选择，可在保持提取质量的同时降低特定文档类型的提取成本，且仅在满足两条件时有效。
Information content versus word length in natural language: A reply to Ferrer-i-Cancho and Moscoso del Prado Martin [arXiv:1209.1751]
最近，Ferrer i Cancho和Moscoso del Prado Martin [arXiv：1209.1751]认为，观察到的字长和平均口语之间的线性关系（Piantadosi，Tily和Gibson，2011）并不是人类语言交际效率的证据。我们讨论了他们的方法和批评的几个缺点：他们的模型关键依赖于不准确的假设，是无法解释关键的语言模式，是不符合最近的行为结果。更一般地说，我们认为，统计模型不能严格依赖于假设，是不符合实际系统的研究。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。