LLMs Know More Than Words: A Genre Study with Syntax, Metaphor & Phonetics
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文通过引入多语言体裁分类数据集，研究LLMs在语法、隐喻和语音特征上的学习能力及其对分类任务的影响。
2025-12-04 cs.AI cs.CL
GASC: Genre-Aware Semantic Change for Ancient Greek
Amazon（亚马逊）；University of Warwick（华威大学）；University of Helsinki（赫尔辛基大学）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）
单词含义会随着时间的推移而变化，具体取决于语言和语言外因素。将一个词的正确含义与其历史背景相关联是历时研究的核心挑战，并且与一系列NLP任务相关，包括历史文本中的信息检索和语义搜索。贝叶斯模型的语义变化已经成为一个强大的工具，以解决这一挑战，提供明确的和可解释的表示语义变化现象。然而，虽然语料库通常带有丰富的元数据，现有的模型是有限的，他们无法利用上下文信息（如文本体裁）超出文档的时间戳。这一点在古代语言中尤为重要，因为缺乏数据和漫长的历时跨度使得很难明确区分一词多义（一个词有几个意义）和语义变化（获得、失去或改变意义的过程），而目前的系统在这些语言中表现不佳。我们开发了GASC，一个动态语义变化模型，利用关于文本体裁的分类元数据来促进推理，并揭示古希腊语料库中的意义演变。在一个新的评估框架中，与最先进的模型相比，我们的模型实现了更好的预测性能。
2019-06-02 cs.CL cs.LG stat.ML
The RepEval 2017 Shared Task: Multi-Genre Natural Language Inference with Sentence Representations
New York University（纽约大学）；DeepMind
本文介绍了RepEval 2017共享任务的结果，该任务在Williams等人（2017）最近引入的多类型自然语言推理语料库（MultiNLI）上评估了神经网络句子表示学习模型。所有五个参与团队都击败了Williams等人报告的双向LSTM（BiLSTM）和连续词袋基线。最好的单一模型使用具有剩余连接的堆叠BiLSTM来提取句子特征，并在体裁匹配测试集上达到74.5%的准确率。令人惊讶的是，在体裁匹配和体裁不匹配的测试集上，以及在代表各种语言现象的测试数据的子集上，竞争的结果相当一致，这表明所有提交的系统都学会了合理的独立于领域的句子意义表示。
2017-07-25 cs.CL
Tragic and Comical Networks. Clustering Dramatic Genres According to Structural Properties
Research Centre for the Humanities（人文研究中心）；Eötvös Loránd University（厄特沃什·罗兰大学）；Institute for Literary Studies（文学研究所）
在网络研究和戏剧史的结合领域中，越来越多的传统是从戏剧的人物网络中产生解释。这种解释的潜力在于，与阅读文本或观看表演相比，图表提供了不同的人物关系表示。我们的目标是创建一种方法，该方法能够在戏剧的可解释性和简单属性的基础上，独立于戏剧中的角色数量，或者换句话说，网络的大小，对具有相似结构的文本进行聚类。发现这些特征是我们研究的最重要部分，以及建立适当的统计程序来计算文本之间的相似性。我们的数据从DraCor数据库下载并在R中进行分析（我们使用GerDracor和ShakeDraCor子集合）。我们希望提出一种鲁棒的方法，基于字符之间的单词分布;场景中的字符分布，语音行为的平均长度，或字符特定的和宏观级别的网络属性，如聚类系数和网络密度。基于这些指标的监督分类程序应用于子集合分类喜剧和悲剧使用支持向量机（SVM）的方法。我们的研究表明，这种方法也可以在小样本量上产生可靠的结果。
2023-02-16 cs.CL
Character Distributions of Classical Chinese Literary Texts: Zipf's Law, Genres, and Epochs
Harvard University（哈佛大学）；National Chengchi University（国立政治大学）；Northwestern Polytechnical University（西北工业大学）；Liaoning University（辽宁大学）
本研究收集了中国历史上主要时期的14个代表性语料库。这些语料库包括几个朝代的诗歌作品、明清小说、现代汉语散文和新闻报道。这些语料库的时间跨度在公元前1046年至公元2007年之间。我们从齐普夫定律的角度分析它们的字和词的分布，并寻找影响它们的齐普夫曲线之间的偏差和相似性的因素。体裁和时代在我们的分析中显示了它们的影响。具体来说，公元618年至公元1644年诗歌作品的字符分布表现出惊人的相似性。此外，虽然同一朝代的文本可能倾向于使用同一套字符，但它们的字符分布仍然彼此偏离。
2017-09-17 cs.CL cs.DL
A Simple Regularization-based Algorithm for Learning Cross-Domain Word Embeddings
University of Waterloo（滑铁卢大学）；Advanced Digital Sciences Center（高级数字科学中心）
学习词嵌入最近受到了极大的关注。通常，词嵌入是以无监督的方式从大量文本集合中学习的。文本的体裁通常在所产生的嵌入的有效性中起着重要的作用。如何使用来自不同领域的数据有效地训练词嵌入模型仍然是一个未充分探索的问题。在本文中，我们提出了一个简单而有效的方法来学习词嵌入的基础上，从不同领域的文本。我们通过对各种下游NLP任务的广泛实验证明了我们方法的有效性。
2019-02-01 cs.CL
LyCon: Lyrics Reconstruction from the Bag-of-Words Using Large Language Models
University of California San Diego（加州大学圣地亚哥分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对歌词版权限制问题，本研究提出利用公开词袋数据集和元数据，结合大型语言模型重建无版权歌词，并发布了与知名来源元数据对齐的LyCon数据集，支持条件歌词生成等学术实验。
2024-08-27 cs.CL cs.DL
Mathematical Model of Word Length on the Basis of the Cebanov-Fucks Distribution with Uniform Parameter Distribution
13个类型学上不同的语言的数据已被处理使用一个双参数字长模型，基于1-位移均匀泊松分布。第二个参数对第一个参数的统计依赖关系被揭示为德语文本和字母类型。
2001-02-24 cs.CL
Lexical Base as a Compressed Language Model of the World (on the material of the Ukrainian language)
本文证实了用正式统计方法（频率和功能语类不受限制）选出的词汇表不是一个无关词的集合。它创造了一个相互关联的项目系统，它可以被称为“语言的词汇基础”。这份精选的词汇表涵盖了人类活动的所有领域。为了验证这一说法，确定了不同语言的表意词典所共有的不变的概要方案。
2004-02-24 cs.CL
How Well Does First-Token Entropy Approximate Word Entropy as a Psycholinguistic Predictor?
The Ohio State University（俄亥俄州立大学）；New York University（纽约大学）
本研究针对首词元熵近似单词熵存在低估与偏差的问题，提出允许单词含可变词元数的蒙特卡洛单词熵估计法，实验发现二者与阅读时长的回归结果有差异，提示使用首词元近似语境熵需谨慎。
2025-07-29 cs.CL
Neural semi-Markov CRF for Monolingual Word Alignment
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
单语单词对齐对于研究细粒度编辑操作（即，删除，添加和替换）在文本到文本生成任务，如释义生成，文本简化，中和偏见的语言等，在本文中，我们提出了一种新的神经半马尔可夫CRF对齐模型，通过可变长度跨度统一的单词和短语对齐。我们还创建了一个新的基准与人类注释，涵盖四种不同的文本类型，以评估单语词对齐模型在更现实的设置。实验结果表明，我们提出的模型优于所有以前的单语词对齐方法，以及竞争性的基于QA的基线，这是以前只适用于双语数据。我们的模型对三个域外数据集表现出良好的泛化能力，并在两个下游应用中表现出很大的实用性：自动文本简化和句子对分类任务。
2021-06-16 cs.CL
Metaphors' journeys across time and genre: tracking the evolution of literary metaphors with temporal embeddings
University School for Advanced Studies IUSS（高等研究大学学院）
本研究通过时间嵌入分析文学隐喻在不同时代和体裁中的演变，发现隐喻处理需求受体裁影响显著，现代文学中隐喻更难处理，而网络语言中更易处理。
2026-02-14 cs.CL
GeNRe: A French Gender-Neutral Rewriting System Using Collective Nouns
University of Strasbourg（斯特拉斯堡大学）
本文提出首个使用集合名词的法语性别中立改写系统GeNRe，包含基于规则的系统和微调语言模型，并探索指令模型以提升性能。
2025-05-29 cs.CL
Extracting and Validating Explanatory Word Archipelagoes using Dual Entropy
The University of Tokyo（东京大学）
本文提出利用基于窗口的熵A提取词语群岛，并用基于图的熵B评估文本逻辑连通性，证明无先验知识下提取的解释性文本部分熵更低。
2024-09-28 cs.CL
'Warriors of the Word' -- Deciphering Lyrical Topics in Music and Their Connection to Audio Feature Dimensions Based on a Corpus of Over 100,000 Metal Songs
University of Vienna（维也纳大学）；University of Bamberg（班贝格大学）
我们研究了金属音乐的音乐和抒情内容之间的联系，结合自动提取的高层次的音频特征和定量文本分析的语料库124.288歌词从这种类型。基于该文本语料库，首先使用潜在狄利克雷分配（LDA）构建主题模型。对于503首歌曲的子样本，使用音频特征模型提取预测感知音乐硬度/沉重和黑暗/阴郁的分数。通过结合音频特征和文本分析，我们（1）提供了金属流派中抒情主题的全面概述，（2）能够确定硬度和其他音乐维度的水平是否与特别刺耳（和其他）文本主题的出现有关。二十个典型的主题被确定和投影到一个主题空间，使用多维尺度（MDS）。经过Bonferroni校正后，发现音乐的硬度和黑暗与“残酷的死亡”、“反乌托邦”、“古老和神秘主义”、“宗教和撒旦主义”、“战斗”和“（心理）疯狂”等文本主题呈正相关，而与“个人生活”和“爱情和浪漫”等主题呈负相关。
2019-11-13 cs.CL cs.SD eess.AS
Studying word order through iterative shuffling
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Yale University（耶鲁大学）；Microsoft Research（微软研究院）；Microsoft（微软）；University of Maryland（马里兰大学）
该研究通过提出迭代打乱推理（IBIS）算法，在GLUE套件等场景中反驳了“词序编码NLP任务必需意义”的假设，证明多数情况下词序打乱难改变信息，且IBIS优于现有词序算法，可用于语言建模与约束生成。
2026-11-06 cs.CL
The word entropy of natural languages
University of Tübingen（蒂宾根大学）；University of Cambridge（剑桥大学）
与单词相关的平均不确定性是定量和计算语言学核心的信息论概念。熵已经被确立为这种平均不确定性的度量-也称为平均信息含量。我们在这里使用21种语言的平行文本来建立单词熵收敛到稳定值的标记数量。然后，这些收敛点用于从大规模并行语料库中选择文本，并估计1000多种语言的词熵。我们的研究结果有助于建立定量的语言比较，了解多语言翻译系统的性能，并规范语义相似性措施。
2016-06-22 cs.CL
Explaining Classes through Word Attribution
University of Turku（图尔库大学）
近年来，已经提出了几种方法来解释深度学习模型的单个预测，但很少有人研究如何聚合这些预测来解释这些模型如何在文本分类任务中将类视为一个整体。在这项工作中，我们提出了一种使用深度学习模型和集成特征属性技术来解释类的方法，该方法通过将文本分类中单个示例的解释聚合到类的一般描述中。我们展示了使用XML-R模型和英语在线注册语料库（CORE）的Web寄存器（体裁）分类的方法，发现该方法确定合理的和歧视性的关键字特征，但最小的类。
2021-08-31 cs.AI cs.CL
Black is to Criminal as Caucasian is to Police: Detecting and Removing Multiclass Bias in Word Embeddings
Microsoft AI Development Acceleration Program（微软人工智能发展加速计划）；Carnegie Mellon University（卡内基梅隆大学）
在线文本--跨越体裁、领域和风格--充斥着人类的刻板印象，以公开或微妙的方式表达。在这些文本上训练的词嵌入使这些刻板印象永久化并放大，并将偏见传播到使用词嵌入作为特征的机器学习模型。在这项工作中，我们提出了一种方法来消除种族和宗教等多类设置中的词嵌入，扩展了Bolukbasi等人的工作，2016）从二进制设置，如二进制性别。接下来，我们提出了一种新的方法来评估多类去偏置。我们证明了我们的多类去偏是强大的，并保持在标准的NLP任务的功效。
2019-07-02 cs.CL cs.LG stat.ML
Recurrent Neural Network Language Model Adaptation Derived Document Vector
HKUST（香港科技大学）
在许多自然语言处理（NLP）任务中，通常使用词频-逆文档频率（TF-IDF）向量将文档建模为词袋。基于频率的TF-IDF特征向量的一个主要缺点是它忽略了文档中单词之间的语法和语义关系的词序，并且它们在某些NLP任务中可能很重要，例如体裁分类。本文提出了一种新的分布式矢量表示的文件：一个简单的递归神经网络语言模型（RNN-LM）或长短期记忆RNN语言模型（LSTM-LM）首先创建的所有文件在一个任务中的LM参数，然后适应每个文件，和适应的参数向量化表示的文件。新的文档向量分别标记为DV-RNN和DV-LSTM。我们相信，我们的新的文档向量可以捕捉到一些高层次的顺序信息的文档，其他当前的文档表示无法捕捉。新的文档向量进行了评估，在体裁分类的文件在三个语料库：布朗语料库，BNC婴儿语料库和人工创建的Penn Treebank数据集。将它们的分类性能与TF-IDF向量和最新的段落向量分布式记忆模型（PV-DM）的分类性能进行了比较。结果表明，在大多数情况下，DV-LSTM的性能明显优于TF-IDF和PV-DM，并且所提出的文档向量与TF-IDF或PV-DM的组合可以进一步提高性能。
2016-11-01 cs.CL
Comparing Fifty Natural Languages and Twelve Genetic Languages Using Word Embedding Language Divergence (WELD) as a Quantitative Measure of Language Distance
University of California, Berkeley（加州大学伯克利分校）
我们引入了一种新的基于词嵌入的语言间距离度量，称为词嵌入语言分歧（WELD）。WELD定义为不同语言之间词汇相似性分布的差异。使用这样的措施，我们进行语言比较的50个自然语言和12个遗传语言。我们的自然语言数据集是一个从圣经翻译的跨各种语系的50种语言的平行语料库的集合。尽管我们使用并行语料库，可以保证所有语言都有相同的内容，但有趣的是，在许多情况下，同一家族中的语言会聚集在一起。除了自然语言之外，我们还对12种不同生物（4种植物，6种动物和2种人类）基因组中的编码区进行了语言比较。我们的结果证实了人类/动物与植物的遗传语言模型存在显著的高水平差异。所提出的方法是一个步骤，以定义一个定量的语言之间的相似性度量，在语言分类，体裁识别，方言识别和评估的翻译应用。
2016-04-28 cs.CL
German in Flux: Detecting Metaphoric Change via Word Entropy
University of Stuttgart（斯图加特大学）；LMU Munich（慕尼黑大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文探讨了信息论测度熵在隐喻变化检测中的应用，将上位词检测的思想转移到语言变化的研究中。我们还建立了第一个历时测试集德语作为标准的隐喻变化注释。我们的模型表现出很高的性能，是无监督的，语言独立的和推广到其他过程的语义变化。
2017-06-15 cs.CL
Quantifying literature quality using complexity criteria
Universidad Simón Bolívar（西蒙·玻利瓦尔大学）
我们测量了英语和西班牙语文本的熵和符号多样性，包括文学诺贝尔奖获得者和其他著名作家。熵，符号多样性和符号频率分布进行了比较，这四个群体。我们还建立了一个规模敏感的写作质量，并评估其与Flesch的可读性指数为英语和西班牙语的Szigriszt的清晰度指数的关系。结果表明，熵和词的多样性与写作质量之间的相关性。文本体裁也会影响文本的熵和多样性。结果表明，文本的自动质量评估的可行性。
2017-01-15 cs.CL
Clustering Words by Projection Entropy
Boğaziçi University（海峡大学）
我们应用熵凝聚（EA），最近推出的算法，聚类的文学文本的话。EA是一个贪婪的凝聚过程，最小化投影熵（PE），一个函数，可以量化的分割元素集。为了应用它，文本被简化为一个特征分配，一个组合对象来表示文本段落中的单词occupancy。实验结果表明，EA，尽管其减少和简单，是有用的，在捕捉文本中的词之间的重要关系。这个过程是用Python实现的，并作为一个自由软件发布：REBUS。
2014-10-24 cs.CL cs.LG
Zipf Distributions from Two-Stage Symbolic Processes: Stability Under Stochastic Lexical Filtering
Aitiologia LLC（Aitiologia公司）
本研究通过几何机制解释Zipf定律的起源，提出全组合词模型在随机词汇过滤下的稳定性，揭示Zipf定律可能源于几何约束而非语言效率。
2025-11-26 cs.CL stat.ME stat.ML
Can Entropy Explain Successor Surprisal Effects in Reading?
Johns Hopkins University（约翰斯·霍普金斯大学）
人类的阅读行为对重复性很敏感：更可预测的单词往往会读得更快。出乎意料的是，这不仅适用于当前正在阅读的单词的连读，还适用于尚未固定的即将出现的（后续）单词的连读。这一发现被解释为读者可以旁联想地提取词汇信息的证据。对这种解释提出了质疑，Angele et al.（2015）表明，即使在这些后继词尚未可见的情况下，后继效应也会出现。他们假设继任者Rupsal预测阅读时间，因为它近似于读者对即将到来的单词的不确定性。我们使用LSTM语言模型在阅读时间语料库上测试了这一假设，并发现后继语义和熵是阅读时间的独立预测因子。这种独立性表明，熵本身不太可能是后继的熵效应的全部解释。
2018-10-26 cs.CL
How much does a word weigh? Weighting word embeddings for word sense induction
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Samsung Moscow Research Center（三星莫斯科研究中心）；University of Hamburg（汉堡大学）
本文描述了我们参与第一个关于俄语RUSSE'2018词义归纳和消歧的共享任务（Panchenko等人，2018年）。对于几十个模棱两可的单词中的每一个，参与者被要求根据这个单词的含义对包含它的文本片段进行分组，这是事先没有提供的，因此是任务的“归纳”部分。例如，给出了一个单词“bank”和一组出现该单词的文本片段（也称为“context”），例如“bank is a financial institution that accepts deposit”和“river bank is a slope beside a body of water”。一名参与者被要求在未知的预先数量的集群对应的集群，在这种情况下，“公司”和“地区”的意义的单词“银行”这样的情况下进行聚类。组织者提出了三个不同复杂性和文本类型的评估数据集，分别基于维基百科，网页和俄语词典的文本。我们提出了两个实验：分别基于表示为词嵌入的加权平均的上下文的聚类和基于使用两个最先进的产生式神经机器翻译系统的机器翻译的正和负两个。我们的团队在18个参与团队中的两个数据集上显示了第二好的结果，在剩下的一个数据集上显示了第三好的结果。我们成功地大幅超越了前几年基于感觉嵌入的竞争性最先进的基线。
2018-10-25 cs.CL
Contrastive Entropy: A new evaluation metric for unnormalized language models
University of Florida（佛罗里达大学）
复杂度（每个单词）是评估语言模型的最广泛使用的度量。尽管如此，对这一指标的批评并不缺乏。这些批评大多集中在缺乏相关性的外部指标，如词出错率（WER），依赖于共享词汇的模型比较和不适合非规范化的语言模型评估。在本文中，我们解决了最后一个问题，并提出了一个新的判别熵为基础的内在度量，适用于传统的词级模型和非规范化的语言模型，如句子级模型。我们还提出了一个有区别地训练句子级解释的递归神经网络为基础的语言模型（RNN）作为一个例子，非规范化的句子级模型。我们证明，对于词级模型，对比熵表现出很强的相关性与困惑。我们还观察到，当在较低失真水平下训练时，句子级RNN在这个新指标上的表现大大优于传统RNN。
2016-03-31 cs.CL
Investigating the Effect of Music and Lyrics on Spoken-Word Recognition
Radboud University Nijmegen（奈梅亨拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）
社交场合的背景音乐会妨碍谈话。然而，很少有人知道音乐的具体属性如何影响语音处理。本文通过调查1）有歌词的背景音乐的掩蔽效应是否大于没有歌词的音乐，以及2）掩蔽效应是否对于更复杂的音乐更大来解决这个知识缺口。为了回答这些问题，进行了一项单词识别实验，其中荷兰参与者在两种条件下（有和没有歌词）和三种SNR下听嵌入背景音乐中的荷兰CVC单词。三首歌曲被用于不同的风格和复杂性。从同一首歌中采样有歌词和没有歌词的音乐片段，以控制歌词存在以外的因素。结果表明，背景音乐中歌词的存在对口语词识别有明显的负面影响。这种影响与复杂性无关。结果表明，社交空间（例如，餐馆、咖啡馆和酒吧）应谨慎选择音乐，以促进对话，并为今后的工作开辟道路。
2018-03-13 cs.CL cs.SD eess.AS
Explorations in an English Poetry Corpus: A Neurocognitive Poetics Perspective
Freie Universität Berlin（柏林自由大学）；Dahlem Institute for Neuroimaging of Emotion（达勒姆情感神经成像研究所）；Center for Cognitive Neuroscience Berlin（柏林认知神经科学中心）
本文描述了从古腾堡项目中提取的约3000篇英语文学文本的语料库，其中约有2.5亿个单词，涵盖了130多位作者撰写的小说和非小说类体裁（例如，达尔文、狄更斯、莎士比亚）。定量叙事分析（QNA）被用来探索一个干净的子语料库，古腾堡英语诗歌语料库（GEPC），其中包括100多个诗歌文本，约200万字，来自约50位作者（例如，济慈，乔伊斯，华兹华斯）。一些示例性QNA研究基于潜在语义分析、每个作者的重要主题或乔治·艾略特的诗“丽莎如何爱国王”和詹姆斯·乔伊斯的“室内乐”的各种文本分析度量来显示作者相似性，例如关于词汇多样性或情感分析。GEPC特别适合于数字人文，自然语言处理或神经认知诗学的研究，例如作为训练和测试语料库，或用于刺激开发和控制。
2018-01-06 cs.CL
Swap distance minimization beyond entropy minimization in word order variation
本文研究了词序变化中熵最小化与交换距离最小化的影响，提出平均交换距离作为新指标，并发现交换距离最小化效应超越熵最小化压力。
2026-01-13 cs.CL physics.soc-ph
Complexity and universality in the long-range order of words
The University of Manchester（曼彻斯特大学）
正如复杂系统产生的许多信号一样，语言呈现出一种在有序和无序之间平衡的统计结构。在这里，我们回顾和扩展最近的结果，从定量表征的程度，以便在语言序列，深入了解语言的两个相关方面：存在的统计共性在单词排序，语义信息和统计语言结构之间的联系。我们首先分析了相对熵的测量，它评估了单词的排序对语言整体统计结构的贡献。该测量在几个语言家族中呈现接近3.5比特/字的几乎恒定的值。然后，我们表明，直接应用信息论导致的熵测量，可以量化和提取语义结构的语言样本，即使没有先验知识的基础语言。
2015-03-03 cs.CL physics.data-an physics.soc-ph
Morphological Analysis of Japanese Hiragana Sentences using the BI-LSTM CRF Model
Ibaraki University（茨城大学）；Tokyo University of Agriculture and Technology（东京农工大学）
本研究提出了一种使用Bi-LSTM CRF模型开发日语平假名句子形态分析器神经模型的方法。形态分析是一种将文本数据划分为单词并分配信息（如词性）的技术。这种技术在日语自然语言处理系统的下游应用中起着至关重要的作用，因为日语在单词之间没有单词分隔符。平假名是一种日本表音文字，用于儿童或无法阅读汉字的人的文本。平假名句的词法分析比普通日语句子的词法分析要困难，因为平假名句中可供划分的信息较少。对于平假名句子的形态分析，我们使用基于普通日语文本的模型证明了微调的有效性，并检查了训练数据对各种体裁文本的影响。
2022-01-10 cs.CL cs.LG
NE-LP: Normalized Entropy and Loss Prediction based Sampling for Active Learning in Chinese Word Segmentation on EHRs
East China University of Science and Technology（华东理工大学）；University of Shanghai for Science and Technology（上海理工大学）
医院信息系统中的电子健康档案（Electronic Health Records，EHR）包含了患者的诊断和治疗信息，因此EHR对临床数据采掘至关重要。中文分词（CWS）是挖掘过程中的一个基本而重要的任务，现有的分词方法大多依赖于大规模的人工标注数据。由于注释是耗时且昂贵的，因此已经致力于诸如主动学习的技术来定位用于建模的信息量最大的样本。本文顺应这一趋势，提出了一种针对EHR中CWS的主动学习方法。具体地说，提出了一种结合归一化熵和损失预测（NE-LP）的采样策略来选择最具代表性的数据。同时，为了最小化学习的计算成本，我们提出了一个联合模型，包括一个词分割器和一个损失预测模型。此外，为了捕捉相邻字符之间的交互，在联合模型中还应用了二元组特征。为了说明NE-LP的有效性，我们对上海中医药大学附属曙光医院的EHR进行了实验。结果表明，NE-LP始终优于传统的基于不确定性的采样策略的主动学习在CWS。
2020-07-17 cs.CL
Fast Entropy-Based Methods of Word-Level Confidence Estimation for End-To-End Automatic Speech Recognition
NVIDIA（英伟达）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文提出了一类新的用于自动语音识别的快速不可训练的基于熵的置信度估计方法。我们展示了如何对每帧熵值进行归一化和聚合，以获得连接主义时间分类（CTC）和递归神经网络转换器（RNN-T）模型的每单位和每个单词的置信度。提出的方法具有类似的计算复杂度的传统方法的基础上的最大每帧概率，但他们更可调，有一个更广泛的有效阈值范围，并更好地推开正确和不正确的单词的置信度分布。我们在LibriSpeech测试集上评估了所提出的置信度度量，并表明它们分别比基于Conformer-CTC和Conformer-RNN-T模型检测不正确单词的最大每帧概率的置信度估计高出2倍和4倍。
2022-12-16 cs.CL cs.IT cs.LG
Communicative need modulates competition in language change
University of Edinburgh（爱丁堡大学）
所有现存的语言都会随着时间的推移而变化。其原因是多方面的，其中之一是新的语言成分的出现和借用。新成分与语义或语法功能相似的旧成分之间的竞争可能会导致说话者更喜欢其中一个，而放弃另一个。我们介绍了一种通用的方法来量化历时语料库中的语言元素之间的竞争，它不需要语言特定的资源，比足够大的语料库。这种方法很容易适用于广泛的语言和语言子系统。在这里，我们将其应用于词汇数据在五个语料库不同的语言，类型，体裁和时间跨度。我们发现，交际需求的变化是一致的预测词汇竞争动态。近似同义词更有可能直接竞争，如果它们属于一个话题，其重要性是随着时间的推移，语言使用者是恒定的，可能会导致其中一个竞争词的灭绝。相比之下，在对语言使用者越来越重要的话题中，近同义词往往不直接竞争，而是可以共存。这表明，除了词与词之间的直接竞争外，语言变化还可能受到主题或语义子空间之间的竞争的驱动。
2020-06-16 cs.CL
Entropy in Large Language Models
Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西特齐克大学）
本研究比较了大语言模型与自然语言的词熵，发现LLM的词熵低于自然口语，旨在评估LLM训练数据对信息和不确定性的影响。
2026-02-23 cs.CL
Restoring Arabic vowels through omission-tolerant dictionary lookup
Université Paris-Est（巴黎东大学）；UPEM（巴黎马恩河谷大学）；CNRS（法国国家科学研究中心）；ENPC（巴黎路桥学院）；ESIEE（高等电子与电工技术工程师学校）
阿拉伯语中的元音是可选的正字法符号，写在字母上方或下方的变音符号。在阿拉伯语文本中，通常超过97%的书面文字没有明确显示它们所包含的任何元音;也就是说，根据作者，体裁和领域，只有不到3%的单词包含任何明确的元音。虽然已经发表了大量的研究，恢复语音技术中省略的元音的问题，很少有人注意到这个问题，在专门的书面阿拉伯语technology.f在这项研究中，我们提出了阿拉伯语Unitex，阿拉伯语资源，重点是元音表示和编码。具体来说，我们提出了两打规则正式详细描述元音省略书面文本。它们是集成到大覆盖率资源中用于形态注释的排版规则。为了恢复元音，我们的资源能够识别未显示元音的单词，以及部分或全部包含元音的单词。通过考虑这些规则，我们的资源能够计算和恢复每个单词的形式，通过遗漏容忍字典查找兼容的完全元音化的候选人列表。我们的程序执行分析5000字/秒的运行文本（20页/秒）。基于这些全面的语言资源，我们创建了一个拼写检查器，可以检测任何无效/错位的元音，完全或部分元音化的形式。最后，我们的资源提供了超过99%的流行报纸中使用的词汇覆盖率，并简单有效地恢复单词中的元音（脱离上下文）。
2019-05-10 cs.CL
Maximum Entropy, Word-Frequency, Chinese Characters, and Multiple Meanings
Beijing Jiaotong University（北京交通大学）；University of Electronic Science and Technology of China（电子科技大学）；Umeå University（于默奥大学）
作者所写的文本的词频分布很好地解释了最大熵分布，RGF（随机组形成）预测。RGF分布完全由文本中的单词总数（M）、不同单词的数量（N）和最常见单词的重复次数（k_max）的先验值确定。它在这里示出，这种最大熵预测也描述了一个文本写在汉字。特别是它表明，虽然相同的中文文本写在单词和汉字有很大不同的形状分布，但它们都很好地预测各自的三个先验特征值。有人指出，这是类似的形状的分布时，翻译一个给定的文本到另一种语言的变化。RGF预测的另一个结果是，取长文本的一部分将改变输入参数（M，N，k_max），因此也改变频率分布的形状。这一点在以汉字书写的文本中得到明确证实。由于在三个先验值（M，N，k_max）之外，RGF预测没有系统特定的信息，因此必须在与RGF预测和测量的频率的系统偏差中寻找任何特定的语言特征。一个这样的系统偏差被确定，并通过统计信息理论论证和扩展的RGF模型，提出这种偏差是由汉字的多重含义。对汉字的影响比对汉语单词的影响大。讨论了Zipf定律、Simon模型与本文结果的关系。
2015-03-29 cs.CL physics.soc-ph
The Open corpus of the Veps and Karelian languages: overview and applications
Institute of Linguistics, Literature and History, Karelian Research Centre, Russian Academy of Sciences（俄罗斯科学院卡累利阿研究中心语言、文学与历史研究所）；Institute of Applied Mathematical Research, Karelian Research Centre, Russian Academy of Sciences（俄罗斯科学院卡累利阿研究中心应用数学研究所）；Petrozavodsk State University（彼得罗扎沃茨克国立大学）
在卡累利阿共和国波罗的海-芬兰语的研究中，语料库语言学的方法和工具越来越受到重视。自2016年以来，卡累利阿研究中心的语言学家，数学家和程序员一直在使用Veps和卡累利阿语言的开放语料库（VepKar），这是2009年创建的Veps语料库的扩展。VepKar语料库包括卡累利阿语和Veps语的文本，与之链接的多功能词典，以及使用文本的各种标准（语言，体裁等）进行高级搜索系统的软件。以及众多的语言类别（由于我们之前创建的单词形式生成器，可以实现文本中的词汇和语法搜索）。编制了3 000份文本的语料库，上传和标记了文本，采用了将文本按语言、方言、类型和体裁分类的系统，并创建了词形生成器。未来的计划包括开发一个语音模块，用于处理录音和一个使用形态分析输出的句法标记模块。由于语料库管理器的功能不断改进，以及VepKar不断丰富新的材料和文本标记，用户可以处理广泛的科学和应用任务。在创建通用的国家VepKar语料库时，其开发人员和管理人员努力保护和尽可能充分地展示Veps和卡累利阿语言在19 - 21世纪的状态。
2022-06-08 cs.CL
Estranged Predictions: Measuring Semantic Category Disruption with Masked Language Modelling
School of Arts, Queen Mary University of London（艺术学院，伦敦女王学院）；School of Electronic Engineering and Computer Science, Queen Mary University of London（电子工程与计算机科学学院，伦敦女王学院）
本文以“人类”“动物”“机器”术语为对象，基于科幻与普通小说语料，用RoBERTa生成掩码指代词的词汇替代词并通过Gemini分类，量化概念滑移，揭示科幻小说中类别边界扰动模式，为计算文学研究提供方法并加深对科幻语言基础设施的理解。
2025-11-11 cs.CL
On the Effect of Anticipation on Reading Times
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）；MIT（麻省理工学院）
本文将阅读中的预期操作化为上下文熵，在四个自然阅读数据集上对比其与 surprisal 对阅读时间的预测力，证明阅读兼具反应性与预期性。
2023-07-14 cs.CL
A Comparative Analysis of Word Segmentation, Part-of-Speech Tagging, and Named Entity Recognition for Historical Chinese Sources, 1900-1950
University of Chicago（芝加哥大学）；Purdue University（普渡大学）
本文比较了LLMs与传统NLP工具在1900-1950年中文历史文本上的分词、词性标注和命名实体识别性能，发现LLMs在准确率上全面领先，但计算成本更高，且能更好地处理诗歌及时间变化带来的挑战。
2025-03-25 cs.AI cs.CL
Calculating entropy at different scales among diverse communication systems
Universidad Simón Bolívar（西蒙·玻利瓦尔大学）
我们评估了改变观察尺度对文本描述熵度量的影响。在字符、单词和基本尺度上研究了编码音乐、计算机代码和两种人类自然语言，基本尺度是通过调整用于解释每个文本描述的符号长度直到产生最小熵来产生的。结果表明，基本尺度方法是可比的文字使用时，测量熵水平的书面文本。然而，这种方法也可以用于缺少文字的通信系统，例如音乐。在基本尺度上测量符号熵可以定量计算不同通信系统的相对复杂程度。研究结果为研究通信系统结构之间的差异开辟了新的视野。
2015-10-05 cs.CL cs.IT math.IT
Toward a statistical mechanics of four letter words
Joseph Henry Laboratories of Physics（约瑟夫·亨利物理实验室）；Lewis--Sigler Institute for Integrative Genomics（刘易斯-西格勒整合基因组学研究所）；Center for the Study of Mind, Brain and Behavior（心智、大脑与行为研究中心）；Princeton Center for Theoretical Physics（普林斯顿理论物理中心）；Princeton University（普林斯顿大学）
该研究将四字母单词视为字母交互网络，用与字母成对相关性一致的最大熵模型近似其概率分布，捕捉约92%字母多信息、发现未在训练数据中的真实词，其能量景观局部极小值占书面英语所用单词近三分之二。
2007-12-31 cs.CL physics.data-an physics.soc-ph
Which Tokens Need Context? A Reference-Based Analysis of Translation Responsibility Using Fertility and Entropy
提出一个后验、模型无关的框架，通过词对齐中的生育率和熵量化词汇和句法层面的上下文敏感性，揭示上下文选择性地重新分配生成责任。
2026-06-28 cs.CL
Classes for Fast Maximum Entropy Training
最大熵模型被许多人认为是语言建模研究中最有前途的途径之一。不幸的是，长时间的训练使得最大熵研究变得困难。我们提出了一种新的加速技术：我们改变了模型的形式，使用类。我们的加速是通过创建两个最大熵模型来实现的，第一个模型预测每个单词的类别，第二个模型预测单词本身。模型的这种分解导致更少的非零指示函数和更快的归一化，与以前最好的技术之一相比，实现了高达35倍的加速。它还导致通常稍低的困惑。同样的技巧也可以用来加速其他机器学习技术的训练，例如神经网络，应用于任何具有大量输出的问题，如语言建模。
2001-08-09 cs.CL
ks-lit-3m: A 3.1 million word kashmiri text dataset for large language model pretraining
Independent Researcher（独立研究者）
本文提出KS-LIT-3M数据集，通过开发InPage到Unicode转换器和严格预处理，解决克什米尔语预训练数据稀缺问题，为自然语言处理研究提供高质量资源。
2026-01-03 cs.AI cs.CL
Low-Level Linguistic Controls for Style Transfer and Content Preservation
Columbia University（哥伦比亚大学）
尽管风格转移在图像处理中取得了成功，但在自然语言生成中的进展有限。部分问题在于文本域中的内容不容易与样式分离。奇怪的是，在文体计量学领域，内容在区分文体元素（如作者身份和体裁）的实际方法中并不突出。而句法和虚词是最突出的特征。在这项工作的基础上，我们将风格建模为一套低层次的语言控制，如代词，介词和从句结构的频率。我们训练一个神经编码器-解码器模型来重建参考句子，只给出内容词和控件的设置。我们通过保持内容词固定，同时调整控件以指示另一种风格来执行风格转换。在实验中，我们表明，该模型可靠地响应语言控制，并进行自动和手动评估的风格转移。我们发现我们可以在84%的时间里欺骗风格分类器，并且我们的模型产生了高度多样化和风格独特的输出。这项工作介绍了一个正式的，可扩展的风格模型，可以添加控制任何神经文本生成系统。
2019-11-08 cs.CL
Entropy and type-token ratio in gigaword corpora
Institute for Cross-Disciplinary Physics and Complex Systems IFISC (UIB-CSIC)（跨学科物理与复杂系统研究所）
本文研究了六种十亿词级多语言语料库的词汇多样性，揭示了文本熵与类型-标记比之间的经验函数关系，并基于Zipf和Heaps定律推导出大文本长度极限下的解析表达式，与实验结果一致。
2025-06-24 cs.CL cs.IR physics.soc-ph
OptAGAN: Entropy-based finetuning on text VAE-GAN
University of Bologna（博洛尼亚大学）
通过大型预训练模型的迁移学习改变了当前自然语言处理（NLP）应用的格局。最近，Optimus，一个结合了两个预训练模型BERT和GPT-2的变分自编码器（VAE）已经发布，它与生成广告网络（GANs）的结合已经被证明可以产生新颖但非常人性化的文本。Optimus和GANs的组合避免了将GANs应用于文本离散域的麻烦，并防止了标准最大似然方法的暴露偏差。我们将潜在空间中的GANs训练与Optimus解码器的微调相结合，以生成单个单词。这种方法让我们既可以对句子的高级特征进行建模，也可以对低级别的逐词生成进行建模。我们使用强化学习（RL）通过利用GPT-2的结构进行微调，并通过添加基于熵的内在激励奖励来平衡质量和多样性。我们对VAE-GAN模型的结果进行了基准测试，并展示了我们在三个广泛使用的文本生成数据集上进行RL微调所带来的改进，其结果大大超过了当前最先进的生成文本的质量。
2021-09-01 cs.CL
Replicability Analysis for Natural Language Processing: Testing Significance with Multiple Datasets
Technion IIT（以色列理工学院）
随着来自各种语言、领域和流派的文本数据量的不断增长，在多个数据集上评估NLP算法以确保异构设置之间的一致性能已成为标准。然而，这种多重比较对自然语言处理中的传统统计分析方法提出了重大挑战，并可能导致错误的结论。在本文中，我们提出了一个可复制性分析框架，用于对NLP任务算法之间的多重比较进行统计上的合理分析。我们讨论了这个框架的理论优势，目前，统计不合理的，在NLP文献中的实践，并证明其经验价值在四个应用：多域依存句法分析，多语言词性标注，跨域情感分类和词相似度预测。
2017-09-27 cs.CL
ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯人工智能实验室）
最近，一种新的训练oaxe损失已被证明有效地改善非自回归翻译（NAT）的多模态效果，它消除了标准交叉熵损失中的词序错误的惩罚。从直觉出发，重新排序通常发生在短语之间，我们通过只允许ngram短语之间的重新排序来扩展oaxe，并且仍然要求短语内的词序严格匹配。在跨语言对和数据规模的NAT基准测试上进行的大量实验证明了该方法的有效性和通用性。进一步的分析表明，所提出的ngram-oaxe解决了多模态问题，更好地建模短语翻译。进一步的分析表明，ngram-oaxe确实改善了ngram短语的翻译，并产生了更流畅的翻译与更好的句子结构建模。
2022-10-08 cs.CL
Empirical Evaluation of Sequence-to-Sequence Models for Word Discovery in Low-resource Settings
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)（格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）；Institute of Informatics, Federal University of Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）
自Bahdanau等人[1]首次引入神经机器翻译的注意力以来，大多数序列到序列模型都使用了注意力机制[2，3，4]。虽然它们产生的软对齐矩阵可以被解释为目标语言和源语言之间的对齐，但我们缺乏量化其质量的指标，不清楚哪种方法产生最佳对齐。本文提出了一个经验评估的3个主要的序列到序列模型（CNN，RNN和基于Transformer-based）的单词发现从未分割的音素序列。该任务包括将源语言中的单词序列与目标语言中的音素序列进行比对，并从中推断目标侧的分词[5]。评估分词质量可以被看作是对训练期间产生的软对齐矩阵的外部评估。我们在Mboshi和英语语言（都与法语对齐）的低资源场景中的实验表明，RNN在这项任务中的表现出人意料地优于CNN和Transformer。我们的研究结果证实了通过使用平均归一化熵（ANE）的内在评价对齐质量。最后，我们通过使用对齐熵置信度度量来改进我们的最佳单词发现模型，该度量在集合中给定对齐对的所有出现上累积ANE。
2019-09-11 cs.CL
