Entropy-Based Decoding for Retrieval-Augmented Large Language Models
The Chinese University of Hong Kong(香港中文大学);Imperial College London(帝国理工学院);University College London(伦敦大学学院);Tsinghua University(清华大学)
针对检索增强 LLM 易受内外部噪声干扰的问题,提出免训练的基于熵的文档并行集成与对比解码方法,提升可靠外部信息利用,并在开放域问答上验证优越性。
2025-02-17 cs.CL
EntropyCache: Decoded Token Entropy Guided KV Caching for Diffusion Language Models
Seoul National University(首尔国立大学)
EntropyCache利用解码令牌熵指导KV缓存,通过最大熵信号决定是否重新计算,实现高效缓存更新,提升推理速度和效率。
2026-11-05 cs.CL
EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
针对固定温度难以兼顾生成质量与多样性的问题,本文提出基于熵动态调整温度的EDT采样方法,并在4个生成基准上验证其显著优于现有策略。
2024-04-03 cs.CL
LangGPS: Language Separability Guided Data Pre-Selection for Joint Multilingual Instruction Tuning
针对多语言指令微调中现有数据选择方法忽略语言内在结构的问题,本文提出轻量两阶段预选择框架LangGPS,基于语言可分性筛选数据,可有效提升多语言训练效果与泛化性。
2025-11-13 cs.CL
Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models
Japan Advanced Institute of Science and Technology(日本先进科学技术学院)
研究大语言模型中对比解码的层选择问题,提出Attention-JSD等三种基于注意力引导的策略,实验表明这些策略在TruthfulQA上优于原始DoLa,在多答案指标上有显著提升,凸显注意力分布在解决事实性知识上的优势。
2026-07-28 cs.AI cs.CL
Entropy-Based Block Pruning for Efficient Large Language Models
Salesforce AI Research(Salesforce AI研究院)
本文提出基于熵的块剪枝策略,利用隐藏表示熵衡量信息丰富度,在保持大语言模型准确性的同时有效减小模型规模并优于余弦相似度方法。
2025-04-04 cs.AI cs.CL
VEPO: Variable Entropy Policy Optimization for Low-Resource Language Foundation Models
本文提出VEPO,通过强化学习可验证奖励整合确定性结构约束,提升低资源语言的分词效率和翻译质量。
2026-03-19 cs.AI cs.CL
Selection Collider Bias in Large Language Models
在本文中,我们激励的因果机制背后的样本选择诱导碰撞机偏差(选择碰撞机偏差),可以导致大语言模型(LLM)学习无条件的实体之间的无条件依赖,在现实世界中是无条件独立的。我们表明,选择碰撞机偏见可以成为放大在指定的学习任务,虽然难以克服,我们描述了一种方法来利用由此产生的虚假相关性,以确定当一个模型可能是不确定的预测。我们展示了一个不确定性度量,该度量将人类在任务中的不确定性与Winogender Schemas评估集的扩展版本上的性别代词指定不足相匹配,并且我们提供了一个在线演示,用户可以将我们的不确定性度量应用于他们自己的文本和模型。
2022-09-13 cs.AI cs.CL
Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages
Department of Electrical & Computer Engineering(电气与计算机工程系)
本文提出一种针对扩散语言模型的强化学习方法,通过熵引导选择步骤和分步优势估计,实现无偏策略梯度,提升生成效果和计算效率。
2026-11-10 cs.AI cs.CL cs.LG
Selection Bias Induced Spurious Correlations in Large Language Models
Independent Researcher
在这项工作中,我们展示了大语言模型(LLM)如何学习由于数据集选择偏差而导致的无条件独立变量之间的统计依赖关系。为了证明这种效果,我们开发了一个掩蔽的性别任务,可以应用于BERT家族模型,以揭示预测的性别代词与各种看似性别中立的变量(如日期和位置)之间的虚假相关性,在预训练(未经修改)的BERT和RoBERTa大型模型上。最后,我们提供了一个在线演示,邀请读者进一步实验。
2022-07-18 cs.AI cs.CL
Entropy, Thermodynamics and the Geometrization of the Language Model
本文用集合论、分析、泛函分析和拓扑为语言模型建立严格数学框架,定义熵函数以解释LLM需数十亿参数的原因并提出AGI猜想,进而引入配分函数、内能、自由能及玻尔兹曼流形,实现语言模型的热力学解释与几何化。
2024-07-30 cond-mat.stat-mech cs.CL hep-th
Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
Qualcomm AI Research(高通人工智能研究院);Stanford University(斯坦福大学)
本研究提出基于信息性与多样性准则的多层隐藏状态选择框架,结合熵与CKA分析,在EAGLE3式推测解码中优于固定基线选择,为相关应用奠定基础。
2026-10-12 cs.AI cs.CL
Entropy-Based Measurement of Value Drift and Alignment Work in Large Language Models
Aeris Space Laboratory(Aeris空间实验室);Capitol Technology University(国会理工大学)
本文提出基于熵的框架,用于测量大型语言模型中的价值漂移和对齐工作,通过五种行为分类法和熵动态分析,实现对模型伦理熵的实时监控与警报。
2025-11-19 cs.AI cs.CL cs.LG
Know Your Limits: Entropy Estimation Modeling for Compression and Generalization
IBM(国际商业机器公司)
针对语言模型准确度和压缩率受语言固有信息熵限制、现有模型难精确估计熵的问题,提出编码器增强的因果解码器架构,提升训练效率与压缩率,实现逐token熵估计并验证其能增强模型泛化能力。
2025-11-13 cs.AI cs.CL cs.IT
Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities
Aalto University(阿尔托大学);University of Oxford(牛津大学)
提出核语言熵(KLE)方法,通过半正定单位迹核编码语义相似度并利用von Neumann熵量化大语言模型的不确定性,相比语义熵考虑了成对语义依赖,在多个数据集和架构上提升了不确定性量化性能。
2024-05-30 cs.AI cs.CL cs.LG
EntropyRank: Unsupervised Keyphrase Extraction via Side-Information Optimization for Language Model-based Text Compression
Reichman University(赖希曼大学);Microsoft(微软)
提出无监督方法EntropyRank,利用预训练语言模型和香农信息最大化提取高条件熵短语作为侧信息,实现文本压缩并达到与常用方法相当的基准性能。
2023-08-29 cs.CL cs.IT cs.LG
Entropy2Vec: Crosslingual Language Modeling Entropy as End-to-End Learnable Language Representations
MBZUAI(马克斯·普朗克人工智能研究所);Universitas Indonesia(印度尼西亚大学);NTU(南洋理工大学);Capital One(Capital One公司);Cohere(Cohere公司)
本研究提出Entropy2Vec框架,利用单语语言模型的熵推导跨语言语言表示,生成的密集非稀疏嵌入适配不同时间范围且无缺失值,经实证符合类型学类别且在下游多语言NLP任务中表现具竞争力。
2025-09-05 cs.CL
The Stable Entropy Hypothesis and Entropy-Aware Decoding: An Analysis and Algorithm for Robust Natural Language Generation
Mila(米拉研究所);McGill University(麦吉尔大学);DeepMind(深度思维);Meta AI
最先进的语言生成模型在应用于开放式生成问题(如文本补全、故事生成或对话建模)时可能会退化。这种退化通常表现为不连贯、缺乏词汇多样性、自我重复或从上下文中复制。在本文中,我们假设“类人”代通常位于一个狭窄的和几乎平坦的熵带,这些熵边界的违反与退化行为。我们的实验表明,这种稳定的窄熵区存在于模型,任务和域中,并证实了这一假设,即违反这一区域与退化相关。然后,我们使用这种洞察力,提出了一个熵感知解码算法,尊重这些熵的界限,从而减少退化,更多的上下文,和“类人”的语言生成在开放式文本生成设置。
2023-02-14 cs.CL
Mathematically Modeling the Lexicon Entropy of Emergent Language
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
我们将一个随机过程FiLex作为基于深度学习的涌现语言系统中词汇熵的数学模型。用数学方法定义一个模型,可以生成清晰的预测,这些预测可以直接和果断地进行测试。我们在四个不同的环境中进行了经验验证,FiLex预测了超参数(训练步骤,词典大小,学习率,推出缓冲区大小和Gumbel-Softmax温度)之间的正确相关性,并在20个环境超参数组合中的20个中预测了新兴语言的熵。此外,我们的实验表明,不同的环境显示出它们的超参数和熵之间的不同关系,这表明需要一个模型,可以在精确的粒度级别上进行定义明确的预测。
2023-03-24 cs.CL
The word entropy of natural languages
University of Tübingen(蒂宾根大学);University of Cambridge(剑桥大学)
与单词相关的平均不确定性是定量和计算语言学核心的信息论概念。熵已经被确立为这种平均不确定性的度量-也称为平均信息含量。我们在这里使用21种语言的平行文本来建立单词熵收敛到稳定值的标记数量。然后,这些收敛点用于从大规模并行语料库中选择文本,并估计1000多种语言的词熵。我们的研究结果有助于建立定量的语言比较,了解多语言翻译系统的性能,并规范语义相似性措施。
2016-06-22 cs.CL
FACE: Evaluating Natural Language Generation with Fourier Analysis of Cross-Entropy
Nanyang Technological University(南洋理工大学);Heriot-Watt University(赫瑞-瓦特大学);Southern University of Science and Technology(南方科技大学);Genify
本文提出FACE指标,基于语言交叉熵的傅里叶分析来衡量模型生成与人类语言的相似度,实验证明其能有效识别模型差距、随规模扩展且与人类判断高度相关。
2023-10-25 cs.CL
Contrastive Entropy: A new evaluation metric for unnormalized language models
University of Florida(佛罗里达大学)
复杂度(每个单词)是评估语言模型的最广泛使用的度量。尽管如此,对这一指标的批评并不缺乏。这些批评大多集中在缺乏相关性的外部指标,如词出错率(WER),依赖于共享词汇的模型比较和不适合非规范化的语言模型评估。在本文中,我们解决了最后一个问题,并提出了一个新的判别熵为基础的内在度量,适用于传统的词级模型和非规范化的语言模型,如句子级模型。我们还提出了一个有区别地训练句子级解释的递归神经网络为基础的语言模型(RNN)作为一个例子,非规范化的句子级模型。我们证明,对于词级模型,对比熵表现出很强的相关性与困惑。我们还观察到,当在较低失真水平下训练时,句子级RNN在这个新指标上的表现大大优于传统RNN。
2016-03-31 cs.CL
Comprehensive Benchmarking of Entropy and Margin Based Scoring Metrics for Data Selection
Alexa AI (Amazon)(亚马逊Alexa人工智能部门)
本文针对低资源语言工业场景,提出用熵和EL2N分数评估样本难度与有用性,从弱信号标注数据中筛选高质量训练集,实验表明相比随机选择可显著降低语义错误率和领域分类错误率。
2023-11-27 cs.CL cs.LG
Entropy-based Pruning of Backoff Language Models
提出了一种基于相对熵的N-gram退避语言模型参数剪枝准则。结果表明,相对熵修剪一个单一的N-gram可以计算出准确和有效的退避模型。相对熵度量可以表示为训练集困惑度的相对变化。这导致了一个简单的修剪标准,其中所有的N元语法,改变困惑小于一个阈值,从模型中删除。实验表明,生产质量的Hub 4 LM可以减少到26%的原始大小,而不会增加识别错误。我们还比较了Seymore和Rosenfeld(1996)的启发式剪枝准则的方法,并表明他们的方法可以被解释为相对熵准则的近似。实验上,这两种方法都选择了相似的N-gram集(约85%重叠),精确的相对熵标准提供了更好的性能。
2000-06-11 cs.CL
Budget-Xfer: Budget-Constrained Source Language Selection for Cross-Lingual Transfer to African Languages
Carnegie Mellon University Africa(卡内基梅隆大学非洲校区);North-West University(西北大学)
本文提出Budget-Xfer框架,通过预算约束资源分配问题优化多源跨语言迁移,验证多源迁移在命名实体识别和情感分析中的优越性,揭示嵌入相似性在不同任务中的表现差异。
2026-03-29 cs.CL
BAS: An Answer Selection Method Using BERT Language Model
Faculty of Computer Engineering, University of Isfahan(伊斯法罕大学计算机工程学院)
近年来,问答系统已经变得越来越流行并被用户广泛使用。尽管这些系统越来越受欢迎,但它们的性能甚至不足以处理文本数据,需要进一步研究。这些系统由几个部分组成,其中之一是答案选择组件。该组件从候选答案列表中检测最相关的答案。以往的研究方法都试图提供一个独立的模型来承担答案选择任务。一个独立的模型不能理解问题和答案的句法和语义特征与一个小的训练数据集。为了填补这一空白,语言模型可以用于实现答案选择部分。这个动作使模型能够更好地理解语言,以便比以前的作品更好地理解问题和答案。在本研究中,我们将提出“BAS”(BERT答案选择),它使用BERT语言模型来理解语言。在TrecQA Raw、TrecQA Clean和WikiQA数据集上应用该模型的实证结果表明,使用鲁棒的语言模型(如BERT)可以提高性能。使用更鲁棒的分类器还增强了语言模型对答案选择组件的影响。结果表明,语言理解是自然语言处理任务,如答案选择的基本要求。
2021-10-14 cs.CL
Systematic Generalization in Language Models Scales with Information Entropy
Language Technology Group University of Oslo(奥斯陆大学语言技术组)
本文提出用训练数据成分分布的熵衡量系统性泛化难度,并证明语言模型性能随熵扩展,高熵下无需内置先验也能成功,低熵成功可作为评估进展目标。
2025-05-27 cs.CL
Zero-shot cross-lingual transfer language selection using linguistic similarity
Kitami Institute of Technology(北见工业大学)
我们研究了不同的自然语言处理任务,特别是情感分析,命名实体识别和依存句法分析的转换语言的选择。为了选择最佳的转换语言,我们建议利用不同的语言相似性度量来衡量语言之间的距离,并根据这些信息而不是依靠直觉来选择转换语言。我们证明,语言相似性与跨语言迁移性能的所有建议的任务。我们还表明,有一个统计上的显着差异,在选择最佳的语言作为转移源,而不是英语。这使我们能够选择一种更合适的传输语言,可以用来更好地利用高资源语言的知识,以提高缺乏数据的语言应用程序的性能。在这项研究中,我们使用了来自三个语系的八种不同语言的数据集。
2023-01-31 cs.CL
Character Entropy in Modern and Historical Texts: Comparison Metrics for an Undeciphered Manuscript
Yale University(耶鲁大学)
本文概述了三个语料库的创建,用于对伏尼契手稿进行多语言比较和分析:一个由柯里尔语言、抄写手和转录系统划分的伏尼契文本语料库,一个由维基百科汇编的294种语言样本组成的语料库,以及一个由8种语言的18个转录历史文本组成的语料库。耶鲁大学伏尼契工作组将在以后的工作中使用这些语料库。我们证明了这些语料库的效用研究伏尼契文字和语言的特点,与伏尼契文的条件字符熵的分析。我们讨论了字符熵和语言之间的相互作用,脚本大小和类型,字母组合,抄写惯例和缩写,位置字符变体,和二元组频率。这种分析的特点之间的相互作用的脚本组成,字符大小和可预测性。我们发现,大量的操纵的组合物是不足以对齐条件熵水平与自然语言。伏尼契文的这种不同寻常的可预测性并不归因于特定的文字或转录系统、基础语言或替代密码。伏尼契文与我们语料库中的所有比较文本都不同,因为字符的位置在单词中受到高度限制,这可能表明与基础语言的音位区别已经消失。
2021-05-18 cs.CL
Parent Oriented Teacher Selection Causes Language Diversity
Bogazici University(波加齐奇大学)
语言多样性出现的进化模型的开发。我们研究了两个现实生活中的观察结果,即人们更喜欢与他们沟通良好的人,以及人们与身体上相互接近的人互动。显然,这些群体与整个人口相比相对较小。我们限制从家长周围的小团体中选择老师,这些小团体被称为模仿组。然后,孩子从父母的模仿组中选择一位老师来学习语言。因此,有一些亚社区发展了自己的语言。在亚社区的理解被发现是高的。语言的数量与模仿的相对大小有关,这是由幂律决定的。
2017-05-20 cs.CL
How Do Language Models Represent and Use Phonological Information for Allomorph Selection?
Seoul National University(首尔大学)
该研究探究语言模型对音系信息的表征与使用,以英语不定冠词a/an为例揭示其通过线性方向编码音系条件并驱动选择,还验证类规则泛化的延伸性,为语素变体选择提供机理解释。
2026-09-07 cs.CL
DonorRank: Donor Language Selection for Low-Resource Cross-Lingual Speech Recognition
University of Notre Dame(圣母大学)
该研究提出DonorRank学习排序框架,用于低资源跨语言语音识别的源语言选择,在两大语族语料库上验证其能准确预测源语言排名,提升选择效果,还可分析源语言选择并识别实用迁移模式。
2026-11-10 cs.CL
RunyaNER: Auxiliary Language Selection for Runyankore NER
University of Cape Town(开普敦大学)
针对低资源语言Runyankore,我们构建了首个公开NER基准RunyaNER,并系统研究辅助语言选择策略,发现基于嵌入的度量比传统语言特征更能预测迁移性能,为多语言迁移提供实用指导。
2026-09-30 cs.CL
Neural Networks Classifier for Data Selection in Statistical Machine Translation
PRHLT Research Center(PRHLT研究中心);Universitat Politècnica de València(瓦伦西亚理工大学)
本文将统计机器翻译中的数据选择问题作为一个分类问题来解决。新的数据选择方法是基于神经网络分类器。我们提出了一种新的方法描述和实证结果,证明我们的数据选择方法提供了更好的翻译质量,与最先进的方法(即,交叉熵)。此外,报告的实证结果在不同的语言对之间是一致的。
2016-12-21 cs.CL
Entropy-UID: A Method for Optimizing Information Density
本文提出 Entropy-UID token 选择方法,通过联合最小化熵与惊异值落实 UID 原则,在多个基准上相较 GPT-2 和启发式方法降低信息波动并改善生成平衡性。
2025-02-20 cs.AI cs.CL
Arabic Language Text Classification Using Dependency Syntax-Based Feature Selection
我们研究了阿拉伯语文本分类的性能结合各种技术:(a)TFIDF与依赖语法,特征选择和加权;(b)类关联规则与支持向量机,分类。阿拉伯语文本有两种形式:词根化和词干浅化。我们得到的结果表明,轻干文本导致更好的性能比routifed文本,类关联规则更适合于小的依赖语法约束获得的特征集,最后,支持向量机更适合于大的特征集的基础上形态特征选择标准。
2014-10-17 cs.CL
Cluster Expansions and Iterative Scaling for Maximum Entropy Language Models
最大熵方法最近已成功地引入到各种自然语言应用中。然而,在这些应用中的每一个中,最大熵方法的功率是以计算要求的相当大的增加为代价来实现的。在本文中,我们提出了一种技术,密切相关的经典集群扩展从统计力学,减少计算条件最大熵语言模型所需的计算需求。
1995-09-09 cmp-lg cs.CL
LODESTAR: Robust Entropy-Based Answer Selection in Retrieval-Augmented Generation for Question Answering -- Directing Frozen-LLM Entropy with a Reinforcement-Learned Prompt Polarizer under Misleading Passages
LODESTAR是首个通过强化学习训练偏振器、依据第三方冻结型LLM的不确定性评分文本干预的方法,可提升检索增强问答的F1值等指标,减少模型读取误导性段落的概率。
2026-08-21 cs.CL cs.IR cs.LG
Quantitative Entropy Study of Language Complexity
Central China Normal University(华中师范大学);Wuhan University of Technology(武汉理工大学);University of Bergen(卑尔根大学)
我们研究了中文和英文文本的熵,中文文本基于字符,两种语言基于词。在语言和辩论对手的个人风格之间存在着显著的差异。熵分析的方向是低熵,即复杂度较高。这样的文本分析将适用于不同风格的个人,不同年龄的单个个人,以及人口的不同群体。
2017-01-15 cs.CL physics.soc-ph
Entropy analysis of word-length series of natural language texts: Effects of text language and genre
University of Athens(雅典大学);NCSR Demokritos(德谟克利特国家科学研究中心);Institute for Language and Speech Processing(语言与言语处理研究所)
我们估计了自然语言文本在字长表示中的$n$ -gram熵,发现这些熵对文本语言和体裁敏感。我们将这种敏感性归因于单个单词长度的概率分布的变化,并强调单词长度在5到10之间的概率的均匀性的关键作用。此外,与混洗数据的熵的比较揭示了估计的$n$ -gram熵的字长相关性的影响。
2014-01-17 cs.CL physics.data-an
Structural-Entropy-Based Sample Selection for Efficient and Effective Learning
Tsinghua University(清华大学);China Telecom Wanwei Information Technology Co., Ltd(中国电信万维信息技术有限公司);Microsoft Research(微软研究院);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对现有样本选择方法忽略全局信息的问题,提出基于结构熵的样本选择方法SES,结合全局结构熵与局部训练难度衡量样本重要性,并通过蓝噪声采样选出代表性样本,在监督、主动和持续学习场景中验证了其有效性。
2025-03-03 cs.AI cs.CL cs.CV
Entropy Minimization In Emergent Languages
Facebook AI Research(脸书人工智能研究院);Cognitive Machine Learning (ENS - EHESS - PSL - CNRS - INRIA)(认知机器学习实验室(巴黎高等师范学院-社会科学高等学院-巴黎文理研究大学-法国国家科学研究中心-法国国家信息与自动化研究所));Catalan Institute for Research and Advanced Studies(加泰罗尼亚研究与高级研究所)
当神经代理被联合训练来解决需要通过离散通道进行通信的任务时,人们对研究这些语言的兴趣越来越大。我们在这里调查的信息理论的复杂性,这样的语言,专注于基本的两个代理,一个交换设置。我们发现,在共同的训练程序,新兴的语言受到熵最小化的压力,也已被检测到在人类语言,从而通信代理的输入和消息之间的互信息被最小化,在所提供的范围内,需要成功的沟通。也就是说,紧急语言(几乎)和它们被开发的任务一样简单。这种压力随着我们增加沟通渠道的离散性而放大。此外,我们观察到,更强的离散通道驱动的熵最小化导致表示具有更强的鲁棒性过拟合和对抗攻击。最后,我们讨论了我们的研究结果的影响,自然和人工通信系统的研究。
2020-06-26 cs.CL cs.LG
Investigating the Impact of Data Selection Strategies on Language Model Performance
McGill University(麦吉尔大学)
本文通过随机选择与分布对齐方法的对比实验,考察不同数据选择策略及n-gram、嵌入神经特征对语言模型下游性能和目标分布对齐的影响。
2025-01-07 cs.CL cs.LG
Maximum Entropy Modeling Toolkit
最大熵建模工具包支持最大熵框架中统计语言模型的参数估计和预测。最大熵框架提供了用于获得唯一条件分布p*(y)的构造性方法|x),其满足一组线性约束并最大化条件熵H(p| f)关于经验分布f(x)。最大熵分布p*(y| x)在指数模型类中也具有唯一的参数表示,如m(y| x)= r(y| x)/Z(x)其中分子m(y| x)= prod_i alpha_i^g_i(x,y)是指数权重的乘积,其中alpha_i = exp(lambda_i),并且分母Z(x)= sum_y r(y| x)必须满足概率公理。本手册介绍了如何使用最大熵建模工具包(MEMT)为离散域构建最大熵模型。首先,我们总结了使用工具包实现语言模型所需的步骤。接下来,我们将讨论工具包提供的可执行文件,并解释工具包所需的文件格式。最后,我们回顾了最大熵框架,并将其应用于统计语言建模问题。关键词:统计语言模型,最大熵,指数模型,改进的迭代缩放,马尔可夫模型,触发器。
1996-12-31 cmp-lg cs.CL
Entropy-aware Masking for Masked Language Modeling
AImotion Bavaria(AImotion巴伐利亚);Technische Hochschule Ingolstadt(英戈尔施塔特技术大学)
提出基于熵分布的掩码策略,通过模型预测熵识别信息量高的token进行掩码,并引入自掩码方法提升训练效率,在GLUE上平均提升5%。
2026-05-27 cs.AI cs.CL
Transfer Language Selection for Zero-Shot Cross-Lingual Abusive Language Detection
我们研究了自动辱骂性语言检测中迁移语言的选择问题。我们没有为每种语言准备数据集,而是展示了跨语言迁移学习对zero-shot滥用语言检测的有效性。通过这种方式,我们可以使用来自高资源语言的现有数据来为低资源语言构建更好的检测系统。我们的数据集来自三个语系的七种不同语言。我们使用几种语言相似性度量来测量语言之间的距离,特别是通过量化世界语言结构地图集。我们发现,语言相似性和分类器性能之间存在相关性。这一发现使我们能够选择一个最佳的迁移语言的zero shot滥用语言检测。
2022-06-02 cs.AI cs.CL cs.LG
Calibration, Entropy Rates, and Memory in Language Models
Princeton University(普林斯顿大学);Google AI Princeton(Google AI 普林斯顿);University of Washington(华盛顿大学)
构建准确的语言模型来捕获有意义的长期依赖关系是自然语言处理的核心挑战。为此,我们提出了一种基于校准的方法来测量生成序列模型和真实分布之间的长期差异,并使用这些差异来改进模型。经验上,我们表明,国家的最先进的语言模型,包括LSTM和Transformers,是\emph{miscalibrated}:其代的熵率漂移显着向上随时间的推移。然后,我们提供可证明的方法来缓解这种现象。此外,我们还展示了这种基于校准的方法如何用于测量语言模型用于预测的内存量。
2019-06-11 cs.CL cs.LG stat.ML
Evaluating Parsing Schemes with Entropy Indicators
本文介绍了一个客观的度量分析方案。它基于香农的字母序列的原始工作,可以扩展到词性标记序列。它表明,这种正规语言是一个不充分的自然语言模型,但表示使用的语言模型略高的乔姆斯基层次。我们展示了如何熵的解析和未解析的句子可以测量。如果被解析的句子的熵较低,这表明语言的一些结构已经被捕获。我们应用这个熵指标来支持一个特定的解析方案,影响自上而下的分割。这种方法可以用于将解析任务分解为计算上更易处理的子任务。它还有助于提取谓词/论元结构。
1997-09-22 cmp-lg cs.CL
Using Focal Loss to Fight Shallow Heuristics: An Empirical Analysis of Modulated Cross-Entropy in Natural Language Inference
Swiss Federal Institute of Technology Lausanne (EPFL)(洛桑联邦理工学院)
没有完美的数据集。在一些数据集中,深度神经网络发现了底层的学习算法,这些算法允许它们在学习过程中走捷径,从而导致泛化能力差。而不是使用标准的交叉熵,我们探讨是否调制版本的交叉熵称为焦点损失可以约束模型,以便不使用统计学和提高泛化性能。我们在自然语言推理中的实验表明,焦点丢失对学习过程具有正则化影响,提高了分布外数据的准确性,但略微降低了分布内数据的性能。尽管改进的分布外的性能,我们证明了缺点的焦点损失和它的劣势相比,如无偏的焦点损失和自去偏合奏的方法的性能。
2022-11-23 cs.CL cs.LG
Weighted Cross-entropy for Low-Resource Languages in Multilingual Speech Recognition
University of Vigo(维戈大学);DFKI GmbH(德国人工智能研究中心)
本文提出在持续多语言学习中应用加权交叉熵和数据增强,将低资源语言集成到预训练Whisper多语言ASR模型中,使低资源语言WER降低6.69%,且不损害高资源语言性能。
2024-09-25 cs.CL cs.SD eess.AS
On the Entropy of Written Spanish
本文报告的结果熵的西班牙语。它们基于对n字符号(n = 1至18)、三元组、二元组和字符的自然语言的分析。在这项工作中获得的结果是基于12个不同的西班牙语文学作品的分析,以及由西班牙新闻社EFE提供的279917字的新闻文件。熵值的计算采用计算机处理和概率大数定律的直接方法。一阶模型软件源产生的人工西班牙语的三个样本也进行了分析,并与自然西班牙语。
2009-01-30 cs.CL cs.IT math.IT
Complexity measurement of natural and artificial languages
Universidad Simón Bolívar(西蒙·玻利瓦尔大学);Universidad Nacional Autónoma de México(墨西哥国立自治大学)
我们比较了熵的文本写在自然语言(英语,西班牙语)和人工语言(计算机软件)的基础上的一个简单的表达式的熵作为一个功能的消息长度和特定的词的多样性。用人工语言编写的代码文本比用自然语言表达的类似长度的文本显示出更高的熵。西班牙语文本比英语文本表现出更多的象征多样性。结果表明,基于复杂性度量的算法区分人工语言和自然语言,基于复杂性度量的文本分析可以揭示其性质的重要方面。我们提出了具体的表达式来检查熵相关方面的测试和估计的熵值,出现,自组织和复杂性的基础上,特定的多样性和消息长度。
2013-11-22 cs.CL cs.IT math.IT
Cross-Entropy Attacks to Language Models via Rare Event Simulation
University of Technology Sydney(悉尼科技大学);Shandong University(山东大学)
本文提出基于交叉熵优化的文本对抗攻击方法CEA,通过稀有事件模拟解决黑盒攻击中的优化与语义保持问题,在文档分类和翻译任务上验证了其攻击性能、不可感知性和句子质量的优越性。
2025-01-21 cs.CL cs.CR cs.LG