Ontological Instability and Statistical Amplification: The Paradox of "Humanizing" LLM-Generated Text
University of Bucharest(布加勒斯特大学)
本研究揭示AI文本检测器依赖统计特征而非语义,导致“人性化”改写反而易被识别,且对正式人类文本误报率高,结构抽象未能提升鲁棒性。
2026-10-05 cs.CL
GPT-who: An Information Density-based Machine-Generated Text Detector
The Pennsylvania State University(宾夕法尼亚州立大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文提出受心理语言学启发、基于统一信息密度特征的领域无关统计检测器GPT-who,用于识别LLM生成文本,并在4个基准上显著优于现有检测器。
2024-04-03 cs.CL
Infogen: Generating Complex Statistical Infographics from Documents
Indian Institute of Technology Patna(印度帕纳大学理工学院);Adobe Research(Adobe研究)
本文提出从文本密集文档生成含多子图的复杂统计信息图任务,构建Infodat基准,并通过两阶段Infogen框架先生成元数据再转代码,取得优于开源与闭源LLM的效果。
2025-07-26 cs.CL
Training-free LLM-generated Text Detection by Mining Token Probability Sequences
Zhejiang University(浙江大学);Zhejiang Gongshang University(浙江工商大学);Georgia Institute of Technology(佐治亚理工学院);Shanghai Jiao Tong University(上海交通大学)
针对现有无需训练的LLM生成文本检测方法忽略局部特征的问题,本研究提出融合局部与全局统计的Lastde检测器,首次引入时间序列分析捕捉词元概率序列动态,还推出实时版本Lastde++,在多场景实验中达SOTA且抗释义攻击鲁棒性更强。
2024-10-08 cs.CL
Statistical Analysis of Sentence Structures through ASCII, Lexical Alignment and PCA
New Jersey Institute of Technology(新泽西理工学院)
本研究通过ASCII、词性对齐和PCA分析句子结构的平衡,提出一种资源高效的统计方法,用于评估文本平衡并补充传统语法工具。
2025-12-11 cs.CL
The Statistical Signature of LLMs
Department of Computer Science, Sapienza University of Rome(计算机科学系,罗马萨皮恩扎大学);Department of Computer, Control and Management Engineering, Sapienza University of Rome(计算机、控制与管理工程系,罗马萨皮恩扎大学);Department of Legal, Social, and Educational Sciences, Tuscia University(法律、社会与教育科学系,图斯西亚大学)
本研究通过无损压缩分析揭示大语言模型生成文本的统计特征,发现其在受控和中介情境中比人类文本更具规律性和可压缩性,但小尺度下这种差异会减弱。
2026-02-20 cs.CL cs.CY physics.soc-ph
Optimal Estimation of Watermark Proportions in Hybrid AI-Human Texts
University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学)
本文针对混合AI-人类文本的水印比例估计问题,基于核心统计量构建混合模型,提出高效估计量,证明其达到极小极大下界,在合成数据与开源模型生成的混合文本上均实现高估计精度。
2026-09-01 cs.CL cs.LG stat.ME
Counting Documents Is Not Counting Text: Unit Bias in Web-PDF Corpus Statistics
Common Crawl Foundation(Common Crawl基金会)
该研究指出网络PDF语料库统计存在单位偏差,其以文档为单位的统计与标记数差异显著,Common Crawl的截断上限已造成大量文本丢失,建议同时用文档和标记单位报告语料库统计数据。
2026-09-22 cs.AI cs.CL
Triospect: A Three-Dimensional Framework for Robust Statistical AI-Generated Text Detection Against Diverse Attacks
Zhejiang University(浙江大学);Zhejiang University of Technology(浙江工业大学);Westlake University(西湖大学);Shanghai Polytechnic University(上海第二工业大学);University of Science and Technology of China(中国科学技术大学)
提出Triospect三维检测框架,通过分析文本的内容(核心思想)和表达(风格元素)来增强对17种攻击的鲁棒性,在Humanize-16K和RAID数据集上分别提升AUROC 22.3%和9.1%。
2026-07-01 cs.AI cs.CL
Attention-Guided Feature Fusion (AGFF) Model for Integrating Statistical and Semantic Features in News Text Classification
AI lab at AriooBarzan Engineering Team(AriooBarzan工程团队人工智能实验室);Shiraz, Iran(伊朗谢里兹)
本文提出AGFF模型,通过融合统计与语义特征提升新闻文本分类精度,验证了多类型特征整合的有效性。
2025-11-21 cs.AI cs.CL
Text as Statistical Mechanics Object
Escuela Politécnica Superior, Universidad Autónoma de Madrid(马德里自治大学高等理工学院);UNED(西班牙国立远程教育大学);The Abdus Salam International Center for Theoretical Physics(阿卜杜斯·萨拉姆国际理论物理中心)
在这篇文章中,我们提出了一个基于统计力学方法的人类书面文本模型,通过推导出的势能为不同部分的文本使用大型文本语料库。我们已经检查了结果的数值,发现比热参数有效地分离封闭类的文字中使用的特定条款。
2008-10-19 cs.CL physics.soc-ph
A Statistical Exploration of Text Partition Into Constituents: The Case of the Priestly Source in the Books of Genesis and Exodus
本研究提出一套文本统计探索流水线,通过特征检测、假设检验和重要性量化验证文本假设划分,并将其应用于《圣经》前两卷,验证了祭司与非祭司文本成分间的统计显著文体差异。
2023-06-10 cs.CL
Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers
University of Ottawa(渥太华大学);American University(美利坚大学)
计算机生成文本的检测是一个重要性迅速增加的领域,因为新生的生成模型允许有效创建引人注目的类人文本,这些文本可能被滥用于垃圾邮件,虚假信息,网络钓鱼或在线影响活动。过去的工作研究了当前最先进模型的检测,但尽管威胁形势不断发展,但对检测方法对对抗攻击的鲁棒性分析很少。为此,我们评估了神经和非神经方法检测计算机生成的文本的能力,对文本对抗攻击的鲁棒性,以及成功的对抗攻击对人类判断文本质量的影响。我们发现,虽然统计特征的表现不如神经特征,但统计特征提供了额外的对抗鲁棒性,可以在集成检测模型中加以利用。在这个过程中,我们发现,以前有效的复杂短语功能检测计算机生成的文本对当代生成模型的预测能力很小,并确定有前途的统计功能,而不是使用。最后,我们开创性地使用$Δ$ MAUVE作为人类判断对抗文本质量的代理度量。
2022-03-02 cs.AI cs.CL cs.LG
Statistical Sign Language Machine Translation: from English written text to American Sign Language Gloss
Research Lab. UTIC, University of Tunis(突尼斯大学UTIC研究实验室)
本论文旨在设计一个从英文文本到美国手语的统计机器翻译。该系统基于Moses工具进行了一些修改,并通过3D化身进行解释合成结果。首先,我们将输入的文本翻译为gloss,这是ASL的一种书面形式。第二,我们将输出传递给WebSign插件来播放标志。这项工作的贡献是使用一对新的语言英语/美国手语和统计机器翻译的基础上字符串匹配感谢加罗距离的改进。
2011-12-01 cs.CL
GLTR: Statistical Detection and Visualization of Generated Text
Harvard SEAS(哈佛大学工程与应用科学学院);IBM Research(IBM研究院);MIT-IBM Watson AI lab(麻省理工学院-IBM沃森人工智能实验室)
随着语言模型的迅速发展,文本生成系统的滥用问题日益严重。这一进展促使开发简单的方法来检测生成的文本,可以使用和解释给非专家。我们开发了GLTR,一个工具,以支持人类在检测文本是否由模型生成。GLTR应用一套基线统计方法,可以检测常见采样方案中的生成伪影。在一项人类受试者研究中,我们表明,GLTR提供的注释方案在没有任何预先训练的情况下,将人类对虚假文本的检测率从54%提高到72%。GLTR是开源和公开部署的,已经被广泛用于检测生成的输出
2019-06-10 cs.AI cs.CL cs.HC
Universal and non-universal text statistics: Clustering coefficient for language identification
在这项工作中,我们分析了91个相对较小的文本在7种不同的语言(西班牙语,英语,法语,德语,土耳其语,俄语,冰岛语)以及随机插入空格的文本的统计特性。尽管大小(约11260个不同的单词),众所周知的普遍统计规律-即齐普夫和赫丹堆的法律-得到证实,并在密切的协议与其他地方获得的结果。我们还构建了每个文本的词共现网络。虽然度分布也是普遍的,但我们注意到,聚类系数的分布强烈依赖于网络的局部结构,可以用来区分语言,以及区分自然语言和随机文本。
2019-12-07 cs.CL physics.soc-ph
Neural and Statistical Methods for Leveraging Meta-information in Machine Translation
eBay Inc.(eBay公司);RWTH Aachen University(亚琛工业大学)
在本文中,我们讨论了不同的方法,使用Meta信息和丰富的上下文,可能伴随着源语言输入,以提高机器翻译质量。我们专注于输入文本的类别信息作为Meta信息,但所提出的方法可以扩展到所有的文本和非文本的Meta信息,可能是可用的输入文本或自动预测使用的文本内容。这项工作的主要新颖之处是使用最先进的神经网络方法来解决这个问题的统计机器翻译(SMT)的框架内。我们观察到,在某些文本类别中,BLEU评分的翻译质量提高高达3%。
2017-08-10 cs.CL
Natural Language Statistical Features of LSTM-generated Texts
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);University of Manchester(曼彻斯特大学);University of Bologna(博洛尼亚大学);University of Milano Bicocca(米兰比可卡大学)
长短期记忆(LSTM)网络最近在处理自然语言生成的几项任务中表现出了卓越的性能,例如图像描述或诗歌创作。然而,只有少数作品分析了LSTM生成的文本,以定量评估这种人工文本在多大程度上类似于人类生成的文本。我们将LSTM生成的语言的统计结构与书面自然语言的统计结构以及由各种阶次的马尔可夫模型产生的统计结构进行了比较。特别是,我们通过评估词频统计,长程相关性和熵测度来表征语言的统计结构。我们的主要发现是,虽然LSTM和马尔可夫生成的文本在词频统计和熵度量方面都可以表现出与真实文本相似的特征,但LSTM文本可以在与自然语言相当的尺度上再现长程相关性。此外,对于LSTM网络,控制生成过程的类似温度的参数显示了一个最佳值--生成的文本最接近真实语言--在所研究的所有不同统计特征中保持一致。
2019-04-15 cs.CL cs.LG
Speech-Driven Text Retrieval: Using Target IR Collections for Statistical Language Model Adaptation in Speech Recognition
语音识别近来已成为现实世界应用的实用技术。针对语音驱动的文本检索,这有助于检索信息的口语查询,我们提出了一种方法来集成语音识别和检索方法。由于用户说的内容与目标集合相关,我们适应的统计语言模型用于语音识别的基础上的目标集合,以提高识别和检索的准确性。使用现有的测试集合结合口述查询的实验表明,我们的方法的有效性。
2002-06-24 cs.CL
A study of Vietnamese readability assessing through semantic and statistical features
University of Information Technology(信息科技大学);Vietnam National University(越南国家大学);International University(国际大学)
本研究提出结合统计与语义特征的方法,利用PhoBERT等语言模型和多种机器学习模型,在多个数据集上显著提升越南语文本可读性分类的准确性。
2024-11-07 cs.CL
Context Selection for Hypothesis and Statistical Evidence Extraction from Full-Text Scientific Articles
Pennsylvania State University(宾夕法尼亚州立大学);Old Dominion University(旧 Dominion 大学)
本文研究了从全文科学文章中提取假设及其支持统计证据的挑战,通过两阶段检索与提取框架,发现针对性上下文选择能提升假设提取效果,但统计证据提取仍面临较大困难。
2026-03-22 cs.AI cs.CL cs.DL
SS4MCT: A Statistical Stemmer for Morphologically Complex Texts
University of Tehran(德黑兰大学)
已经有多种尝试来解决信息检索中的各种变形匹配问题。词干分析是实现这一目标的常用方法。在众多的词干提取技术中,统计词干提取在许多语言中,特别是高度屈折的语言中已经被证明是有效的。在本文中,我们提出了一种方法来寻找词缀在不同的位置的一个词。常用的统计技术在很大程度上依赖于前缀和后缀匹配方面的字符串相似性。由于中缀在形态复杂的文本中常见于不规则/非正式的屈折变化,因此需要找到中缀以进行词干提取。在本文中,我们提出了一种方法,其目的是发现统计的屈折变化规则的基础上最小编辑距离表的词对和规则的可能性在一种语言中。这些规则用于统计词干,并可用于不同的文本挖掘任务。在CLEF 2008和CLEF 2009英语-波斯语CLIR任务上的实验结果表明,该方法在MAP方面明显优于所有基线。
2016-06-20 cs.CL cs.IR
Simplifying the Bible and Wikipedia Using Statistical Machine Translation
Language Technologies Institute(语言技术研究所)
我开始这项工作的希望是生成一个文本合成器(像音乐合成器),可以模仿某些语言风格。报告的大部分内容都集中在使用统计机器翻译(SMT)技术进行文本简化。我将摩西书应用于一个平行的《圣经》语料库(钦定版和易读版)和维基百科文章(普通版和简化版)。我报告了SMT的三个主要组成部分的重要性-短语翻译,语言模型和记录-通过改变它们的权重和比较METEOR和BLEU方面的简化文本的质量。在报告的最后,将提出一些文本的例子“合成”到国王詹姆斯风格。
2017-03-25 cs.CL
Corpus Statistics in Text Classification of Online Data
Dalhousie University(达尔豪斯大学);Moldova Technical University(摩尔多瓦技术大学);University of Ottawa(渥太华大学)
机器学习(ML)从一门精品科学到一门普遍接受的技术的转变,增加了ML研究的复制性和可移植性的重要性。在目前的工作中,我们研究如何语料库特征的文本数据集对应的文本分类结果。我们的工作从一个在线健康相关论坛的子论坛收集的两个数据集。我们的实证结果得到了多类情感分析的应用。
2018-03-16 cs.CL cs.IR cs.LG
Probing the statistical properties of unknown texts: application to the Voynich Manuscript
Institute of Physics of São Carlos, University of São Paulo(圣保罗大学圣保罗卡洛斯物理研究所);Max Planck Institute for the Physics of Complex Systems (MPIPKS)(马克斯·普朗克复杂系统物理研究所);Potsdam Institute for Climate Impact Research (PIK)(波茨坦气候影响研究所)
虽然使用统计物理学方法来分析大型语料库已经有助于揭示文本中的许多模式,但还没有进行全面的调查,调查不同语言和文本之间的统计测量的属性。在这项研究中,我们提出了一个框架,旨在确定文本是否与自然语言兼容,以及哪些语言最接近它,而不需要了解单词的含义。该方法是基于三种类型的统计测量,即获得从一阶统计的文字属性的文本,从复杂的网络表示文本的拓扑结构,并从连续性的概念,其中文本被视为一个时间序列。比较实验用15种不同语言的《新约》和英语和葡萄牙语的不同书籍进行,以量化不同测量对语言和书中讲述的故事的依赖性。发现在区分真实文本与其混洗版本方面具有信息性的指标包括词的重复性、程度和选择性。作为一个例子,我们分析了一个未破译的中世纪手稿被称为伏尼契手稿。我们表明,它主要是兼容的自然语言和不兼容的随机文本。我们还获得候选人的关键词的伏尼契手稿,这可能是有帮助的努力破译it.Because我们能够确定统计测量,更依赖于语法比语义,该框架也可用于文本分析语言相关的应用程序。
2013-03-02 cs.CL physics.data-an physics.soc-ph
Performance Evaluation of Statistical Approaches for Text Independent Speaker Recognition Using Source Feature
DVR College of Engineering & Technology(DVR工程技术学院);JNT University, Hyderabad(贾瓦哈拉尔·尼赫鲁技术大学海得拉巴分校);MG Institute of Technology(MG技术学院)
本文介绍了基于信源特征的与文本无关的说话人识别系统的统计方法的性能评估。线性预测LP残差被用作语音中的激励信息的表示。有声语音的激励中的特定于说话者的信息是使用诸如高斯混合模型GARCH和隐马尔可夫模型HARCH的统计方法来捕获的。在测试阶段训练和识别说话人的过程中,误差降低到接近100%的准确率,这表明语音的激励分量包含说话人特定的信息,并且确实被连续遍历HMM而不是GMM有效地捕获。在不同的混合成分和测试语音持续时间下,对GMM和2状态遍历HMM的说话人识别系统的性能进行了评估。我们展示了说话人识别研究TIMIT数据库的GMM和遍历HMM。
2011-04-25 cs.CL
Domain and Language Independent Feature Extraction for Statistical Text Categorization
本文提出了一个通用的文本分类系统,它使用一个具有代表性的文本语料库来适应处理步骤:特征提取,降维和分类。特征提取通过使用语料库的统计信息和一般语言学知识来减少实际单词形式,从而自动地从语料库中学习特征。在保持特征向量基本信息的前提下,通过线性变换对特征向量进行降维.分类原则是基于多项式的最小最小二乘方法。所描述的系统可以容易地适应新的领域或新的语言。在实际应用中,该系统运行可靠、速度快、过程完全自动化。结果表明,文本分类器成功地工作在文本生成的文件图像分析- DIA和地面真实数据。
1996-07-02 cmp-lg cs.CL
Bi-Text Alignment of Movie Subtitles for Spoken English-Arabic Statistical Machine Translation
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学);School of Computing Sciences, University of East Anglia(东英吉利大学计算科学学院)
我们描述了为获取更好的口语文本英语-阿拉伯语机器翻译资源所做的努力。特别是,我们将电影字幕视为一种独特而丰富的资源,因为一种语言的字幕经常被翻译成其他语言。电影字幕作为一种资源并不新鲜,在以前的研究中已经探索过;然而,在这里,我们创建了一个更大的双文本(迄今为止最大的),我们进一步为其生成更好的质量对齐。给定不同语言的同一部电影的字幕,一个关键问题是如何在片段级别对齐它们。通常,这是使用基于长度的对齐来完成的,但是对于电影字幕,还有时间信息。在这里,我们利用这些信息来开发一种原始算法,该算法优于当前最好的字幕对齐工具subalign。评估结果表明,将我们的bitext添加到IWITORY训练bitext中,可以产生超过两个BLEU点的绝对改进。
2016-09-05 cs.CL
Two halves of a meaningful text are statistically different
Central China Normal University(华中师范大学);Yerevan Physics Institute(埃里温物理研究所)
本文通过比较文本前后两半的词汇与分布特征,发现有意义文本存在稳定的时间不对称性,并将其与叙事驱动的语义组织相联系。
2020-04-09 cs.CL cs.DS physics.soc-ph
Location Name Extraction from Targeted Text Streams using Gazetteer-based Statistical Language Models
Wright State University(莱特州立大学)
从非正式和非结构化的社交媒体数据中提取位置名称需要识别所指边界并划分复合名称。可变性,特别是地名的系统可变性(Carroll,1983),对识别任务提出了挑战。其中一些可变性可以作为统计语言模型中的操作来预期,在这种情况下,这些模型来自OpenStreetMap(OSM)、Geonames和DBpedia等地名录。这允许将Twitter目标文本中观察到的n-gram评估为来自相同位置上下文的合法位置名称变体。我们的地名提取工具(LNEx)使用n-gram统计和位置相关词典处理缩写,并自动过滤和增加地名词典中的地名(处理名称缩写和辅助内容),以帮助检测多词地名的边界,从而在文本中对其进行划界。我们对来自三个目标流的4,500条特定于事件的推文进行了评估,以比较LNEx与依赖于标准语义,语法和/或正字法特征的十种最先进的标签的性能。LNEx将平均F分数提高了33- 179%,优于所有标记器。此外,LNEx能够进行流处理。
2020-04-26 cs.CL
Statistical keyword detection in literary corpora
理解人类语言的复杂性需要对文本中单词的统计分布进行适当的分析。我们考虑通过涉及词的“空间”使用的统计信息来检测文本的相关词并对其进行排名的信息检索问题。香农信息熵被用作自动关键词提取的工具。通过使用查尔斯·达尔文的《物种起源》作为代表性文本样本,我们展示了我们的检测器的性能,并将其与文献中的其他建议进行了比较。随机混洗文本作为校准排名指数的工具受到特别关注。
2008-05-30 cs.CL cs.IR physics.soc-ph
Polish -English Statistical Machine Translation of Medical Texts
Polish Japanese Institute of Information Technology(波兰日本信息技术学院)
这项新的研究探讨了各种训练方法对医学文本的波兰语到英语统计机器翻译系统的影响。OPUS项目的EMEA平行文本语料库的各种元素被用作短语表和语言模型的训练以及翻译系统的开发、调整和测试的基础。BLEU、NIST、METEOR、RIBES和TER指标已被用于评估各种系统和数据准备对翻译结果的影响。我们的实验包括使用POS标记,因子短语模型,层次模型,句法标记和许多不同的对齐方法的系统。我们还对波兰数据进行了深入分析,作为自动数据校正的准备工作,例如真正的大小写和标点符号规范化阶段。
2015-09-29 cs.CL cs.IR stat.ML
Towards Integration of Statistical Hypothesis Tests into Deep Neural Networks
Zurich University of Applied Sciences(苏黎世应用科学大学)
我们报告了我们正在进行的关于一个新的深度架构的工作,该架构与一个统计测试程序协同工作,用于联合训练文本及其标签描述,以实现多标签和多类分类任务。一个统计假设检验方法是用来提取最翔实的话,为每个给定的类。这些词被用作更具有标签意识的文本分类的类描述。直觉是帮助模型专注于信息量更大的单词,而不是更频繁的单词。该模型利用标签描述的使用,除了输入文本,以提高文本分类性能。我们的方法是完全数据驱动的,没有依赖于其他来源的信息比训练数据,并适应于不同的分类问题,通过提供适当的训练数据,而无需主要的超参数调整。我们在几个公开可用的数据集上训练和测试了我们的系统,在这些数据集上,我们成功地提高了一个高利润率数据集的最新技术水平,并在所有其他数据集上获得了有竞争力的结果。
2019-06-15 cs.CL
Statistical Learning for OCR Text Correction
Dalhousie University(达尔豪斯大学);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
光学字符识别(OCR)的准确性对文本分析流水线后续应用的成功至关重要。最近的OCR后处理模型显着提高了OCR生成的文本的质量,但仍然倾向于从有限的观察建议校正候选人,而不足以说明OCR错误的特征。在本文中,我们展示了如何扩大候选建议空间,通过使用外部语料库,并整合OCR特定的功能,在回归的方法来纠正OCR产生的错误。评估结果表明,我们的模型可以纠正61.5%的OCR错误(考虑前1个建议)和71.5%的OCR错误(考虑前3个建议),对于理论校正上限为78%的情况。
2016-11-21 cs.CL cs.CV cs.LG
Provenance Before Prose: Claim-Locked Reporting for Statistical Text Generation
Xidian University(西安电子科技大学)
针对LLM生成统计报告时的数值漂移等问题,提出声明锁定式报告协议,在两类报告任务中提升了可复现性,还降低了token使用量与生成延迟。
2026-09-22 cs.CL
Identifying Quantum Mechanical Statistics in Italian Corpora
Center Leo Apostel for Interdisciplinary Studies(莱奥·阿波斯泰尔跨学科研究中心);Vrije Universiteit Brussel (VUB)(布鲁塞尔自由大学);University of Udine(乌迪内大学)
本研究通过推广理论框架分析意大利语文本,发现词汇遵循玻色-爱因斯坦统计且与麦克斯韦-玻尔兹曼统计存在显著偏差,验证了英语文本模式并解释相关效应,为语言统计行为研究提供新视角。
2025-04-12 cs.CL q-bio.NC quant-ph
Probing the statistical properties of enriched co-occurrence networks
Institute of Mathematics and Computer Science, University of São Paulo(圣保罗大学数学与计算机科学研究所);Escola Politécnica da Universidade de São Paulo (EPUSP)(圣保罗大学工程学院)
本文研究利用词嵌入添加虚拟边的富集词汇共现网络,评估其区分文本意义及反映句法、语义的统计特性,并为不同文本规模和应用选择网络指标提供依据。
2024-12-03 cs.CL cs.SI
Using Statistical and Semantic Models for Multi-Document Summarization
LNM Institute of Information Technology(LNM信息技术学院)
我们报告了一系列的实验,不同的语义模型上的各种统计模型提取文本摘要。虽然统计模型可以更好地捕获文本周围的单词共现和分布,但它们无法检测句子/单词作为一个整体的上下文和意义。语义模型帮助我们更好地洞察句子的上下文。我们展示了如何调整不同模型之间的权重可以帮助我们在各种基准测试中取得显着的结果。在给定的语料库上,进一步学习语义模型中使用的预训练向量可以在性能上提供额外的尖峰。在不同的统计模型之间使用加权技术也进一步改进了我们的结果。对于统计模型,我们使用了TF/IDF,TextRANK,Jaccard/Cosine相似性。对于语义模型,我们使用了基于WordNet的模型,并提出了两个模型的基础上手套向量和Facebook的Infersent。我们在DUC 2004数据集上测试了我们的方法,生成了100字的摘要。我们已经讨论了系统,算法,分析,并提出和测试可能的改进。使用ROUGE评分与其他汇总器进行比较。
2018-05-17 cs.CL
Incorporating Effective Global Information via Adaptive Gate Attention for Text Classification
Ant Financial Services Group(蚂蚁金融服务集团);City University of Hong Kong(香港城市大学);Lingnan University(岭南大学);Hong Kong Polytechnic University(香港理工大学)
主流的文本分类研究集中在仅使用文本实例或引入外部知识(例如,手工制作特征和领域专家知识)。相比之下,一些语料库级的统计特征,如词频和分布,没有得到很好的利用。我们的工作表明,这种简单的统计信息可以有效地提高分类性能和显着的几个基线模型相比。本文提出了一种基于全局信息的自适应门注意模型(AGA+GI),该模型将全局统计特征与潜在语义特征相结合,注意层捕捉句子内部的依赖关系。为了缓解过拟合问题,我们提出了一种新的漏失机制,以提高泛化能力和性能稳定性。我们的实验表明,所提出的方法可以实现更好的准确性比基于CNN和基于RNN的方法没有全局信息的几个基准。
2020-02-22 cs.CL
A statistical test for correspondence of texts to the Zipf-Mandelbrot law
Novosibirsk State Technical University(新西伯利亚国立技术大学);Novosibirsk State University(新西伯利亚国立大学);Nankai University(南开大学);Sobolev Institute of Mathematics(索博列夫数学研究所)
我们分析了一个简单的概率模型的文本对应。该模型假设单词是从无限字典中独立选择的。其概率分布符合齐普夫-曼德尔布罗特定律。我们对文本中不同的词的个数进行顺序统计,得到不同的词的个数的变化过程。然后,我们估计Zipf-Mandelbrot定律参数使用相同的序列,并构造一个估计的期望的数量不同的话在文本中。然后我们从序列中减去估计的相应值,并沿坐标轴进行归一化,获得从0到1的段上的随机过程。我们证明了这个过程(经验文本桥)在$C (0,1)$上的一致度量下弱收敛到具有连续a.s.的中心高斯过程。路径。我们开发并实现了一种近似计算极限高斯过程协方差函数特征值的算法,然后给出了一种计算该过程平方积分的概率分布的算法。我们使用该算法来分析英语,法语,俄语和汉语的文本的一致性。
2019-12-25 cs.CL math.ST stat.TH
Text Similarity from Image Contents using Statistical and Semantic Analysis Techniques
Pillai College of Engineering(皮莱工程学院)
针对图像内容抄袭检测这一未解决的难题,本文实现了检测系统,结合统计算法与LSA、BERT、WordNet等语义算法,提升了图像内容抄袭检测的效率与准确率。
2023-08-24 cs.CL
Statistical Properties of European Languages and Voynich Manuscript Analysis
Peoples’ Friendship University of Russia(俄罗斯人民友谊大学);Keldysh Institute of Applied Mathematics of RAS(俄罗斯科学院凯尔迪什应用数学研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
研究了欧洲文学文本中字母频率的统计特性。研究了单语言和双语言文本中字母序列对数相关性的判定问题。伏尼契·曼尼普尔语的语言分类法被建议。Manhattan的内部结构被认为是。构造了两字母分布的谱图。
2016-11-18 cs.CL stat.AP
PRISM: PRIor from corpus Statistics for topic Modeling
Bar Ilan University(巴伊兰大学)
PRISM通过词共现统计自动生成Dirichlet参数,无需外部知识初始化LDA,提升文本和单细胞RNA-seq数据的主题可解释性。
2026-03-31 cs.CL cs.LG
Detecting Events and Patterns in Large-Scale User Generated Textual Streams with Statistical Learning Methods
University of Bristol(布里斯托大学)
大量的文本网络流受到现实世界中出现的事件或现象的影响。社交网络形成了一个优秀的现代范例,其中非结构化的用户生成的内容定期发布,并且在大多数情况下是自由分发的。目前的PhD论文涉及的问题推断信息-或一般模式-在现实生活中出现的事件的基础上,这个文本流的内容。我们表明,它是可以提取有价值的信息,社会现象,如流行病,甚至降雨率,通过自动分析的内容发布在社交媒体,特别是Twitter,使用统计机器学习方法。一个重要的中间任务是形成和识别的功能,其中包括一个目标事件,我们选择和使用这些文本功能在几个线性,非线性和混合推理方法实现了显着良好的性能方面的应用损失函数。通过进一步研究这一丰富的数据集,我们还提出了提取各种类型的情绪信号的方法,揭示了情感规范-至少在社交网络的人口-在白天如何演变,以及现实世界中出现的重大事件如何影响它们。最后,我们提出了一些初步的研究结果,显示了这种文本信息的几个时空特征,以及使用它来解决诸如预测投票意图等任务的潜力。
2012-08-13 cs.CL cs.IR cs.LG
Entropic analysis of the role of words in literary texts
除了语法所施加的局部约束之外,在长序列中连接的单词携带复杂的信息,显示出统计上的相似性,这可能反映了它们在信息中的语言作用。本文对文学英语语料库中的词汇使用情况进行了系统的统计分析。我们发现,有一个定量的关系,在文学英语中的内容词的作用和香农信息熵定义在一个适当的概率分布。在不假设任何关于语言句法结构的先验知识的情况下,我们能够根据它们在文本中的特定作用对某些单词组进行聚类。
2001-09-12 cond-mat.stat-mech cs.CL