An Investigation of Supervised Learning Methods for Authorship Attribution in Short Hinglish Texts using Char & Word N-grams
Microsoft Corporation(微软公司);Guru Gobind Singh Indraprastha University(古鲁·戈宾德·辛格因德拉普拉斯塔大学)
一个人的写作风格可以被确认为一个独特的身份标志;使用的词语和句子的结构是可以识别特定作品作者的明确措施。文体学及其子集--作者归属,从19世纪开始就有着悠久的历史,直到现代我们仍然可以找到它们的应用。互联网的出现使归因研究的应用转向了非标准文本,这些文本相对较短,并且与大多数研究所做的长文本不同。本文的目的是重点研究从WhatsApp消息应用程序检索的简短在线文本,并使用监督学习方法研究马卡罗语(印度式英语)的独特特征,然后比较模型。各种特征,如单词n-gram和字符n-gram,通过方法进行比较,朴素贝叶斯分类器,支持向量机,条件树,和随机森林,以找到最好的分类,这样的语料库。我们的结果表明,SVM的测试准确率高达95.079%,而同样,Naive Bayes的数据集准确率高达94.455%。条件树和随机森林的性能不如预期。我们还发现,单词单字和字符3-grams功能更有可能区分作者准确比其他功能。
2018-12-26 cs.CL
Authorship Analysis of Xenophon's Cyropaedia
Princeton University(普林斯顿大学)
在过去的几十年里,许多作者归属研究都使用计算方法来确定有争议文本的作者。作者身份不明是古典文学中的一个常见问题,因为几个世纪以来,关于古代文献的信息很少。许多学者质疑色诺芬的《Cyropaedia》最后一章的真实性,Cyropaedia是公元前4世纪的历史文献。在这项研究中,我们使用N元词频向量与余弦相似性函数和词频向量与朴素贝叶斯分类器(NBC)和支持向量机(SVM)的作者分析Cyropaedia。虽然N-gram分析显示《古罗马百科全书》的后记与其余部分略有不同,但将色诺芬的分析与亚里士多德和柏拉图的分析进行比较表明,这种差异并不显著。NBC和SVM的词频分析都表明,Cyropaedia的最后一章与Cyropaedia的其他章节密切相关。因此,这一分析表明,有争议的章节是由色诺芬写的。这些信息可以帮助学者更好地了解Cyropaedia,也证明了将现代作者身份分析技术应用于古典文学的有用性。
2017-11-06 cs.CL
Where Does Authorship Signal Emerge in Encoder-Based Language Models?
Inria Paris(巴黎国家信息与自动化研究所);Sorbonne Université(索邦大学);IRIF(IRIF研究所);LRE, EPITA Ecole nationale des chartes – PSL(LRE,EPITA国立档案馆 – 法国社会科学研究院)
通过机械可解释性工具,研究不同评分机制对基于编码器的作者身份归因模型性能的影响,发现评分机制决定了编码器在何处整合作者身份信号。
2026-05-25 cs.CL
Higher Criticism for Discriminating Word-Frequency Tables and Testing Authorship
Stanford University(斯坦福大学)
本研究调整Higher Criticism拟合优度检验用于衡量词频表相似度,应用于作者归属任务,无需手工调参即达SOTA准确率,还能识别作者特征词,且受主题结构影响小。
2022-06-21 cs.CL cs.LG stat.CO
On the role of words in the network structure of texts: application to authorship attribution
University of São Paulo(圣保罗大学)
成熟的文本自动分析主要考虑语言单位的频率,例如字母,单词和二元组,而基于共现网络的方法考虑文本的结构,而不管节点标签(即单词语义)。在本文中,我们调和这些不同的观点,通过引入一个广义的相似性度量来比较文本,该度量既考虑了文本的网络结构,也考虑了单个词在网络中的作用。我们使用的相似性度量的作者归属的三个集合的书籍,每个集合由8个作者和10本书的作者。高准确率获得的典型值从90%到98.75%,远远高于传统的TF-IDF方法相同的集合。这些准确性也高于仅考虑网络的拓扑结构。我们的结论是,在整个文本的宏观尺度结构上的特定单词的不同属性与它们的出现频率一样相关;相反,考虑节点的身份带来了对表示为网络的文本的进一步了解。
2017-05-11 cs.CL cs.SI
Authorship Attribution Based on Life-Like Network Automata
São Carlos Institute of Physics, University of São Paulo(圣保罗大学圣保罗物理研究所);Institute of Mathematics and Computer Science, University of São Paulo(圣保罗大学数学与计算机科学研究所)
作者归属是一个具有相当实际和技术意义的问题。已经设计了几种方法来推断在多种情况下有争议的文件的作者。虽然传统的统计方法仅基于字数和相关的测量提供了一个简单的,但在特定情况下有效的解决方案,它们很容易被操纵。最近,文本已经被成功地建模为网络,其中单词由根据文本相似性度量链接的节点表示。这样的模型是有用的,以确定信息的拓扑模式的作者身份识别任务。然而,对于应该使用哪些衡量标准,没有达成共识。因此,我们提出了一种新的方法来描述文本网络,考虑网络的拓扑和动力学方面。利用元胞自动机理论的概念和方法,我们设计了一种策略,从这个模型中掌握信息的时空模式。我们的实验表明,优于传统的分析只依赖于拓扑测量。值得注意的是,我们已经发现了依赖于预处理步骤(如lemmatization)所获得的结果,一个功能,大多被忽视的相关作品。这里获得的优化结果为更好地表征文本网络铺平了道路。
2016-10-20 cs.CL
BARD10: A New Benchmark Reveals Significance of Bangla Stop-Words in Authorship Attribution
Chittagong University of Engineering & Technology(吉大港工程技术大学);Brac University(布拉克大学)
本研究针对孟加拉语作者归属问题,构建平衡基准语料库BARD10,分析停用词移除对经典及深度学习模型的影响,揭示停用词的文体重要性,为相关研究提供可复现基准与关键见解。
2025-11-11 cs.AI cs.CL
Authorship Attribution through Function Word Adjacency Networks
University of Pennsylvania(宾夕法尼亚大学)
提出了一种基于功能词邻接网络的作者归属方法。虚词是表达其他词之间的语法关系,但本身不携带词汇意义的词类。在本文的广域网中,节点是功能词,有向边代表在源词的有序邻域中找到汇词的可能性。WAN的不同作者可以被解释为转移概率的马尔可夫链,因此比较它们的相对熵。WAN参数的最佳选择进行了研究,并在不同的作者池和不同的文本长度的基准属性的准确性。这种分析表明,由于功能词是独立的内容,它们的使用往往是特定的作者和功能广域网捕获的关系数据是一个很好的总结风格指纹。归因的准确性,观察到超过一个单独依靠词频的方法实现。进一步结合广域网的方法,只依赖于词频,结果在更大的归因准确性,表明这两个信息源编码的作者风格的不同方面。
2014-06-17 cs.CL cs.LG stat.ML
Low-Resource Authorship Style Transfer: Can Non-Famous Authors Be Imitated?
University of Pennsylvania(宾夕法尼亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出低资源作者风格迁移任务,仅用约500词目标风格文本,通过上下文学习技术实现Reddit帖子风格迁移,并首次利用作者表征模型实现自动评估,确立最强基线但尚未完全掌握该任务。
2024-11-04 cs.CL
Critical biblical studies via word frequency analysis: unveiling text authorship
Duke University(杜克大学);Reichman University(赖赫曼大学);Protestant Faculty of Theology of Paris(巴黎新教神学院);Tel Aviv University(特拉维夫大学);Collège de France(法兰西公学院);University of Haifa(海法大学)
本文提出一种对少数词频偏差敏感的统计方法,在不预设作者身份的情况下分析《圣经》前九卷50个章节,以高准确率区分D、DtrH与P三个作者语料库。
2024-10-24 cs.CL cs.LG
Authorship Attribution in Bangla Literature (AABL) via Transfer Learning using ULMFiT
Shahjalal University of Science and Technology(沙赫贾拉勒科技大学)
针对孟加拉语作者归属研究匮乏、现有系统可扩展性差且小样本性能下降的问题,本文提出基于AWD-LSTM和ULMFiT迁移学习的方法,构建了BAAD16数据集,取得99.8%的准确率,提升了系统可扩展性和小样本稳定性。
2024-03-08 cs.CL
Integrating Bidirectional Long Short-Term Memory with Subword Embedding for Authorship Attribution
University of Pretoria(比勒陀利亚大学);University of the Witwatersrand(金山大学);Durban University of Technology(德班理工大学)
提出基于BLSTM与二维CNN的方法,利用子词信息捕捉序列写作风格,解决作者归属中未登录词问题,在CCAT50和Twitter上准确率分别提升1.07%和0.96%。
2023-06-26 cs.AI cs.CL cs.LG
Authorship Attribution in Bangla literature using Character-level CNN
Shahjalal University of Science and Technology(沙贾拉勒科技大学)
字符是文本的最小单位,可以提取样式信号来确定文本的作者。在本文中,我们调查的有效性,字符级的信号在孟加拉文学的作者归属,并表明,结果是有前途的,但可改进的。所提出的模型的时间和内存效率是远远高于词级同行,但准确率是2-5%,低于最好的表现词级模型。各种基于单词的模型进行比较,并表明,该模型的性能越来越好,更大的数据集。我们还分析了不同孟加拉语字符集的预训练字符嵌入在作者归属中的效果。可以看出,性能在预训练时提高了10%。我们使用了来自6到14位作者的2个数据集,在训练之前对它们进行平衡并比较结果。
2020-01-11 cs.AI cs.CL cs.LG
Social Media Writing Style Fingerprint
基于短文本作者身份验证的最新进展,我们提出了计算机辅助社交媒体文本作者身份归属的方法。我们使用各种自然语言技术来创建单词级和字符级模型,这些模型作为隐藏层来模拟简单的神经网络。每一层中单词级和字符级模型的选择通过验证性能来通知。我们系统的输出层使用未加权的多数投票向量来得出结论。我们还考虑在社交媒体帖子中编写偏见,同时收集我们的训练数据集以提高系统的鲁棒性。我们的系统取得了准确率,召回率和F-措施分别为0.82,0.926和0.869。
2017-12-26 cs.CL
Experiments with Neural Networks for Small and Large Scale Authorship Verification
University of Houston Department of Computer Science(休斯顿大学计算机科学系);University of Houston(休斯顿大学)
我们提出了两个模型的作者身份验证问题的一个特殊情况。任务是调查给定对的两个文档是否由同一作者撰写。我们考虑了小型和大型数据集的作者身份验证问题。潜在的小规模问题有两个主要挑战:首先,我们不知道文档的作者,因为没有以前的写作样本。其次,这两份文件都很短(几百到几千字),在体裁和/或主题上可能有很大的不同。为了解决这个问题,我们提出了转换编码器将一个文件对到其他。这种文档转换会产生一个丢失,它被用作一个可识别的特征来验证这对文档的作者是否相同。针对多人参与、样本数量多、样本长度大的大规模问题,提出了一种并行递归神经网络。比较了两个文档的语言模型。我们在各种类型的数据集上评估我们的方法,包括PAN竞争的作者身份识别数据集,亚马逊评论和机器学习文章。实验表明,这两种方法实现了稳定的和有竞争力的性能相比,基线。
2018-03-17 cs.CL
Authorship attribution via network motifs identification
University of Toronto(多伦多大学);University of São Paulo(圣保罗大学)
复杂网络的概念和方法可以用来分析不同复杂程度的文本。通过网络拓扑分析研究的自然语言处理(NLP)任务的例子是关键字识别,自动提取摘要和作者归属。尽管已经有大量的网络测量方法被应用于研究作者归属问题,但使用主题进行文本分析仅限于少数作品。本文的目的是应用主题的概念,经常性的互联模式,在作者归属任务。从共现网络中提取所有13个有向基序的绝对频率,并将其作为分类特征。这些功能的有效性进行了验证与四个机器学习方法。研究结果表明,母题能够区分不同作者的写作风格。在我们最好的情况下,57.5%的书籍被正确分类。这个问题的概率基线是12.5%。此外,我们还发现虚词在这些重复模式中起着重要的作用。综上所述,我们的研究结果表明,在其他相关的语言任务中,应该进一步探讨母题。
2016-07-23 cs.CL
The Sensitivity of Word Embeddings-based Author Detection Models to Semantic-preserving Adversarial Perturbations
The University of Tennessee(田纳西大学)
作者身份分析是自然语言处理领域的一个重要课题。它允许检测文章,新闻,书籍或消息的最有可能的作者。这种技术有多种用途的任务有关的作者归属,检测剽窃,风格分析,来源的错误信息,本文的重点是探讨的局限性和敏感性,建立的方法对抗性操作的输入。为此,并使用这些既定的技术,我们首先开发了一个实验框架,作者检测和输入扰动。接下来,我们通过实验评估了作者身份检测模型对输入叙述的语义保留对抗性扰动的集合的性能。最后,我们比较和分析了不同的扰动策略,输入和模型配置的效果,以及这些对作者检测模型的影响。
2021-02-23 cs.AI cs.CL
Learning Stylometric Representations for Authorship Analysis
作者身份分析(Authorship analysis,AA)是一种从大量呈指数级增长的文本数据中揭示作者隐藏属性的研究。它根据文本中反映的写作风格提取作者的身份和社会语言学特征。它是一个必不可少的过程,为各个领域,如网络犯罪调查,心理语言学,政治社会化,等等,然而,大多数以前的技术严重依赖于手工特征工程过程。因此,功能集的选择已被证明是依赖于场景或网络的。在本文中,模仿人类的句子组成过程中使用的神经网络的方法,我们建议将不同类别的语言特征的分布式表示的话,以同时学习的写作风格表示的基础上未标记的文本的作者身份分析。特别是,所提出的模型允许主题,词汇,句法和字符级别的特征向量的每个文件被提取为stylometrics。我们评估我们的方法的性能的问题上的作者身份的表征和作者身份验证与Twitter的,小说和论文数据集。实验表明,我们提出的文本表示优于袋的词汇-n-gram,潜在的狄利克雷分配,潜在的语义分析,PVDM,PVDBOW,和word 2 vec表示。
2016-06-03 cs.CL cs.CY cs.SI
Genetic Optimization of Keywords Subset in the Classification Analysis of Texts Authorship
Ivan Franko Lviv National University(伊万·弗兰科利沃夫国立大学)
分析了以文本频率为属性的关键词集的遗传选择问题。遗传优化是在一组单词上进行的,该组单词是具有给定频率限制的频率字典的分数。频率词典是在分析英语小说文本的文本序列的基础上形成的。采用最近k近邻分类器的误差作为适应度函数,通过遗传算法使适应度函数最小化。实验结果表明,基于遗传算法从频域词典中选择关键词集的属性,按作者类别进行文本分类具有较高的查准率和查全率。
2012-11-14 cs.CL cs.IR
Linguistic data mining with complex networks: a stylometric-oriented approach
Institute of Nuclear Physics, Polish Academy of Sciences(波兰科学院核物理研究所);Cracow University of Technology(克拉科夫理工大学)
通过用一组词及其共现来表示文本,可以得到一个词邻接网络,它是给定语言样本的简化表示。本文研究了利用网络表征方法提取文学文本中个体语言风格信息的可能性。通过确定网络的所选定量特征并应用机器学习算法,可以区分不同作者的文本。在所研究的一组文本,英语和波兰语,一个适当的重新缩放加权聚类系数和加权度的词邻接网络中只有几个节点是足够的,以获得作者归属的准确性超过90%。因此,可以找到文本作者身份和词邻接网络结构之间的对应关系。网络表示允许通过比较作者使用特定单词和标点符号的方式来区分各个语言风格。该方法可以看作是基于简单词汇特征的作者归属方法的推广。此外,其他网络参数的研究,本地和全球的,为未加权和加权网络。他们的潜力,捕捉写作风格的多样性进行了讨论,观察到语言之间的一些差异。
2019-01-17 cs.CL nlin.AO
Stylometric Analysis of Early Modern Period English Plays
University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院);De Montfort University(德蒙福特大学)
功能词邻接网络(WAN)被用来研究早期现代英语时期的戏剧作者。在这些网络中,节点是功能词,两个节点之间的有向边表示两个词的有向共现的相对频率。对于每个分析的剧本,构建WAN,并将其聚合以生成作者配置文件网络。我们首先通过比较WAN的个人资料来研究早期英国剧作家之间写作风格的相似性。使用广域网的作者归属的准确性,然后证明归因于六个流行的剧作家之间的已知发挥。此外,WAN方法被证明优于其他基于频率的方法归因于早期英语发挥。此外,WAN被证明是可靠的分类,即使在归因于合作发挥。对于几个有争议的合作作者,更深入的分析是通过分别归因于每一个行为和场景来进行的,在这些行为和场景中,我们既证实了现有的故障,又提供了新任务的证据。
2017-08-03 cs.CL cs.LG
Concentric network symmetry grasps authors' styles in word adjacency networks
1 Institute of Mathematics;Computer Science \ \ \ \ \ \ University of S\ ao Paulo, S\ ao Carlos, S\ ao Paulo, Brazil 2 S\ ao Carlos Institute of Physics University of S\ ao Paulo, S\ ao Carlos, S\ ao Paulo, Brazil
书面文本的几个特征已经从网络模型的统计分析中推断出来。尽管许多网络测量已经被用来研究不同复杂程度的文本属性,但一些文本方面却被忽视了。在本文中,我们研究了词邻接网络的对称性,这是一种众所周知的文本图形表示方法。对几部小说中对称分布的统计分析表明,大多数单词都没有显示出对称的连接模式。更具体地说,合并的对称性显示出类似于普遍存在的幂律分布的分布。我们的实验还表明,所研究的指标与其他传统的网络度量(如度或介数中心性)不相关。对称性测量的有效性在作者归因任务中得到了验证。有趣的是,我们发现特定的作者更喜欢特定类型的对称图案。因此,在由8位作者撰写的书籍组成的数据集中,82.5%的情况下可以准确识别书籍的作者身份。由于所提出的文本分析方法是对传统方法的补充,因此它们可以用于改进文本网络的表征,这对于相关应用可能是有用的,例如那些依赖于主题词的识别和信息检索的应用。
2015-06-18 cs.CL
Character-level and Multi-channel Convolutional Neural Networks for Large-scale Authorship Attribution
Insight Centre for Data Analytics(数据洞察中心);Aylien Ltd.(Aylien 有限公司);National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
卷积神经网络(CNN)在从计算机视觉的原始信号中提取信息方面表现出优越的能力。最近,字符级和多通道CNN在句子分类任务中表现出了出色的性能。我们将CNN应用于大规模的作者归属,其目的是在许多候选作者中确定未知文本的作者,其动机是处理字符级信号并区分大量类别的能力,同时与最先进的方法相比进行快速预测。我们广泛评估了基于CNN的方法,这些方法利用单词和字符通道,并将它们与最先进的方法进行比较,以获得大范围的作者数量,从而为传统方法提供新的视角。我们发现,字符级CNN在不同领域的五个数据集中有四个数据集上的表现优于最先进的技术。此外,我们还首次将作者归属应用于reddit。
2016-09-21 cs.CL cs.LG
Text Classification For Authorship Attribution Analysis
Cochin University(科钦大学);Adi Shankara Institute of Engineering and Technology(阿迪·商羯罗工程技术学院)
作者归属主要是指文学作品的作者未定问题。作者归属在解决诸如作者身份不确定、未知文本的作者身份识别、剽窃识别等问题上是非常有用的。统计方法可以用来从数字上区分作者的方法。计算文体学的基本方法是字长、句长、词汇量、频率等。每个作者都有自己独特的写作风格。统计定量技术可以用来区分作者的方法在一个数字的方式。该问题可以分解为作者识别、作者刻画和相似性检测三个子问题。所涉及的步骤是预处理,提取特征,分类和作者识别。为此,可以使用不同的分类器。这里使用模糊学习分类器和SVM。经过作者的识别,SVM比模糊分类器有更高的准确性。后来结合分类器,以获得更好的准确性相比,单独的SVM和模糊分类器。
2013-10-18 cs.CL cs.DL cs.LG
DeepStyle: User Style Embedding for Authorship Attribution of Short Texts
University of Electronic Science and Technology of China(电子科技大学);Singapore Management University(新加坡管理大学);University of Saskatchewan(萨斯喀彻温大学)
作者归属(AA)是一个重要的研究课题,具有广泛的应用,它是一个发现给定文本的所有者的任务。最近的研究表明,深度学习方法可以显著提高AA任务的准确性。然而,这些提出的方法中的大多数使用单一类型的特征(例如,单词二元语法)并采用文本分类方法来解决该任务。此外,这些方法对AA结果的解释非常有限。在本文中,我们通过提出DeepStyle来解决这些限制,DeepStyle是一种基于嵌入的新框架,可以学习用户突出写作风格的表示。我们对来自Twitter和微博的两个真实世界数据集进行了广泛的实验。我们的实验结果表明,DeepStyle在AA任务上的表现优于最先进的基线。
2021-03-14 cs.CL cs.SI
PARSI: Persian Authorship Recognition via Stylometric Integration
Sharif University of Technology(沙菲大学技术学院);Amirkabir University of Technology(阿米尔卡比尔技术大学)
本研究提出PARSI框架,通过整合transformer编码器与Word2Vec、文体和韵律特征,在67位波斯诗人的647,653行诗句语料库上实现作者识别,加权投票达71%准确率,阈值过滤下达97%准确率。
2025-06-27 cs.AI cs.CL
Authorship Without Writing: Large Language Models and the Senior Author Analogy
National University of Singapore(新加坡国立大学);University of Copenhagen(哥本哈根大学);University of Oxford(牛津大学)
本文提出LLM在特定条件下可类比资深作者,其生成完整草稿可视为合法作者身份,否则需修订作者标准。
2025-09-05 cs.AI cs.CL cs.CY
Document Author Classification Using Parsed Language Structure
Utah State University(犹他州立大学)
本文提出利用统计自然语言解析器提取的语法结构信息进行文档作者分类,在《联邦党人文集》等文本上的实验证明该特征降维后能有效区分作者。
2024-03-20 cs.CL eess.AS
A stylometric analysis of speaker attribution from speech transcripts
Johns Hopkins University(约翰霍普金斯大学)
本文提出StyloSpeaker方法,通过分析转录文本的风格特征,用于语音归属,对比了风格学模型与神经网络方法的性能。
2025-12-18 cs.CL
Stylistic Fingerprints, POS-tags and Inflected Languages: A Case Study in Polish
Institute of Polish Language(波兰语研究所);Polish Academy of Sciences(波兰科学院)
在文体调查中,最频繁的词(MFW)和字符n-gram的频率优于其他风格标记,即使它们的表现在不同语言中有很大差异。在屈折语言中,单词结尾起着重要作用,因此使用通用文本标记化无法识别不同的单词形式。无数的词形变化使得频率变得稀疏,使得大多数统计程序变得复杂。据推测,应用其中一种NLP技术,如词形化和/或解析,可能会提高分类的性能。本文的目的是研究的有用性的语法功能(通过POS标签n-grams评估)和词形化形式在识别作者的个人资料,以解决潜在的问题,在词汇和语法的选择自由度。使用语料库的波兰小说,我们进行了一系列的监督作者归属基准,以比较不同类型的词汇和句法风格标记的分类精度。即使POS标记和词形化形式的表现比词汇标记差得多,这种差异也不是实质性的,从来没有超过ca。百分之十五
2022-06-05 cs.CL
MixDetect: Word-Level Localization and Quantification of AI Editing
MixDetect提出词级框架,通过预测每个词的编辑状态和程度,实现AI编辑的定位与量化,实验验证其准确性和有效性。
2026-09-29 cs.CL
Can Authorship Attribution Models Distinguish Speakers in Speech Transcripts?
Johns Hopkins University(约翰霍普金斯大学);Université du Québec à Montréal(魁北克大学蒙特利尔分校)
针对语音转录文本说话人归属缺乏基准、现有书面文本模型受话题干扰大的问题,本文构建了控制话题关联的对话语音说话人归属新基准,对比多类基线模型确立SOTA,并分析了转录风格和微调的影响。
2025-05-16 cs.CL cs.LG
Authorship detection of SMS messages using unigrams
University of Peradeniya(佩拉德尼亚大学)
SMS消息是一种流行的通信媒体。由于其受欢迎程度和隐私性,它可以用于许多非法目的。此外,由于它们是日常生活的一部分,SMS可以用作许多法律纠纷的证据。由于移动电话可能被接近所有者的人访问,因此确定消息的发送者确实是电话的所有者这一事实很重要。为此,直接的解决方案似乎是使用流行的风格测量方法。然而,与文献中用于风格测量的数据相比,SMS具有不寻常的特性,使得难以或不可能以常规方式应用这些方法。我们的目标是提出一种方法的作者身份检测的短信,仍然可以提供一个可用的准确性。我们认为,考虑到作者归属的方法,最好的方法,可以应用于短信是一个n-gram方法。为了证明我们的观点,我们用不同数量的训练和测试数据检查了两种不同的分布比较方法。我们特别尝试比较我们的算法在较少的测试数据和大量候选作者(我们认为这是真实世界的场景)下的工作情况,以及作者数量较少的受控测试和大量单词的选定SMS。为了解决SMS消息中缺乏信息的问题,我们提出了将几个SMS堆叠在一起的方法。
2014-03-06 cs.CL cs.IR
Average shortest-path length in word-adjacency networks: Chinese versus English
Faculty of Computer Science and Telecommunications, Cracow University of Technology(计算机科学与电信系,克拉科夫技术大学);Complex Systems Theory Department, Institute of Nuclear Physics, Polish Academy of Sciences(复杂系统理论系,波兰科学院核物理研究所);School of Modern Languages, Georgia Institute of Technology(现代语言学院,佐治亚理工学院)
本文研究了中文和英文词邻接网络中平均最短路径长度的差异,通过包含标点符号来分析语言结构特性,发现标点符号对路径长度有显著影响。
2026-01-10 cs.CL
A Multiplicative Model for Learning Distributed Text-Based Attribute Representations
University of Toronto(多伦多大学);Canadian Institute for Advanced Research(加拿大高等研究院)
在本文中,我们提出了一个通用的框架,学习分布式表示的属性:文本的特点,其表示可以共同学习与词嵌入。属性可以对应于文档指示符(学习句子向量),语言指示符(学习分布式语言表示),元数据和辅助信息(如博客作者的年龄,性别和行业)或作者的表示。我们描述了一个三阶模型,其中单词上下文和属性向量成倍地相互作用,以预测序列中的下一个单词。这就引出了条件词相似性的概念:当条件词的属性不同时,词的含义是如何变化的。我们进行了几个实验任务,包括情感分类,跨语言文档分类,和博客作者归属。我们还定性评估条件词邻居和属性条件文本生成。
2014-06-10 cs.CL cs.LG
From Small to Large Language Models: Revisiting the Federalist Papers
Booth School of Business of the University of Chicago(芝加哥大学布斯商学院)
本文重访《联邦党人文集》作者归属问题,比较小型与大型语言模型,发现基于功能词主题嵌入的贝叶斯方法优于默认 LLM 嵌入,表明传统统计语言模型在作者归属中仍具优势。
2025-04-11 cs.CL cs.LG stat.ML
An agent-driven semantical identifier using radial basis neural networks and reinforcement learning
University of Catania(卡塔尼亚大学)
由于数字化文档的巨大可用性,以及数字化文档的本质和传播方式所带来的欺骗可能性的增加,作者归属问题的相关性不断增强。目前,作者归属在信息检索和分析中,在安全、信任和版权保护的背景下变得非常重要。这项工作提出了一种创新的多代理驱动的机器学习技术,已开发的作者归属。通过对常用词汇进行预处理和时间段相关分析,确定词汇在分析文本中重复出现频率的偏差参考水平,然后训练基于径向基神经网络(RBPNN)的分类器识别正确的作者。所提出的方法的主要优点在于语义分析的通用性,它可以应用于不同的上下文和词汇域,而不需要任何修改。此外,所提出的系统能够结合外部输入,这意味着调整分类器,然后通过连续学习强化进行自我调整。
2014-09-30 cs.AI cs.CL cs.LG
Low-Level Linguistic Controls for Style Transfer and Content Preservation
Columbia University(哥伦比亚大学)
尽管风格转移在图像处理中取得了成功,但在自然语言生成中的进展有限。部分问题在于文本域中的内容不容易与样式分离。奇怪的是,在文体计量学领域,内容在区分文体元素(如作者身份和体裁)的实际方法中并不突出。而句法和虚词是最突出的特征。在这项工作的基础上,我们将风格建模为一套低层次的语言控制,如代词,介词和从句结构的频率。我们训练一个神经编码器-解码器模型来重建参考句子,只给出内容词和控件的设置。我们通过保持内容词固定,同时调整控件以指示另一种风格来执行风格转换。在实验中,我们表明,该模型可靠地响应语言控制,并进行自动和手动评估的风格转移。我们发现我们可以在84%的时间里欺骗风格分类器,并且我们的模型产生了高度多样化和风格独特的输出。这项工作介绍了一个正式的,可扩展的风格模型,可以添加控制任何神经文本生成系统。
2019-11-08 cs.CL
Rethinking Text Attribute Transfer: A Lexical Analysis
Columbia University(哥伦比亚大学);Bytedance AI Lab(字节跳动人工智能实验室)
文本属性迁移是指对某些语言属性(如情感、风格、作者等)的修改。并将它们从一种类型转换为另一种类型。在本文中,我们的目的是分析和解释在转移过程中发生了什么变化。我们首先观察到,在许多现有的模型和数据集中,句子中的某些单词在确定句子属性类方面发挥着重要作用。这些单词称为\textit{the Pivot Words}。基于这些主元词,我们提出了一个词汇分析框架\textit{the Pivot Analysis},定量分析这些词在文本属性分类和迁移中的作用。我们将此框架应用于现有的数据集和模型,并表明:(1)主元词是句子属性分类的强特征;(2)要改变句子的属性,许多数据集只需要改变某些主元词;(3)因此,许多迁移模型只执行词汇级别的修改,而不改变更高级别的句子结构。我们的工作提供了一个深入的了解语言属性转移,并进一步确定了未来的要求和挑战,这项任务\footnote{Our code can be found at https://github.com/FranxYao/pivot_analysis}。
2019-09-26 cs.CL cs.LG
Relative contributions of Shakespeare and Fletcher in Henry VIII: An Analysis Based on Most Frequent Words and Most Frequent Rhythmic Patterns
Institute of Czech Literature, Czech Academy of Sciences(捷克科学院捷克文学研究所)
诗体剧《亨利八世》现在被广泛认为是一部合作作品,而不仅仅是威廉·莎士比亚一个人写的。我们采用词汇和诗句结合分析与机器学习技术,以确定哪些作者也参与了剧本的写作,以及他们的相对贡献。与大多数以前的研究不同,我们超越了特定场景的归属,并使用滚动归属方法来确定文本片段的作者身份的概率,而不尊重场景边界。我们的研究结果高度支持詹姆斯·斯佩丁提出的威廉·莎士比亚和约翰·弗莱彻之间的戏剧规范划分,但也带来了新的证据支持托马斯·梅里亚姆后来提出的修改。
2019-10-30 cs.CL cs.LG stat.AP
StegoStylo: Squelching Stylometric Scrutiny through Steganographic Stitching
Department of Computer Science and Engineering, Mississippi State University, Mississippi State, Mississippi, USA(计算机科学与工程系,密苏里州立大学,密苏里州密苏里市,美国)
本文探讨了通过隐写术与对抗性风格分析结合来对抗风格分析的方法,提出改进的对抗攻击TraceTarnish,并量化隐写术对作者风格指纹的遮蔽效果,发现33%以上的隐写覆盖可有效隐藏作者身份。
2026-06-23 cs.CL cs.CR cs.IR
Labelled network subgraphs reveal stylistic subtleties in written texts
Institute of Mathematics and Computer Science, University of São Paulo(圣保罗大学数学与计算机科学研究所);Department of Computer Science, University of Toronto(多伦多大学计算机科学系)
大量的数据和计算能力的增加允许从多个角度分析文本,包括将文本表示为复杂网络。网络的节点代表单词,而边代表某种关系,通常是单词共现。即使网络表示已被应用于研究一些任务,这种方法通常不与传统的模型依赖于统计范式相结合。由于网络模型能够掌握文本模式,我们设计了一种混合分类器,称为标记子图,它将常见单词的频率与网络拓扑中的小结构(称为基序)相结合。我们的方法是说明在两个方面,作者归属和识别。在前者中,分析了一组由不同作者撰写的小说。为了识别加拿大语,加拿大议会和欧洲议会的文本被分类为原始和翻译实例。我们的研究结果表明,标记子图能够表示文本,它应该进一步探索在其他任务,如文本复杂性分析,语言熟练度,和机器翻译。
2017-11-08 cs.CL physics.data-an
Voice Under Revision: Large Language Models and the Normalization of Personal Narrative
Social Sciences D-Lab, University of California, Berkeley(社会科学D实验室,加州大学伯克利分校)
研究探讨大型语言模型如何通过改写影响个人叙述的风格和叙述质感,发现改写导致风格规范化,包括功能词、缩略语和第一人称代词减少,而词汇多样性、词长和标点使用增加,影响叙述方式和因果推理。
2026-04-24 cs.CL cs.CY
When Words Predict Workload
Nokia Germany(诺基亚德国)
研究标准分布式语言模型调度器问题,提出CPU端语言资源预测网关,提取文本结构向量并用XGBoost预测器,经实时延迟遥测计算路由阈值,有效降低操作错误路由率,保障边缘VRAM安全。
2026-07-07 cs.CL cs.DC
Structure-semantics interplay in complex networks and its effects on the predictability of similarity in texts
Institute of Physics of São Carlos(圣卡洛斯物理研究所);University of São Paulo(圣保罗大学)
有不同的方法来定义相似性,以将相似的文本分组到集群中,因为相似性的概念可能取决于任务的目的。例如,在主题提取中,相似文本意味着那些在相同的语义场,而在作者识别中,应该考虑文体特征。在这项研究中,我们介绍的方法来分类文本采用复杂网络的概念,它可能能够捕捉句法,语义,甚至语用功能。复杂网络的各种指标之间的相互作用进行了分析与三个应用程序,即识别的机器翻译(MT)系统,机器翻译文本的质量评估和作者识别。我们将表明,代表文本的网络的拓扑特征可以提高识别MT系统在特定情况下的能力。另一方面,为了评估MT文本的质量,使用能够捕获语义的方法获得了高相关性。这是意料之中的,因为所使用的黄金标准本身就是基于单词共现的。尽管如此,Katz相似性,其中涉及文本比较中的语义和结构,实现了与NIST测量的最高相关性,这表明在某些情况下,这两种方法的结合可以提高量化MT质量的能力。在作者身份识别中,拓扑特征在某些情况下也是相关的,尽管对于所分析的书籍和作者,语义特征也获得了良好的结果。由于混合的方法,包括语义和拓扑特征还没有被广泛使用,我们认为,这里提出的方法可能是有用的,大大提高文本分类,因为它结合了完善的战略。
2013-03-02 cs.CL physics.soc-ph
Leveraging Hierarchical Representations for Preserving Privacy and Utility in Text
Amazon(亚马逊)
在任意文本中保证一定程度的用户隐私是一个具有挑战性的问题。然而,这一挑战带来了解锁对大量数据存储的访问以训练机器学习模型和支持数据驱动决策的潜力。我们解决这个问题,通过镜头的dx隐私,概括的差分隐私非汉明距离度量。在这项工作中,我们探讨了双曲空间中的单词表示作为保护文本隐私的一种手段。首先给出了满足dx-隐私性的证明,然后定义了双曲空间中的概率分布,并描述了在高维空间中的抽样方法。隐私是通过扰动高维双曲空间中的词的向量表示来提供的,以获得语义概括。我们进行了一系列的实验来证明隐私和实用性之间的权衡。我们的隐私实验说明了对作者归属算法的保护,而我们的实用程序实验强调了我们的扰动对几个下游机器学习模型的影响最小。与欧几里得基线相比,我们观察到与可比的最差情况统计相比,预期隐私的保证高出20倍。
2019-10-20 cs.CL cs.CR cs.LG
Corpus-Based Paraphrase Detection Experiments and Review
University of Zagreb(萨格勒布大学);University of Rijeka(里耶卡大学)
意译检测是重要的一些应用程序,包括剽窃检测,作者归属,问答,文本摘要,文本挖掘等在本文中,我们给出了各种类型的基于语料库的模型,特别是深度学习(DL)模型的性能概述,与任务的意译检测。我们报告了八个模型(LSI,TF-IDF,Word 2 Vec,Doc 2 Vec,GloVe,FastText,ELMO和USE)在三个不同的公共可用语料库上评估的结果:Microsoft Research Paraphrase Corpus,Clough和Stevenson以及Webis Crowd Paraphrase Corpus 2011。通过大量的实验,我们决定了最合适的文本预处理方法:超参数,子模型选择-如果它们存在(例如,Skipgram vs. CBOW)、距离度量和语义相似性/释义检测阈值。我们的研究结果和其他使用深度学习模型的研究人员的研究结果表明,深度学习模型与传统的最先进的方法相比非常具有竞争力,并且具有进一步开发的潜力。
2021-05-31 cs.CL cs.LG
Probing the statistical properties of unknown texts: application to the Voynich Manuscript
Institute of Physics of São Carlos, University of São Paulo(圣保罗大学圣保罗卡洛斯物理研究所);Max Planck Institute for the Physics of Complex Systems (MPIPKS)(马克斯·普朗克复杂系统物理研究所);Potsdam Institute for Climate Impact Research (PIK)(波茨坦气候影响研究所)
虽然使用统计物理学方法来分析大型语料库已经有助于揭示文本中的许多模式,但还没有进行全面的调查,调查不同语言和文本之间的统计测量的属性。在这项研究中,我们提出了一个框架,旨在确定文本是否与自然语言兼容,以及哪些语言最接近它,而不需要了解单词的含义。该方法是基于三种类型的统计测量,即获得从一阶统计的文字属性的文本,从复杂的网络表示文本的拓扑结构,并从连续性的概念,其中文本被视为一个时间序列。比较实验用15种不同语言的《新约》和英语和葡萄牙语的不同书籍进行,以量化不同测量对语言和书中讲述的故事的依赖性。发现在区分真实文本与其混洗版本方面具有信息性的指标包括词的重复性、程度和选择性。作为一个例子,我们分析了一个未破译的中世纪手稿被称为伏尼契手稿。我们表明,它主要是兼容的自然语言和不兼容的随机文本。我们还获得候选人的关键词的伏尼契手稿,这可能是有帮助的努力破译it.Because我们能够确定统计测量,更依赖于语法比语义,该框架也可用于文本分析语言相关的应用程序。
2013-03-02 cs.CL physics.data-an physics.soc-ph
Probing the topological properties of complex networks modeling short written texts
University of São Paulo(圣保罗大学)
近年来,图论被广泛地应用于研究语言的一些性质。更具体地说,所谓的词邻接模型已被证明是有用的,用于解决一些实际问题,特别是那些依赖于文本文体分析。将文本视为网络的最常见方法是简单地考虑大段文本或整本书。这种方法确实很有效--许多信息性的发现都是通过这种方式得到的--但它提出了一个令人不安的问题:在小块文本中是否存在重要的拓扑模式?为了解决这个问题,从整本书中采样的潜文本的拓扑性质进行了探讨。对包括50部小说的数据集进行的统计分析表明,大多数传统的拓扑测量是稳定的短的潜台词。当分析作者身份识别任务的性能时,发现适当的采样产生与全文相似的可辨别性。令人惊讶的是,基于短文本特征的支持向量机分类优于整本书。这些研究结果表明,大型文件的局部拓扑分析可能会提高其全球特性。最重要的是,作为原理证明,它验证了可以用复杂网络的方法和概念来分析短文本。因此,这里描述的技术可以以简单的方式扩展到分析文本作为随时间变化的复杂网络。
2014-12-29 cs.CL physics.soc-ph
A Deep Network Model for Paraphrase Detection in Short Text Messages
Norwegian University of Science and Technology(挪威科技大学);Swami Keshvanand Institute of Technology(斯瓦米·凯什瓦南德理工学院);Telenor Research(泰勒诺研究院)
本文主要研究释义检测问题。检测用自然语言编写的相似句子的能力对于文本挖掘、文本摘要、抄袭检测、作者身份验证和问答等应用至关重要。给定两个句子,目标是检测它们在语义上是否相同。这项工作的一个重要见解是,现有的释义系统在应用于干净的文本时表现良好,但它们不一定能对嘈杂的文本提供良好的性能。在用户生成的短文本(如Twitter)上进行释义检测的挑战包括语言不规则性和噪音。为了应对这些挑战,我们提出了一种新的基于深度神经网络的方法,该方法依赖于使用卷积神经网络和长短期记忆模型的粗粒度句子建模,并结合特定的细粒度单词级相似性匹配模型。我们的实验结果表明,所提出的方法优于现有的国家的最先进的方法对用户生成的嘈杂的社交媒体数据,如Twitter的文本,并取得了很高的竞争力的性能上一个干净的语料库。
2017-12-07 cs.AI cs.CL cs.IR
Stylometry recognizes human and LLM-generated texts in short samples
Sano -- Centre for Computational Medicine(Sano计算医学中心);Faculty of Physics, Astronomy and Applied Computer Science(物理学、天文学与应用计算机科学学院);Applied Computer Science, Jagiellonian University(应用计算机科学,雅盖隆大学);Mark Kac Centre for Complex Systems Research(Mark Kac复杂系统研究中心)
本文构建含多类LLM、摘要与改写文本的Wikipedia短文本基准,利用StyloMetrix和n-gram文体特征训练树模型,实现对人类与机器文本的高效识别与可解释分析。
2025-07-15 cs.AI cs.CL cs.LG