Extracting Linguistic Resources from the Web for Concept-to-Text Generation
Athens University of Economics and Business(雅典经济与商业大学)
许多概念到文本生成系统需要特定领域的语言资源来生成高质量的文本,但手动构建这些资源可能是繁琐和昂贵的。专注于NaturalOWL,一个公开可用的最先进的自然语言生成器的OWL本体,我们提出的方法来提取从Web句子计划和自然语言名称,两个最重要的类型的特定领域的语言资源所使用的生成器。实验表明,使用我们的方法以半自动的方式提取的语言资源生成的文本,以最小的人类参与,被认为是几乎一样好的文本使用手动创作的语言资源生成的,并远远优于使用从本体的关系和实体标识符提取的语言资源产生的文本。
2018-10-31 cs.CL
Linguistics Computation, Automatic Model Generation, and Intensions
提出了用于定义计算语言学理论模型的技术。作者提出的人工智能规划与推理的广义图建模方法,也适用于语言学理论的计算模型。结果表明,对于外延和内涵的解释,模型可以自动生成的语言学理论为自然语言的计算分配的意义。保留字:计算语言学,推理模型,模型G图,动态模型实现,人工智能语言学和逻辑学
1994-09-09 cmp-lg cs.CL
Linguistic data mining with complex networks: a stylometric-oriented approach
Institute of Nuclear Physics, Polish Academy of Sciences(波兰科学院核物理研究所);Cracow University of Technology(克拉科夫理工大学)
通过用一组词及其共现来表示文本,可以得到一个词邻接网络,它是给定语言样本的简化表示。本文研究了利用网络表征方法提取文学文本中个体语言风格信息的可能性。通过确定网络的所选定量特征并应用机器学习算法,可以区分不同作者的文本。在所研究的一组文本,英语和波兰语,一个适当的重新缩放加权聚类系数和加权度的词邻接网络中只有几个节点是足够的,以获得作者归属的准确性超过90%。因此,可以找到文本作者身份和词邻接网络结构之间的对应关系。网络表示允许通过比较作者使用特定单词和标点符号的方式来区分各个语言风格。该方法可以看作是基于简单词汇特征的作者归属方法的推广。此外,其他网络参数的研究,本地和全球的,为未加权和加权网络。他们的潜力,捕捉写作风格的多样性进行了讨论,观察到语言之间的一些差异。
2019-01-17 cs.CL nlin.AO
Stylomech: Unveiling Authorship via Computational Stylometry in English and Romanized Sinhala
Informatics Institute of Technology(信息技术学院);Swansea University(斯旺西大学)
本文提出 Stylomech 作者归属系统,利用作者文本对的数值表示而非大型语料库进行训练,以解决英语和罗马化僧伽罗语中的作者识别与内容验证问题。
2025-01-16 cs.CL
Whose LLM is it Anyway? Linguistic Comparison and LLM Attribution for GPT-3.5, GPT-4 and Bard
Department of Information Science(信息科学系);Bar Ilan University(巴伊兰大学);Department of Information Systems(信息系统系);University of Haifa(海法大学);Department of Computing(计算机系);Jonkoping University(约翰·科普林大学)
该研究通过语言学分析对比GPT-3.5、GPT-4、Bard的文本语言特征,发现三者存在显著差异,可借助现成分类模型以88%的准确率实现文本的大语言模型来源归因。
2025-08-30 cs.CL
Formalizing Style in Personal Narratives
Université Paris-Saclay, CNRS, ENS Paris-Saclay, LMF(巴黎-萨克雷大学、法国国家科学研究中心、巴黎-萨克雷高等师范学校、数学与形式化方法实验室);Université Paris-Saclay, CNRS, LISN(巴黎-萨克雷大学、法国国家科学研究中心、计算机科学跨学科数字科学实验室)
提出一个整合功能语言学、计算机科学与心理学的框架,将个人叙事中的风格形式化为语言选择模式,并通过对梦境叙事的案例研究揭示了语言选择与心理状态的关系。
2025-10-13 cs.AI cs.CL
Critical biblical studies via word frequency analysis: unveiling text authorship
Duke University(杜克大学);Reichman University(赖赫曼大学);Protestant Faculty of Theology of Paris(巴黎新教神学院);Tel Aviv University(特拉维夫大学);Collège de France(法兰西公学院);University of Haifa(海法大学)
本文提出一种对少数词频偏差敏感的统计方法,在不预设作者身份的情况下分析《圣经》前九卷50个章节,以高准确率区分D、DtrH与P三个作者语料库。
2024-10-24 cs.CL cs.LG
Linguistic complexity: English vs. Polish, text vs. corpus
Institute of Nuclear Physics, Polish Academy of Sciences(波兰科学院核物理研究所);Faculty of Mathematics and Natural Sciences, University of Rzeszów(热舒夫大学数学与自然科学学院)
我们分析了在选定的英语和波兰语文本中的单词的等级频率分布。我们发现,lemmatized(基本)的单词形式的规模不变制度打破后约二十年,而它可能是一致的,为整个范围的曲折的单词形式的排名。我们还发现,由不同作者写的文本组成的语料库的基本规模不变制度被打破更强烈的情况下,可比语料库由同一作者写的文本。类似地,对于由从其他语言翻译成波兰语的文本组成的语料库,尺度不变的制度被打破得比本地波兰语文本的可比语料库更强烈。此外,我们发现,如果用适当的词性标记单词,只有动词才会显示出几乎尺度不变的秩频分布。
2010-07-06 cs.CL physics.soc-ph
Low-Level Linguistic Controls for Style Transfer and Content Preservation
Columbia University(哥伦比亚大学)
尽管风格转移在图像处理中取得了成功,但在自然语言生成中的进展有限。部分问题在于文本域中的内容不容易与样式分离。奇怪的是,在文体计量学领域,内容在区分文体元素(如作者身份和体裁)的实际方法中并不突出。而句法和虚词是最突出的特征。在这项工作的基础上,我们将风格建模为一套低层次的语言控制,如代词,介词和从句结构的频率。我们训练一个神经编码器-解码器模型来重建参考句子,只给出内容词和控件的设置。我们通过保持内容词固定,同时调整控件以指示另一种风格来执行风格转换。在实验中,我们表明,该模型可靠地响应语言控制,并进行自动和手动评估的风格转移。我们发现我们可以在84%的时间里欺骗风格分类器,并且我们的模型产生了高度多样化和风格独特的输出。这项工作介绍了一个正式的,可扩展的风格模型,可以添加控制任何神经文本生成系统。
2019-11-08 cs.CL
Approaching the linguistic complexity
Polish Academy of Science(波兰科学院);University of Rzeszów(热舒夫大学)
我们分析了在选定的英语和波兰语文本中的单词的等级频率分布。我们比较这些分布在这两种语言的缩放特性。我们还研究了几个小语料库的波兰文学文本,并发现,由不同的作者写的文本组成的语料库的基本缩放制度被打破更强烈的情况下,可比的语料库由同一作者写的文本。类似地,对于由从其他语言翻译成波兰语的文本组成的语料库,缩放制度比本地波兰语文本的可比语料库更强烈地被打破。此外,基于英国国家语料库,我们考虑了标记有适当词性的词的语法基本形式(词元)的等级频率分布。我们发现,这些分布不缩放,如果每个部分的语音分别进行分析。动词是唯一独立发展出缩放痕迹的词类。
2009-01-21 cs.CL physics.data-an
Text authorship identified using the dynamics of word co-occurrence networks
University of São Paulo(圣保罗大学)
在有争议的文件中确定作者身份仍然需要人类的专门知识,但由于实际应用中文本和作者数量庞大,这对于许多任务来说是不可行的。在这项研究中,我们介绍了一种方法的基础上的动态词共现网络代表书面文本分类语料库的80个文本由8位作者。文本被分成具有相同数量的语言标记的部分,从这些部分中为12个拓扑度量创建时间序列。该系列被证明是平稳的(p值>0.05),这允许使用分布矩作为学习属性。使用径向基函数网络优化的监督学习过程,80个文本中有68个被正确分类,即显著的85%的作者匹配成功率。因此,纯动态网络指标的波动被发现表征作者,从而开辟了小的不断发展的网络方面的文本描述的方式。此外,所介绍的方法允许以简单、快速的方式比较具有不同特征的文本。
2016-07-29 cs.CL
Utilizing deep learning models for the identification of enhancers and super-enhancers based on genomic and epigenomic features
Instituto Politécnico Nacional (IPN)(国家理工学院);Centro de Investigación en Computación (CIC)(计算研究中心)
本文通过对九种主流加密货币的11万余条推文进行心理语言学与情感分析,揭示了各币种社区的独特语言模式及币种间的关联性,为理解加密货币领域的社交互动提供了新见解。
2024-01-15 cs.AI cs.CL
Enhanced Twitter Sentiment Classification Using Contextual Information
MIT(麻省理工学院)
随着Twitter的普及和普及,对推文的情感分析已经成为一个重要的研究领域。然而,对推文施加的140个字符的限制使得很难使用标准的语言学方法进行情感分类。另一方面,推特缺乏结构,但它们却用庞大的数量和丰富的元数据来弥补。该元数据包括地理位置、时间和作者信息。我们假设情绪依赖于所有这些背景因素。不同的地点,不同的时代,不同的作者,有着不同的情感价值。在本文中,我们通过利用远程监督收集来自不同地点,时间和作者的数百万条标记推文来探索这一假设。我们使用这些数据来分析不同作者,时间和地点的推文情绪的变化。一旦我们探索并理解了这些变量和情绪之间的关系,我们就使用贝叶斯方法将这些变量与更标准的语言特征(如n-gram)结合起来,创建了一个Twitter情绪分类器。这种组合分类器的性能优于纯语言分类器,表明将Twitter上丰富的上下文信息整合到情感分类中是一个很有前途的研究方向。
2021-01-02 cs.AI cs.CL cs.IR
Charting a Decade of Computational Linguistics in Italy: The CLiC-it Corpus
CNR(意大利国家研究理事会);University of Pisa(比萨大学);CoLingLab(语言学协作实验室)
本文通过构建 CLiC-it 语料库,分析意大利 CL/NLP 会议十年论文,揭示研究趋势从词汇语义资源转向语言建模与多模态,为社区提供发展洞察。
2025-09-24 cs.CL
Editorial for the First Workshop on Mining Scientific Papers: Computational Linguistics and Bibliometrics
研讨会“采矿科学论文:计算语言学与文献计量学”(CLBib 2015),与第15届国际科学计量学和信息计量学会议位于同一地点(ISSI 2015),汇集了文献计量学和计算语言学的研究人员,以研究文献计量学如何从大规模文本分析和科学论文的意义挖掘中受益,从而探索文献计量学和自然语言处理(NLP)的交叉学科性。研讨会的目标是回答这样的问题:我们如何使用文本分析获得的数据来增强作者网络分析和文献计量学?自然语言处理能为科学写作的结构、引文网络和文本内引文分析提供什么样的见解?本次研讨会是促进对跨学科性的反思以及文献计量学和自然语言处理这两个学科可以从中获得的好处的第一步。
2015-06-17 cs.CL cs.DL cs.IR
Stochastic model for phonemes uncovers an author-dependency of their usage
Central China Normal University(华中师范大学);Yerevan Physics Institute(埃里温物理研究所)
我们研究音位的等级-频率关系,音位是仍然与语言意义相关的最小单位。我们表明,这些关系可以描述的狄利克雷分布,一个直接模拟的理想气体模型在统计力学。这一描述使我们能够证明,一个文本的音素的等级频率关系依赖于它的作者。作者依赖效应不是由作者的词汇(在不同文本中使用的常用词)引起的,并通过几种替代方法得到证实。这表明它可能与音素直接相关。这些特征与词的等级-频率关系形成对比,词的等级-频率关系与作者和文本无关,并且受齐普夫定律的支配。
2016-03-20 cs.CL nlin.AO
Annotating Scientific Uncertainty: A comprehensive model using linguistic patterns and comparison with existing approaches
Université Marie et Louis Pasteur(路易·巴斯德大学);Institut Universitaire de France (IUF)(法国大学研究院)
本文提出 UnScientify 系统,通过弱监督、跨度模式匹配、复杂句分析和作者引用核查检测学术文本中的科学不确定性,准确率达 0.808,优于大语言模型,证明传统规则方法在该任务中仍具优势。
2025-03-14 cs.AI cs.CL cs.DL
Hate Lingo: A Target-based Linguistic Analysis of Hate Speech in Social Media
University of California, Santa Barbara(加州大学圣巴巴拉分校)
虽然社交媒体赋予了表达自由和个人声音,但它也助长了反社会行为、在线骚扰、网络欺凌和仇恨言论。在本文中,我们通过关注仇恨言论的一个基本上被忽视但至关重要的方面来加深对在线仇恨言论的理解-其目标:要么“直接”针对特定的个人或实体,要么“概括”针对一群共享共同受保护特征的人。我们执行这两种形式的仇恨言论的第一个语言和心理语言学分析,并揭示了有趣的标记,区分这些类型的仇恨言论的存在。我们的分析表明,定向仇恨言论,除了更个人化和定向,更非正式,更愤怒,经常明确地攻击目标(通过点名),用更少的分析词和更多的暗示权威和影响力的词。另一方面,广义的仇恨言论以宗教仇恨为主,其特点是使用谋杀、灭绝和杀戮等致命词汇;以及百万和许多等数量词汇。总而言之,我们的工作提供了对在线仇恨言论细微差别的数据驱动分析,不仅可以加深对仇恨言论及其社会影响的理解,还可以对其进行检测。
2018-04-11 cs.CL cs.SI
Chameleons in imagined conversations: A new approach to understanding coordination of linguistic style in dialogs
Cornell University(康奈尔大学)
会话参与者往往会立即无意识地适应对方的语言风格:说话者甚至会根据对方前一句话中的数量来调整下一句话中的冠词和其他功能词的数量。这种惊人的协调水平被认为是作为实现社会目标的一种方式而出现的,例如获得认可或强调地位的差异。但是,适应机制是否已经深深地嵌入到语言生成过程中,成为一种反射呢?我们认为,虚构的对话提供了一种方法来研究这个问题,因为作者创造的对话,但没有收到的社会效益(相反,想象中的人物)。事实上,我们发现在我们的大型电影脚本语料库中的许多家庭的功能词显着的协调。我们还报告了关于性别和其他特征影响的初步研究结果;例如,令人惊讶的是,对于文章,平均而言,字符更适应女性而不是男性。
2011-06-15 cs.CL physics.soc-ph
A Multi-layered Acoustic Tokenizing Deep Neural Network (MAT-DNN) for Unsupervised Discovery of Linguistic Units and Generation of High Quality Features
National Taiwan University(台湾大学)
本文总结了作者为Interspeech 2015技术计划中组织的零资源语音挑战所做的工作。挑战的目标是直接从未标记的语音数据中发现语言单位。在这项工作中提出的多层声学标记器(MAT)自动发现多组声学标记从给定的语料库。每个声学标记集由描述模型配置的一组超参数指定。这些声学标记集携带给定语料库的不同特征,因此可以相互加强背后的语言。然后,将多组标记标签用作在低级声学特征上训练的多目标DNN(MDNN)的目标。从MDNN中提取的瓶颈特征被用作MAT和MDNN本身的反馈。我们将该迭代系统称为多层声学标记化深度神经网络(MAT-DNN),其为挑战的轨道1生成高质量特征,并为挑战的轨道2生成声学标记。
2015-06-07 cs.CL cs.LG cs.NE
Heaps' law and Heaps functions in tagged texts: Evidences of their linguistic relevance
Instituto de Física Enrique Gaviola(恩里克·加维奥拉物理研究所);Consejo Nacional de Investigaciones Científicas y Técnicas(国家科学技术研究委员会);Universidad Nacional de Córdoba(科尔多瓦国立大学);Centro Atómico Bariloche(巴里洛切原子中心);Instituto Balseiro(巴尔塞罗研究所);Comisión Nacional de Energía Atómica(国家原子能委员会);Universidad Nacional de Cuyo(库约国立大学)
我们研究了词汇量和文本长度之间的关系,在一个语料库的$75$文学作品,由六个作家,区分三个语法类(或"标签“,即,{ \it名词},{ \it动词},和{ \it其他})的贡献,并分析每个标签的新词沿着每个单独的文本的渐进出现。虽然希普斯定律所规定的幂律关系是令人满意的总词汇量和文本长度,在每个文本中的新词的出现是在整体上很好地描述了平均随机洗牌的文本,它不服从幂律。然而,偏离这一平均值在统计上是显著的,并显示出整个语料库的系统趋势。具体来说,他们发现,沿每个文本的新词的出现主要是相对于随机洗牌的平均延迟。此外,不同的标签被证明增加系统的不同贡献,这种趋势,与{ \it动词}和{ \it其他}分别是更多和更少的平均趋势,而{ \it名词},而不是这个整体的平均值。这些统计系统性很可能表明存在存储在希普斯定律不同变体中的语言相关信息,这一特征仍需要广泛评估。
2020-01-07 cs.CL physics.data-an
Recent Developments in Deep Learning-based Author Name Disambiguation
University of Bologna(博洛尼亚大学);University of Copenhagen(哥本哈根大学)
本文系统综述 2016—2024 年基于深度学习的作者姓名消歧方法,总结其技术进展、挑战与开放问题,并指出结构化与非结构化数据融合及混合监督范式的价值。
2024-12-23 cs.CL cs.DL
A standardized Project Gutenberg corpus for statistical analysis of natural language and quantitative linguistics
Northwestern University(西北大学);University of Milan(米兰大学)
古腾堡计划(PG)作为一个文本语料库的使用已经非常流行的语言统计分析超过25年。然而,与其他具有类似重要性的主要语言数据集相比,迄今为止还没有一致同意的完整版本的PG。事实上,到目前为止,大多数PG研究要么只考虑少量手动选择的书籍,导致潜在的偏见子集,要么采用截然不同的预处理策略(通常详细说明不足),引起对已发表结果的可重复性的担忧。为了解决这些缺点,在这里,我们提出了标准化项目古腾堡语料库(SPGC),一个开放的科学方法,包含超过50,000本书和超过$3 \times 10^9$单词标记的完整PG数据的策划版本。使用不同来源的注释元数据,我们不仅提供了一个广泛的表征PG的内容,但也显示了不同的例子,突出SPGC的潜力,跨时间,主题和作者的语言变异性调查。我们详细发布了我们的方法,下载和处理数据的代码,以及在3个不同粒度级别上获得的语料库本身(原始文本,单词标记的时间序列和单词计数)。通过这种方式,我们提供了一个可复制的,预处理的,全尺寸版本的古腾堡项目作为语料库语言学,自然语言处理,和信息检索的新的科学资源。
2018-12-19 cs.CL cs.DL cs.IR
Disentangling Codemixing in Chats: The NUS ABC Codemixed Corpus
National University of Singapore(新加坡国立大学)
针对非正式多语交流场景下缺乏作者标注的公开语码混合语料库的问题,本研究推出首个通用标注语料库NUS ABC Codemixed Corpus,含超35万条多语混合消息,为相关NLP及语言学研究提供基础数据支撑。
2025-06-16 cs.CL cs.SI
Computational analyses of the topics, sentiments, literariness, creativity and beauty of texts in a large Corpus of English Literature
Freie Universität Berlin(柏林自由大学)
古腾堡文学英语语料库(GLEC,雅各布斯,2018a)为数字人文学,计算语言学或神经认知诗学的研究提供了丰富的文本数据来源。在这项研究中,我们解决了GLEC中不同文献类别之间的差异,以及作者之间的差异。我们报告了三项研究的结果,这些研究提供了i)GLEC六个文本类别的主题和情感分析(即,儿童和青少年、散文、小说、戏剧、诗歌、故事)及其>100位作者,ii)语义复杂性的新颖衡量标准,作为GLEC中作品的文学性、创造性和书籍之美的指标(例如,简奥斯汀的六部小说),和iii)两个实验的文本分类和作者识别使用的语义复杂性的小说特征。关于两种新的测量方法的数据估计了文本的文学性,文本内方差和逐步距离(van Cranenburgh等人,2019)显示,戏剧是GLEC中最具文学性的文本,其次是诗歌和小说。计算文本创造力的新指数(Gray等人,2016)揭示了诗歌和戏剧是最具创造力的类别,最具创造力的作者都是诗人(弥尔顿,教皇,济慈,拜伦或华兹华斯)。我们还计算了GLEC中作品的语言艺术感知美的小说指数(Kintsch,2012),并预测《爱玛》是奥斯汀小说中理论上最美的。最后,我们证明了这些新的语义复杂性的措施是文本分类和作者识别的重要功能,整体预测精度在0.75至0.97的范围内。我们的数据为未来的文学计算和实证研究或阅读心理学实验铺平了道路,并为分析和验证其他书籍语料库提供了多个基线和基准…
2022-01-12 cs.CL
Ordinal analysis of lexical patterns
Institute for Cross-Disciplinary Physics and Complex Systems IFISC (UIB-CSIC)(跨学科物理与复杂系统研究所IFISC(巴利阿里群岛大学-西班牙国家研究委员会));Centro de Investigaciones Ópticas (CONICET La Plata-CIC-UNLP)(光学研究中心(拉普拉塔国家科学技术研究委员会-拉普拉塔文化与科学研究中心-拉普拉塔国立大学));Departamento de Ciencias Básicas, Facultad de Ingeniería, Universidad Nacional de La Plata (UNLP)(拉普拉塔国立大学工程学院基础科学系)
词是基本的语言单位,通过意义连接思想和事物。然而,单词不会在文本序列中独立出现。句法规则的存在导致相邻词之间的相关性。使用顺序模式的方法,我们提出了一个分析的词汇统计连接的11种主要语言。我们发现,语言表达词语关系的不同方式产生了独特的模式结构分布。此外,这些模式分布的波动对于一个给定的语言可以让我们确定的历史时期,当文本被写入和它的作者。总之,我们的研究结果强调有序时间序列分析在语言类型学,历史语言学和文体学的相关性。
2023-03-14 cond-mat.stat-mech cs.CL physics.soc-ph
Predicting Poets' Origins from Verse: A Computational Analysis of Regional Linguistic Fingerprints in the Complete Tang Poems
Harvard University(哈佛大学);University of Washington(华盛顿大学)
通过全唐诗和CBDB数据,使用字符n-gram TF-IDF和领域特征,以多类分类预测诗人籍贯,发现语言距离随地理距离衰减、南北可分性随时间变化等历史意义。
2026-06-24 cs.AI cs.CL