ViSoLex: An Open-Source Repository for Vietnamese Social Media Lexical Normalization
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
该研究提出开源系统ViSoLex，融合预训练语言模型与弱监督学习技术，提供越南语社交媒体非标准词查询与词汇规范化服务，可适配多场景，助力越南语NLP工具开发与相关研究。
2025-01-13 cs.AI cs.CL
Gender identity and lexical variation in social media
我们提出了一个研究性别，语言风格和社交网络之间的关系，使用一个新的语料库的14,000 Twitter用户。以前的定量工作性别往往把这个社会变量作为一个女性/男性的二元，我们主张一个更细致入微的方法。通过对Twitter用户进行聚类，我们发现数据集自然分解为各种风格和主题兴趣。许多集群具有强烈的性别倾向，但它们对语言资源的使用有时与人口层面的语言统计直接冲突。我们认为，这些集群作为一个更准确地反映性别语言风格的多面性。以前基于语料库的研究也很少涉及语言风格与人口性别模式相悖的个体。为了识别这些个体，我们训练统计分类器，并测量数据集中每个个体的分类器置信度。检查个人的语言不匹配的分类器的模型，他们的性别，我们发现，他们有社交网络，其中包括显着较少的同性社会联系，并在一般情况下，社会网络同质性与使用同性语言标记。因此，配对计算方法和社会理论提供了一个新的视角，即性别如何随着个人相对于受众、主题和主流性别规范的定位而出现。
2014-05-12 cs.CL
Diffusion of Lexical Change in Social Media
Georgia Institute of Technology（佐治亚理工学院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
以计算机为媒介的交流正在推动书面语言性质的根本变化。我们通过对一个由1.07亿条Twitter消息（由270万个独立用户帐户撰写）组成的数据集进行统计分析来调查这些变化。使用一个潜在的向量自回归模型聚合在数千个单词，我们确定在美国的语言变化的扩散高层次的模式。我们的模型是强大的Twitter的采样率的不可预测的变化，并提供了一个概率表征的关系，宏观尺度的语言影响的人口和地理预测。这一分析的结果提供了支持以前的论点，侧重于地理接近和人口规模。然而，人口结构的相似性-特别是种族方面的相似性-发挥着更为核心的作用，因为种族人口结构相似的城市更有可能分享语言影响力。而不是走向一个单一的统一的“网络语言”方言，语言的演变，在计算机为媒介的通信再现现有的断层线在美国英语口语。
2014-11-24 cs.CL cs.SI physics.soc-ph
Integrating Lexical and Temporal Signals in Neural Ranking Models for Searching Social Media Streams
University of Maryland（马里兰大学）；University of Waterloo（滑铁卢大学）；Comcast Applied AI Research Labs（康卡斯特应用人工智能研究实验室）
在搜索社交媒体帖子流时，时间是一个重要的相关性信号。可以利用来自初始查询的结果的文档时间戳的分布来推断相关文档的分布，然后可以使用相关文档的分布来对初始结果进行重新排序。以前的实验表明，核密度估计是这个想法的一个简单而有效的实现。本文探讨了另一种方法来挖掘时间信号与循环神经网络。我们的直觉是，神经网络提供了一个更具表现力的框架来捕捉相邻文档在时间上的时间一致性。据我们所知，我们是第一个将词汇和时间信号集成到端到端神经网络架构中的公司，在该架构中，现有的神经排名模型用于生成查询-文档相似性向量，这些向量被馈送到双向LSTM层进行时间建模。我们的结果好坏参半：单独用于文档排序的现有神经模型相对于简单基线产生有限的改进，但是词汇和时间信号的集成相对于竞争性时间基线产生显著的改进。
2017-07-25 cs.CL cs.IR
A Weakly Supervised Data Labeling Framework for Machine Lexical Normalization in Vietnamese Social Media
University of Information Technology（信息科技大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
本文提出一种结合半监督学习与弱监督的自动标注框架，用于越南语社交媒体词汇规范化，在减少人工标注的同时取得82.72%的F1分数和高达99.22%的词汇完整性准确率，并使下游NLP任务平均准确率提升1-3%。
2024-09-30 cs.AI cs.CL
Understanding Lexical Biases when Identifying Gang-related Social Media Communications
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northwestern University（西北大学）
针对帮派相关推文中的非标准语言与伦理数据难题，本文用芝加哥样本训练二元 logistic 分类器，证明 NLP 可识别需社区照护者，并揭示词汇偏差对模型性能和人群区分的影响。
2023-04-22 cs.AI cs.CL cs.LG
Combining Lexical Features and a Supervised Learning Approach for Arabic Sentiment Analysis
在过去几年中，特别是随着阿拉伯社交媒体用户数量的迅速增加，人们认识到为阿拉伯社交媒体建立情感分析工具的重要性。解决这个问题的主要困难之一是社交媒体中的文本大多是口语化的，社交媒体平台中使用了许多方言。在本文中，我们提出了一组特征，这些特征与基于机器学习的情感分析模型相集成，并应用于埃及、沙特、黎凡特和MSA阿拉伯语社交媒体数据集。许多拟议的功能是通过使用阿拉伯语情感词汇。该模型还提出了基于表情的功能，以及输入文本相关的功能，如文本中的段数，文本的长度，文本是否以问号结尾等，我们表明，所提出的功能已经导致了六个我们已经实验过的七个数据集的准确性提高，这些数据集都是基准。由于开发的模型优于所有现有的阿拉伯语情感分析系统，这些系统具有公开的数据集，我们可以说，该模型在阿拉伯语情感分析中呈现出最先进的水平。
2017-10-23 cs.CL
Lexical Normalization for Code-switched Data and its Effect on POS-tagging
IT University of Copenhagen（哥本哈根信息技术大学）；University of Stuttgart（斯图加特大学）
词汇规范化，将非规范数据转换为标准语言，已被证明可以提高社交媒体上许多自然语言处理任务的性能。然而，在一个话语中使用多种语言，也称为代码转换（CS），经常被这些规范化系统所忽视，尽管它在社交媒体中很常见。在本文中，我们提出了三个规范化模型，专门设计用于处理代码转换的数据，我们评估两种语言对：土耳其语-英语（Id-En）和土耳其语-德语（Tr-De）。对于后者，我们为数据集引入了新的规范化层及其相应的语言ID和POS标签，并评估了规范化对POS标签的下游影响。结果表明，我们的CS定制的规范化模型优于Id-En国家的最先进的和Tr-De单语模型，并导致5.4%的相对性能提高的POS标记相比，非规范化的输入。
2021-01-31 cs.CL
FastLexRank: Efficient Lexical Ranking for Structuring Social Media Posts
Institute for Social Research（社会研究所）；University of Michigan（密歇根大学）
本文提出 FastLexRank，通过优化句子图平稳分布计算将 LexRank 的时空复杂度由 O(n²) 降至 O(n)，在保持评分一致的同时支持大规模社交媒体语料的实时核心推文识别。
2024-10-02 cs.CL stat.CO
American cultural regions mapped through the lexical analysis of social media
Instituto de Física Interdisciplinar y Sistemas Complejos IFISC (UIB-CSIC)（跨学科物理与复杂系统研究所（巴利阿里群岛大学-西班牙国家研究委员会））；ISI Foundation（ISI基金会）；University of Birmingham（伯明翰大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文提出一种基于社交媒体推文词汇自动分析的方法，通过地理标记推文中实义词频率分布和主成分层次聚类，无预设偏见地识别美国文化区域，揭示南北分离及东西向等区域划分。
2023-04-18 cs.CL cs.CY cs.SI
Communicative need modulates competition in language change
University of Edinburgh（爱丁堡大学）
所有现存的语言都会随着时间的推移而变化。其原因是多方面的，其中之一是新的语言成分的出现和借用。新成分与语义或语法功能相似的旧成分之间的竞争可能会导致说话者更喜欢其中一个，而放弃另一个。我们介绍了一种通用的方法来量化历时语料库中的语言元素之间的竞争，它不需要语言特定的资源，比足够大的语料库。这种方法很容易适用于广泛的语言和语言子系统。在这里，我们将其应用于词汇数据在五个语料库不同的语言，类型，体裁和时间跨度。我们发现，交际需求的变化是一致的预测词汇竞争动态。近似同义词更有可能直接竞争，如果它们属于一个话题，其重要性是随着时间的推移，语言使用者是恒定的，可能会导致其中一个竞争词的灭绝。相比之下，在对语言使用者越来越重要的话题中，近同义词往往不直接竞争，而是可以共存。这表明，除了词与词之间的直接竞争外，语言变化还可能受到主题或语义子空间之间的竞争的驱动。
2020-06-16 cs.CL
RiTUAL-UH at TRAC 2018 Shared Task: Aggression Identification
University of Houston（休斯顿大学）
本文介绍了我们的“TRAC 2018攻击识别共享任务”系统。我们针对英语数据集的最佳系统使用词汇和语义特征的组合。然而，对于印地语数据，仅使用词汇特征给了我们最好的结果。我们获得了英语Facebook任务（排名第12）的加权F1测量值为0.5921，英语社交媒体任务（排名第6）为0.5663，印地语Facebook任务（排名第1）为0.6292，印地语社交媒体任务（排名第2）为0.4853。
2018-07-31 cs.CL
Quantifying Cognitive Factors in Lexical Decline
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
我们采用进化论的语言变化，其中认知因素（除了社会因素）影响的话，他们在语言生态系统的适应性和成功。具体来说，我们提出了各种心理语言学因素-语义，分布，和语音-我们假设是预测词汇下降，其中的话大大减少频率随着时间的推移。使用三种语言（英语，法语和德语）的历史数据，我们发现我们提出的大多数因素在每个策划的下降单词集与其匹配的稳定单词之间的预期方向上存在显着差异。Logistic回归分析表明，语义因素和分布因素对词汇衰退有显著的预测作用。进一步的历时分析表明，随着时间的推移，衰落词的词汇语境多样性趋于减少，逐渐缩小了它们的“生态位”。
2021-10-12 cs.CL
Profiling Irony & Stereotype: Exploring Sentiment, Topic, and Lexical Features
University of Copenhagen（哥本哈根大学）
本研究针对社交媒体反讽检测需求，通过全面特征选择整合词汇、情感、主题等特征构建检测模型，在Twitter场景下F1值达0.84优于基线，发现TF-IDF类词汇特征贡献最大，并指出后续研究方向。
2023-11-08 cs.CL
Lexical Squad@Multimodal Hate Speech Event Detection 2023: Multimodal Hate Speech Detection using Fused Ensemble Approach
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰亚大学）
本文提出一种融合InceptionV3、BERT和XLNet的集成学习方法，用于将嵌入文本的图像分类为仇恨言论或非仇恨言论，准确率达75.21%，F-1分数达74.96。
2023-09-23 cs.AI cs.CL cs.LG
Hybrid approach to detecting symptoms of depression in social media entries
Kozminski University（科兹明斯基大学）；University of Warsaw（华沙大学）
情绪和词汇分析被广泛用于检测抑郁症或焦虑症。据记载，与健康人相比，情绪障碍患者使用的语言存在显着差异。尽管如此，这些词汇方法的有效性还可以进一步提高，因为目前的分析重点是社交媒体条目是关于什么的，而不是它们是如何写的。在这项研究中，我们专注于这些短文本彼此相似的方面，以及它们是如何创建的。我们提出了一种创新的方法，抑郁症筛选问题，通过应用Collgram分析，这是一个已知的有效方法，从文本中获得语言信息。我们将这些结果与基于BERT架构的情感分析进行比较。最后，我们创建了一个混合模型，实现了71%的诊断准确率。
2021-06-19 cs.CL cs.LG
Disentangling Dialect from Social Bias via Multitask Learning to Improve Fairness
Leibniz University Hannover（汉诺威莱布尼茨大学）；Paderborn University（帕德博恩大学）
针对偏见语言检测中方言导致的性能差异，本文提出将方言建模作为辅助任务的多任务学习方法，在非裔美式英语实验中提升公平性并取得SOTA效果。
2024-06-14 cs.CL
The Road to Success: Assessing the Fate of Linguistic Innovations in Online Communities
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
我们调查的诞生和扩散的词汇创新在一个大型数据集的在线社交社区。我们建立在社会语言学的理论，并专注于一个新的术语的传播和使用它的个人的社会角色之间的关系，揭示创新者和采用者的特点。最后，我们执行一个预测任务，使我们能够预测创新是否会在社区内成功传播。
2018-06-15 cs.CL cs.SI
Modelling Context with User Embeddings for Sarcasm Detection in Social Media
INESC-ID Lisboa, Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院INESC-ID里斯本）；iSchool, University of Texas at Austin（德克萨斯大学奥斯汀分校信息学院）
我们引入了一个深度神经网络的自动讽刺检测。最近的工作强调，需要模型利用上下文功能，超越词汇和句法线索存在于话语。例如，不同的说话者将倾向于采用关于不同主题的讽刺，因此，讽刺检测模型应该对这样的说话者信息进行编码。目前的方法已经通过费力的特征工程实现了这一点。相比之下，我们建议自动学习，然后利用用户嵌入，与词汇信号一起使用，以识别讽刺。我们的方法不需要复杂的特征工程（以及随之而来的数据抓取）;拟合用户嵌入只需要他们以前的帖子中的文本。实验结果表明，我们的模型优于一个国家的最先进的方法，利用广泛的一组精心制作的功能。
2016-07-05 cs.AI cs.CL
Detecting Synthetic Political Narratives in Cross-Platform Social Media Discourse
Institute of Computer Science, Foundation for Research and Technology（计算机科学研究所，希腊研究与技术基金会）；Technical University of Crete（希腊克里特技术大学）
本文提出了一种跨平台框架，通过四个协调信号（词汇多样性、时间爆发性、修辞重复和语义同质性）组合成合成叙述协调评分SNC(C)，以检测合成政治叙述，研究发现IntelSlava在四个事件窗口中排名第一，而Rybar尽管语义同质性高但因语言差异导致表现不佳。
2026-05-20 cs.AI cs.CL cs.CY
LSC-Eval: A General Framework to Evaluate Methods for Assessing Dimensions of Lexical Semantic Change Using LLM-Generated Synthetic Data
Melbourne School of Psychological Sciences, The University of Melbourne（墨尔本大学心理学科学学院）；School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息学院）；School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦女王学院电子工程与计算机科学学院）；The Alan Turing Institute, London（伦敦艾伦·图灵研究所）；Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）
本文提出LSC-Eval通用评估框架，利用LLM生成合成数据模拟词汇语义变化，验证了合成基准的有效性并揭示现有模型在情感维度检测上的不足。
2025-06-04 cs.CL
When do Words Matter? Understanding the Impact of Lexical Choice on Audience Perception using Individual Treatment Effect Estimation
Illinois Institute of Technology（伊利诺伊理工学院）
跨学科的研究表明，词汇选择会影响观众的感知。例如，用户在社交媒体资料中如何描述自己会影响他们的社会经济地位。然而，我们缺乏一般的方法来估计词汇选择对特定句子感知的因果效应。虽然随机对照试验可能提供了很好的估计，但它们并没有扩展到考虑所有词汇选择所需的潜在数百万次比较。相反，在本文中，我们首先提供了两类方法来估计在给定的句子中将一个词改为另一个词对感知的影响。第一类算法建立在准实验设计的基础上，根据观察数据估计个体治疗效果。第二类将治疗效果估计视为分类问题。我们使用三个数据源（Yelp，Twitter和Airbnb）进行实验，发现算法估计值与随机对照试验产生的结果一致。此外，我们发现，它是可能的跨域转移治疗效果分类器，仍然保持高精度。
2018-11-15 cs.CL cs.LG stat.ML
Detecting Hate Speech in Social Media
Harvard Medical School（哈佛医学院）；University of Wolverhampton（伍尔弗汉普顿大学）
在本文中，我们研究了在社交媒体中检测仇恨言论的方法，同时将其与一般的亵渎行为区分开来。我们的目标是通过使用最近发布的为此目的注释的数据集应用监督分类方法来为这项任务建立词汇基线。作为特征，我们的系统使用字符n-gram，单词n-gram和单词跳过-gram。我们在三个类别中识别帖子的准确率为78%。结果表明，主要的挑战在于区分亵渎和仇恨言论。讨论了今后工作的若干方向。
2017-12-26 cs.CL
Complex networks and human language
本文介绍了如何利用网络理论的最新发展来研究人类语言。有两个探索方向。一是研究语言系统中存在的网络。不同的词汇网络可以根据词汇之间的不同关系来构建，无论是语义还是句法。最近的研究表明，这些词汇网络具有小世界和无标度的特征。另一个探索方向是研究语言使用者的网络（即语言社区中人们的社交网络）及其在语言进化中的作用。社交网络还表现出小世界和无标度的特征，这是随机或规则网络模型无法捕捉的。在过去，语言变化和语言出现的计算模型通常假设人口具有随机或规则结构，并且很少讨论网络结构如何影响动态。在文章的第二部分，一系列的语言创新扩散的模拟模型被用来说明选择的人口结构的现实条件的语言变化建模的重要性。四种类型的社交网络进行了比较，表现出两类扩散动力学。虽然关于哪种类型的网络更适合建模的问题仍然存在，我们给出了一些初步的建议，选择类型的社交网络建模。
2007-01-22 cs.CL
Lexical Based Semantic Orientation of Online Customer Reviews and Blogs
Institute of Computing and Information Technology, Gomal University（戈马尔大学计算与信息技术学院）
互联网用户的快速增长以及在线评论网站和社交媒体的日益强大，催生了情感分析或意见挖掘，旨在确定其他人的想法和评论。情绪或意见包含关于产品、服务、政策和政治的公共生成内容。人们通常有兴趣寻求包含喜欢和不喜欢的积极和消极的意见，由用户共享特定产品或服务的功能。针对评论和博客等不同类型的数据，提出了基于词汇的领域无关情感分类方法。所提出的方法是基于一般的词汇，即WordNet，SentiWordNet和用户定义的词汇词典的语义方向。这些字典的关系和注释为域可移植性问题提供了解决方案。该方法比基于词和文本级语料库的机器学习方法更好地进行语义定向。实验结果表明，该方法在文本和句子两个层次上对在线评论的准确率分别达到87%和83%。
2016-07-08 cs.CL cs.IR
Mining Trends of COVID-19 Vaccine Beliefs on Twitter with Lexical Embeddings
Maharaja Surajmal Institute of Technology, GGSIPU（马哈拉贾苏拉杰马尔技术学院，GGSIPU）；Indraprastha Institute of Information Technology Delhi（德里英德拉普拉斯塔信息技术学院）；All India Institute of Medical Sciences（全印度医学科学学院）
社交媒体在全球传播新闻方面发挥着关键作用，并成为人们就各种主题发表意见的平台。全球各地的COVID-19疫苗接种活动伴随着各种各样的观点，这些观点往往受到情绪的影响，这些情绪会随着病例的增加、疫苗的批准以及在线讨论的多种因素而变化。本研究的目的是分析不同的情绪类别的时间演变：犹豫，愤怒，悲伤，预期，信仰和满意度的影响因素：疫苗推出，错误信息，健康影响和不公平的词汇类别创建属于五个国家的推文与重要的疫苗推出计划，即印度，美国，巴西，英国和澳大利亚。我们提取了近180万条与COVID-19疫苗接种相关的Twitter帖子的语料库。我们使用选定种子词的余弦距离，扩大了每个类别的词汇量，并跟踪了2020年6月至2021年4月期间其强度的纵向变化。我们使用社区发现算法来发现正相关网络中的模块。我们的研究结果表明，在所有国家中，对疫苗表示犹豫的推文中提到的健康相关影响最多。我们的研究结果表明，犹豫的模式在不同的地理位置是不同的，可以帮助我们学习有针对性的干预措施。我们还观察到，在疫苗批准前后，犹豫和满意等类别的线性趋势发生了显著变化。在冲积图中，愤怒和悲伤等负面情绪的重要性最高。它们与2021年4月印度观察到第二波COVID-19病例时的所有影响因素形成了一个重要模块。情绪和影响因素之间的关系被发现是可变的国家。
2021-07-20 cs.CL cs.SI
Cross-lingual Capsule Network for Hate Speech Detection in Social Media
Queen Mary University of London（伦敦玛丽女王大学）
大多数仇恨言论检测研究都集中在一种语言上，通常是英语，这限制了它们对其他语言的普遍性。在本文中，我们研究了跨语言的仇恨言论检测任务，解决这个问题，通过适应仇恨言论资源从一种语言到另一种语言。我们提出了一个跨语言的胶囊网络学习模型，加上额外的特定领域的词汇语义仇恨言论（CCNL-Ex）。我们的模型在AMI @ Evalita 2018和AMI@Ibereval2018的基准数据集上实现了最先进的性能，涉及三种语言：英语，西班牙语和意大利语，在所有六种语言对上都优于最先进的基线。
2021-08-06 cs.CL
Author Commitment and Social Power: Automatic Belief Tagging to Infer the Social Context of Interactions
Stanford University（斯坦福大学）；Agolo, Inc.（Agolo公司）；Elemental Cognition, Inc.（Elemental Cognition公司）
了解社会权力结构如何影响我们彼此互动的方式，对于想要回答有关人类行为的基本问题的社会科学家以及想要建立自动方法来推断互动的社会背景的计算机科学家来说，都是非常感兴趣的。在本文中，我们采用NLP中的额外命题语义提取的进步，研究作者承诺如何反映互动的社会背景。具体来说，我们调查是否由个人在组织互动中表达的承诺水平反映了他们的等级权力结构的一部分。我们发现，下属使用显着更多的情况下，非承诺比上级。更重要的是，我们还发现，下属属性命题给其他代理人更经常比上级做-一个方面还没有被研究过。最后，我们表明，丰富的词汇功能与承诺标签捕捉社会意义的重要区别。
2018-05-15 cs.CL
UoB at SemEval-2020 Task 1: Automatic Identification of Novel Word Senses
University of Birmingham（伯明翰大学）
随着语言使用的社会环境的变化，语言也在不断发展，以适应使用者的需求。词汇语义变化分析是一个新兴的语义分析领域，其目的是跟踪词义随时间的变化。提出了一种适用于新词义识别的基于贝叶斯词义归纳的词义变化检测方法。该方法用于SemEval-2020任务1的提交，该任务表明该方法能够执行SemEval任务。同样的方法也适用于从15年的Twitter数据中收集的语料库，其结果然后用于识别可能是俚语的单词。
2020-10-18 cs.CL
What we write about when we write about causality: Features of causal statements across large-scale social discourse
University of Vermont（佛蒙特大学）
识别和沟通因果之间的关系对于理解我们的世界很重要，但受到语言结构，认知和情感偏见以及沟通媒介属性的影响。尽管社交媒体的重要性越来越大，但在线因果陈述仍有很多未知之处。为了研究现实世界中的因果归因，我们提取了一个大规模的语料库中的因果陈述的Twitter社交网络平台，以及一个可比的随机控制语料库。我们使用统计语言和情感分析工具比较因果和控制陈述。我们发现，因果陈述有一些显着的词汇和语法差异相比，控制和倾向于更消极的情绪比控制。在线因果陈述倾向于关注新闻和时事，医学和健康，或人际关系，如主题模型所示。通过量化因果关系沟通的特征和潜在偏见，本研究提高了我们对网上信息和意见准确性的理解。
2016-04-21 cs.CL cs.CY cs.SI
Evolving linguistic divergence on polarizing social media
Tallinn University（塔林大学）；Estonian Business School（爱沙尼亚商学院）；Newcastle University（纽卡斯尔大学）
本研究利用社交媒体数据，通过关注新闻媒体账户界定用户政治偏好，量化美国左右派在话题、情感及词汇语义上的语言分歧，提出通用方法，可推广至其他语言和平台。
2023-09-04 cs.CL cs.SI
WASSUP? LOL : Characterizing Out-of-Vocabulary Words in Twitter
IIT Kharagpur（印度理工学院卡拉格普尔分校）
社交媒体中的语言主要是由不断进入词典的新词和拼写驱动的，从而污染了词典，导致与正式书面版本的高度偏离。这种语言的主要实体是词汇表外（OOV）词。在本文中，我们研究了各种社会语言学特性的OOV词，并提出了一个分类模型，将它们分为至少六类。我们达到了81.26%的准确率，具有较高的准确率和召回率。我们观察到内容特征是最具区分力的特征，其次是词汇和上下文特征。
2016-01-31 cs.CL cs.SI
Exploring Personality and Online Social Engagement: An Investigation of MBTI Users on Twitter
通过计算模型进行基于文本的人格预测是一个新兴的领域，具有显著改善基于调查的人格评估的关键弱点的潜力。我们调查了来自Twitter的3848个个人资料，这些个人资料具有自我标记的迈尔斯-布里格斯人格特质（MBTI）-一个与人格五因素模型密切相关的框架-以更好地了解如何使用基于文本的数字痕迹来预测用户的人格特质。我们利用BERT，一种基于深度学习的最先进的NLP架构，来分析对我们的任务具有最大预测能力的各种文本来源。我们发现，传记、状态和喜欢的推文对MBTI系统的所有维度都有显著的预测能力。我们讨论了我们的研究结果及其对MBTI和词汇假设有效性的影响，词汇假设是五因素模型的基础理论，它将语言使用和行为联系起来。我们的研究结果对人格心理学家，计算语言学家和其他社会科学家具有乐观的影响，这些科学家旨在从观察文本数据中预测人格，并探索语言与核心行为特征之间的联系。
2021-09-14 cs.CL cs.LG
Language, Place, and Social Media: Geographic Dialect Alignment in New Zealand
Computer Science and Software Engineering, University of Canterbury（坎特伯雷大学计算机科学与软件工程系）；Department of Linguistics, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校语言学系）；School of Psychology, Speech and Hearing, University of Canterbury（坎特伯雷大学心理学、语音与听力学校）；Department of Linguistics, University of Canterbury（坎特伯雷大学语言学系）
本研究通过整合用户感知的定性分析与计算方法，探究新西兰Reddit社区中地理方言对齐现象，发现地点相关社区形成连续言语社区，且高级语言建模揭示了语义变异与变化。
2026-04-17 cs.CL
Validation and Normalization of DCS corpus using Sanskrit Heritage tools to build a tagged Gold Corpus
University of Hyderabad（海得拉巴大学）；Inria Paris Center（法国国家信息与自动化研究所巴黎中心）
梵文数字语料库记录了大约65万个句子及其形态和词汇标记。但是，在形态分析和提供关键信息，如分割的词，不一致的，迫切需要标准化和验证这个语料库。验证过程的自动化需要高效的分析器，这些分析器还可以提供缺失的信息。梵语遗产引擎的读者产生所有可能的分割形态和词汇分析。对齐这些系统将有助于我们记录语言差异，这些差异可用于更新这些系统以产生标准化结果，并且还将提供标记有完整形态和词汇信息以及分割单词的Gold语料库。Krishna et al.（2017）考虑到一些语言差异，对齐了115，000个句子。由于这两个系统都发生了显著的变化，考虑到这些系统之间所有剩余的语言差异，再次进行对齐。本文详细描述了修改后的对齐过程，并记录了观察到的其他语言差异。参考文献：Amrith Krishna，Pavankumar Satuluri和Pawan Goyal。2017.用于梵文分词的数据集。SIGHUM文化遗产、社会科学、人文科学和文学计算语言学联合研讨会论文集，第105-114页。计算语言学协会，八月。
2020-05-13 cs.CL
Text Mining for Processing Interview Data in Computational Social Science
Gavagai；Stanford University（斯坦福大学）
我们使用商用文本分析技术来处理来自计算社会科学研究的采访文本数据。我们发现，主题聚类和术语丰富提供方便的探索和量化的反应。这使得生成和测试假设以及比较文本和非文本变量成为可能，并节省了分析人员的工作。我们鼓励社会科学研究使用文本分析，特别是探索性开放式研究。我们讨论了文本分析技术如何满足可复制性要求。我们注意到，最新的学习模型在设计时并没有考虑到透明度，研究要求模型是可编辑的，其决策是可解释的。今天可用的工具，如本研究中使用的工具，不是为处理采访文本而设计的。虽然许多正在考虑的变量是可量化的使用词汇统计，我们发现，一些有趣的和潜在的有价值的功能是很难或不可能可靠地自动化目前。我们注意到，传统的自然语言处理机制，如命名实体识别和指代消解在这个应用领域有一些潜在的有趣的应用。最后，我们建议语言技术人员全面调查处理采访数据的挑战，特别是问题和回答之间的相互作用，我们鼓励社会科学研究人员不要犹豫使用文本分析工具，特别是在处理采访数据的探索阶段。
2020-11-28 cs.CL
An Empirical Evaluation of Text Representation Schemes on Multilingual Social Web to Filter the Textual Aggression
DA-IICT（古吉拉特邦达拉尔巴伊信息技术与通信技术研究所）
本文试图研究两个任务，即：用户攻击和事实检测的社会媒体内容的文本表示方案的有效性。在用户攻击检测，目的是从社交媒体中生成的内容和写在英语，梵文印地语和罗马化印地语识别侵略的水平.攻击性水平分为三个预定义的类，即：“非攻击性”，“公开攻击性”和“隐蔽攻击性”。在与灾难有关的事件，社会媒体一样，推特是充斥着数以百万计的职位。在这种紧急情况下，查明实际员额对参与救济行动的组织很重要。我们预计这个问题是分类和排名问题的组合。本文对基于BoW技术、分布式词/句表示、分类器上的迁移学习的各种文本表示方案进行了比较。加权$F_1$评分用作主要评价指标。实验结果表明，在机器学习分类器上，使用BoW的文本表示比词嵌入的效果更好。而预训练的词嵌入技术在基于深度神经网络的分类器上表现更好。最近的迁移学习模型，如ELMO，ULMFiT，针对攻击分类任务进行了微调。然而，结果与预训练的词嵌入模型不一致。总的来说，使用fastText的词嵌入比Word 2 Vec和Glove产生最好的加权$F_1$分数。使用预训练的向量模型进一步改进结果。采用统计显著性检验来确保分类结果的显著性。在词汇上不同的测试数据集的情况下，除了训练数据集之外，深度神经模型更健壮，并且比机器学习分类器表现得更好。
2019-04-16 cs.CL cs.IR cs.SI
Learning to Represent Words in Context with Multilingual Supervision
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个基于双向LSTM的神经网络架构来计算单词在上下文中的表示。这些上下文敏感的单词表示适合于，例如，区分不同的词义和其他上下文调制的意义变化。为了学习我们模型的参数，我们使用跨语言监督，假设一个词在上下文中的良好表示将足以选择正确的翻译成第二语言。我们在三个下游任务中评估表征的质量：语义超义预测（将名词和动词分配到几十个语义类中），低资源机器翻译和词汇替换任务，并在所有这些任务上获得最先进的结果。
2015-11-19 cs.CL
An Automated Method to Enrich Consumer Health Vocabularies Using GloVe Word Embeddings and An Auxiliary Lexical Resource
University of Arkansas（阿肯色大学）
背景：清晰的语言使任何两方之间的沟通更容易。由于不理解该领域常见的专业术语，外行可能难以与专业人士沟通。在医疗保健中，很少能找到一个懂医学术语的外行，这可能导致他们对自己的病情和/或治疗的理解不足。为了弥合这一差距，已经创建了几个专业词汇表和本体，以将外行医学术语映射到专业医学术语，反之亦然。目的：许多呈现的词汇表是手动或半自动构建的，需要大量的时间和人力投入，因此这些词汇表的增长缓慢。在本文中，我们提出了一个自动的方法来丰富外行的词汇，能够应用于任何领域的词汇的好处。研究方法：我们完全自动化的方法使用机器学习，特别是全局向量词嵌入（GloVe），从社交媒体医疗平台收集的语料库，以扩展和增强消费者健康词汇（CHV）。我们的方法进一步提高了CHV，将同义词和下义词从WordNet本体。使用来自美国国家医学图书馆（NLM）的两个外行数据集，开放获取消费者健康词汇（OAC CHV）和MedlinePlus医疗保健词汇，对基本的GloVe和我们结合WordNet的新算法进行了评估。结果：结果表明，GloVe能够找到新的外行术语，F分数为48.44%。此外，我们的增强GloVe方法优于基本GloVe，平均F分数为61%，相对提高了25%。此外，增强的GloVe在两个地面实况数据集上显示出统计学显著性，P<.001。
2021-05-18 cs.CL cs.LG
SpreadPy: A Python tool for modelling spreading activation and superdiffusion in cognitive multiplex networks
CogNosco Lab, Department of Psychology and Cognitive Science, University of Trento（CogNosco实验室，心理学与认知科学系，特伦托大学）；Department of Psychology, National University of Singapore（心理学系，新加坡国立大学）
SpreadPy是一个用于模拟认知单层和多重网络中扩散激活的Python库，通过三个案例研究展示了其在区分数学焦虑、调节认知负荷和关联失语症临床损伤方面的效用，为心理学、神经科学和教育研究提供可重复的机制性见解。
2025-07-13 cs.CL
Toward Effective Multi-Domain Rumor Detection in Social Networks Using Domain-Gated Mixture-of-Experts
University of Tehran（德黑兰大学）；Hazrat-e Masoumeh University（圣马苏梅大学）；Iran Telecommunication Research Center (ITRC)（伊朗电信研究中心）
本研究提出一种多领域谣言检测模型，通过领域门控专家混合方法提升跨领域检测性能，实现高准确率的谣言分类。
2026-01-28 cs.CL cs.IR cs.SI
WMDecompose: A Framework for Leveraging the Interpretable Properties of Word Mover's Distance in Sociocultural Analysis
McGill University（麦吉尔大学）；Columbia University（哥伦比亚大学）
尽管NLP在人文和社会科学中越来越受欢迎，但模型性能和复杂性的进步一直伴随着对社会文化分析的可解释性和解释力的担忧。平衡复杂性和易读性的一个流行模型是词移动距离（WMD）。大规模毁灭性武器表面上是为了便于解释而作了调整，但其使用和进一步发展的方式却往往抛弃了其最易于解释的方面：即把一组词语翻译成另一组词语所需的词语一级的距离。为了解决这个明显的差距，我们引入了WMDecompose：一个模型和Python库，1）将文档级距离分解为组成词级距离，2）随后对词进行聚类以归纳主题元素，从而保留并总结有用的词汇信息以供分析。为了说明其在社会科学背景下的潜力，我们将其应用于纵向社交媒体语料库，以探讨阴谋论和保守的美国话语之间的相互关系。最后，由于完整的大规模杀伤性武器模型的高时间复杂性，我们还建议了一种方法的采样文件对从大型数据集以可重复的方式，与严格的界限，防止外推不可靠的结果，由于不良的采样实践。
2021-10-14 cs.CL
Abolitionist Networks: Modeling Language Change in Nineteenth-Century Activist Newspapers
Google Research（谷歌研究院）
19世纪美国的废奴主义运动仍然是美国历史上最重要的社会和政治运动之一。主张废除奴隶制的报纸在围绕与废除奴隶制有关的一系列问题传播信息和形成公众舆论方面发挥了至关重要的作用。这些报纸也是今天学者了解这场运动的主要信息来源，从而对这场运动及其领导人进行了强有力的新描述。本文补充了最近的定性工作的作用，妇女在废除死刑的先锋，以及黑人新闻界的作用，定量文本建模方法。使用历时性的词嵌入，我们确定哪些报纸倾向于引导词汇语义创新-引入特定词汇的新用法-以及哪些报纸倾向于遵循。然后，我们将数百个变化的证据汇总到一个以报纸为节点的加权网络中;有向边权重表示每份报纸在采用词汇语义变化时领先于其他报纸的频率。对这一网络的分析揭示了词汇语义影响的途径，区分了领导者和追随者，以及那些与这一时期席卷而来的语义变化无关的人。更具体地说，我们发现，两份报纸编辑的妇女-商业自由人和百合花-导致大量的语义变化，在我们的语料库，贷款额外的可信度的论点，多种族的妇女联盟领导废奴运动在思想和行动方面。它也增加了学术研究的复杂性，这些学术研究试图将废奴运动与妇女选举权运动的关系以及作为其关系特征的令人烦恼的种族政治分开。
2021-03-12 cs.CL cs.CY cs.DL
SenseFitting: Sense Level Semantic Specialization of Word Embeddings for Word Sense Disambiguation
Goethe University Frankfurt（法兰克福歌德大学）
本文介绍了一个基于神经网络的德语词义消歧系统，该系统基于一种新的优化词义消歧的方法-SenseFitting。我们比基于知识的WSD方法的F1得分高出25%，并在德国意义注释数据集WebCAGe上产生了一个新的最先进的方法。我们的方法使用三个特征向量组成的a）意义，b）光泽，和c）关系向量来表示目标意义，并将它们与样本上下文的向量质心进行比较。利用广泛可用的词嵌入和词汇资源，我们能够弥补德语的低资源可用性。SenseFitting建立在最近引入的语义专业化过程Attract-Repel的基础上，并利用来自词汇语义网络（例如GermaNet）或在线社交词典（例如Wiktionary）的语义级语义约束，从预先训练的词嵌入中生成高质量的语义嵌入。我们评估我们的意义嵌入与一个新的SimLex-999为基础的相似性数据集，称为SimSense，我们开发了这项工作。我们实现的结果，优于目前的基于引理的专业化方法为德国，使他们的英语取得的成果相媲美。
2019-07-30 cs.CL cs.LG
Exploring the anatomy of articulation rate in spontaneous English speech: relationships between utterance length effects and social factors
University of Glasgow（格拉斯哥大学）；McGill University（麦吉尔大学）；University of Oregon（俄勒冈大学）；North Carolina State University（北卡罗来纳州立大学）
本研究通过建模13个英语语料库的语速，发现话语长度对语速影响最大且跨语料库和说话者差异小，年龄、性别影响幅度更小，提示语速的社会影响需结合言语约束背景解读。
2024-08-13 cs.CL cs.SD eess.AS
Agentic Detection of Online Conspiracies
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本研究提出一个智能体框架，利用社会上下文和工具推理，在希伯来语推文中检测阴谋论意图，显著优于文本分类及其他模型。
2026-11-04 cs.CL cs.LG
Task-specific Word Identification from Short Texts Using a Convolutional Neural Network
Tongji University（同济大学）；University of Arkansas（阿肯色大学）
特定任务词识别的目的是选择与任务相关的词，最好地描述一个简短的文本。现有的方法需要定义良好的种子词或词典（例如，WordNet），这些技术通常不适用于许多应用，例如社会歧视检测和虚假评论检测。然而，我们通常有一组带标签的短文本，其中每个短文本都有一个与任务相关的类标签，例如，歧视性或非歧视性，由用户指定或通过分类算法学习。在本文中，我们专注于识别特定于任务的单词和短语，从短文本利用其类标签，而不是使用种子词或词汇字典。我们将特定于任务的单词和短语识别视为特征学习。我们在一组标记文本上训练一个卷积神经网络，并使用分数向量来定位特定于任务的单词和短语。情感词识别的实验结果表明，我们的方法显着优于现有的方法。我们进一步进行两个案例研究，以显示我们的方法的有效性。一个爬行的推文数据集上的案例研究表明，我们的方法可以成功地捕获歧视相关的词/短语。另一个关于虚假评论检测的案例研究表明，我们的方法可以识别虚假评论词/短语。
2017-06-03 cs.CL cs.IR cs.LG
