Fundamentals of path analysis in the social sciences
最近一系列截然相反的文章的统计方法的相对价值的路径图分析在社会科学的动机,我们讨论从一个主要的理论角度选择的基本方面的路径建模和分析的基础上一个共同的自反设置。由于在辩论中明显缺乏技术支持,我们的目标是将其与主流统计文献联系起来,并解决可能有助于推动讨论的某些基本问题。我们并不打算支持或反对某种特定的方法或分析哲学。
2020-11-12 math.ST physics.soc-ph stat.ME
Making Uncertainty Visible: Multiverse Analysis for Robust Computational Social Science
GESIS - Leibniz Institute for the Social Sciences(GESIS-莱布尼茨社会科学研究所)
本文通过案例研究展示多元宇宙分析如何增强计算社会科学研究在面对替代方法学决策时的稳健性和透明性,通过分析三个使用贝叶斯分析、网络生成建模和机器学习(含或不含大语言模型)的社会科学研究,揭示了不同方法学决策组合对实证发现的影响,并指出展示导致计算失败的方法组合是进行多元宇宙分析的动机。
2026-05-19 stat.OT
Bayesian Analysis for Social Science Research
本文阐述贝叶斯推理在社会科学研究中的重要性,通过政治调查、人口动态和教育测试案例,介绍贝叶斯建模、计算及检验等基础方法,面向非专业受众。
2023-06-21 stat.ME
Open data, open review and open dialogue in making social sciences plausible
如今,保护对社会科学的信任也意味着参与公开的社区对话,这有助于维护研究方法的稳健性并提高其效率。公开数据、公开审查和公开对话的结合听起来可能很简单,但在现实世界中的实施并不简单。然而,鉴于Begley和Ellis(2012)的声明,“科学过程需要最高标准的质量,道德和严谨性”,它们值得实施。更重要的是,它们是可行的工作,并可能有助于恢复社会科学研究的可行性。因此,我认为无论研究经费来源如何,开放数据、开放审查和开放对话这三位一体可能会逐渐成为政策要求。
2017-12-13 stat.ME stat.OT
A Framework for Reproducible, Interactive Research: Application to health and social sciences
本文的目的是介绍一个基于开源技术的可重复的交互式研究报告框架,应用于大临床数据。该框架由以下三个轴心构成:(一)数据;(二)分析代码;(三)传播。本文介绍了不同的文档格式和在线知识库。为了集成和管理可复制的内容,我们建议将R语言作为首选工具。所有的信息然后被发布和收集在一个网站上为不同的项目。这个框架是免费的,用户友好的,并建议提高健康科学报告的可重复性。
2013-04-21 cs.CY cs.DL stat.CO
Examining inverse generative social science to study targets of interest
本文评估逆向生成社会科学(IGSS)方法,通过回顾文献及两项冲突研究,发现其在组织研究中具有潜力,能拟合复杂非线性模型并解释为社会理论,同时提供基础软件。
2024-07-18 stat.CO
AI for social science and social science of AI: A Survey
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文综述AI与社会科学的交叉研究,将其划分为AI赋能社会科学和AI的社会科学两大方向,并提供统一框架与仿真平台梳理。
2024-01-22 cs.CL cs.CY
SsciBERT: A Pre-trained Language Model for Social Science Texts
Nanjing University of Science and Technology(南京理工大学);Nanjing Agricultural University(南京农业大学);Wuhan University(武汉大学)
社会科学学术文献是记录人类文明、研究人类社会问题的文献。随着其大规模的发展,如何快速找到相关问题的已有研究成果成为研究者的迫切需求。之前的研究,如SciBERT,已经表明使用特定领域的文本进行预训练可以提高自然语言处理任务的性能。然而,到目前为止,用于社会科学的预训练语言模型还不可用。有鉴于此,本研究提出了一个基于社会科学引文索引(SSCI)期刊上发表的摘要的预训练模型。这些模型可在GitHub(https://github.com/S-T-Full-Text-Knowledge-Mining/SSCI-BERT)上获得,在学科分类、抽象结构-功能识别和社会科学文献的命名实体识别任务方面表现出色。
2022-11-25 cs.CL
Computer-Assisted Text Analysis for Social Science: Topic Models and Beyond
College of Computing and Informatics University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校计算与信息学院)
主题模型是一系列基于语义的算法,用于总结、探索和索引大量的文本文档。在计算机科学家领导的十年研究之后,主题模型已经扩展到社会科学,因为新一代数据驱动的社会科学家正在寻找工具来探索大量非结构化文本。最近,社会科学家在因果推理和处理多模态问题的工具方面的发展为主题模型文献做出了贡献。在本文中,我提供了一个文献综述的主题建模的演变,包括扩展文档协变量,评估和解释的方法,以及在交互式可视化的进展,以及每个方面的相关性和社会科学研究的应用。
2018-04-03 cs.CL
Transformer Encoder for Social Science
Princeton University(普林斯顿大学);Boston University(波士顿大学)
高质量的文本数据已经成为社会科学家的重要数据来源。我们已经见证了预训练的深度神经网络模型的成功,例如BERT和RoBERTa,在最近的社会科学研究中。在本文中,我们提出了一个紧凑的预训练深度神经网络,Transformer Encoder for Social Science(TESS),旨在解决社会科学研究中的文本处理任务。使用两个验证测试,我们证明了TESS优于BERT和RoBERTa平均16.7%的训练样本的数量是有限的(<1,000训练实例)。结果显示TESS在社会科学文本处理任务上优于BERT和RoBERTa。最后,我们讨论了我们的模型的局限性和未来的研究提出了建议。
2022-08-17 cs.AI cs.CL
Transformer-based Context-aware Sarcasm Detection in Conversation Threads from Social Media
Emory University(埃默里大学)
我们提出了一个基于transformer的讽刺检测模型,该模型考虑了整个会话线程的上下文,以实现更强大的预测。我们的模型使用深层的Transformer层来执行线程中的目标话语和相关上下文之间的多头注意力。在来自社交媒体Twitter和Reddit的两个数据集上对上下文感知模型进行了评估,并显示出比基线提高了3.1%和7.0%。我们的最佳模型分别为Twitter和Reddit数据集提供了79.0%和75.0%的F1分数,成为该共享任务中36名参与者中性能最高的系统之一。
2020-05-22 cs.CL
Toward Responsible and Epistemically Grounded Multilingual LLMs for Computational Social Science and Humanities
Northwestern University in Qatar(卡塔尔西北大学)
本文重新概念化多语言推理大语言模型为解释学工具,提出一个基于理论框架来评估其在社会科学与人文学科研究中的文化对齐、跨语言稳定性和推理忠实性。
2026-05-30 cs.CL
BRUMS at SemEval-2020 Task 12 : Transformer based Multilingual Offensive Language Identification in Social Media
University of Wolverhampton(伍尔弗汉普顿大学);Birmingham City University(伯明翰城市大学)
在本文中,我们描述了团队\textit{BRUMS}进入OffensEval 2:SemEval-2020中社交媒体中的多语言攻击性语言识别。OffensEval组织者向参与者提供了带有注释的数据集,其中包含来自阿拉伯语、丹麦语、英语、希腊语和土耳其语社交媒体的帖子。我们提出了一个多语言深度学习模型来识别社交媒体中的攻击性语言。总体而言,该方法达到了可接受的评价分数,同时保持了语言之间的灵活性。
2020-10-13 cs.AI cs.CL
Evaluation of Word Embeddings for the Social Sciences
RWTH Aachen(亚琛工业大学);GESIS - Leibniz Institute for the Social Sciences(GESIS——莱布尼茨社会科学研究所)
词嵌入是许多NLP任务中必不可少的工具。大多数可用的资源都是从网络语料库或维基百科转储的通用语言进行培训的。然而,领域特定语言的词嵌入是罕见的,特别是社会科学领域。因此,在这项工作中,我们描述了基于37,604篇开放获取的社会科学研究论文的词嵌入模型的创建和评估。在评估中,我们比较了特定领域和一般语言模型的(i)语言覆盖率,(ii)多样性和(iii)语义关系。我们发现,创建的特定领域的模型,即使有一个相对较小的词汇量,涵盖了社会科学概念的很大一部分,他们的邻居是不同的,相比更一般的模型。在所有关系类型中,我们发现语义关系的覆盖范围更广。
2023-02-13 cs.CL
Learning affective meanings that derives the social behavior using Bidirectional Encoder Representations from Transformers
University of Virginia(弗吉尼亚大学);University of Georgia(佐治亚大学)
预测过程的结果需要对系统进行动态建模并观察状态。在社会行为的背景下,情绪表征系统的状态。情感控制理论(ACT)使用情感来表现潜在的互动。ACT是一种基于三维情感词典的文化和行为生成理论。传统上,情绪是使用调查数据量化的,这些数据被输入回归模型来解释社会行为。由于费用过高,调查中使用的词汇有限。本文使用一个微调双向编码器表示从Transformers(BERT)模型开发这些调查的替代品。该模型在估计情感含义、扩展情感词典和允许解释更多行为方面达到了最先进的精度。
2022-09-13 cs.CL
Complaint Identification in Social Media with Transformer Networks
University of Sheffield(谢菲尔德大学);Department of Computer Science, University of Sheffield(谢菲尔德大学计算机科学系)
抱怨是人类广泛使用的一种言语行为,用于传达现实与期望之间的负面不一致。以前在社交媒体中自动识别投诉的工作主要集中在使用基于特征和特定任务的神经网络模型。调整最先进的预训练神经语言模型及其与来自主题或情绪的其他语言信息的组合以进行投诉预测还有待探索。在本文中,我们评估了一组神经模型支持的Transformer网络,我们随后结合语言信息。在一个公开的投诉数据集上的实验表明,我们的模型比以前的最先进的方法有很大的优势,实现了高达87的宏F1。
2020-10-21 cs.CL
Adaptation of domain-specific transformer models with text oversampling for sentiment analysis of social media posts on Covid-19 vaccines
新型冠状病毒肺炎(COVID-19,即2019冠状病毒病)已在全球蔓延,人们已开发出多种疫苗来应对疫情的激增。为了从社交媒体帖子中识别与疫苗相关的正确情绪,我们在与Covid-19疫苗相关的推文上微调各种最先进的预训练Transformer模型。具体来说,我们使用最近推出的最先进的预训练Transformer模型RoBERTa、XLNet和BERT,以及针对Covid-19推文预训练的特定领域Transformer模型CT-BERT和BERTweet。我们进一步探索了文本增强的选项,通过使用基于语言模型的过采样技术(LMOTE)来提高这些模型的准确性,特别是对于小样本数据集,其中在正面,负面和中性情感类之间存在不平衡的类分布。我们的研究结果总结了我们对不平衡小样本数据集的文本过采样的适用性的研究结果,这些数据集用于微调最先进的预训练Transformer模型,以及特定于域的Transformer模型在分类任务中的实用性。
2023-01-13 cs.CL
Linking Social Media Posts to News with Siamese Transformers
Institute for Data Science(数据科学研究所);Carleton University(卡尔顿大学)
许多计算社会科学项目研究围绕特定趋势主题的在线话语。这些工作通常涉及到获取与事件相关的大型语料库,以分析对事件的反应的各个方面。关键词搜索呈现出精确度和召回率的权衡,而众包注释虽然有效,但成本高昂。这项工作的目的是使自动和准确的ad-hoc检索的评论讨论一个热门话题,从一个大的语料库,只使用少数种子新闻文章。
2020-01-10 cs.CL cs.IR
XD at SemEval-2020 Task 12: Ensemble Approach to Offensive Language Identification in Social Media Using Transformer Encoders
Emory University(埃默里大学)
本文提出了六个文档分类模型,使用最新的Transformer编码器和高性能的集成模型的攻击性语言识别的任务,在社交媒体。对于单个模型,应用深Transformer层来执行多头注意力。对于集成模型,从这些单独的模型中提取的话语表示被连接并馈送到线性解码器中以做出最终决定。我们的集成模型优于单个模型,并显示出比开发集上的单个模型高出8.6%的改进。在测试集上,它达到了90.9%的宏F1,成为该共享任务的子任务A中85个参与者中的高性能系统之一。我们的分析表明,尽管集成模型显着提高了开发集的准确性,但在测试集上的提高并不明显。
2020-07-21 cs.CL
LLM-Measure: Generating Valid, Consistent, and Reproducible Text-Based Measures for Social Science Research
Hong Kong University of Science and Technology(香港科技大学)
本文提出LLM-Measure方法,利用大语言模型内部隐藏状态学习概念向量并投影生成文本度量,经三项复制研究验证,该方法在社会科学研究中产生有效、一致且可复现的度量。
2024-09-19 cs.CL
Detection of depression on social networks using transformers and ensembles
University of Ljubljana, Faculty of Computer and Information Sciences(卢布尔雅那大学计算机与信息科学学院);Jozef Stefan Institute(约泽夫·斯蒂芬研究所)
针对社交媒体上的抑郁症检测,构建基于预训练语言模型(BERT、RoBERTa等)的分类器及两种集成,在Reddit和Twitter数据集上验证,集成方法优于单个模型。
2023-05-09 cs.AI cs.CL
Random Forest-of-Thoughts: Uncertainty-aware Reasoning for Computational Social Science
Queensland University of Technology(昆士兰科技大学);Wuhan University of Technology(武汉理工大学);University of Southern Queensland(南昆士兰大学)
针对社会调查分析中需要探索和不确定性搜索的复杂推理问题,提出随机思维森林(RFoT)提示方法,通过生成多样化思维空间并随机选择子思维构建思维森林,增强LLM决策能力,实验证明其在两个社会调查分析任务上显著提升性能。
2025-02-26 cs.CL
Injecting Knowledge from Social Science Journals to Improve Indonesian Cultural Understanding by LLMs
Nanyang Technological University(南洋理工大学)
本研究通过构建IndoSoSci数据集,利用检索增强生成方法将印度尼西亚文化知识注入LLMs,提升其对印度尼西亚文化的理解能力,并在基准测试中取得显著性能提升。
2026-01-19 cs.CL
Validating LLMs in social science: Epistemic threats and emerging norms
School of Information, University of Michigan(信息学院,密歇根大学);Center for the Study of Complex Systems, University of Michigan(复杂系统研究中心,密歇根大学)
研究探讨大语言模型对社会科学方法论的重塑,通过分析八本旗舰期刊论文语料库,发现其生成测量在实证分析中核心作用凸显,但验证实践存问题,进而概述补充策略以完善大语言模型在社会科学应用的规范标准。
2026-07-10 cs.CL cs.CY
SocialBERT -- Transformers for Online SocialNetwork Language Modelling
National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学)
当代语言理解任务的普遍性使得开发利用数据源提供的所有知识的通用但高效的模型具有相关性。在这项工作中,我们提出了SocialBERT -第一个模型,使用知识的作者在网络中的位置在文本分析。我们研究了可能的模型学习社会网络信息,并成功地将其注入到基线BERT模型。评估表明,嵌入这些信息保持了良好的泛化能力,给定作者的概率模型质量提高了7.5%。所提出的模型已经在所选社交网络的大多数群体上进行了训练,并且仍然能够与以前未知的群体一起工作。所获得的模型,以及我们的实验代码,可供下载和应用任务中使用。
2021-11-13 cs.AI cs.CL cs.SI
Enhancing Data Quality through Simple De-duplication: Navigating Responsible Computational Social Science Research
School of Computer Science, The University of Sheffield(谢菲尔德大学计算机科学学院)
本研究针对计算社会科学NLP领域的20个常用社交媒体数据集展开质量分析,发现数据重复引发标签不一致、数据泄露等问题并可能高估模型真实性能,进而提出数据集构建与使用的新规范和最佳实践。
2024-10-04 cs.CL
Multi-Modal Discussion Transformer: Integrating Text, Images and Graph Transformers to Detect Hate Speech on Social Media
University of Waterloo(滑铁卢大学)
本文提出多模态讨论Transformer(mDT),利用图Transformer融合讨论上下文中的文本与图像信息来检测Reddit仇恨言论,并构建新数据集HatefulDiscussions验证其优于仅处理单条评论的基线方法。
2024-02-22 cs.CL cs.LG cs.MM
Social Science Meets LLMs: How Reliable Are Large Language Models in Social Simulations?
University of Notre Dame(圣母大学);Lehigh University(利哈伊大学);William & Mary(威廉玛丽学院)
针对大语言模型在社会模拟中可靠性研究不足的问题,本文构建了涵盖10个计算社会科学主题的TrustSim评估数据集,测试14款LLM发现模拟角色存在不一致性且与通用性能无强相关,还提出AdaORPO算法提升7款LLM的模拟可靠性,为相关研究奠基。
2024-10-30 cs.CL
Rethinking LLM Bias Probing Using Lessons from the Social Sciences
Harvard University(哈佛大学);John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
针对LLM偏见探测缺乏选择标准、冲突协调系统和泛化推理框架的挑战,本文借鉴社会科学见解系统化偏见探测,并提出EcoLevels框架以确定探测方法、协调冲突发现并预测偏见泛化。
2025-02-28 cs.AI cs.CL cs.CY
Evaluating Transformer Models for Suicide Risk Detection on Social Media
Adam Mickiewicz University(亚当·密茨凯维奇大学);Poznan University of Medical Sciences(波兹南医科大学);Kazimierz Wielki University(卡齐米日·维利基大学)
本研究针对社交媒体自杀风险检测任务,实验了三种Transformer模型配置,发现微调GPT-4o表现最优,在IEEE BigData 2024 Cup竞赛中获第二名,证明通用模型经少量调优即可有效用于该检测任务。
2024-10-10 cs.CL
Depth and Autonomy: A Framework for Evaluating LLM Applications in Social Science Research
针对大语言模型在质性社会科学应用中存在的解释偏差、可靠性低等问题,提出基于解释深度和自主性的评估框架,建议拆解任务、低自主选择性提深度,兼顾效率与研究透明度可靠性。
2025-10-29 cs.CL
Text Mining for Processing Interview Data in Computational Social Science
Gavagai;Stanford University(斯坦福大学)
我们使用商用文本分析技术来处理来自计算社会科学研究的采访文本数据。我们发现,主题聚类和术语丰富提供方便的探索和量化的反应。这使得生成和测试假设以及比较文本和非文本变量成为可能,并节省了分析人员的工作。我们鼓励社会科学研究使用文本分析,特别是探索性开放式研究。我们讨论了文本分析技术如何满足可复制性要求。我们注意到,最新的学习模型在设计时并没有考虑到透明度,研究要求模型是可编辑的,其决策是可解释的。今天可用的工具,如本研究中使用的工具,不是为处理采访文本而设计的。虽然许多正在考虑的变量是可量化的使用词汇统计,我们发现,一些有趣的和潜在的有价值的功能是很难或不可能可靠地自动化目前。我们注意到,传统的自然语言处理机制,如命名实体识别和指代消解在这个应用领域有一些潜在的有趣的应用。最后,我们建议语言技术人员全面调查处理采访数据的挑战,特别是问题和回答之间的相互作用,我们鼓励社会科学研究人员不要犹豫使用文本分析工具,特别是在处理采访数据的探索阶段。
2020-11-28 cs.CL
Cyberbullying detection across social media platforms via platform-aware adversarial encoding
Queen Mary University of London(伦敦玛丽女王大学)
尽管人们对网络欺凌检测的兴趣越来越大,但现有的努力在很大程度上仅限于在单一平台上进行实验,并且它们在不同社交媒体平台上的普遍性受到的关注较少。我们提出了XP-CB,一种基于Transformers和对抗学习的新型跨平台框架。XP-CB可以增强Transformer,利用来自源平台和目标平台的未标记数据来提出公共表示,同时防止特定于平台的训练。为了验证我们提出的框架,我们通过六个跨平台的配置,从三个不同的平台上的网络欺凌数据集进行实验,显示其有效性与BERT和RoBERTa作为底层的Transformer模型。
2022-04-01 cs.CL
NLPBK at VLSP-2020 shared task: Compose transformer pretrained models for Reliable Intelligence Identification on Social network
Brains Technology, Inc.(布雷恩斯科技公司);Websosanh AI(Websosanh人工智能公司)
本文介绍了我们的方法调整基于transformer的预训练模型,适应可靠的智能识别越南SNS问题。我们还提出了一个模型,它将基于bert的预训练模型与一些元数据特征相结合,例如评论数量,喜欢数量,SNS文档的图像等。VLSP共享任务的改进结果:可靠的越南SNS情报识别。通过适当的训练技术,我们的模型能够在公共测试集上达到0.9392 ROC-AUC,最终版本在私有测试集上达到前2个ROC-AUC(0.9513)。
2021-01-29 cs.CL cs.IR
Hope Speech Detection in Social Media English Corpora: Performance of Traditional and Transformer Models
本研究对比传统机器学习与Transformer模型在社交媒体希望言论检测中的性能,发现Transformer模型在精确率和召回率上更优,最佳模型加权F1达0.79。
2025-10-27 cs.AI cs.CL
Semantic maps and metrics for science Semantic maps and metrics for science using deep transformer encoders
QuillBot;University of Chicago(芝加哥大学);Santa Fe Institute(圣塔菲研究所)
越来越多的科学出版物需要文本分析工具,可以帮助科学家和政策制定者导航,预测和有益地指导科学研究。由深度Transformer网络驱动的自然语言理解的最新进展为映射科学提供了新的可能性。由于相同的表面文本可以在不同的研究社区中呈现多种甚至有时是相互矛盾的专业感觉,因此对上下文的敏感性对于信息计量应用至关重要。诸如BERT之类的Transformer嵌入模型捕捉在任何特定单词或文本跨度的不同语言上下文中变化的关联和内涵的阴影。在这里,我们报告了一个程序编码的科学文献与这些工具,测量其改进静态词嵌入在最近邻检索任务。我们发现上下文表征的可辨别性受到用于总结高维网络激活的池化策略的选择的强烈影响。重要的是,我们注意到领域匹配的训练数据等基础知识比最先进的NLP工具更重要。然而,最先进的模式确实带来了巨大的收益。我们研究的最佳方法结合了域匹配预训练,声音池和最先进的深度Transformer网络编码器。最后,为了利用深度编码器的上下文表示,我们提出了一系列用于理解和预测科学研究社区的测量方法。
2021-04-13 cs.AI cs.CL cs.LG
Zero-Training Temporal Drift Detection for Transformer Sentiment Models: A Comprehensive Analysis on Authentic Social Media Streams
Aayam Bansal Ishaan Gangwani
本文提出了一种无训练的时间漂移检测方法,通过分析真实社交媒体数据,揭示了Transformer情感模型在事件驱动期间的性能退化,并引入了四种高效的时间漂移度量标准。
2025-11-30 cs.AI cs.CL cs.LG
Cross-Lingual Query-Based Summarization of Crisis-Related Social Media: An Abstractive Approach Using Transformers
Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高级研究院)
在危机期间从社交媒体收集的相关和及时的信息可以成为应急管理的宝贵资源。然而,提取这些信息仍然是一项具有挑战性的任务,特别是在处理多种语言的社交媒体帖子时。这项工作提出了一种跨语言的方法,检索和总结危机相关的信息,从社交媒体帖子。我们描述了一个统一的方式来表达各种信息需求,通过结构化查询和创建摘要回答这些信息需求的方式。该方法基于多语言Transformers嵌入。句子是用嵌入支持的语言之一编写的,提取的句子可以是支持的任何其他语言。Transformers创建抽象摘要。这项评估由众包评估人员和应急管理专家完成,并在五次大规模灾难期间从Twitter上提取了10种语言的集合,显示了我们方法的灵活性。生成的摘要被认为比现有的最先进的方法更有重点,更有结构,更连贯,专家们将其与现有的最先进的方法创建的摘要进行了比较。
2022-04-21 cs.CL cs.CY cs.IR
Check_square at CheckThat! 2020: Claim Detection in Social Media via Fusion of Transformer and Syntactic Features
TIB Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
在这个新闻消费的数字时代,新闻读者有能力以高度互动和快速的方式与他人反应,表达和分享意见。因此,假新闻已经进入我们的日常生活,因为大公司和个人在互联网上核实新闻的能力非常有限。在本文中,我们专注于解决事实核查生态系统中的两个问题,这两个问题可以帮助在社交媒体上不断增加的内容流中自动进行事实核查。对于第一个问题,声明检查价值预测,我们探索了语法特征和来自Transformers(BERT)嵌入的深度Transformer双向编码器表示的融合,以对推文的检查价值进行分类,即它是否包括声明。我们进行了详细的功能分析,并提出了我们的最佳表现模型为英语和阿拉伯语的推文。对于第二个问题,索赔检索,我们从专门针对语义文本相似性训练的连体网络Transformer模型(transformer-transformers)中探索预训练的嵌入,并执行KD搜索以检索关于查询tweet的验证索赔。
2020-09-20 cs.CL cs.SI
Navigating the Risks of Using Large Language Models for Text Annotation in Social Science Research
Stony Brook University(石溪大学)
本文面向社会科学文本标注,提出将 LLM 用作主要编码决策者或助手的评估框架,系统检验其有效性、可靠性、可复现性与透明度风险,并给出实用指南。
2025-07-25 cs.CL cs.CY
Causal Knowledge Extraction from Scholarly Papers in Social Sciences
Belk College of Business, University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校贝尔克商学院);Duke University(杜克大学);College of Computing and Informatics, University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校计算与信息学院)
今天学术文章的规模和范围压倒了寻求及时消化和综合知识的人类研究人员。在本文中,我们试图开发自然语言处理(NLP)模型,以加快从社会科学学术论文中提取关系的速度,从这些论文中识别假设,并提取因果实体。具体来说,我们开发模型来1)将商业和管理学术文献中的句子分类为假设(假设分类),2)将这些假设分类为因果关系或非因果关系(因果关系分类),如果它们是因果关系,3)从这些假设中提取因果实体(实体提取)。我们已经实现了高性能的所有三个任务使用不同的建模技术。我们的方法可以推广到广泛的社会科学的学术文件,以及其他类型的文本材料。
2020-06-16 cs.CL cs.DL cs.IR
HULAT at SemEval-2023 Task 10: Data augmentation for pre-trained transformers applied to the detection of sexism in social media
本文介绍了我们参与SemEval-2023任务10,其目标是检测社交媒体中的性别歧视。我们将探讨一些最流行的Transformer模型,如BERT、DistilBERT、RoBERTa和XLNet。我们还研究了不同的数据增强技术来增加训练数据集。在开发阶段,我们通过对任务B和C使用RoBERTa和数据增强获得了最佳结果。然而,使用合成数据并不能改善任务C的结果。我们参与了三个子任务。我们的方法仍然有很大的改进空间,特别是在两个细粒度的分类。我们所有的代码都可以在存储库https://github.com/isegura/hulat_edos中找到。
2023-03-01 cs.AI cs.CL cs.LG
Mixed Membership Word Embeddings for Computational Social Science
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
词嵌入通过揭示词之间隐藏的结构关系来提高NLP系统的性能。尽管在许多应用中取得了成功,但词嵌入在计算社会科学NLP任务中的应用很少,可能是因为它们依赖于大数据,并且缺乏可解释性。本文提出了一种基于概率模型的词嵌入方法,该方法可以在不需要大数据的情况下恢复可解释的嵌入。关键的洞察力是利用混合成员建模,其中全局表示是共享的,但各个实体(即字典单词)可以自由地使用这些表示,以独特的不同程度。我将展示如何结合使用最先进的词嵌入和主题模型训练技术来训练模型。实验结果表明,在预测语言建模的MRR高达63%的跳跃-gram的改进,并证明表示是有益的监督学习。我说明了模型的可解释性与计算社会科学的国情咨文和NIPS文章的案例研究。
2018-02-20 cs.AI cs.CL cs.LG
Prompt Refinement or Fine-tuning? Best Practices for using LLMs in Computational Social Science Tasks
IT University of Copenhagen(哥本哈根信息技术大学);Pioneer Center for AI(人工智能先锋中心)
本文通过在23项社会知识任务基准上评估现代大语言模型分类方法,提出三项最佳实践:选用更大词汇量和预训练语料库的模型、采用AI增强提示而非简单零样本,以及在任务数据上微调并视数据丰富度决定是否进行多数据集指令微调。
2024-08-02 cs.CL cs.CY physics.soc-ph
Cognitive network science for understanding online social cognitions: A brief review
University of Exeter(埃克塞特大学)
社交媒体正在将大量用户在时间线和情感内容方面的认知数字化。这些大数据为研究感知、个性和信息扩散等认知现象提供了前所未有的机会,但需要合适的可解释框架。由于社交媒体数据来自用户的头脑,因此这一挑战的有价值的候选者是认知网络,即为心理概念联想提供结构的认知模型。这项工作概述了认知网络科学如何通过在线媒体为理解认知开辟新的定量方法,例如:(i)重建用户如何使用机器学习无法获得的上下文知识在语义和情感上构建事件,(ii)通过社会话语中的知识结构研究概念突显/突出;(iii)通过帖子中的语言研究用户的个性特征,如开放性、好奇心和创造力;(iv)通过比较影响者和追随者的心态的多层网络,将认知/情感内容和社会动态联系起来。这些进步结合了认知、网络和计算机科学,以理解数字和现实世界环境中的认知机制,但在代表性、个体差异性和数据整合方面存在局限性。这些方面的讨论沿着操纵社会认知数据的伦理影响。在未来,通过网络和社交媒体阅读认知可以暴露被在线平台放大的认知偏见,并为政策制定、教育和市场提供有关大规模复杂认知趋势的相关信息。
2021-02-25 cs.CL cs.CY cs.SI
Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models
Université Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学);Université Paris-Saclay(巴黎萨克雷大学);Institut Jean Nicod(让·尼科德研究所);Ecole Normale Supérieure(巴黎高等师范学院);PSL-EHESS-CNRS(巴黎文理研究大学-法国高等社会科学研究院-法国国家科学研究中心)
本文研究提示选择对大型语言模型社会科学文本标注准确性的影响,发现不同提示性能差异显著,并提出自动提示优化方法以系统构建高质量提示,同时提供浏览器实现工具。
2025-03-10 cs.AI cs.CL cs.CY