高质量的文本数据已经成为社会科学家的重要数据来源。我们已经见证了预训练的深度神经网络模型的成功，例如BERT和RoBERTa，在最近的社会科学研究中。在本文中，我们提出了一个紧凑的预训练深度神经网络，Transformer Encoder for Social Science（TESS），旨在解决社会科学研究中的文本处理任务。使用两个验证测试，我们证明了TESS优于BERT和RoBERTa平均16.7%的训练样本的数量是有限的（<1,000训练实例）。结果显示TESS在社会科学文本处理任务上优于BERT和RoBERTa。最后，我们讨论了我们的模型的局限性和未来的研究提出了建议。
英文摘要：
High-quality text data has become an important data source for social scientists. We have witnessed the success of pretrained deep neural network models, such as BERT and RoBERTa, in recent social science research. In this paper, we propose a compact pretrained deep neural network, Transformer Encoder for Social Science (TESS), explicitly designed to tackle text processing tasks in social science research. Using two validation tests, we demonstrate that TESS outperforms BERT and RoBERTa by 16.7% on average when the number of training samples is limited (<1,000 training instances). The results display the superiority of TESS over BERT and RoBERTa on social science text processing tasks. Lastly, we discuss the limitation of our model and present advice for future researchers.
Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models
Université Paris 1 Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦大学）；Université Paris-Saclay（巴黎萨克雷大学）；Institut Jean Nicod（让·尼科德研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL-EHESS-CNRS（巴黎文理研究大学-法国高等社会科学研究院-法国国家科学研究中心）
Application of the interactive Leipzig Corpus Miner as a generic research platform for the use in the social sciences
University Leipzig（莱比锡大学）；Leibniz-Institut für Medienforschung - Hans-Bredow-Institut (HBI)（莱布尼茨媒体研究研究所-汉斯·布勒多夫研究所（HBI））
本文介绍了交互式Leipzig Corpus Miner（iLCM）-一个新发布的开源软件，用于执行自动内容分析。由于iLCM是基于R-程序设计语言的，其通用的文本挖掘过程通过一个用户友好的图形用户界面（GUI）可以很容易地使用集成的IDE RStudio服务器或工具中的许多其他接口进行扩展。此外，iLCM提供了多种可能性，结合使用定量和定性研究方法。下文将更详细地介绍其中一些可能性。
Causal Knowledge Extraction from Scholarly Papers in Social Sciences
Belk College of Business, University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校贝尔克商学院）；Duke University（杜克大学）；College of Computing and Informatics, University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校计算与信息学院）
Multilingual Agent-Based World Modeling for Social Science
Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）；Singapore University of Technology and Design（新加坡科技设计大学）；National School of Development, Peking University（北京大学国家发展研究院）；Singapore Management University（新加坡管理大学）
Assessing the Applicability of Natural Language Processing to Traditional Social Science Methodology: A Case Study in Identifying Strategic Signaling Patterns in Presidential Directives
Introduction to Neural Transfer Learning with Transformers for Social Science Text Analysis
Ludwig-Maximilians-Universität München（慕尼黑大学）
基于transformer的迁移学习模型具有在相对较少的训练数据实例的情况下实现基于文本的监督学习任务的高预测精度的潜力。因此，这些模型很可能有利于社会科学家，寻求尽可能准确的基于文本的措施，但只有有限的资源来注释训练数据。为了使社会科学家能够利用这些潜在的好处，他们的研究，本文解释了这些方法是如何工作的，为什么他们可能是有利的，以及他们的局限性是什么。此外，三个基于transformer的迁移学习模型，BERT（Devlin et al. 2019），RoBERTa（Liu et al. 2019）和Longformer（Beltagy et al. 2020），在三个应用程序上与传统的机器学习算法进行了比较。在所有评估的任务、文本风格和训练数据集大小中，传统模型的表现始终优于使用Transformers的迁移学习，从而证明了这些模型可以为基于文本的社会科学研究带来的好处。
