本文提出了一项测试方案，用于在非英语语言的数据上借助大语言模型（Large Language Model, LLM）开展主题分析（Thematic Analysis, TA）。尽管已有初步研究显示预训练LLM在英语数据上执行TA具有良好前景，但目前尚无测试验证这些模型能否在其他语言中以合格质量完成同类分析。本文采用一个意大利语半结构化访谈的开放获取数据集设计测试。测试结果表明，预训练模型即使使用意大利语提示词，也能在该数据上完成此类TA。对比测试显示，模型生成的主题与人类研究者独立得出的主题具有较高相似度。本研究的核心启示是，只要所用模型支持对应语言，预训练LLM就有望为多语言场景下的分析工作提供支持。
英文摘要：
This paper proposes a test to perform Thematic Analysis (TA) with Large Language Model (LLM) on data which is in a different language than English. While there has been initial promising work on using pre-trained LLMs for TA on data in English, we lack any tests on whether these models can reasonably perform the same analysis with good quality in other language. In this paper a test will be proposed using an open access dataset of semi-structured interviews in Italian. The test shows that a pre-trained model can perform such a TA on the data, also using prompts in Italian. A comparative test shows the model capacity to produce themes which have a good resemblance with those produced independently by human researchers. The main implication of this study is that pre-trained LLMs may thus be suitable to support analysis in multilingual situations, so long as the language is supported by the model used.
AI "News" Content Farms Are Easy to Make and Hard to Detect: A Case Study in Italian
Istituto di Scienza e Tecnologia dell’Informazione “A. Faedo”（A. Faedo信息科学与技术研究所）；IT University of Copenhagen（哥本哈根信息技术大学）；Istituto di Linguistica Computazionale “Antonio Zampolli”（Antonio Zampolli计算语言学研究所）
Multilingual LAMA: Investigating Knowledge in Multilingual Pretrained Language Models
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
近年来，人们发现单语英语语言模型可以作为知识库。代替结构化知识库查询，使用诸如“Paris is the capital of [MASK]”之类的掩码语句作为探测。我们将已建立的基准TREx和GoogleRE翻译成53种语言。通过与mBERT合作，我们研究了三个问题。(i)mBERT可以用作多语言知识库吗？大多数以前的工作只考虑英语。将研究扩展到多种语言对于多样性和可访问性非常重要。(ii)mBERT作为知识库的性能是独立于语言的，还是因语言而异？(iii)多语言模型在更多文本上训练，例如，mBERT在104个维基百科上训练。mBERT能利用这一点来提高性能吗？我们发现，使用mBERT作为知识库会产生不同的语言和语言之间的池预测性能提高不同的性能。相反，mBERT表现出语言偏见;例如，当用意大利语查询时，它倾向于预测意大利是原产国。
Multilingual Language Model Pretraining using Machine-translated Data
Centre for Artificial Intelligence, University College London（伦敦大学学院人工智能中心）；Together AI；Mila, McGill University（米拉-麦吉尔大学）；Research and Development Center for Large Language Models, National Institute of Informatics（国立信息学研究所大语言模型研发中心）
Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；National Institute of Standards and Technology（美国国家标准与技术研究院）；INSAIT（保加利亚索菲亚大学INSAIT研究院）；Sofia University “St. Kliment Ohridski”（圣基里曼·奥赫里德斯基索菲亚大学）
DIETA: A Decoder-only transformer-based model for Italian-English machine TrAnslation
Department of Informatics, Systems and Communication - DISCo, University of Milano-Bicocca, Italy（信息与通信系统系 - DISCo，米兰-比科卡大学）；NVIDIA AI Technology Center, Italy（NVIDIA人工智能技术中心）
Universitat Politècnica de València（瓦伦西亚理工大学）；University of Trento（特伦托大学）；University of Sheffield（谢菲尔德大学）；Bonn-Aachen International Center for Information Technology, University of Bonn（波恩-亚琛信息科技国际中心，波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；University of Pisa（比萨大学）；University of Milano-Bicocca（米兰-比可卡大学）；ValgrAI Valencian Graduate School and Research Network of Artificial Intelligence（瓦伦西亚人工智能研究生学校和研究网络）
Language Proficiency and F0 Entrainment: A Study of L2 English Imitation in Italian, French, and Slovak Speakers
Italian Institute of Technology（意大利技术研究院）；University of Ferrara（费拉拉大学）；Constantine the Philosopher University in Nitra（尼特拉君士坦丁哲学家大学）；Institute of Informatics, SAS（斯洛伐克科学院信息学研究所）
Medical mT5: An Open-Source Multilingual Text-to-Text LLM for The Medical Domain
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（巴斯克大学 HiTZ 中心 - Ixa）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Cruces University Hospital（克鲁塞斯大学医院）
Use of 'off-the-shelf' information extraction algorithms in clinical informatics: a feasibility study of MetaMap annotation of Italian medical notes
Consiglio Nazionale delle Ricerche (CNR)（意大利国家研究委员会）；Politecnico di Milano（米兰理工大学）；Fondazione IRCCS Ca’ Granda Ospedale Maggiore Policlinico Milano（米兰大医院基金会）
Datasets and Models for Authorship Attribution on Italian Personal Writings
Institute of Linguistics and Language Technology, University of Malta（马耳他大学语言学与语言技术研究所）；Center for Language and Cognition, University of Groningen（格罗宁根大学语言与认知中心）
Cognitive networks identify the content of English and Italian popular posts about COVID-19 vaccines: Anticipation, logistics, conspiracy and loss of trust
University of Exeter（埃克塞特大学）；University of Kansas（堪萨斯大学）
University of Pisa（比萨大学）；University of Groningen（格罗宁根大学）；Istituto di Linguistica Computazionale “Antonio Zampolli”（“安东尼奥·赞波利”计算语言学研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
BAMBI: Developing Baby Language Models for Italian
本文介绍了BAMBI（BAby语言模型Boostrapped for Italian），一系列婴儿语言模型（BabyLMs）训练的数据，模仿一个五岁的意大利语儿童接受的语言输入。BAMBI模型使用专门设计用于评估语言模型的基准进行测试，该基准考虑了模型接收的训练输入量。将BAMBI模型与大语言模型（LLM）和多模态语言模型（VLM）进行比较，研究语言外信息对语言习得的贡献。我们的评估结果与现有的文献英语语言模型，确认减少训练数据支持相对强大的句法能力的发展，他们是不够的，促进语义理解。然而，BAMBI模型和LLM的训练资源（数据和计算）之间的差距并没有完全反映在它们的性能上：尽管LLM进行了大量的训练，但它们的性能并不比BAMBI模型好多少。这表明，扩展培训资源之外的策略，如数据整理，包含多模态输入，以及其他培训策略，如课程学习，可以在塑造模型性能方面发挥至关重要的作用。
