Language models have become an essential part of the burgeoning field of AI Psychology. I discuss 14 methodological considerations that can help design more robust, generalizable studies evaluating the cognitive abilities of language-based AI systems, as well as to accurately interpret the results of these studies.
On game psychology: an experiment on the chess board/screen, should you always "do your best", and why the programs with prescribed weaknesses cannot be our good friends?
Kinneret College on the Sea of Galilee（加利利海金内雷特学院）；Braude Academic College（布劳德学术学院）；Ben Gurion University of the Negev（内盖夫本古里安大学）
Charting the European LLM Benchmarking Landscape: A New Taxonomy and a Set of Best Practices
Jožef Stefan Institute（乔塞夫·斯塔芬研究所）；University of Ljubljana（卢布尔雅那大学）；Faculty of Arts, University of Ljubljana（艺术学院，卢布尔雅那大学）；Faculty of Computer and Information Science, University of Ljubljana（计算机与信息科学学院，卢布尔雅那大学）；Institute of Contemporary History（现代史研究所）
AI in Cyberpsychology: A systematic literature review of Cybersecurity enhancement by using AI for analyzing psychology of Victims, Attackers, and Defenders
Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）；Atlas University（阿塔斯大学）；University of Calgary（卡尔加里大学）；University of Southern Denmark（南部丹麦大学）
Towards an efficient and risk aware strategy for guiding farmers in identifying best crop management
Univ Montpellier（蒙彼利埃大学）；CIRAD（法国国际农业发展研究中心）；Alliance of Bioversity International and CIAT（国际生物多样性中心与国际热带农业中心联盟）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；INRAE（法国国家农业、食品与环境研究院）；Institut Agro（法国国立高等农业学院）；Institut National de l’Environnement et de Recherches Agricoles (INERA)（国家环境与农业研究所）；International Maize and Wheat Improvement Centre (CIMMYT)（国际玉米小麦改良中心）；International Institute of Tropical Agriculture（国际热带农业研究所）
Best Practices For Empirical Meta-Algorithmic Research: Guidelines from the COSEAL Research Network
Leibniz University Hannover（莱比锡大学汉诺威分校）；L3S Research Center（L3S研究中心）；University of Münster（穆尔斯特大学）；University Freiburg（弗赖堡大学）；University of St. Andrews（圣安德鲁斯大学）；Ghent University（根特大学）；TU Dortmund University（多特蒙德技术大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（Lamarr机器学习与人工智能研究所）；Google（谷歌）；Warsaw University of Technology（华沙技术大学）；Nanjing University（南京大学）；Leiden University（莱顿大学）；University of North Carolina Wilmington（北卡罗来纳大学 Wilmington分校）；Paderborn University（帕德博恩大学）；Purdue University（普渡大学）
ChatGPT and Works Scholarly: Best Practices and Legal Pitfalls in Writing with AI
University of California, Irvine（加利福尼亚大学欧文分校）；Te Herenga Waka - Victoria University of Wellington（惠灵顿维多利亚大学（Te Herenga Waka））；University of Kansas（堪萨斯大学）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）
