本文综述大型语言模型在科学计算中的应用，涵盖科学文献处理及分子、蛋白质与 DNA 等专用语言建模，展示其在问题求解和新型系统设计中的潜力。
摘要：
我们概述了面向科学计算应用的大型语言模型的兴起。我们重点介绍两类用例：一类涉及对科学文献的自然语言处理，另一类涉及旨在描述物理系统的专用语言。对于前者，聊天机器人式应用已出现在医学、数学和物理学领域，并可与领域专家迭代协作以解决问题。我们还综述了分子生物学中的专用语言，即分子、蛋白质和 DNA 的语言；在这些语言中，语言模型正被用于预测属性，甚至以远快于传统计算方法的速度创造新型物理系统。
英文摘要：
We provide an overview of the emergence of large language models for scientific computing applications. We highlight use cases that involve natural language processing of scientific documents and specialized languages designed to describe physical systems. For the former, chatbot style applications appear in medicine, mathematics and physics and can be used iteratively with domain experts for problem solving. We also review specialized languages within molecular biology, the languages of molecules, proteins, and DNA where language models are being used to predict properties and even create novel physical systems at much faster rates than traditional computing methods.
Energy Estimates Across Layers of Computing: From Devices to Large-Scale Applications in Machine Learning for Natural Language Processing, Scientific Computing, and Cryptocurrency Mining
SLAC National Laboratory（SLAC国家实验室）；Stanford University（斯坦福大学）
AstroVisBench: A Code Benchmark for Scientific Computing and Visualization in Astronomy
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；NSF National Optical-Infrared Astronomy Research Laboratory（国家光学红外天文研究实验室）；University of Virginia（弗吉尼亚大学）；SLAC National Accelerator Laboratory（斯坦福直线加速器实验室）；Texas Advanced Computing Center（德克萨斯高级计算中心）
Leveraging Large Language Models for Code Translation and Software Development in Scientific Computing
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-罗克琴特研究所）；Rajiv Gandhi University（拉贾·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒尔研究实验室）；Argonne National Laboratory（阿贡国家实验室）
SciBERT: A Pretrained Language Model for Scientific Text
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
为科学领域的NLP任务获取大规模注释数据是具有挑战性和昂贵的。我们发布了SciBERT，一种基于BERT的预训练语言模型（Devlin et al.，2018年），以解决缺乏高质量，大规模的标记科学数据。SciBERT利用大型多领域科学出版物语料库的无监督预训练来提高下游科学NLP任务的性能。我们评估了一套任务，包括序列标记，句子分类和依存句法分析，从各种科学领域的数据集。我们证明了统计上显着的改进，超过BERT，并实现了新的国家的最先进的结果，这些任务。代码和预训练模型可在https://github.com/allenai/scibert/上获得。
A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery
University of Washington（华盛顿大学）；Texas A&M University（德克萨斯农工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
Automated Algorithmic Discovery for Scientific Computing through LLM-Guided Evolutionary Search: A Case Study in Gravitational-Wave Detection
International Centre for Theoretical Physics Asia-Pacific（国际理论物理中心亚太中心）；University of Chinese Academy of Sciences（中国科学院大学）；Taiji Laboratory for Gravitational Wave Universe（引力波宇宙Taiji实验室）；Tsinghua University（清华大学）
SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University（浙江大学Hangzhou全球科技创新中心）；ZJU-UIUC Institute, Zhejiang University（浙江大学UIUC研究院）
