Jiawei Han

FGBench: A Dataset and Benchmark for Molecular Property Reasoning at Functional Group-Level in Large Language Models

FGBench: 一个用于大语言模型中功能基团级分子属性推理的数据集和基准

Xuan Liu, Siru Ouyang, Xianrui Zhong, Jiawei Han, Huimin Zhao

机构 * Department of Chemical and Biomolecular Engineering, University of Illinois Urbana-Champaign（化学与生物分子工程系，伊利诺伊大学厄巴纳-香槟分校） ； Department of Computer Science, University of Illinois Urbana-Champaign（计算机科学系，伊利诺伊大学厄巴纳-香槟分校） 纠错

AI总结 FGBench通过构建包含功能基团级信息的数据集，提升大语言模型在分子属性推理任务中的能力。

Comments NeurIPS 2025 (Datasets and Benchmarks Track)

Benchmarking Retrieval-Augmented Generation for Chemistry

基于化学领域的检索增强生成基准测试

Xianrui Zhong, Bowen Jin, Siru Ouyang, Yanzhen Shen, Qiao Jin, Yin Fang, Zhiyong Lu, Jiawei Han

机构 * Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院） ； National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆） 纠错

AI总结 本文提出ChemRAG-Bench和Toolkit，用于评估RAG在化学领域的有效性，并展示RAG在化学任务中比直接推理方法有17.4%的性能提升。

Comments Accepted to COLM 2025