OpenStaxQA：基于开源大学教科书的多语言数据集
OpenStaxQA: A multilingual dataset based on open-source college textbooks
AI总结：
本文提出OpenStaxQA，一个基于43本多语言开源大学教科书的教育评估基准，通过QLoRa微调70亿参数模型并验证其可提升其他推理任务性能。
摘要：
我们提出了OpenStaxQA，一个针对大学水平教育应用的评估基准，基于英语、西班牙语和波兰语的43本开源大学教科书构建，这些教科书在宽松的Creative Commons许可下可用。我们使用量化低秩适配器（QLoRa）在此数据集上微调并评估了约70亿参数的大型语言模型（LLMs）。此外，我们还对AI2推理挑战开发集进行了零样本评估，以检验OpenStaxQA是否能提升其他任务的性能。我们还讨论了与OpenStaxQA此类数据集相关的更广泛影响。
英文摘要：
We present OpenStaxQA, an evaluation benchmark specific to college-level educational applications based on 43 open-source college textbooks in English, Spanish, and Polish, available under a permissive Creative Commons license. We finetune and evaluate large language models (LLMs) with approximately 7 billion parameters on this dataset using quantized low rank adapters (QLoRa). Additionally we also perform a zero-shot evaluation on the AI2 reasoning challenge dev dataset in order to check if OpenStaxQA can lead to an improved performance on other tasks. We also discuss broader impacts relevant to datasets such as OpenStaxQA.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
