迈向可信赖的语言模型：研究大型语言模型的信息质量
Towards Trustable Language Models: Investigating Information Quality of Large Language Models
AI总结：
针对大型语言模型因预训练分词不可靠、偏见及幻觉导致的信息可信度问题，本文提出数学化信息质量评估，并分析质量挑战与模型扩展定律。
摘要：
大型语言模型（LLM）正在快速生成信息，使用户越来越依赖并信任这些数据。尽管 LLM 取得了显著进展，但由于信息质量方面的挑战，LLM 生成的信息并非完全可信。具体而言，由于 LLM 预训练期间不可靠、存在偏见的分词过程，信息质量的完整性会下降。此外，信息质量下降的问题还导致幻觉和捏造信息。不可靠的信息可能使企业作出有缺陷的决策，从而影响经济活动。在本研究中，我们提出了一种新颖的 LLM 数学信息质量评估方法，并进一步分析和强调信息质量挑战，以及用于系统性扩展语言模型的扩展定律。
英文摘要：
Large language models (LLM) are generating information at a rapid pace, requiring users to increasingly rely and trust the data. Despite remarkable advances of LLM, Information generated by LLM is not completely trustworthy, due to challenges in information quality. Specifically, integrity of Information quality decreases due to unreliable, biased, tokenization during pre-training of LLM. Moreover, due to decreased information quality issues, has led towards hallucination, fabricated information. Unreliable information can lead towards flawed decisions in businesses, which impacts economic activity. In this work, we introduce novel mathematical information quality evaluation of LLM, we furthermore analyze and highlight information quality challenges, scaling laws to systematically scale language models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
