arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2406.16985cs.LGcs.AIcs.CL
收藏

揭示大语言模型机制:神经ODE与控制理论视角

Unveiling LLM Mechanisms Through Neural ODEs and Control Theory

The Chinese University Of Hongkong(香港中文大学);Fudan University(复旦大学)

Yukun Zhang, Qi Dong

AI总结:

本文提出融合神经ODE与鲁棒控制理论的框架,用于增强大语言模型的可解释性与可控性,实验证明该方法在多个问答数据集上显著提升输出一致性与可解释性。

摘要:

本文提出一个结合神经常微分方程(Neural ODEs)与鲁棒控制理论的框架,以增强大语言模型(LLMs)的可解释性与可控性。通过利用神经ODE建模输入-输出关系的动态演化,并引入控制机制以优化输出质量,我们在多个问答数据集上验证了该方法的有效性。实验结果表明,神经ODE与控制理论的结合显著提升了输出一致性与模型可解释性,推动了可解释人工智能技术的发展。

英文摘要:

This paper proposes a framework combining Neural Ordinary Differential Equations (Neural ODEs) and robust control theory to enhance the interpretability and control of large language models (LLMs). By utilizing Neural ODEs to model the dynamic evolution of input-output relationships and introducing control mechanisms to optimize output quality, we demonstrate the effectiveness of this approach across multiple question-answer datasets. Experimental results show that the integration of Neural ODEs and control theory significantly improves output consistency and model interpretability, advancing the development of explainable AI technologies.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑