Amazon（亚马逊）

Rethinking Math Reasoning Evaluation: A Robust LLM-as-a-Judge Framework Beyond Symbolic Rigidity

重新思考数学推理评估：一种超越符号刚性的LLM-as-a-Judge框架

Erez Yosef, Oron Anschel, Shunit Haviv Hakimi, Asaf Gendler, Adam Botach, Nimrod Berman, Igor Kviatkovsky

机构 * Tel-Aviv University（特拉维夫大学） ； Amazon Prime Video（亚马逊Prime视频） ； Ben-Gurion University（巴内尔·戈里翁大学） 纠错

AI总结 本文提出一种稳健灵活的LLM-as-a-Judge框架，用于评估模型生成答案的准确性，超越传统符号数学比较的局限，提升数学推理评估的可靠性。

Can Large Language Models Adequately Perform Symbolic Reasoning Over Time Series?

大型语言模型能否在时间序列上进行充分的符号推理？

Zewen Liu, Juntong Ni, Xianfeng Tang, Max S. Y. Lau, Qi He, Wenpeng Yin, Wei Jin

机构 * Emory University（埃默里大学） ； Amazon（亚马逊） ； Microsoft（微软） ； Penn State University（宾夕法尼亚州立大学） 纠错

AI总结 本文提出SymbolBench基准，评估大型语言模型在时间序列上的符号推理能力，结合遗传编程构建闭环系统，揭示模型在科学发现中的优势与局限。

Comments camera_ready