Zhipu AI（智谱）

IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation

IF-RewardBench：用于指令遵循评估的评判模型基准测试

Bosi Wen, Yilin Niu, Cunxiang Wang, Xiaoying Ling, Ying Zhang, Pei Ke, Hongning Wang, Minlie Huang

机构 * The Conversational Artificial Intelligence (CoAI) Group, Tsinghua University（清华大学对话人工智能（CoAI）小组） ； Zhipu AI（智谱AI） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

AI总结 本文提出IF-RewardBench，一个全面的指令遵循元评估基准，通过构建偏好图评估评判模型的排序能力，揭示现有模型缺陷，并展示其在下游任务中的更强相关性。

Comments ACL 2026

Beyond Literal Mapping: Benchmarking and Improving Non-Literal Translation Evaluation

超越字面映射：非字面翻译评估的基准测试与改进

Yanzhi Tian, Cunxiang Wang, Zeming Liu, Heyan Huang, Wenbo Yu, Dawei Song, Jie Tang, Yuhang Guo

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Zhipu AI（智谱AI） ； The Knowledge Engineering Group (KEG), Tsinghua University（清华大学知识工程组） ； School of Computer Science and Engineering, Beihang University（北航计算机科学与工程学院） 纠错

AI总结 本文提出RATE框架，通过反思核心代理动态调用专用子代理，提升非字面翻译评估的准确性，实验显示其在系统和段级相关性上比现有方法提高至少3.2分。

Comments Accepted to ACL 2026 Main Conference

IF-CRITIC: Towards a Fine-Grained LLM Critic for Instruction-Following Evaluation

IF-CRITIC：面向指令遵循评估的细粒度LLM批评者

Bosi Wen, Yilin Niu, Cunxiang Wang, Pei Ke, Xiaoying Ling, Ying Zhang, Aohan Zeng, Hongning Wang, Minlie Huang

机构 * The Conversational Artificial Intelligence (CoAI) Group, Tsinghua University（清华大学对话人工智能（CoAI）小组） ； Zhipu AI（智谱AI） ； University of Electronic Science and Technology of China（电子科技大学） ； The Knowledge Engineering Group (KEG), Tsinghua University（清华大学知识工程小组（KEG）） 纠错

AI总结 本文提出IF-CRITIC，通过细粒度、高效且可靠的评估方法提升LLM指令遵循能力，采用检查清单生成器和约束级偏好优化训练模型，实验表明其优于现有基线模型。

Comments ACL 2026