TinyJudge: Unverifiable Constraint Alignment via Lightweight Specialist Ensembles
TinyJudge: 通过轻量级专家集成实现不可验证约束对齐
机构 * Harbin Institute of Technology SCIR Lab(哈尔滨工业大学SCIR实验室) ; Peking University(北京大学) ; Huawei Technologies Co., Ltd(华为技术有限公司)
AI总结 针对LLM遵循不可验证约束时奖励黑客和计算开销大的问题,提出TinyJudge框架,利用多个小型语言模型集成提供奖励,在五个基准上平均性能提升约10%,奖励精度提升12%,训练速度提升3倍。
Comments ACL 2026 Main Conference;15 pages, 9 figures