Anthropic

MixRea: Benchmarking Explicit-Implicit Reasoning in Large Language Models

MixRea: 在大型语言模型中评估显式-隐式推理的基准测试

Yuanqing Cai, Ziyi Huang, Minhao Liu, Lixin Duan, Wen Li, Yanru Zhang

机构 * DeepMind ； DeepSeek-AI ； Anthropic ； Qwen ； Touvron ； Team 纠错

AI总结 本文提出MixRea基准测试，用于评估大型语言模型在显式和隐式推理任务中的表现，发现即使最佳模型也存在注意力不足的问题，并提出PRCP方法来改进推理能力。

Comments 12 pages, 6 figures, 4 tables

SLEIGHT-Bench: A Benchmark of Evasion Attacks Against Agent Monitors

SLEIGHT-Bench: 一种针对代理监控的对抗攻击基准

Elle Najt, Colin Toft, Tyler Tracy, Fabien Roger, Joe Benton

机构 * Anthropic Fellows Program（Anthropic Fellow计划） ； University of Waterloo（多伦多大学） ； Redwood Research（Redwood研究） ； Anthropic 纠错

AI总结 本文提出SLEIGHT-Bench基准，用于评估代理监控对多种攻击策略的防御能力，发现20种攻击在Opus 4.6监控下未被检测到，同时识别了多种规避策略并展示了监控性能的提升。