Michael I. Jordan

CalArena: A Large-Scale Post-Hoc Calibration Benchmark

CalArena：大规模事后校准基准

Eugène Berta, David Holzmüller, Francis Bach, Michael I. Jordan

机构 * Inria - Ecole Normale Supérieure PSL Research University（法国国家科学研究中心-巴黎高等师范学院-巴黎-萨克雷大学） 纠错

AI总结 提出CalArena大规模标准化基准，涵盖近2000个实验，通过事后改进（PHI）原则比较多种校准方法，发现平滑校准函数优于分箱方法，专用多类方法在高维场景中至关重要。

Comments 30 pages, 9 figures

Explicit Second-Order Min-Max Optimization: Practical Algorithms and Complexity Analysis

显式二阶极小极大优化：实用算法与复杂度分析

Tianyi Lin, Panayotis Mertikopoulos, Michael I. Jordan

机构 * Department of Electrical Engineering and Computer Sciences（电气工程与计算机科学系） ； Department of Statistics（统计学系） ； University of California, Berkeley（加州大学伯克利分校） ； Department of Industrial Engineering and Operations Research（工业工程与运作研究系） ； Columbia University（哥伦比亚大学） ； Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、CNRS、Inria、格勒诺布尔INP、LIG） 纠错

AI总结 针对凸-凹无约束极小极大优化问题，提出并分析了几种不精确正则化牛顿型方法，证明其迭代在界集内且平均迭代在O(ε^{-2/3})次内收敛到ε-鞍点，并通过Schur分解和线性系统求解器高效求解子问题，在合成基准和AUC最大化实际应用中优于一阶方法。

Comments Accepted by TMLR; Adding funding information; 35 pages

AutoEval Done Right: Using Synthetic Data for Model Evaluation

AutoEval 的正确做法：使用合成数据进行模型评估

Pierre Boyeau, Anastasios N. Angelopoulos, Nir Yosef, Jitendra Malik, Michael I. Jordan

机构 * Department of Electrical Engineering and Computer Sciences, University of California, Berkeley, USA（电子工程与计算机科学系，加州大学伯克利分校） ； Department of Systems Immunology, Weizmann Institute of Science, Rehovot, Israel（系统免疫学系，魏茨曼科学研究所） ； Inria, Ecole Normale Supérieure, Paris, France（法国国家信息与自动化技术研究所，巴黎高等师范学院） 纠错

AI总结 本文提出高效且统计上无偏的算法，利用AI标记的合成数据减少模型评估所需的人工标注量，在GPT-4实验中有效样本量提升高达50%。

Comments camera-ready paper version