Michael I. Jordan

Towards Accurate Model Selection in Deep Unsupervised Domain Adaptation

面向深度无监督域适应的精确模型选择

Kaichao You, Ximei Wang, Mingsheng Long, Michael I. Jordan

机构 * University of California, Berkeley（加州大学伯克利分校） ； UC Berkeley（加州大学伯克利分校） 纠错

AI总结 针对深度无监督域适应中缺乏准确模型选择方法的问题，提出Deep Embedded Validation (DEV)方法，通过嵌入适应特征表示到验证过程中，获得目标风险的无偏估计，并利用控制变量技术降低方差，理论和实验证明了其有效性。

Comments upload to arxiv for record

A Dynamical Systems Perspective on Nesterov Acceleration

从动力系统角度看待Nesterov加速法

Michael Muehlebach, Michael I. Jordan

机构 * Electrical Engineering and Computer Science Department, UC Berkeley, Berkeley, California, USA（加州大学伯克利分校电子工程与计算机科学系） 纠错

AI总结 本文提出一个动力系统框架来理解Nesterov加速梯度方法，通过分析连续时间动力学和离散化过程，揭示了曲率依赖的阻尼项是加速现象的核心，并建立了离散和连续时间动力学之间的联系。

Comments 11 pages, 4 figures, to appear in the Proceedings of the 36th International Conference on Machine Learning

Understanding the Acceleration Phenomenon via High-Resolution Differential Equations

通过高分辨率微分方程理解加速现象

Bin Shi, Simon S. Du, Michael I. Jordan, Weijie J. Su

机构 * Florida International University（佛罗里达国际大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

AI总结 本文通过高分辨率微分方程研究优化算法的加速现象，提出了一种新的极限过程，能够区分Nesterov加速梯度法和Polyak重力球方法，并揭示了NAG-C在非强凸函数下的收敛特性。

Comments 82 pages, 11 figures

Breaking Locality Accelerates Block Gauss-Seidel

打破局部性加速块高斯-塞德尔

Stephen Tu, Shivaram Venkataraman, Ashia C. Wilson, Alex Gittens, Michael I. Jordan, Benjamin Recht

AI总结 本文研究了在随机坐标采样下块高斯-塞德尔算法的加速效果，发现非加速的高斯-塞德尔在随机坐标采样下表现优于固定分块的加速版本，提出了新的数据依赖参数并验证了其在大规模机器学习中的有效性。

Comments Presented at the 34th International Conference on Machine Learning (ICML 2017)

A Linearly-Convergent Stochastic L-BFGS Algorithm

一种线性收敛的随机L-BFGS算法

Philipp Moritz, Robert Nishihara, Michael I. Jordan

AI总结 本文提出一种新的随机L-BFGS算法，证明了其在强凸和光滑函数上的线性收敛性，并展示了其在大规模凸优化问题中的高效性能。

Comments 10 pages, 3 figures in International Conference on Artificial Intelligence and Statistics, 2016

A General Analysis of the Convergence of ADMM

ADMM收敛性的通用分析

Robert Nishihara, Laurent Lessard, Benjamin Recht, Andrew Packard, Michael I. Jordan

AI总结 本文基于Lessard等人(2014)提出的框架，证明了当目标函数中一项强凸时ADMM的线性收敛性，并给出了参数选择的实用方法及收敛率的上下界。

Comments 10 pages, 6 figures

Journal ref International Conference on Machine Learning 32, 2015

On the Convergence Rate of Decomposable Submodular Function Minimization

可分解亚模函数最小化的收敛速度研究

Robert Nishihara, Stefanie Jegelka, Michael I. Jordan

AI总结 本文研究了可分解亚模函数最小化算法的收敛速度，通过几何和谱图理论分析，给出了收敛速率的上界和下界。

Comments 17 pages, 3 figures

Journal ref Neural Information Processing Systems 27, 2014