NeurIPS

Training DNNs with Hybrid Block Floating Point

用混合块浮点数训练DNNs

Mario Drumond, Tao Lin, Martin Jaggi, Babak Falsafi

机构 * EPFL（苏黎世联邦理工学院） 纠错

AI总结 本文提出了一种混合块浮点数（HBFP）方法，通过在块浮点数中执行所有点积运算，其他运算使用浮点数，从而在保持高精度的同时提高硬件密度和吞吐量。

Comments 9 pages, 3 figures. Accepted in Neural Information Processing Systems 2018 (NeurIPS 2018)

Breaking the Curse of Horizon: Infinite-Horizon Off-Policy Estimation

打破地平线诅咒：无限地平线离线估计

Qiang Liu, Lihong Li, Ziyang Tang, Dengyong Zhou

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Google Brain（谷歌大脑） 纠错

AI总结 本文提出了一种新的离线估计方法，通过直接在平稳状态访问分布上应用重要性采样来避免现有估计器中方差爆炸的问题，核心贡献是提出了一种估计两个平稳分布密度比的新方法，并推导了RKHS情况下的闭式解。

Comments 21 pages, 5 figures, NIPS 2018 (spotlight)

A Stein variational Newton method

一种Stein变分牛顿方法

Gianluca Detommaso, Tiangang Cui, Alessio Spantini, Youssef Marzouk, Robert Scheichl

机构 * University of Bath（巴斯大学） ； The Alan Turing Institute（艾伦·图灵研究所） ； Monash University（莫纳什大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Heidelberg University（海德堡大学） 纠错

AI总结 本文提出了一种基于Stein变分梯度下降（SVGD）的改进方法，通过引入二阶信息加速并推广了该算法，实现了函数空间中的牛顿迭代，并展示了在多个测试案例中显著的计算效率提升。

Comments 18 pages, 7 figures

Journal ref NIPS 2018

The non-convex Burer-Monteiro approach works on smooth semidefinite programs

非凸布勒-莫内伊方法在光滑半正定规划中的应用

Nicolas Boumal, Vladislav Voroninski, Afonso S. Bandeira

AI总结 本文研究了非凸布勒-莫内伊方法在解决包含最大割、社区检测、鲁棒PCA等应用的半正定规划中的有效性，证明此类低秩方法几乎不存在伪局部最优解。

Comments 19 pages, in the proceedings of NIPS 2016

Journal ref In proceedings of NIPS 2016: https://papers.nips.cc/paper/6517-the-non-convex-burer-monteiro-approach-works-on-smooth-semidefinite-programs

Towards Generalization and Simplicity in Continuous Control

连续控制中的泛化与简洁性

Aravind Rajeswaran, Kendall Lowrey, Emanuel Todorov, Sham Kakade

机构 * University of Washington（华盛顿大学） 纠错

AI总结 本文展示简单线性与RBF参数化策略可解决多种连续控制任务，性能可与更复杂网络相媲美，且多样初始化提升泛化能力。

Comments NIPS 2017, Project page: https://sites.google.com/view/simple-pol

Characterizing optimal hierarchical policy inference on graphs via non-equilibrium thermodynamics

通过非平衡热力学刻画图上最优分层策略推断

Daniel McNamee

机构 * Computational and Biological Learning Lab, University of Cambridge（计算与生物学习实验室，剑桥大学） 纠错

AI总结 本文提出一种基于图的非平衡热力学方法，用于构建和推断最优分层策略，解决状态空间在不同空间分辨率下的层次结构构建问题。

Comments NIPS 2017 Workshop on Hierarchical Reinforcement Learning. 8 pages, 1 figure

Scalable methods for nonnegative matrix factorizations of near-separable tall-and-skinny matrices

可扩展的非负矩阵分解方法用于近可分离的高瘦矩阵

Austin R. Benson, Jason D. Lee, Bartek Rajwa, David F. Gleich

机构 * Stanford University（斯坦福大学） ； Purdue University（普渡大学） ； Purdue University Institute for Computational and Bindley Biosciences Center（普渡大学计算与Bindley生物科学中心） ； Computer Science Mathematical Engineering（计算机科学数学工程） 纠错

AI总结 本文提出高效算法处理高瘦矩阵的非负矩阵分解，通过正交变换保持分离性，适用于流式数据和分布式计算环境。

Journal ref Proceedings of Neural Information Processing Systems, 2014

Linearly convergent stochastic heavy ball method for minimizing generalization error

用于最小化泛化误差的线性收敛随机重力球方法

Nicolas Loizou, Peter Richtárik

机构 * University of Edinburgh, United Kingdom（爱丁堡大学，英国） ； KAUST, Kingdom of Saudi Arabia（王国沙特阿拉伯的KAUST） 纠错

AI总结 本文首次证明了随机重力球方法的线性收敛性，通过固定步长的SGD步骤结合重力球动量项，专注于最小化期望损失而非有限和最小化。

Comments NIPS 2017, Workshop on Optimization for Machine Learning (camera ready version)

A Local Analysis of Block Coordinate Descent for Gaussian Phase Retrieval

块坐标下降法在高斯相位恢复中的局部分析

David Barmherzig, Ju Sun

AI总结 本文研究了非凸问题中块坐标下降法的收敛性，通过高斯相位恢复问题的特殊结构，证明了该方法在确定性初始化下以线性速率收敛到全局极小值。

Comments 10th NIPS Workshop on Optimization for Machine Learning (NIPS 2017)

Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks

Flexpoint：一种适应性数值格式，用于高效训练深度神经网络

Urs Köster, Tristan J. Webb, Xin Wang, Marcel Nassar, Arjun K. Bansal, William H. Constable, Oğuz H. Elibol, Scott Gray, Stewart Hall, Luke Hornof, Amir Khosrowshahi, Carey Kloss, Ruby J. Pai, Naveen Rao

机构 * Artificial Intelligence Products Group, Intel Corporation（英特尔人工智能产品部） 纠错

AI总结 Flexpoint是一种适应性数值格式，旨在高效训练深度神经网络，通过动态调整指数来减少溢出并最大化动态范围，实验证明其在训练AlexNet、残差网络和生成对抗网络时性能接近32位浮点数。

Comments 14 pages, 5 figures, accepted in Neural Information Processing Systems 2017

Safe Model-based Reinforcement Learning with Stability Guarantees

具有稳定性保证的安全模型基于强化学习

Felix Berkenkamp, Matteo Turchetta, Angela P. Schoellig, Andreas Krause

AI总结 本文提出一种考虑安全性的强化学习算法，通过Lyapunov稳定性验证理论，利用动态统计模型获得具有证明稳定性的高性能控制策略，并在模拟倒立摆中展示其安全优化神经网络策略的能力。

Comments Proc. of Neural Information Processing Systems (NIPS), 2017

Learning Linear Dynamical Systems via Spectral Filtering

通过谱滤波学习线性动力系统

Elad Hazan, Karan Singh, Cyril Zhang

AI总结 本文提出一种高效算法，通过过度参数化线性动力系统实现在线预测，利用谱滤波技术获得近优 regret 保证。

Comments Published as a conference paper at NIPS 2017

On the Power of Truncated SVD for General High-rank Matrix Estimation Problems

关于截断SVD在一般高秩矩阵估计问题中的功效

Simon S. Du, Yining Wang, Aarti Singh

AI总结 本文探讨了在谱范数下接近高秩正半定矩阵的估计值，通过截断SVD在Frobenius范数下得到乘法近似，解决了高秩矩阵补全、去噪和高维协方差估计问题。

Comments Accepted by NIPS 2017. Add gap-dependent bounds

Linear Stochastic Approximation: Constant Step-Size and Iterate Averaging

线性随机逼近：固定步长和迭代平均

Chandrashekar Lakshminarayanan, Csaba Szepesvári

AI总结 本文研究了固定步长和Polyak-Ruppert平均的线性随机逼近算法，分析了其均方误差随迭代次数的变化，并探讨了在不同数据分布下固定步长的选择条件及启发式调整方法。

Comments 16 pages, 2 figures, was submitted to NIPS 2017

Spectral learning of dynamic systems from nonequilibrium data

从非平衡数据中学习动态系统的谱方法

Hao Wu, Frank Noé

AI总结 本文研究了在不假设数据同分布的情况下，通过施加平衡约束从非平衡观测数据中提取系统平衡动力学的谱学习特性，并提出了一种适用于连续数据的无bin扩展方法，实现线性复杂度下的稳定估计。

Journal ref Proceedings of the 29th conference on Neural Information Processing Systems (NIPS), Barcelona, Spain, 2016, pp. 4179-4187

A Forward Model at Purkinje Cell Synapses Facilitates Cerebellar Anticipatory Control

小脑突触的前向模型促进小脑预测性控制

Ivan Herreros-Alonso, Xerxes D. Arsiwalla, Paul F. M. J. Verschure

AI总结 本文提出了一种基于小脑的预测性控制架构，通过前向模块和误差反馈控制器的交互，利用突触水平的学习规则实现适应性控制。

Comments NIPS 2016

Journal ref Advances in Neural Information Processing Systems, 29: 3828-3836, (2016)

Clustering Signed Networks with the Geometric Mean of Laplacians

利用拉普拉斯矩阵几何均值对带符号网络进行聚类

Pedro Mercado, Francesco Tudisco, Matthias Hein

AI总结 本文提出利用拉普拉斯矩阵几何均值改进谱聚类，解决传统算术均值方法在无噪声正负网络结构中无法准确聚类的问题。

Comments 14 pages, 5 figures. Accepted in Neural Information Processing Systems (NIPS), 2016

Journal ref Advances in Neural Information Processing Systems 29, pp.4421--4429, 2016

Approximate Recursive Identification of Autoregressive Systems with Skewed Innovations

近似递归识别具有偏斜创新的自回归系统

Henri Nurminen, Tohid Ardeshiri

AI总结 本文提出一种递归系统识别算法，用于具有偏斜创新的线性自回归系统，通过变分贝叶斯方法估计模型参数和创新分布参数，实验表明考虑偏斜性可提高识别精度。

Comments 6 pages and 5 pages Appendices. Presented in NIPS 2016 Workshop Advances in Approximate Bayesian Inference

Saddle-free Hessian-free Optimization

无鞍点的无Hessian优化

Martin Arjovsky

AI总结 本文提出一种新算法，解决非凸优化中的鞍点繁衍问题，推动牛顿法在高维非凸优化中的应用。

Comments NIPS 2016 Workshop on Nonconvex Optimization for Machine Learning: Theory and Practice

Fast Bayesian Non-Negative Matrix Factorisation and Tri-Factorisation

快速的贝叶斯非负矩阵分解与三因子分解

Thomas Brouwer, Jes Frellsen, Pietro Lio'

AI总结 本文提出一种快速变分贝叶斯算法，用于非负矩阵分解和三因子分解，相比Gibbs采样和非概率方法，该方法在迭代和时间步收敛速度更快，且无需额外样本估计后验。

Comments NIPS 2016 Workshop on Advances in Approximate Bayesian Inference

Randomized Block Krylov Methods for Stronger and Faster Approximate Singular Value Decomposition

随机块Krylov方法用于更准确和更快的近似奇异值分解

Cameron Musco, Christopher Musco

AI总结 本文提出了一种随机块Krylov方法，该方法在理论上和实验上均优于现有的随机同时幂迭代方法，能够以更少的迭代次数提供更优的低秩近似，并解决了传统Krylov子空间方法依赖奇异值间隙的问题。

Comments Neural Information Processing Systems 2015

Efficient Compressive Phase Retrieval with Constrained Sensing Vectors

高效压缩相位恢复与受限传感向量

Sohail Bahmani, Justin Romberg

AI总结 本文提出一种高效的压缩相位恢复方法，通过受限传感向量和两阶段重构方法，解决从线性测量的幅度重建稀疏向量的问题，证明在O(k log(d/k))测量下可有效恢复目标信号。

Comments Accepted for the 29th Annual Conference on Neural Information Processing Systems (NIPS), 2015

Column Selection via Adaptive Sampling

通过自适应采样进行列选择

Saurabh Paul, Malik Magdon-Ismail, Petros Drineas

AI总结 本文提出了一种自适应采样算法，用于改进相对误差列选择算法，理论和实验均证明其在大规模数据矩阵列选择中表现更优。

Comments To Appear in NIPS 2015

Semi-Stochastic Coordinate Descent

半随机坐标下降法

Jakub Konečný, Zheng Qu, Peter Richtárik

AI总结 本文提出半随机坐标下降法(S2CD)，用于最小化强凸函数的平均值。方法结合确定性步骤和随机步骤，通过非均匀分布选择函数和坐标，逐步改进梯度估计。

Comments 14 pages. The paper was accepted for presentation at the 2014 NIPS Optimization for Machine Learning workshop in a peer reviewed process

On the Convergence Rate of Decomposable Submodular Function Minimization

可分解亚模函数最小化的收敛速度研究

Robert Nishihara, Stefanie Jegelka, Michael I. Jordan

AI总结 本文研究了可分解亚模函数最小化算法的收敛速度，通过几何和谱图理论分析，给出了收敛速率的上界和下界。

Comments 17 pages, 3 figures

Journal ref Neural Information Processing Systems 27, 2014

Variational Gaussian Process State-Space Models

变分高斯过程状态空间模型

Roger Frigola, Yutian Chen, Carl E. Rasmussen

AI总结 本文提出基于稀疏高斯过程的变分贝叶斯学习方法，用于高效学习非线性状态空间模型，实现对非线性动力系统后验的可计算性，相比传统参数模型，能灵活平衡模型容量与计算成本，避免过拟合。

Journal ref R. Frigola, Y. Chen and C. E. Rasmussen. Variational Gaussian Process State-Space Models, in Advances in Neural Information Processing Systems (NIPS), 2014

Bayesian Inference and Learning in Gaussian Process State-Space Models with Particle MCMC

贝叶斯推断与学习在高斯过程状态空间模型中的粒子MCMC应用

Roger Frigola, Fredrik Lindsten, Thomas B. Schön, Carl E. Rasmussen

AI总结 本文提出一种全贝叶斯方法，用于非线性非参数状态空间模型中的推断与学习，通过高斯过程先验建模状态转移动态，并利用粒子MCMC进行高效推断。

Journal ref Published in NIPS 2013, Advances in Neural Information Processing Systems 26, pp. 3156--3164

Near-Optimal Entrywise Sampling for Data Matrices

近最优数据矩阵的逐元素采样

Dimitris Achlioptas, Zohar Karnin, Edo Liberty

AI总结 本文提出一种近最优的数据矩阵逐元素采样方法，通过四条性质保证了高效性和压缩性，同时在流式模型中能有效竞争最优分布。

Comments 14 pages, to appear in NIPS' 13

A message-passing algorithm for multi-agent trajectory planning

多智能体轨迹规划的消息传递算法

Jose Bento, Nate Derbinsky, Javier Alonso-Mora, Jonathan Yedidia

AI总结 本文提出基于改进交替方向乘子法的新型算法，用于计算多智能体的无碰撞全局轨迹，具有自然并行化和易整合不同成本函数的优点。

Comments In Advances in Neural Information Processing Systems (NIPS), 2013. Demo video available at http://www.youtube.com/watch?v=yuGCkVT8Bew

Reflection methods for user-friendly submodular optimization

用于用户友好的子模优化的反射方法

Stefanie Jegelka, Francis Bach, Suvrit Sra

AI总结 本文提出一种高效的子模函数优化方法，通过连续最佳逼近问题的反射序列求解，实现连续和离散问题的双重解决，应用于图像分割任务。

Comments Neural Information Processing Systems (NIPS), États-Unis (2013)