Meta

Rapidly deploying on-device eye tracking by distilling visual foundation models

通过蒸馏视觉基础模型快速部署设备端眼动追踪

Cheng Jiang, Jogendra Kundu, David Colmenares, Fengting Yang, Joseph P Robinson, Ali Behrooz, Yatong An

机构 * Meta Reality Labs（Meta现实实验室） ； University of Michigan（密歇根大学） 纠错

AI总结 本文提出DistillGaze框架，通过合成数据和真实数据蒸馏视觉基础模型，实现高精度设备端眼动追踪，减少58.62%的中位眼动误差，模型轻量适合实时部署。

Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent

基于非欧几里得梯度噪声尺度的自适应批大小用于随机符号和谱下降

Hiroki Naganuma, Shagun Gupta, Youssef Briki, Ioannis Mitliagkas, Irina Rish, Parameswaran Raman, Hao-Jun Michael Shi

机构 * Mila, Montreal, Canada（Mila，加拿大蒙特利尔） ； Meta Platforms, Menlo Park, California, USA（Meta平台，美国Menlo Park，加利福尼亚州） 纠错

AI总结 针对符号下降和谱下降优化器，推导了非欧几里得梯度噪声尺度，并提出高效方差估计方法，实现自适应批大小，在Llama模型上减少高达66%训练步数。

Comments 8 pages, 2 figures, 4 tables