随机在线工具变量回归：内生性与老虎机反馈的遗憾界
Stochastic Online Instrumental Variable Regression: Regrets for Endogeneity and Bandit Feedback
- Université de Lille（里尔大学）
- Inria（法国国家信息与自动化研究所）
- CNRS（法国国家科学研究中心）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本文针对在线学习中噪声与协变量相关的内生性问题，提出在线两阶段最小二乘法 O2SLS 及其老虎机算法 OFUL-IV，并证明其遗憾界与现有外生性方法同阶或匹配下界。
AI中文摘要：
内生性，即噪声与协变量之间的依赖性，是真实数据中由于遗漏变量、策略行为、测量误差等原因而普遍存在的现象。相比之下，现有关于具有无界噪声的随机在线线性回归和线性老虎机的分析严重依赖于外生性，即噪声与协变量的独立性。受这一差距的启发，我们研究了用于随机在线学习的过度识别和恰好识别的工具变量（IV）回归，具体而言是两阶段最小二乘法（Two-Stage Least Squares），并提出使用两阶段最小二乘法的在线变体，即 O2SLS。我们证明，在 T 次交互后，O2SLS 实现了 $\mathcal O(d_{x}d_{z}\log^2 T)$ 的识别遗憾和 $\widetilde{\mathcal O}(γ\sqrt{d_{z} T})$ 的预言机遗憾，其中 $d_{x}$ 和 $d_{z}$ 分别是协变量和工具变量的维度，$γ$ 是由内生性引起的偏差。当 $γ=0$ 时，即在外生性条件下，O2SLS 表现出 $\mathcal O(d_{x}^2 \log^2 T)$ 的预言机遗憾，这与随机在线岭回归的遗憾具有相同的阶。然后，我们利用 O2SLS 作为预言机设计了 OFUL-IV，这是一种用于解决内生性问题的随机线性老虎机算法。OFUL-IV 产生 $\widetilde{\mathcal O}(\sqrt{d_{x}d_{z}T})$ 的遗憾，与外生性条件下的遗憾下界相匹配。对于具有内生性的不同数据集，我们通过实验展示了 O2SLS 和 OFUL-IV 的效率。
英文摘要：
Endogeneity, i.e. the dependence of noise and covariates, is a common phenomenon in real data due to omitted variables, strategic behaviours, measurement errors etc. In contrast, the existing analyses of stochastic online linear regression with unbounded noise and linear bandits depend heavily on exogeneity, i.e. the independence of noise and covariates. Motivated by this gap, we study the over- and just-identified Instrumental Variable (IV) regression, specifically Two-Stage Least Squares, for stochastic online learning, and propose to use an online variant of Two-Stage Least Squares, namely O2SLS. We show that O2SLS achieves $\mathcal O(d_{x}d_{z}\log^2 T)$ identification and $\widetilde{\mathcal O}(γ\sqrt{d_{z} T})$ oracle regret after $T$ interactions, where $d_{x}$ and $d_{z}$ are the dimensions of covariates and IVs, and $γ$ is the bias due to endogeneity. For $γ=0$, i.e. under exogeneity, O2SLS exhibits $\mathcal O(d_{x}^2 \log^2 T)$ oracle regret, which is of the same order as that of the stochastic online ridge. Then, we leverage O2SLS as an oracle to design OFUL-IV, a stochastic linear bandit algorithm to tackle endogeneity. OFUL-IV yields $\widetilde{\mathcal O}(\sqrt{d_{x}d_{z}T})$ regret that matches the regret lower bound under exogeneity. For different datasets with endogeneity, we experimentally show efficiencies of O2SLS and OFUL-IV.
