自编码器使用相同前向映射的锐利重构界
Sharp Reconstruction Bounds for Autoencoders Using the Same Forward Map
浏览论文内容
中文总结 AI 辅助
该研究针对自编码器重构问题，证明了在相同前向映射下最小一致重构导数误差的锐利界，并通过大规模激光雷达数据验证了理论预测的有效性。
中文摘要 AI 辅助
我们研究在将观测坐标置零前后应用相同前向映射的自编码器中的重构问题。对于相等的奇数输入和隐藏维度 $d\geq 3$，在雅可比奇异值位于 $[m,M]$ 的保向微分同胚中，我们证明最小的一致重构导数误差为 $\max\{1-M(M-m)/2,0\}$，且仿射映射在每个指定深度达到这一锐利界。然而，一个平移径向旋转可以在奇异值任意接近1的情况下精确重构任何指定球体，这促使需要额外条件以获得有限数据界。我们在一个包含798,452点的陆地激光雷达森林扫描数据上测试了这一预测。在输入尺度0.05下，平均理论界为0.155，约为四个空间区域、两个深度和三个种子上的平均归一化训练误差0.185的84%。在此尺度下，增加一个隐藏坐标将平均重构误差降至$6\times10^{-6}$以下。
英文摘要
We study reconstruction in autoencoders that apply the same forward map before and after setting the observed coordinates to zero. For equal odd input and hidden dimensions $d\geq 3$, among orientation-preserving diffeomorphisms whose Jacobian singular values lie in $[m,M]$, we show that the least uniform reconstruction-derivative error is $\max\{1-M(M-m)/2,0\}$, with affine maps attaining this sharp bound at every prescribed depth. A translated radial rotation can nevertheless reconstruct any prescribed ball exactly with singular values arbitrarily close to one, motivating additional conditions for a finite-data bound. We test this prediction on a 798,452-point terrestrial LiDAR forest scan. At input scale $0.05$, the mean theoretical bound is $0.155$, about $84\%$ of the mean normalized training error $0.185$ across four spatial regions, two depths, and three seeds. At this scale, adding one hidden coordinate reduces the mean reconstruction error below $6\times10^{-6}$.
发表机构
- New York City College of Technology, CUNY（纽约城市大学纽约市立科技学院）
- The Graduate Center, CUNY（纽约城市大学研究生中心）
- Worcester Polytechnic Institute（伍斯特理工学院）
机构由 AI 辅助整理，请以论文原文为准。
