论文导读
美国西北大学、芝加哥大学、谷歌提出FlowAvatar，在消费级Quest Pro上整合身体姿态、手指、表情和视线，驱动外观类似本人的数字分身。端上完整管线达到27帧每秒，动作延迟97毫秒。用户先用手机拍一段视频建立外观，再由头显的稀疏头手信号带动全身运动。
头显看得到头和手，腿部动作从哪里来
戴上头显后，系统直接跟踪的是头和手，却要让数字分身的躯干与腿也跟着动。FlowAvatar用最近一段头手位置、方向和变化信息，推断全身关节姿态，再把头显传来的手指、脸部与眼睛信息接到同一个身体网格上。
图：真实头显佩戴者及对应数字分身并列展示身体、手部和表情的追踪。
因此，低头、挥手、下蹲或跳跃不是把几个孤立部件叠在屏幕上。身体模型先让各部分组成一副连续骨架，独立跟踪的手指与表情再与它协调。论文的展示包括真实参与者、没有贴图的身体和带个人外观的分身，能直接比较运动与外观分别提供了什么。
端上部署采用LSTM模型，因为Unity Sentis不支持论文主要使用的GRU运算。完整管线在Quest Pro的CPU上持续27帧每秒，端到端动作延迟97毫秒；它不是将离线基准里的565帧每秒搬到了头显里。
外观先离线做，动作在头显上接着跑
建立外观时，用户用手机前置摄像头拍约10秒的转身视频。系统逐帧估计身体形状、姿势和相机关系，把脸、头部与身体分区处理，再组合成数字分身的纹理。
图：手机视频经过姿态估计、脸部对齐与分区纹理学习，组合成可预览的分身。
脸部还要专门对齐，防止手机视频中的眼睛与嘴在渲染时位置错开。这个注册阶段在RTX 4090上约需15分钟，用户先预览结果，再进入头显。手机拍摄是低门槛输入，并不意味着整个建模过程都在手机上即时完成。
运行阶段有两种配置。串流配置把Quest Pro跟踪数据发送给电脑预测姿态，再返回头显；端上配置直接在头显CPU推理，原始动作不用持续传给PC。论文中的两项用户研究使用串流配置，不能把这些主观评分直接归给端上版本。
姿态模型会同时约束关节位置、速度变化和脚与地面的关系。这样不只看单帧姿势像不像，也检查脚是否在地面滑动、连续动作是否发抖。手部对齐放进训练目标，减少运行时额外逐帧调整带来的不连续。
外观像自己，与动作顺畅是两回事
12人的第三人称研究比较了骨架、简化身体、带手脸的身体和带个人纹理的身体。加入手指与脸部跟踪后，六项运动质量评价都有提升；再增加个人纹理，显著提升只出现在一项评价上。
图：柱状图比较四种分身表现形式在六项运动质量问题上的评分和误差条。
另一项10人的第一人称研究让参与者在镜子前观察自己的分身。完整个人外观版本的总体具身评分高于中性点，但多项两两差异经过多重比较校正后不再显著。样本小，结果支持继续研究，不能宣布照片式外观一定让每个人更有代入感。
这些对照把两种贡献拆开了：手、脸和身体是否协调，影响动作看起来怎样；外观是否像本人，影响自我识别。并非纹理越真实，动作观感就必然越好。
当前身体网格不能表现头发、衣物动态与变化光照，面部表现也经过缩减。已经实现的部分很具体：一段手机视频建立外观，头显提供少量跟踪信号，再由同一具网格把身体、手指、表情和视线连成可运行的数字分身。
参考资料
https://arxiv.org/abs/2610.16277
https://arxiv.org/html/2610.16277
https://arxiv.org/pdf/2610.16277
