行业趋势

京东等用一个模型生成和修改图片文字，专门解决中文小字难题

图片生成模型可以画出复杂场景，却经常把招牌、海报和包装上的中文写错，字号一小更容易变形。京东、中山大学深圳校区、中国科学院大学、浙江大学团队提出InnoText，让同一个扩散Transformer同时负责视觉文字生成和编辑，并专门训练中文复

首尔大学先把机器人画进视频再预测未来，世界模型能适配未见过的机械臂

机器人世界模型通常直接接收关节或末端动作向量，再预测未来画面。换一台机械臂，向量含义和运动学关系都可能变化。首尔大学、RLWRLD团队提出RoFacto：先让控制器把命令变成名义轨迹，再把机器人几何渲染进相机画面，视频模型只学习物体如何响应

腾讯混元把图像理解和生成塞进同一组Token，ImageNet最高改善10.57 gFID

图像理解需要语义，图像生成需要纹理细节，统一多模态模型常用两套不同表示。腾讯混元、香港中文大学、香港城市大学、厦门大学团队提出Twins，把ViT语义特征与VAE潜变量拼成同一组连续视觉Token，在不增加序列长度的情况下同时服务理解、重建

复旦、西湖等从脑信号重建动态人脸，数据集包含62856组高清视频样本

受试者在磁共振扫描仪里观看数字人面部视频，模型再根据fMRI信号重建身份外观、表情、头部姿态和连续运动。复旦大学、西湖大学、浙江大学、南洋理工大学团队提出fMRI2Face，并构建62856组脑信号与1920×1080视频配对样本。