arXivDaily arXiv每日学术速递 周一至周五更新

行业趋势

从最新学术论文中提炼值得关注的技术进展、实验结果和产业信号。

2608.25622 Agent

vivo、港中大(深圳)等让8B模型规划视频剪辑,得分从0.620升至0.924

“把开场压到3秒、第二段踩音乐重拍、总时长不超过30秒”不是一句文字建议,而是一组必须能落到时间线的操作。港中大(深圳)、vivo AI Lab、北京大学等机构提出RefineCut,训练8B开源权重模型输出剪辑补丁,再由确定性验证器检查每

港中大(深圳)、vivo AI Lab、北京大学等
文章封面
2608.25417 Agent

北大、清华、商汤让AI拿工具精细画图,25个模型相似度最高仅0.54

模型能说出苹果在画面左侧,不代表它能用绘图工具准确圈住苹果。北京大学、清华大学、商汤研究院提出EASEL,要求多模态智能体不断观察参考图和当前画布,再输出笔刷位置、颜色、粗细等参数,直到重建目标。

北京大学、清华大学、商汤研究院等
文章封面
2608.25479 视觉与生成

北大、腾讯混元提出4DStreamCtrl,单卡20 FPS实时控制视频镜头和物体

拖动一个物体的三维轨迹、改变相机运动,再让视频继续往后生成,过去通常要分给不同模型处理。北京大学、腾讯混元提出4DStreamCtrl,把相机、物体和深度都编码成三维点轨迹,在一次前向计算中完成联合控制。

北京大学、腾讯混元等
文章封面
2608.26058 具身智能与机器人

小米、澳门大学让一个模型控制多种机器人,LIBERO成功率98.3%

同一个“把面包拿起来”任务,单臂机器人、双臂机器人和人手使用的关节、控制器与动作维度完全不同。小米具身智能团队、澳门大学提出UCAG-P,把这些动作先换算成相机能观察到的手腕、末端执行器和抓取中心轨迹,再交给不同机器人的运动学模块执行。

小米具身智能团队、澳门大学等
文章封面
2608.24020 Agent

复旦、字节让AI边看工程图边修CAD代码,可执行率做到99.33%

从带尺寸标注的正交工程图生成CAD代码,早期一个工作平面、孔径或拉伸深度出错,后面所有操作都会跟着偏。复旦大学、字节跳动提出IterCAD,让模型在生成中间CAD后重新查看几何结果,决定继续修改还是停止。

复旦大学、字节跳动等
文章封面
2608.24777 Agent

上海AI实验室等提出StepGuard,智能体攻击成功率降77.3%、效用少2.8点

工具型智能体一旦执行发邮件、改文件或支付等操作,事后识别风险往往已经太晚。上海人工智能实验室、北京航空航天大学、复旦大学、中国人民大学等机构提出StepGuard,在每次工具调用前检查动作,也能对完成后的整条轨迹做审计。

上海人工智能实验室、北京航空航天大学、复旦大学、中国人民大学等
文章封面
2608.24876 Agent

普林斯顿、斯坦福等让智能体递归改记忆,37组长任务实验中35组成功率上升

智能体执行长任务时,聊天记录越来越长,未完成目标容易被淹没,检索到的技能也可能与当前状态错位。新加坡国立大学、斯坦福大学、牛津大学、普林斯顿大学提出Recuris,把工作记忆和经验记忆耦合,并让失败证据反向推动局部技能更新。

新加坡国立大学、斯坦福大学、牛津大学、普林斯顿大学等
文章封面
2608.23691 Agent

剑桥、港大等让AI智能体自由做数学,12道构造题里5道找到新结果

不给AI智能体分配固定角色,也不让中央调度器指定下一步,只提供一个可检验的研究目标,它们会不会自己形成研究路线?来自DualverseAI、剑桥大学、香港大学、加州大学圣迭戈分校的研究团队共同提出并评测了开放世界多智能体环境Station。

DualverseAI、剑桥大学、香港大学、加州大学圣迭戈分校等
文章封面
2608.23864 视觉与生成

复旦、阿里提出AffineTok,20轮训练把图像生成gFID降低26%

扩散模型先在视觉分词器的潜空间里去噪,再把潜变量解码成图像。分词器即使能高质量重建图片,也不一定让后续去噪容易。复旦大学、阿里巴巴提出AffineTok,把潜空间中的语义组织方式纳入训练目标。

复旦大学、阿里巴巴等
文章封面
2608.24119 视觉与生成

北大、商汤、浙大让AI看一组示例就学物理变化,覆盖74种图像变换

给AI一组“变化前—变化后”的图片,再给一张新图,让它照着示例完成同类编辑。现有视觉上下文学习擅长颜色、材质和外观迁移,却常忽略物体结构、相互作用和环境条件。北京大学、商汤研究院、浙江大学提出TransPhy,把任务拆成物理规则推断和结果渲

北京大学、商汤研究院、浙江大学等
文章封面
2608.24882 具身智能与机器人

清华等让机器人把“未来画面”压成潜动作,延迟降低42.9%

机器人世界动作模型常在执行动作前生成未来画面,用视觉预测帮助控制,但完整视频分支会拉高推理延迟。清华大学、中科院自动化所、TARS Robotics、复旦大学等机构提出LAWA,把未来变化压缩成离散潜动作,推理时不再重建未来像素。

清华大学、中科院自动化所、TARS Robotics、复旦大学等
文章封面
2608.24674 视觉与生成

浙大、清华等把190亿参数音视频生成提速54.67倍,单张H20从318秒降到5.83秒

输入一句文字,同时生成画面和匹配的声音,省掉了视频生成后再配音的串联步骤,但联合模型也把两种模态的计算成本叠到一起。浙江大学、清华大学、新加坡国立大学等机构提出TurboT2VA,用蒸馏与推理优化加速190亿参数的LTX-2音视频模型。

浙江大学、清华大学、新加坡国立大学等
文章封面
2608.24724 具身智能与机器人

斯坦福、交大、清华给水下机器人装上“海豹胡须”,20次辨路成功17次

鱼游过后,水中会留下持续一段时间的涡流。海豹能用胡须读取这些尾流,在黑暗或浑浊水体里追踪目标。斯坦福大学、上海交通大学、清华大学把这一机制做成光纤布拉格光栅触须,并装到小型水下机器人前端。

斯坦福大学、上海交通大学、清华大学等
文章封面
2608.24572 更多前沿

Meta做了一只光纤传感手套,60Hz捕捉手势、指尖误差4.9毫米

手指被杯子、工具或另一只手挡住时,摄像头很容易丢点;依赖惯性或磁场的传感手套又会遇到漂移和干扰。Meta、西北大学提出一套光纤传感手套,用沿手指铺设的多芯形状传感光纤直接恢复三维曲线,再以60Hz重建完整手部姿态。

Meta、西北大学等
文章封面
2608.21378 AI基础设施

不到68万字节,sanoTTS无需NPU在ESP32上实时生成语音

一个完整神经语音合成系统,从音素ID一路生成22.05kHz波形,部署图只有567008个参数,两个int8数据块合计679832字节。Ampixa Labs提出sanoTTS,在不使用神经加速器的ESP32-S3上,生成4.54秒语音耗时

Ampixa Labs等
文章封面
2608.22039 视觉与生成

Google DeepMind用100段360°视频测三维重建,多种新方法仍频繁失准

只要镜头快速转动、前景有人群穿过,或大半画面被水面和白墙占据,三维重建就可能把相机轨迹算错。Google DeepMind、多伦多大学、西蒙菲莎大学提出ORBIT,用100段来自360°视频的真实片段,专门测试运动恢复结构在动态、低纹理和复

Google DeepMind、多伦多大学、西蒙菲莎大学等
文章封面
2608.22906 视觉与生成

浙大&上海AI实验室等用单目视频实时重建水下,定位误差降低13.2%

水下单目视频不仅缺少尺度信息,还会被光线衰减、散射和颜色偏移干扰。浙江大学、上海人工智能实验室、上海交通大学、清华大学等机构提出AquaFlow,让系统一边接收视频,一边估计相机轨迹并更新3D高斯场景。62条水下轨迹上,平均定位误差比Wat

浙江大学、上海人工智能实验室、上海交通大学、清华大学等
文章封面
2608.23318 Agent

百度&浙大用高斯分布给智能体提示,ALFWorld成功率最高98.4%

长程智能体在强化学习早期很难碰到成功轨迹,一种办法是先替它执行专家轨迹的前半段,再让策略从更接近目标的位置探索。浙江大学、百度、山东大学提出Agent-G2,不再为所有任务固定同一段提示长度,而是按任务从动态高斯分布中采样。Qwen2.5-

浙江大学、百度、山东大学等
文章封面
2608.23478 具身智能与机器人

浦项科大让机器人先理解动作目的,GR00T成功率从64.3%升至84.7%

行为克隆告诉机器人“这个时刻手臂该怎么动”,却不直接说明这段动作要完成什么局部目标。浦项科技大学提出INDI,用教师视觉语言模型从执行视频中提炼行为意图,再监督VLA动作解码器。SimplerEnv-Bridge上,GR00T-N1.7平均

浦项科技大学等
文章封面
2608.21460 Agent

Patronus AI记录200小时Figma设计过程,训练智能体学会人类工作流

给模型一张优秀网页截图,它能学到最终像素,却看不到设计师如何选图层、建样式、调整间距、撤销错误。Patronus AI推出FigmaTrace,记录超过200小时的人类Figma操作视频,将其转换为3469条设计轨迹,覆盖126项开放式长程

Patronus AI等
文章封面
↑