arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

行业趋势

从最新学术论文中提炼值得关注的技术进展、实验结果和产业信号。

2608.14490 Agent

AI边玩边写游戏规则:Twin通关179/183关,基础模型得分从7.8%升至93.3%

斯坦福大学、康奈尔大学等机构的研究者提出Twin。面对从未见过规则的小游戏,它让AI一边试玩、一边把观察到的状态变化写成可执行代码,为每个游戏建立“数字孪生”,先在内存中验证路线,再提交真正计分的动作。在ARC-AGI-3中,Twin总得分

斯坦福大学、康奈尔大学等
Twin观察游戏并建立可执行规则模型的封面
2608.14403 视觉与生成

百度等提出CRAFT:只用1万张参考图训练个性化生成,告别百万合成配对

给AI一张人物、宠物或物品照片,再要求它换姿势、换场景,通常需要大规模合成“参考图—目标图”配对数据。百度、DGIST、KAIST等团队提出CRAFT,只使用1万张彼此独立的参考图训练,不需要预先制作目标合成图,却能同时保持主体身份和文本指

百度、DGIST、KAIST等
CRAFT依据人物宠物和物品参考图生成新场景的封面
2608.14047 具身智能与机器人

星尘智能&清华等提出ART:机器人现场调用视觉工具,成功率提升20%

机器人遇到昏暗环境、透明物体或精细几何关系时,不一定要让一个大模型硬扛所有视觉难题。星尘智能、清华大学、香港中文大学等团队提出ART,让视觉—语言—动作模型在执行过程中按需调用分割、深度等外部视觉工具。基于3万条工具增强轨迹训练后,ART在

清华大学、香港中文大学等
ART机器人调用视觉工具完成复杂操作的封面
2608.13556 视觉与生成

视频生成训练快6倍!牛津NUS提出V-RAE,把视觉大模型表征变成视频潜空间

主流视频生成模型通常先训练一个自编码器,把像素压进潜空间,再让扩散模型从头学习其中的语义。牛津大学与新加坡国立大学提出V-RAE,直接复用冻结视觉基础模型的表征来构建视频潜空间,使生成训练最多加快6倍,并在Kinetics-600上取得19

新加坡国立大学、牛津大学等
V-RAE视频重建与生成效果文章封面
2608.13205 视觉与生成

Adobe上海AI Lab等开源HPSD:让图生视频当老师,把文生视频自己的基本功教强

图生视频有一张高质量首帧做视觉锚点,通常比只靠一句提示词更容易生成稳定画面。Adobe、上海人工智能实验室、上海交通大学、南洋理工大学和复旦大学等团队开源HPSD,让同一个图文生视频模型先以“带首帧老师”提供高质量方向,再让纯文本学生沿自己

上海交通大学、复旦大学、上海人工智能实验室等
HPSD提升文生视频质量的对比文章封面
2608.13552 视觉与生成

快手港中文推出PlayWorld:让AI亲自玩9个世界模型,长时空间一致性仍频频翻车

世界模型生成的视频可能每一帧都很漂亮,但让AI玩家转身、开门、绕一圈再回来,房间结构和物体状态还能对得上吗?快手、香港中文大学、香港大学和浙江大学推出PlayWorld,用Agent玩家在171个交互场景里实测9个世界模型,把评估从“看视频

香港中文大学、香港大学、浙江大学等
PlayWorld让AI玩家测试世界模型的文章封面
2608.13558 Agent

牛津NUS提出OmniScientist:AI直接看图听音频做实验,36个案例全部写成论文

把胸片、鸟鸣、显微图、3D结构和运动轨迹交给AI,它能否不靠人类先整理成表格,直接提出假设、运行分析并写成论文?牛津大学与新加坡国立大学提出OmniScientist,在5个学科的36组真实数据上完成从感知到论文的全流程,直接读取原始模态的

新加坡国立大学、牛津大学等
OmniScientist直接处理多模态科学数据的文章封面
2608.13113 大模型

看完一个月生活视频,Gemini仍比人类低22.4分!华为南大推出EgoMonth

一个月前把钥匙放在哪、某次做饭先拿了什么、不同日期见过谁——人会把零散经历串成长期记忆,多模态模型却常在短视频问答里被高估。华为、南京大学和天津大学推出EgoMonth,收集20名参与者跨20至120天的300多小时第一视角视频,用1443

南京大学、天津大学等
EgoMonth跨月第一视角视频记忆基准文章封面
2608.12932 自动驾驶

自动驾驶大模型提速4.7倍!普林斯顿FlashDrive把10B VLA延迟压到151毫秒

自动驾驶模型如果每次思考要717毫秒,车辆一秒只能更新约1.4次决策。普林斯顿大学与加州大学圣迭戈分校提出FlashDrive,把Alpamayo 1.5-10B视觉—语言—动作模型在单张GPU上的端到端延迟压到151毫秒,频率升至6.6H

普林斯顿大学、加州大学圣迭戈分校等
FlashDrive自动驾驶大模型加速效果文章封面
2608.13541 视觉与生成

华为上交开源SCULPT:3D模型像雕塑一样逐块切开,零件还能无缝装回去

一把电钻不是不可编辑的整体,而应该由机身、电池、钻头等零件组成;这些零件单独看要完整,装回去又不能留下裂缝。华为与上海交通大学团队开源SCULPT,像雕塑家从材料上逐次切割一样,从完整3D形状中迭代取出部件,并根据物体复杂度自动决定零件数量

上海交通大学、华为等
SCULPT把完整3D物体拆成可组装部件的文章封面
2608.13560 Agent

美团北大清华等开源AutoDesign:40分钟把论文做成会议海报,成本不到3美元

把一篇长论文交给AI,它不仅能排出一张会议海报,还会像设计团队一样反复预览、找错、局部修改。美团、北京大学、清华大学、上海交通大学、香港中文大学等团队开源AutoDesign:一次完整运行约40分钟,调用工具253次、完成11次有效编辑,A

美团、北京大学、清华大学、香港中文大学等
AutoDesign自动生成学术会议海报的文章封面
2608.12313 视觉与生成

阿里通义等提出AVA-Encoder:把电影拆成知识图谱,视频Agent可直接查询和编辑

阿里通义、上海科技大学、香港科技大学等团队提出AVA-Encoder,把视频编码成知识图谱,再从图谱重建回视频。图中的文本节点记录镜头层级、状态和剧情信息,资产层链接图像、音频与视频,Agent可以查询人物、定位片段或修改关系,而不必每次重

上海科技大学、香港科技大学等
文章封面
2608.12262 大模型

百度牛津等推出Diagram-MMU:AI能看懂科研图,却很难把它画成可编辑代码

多模态模型可以回答图里哪条曲线更高,却未必能把同一张科研图准确还原成可编辑TikZ代码。百度、牛津大学、南京理工大学等团队推出Diagram-MMU,收录3700张精选科研图和1.83万道人工验证问题,测试12个模型的读图、图转代码和按要求

南京理工大学、牛津大学等
文章封面
2608.11650 大模型

网易有道开源Confucius4-TTS:14种语言克隆声音,参考音频不用先转写

只有一段参考录音,不知道录音里说了什么,模型也能提取音色并用另一种语言合成新内容。网易有道发布Confucius4-TTS技术报告,系统覆盖14种语言,支持同语种和跨语种零样本声音克隆,不要求在推理前准备提示音频的文字稿;代码、模型权重和演

网易有道等
文章封面
2608.11605 具身智能与机器人

机器人不用生成视频也能预演未来:交大等提出ForeWAM,LIBERO成功率超96%

机器人在抓杯子、开抽屉前,如果能预测“动作之后场景会怎样变化”,通常更容易规划下一步。上海交通大学、ACE Robotics和南洋理工大学提出ForeWAM,让动作模型获得未来动态,却不在部署时真正生成未来视频;标准版和加速版在LIBERO

上海交通大学、南洋理工大学等
文章封面
↑