arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

行业趋势

从最新学术论文中提炼值得关注的技术进展、实验结果和产业信号。

2608.05149 视觉与生成

搜图也能连续追问:CoCo-IR四轮检索命中率做到44.1%

伊利诺伊大学厄巴纳-香槟分校、Google DeepMind和OpenAI研究者提出CoCo-IR,把“拿一张参考图加一句修改要求”的图像检索,扩展为可连续追问的多轮搜索。用户可以先换颜色,再改背景,随后引用前面某一轮的视角或物体继续筛选。

伊利诺伊大学厄巴纳-香槟分校、OpenAI等
搜图也能连续追问:CoCo-IR四轮检索命中率做到44.1%文章封面
2608.04196 具身智能与机器人

机器人训练不再盲目堆视频:筛掉95%数据,成功率反而升至61.1%

东京大学、字节跳动Seed、香港大学、上海交通大学和清华大学团队发布SiMDex。它没有扩大机器人模型,也没有增加训练数据量,而是从约3200万段人类第一视角视频中筛出约149万段与目标动作相近的样本,再用于视觉—语言—动作模型后训练。

东京大学、香港大学、上海交通大学、清华大学等
机器人训练不再盲目堆视频:筛掉95%数据,成功率反而升至61.1%文章封面
2608.02694 Agent

视频剪完才知道好不好,阿里等把偏好反馈拆回每个编辑片段

长视频编辑智能体要连续做素材选择、剪切、排序、字幕和导出,最终成片出炉后才得到好坏评价。阿里巴巴、中国科学技术大学等机构提出GRPB,把同一任务多版成片的相对排名,重新分配给中间编辑片段,用于训练9B参数的Crayotter。

中国科学技术大学等
视频剪完才知道好不好,阿里等把偏好反馈拆回每个编辑片段文章封面
2608.03979 Agent

让深度研究智能体先看完视频再搜索,200道多跳题做到64%

论文公开页面未披露作者机构。Video-DeepResearch团队研究的任务要求模型先在连续画面里找到人物或物体,再去网页补充外部知识;团队发现,现有智能体常跳过视觉工具直接搜索文字,或凭模型记忆作答。新系统因此分阶段开放工具,强制先完成

让深度研究智能体先看完视频再搜索,200道多跳题做到64%文章封面
2608.03585 Agent

编码智能体让任务多完成39%,公共知识覆盖率却只剩22.3%

上海财经大学与复旦大学研究者的一项开源社区模拟发现,引入编码智能体后,完成任务数增加39%,中位完成时间从45分钟缩短到20分钟;同一批工作留下的公共知识更难被后续开发者利用,标准化检索中的覆盖率只有22.3%,真实人类语料为81.1%。

上海财经大学、复旦大学等
编码智能体让任务多完成39%,公共知识覆盖率却只剩22.3%文章封面
2608.02831 大模型

微软等让奖励标准跟着模型进化,音频推理不再只看最终答案

音频模型答对一道题,可能靠文字常识猜中,未必真正听懂声音。微软研究院、马里兰大学、伊利诺伊大学和MBZUAI团队提出AudioRubrics,为每个样本生成基于原始波形的评分表,并在训练中根据模型的新回答持续改写标准。

马里兰大学、微软研究院等
微软等让奖励标准跟着模型进化,音频推理不再只看最终答案文章封面
2608.03844 Agent

智能体记忆投毒能把审计检测率压到7.4%以内

带长期记忆的AI智能体会把历史交互写入数据库,后续遇到相似问题再检索。香港科技大学团队提出的MAFIA攻击只通过普通查询和写入接口投放恶意记录,在论文测试中最高取得90.7%的攻击成功率,并把审计检测率压到不超过7.4%。

香港科技大学等
智能体记忆投毒能把审计检测率压到7.4%以内文章封面
2608.02689 大模型

模型困惑度正常,却有81%的选择题只答A

DT-Project研究者的一项0.6B语言模型改造实验出现了反常结果:学生模型的困惑度已经接近教师,C-Eval选择题准确率却只有25%至29%,并在81%的回答中预测“A”。问题不在于知识全部丢失,而是模型没有跟随答案内容切换选项标签。

DT-Project等
模型困惑度正常,却有81%的选择题只答A文章封面
2608.03020 AI基础设施

大模型调优不再反复反传,LoCA把GPU峰值内存压低近三成

腾讯、帝国理工学院、密歇根大学等机构的研究人员提出LoCA。它先用一次反向传播完成校准,后续适配只运行前向计算和局部闭式求解。包含校准在内,全程GPU峰值内存比LoRA低26%至29%。

密歇根大学、腾讯等
大模型调优不再反复反传,LoCA把GPU峰值内存压低近三成文章封面
2608.03727 具身智能与机器人

让机器人先学会看懂动作后的3D变化,实机成功率提高25个百分点

浙江大学、上海交通大学和上海创新研究院等团队提出Track4Action,把机器人演示视频中的3D场景变化变成训练监督。传统模仿学习通常只学习“下一步执行什么命令”,动作让物体、遮挡和相机视角发生了什么变化,并没有被直接写进标签;新方法在四

浙江大学、上海交通大学、上海创新研究院等
让机器人先学会看懂动作后的3D变化,实机成功率提高25个百分点文章封面
2608.03691 大模型

AI看见了异常像素,仍照着重复模板写错代码

网页里连续出现几张相同卡片,其中一张明显更宽。多模态模型先算出它接近120%,最后却把代码填成和其他卡片一样的100%。一项由威廉与玛丽学院团队完成的研究,把这种错误称为“视觉模式补全偏差”。

威廉与玛丽学院等
AI看见了异常像素,仍照着重复模板写错代码文章封面
2608.02091 AI基础设施

复旦北大找到低精度训练崩溃通道,QK-Guard守住6万步

复旦大学、哈尔滨工业大学和北京大学等团队复现了bfloat16 Transformer训练中的突然崩溃:模型可以正常运行很多步,注意力随后快速失控。研究发现,不同位置的低精度误差最终会汇入查询—键权重的共同通道。

哈尔滨工业大学、北京大学等
复旦北大找到低精度训练崩溃通道,QK-Guard守住6万步文章封面
2608.00803 更多前沿

康奈尔用超声眼镜读取无声说话,词汇量扩到5356个

康奈尔大学发布SoniSpeech,用带超声传感器的眼镜采集无声说话时的面部运动。数据集包含34小时、18000条话语和5356个独立单词,基线模型在开放词汇无声语音识别中的词错误率为26.3%。

康奈尔大学等
康奈尔用超声眼镜读取无声说话,词汇量扩到5356个文章封面
2608.01452 具身智能与机器人

斯坦福中大让机器人看一次静态示范,学习抓移动物体

中山大学、斯坦福大学和东南大学团队发布DynamicManip,只用一次静态任务示范生成多种动态操作训练数据。与对照方法相比,系统在论文任务上的平均成功率提高18.4个百分点,策略查询延迟降低32.9%。

中山大学、斯坦福大学、东南大学等
斯坦福中大让机器人看一次静态示范,学习抓移动物体文章封面
2608.02603 视觉与生成

20个世界模型参加反应力考试,视频逼真不代表世界会回应

中国科学院自动化研究所、香港中文大学、清华大学等团队发布WorldExam,用1474个案例评测20个可控视频与世界模型。没有一款模型同时覆盖大量任务并保持稳定高表现,画质好、指令完成度高,也不保证场景会作出合理反应。

中国科学院自动化研究所、香港中文大学、清华大学等
20个世界模型参加反应力考试,视频逼真不代表世界会回应文章封面
2608.01942 视觉与生成

剑桥南洋理工给7款视频模型出文化考题,漂亮不等于懂

南洋理工大学、剑桥大学、新加坡管理大学和CentraleSupélec团队发布CultureVidBench,用1000条提示测试7款文本生成视频模型。结果显示,模型能生成语义相符、画质不错的视频,却常把服饰、文字、仪式步骤和声音线索做错。

南洋理工大学、新加坡管理大学、剑桥大学等
剑桥南洋理工给7款视频模型出文化考题,漂亮不等于懂文章封面
2608.00023 大模型

DeepMind与OpenAI测试275种AI角色,引导越强未必越像

Google DeepMind、OpenAI、牛津大学、佐治亚理工学院和伊利诺伊大学厄巴纳-香槟分校等机构研究人员测试了275种大模型角色。多数角色会随着激活引导增强而更贴近设定,但有38种角色在六项指标上全部下降。

佐治亚理工学院、伊利诺伊大学厄巴纳-香槟分校、牛津大学等
DeepMind与OpenAI测试275种AI角色,引导越强未必越像文章封面
2608.01078 AI基础设施

英特尔中国把推理模型压到1.58比特,校准数据少100万倍

英特尔中国研究院发布ScaleQ-1.58,把推理大模型权重压缩为三值表示。Qwen3-1.7B版本只使用400万校准Token,在4项数学和代码任务上的平均表现达到BitNet b1.58 2B4T的90.52%以上,量化所需校准Toke

英特尔中国研究院等
英特尔中国把推理模型压到1.58比特,校准数据少100万倍文章封面
↑