arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

大厂专区

StepFun(阶跃星辰)

共收录 128 篇
2610.39617 2026-10-30 cs.CV 新提交

UniTele: Learning Device-Conditioned Degradations for Unified Smartphone Telephoto Super-Resolution

UniTele:学习设备相关退化以实现统一的智能手机长焦超分辨率

Yuchen Zhang, Aojie Li, Wei Cheng, Xianfang Zeng, Runxing Liu, haixin hao, Gang YU, Xiaoyun Yuan

机构 * Shanghai Jiao Tong University(上海交通大学) ; StepFun ; Communication University of Zhejiang(浙江传媒学院)

AI总结 本研究提出UniTele模型,通过学习设备特定退化并合成额外训练对,解决手机超长焦成像的设备依赖退化问题,提升超分辨率恢复的保真度与稳定性。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.36980 2026-10-28 cs.AI cs.CL 新提交

AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations

AutoVend:在长周期自主自动售货运营上对大语言模型智能体进行基准测试

Qiming Shi, Yikun Li, Beidi Luan, Rui Sun, Yan Ma, Jing Li, Daxin Jiang, Zuo Bai

机构 * StepFun(阶跃星辰) ; Zhejiang University(浙江大学) ; Xi’an Jiaotong-Liverpool University(西交利物浦大学) ; FinStep

AI总结 本研究推出AutoVend基准,通过180天模拟测试5个LLM智能体管理20台自动售货机的能力,发现多数智能体未达规则基线,且推理成本与回报的排名存在差异,还揭示了智能体在运营决策上的多项困难。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.36878 2026-10-28 cs.AI cs.CL 新提交

RubricAtlas: Mining Type-Level Rubrics from Expert Reports to Evaluate Deep Research Agents

RubricAtlas:从专家报告中挖掘类型级规则以评估深度研究智能体

Delin Wang, Sinuo Wang, Rui Sun, Beidi Luan, Qiming Shi, Jing Li, Daxin Jiang, Zuo Bai

机构 * StepFun(阶跃星辰) ; Renmin University of China(中国人民大学) ; University of Adelaide(阿德莱德大学) ; Zhejiang University(浙江大学) ; FinStep

AI总结 本研究提出RubricAtlas,基于3079份中文金融研究报告构建涵盖99种研究类型的类型级规则,用于评估深度研究智能体,实验验证其能有效比较分析完整性且排名一致性良好。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.22408 2026-10-19 cs.AI cs.CV 新提交

ECHOES: Seeing Beyond the Current Image via Recursive History Compression and Privileged On-Policy Distillation

ECHOES:通过递归历史压缩与特权在线策略蒸馏超越当前图像进行感知

Tengda Guo, Jiawang Hu, Yifei Tao, Yin Wang, Haotian Hu, Fanyi Wang, Liujuan Tang

机构 * Tsinghua University(清华大学) ; StepFun(阶跃星辰) ; Nanyang Technological University(南洋理工大学) ; Zhejiang Leapmotor Technology Co., Ltd.(浙江零跑科技股份有限公司) ; Honor(荣耀)

AI总结 ECHOES通过CTA格式与特权在线策略蒸馏提升GUI智能体长视距可靠性,在多基准上性能显著,无需历史截图即可实现性能与成本的良好权衡,且零样本迁移表现积极。

Comments 22 pages, 7 figures, 13 tables

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.19792 2026-10-16 cs.CL 版本更新

JetSpec++: Foresight Parallel Drafting with Self Refinements

JetSpec++:结合自精调的前瞻并行草稿生成

Zhaoxiang Feng, Lanxiang Hu, Haoran Yuan, Yu-Yang Qian, Jihui Yang, Peng Zhao, Yibo Zhu, Tajana Rosing, Hao Zhang

机构 * UC San Diego(加州大学圣地亚哥分校) ; UIUC(伊利诺伊大学厄巴纳-香槟分校) ; Nanjing University(南京大学) ; Meta ; StepFun(阶跃星辰)

AI总结 JetSpec++通过算法-系统协同设计,结合块内自精调、块间前瞻草稿生成与流水线操作,实现推测解码的高效性,在保留目标模型输出分布的同时,获得最高7.45倍的自回归解码加速比。

Comments 31 pages, 4 figures, 16 tables. Zhaoxiang Feng and Lanxiang Hu contributed equally. Code and models: https://github.com/hao-ai-lab/JetSpec

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.10226 2026-10-16 cs.CL 版本更新

$Φ$-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?

$\Phi$-Bench:大型语言模型能否工程化驱动自身的基础设施?

Leilei Ding, Shumin Wang, Yuting Huang, Fanqi Wan, Yinmin Zhang, Qi Han, Yiming Xu, Feiyuan Zhang, Xiaomeng Chu, Guoliang You, Wuyang Zhang, Daxin Jiang, Yanyong Zhang

机构 * University of Science and Technology of China(中国科学技术大学) ; StepFun(阶跃星辰) ; Peking University(北京大学) ; The Hong Kong University of Science and Technology(香港科技大学) ; Yale University(耶鲁大学) ; University of Pennsylvania(宾夕法尼亚大学)

AI总结 提出$\Phi$-Bench基准,系统评估LLMs在工程化自身基础设施栈上的能力,涵盖从核级函数补全到端到端优化的多复杂度任务,并揭示前沿模型的现状与局限。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.15802 2026-10-14 eess.AS 新提交

High-Fidelity Song Generation with Joint Discrete and Continuous Modeling

结合离散与连续建模的高保真歌曲生成

Zheqi Dai, Zhiyue Wu, Ruibin Yuan, Haolin He, Chunyat Wu, Xuerui Yang, Qiuqiang Kong, Chao Yan

机构 * The Chinese University of Hong Kong(香港中文大学) ; StepFun(阶跃星辰) ; MAP(多媒体分析组)

AI总结 该研究提出结合离散与连续建模的方法,通过VQ tokenizer、SSL衍生变分编码器和全序列流模型,在192个共享提示下提升歌曲生成的SongEval评分、降低微PER并获更高专家评分。

Comments 15 pages, 3 figures

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.15773 2026-10-14 eess.AS 新提交

HMU-Bench: Hierarchical Music Understanding Benchmark for Omni Models

HMU-Bench:面向全模态模型的分层音乐理解基准

Zheqi Dai, Boyang Wang, Zhiyue Wu, Yiyang Xu, Xinming Shi, Ruibin Yuan, Xuerui Yang, Chao Yan, Qiuqiang Kong

机构 * The Chinese University of Hong Kong(香港中文大学) ; University of California San Diego(加州大学圣地亚哥分校) ; StepFun(阶跃星辰) ; Tsinghua University(清华大学) ; Shanghai Conservatory of Music(上海音乐学院) ; MAP(多模态人工智能平台)

AI总结 本研究推出面向全模态模型的HMU-Bench双语音乐理解基准,含乐谱与音频组件,评估发现全模态模型在音频任务表现差、乐谱与音频排名相关性低,还发现LLM评分的八度错误,将发布相关数据资源。

Comments 5 pages

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2412.03758 2026-10-08 cs.CV 版本更新

Auto-Regressive Models Need Structural Registers: Semantic Foresight Improves Coherent Driving Video Continuation

ARCON:推进自动驾驶视频的自回归续写

Ruibo Ming, Jingwei Wu, Zhewei Huang, Zhuoxuan Ju, Jianming Hu, Lihui Peng, Shuchang Zhou

机构 * Tsinghua University(清华大学) ; Megvii Technology(旷视科技) ; University of the Chinese Academy of Sciences(中国科学院大学) ; StepFun(阶跃星辰) ; Georgetown University(乔治城大学)

AI总结 本文提出ARCON,一种交替生成语义与RGB令牌的自回归视频续写方案,利用大型视觉模型学习结构化信息,并通过光流纹理拼接提升质量,在自动驾驶场景中实现长视频的一致生成。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.18394 2026-10-06 cs.CL 版本更新

JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting

JetFlow: 通过并行树草稿突破推测解码的缩放上限

Lanxiang Hu, Zhaoxiang Feng, Yulun Wu, Haoran Yuan, Yujie Zhao, Yu-Yang Qian, Bojun Wang, Peng Zhao, Daxin Jiang, Yibo Zhu, Tajana Rosing, Hao Zhang

机构 * UC San Diego(加州大学圣地亚哥分校) ; Zhejiang University(浙江大学) ; UIUC(伊利诺伊大学厄巴纳-香槟分校) ; Nanjing University(南京大学) ; StepFun(阶跃星辰)

AI总结 提出JetFlow框架,通过因果并行草稿头结合树推测解码,将更大草稿预算转化为更长接受前缀和更高端到端加速,在Qwen3模型上实现最高9.64倍加速。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.03020 2026-10-05 cs.AI 新提交

DyadMem: A Long-Term Memory Benchmark of How Agents Work with Users

DyadMem:智能体如何与用户协作的长期记忆基准

Yifei Tao, Xinyu Zhong, Henry Hengyuan Zhao, Fanyi Wang, Tengda Guo, Wentao Qiu, Ying Wang, Liujian Tang

机构 * Nanyang Technological University(南洋理工大学) ; National University of Singapore(新加坡国立大学) ; University of Hong Kong(香港大学) ; Stepfun

AI总结 DyadMem提出用户条件关系智能体记忆(URAM)基准,包含大量多会话标注,揭示前沿模型在完整流水线问答中性能骤降,并验证URAM对20个模型均有积极效果。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.00431 2026-10-02 stat.ML cs.LG 新提交

ChainLoRA: Geometry-Preserving Task Vector Merging for Continual Learning in LLMs

ChainLoRA:用于大语言模型持续学习的几何保持任务向量合并

Hang Yin, Haozhe Wang, Yuhua Luo, Zhangqi Pan, Xiaoxing Wang, Junchi Yan

机构 * Shanghai Jiao Tong University(上海交通大学) ; Shanghai Innovation Institute(上海创新研究院) ; Beijing Zhongguancun Academy(北京中关村学院) ; StepFun(阶跃星辰) ; Huazhong University of Science and Technology(华中科技大学) ; IAAR(智能自动化研究院)

AI总结 ChainLoRA提出一种基于链式更新任务向量几何的无重放持续合并框架,通过自适应SVD合并与Procrustes适应实现几何近似分离,在多个基准上达到先进性能。

Comments 18 pages

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.37379 2026-09-30 cs.LG 新提交

Looped Transformers as Optimizers

循环Transformer作为优化器

Yulong Huang, Chen Jiang, Zhanpeng Zhou, Hongtao Zhang, Tianyu Li, Tianyu He, Xiangyu Zhang, Bojun Cheng

机构 * HKUST (GZ)(香港科技大学(广州)) ; SJTU(上海交通大学) ; UCAS(中国科学院大学) ; THU(清华大学) ; StepFun(阶跃星辰)

AI总结 本文提出将循环Transformer的隐藏状态视为快速权重,从优化视角推导循环转换,并设计OperLoop方法,在匹配计算量下提升生成与常识推理性能。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.36899 2026-09-30 cs.DC 新提交

Reshaping Rollout Workloads for Asynchronous RL Post-Training on Heterogeneous Accelerators

重塑异步强化学习后训练在异构加速器上的回放工作负载

Jiahui Li, Hao Nie, Yibo Zhu, Pengjin Xie, Yu Zhou, Xiaolong Zheng, Liang Liu, Huadong Ma

机构 * Beijing University of Posts Telecommunications(北京邮电大学) ; StepFun(阶跃星辰)

AI总结 CadenceRL通过结构性的工作负载重塑(节奏控制与集中)解决异构回放池中异步RL后训练的调度难题,显著提升解码吞吐量并降低轨迹延迟。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.35559 2026-09-29 cs.AI 新提交

From Search to Research: Exploring Search Scaling in Autonomous Quantitative Factor Mining

从搜索到研究:自主量化因子挖掘中的搜索扩展探索

Kangcheng Deng, Hui Cai, Jiacheng Lu, Chester Zhongshu Qian, Rui Sun, Beidi Luan, Jing Li, Daxin Jiang, Zuo Bai

机构 * StepFun(阶跃星辰) ; Shanghai Jiao Tong University(上海交通大学) ; University of California, Los Angeles(加州大学洛杉矶分校) ; FinStep

AI总结 本研究基于50个量化因子挖掘任务,探究自主研究智能体中搜索扩展对性能的影响,发现模型能力决定初始表现、深度搜索缩小差距、并行优于顺序搜索,并指出未来需更强模型与自适应计算部署策略。

Comments 33 pages, including appendices

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.34714 2026-09-29 cs.CY 新提交

Loyal Agents: Training LLM Agents to Protect Principal Interests Under Strategic Information Asymmetry

忠诚智能体:在战略信息不对称下训练LLM智能体保护委托人利益

Zimeng Huang, Shilei Chen, Jiatong Zhao, Wenxin Xu, Tonghan Wang

机构 * Tsinghua University(清华大学) ; Shanghai Qi Zhi Institute(上海人工智能实验室) ; Stepfun(阶跃星辰)

AI总结 本文提出智能体忠诚概念及LoyalAgent-Bench基准,通过在线GRPO框架训练LLM智能体减少信息泄露并抵制操纵,实验显示显著提升忠诚相关指标且不损害通用能力。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.34470 2026-09-29 cs.CV cs.AI 新提交

Precise Editing and Flexible Referencing for Interactable Worlds

可交互世界的精确编辑与灵活引用

Xinyao Liao, Xianfang Zeng, Zhu Liang, Zhoujie Fu, Qianxun Xu, Jiachi Liu, Gang Yu, Guosheng Lin

机构 * Nanyang Technological University(南洋理工大学) ; StepFun

AI总结 EditWorld通过门控因果注意力和稀疏上下文机制,实现可交互世界中的精确编辑与灵活引用,在WBench-Editing上以73.8总分和80.0编辑分领先。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.33646 2026-09-29 cs.AI cs.CL cs.CV 新提交

Probe to Act: Elevating Browser-Use Agent via Active Visual Probing

探针即行动:通过主动视觉探测提升浏览器使用智能体

Keliang Li, Heng Wang, Chen Hu, Daxin Jiang, Hong Chang, Shiguang Shan

机构 * Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所) ; University of Chinese Academy of Sciences(中国科学院大学) ; StepFun

AI总结 提出主动探测框架P2A,通过将DOM符号渲染为像素证据并在决策时对齐,提升浏览器智能体任务成功率,在VisualWebArena上显著提升专有和开源模型性能。

Comments EMNLP 26 Findings

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2602.09007 2026-09-29 cs.AI cs.CV 版本更新

GUI-GenBench: Evaluating Image Generation Models as Interactive GUI Environments

GEBench: 图形用户界面生成模型的基准测试

Haodong Li, Jingwei Wu, Quan Sun, Guopeng Li, Juanxi Tian, Ziyu Guo, Donghao Zhou, Tianfei Ren, Huanyu Zhang, Yanlin Lai, Ruichuan An, Hongbo Peng, Yuhong Dai, Jia Wang, Ziyang Meng, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Pheng-Ann Heng

机构 * StepFun ; South China University of Technology(南方科技大学) ; Peking University(北京大学) ; Tsinghua University(清华大学) ; Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所) ; The University of Chicago(芝加哥大学) ; Nanyang Technological University(南洋理工大学)

AI总结 GEBench提出一个评估GUI生成模型动态交互和时间一致性的基准测试,通过五维指标揭示模型在多步交互中的瓶颈问题。

Comments 24 pages, 11 figures. Project page: https://github.com/stepfun-ai/GEBench

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.27294 2026-09-24 cs.LG cs.AI 新提交

KITE: KV-Invariant Transformer Expansion for Efficient Agentic LLM Scaling

KITE:KV不变变压器扩展用于高效智能体LLM扩展

Zhiheng Hu, Yixun Wei, Jian Zhou, Yizhuang Zhou, Ji Li, Xing Chen, Yang Li, Bojun Wang, Yibo Zhu, Xiangyu Zhang, Daxin Jiang

机构 * StepFun

AI总结 KITE通过KV不变扩展实现模型从小到大的高效训练,并降低推理成本;SST双塔解码器在可比计算下优于更大基线模型。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.24983 2026-09-22 cs.CL cs.HC cs.LG 新提交

onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction

onPanda:通过词元级修正高效标注LLM与智能体的策略内对齐数据

Lei Yang, Mengyin Liu, Jia Wang, Hangyu Guo, Liang Zhao, Zheng Ge, Kang An, Binxing Jiao, Qi Han, Daxin Jiang, Siqi Shen, Xiangyu Zhang

机构 * StepFun(阶跃星辰) ; Xiamen University(厦门大学)

AI总结 onPanda通过词元级修正交互机制,将LLM对齐数据标注时间中位数降低52%,并生成保留采样分布的策略内数据及细粒度监督信号。

Comments Project page: https://on-panda.github.io/research/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.22641 2026-09-22 cs.CV 新提交

ConsistWorld: Evidence Routing for Consistent Multi-Agent World Models

ConsistWorld:用于一致多智能体世界模型的证据路由

Qianxun Xu, Xianfang Zeng, Xinyao Liao, Wei Cheng, Gang Yu, Chi Zhang

机构 * Westlake University(西湖大学) ; StepFun ; University of California, Los Angeles(加利福尼亚大学洛杉矶分校)

AI总结 ConsistWorld提出一种多智能体世界模型,通过姿态条件记忆检索和可见性门控同行共享的证据路由机制,从单张图像生成一致的多视角视频流,实现跨时间与跨智能体的一致性。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.16034 2026-09-16 eess.AS cs.SD 新提交

StepAudio 3 Music Technical Report

StepAudio 3 音乐技术报告

Chengli Feng, Zhiyue Wu, Jiahao Song, Zheqi Dai, Boyang Wang, Ruibin Yuan, Junming Gong, Wenxiao Zhao, Jing Guo, Gang Yu, Xiangyu Zhang, Xuerui Yang, Chao Yan

机构 * StepFun ACE ; The Chinese University of Hong Kong(香港中文大学) ; University of California San Diego(加利福尼亚大学圣迭戈分校)

AI总结 StepAudio 3 Music 通过离散-连续设计、ABC 记谱法显式规划和 DPO 强化学习,实现长达 5 分 30 秒的高质量长格式音乐生成,在多项基准上取得领先。

Comments 18 pages, 6 figures. Audio demonstrations: https://stepaudiollm.github.io/step-audio-3-music

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.07017 2026-09-09 cs.LG 新提交

HyperTransfer: Understanding the Equivalence between Base Optimizer and Hyperball

HyperTransfer:理解基础优化器与超球之间的等价性

Jinghui Yuan, Hongtao Zhang, Jade Zou, Tianyu Li, Wenjie Zhou, Tianyu He, Wei Chen

机构 * StepFun(阶跃星辰) ; University of Chinese Academy of Sciences(中国科学院大学) ; Tsinghua University(清华大学)

AI总结 HyperTransfer通过证明超球优化器与基础优化器在尺度不变网络中的动态等价性,仅用初始化和学习率调度即可复现目标优化器动态,并扩展至非尺度不变网络,实验验证了轨迹一致性。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2608.26993 2026-08-28 cs.CV 新提交

Aphanta: Diagnosing Task-Aligned Image-Edited Intermediates for Multimodal Reasoning

Aphanta:面向多模态推理的任务对齐图像编辑中间产物诊断框架

Hengyuan Xu, Wei Cheng, Yumeng Ji, Xuanyang Zhang, Xianfang Zeng, Gang Yu, Xingjun Ma

机构 * StepFun(阶跃星辰) ; Fudan University(复旦大学)

AI总结 本文提出Aphanta框架,用于诊断MLLM与图像编辑中间产物的任务对齐性,实验显示图像编辑是专用视觉工作空间,该框架可用于评估相关流水线效用。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2508.00554 2026-08-21 q-fin.TR cs.CL q-fin.CP 版本更新

ContestTrade: A Multi-Agent Trading System Based on Internal Contest Mechanism

ContestTrade:一种基于内部竞争机制的多智能体交易系统

Li Zhao, Rui Sun, Zuoyou Jiang, Bo Yang, Yuxiao Bai, Mengting Chen, Jing Li, Zuo Bai

机构 * Stepfun ; FinStep

AI总结 针对基于LLM的智能体在金融交易中决策受市场信息影响的问题,提出ContestTrade多智能体交易系统,通过“量化 - 预测 - 分配”竞争机制及两个专业团队协作,在A股回测中取得较好收益和风险调整绩效。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2608.11152 2026-08-12 cs.DC cs.LG 新提交

Scheduling Mixed RL Rollouts Beyond Prefix Locality

超越前缀局部性的混合强化学习回滚调度

Zetao Hong, Song Yuan, Yuanhao Ding, Yibo Zhu, Daxin Jiang, Zhibin Wang, Chen Tian

机构 * State Key Laboratory of Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室) ; StepFun(阶跃星辰)

AI总结 针对混合RL回滚调度的异构性问题,提出MISA-T策略,在多基准实验中显著提升回滚吞吐量并降低平均轮次时间,同时维持缓存命中率与工作负载混合比例。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2608.06007 2026-08-07 cs.DC 新提交

TensorCast: The Missing Tensor Management Layer in Large Language Model Infrastructure

TensorCast:大语言模型基础设施中缺失的张量管理层

Yuhan Zhou, Yuchu Luo, Hao Nie, Wangrunze Lv, Yu Zhou, Yibo Zhu, Daxin Jiang, Chenren Xu

机构 * Peking University(北京大学) ; Stepfun(阶跃星辰) ; Beijing University of Posts and Telecommunications(北京邮电大学)

AI总结 该研究针对LLM基础设施中张量管理策略复用受阻的问题,提出TensorCast分布式张量管理层,将张量状态管理与计算逻辑解耦,在保持性能的同时提升多轮智能体工作负载的TTFT达93.2%。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2603.08652 2026-08-07 cs.AI 版本更新

CoCo: Code as CoT for Text-to-Image Preview and Rare Concept Generation

CoCo:用于文本到图像预览和稀有概念生成的代码作为CoT

Haodong Li, Chunmei Qing, Huanyu Zhang, Dongzhi Jiang, Yihang Zou, Hongbo Peng, Dingming Li, Yuhong Dai, ZePeng Lin, Juanxi Tian, Yi Zhou, Siqi Dai, Jingwei Wu, Pheng-Ann Heng

机构 * South China University of Technology(南方科技大学) ; StepFun ; Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所) ; Nanyang Technological University(南洋理工大学) ; The Chinese University of Hong Kong(香港中文大学)

AI总结 CoCo通过代码驱动的推理框架,提升文本到图像生成的精度和可控性,实现结构化图像生成和稀有概念生成。

Comments 21 pages, 7 figures, and 3 tables. Accepted to ECCV 2026

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2604.02817 2026-08-04 cs.CV 版本更新

MMPhysVideo: Physically Plausible Video Generation Through Joint RGB-Perception Modeling

MMPhysVideo: 通过联合多模态建模提升视频生成的物理合理性

Shubo Lin, Xuanyang Zhang, Wei Cheng, Weiming Hu, Gang Yu, Jin Gao

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(中国科学院自动化研究所多模态人工智能系统国家重点实验室) ; School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) ; StepFun(阶跃星辰) ; Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information(多模态信息超级智能安全北京市重点实验室) ; School of Information Science and Technology, Shanghai Tech University(上海科技大学信息科学与技术学院)

AI总结 MMPhysVideo通过联合多模态建模提升视频生成的物理合理性,将感知线索统一为伪RGB格式,提出双向控制教师架构以减少跨模态干扰,并通过MMPhysPipe构建物理丰富的多模态数据集,提升物理合理性和视觉质量。

Comments Project Page: https://shubolin028.github.io/MMPhysVideo-Page

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
↑