发表机构
Bowling Green State University; Angelo State University（博林格林州立大学; 安吉洛州立大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
本研究通过CIFAR-10上的DDPM和Tiny DiT实验，发现中等LoRA秩（如4和8）在扩散模型微调中平衡了性能与计算成本，建议作为默认选择。
AI 中文摘要
在扩散模型微调中选择LoRA秩需要在质量和计算成本之间取得平衡。我们在CIFAR-10上使用DDPM U-Net进行了一项受控研究，采用秩{2,4,8,16,32}、固定优化设置和可复现的本地文件夹pytorch-fid协议。我们报告了FID、可训练参数、运行时间和GPU内存，然后通过扩展预算的DDPM运行（20个周期；秩4/8/16）和Tiny DiT骨干（10个周期；秩4/8/16）验证了趋势。结果表明，中等秩最有效：秩4实现了最佳DDPM FID（124.1380），秩8接近（124.2136），而更高秩尽管适应成本更大，但收益有限。这些发现支持在固定训练预算下将小到中等秩作为实用默认选择。
英文摘要
Selecting LoRA rank for diffusion fine-tuning requires balancing quality and compute cost. We present a controlled study on CIFAR-10 using a DDPM U-Net with ranks {2,4,8,16,32}, fixed optimization settings, and a reproducible local-folder pytorch-fid protocol. We report FID, trainable parameters, runtime, and GPU memory, then validate trends with extended-budget DDPM runs (20 epochs; ranks 4/8/16) and a Tiny DiT backbone (10 epochs; ranks 4/8/16). Results show moderate ranks are most efficient: rank 4 achieves the best DDPM FID (124.1380), rank 8 is close (124.2136), and higher ranks provide limited gains despite larger adaptation cost. These findings support small-to-moderate ranks as practical defaults under fixed training budgets.
Comments13 pages, 5 figures, 3 tables. Accepted at CSCE 2026
