手动微调适配三大实操步骤 新手调错一次就会了

切身经历过Stable Diffusion WebUI 1.6.0再加上LoRA微调环境, 遭遇过模型运行崩溃、显存容量超出、颜色严重失真这般状况, 并从中吸取了诸多经验与警示教训, 然后新手只要依照既定步骤逐步进行操作, 便能够较为轻易地避开此类相对常见的问题的现象。

第一步 精准定位微调起点

将模型训练界面打开, Train标签页点击, 选好底模在Source Model路径加载。SD 1.5家族推荐使用, 兼容性良好, LoRA训练更稳定些。然后Resolution设置成512×512,兼顾细节与显存的最优临界点便是这。Batch Size根据显存确定, 8GB显存设成1, 12GB设成2, 别贪心多设。

【新手需防入坑】好多人径直就采用1024分辨率, 进而使得显存瞬间满溢, 程序瞬间就退出了。正确的做法是先运行一回512, 查看Loss值稳定在0.1左右之后再去思量提高。要是碰见报“CUDA out of memory”这个情况, 立马将Batch Size降低到1, 与此同时关闭VAE只留存主模型。

第二步 核心参数手动调优

于Advanced Options之中寻觅到Learning Rate, 经我实际测试得出推荐值为1e – 4。此值对收敛速度以及过拟合风险起到了平衡作用, 要是低于它训练速度会过于缓慢, 而倘若高于它Loss曲线将会直接急剧上扬。Optimizer选择的是AdamW, 相较于默认的Adam其更具抵抗震荡的能力。随后将Max Steps设置为1500步, 这对于大多数场景而言足以呈现出效果, 要是再多就易于出现偏差。

【新手需防】Loss数值降至0.05以下后续却陡然反弹至0.2以上, 此乃极具典型性的过拟合表征。请即刻终止训练, 返回数据集内里核查图片是否存在过多重复情况。解决途径乃为删除相似图片, 确保每张图片内容具备显著差异, 与此同时将Learning Rate下调至5e – 5再度运行。

第三步 推理测试验证效果

训练完毕之后, 回转至txt2img标签页面处, 于Prompt之中键入你经微调生成的目标主体描绘内容。你具备两种方案可供选择: 方案A乃是径直采用所生成的原生成果, 其风格最为统一不过泛化能力微弱；方案B则是在Negative Prompt当中添入“bad anatomy, duplicated features”, 如此能够显著提升面部细节表现, 然而风格会略微出现走样情形。日常进行出图之时选取方案A, 而需要拥有高精度成图场合则选取方案B。

【新手防错】经常碰到报错“运行时错误: 期望所有张量都在同一设备上”, 缘由是模型以及LoRA权重加载到了不一样的图形处理器上。完整的解决步骤: 先是重启内核清理缓存, 随后于设置中把设备手动设定为计算统一设备架构零号, 最终再次加载模型与LoRA, 顺序不可颠倒, 先加载LoRA后加载模型会出现权重冲突的情况。

这个法子不适用于那种规模特别大, 且对场景一致性有着高居不下要求的项目, 就好比全部人物面部保持一致那般。要是你意图开展多角色以及多场景的操作, 建议径直启用Dreambooth, 因为LoRA在这种场景当中极易出现风格偏移。简便的替代性办法是借助ControlNet实施额外的约束, 虽说能够弥补一定的不足, 可是效率会下降。