前面两篇,我们已经介绍了Stable Diffusion web UI在一台计算机和在Google Colab上的安装,以及简单的文生图。
AI文生图Stable Diffusion初体验 (opens in a new tab)
免费使用Google Colab部署Stable Diffusion - 获得更快的生成体验 (opens in a new tab)
在生成文生图之前,必须先下载或训练好基础模型,通过该模型结合Prompt就可以生成我们想要的图片。
有些时候,生成的图片效果还不错。而更多的时候,生成的图片和理想的效果相去甚远。
这主要有几个原因:
- 不同的模型,生成的效果会有所差异,擅长的风格也各不相同
- Prompt非常重要,正向和负向的提示信息,对生成的效果会有非常大的影响
- 除了模型和Prompt,Stable Diffusion web UI还提供了许多可供微调的配置项。如果想要得到更优质的效果,需要进行微调测试。
基础模型
默认模型的存放目录为stable-diffusion-webui/models/Stable-diffusion,其中stable-diffusion-webui为软件安装后的主目录。
可以预先下载多个模型,然后存放到该目录下。通过web UI来切换到不同的模型,体验不同模型的效果。
UI界面左上角的Stable Diffusion checkpoint下拉框,对应的就是我们已经配置好的模型列表,可以通过下拉框选择使用不同的模型。
模型配置
模型可以自己训练,也可以使用别人训练好的模型。
一般来说,我们只需要使用别人已经训练好的模型即可,特定的场景可以在已有的模型基础上进行个性化训练。
CIVITAI这个网站,已经提供了许多现成的模型,很多模型的效果已经很不错,可以根据需要选择下载。
https://civitai.com (opens in a new tab)
模型下载
打开网页https://civitai.com (opens in a new tab),选择标签为CHECKPOINT的模型进行下载
例如我们选择Deliberate这个模型,点击相应图片进入详情页面。
在右边有个蓝色的下载按钮,按钮上面还显示了模型的大小。基础模型比较大,通常大小在1G以上。
下载完成后,存放到stable-diffusion-webui/models/Stable-diffusion目录下。然后,点击界面左上角的刷新按钮,在下拉框就可以看到新的模型了。
如果切换了模型,需要稍等片刻,等待软件加载新的模型。这时候,下拉框会变成空白,还有个灰色的进度条。
同时,在运行程序的后台日志中,将会看到加载模型的提示:
Loading weights [9aba26abdf] from /***/stable-diffusion-webui/models/Stable-diffusion/deliberate_v2.safetensors
Prompt和微调参数
很多时候,作为初学者,我们不知道如何编写Prompt和调参以获得理想的效果。
这时候,可以通过https://civitai.com (opens in a new tab)中模型的详情页面,来找到某一张图片效果对应的配置数据。
例如,还是用我们前面讲到的Deliberate模型。点击金属猫图片,在右侧将会显示出训练这张金属猫对应的Prompt和微调参数。
我们只需要依葫芦画瓢,将这些内容Copy到Stable Diffusion web UI对应的选项中即可。
生成优质的图片效果
下面是我使用Deliberate这个模型,以及金属猫对应参数训练得到的效果。
至于你的理想漂亮女友长什么样子我不知道,但是你只需要根据上面的流程,找到合适的模型进行测试,就能实现效果惊艳的女友了!