AI工具箱
Stable Diffusion训练漂亮女友

前面两篇,我们已经介绍了Stable Diffusion web UI在一台计算机和在Google Colab上的安装,以及简单的文生图。

AI文生图Stable Diffusion初体验 (opens in a new tab)

免费使用Google Colab部署Stable Diffusion - 获得更快的生成体验 (opens in a new tab)

在生成文生图之前,必须先下载或训练好基础模型,通过该模型结合Prompt就可以生成我们想要的图片。

有些时候,生成的图片效果还不错。而更多的时候,生成的图片和理想的效果相去甚远。

这主要有几个原因:

  1. 不同的模型,生成的效果会有所差异,擅长的风格也各不相同
  2. Prompt非常重要,正向和负向的提示信息,对生成的效果会有非常大的影响
  3. 除了模型和Prompt,Stable Diffusion web UI还提供了许多可供微调的配置项。如果想要得到更优质的效果,需要进行微调测试。

基础模型

默认模型的存放目录为stable-diffusion-webui/models/Stable-diffusion,其中stable-diffusion-webui为软件安装后的主目录。

可以预先下载多个模型,然后存放到该目录下。通过web UI来切换到不同的模型,体验不同模型的效果。

UI界面左上角的Stable Diffusion checkpoint下拉框,对应的就是我们已经配置好的模型列表,可以通过下拉框选择使用不同的模型。

模型配置

模型可以自己训练,也可以使用别人训练好的模型。

一般来说,我们只需要使用别人已经训练好的模型即可,特定的场景可以在已有的模型基础上进行个性化训练。

CIVITAI这个网站,已经提供了许多现成的模型,很多模型的效果已经很不错,可以根据需要选择下载。

https://civitai.com (opens in a new tab)

模型下载

打开网页https://civitai.com (opens in a new tab),选择标签为CHECKPOINT的模型进行下载

例如我们选择Deliberate这个模型,点击相应图片进入详情页面。

在右边有个蓝色的下载按钮,按钮上面还显示了模型的大小。基础模型比较大,通常大小在1G以上。

下载完成后,存放到stable-diffusion-webui/models/Stable-diffusion目录下。然后,点击界面左上角的刷新按钮,在下拉框就可以看到新的模型了。

如果切换了模型,需要稍等片刻,等待软件加载新的模型。这时候,下拉框会变成空白,还有个灰色的进度条。

同时,在运行程序的后台日志中,将会看到加载模型的提示:

Loading weights [9aba26abdf] from /***/stable-diffusion-webui/models/Stable-diffusion/deliberate_v2.safetensors

Prompt和微调参数

很多时候,作为初学者,我们不知道如何编写Prompt和调参以获得理想的效果。

这时候,可以通过https://civitai.com (opens in a new tab)中模型的详情页面,来找到某一张图片效果对应的配置数据。

例如,还是用我们前面讲到的Deliberate模型。点击金属猫图片,在右侧将会显示出训练这张金属猫对应的Prompt和微调参数。

我们只需要依葫芦画瓢,将这些内容Copy到Stable Diffusion web UI对应的选项中即可。

生成优质的图片效果

下面是我使用Deliberate这个模型,以及金属猫对应参数训练得到的效果。

至于你的理想漂亮女友长什么样子我不知道,但是你只需要根据上面的流程,找到合适的模型进行测试,就能实现效果惊艳的女友了!