【AI绘画】本地部署Stable Diffusion Web UI

近几年AI发展迅猛,今年更是大爆发,除了爆火的大模型ChatGPT以外,AI绘画也有很大的进步,目前,Stable Diffusion图像生成效果相当惊人,可以生成逼真的人像、风景、物品图片,还可以将图片转换为不同风格。Stable Diffusion Web UI项目是 Stable Diffusion 模型算法的 Web 版,提供Web交互页面,方便模型运行。本文介绍在Windows系统上本地部署Stable Diffusion Web UI的方法。

目录

  • 环境准备
    • CUDA toolkit安装
    • 安装cuDNN
    • 安装Anaconda
    • 安装pytorch虚拟环境
    • 安装pytorch
  • 安装Stable Diffusion web UI
    • 下载仓库
    • 安装依赖包
    • 启动webui
    • 安装汉化插件
  • 简单使用
    • 文生图
  • Stable Diffusion模型
    • 模型下载
    • 示例
  • 最后

环境准备

由于Stable Diffusion基于深度学习框架PyTorch,需要安装PyTorch,当前pytorch最高支持CUDA 11.8:

本文主要使用的环境如下:

  • Windows11
  • CUDA 11.8,显卡为NVIDIA RTX 4080
  • Python 3.10.6

下面介绍环境安装配置方法。

CUDA toolkit安装

电脑需有NVIDIA显卡,没有也可以使用CPU,但使用CPU效率会低很多。

进入电脑 -> 属性 -> 设备管理器 -> 显示适配器中查看是否有独立显卡。

也可以执行命令 nvidia-smi 查看:

C:\Program Files\NVIDIA Corporation\NVSMI>nvidia-smi
Sun Jun  4 10:25:51 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 528.92       Driver Version: 528.92       CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ... WDDM  | 00000000:01:00.0  On |                  N/A |
| N/A   51C    P5    14W /  80W |   1619MiB /  8188MiB |     16%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------++-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1848    C+G   ...lPanel\SystemSettings.exe    N/A      |

确认你的N卡是否支持CUDA。可到英伟达官网查看:https://developer.nvidia.cn/zh-cn/cuda-gpus

查看显卡驱动版本:打开NVIDIA控制面板,点击帮助 -> 系统信息 查看显卡驱动版本

CUDA toolkit版本对应一个最低版本的显卡驱动程序,是向后兼容的。

CUDA版本选择可到官网查看CUDA toolkit版本和显卡驱动版本对应关系:https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

驱动版本为528.92,大于CUDA 11.8版本要求的最低版本520.06,可以安装CUDA 11.8版本,到官网下载CUDA Toolkit 11.8.0。

CUDA Toolkit各版本下载地址:https://developer.nvidia.cn/cuda-toolkit-archive

下载完成后安装。

安装cuDNN

下载CUDA Toolkit版本对应的cuDNN版本:https://developer.nvidia.com/rdp/cudnn-archive

下载cuDNN需要登录NVIDIA,如果你不想注册账号或者无法登录,可以直接使用迅雷下载:

1、复制你要下载的cuDNN版本链接

2、打开迅雷下载,删除下载链接中最后的斜杠

下载完成后解压,有三个文件夹:

将解压的文件复制到CUDA安装目录下:

安装Anaconda

下载地址:https://www.anaconda.com/download

我下载的版本是当前最新版本,对应Python版本为Python10:https://www.anaconda.com/download#downloads

Anaconda版本对应的python版本可到这里查看:https://docs.anaconda.com/anaconda/packages/oldpkglists/

安装pytorch虚拟环境

由于当前的pytorch版本最多仅支持Python 3.10.6版本,使用conda创建Python 3.10.6版本的Python虚拟环境pytorch:

$ conda create --prefix D:\tools\Anaconda3\envs\pytorch python==3.10.6

其中D:\tools\Anaconda3\envs\是我的虚拟环境保存路径,pytorch 是创建的虚拟环境名称。

安装完成后,使用 conda info --envs命令查看虚拟环境是否安装成功:

$ conda info --envs
# conda environments:
#
base                  *  D:\tools\Anaconda3
pytorch                  D:\tools\Anaconda3\envs\pytorch

接下来激活pytorch虚拟环境:

(base) D:\> conda activate pytorch
(pytorch) D:\>

安装pytorch

安装pytorch:https://pytorch.org/get-started/locally/

在创建的pytorch虚拟环境中安装pytorch:

(base) D:\> conda activate pytorch
(pytorch) D:\> conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

安装完成后再命令行输入python,验证pytorch是否安装成功:

(pytorch) D:\>python
Python 3.10.6 | packaged by conda-forge | (main, Oct 24 2022, 16:02:16) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> x = torch.rand(5, 3)
>>> print(x)
tensor([[0.2037, 0.0923, 0.8584],[0.9501, 0.5802, 0.1615],[0.3788, 0.1546, 0.7697],[0.8101, 0.0193, 0.4118],[0.8284, 0.7320, 0.7744]])
>>> torch.cuda.is_available()
True
>>>

安装Stable Diffusion web UI

下载仓库

Stable Diffusion web UI仓库的GitHub为https://github.com/AUTOMATIC1111/stable-diffusion-webui,需要使用Git下载,也可以下载zip文件(建议使用git下载,因为此仓库还依赖其它git仓库,另外使用git更加方便与远程GitHub仓库保持同步)。Git安装配置方法可参考Git简易教程-安装及简单使用。

在项目目录下,打开Git bash,执行如下命令克隆Stable Diffusion web UI仓库:

$ git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

安装依赖包

在安装的pytorch虚拟环境中安装依赖包:

$ cd D:\devWorkspace\stable-diffusion-webui
$ pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
#或者使用conda命令安装
$ conda install --yes --file requirements.txt

启动webui

在项目根目录执行 python launch.py 命令启动:

(pytorch) D:\devWorkspace\stable-diffusion-webui>python launch.py

首次执行会下载一些模型和权重文件,耐心等待…

启动成功打印如下:

Python 3.10.6 | packaged by conda-forge | (main, Oct 24 2022, 16:02:16) [MSC v.1916 64 bit (AMD64)]
Version: v1.3.1
Commit hash: b6af0a3809ea869fb180633f9affcae4b199ffcf
Installing requirements
Launching Web UI with arguments:
No module 'xformers'. Proceeding without it.
Loading weights [6ce0161689] from D:\devWorkspace\stable-diffusion-webui\models\Stable-diffusion\v1-5-pruned-emaonly.safetensors
Running on local URL:  http://127.0.0.1:7860To create a public link, set `share=True` in `launch()`.
Startup time: 8.5s (import torch: 2.5s, import gradio: 1.9s, import ldm: 0.8s, other imports: 1.4s, load scripts: 1.0s, create ui: 0.6s, gradio launch: 0.2s).
Creating model from config: D:\devWorkspace\stable-diffusion-webui\configs\v1-inference.yaml
LatentDiffusion: Running in eps-prediction mode
DiffusionWrapper has 859.52 M params.
Applying optimization: Doggettx... done.
Textual inversion embeddings loaded(0):
Model loaded in 10.3s (load weights from disk: 0.8s, create model: 0.6s, apply weights to model: 4.9s, apply half(): 1.1s, move model to device: 0.8s, load textual inversion embeddings: 2.0s).

浏览器访问地址http://127.0.0.1:7860:

注意要在创建的pytorch虚拟环境中启动,可以写一个bat脚本用来启动webui:

@echo offCALL D:\tools\Anaconda3\Scripts\activate.bat D:\tools\Anaconda3\envs\pytorch
D:
cd D:\devWorkspace\stable-diffusion-webui
python launch.pypause

其中D:\tools\Anaconda3\Scripts\activate.bat 是anaconda的activate.bat脚本路径,D:\tools\Anaconda3\envs\pytorch为pytorch虚拟环境路径。

直接双击这个bat脚本就会自动启动webui。

安装汉化插件

页面是英文的,可以使用汉化插件进行汉化:

将stable-diffusion-webui-localization-zh_CN插件安装在D:\devWorkspace\stable-diffusion-webui\extensions目录下,我这里使用git克隆:

$  git clone https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN.git

下载完成后重新启动UI,然后进入Settings -> User interface,设置Localization为zh_CN,然后点击Apply settings:

再次重启UI生效。

简单使用

文生图

输入正向提示词和反向提示词,然后生成图片,比如我输入:spring, small bridge, flowing stream, some cottages, flowers

生成的图片会保存到 outputs\txt2img-images 目录下。

Stable Diffusion模型

可生成图像的深度学习模型有多种,比如生成对抗网络(GAN)、变分自编码器(VAE)等。稳定扩散模型Stable Diffusion于2022年发布,是一种基于潜在扩散模型(Latent Diffusion Models,LDM)的文本生成图像的深度学习模型,由变分自动编码器(VAE), U-Net,和一个文本编码器组成。此外,该模型还支持图像到图像的风格转换,以及根据简单的草图生成图像等。

模型下载

首次执行python launch.py会下载一个默认模型v1-5-pruned-emaonly ,我们还可以到模型网站上下载其它类型,网上提供了很多训练好的模型,不需要自己训练。

下面是一些常见的模型网站:

  1. C站:https://civitai.com/

  2. Huggingface:https://huggingface.co/models,它还包括其它模型,选择Text-to-Image,是Stable Diffusion可用的模型。

可以发现网站上模型类型有checkpoint、LoRA等,Checkpoint模型是stable diffusion绘图的基础模型,下载完成后放到stable-diffusion-webui\models\Stable-diffusion目录下。

LoRA(Low-Rank Adaptation)模型是对标准模型进行微调得到的微调模型,利用少量数据训练出的某一风格的画风、人物或者事物的模型,LoRA需要跟标准模型配合使用。下载的LoRA模型文件要放到stable-diffusion-webui\models\Lora目录下。

示例

比如到civitai网站下载一个基础模型和LoRA模型:

  • AI真人基础模型ChilloutMix:https://civitai.com/models/6424/chilloutmix
  • 水墨画风格的LoRA模型墨心 MoXin:https://civitai.com/models/12597/moxin

放到对应目录下后,重新启动UI,选择ChilloutMix和LoRA模型:

<lora:shuimobysimV3:0.5> 中的1是模型的权重,默认值为1。然后输入提示词,调整参数,点击生成:

最后

要生成你满意的图片需要设置合适的正向词和方向词,还有合适的模型参数,多尝试总能生成满意的。此外,当前开源的Stable Diffusion模型都是基于英文训练的,不支持中文提示词,IDEA研究院开源了首个中文Stable Diffusion模型太乙,支持中文提示词绘画,后续将会介绍它的安装部署方法。

说点题外话,之前在学校的时候使用过深度学习算法来对脑电数据进行分类,对深度学习有初步的了解,工作后很少去了解AI方面的研究进展,今年AI爆火,相关股票暴涨,自己也体验了几款ChatGPT相关的应用,对提升工作效率方面是非常明显的,可预见的是它将改变很多行业。人工智能带来的好处和机遇是巨大的,虽然会带来很多负面影响,比如可能引起结构性失业、安全问题等,但作为个人,我们必须积极拥抱这种变革才能从中获益。

--THE END--

本文链接:https://my.lmcjl.com/post/20049.html

展开阅读全文

4 评论

留下您的评论.