AI扩图视频配套文档
目录
﻿1.快速开始﻿﻿﻿
﻿2.ControlNet﻿﻿﻿
﻿3.怎么下载其他文件﻿﻿﻿
﻿4.怎么快速下载想要的模型﻿﻿﻿
1.快速开始
在DSW-Gallery里可以找到Jupyter脚本，链接：
智码实验室
https://gallery.pai-ml.com/#/preview/deepLearning/cv/stable_diffusion_inpaint
﻿
2.ControlNet
ControlNet直译名称是“控制网络”，是Stablediffusion的一款开源插件，用于控制图像生成。
不同于其他模型，完整的ControlNet包含了预处理器和控图模型两部分。
所以想控制扩图的效果，可以自己调整ControlNet的参数。
完美像素，指适配最佳分辨率。
控制权重（Control Weight），控制ControlNet在绘图过程中的约束强度。
引导介入和终止时机（Control Step），控制ControlNet在绘图过程中的约束范围。
控制模式，用于控制提示词和ControlNet的权重占比模式。
在扩图应用里，我们选用inpaint模型。可以根据自己的期望适当调整参数。
﻿
3.怎么下载其他文件
我们先来看开始时部署环境的代码。
Part1
21
import os

! apt update
! apt install -y aria2

def aria2(url, filename, d):
    !aria2c --console-log-level=error -c -x 16 -s 16 {url} -o {filename} -d {d}

url_prefix = {
    "cn-shanghai": "http://pai-vision-data-sh.oss-cn-shanghai-internal.aliyuncs.com",
    "cn-hangzhou": "http://pai-vision-data-hz2.oss-cn-hangzhou-internal.aliyuncs.com",
    "cn-shenzhen": "http://pai-vision-data-sz.oss-cn-shenzhen-internal.aliyuncs.com",
    "cn-beijing": "http://pai-vision-data-bj.oss-cn-beijing-internal.aliyuncs.com", 
}

dsw_region = os.environ.get("dsw_region")
prefix = url_prefix[dsw_region] if dsw_region in url_prefix else "http://pai-vision-data-sh.oss-cn-shanghai.aliyuncs.com"

webui_url = f"{prefix}/aigc-data/code/stable-diffusion-webui-v1.tar.gz"
aria2(webui_url, webui_url.split("/")[-1], "./"
这个部分的代码利用aria2c定义了下载函数：aria2。
随后根据dsw的环境变量，来获取最合适的公共资源库，这样，即可以利用内网快捷下载挂载在oss的模型资源。
﻿
Part2
3
! tar -xf stable-diffusion-webui-v1.tar.gz
! cd stable-diffusion-webui && wget -c http://pai-vision-data-sh.oss-cn-shanghai.aliyuncs.com/aigc-data/webui_config/config.json
解压缩webui的压缩包，很简单。
﻿
Part3
26
model_url = f"{prefix}/aigc-data/sd_models/Counterfeit-V2.5_fp16.safetensors"
aria2(model_url, model_url.split("/")[-1], "stable-diffusion-webui/models/Stable-diffusion")

vae_url = f"{prefix}/aigc-data/vae_models/Counterfeit-V2.5.vae.pt"
aria2(vae_url, vae_url.split("/")[-1], "stable-diffusion-webui/models/VAE")

embedding_url = f"{prefix}/aigc-data/embedding/EasyNegative.safetensors"
aria2(embedding_url, embedding_url.split("/")[-1], "stable-diffusion-webui/embeddings")

clip_url = f"{prefix}/aigc-data/clip/ViT-L-14.pt"
! mkdir -p /root/.cache/clip
aria2(clip_url, clip_url.split("/")[-1], " /root/.cache/clip")

bert_url = f"{prefix}/aigc-data/hug_model/models--bert-base-uncased.tar.gz"
aria2(bert_url, bert_url.split("/")[-1], "~/.cache/huggingface/hub")
! cd ~/.cache/huggingface/hub && tar -xvf models--bert-base-uncased.tar.gz

# clone controlnet
! git clone https://github.com/Mikubill/sd-webui-controlnet.git ./stable-diffusion-webui/extensions/sd-webui-controlnet/

# 下载controlnet模型 
control_model_url = f"{prefix}/aigc-data/sd_models/control_v11p_sd15_inpaint.pth"
control_model_config_url = f"{prefix}/aigc-data/sd_models/control_v11p_sd15_inpaint.yaml"
aria2(control_model_1, control_model_url.split("/")[-1], "stable-diffusion-webui/models/ControlNet")
aria2(control_model_config_url, control_model_config_url.split("/")[-1], "stable-diffusion-webui/extensions/sd-webui-controlnet/models")
这一部分的作用是下载组件，如果你想下载自己想要的模型，可以直接用aria2函数。
最后四行代码可以直接作为参考，首先，定义一个变量，变量值是需要下载的文件的url。
然后，直接调用aria2函数，这个函数的第一个参数，是下载文件的url，第二个参数，是文件名，第三个参数是文件存放本地的路径。
其中，第二个参数使用了split函数，把之前定义的url拆成子串，以此来获取文件原本的命名，如果不想修改文件名，可以沿用这个方式，修改一下变量名就可以了。
同时，notebook重启之后，会遗弃定义的函数和变量，所以如果重启后想下载新文件，需要重新定义一遍函数。
eg.
示例
5
def aria2(url, filename, d):
    !aria2c --console-log-level=error -c -x 16 -s 16 {url} -o {filename} -d {d}
download_url = "https://aliyun.com/SDXL.safetensors"
aria2(download_url, download_url.split("/")[-1], "stable-diffusion-webui/models/Stable-diffusion")
﻿
4.怎么快速下载想要的模型
利用内网可以极大节省下载时间。
可以利用魔搭社区，eg.
SD各模型
2
! git clone https://www.modelscope.cn/licyks/sd-model.git
SD-vae
2
! git clone https://www.modelscope.cn/licyks/sd-vae.git
这两行代码都是下载全部文件，可以在git clone后，指定存放目录。
eg.
Git指定目录
3
! mkdir ./models
! git clone https://www.modelscope.cn/licyks/sd-model.git ./models
﻿
也可以用modelscope的SDk下载指定文件
eg.
利用modelscopeSDK
6
from modelscope.hub.file_download import model_file_download

model_dir = model_file_download(model_id='AI-ModelScope/rwkv-4-world',file_path='RWKV-4-World-CHNtuned-7B-v1-20230709-ctx4096.pth')

# model_id是模型名称，file_path是文件路径，下载完后输入model_dir运行，会直接回显存放路径