Hugging Face's logo

shirayu
/
sd-tohoku-v1

Text-to-Image
Diffusers
English
StableDiffusionPipeline
stable-diffusion
stable-diffusion-diffusers
Inference Endpoints
Model card Files
sd-tohoku-v1
File size: 5,600 Bytes 
63e23c7
8030a28
63e23c7
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7c32e6a
63e23c7
1c2a26f
 
978bbb3
 
d689f03
978bbb3
 
 
 
 
 
 
 
 
 
85353cc
 
 
f73665f
85353cc
 
7c32e6a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
bb55095
7c32e6a
83def44
7c32e6a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
 
---
license: creativeml-openrail-m
language:
- en
tags:
- stable-diffusion
- stable-diffusion-diffusers
- text-to-image

---

以下の5人の[東北ずん子プロジェクト](https://zunko.jp/)のキャラクターイラストを用いてDreamBoothで学習したモデルです．

- ``itako``: 東北イタコ
- ``zunko``: 東北ずん子
- ``kiritan``: 東北きりたん
- ``zundamon``: ずんだもん (人間形態)
- ``metan``: 四国めたん

学習画像はなるべく衣装にバリエーションをもたせているので，「公式衣装」は出にくいです．

🔈 キャラクターを増やして学習したモデル[shirayu/sd-tohoku-v2](https://huggingface.co/shirayu/sd-tohoku-v2)を公開しました (2023-01-04)

## ファイル形式

1. [AUTOMATIC1111/stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui)などckptファイルを読み込むツールの場合

    [sd-tohoku-v1.model.ckpt](https://huggingface.co/shirayu/sd-tohoku-v1/resolve/main/sd-tohoku-v1.model.ckpt)(約2GB)をダウンロードして読み込んでください

2. [diffusers](https://github.com/huggingface/diffusers)から利用する場合

    ```python
    from diffusers import DiffusionPipeline
    pipeline = DiffusionPipeline.from_pretrained("shirayu/sd-tohoku-v1")
    ```

## 紹介動画

<a href="https://www.nicovideo.jp/watch/sm41313614">
<img src="https://img.cdn.nimg.jp/s/nicovideo/thumbnails/41313614/41313614.80180214.original/r1280x720l?key=23adae7a647d3afa1049dc9c39204802d20870ca260b75939dd016ba127cebd8" width="500" alt="東北ずん子プロジェクトのキャラをAIお絵描き！">東北ずん子プロジェクトのキャラをAIお絵描き！　(ニコニコ動画)
</a>

## ライセンス

[CreativeML Open RAIL-M license 1.0](https://hf.space/static/bigscience/license/index.html)

また，各種法令・各種ガイドラインにご留意ください．
例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合，
[「東北ずん子プロジェクト キャラクター利用の手引き」](https://zunko.jp/guideline.html)に基づいて利用してください．

## 学習設定

- 元モデル: [Nilaier/Waifu-Diffusers](https://huggingface.co/Nilaier/Waifu-Diffusers) (fbd1958)
    - Base model: [hakurei/waifu-diffusion-v1-3](https://huggingface.co/hakurei/waifu-diffusion-v1-3)
    - VAE: [hakurei/waifu-diffusion-v1-4](https://huggingface.co/hakurei/waifu-diffusion-v1-4)
- 学習画像
    - 5キャラクター計69枚
    - アルファチャンネルは削除 + 白背景 + センタリング + 512x512にリサイズ
- 学習元コード: [ShivamShrirao/diffusers](https://github.com/ShivamShrirao/diffusers) (``7232c2a``)
    - [``examples/dreambooth/train_dreambooth.py``](https://github.com/ShivamShrirao/diffusers/blob/7232c2a/examples/dreambooth/train_dreambooth.py)
- 学習設定
    - Instance ID: ``itako``, ``kiritan``, ``zunko``, ``metan``, ``zundamon`` (5種)
    - Instance prompt: ``<ID> 1girl``
    - Class prompt: ``1girl``
    - Tesla T4で約110分
    - その他設定:

    ```txt
    --prior_loss_weight=0.5 \
    --seed=3434554 \
    --resolution=512 \
    --center_crop \
    --train_batch_size=1 \
    --train_text_encoder \
    --mixed_precision="fp16" \
    --use_8bit_adam \
    --gradient_checkpointing \
    --gradient_accumulation_steps=2 \
    --learning_rate=1e-6 \
    --lr_scheduler="constant" \
    --lr_warmup_steps=0 \
    --num_class_images=50 \
    --sample_batch_size=3 \
    --max_train_steps=8000
    ```

## 学習に使った画像

<img src="https://pbs.twimg.com/media/Ff6FF1NaMAAL8N5?format=jpg&name=small" width="500" alt="学習に使った画像">

## 生成例

<img src="https://pbs.twimg.com/media/Ff6AgzyaMAExeb3?format=png&name=900x900" width="500" alt="東北きりたんの生成例">

```txt
kiritan, 1girl, volleyball, kawaii, in gymnasium, head
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 575469807, Size: 704x512
```

<img src="https://pbs.twimg.com/media/Ff6Ank1aYAY7bxk?format=png&name=900x900" width="500" alt="ずんだもんの生成例">

```txt
zundamon , maid dress, in cafe, Kyoto Animation
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 429473516, Size: 512x704
```

<img src="https://pbs.twimg.com/media/Ff6AuXoakAAPtYa?format=png&name=900x900" width="500" alt="東北イタコの生成例">

```txt
itako, dating in park, cute winter fashion
Negative prompt: out of frame, amateur drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 60, Sampler: Euler a, CFG scale: 7.5, Seed: 2722676181, Size: 704x512
```

<img src="https://pbs.twimg.com/media/Ff6A2lQakAAj1Bb?format=png&name=small" width="500" alt="東北ずん子と四国めたんの生成例">

```txt
zunko and metan sit on bench, in school uniform, drink tea, 2girls, in 2020s anime style
Negative prompt: chibi, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 2262270937, Size: 640x512
```