Add README
Browse files
README.md
ADDED
@@ -0,0 +1,112 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
license: creativeml-openrail-m
|
3 |
+
language:
|
4 |
+
- en
|
5 |
+
tags:
|
6 |
+
- stable-diffusion
|
7 |
+
- stable-diffusion-diffusers
|
8 |
+
- text-to-image
|
9 |
+
|
10 |
+
---
|
11 |
+
|
12 |
+
[東北ずん子プロジェクト](https://zunko.jp/)のキャラクターイラストを用いてDreamBoothで学習したモデルです.
|
13 |
+
|
14 |
+
- ``itako``: 東北イタコ
|
15 |
+
- ``zunko``: 東北ずん子
|
16 |
+
- ``kiritan``: 東北きりたん
|
17 |
+
- ``zundamon``: ずんだもん (人間形態)
|
18 |
+
- ``metan``: 四国めたん
|
19 |
+
- ``usagi``: 中国うさぎ
|
20 |
+
- ``awamo``: 沖縄あわも
|
21 |
+
- ``shinobi``: 関西しのび
|
22 |
+
- ``hokamel``: 北海道めろん
|
23 |
+
- ``sora``: 九州そら
|
24 |
+
- ``chanko``: 大江戸ちゃんこ
|
25 |
+
|
26 |
+
学習画像はなるべく衣装にバリエーションをもたせているので,「公式衣装」は出にくいです.
|
27 |
+
|
28 |
+
[shirayu/sd-tohoku-v1](https://huggingface.co/shirayu/sd-tohoku-v1)と比べてキャラクターが増え,
|
29 |
+
学習元モデルも変更しています.
|
30 |
+
ただし,全てが改善されているとはいえません.
|
31 |
+
(例えば``itako``の画像が非常に出力しにくいです.)
|
32 |
+
|
33 |
+
その理由として
|
34 |
+
|
35 |
+
- 1キャラクターあたりの学習枚数を16枚に絞った
|
36 |
+
- 同時に学習したキャラクターが11名と多い
|
37 |
+
- 学習元モデルがまだEpoch 1での学習結果である
|
38 |
+
|
39 |
+
など様々な理由が考えられます.
|
40 |
+
|
41 |
+
[shirayu/sd-tohoku-v1](https://huggingface.co/shirayu/sd-tohoku-v1)と比較して,
|
42 |
+
その時々によって使い分けをされることをおすすめします.
|
43 |
+
|
44 |
+
## ファイル形式
|
45 |
+
|
46 |
+
1. [AUTOMATIC1111/stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui)などckptファイルを読み込むツールの場合
|
47 |
+
|
48 |
+
[sd-tohoku-v2.model.ckpt](https://huggingface.co/shirayu/sd-tohoku-v2/resolve/main/ckpt/sd-tohoku-v2.model.ckpt)(約2.5GB)と[sd-tohoku-v2.yaml](https://huggingface.co/shirayu/sd-tohoku-v2/resolve/main/ckpt/sd-tohoku-v2.model.yaml)をダウンロードして読み込んでください
|
49 |
+
|
50 |
+
2. [diffusers](https://github.com/huggingface/diffusers)から利用する場合
|
51 |
+
|
52 |
+
```python
|
53 |
+
from diffusers import DiffusionPipeline
|
54 |
+
pipeline = DiffusionPipeline.from_pretrained("shirayu/sd-tohoku-v2")
|
55 |
+
```
|
56 |
+
|
57 |
+
## 紹介動画
|
58 |
+
|
59 |
+
## ライセンス
|
60 |
+
|
61 |
+
[CreativeML Open RAIL-M license 1.0](https://hf.space/static/bigscience/license/index.html)
|
62 |
+
|
63 |
+
また,各種法令・各種ガイドラインにご留意ください.
|
64 |
+
例えば,生成された画像が東北ずん子プロジェクトのキャラクターを含む場合,
|
65 |
+
[「東北ずん子プロジェクト キャラクター利用の手引き」](https://zunko.jp/guideline.html)に基づいて利用してください.
|
66 |
+
|
67 |
+
## 学習設定
|
68 |
+
|
69 |
+
- 元モデル: [Waifu Diffusion 1.4 Anime Epoch 1](https://huggingface.co/hakurei/waifu-diffusion-v1-4) (``wd-1-4-anime_e1.ckpt``)
|
70 |
+
- 学習画像
|
71 |
+
- 11キャラクター計111枚
|
72 |
+
- アルファチャンネルは削除 + 白背景 + センタリング + 448x640にリサイズ
|
73 |
+
- 正則化画像なし
|
74 |
+
- 学習元コード: [ShivamShrirao/diffusers](https://github.com/ShivamShrirao/diffusers) (``85d8b49``)
|
75 |
+
- 学習設定
|
76 |
+
- Instance ID: ``itako``, ``zunko``, ``kiritan``, ``zundamon``, ``metan``, ``usagi``, ``awamo``, ``shinobi``, ``hokamel``, ``sora``, ``chanko`` (11種)
|
77 |
+
- Instance prompt: ``<ID>, 1girl``
|
78 |
+
- NVIDIA A100で約160分, 600エポック
|
79 |
+
- 学習用コマンド
|
80 |
+
|
81 |
+
```bash
|
82 |
+
accelerate launch \
|
83 |
+
--num_cpu_threads_per_process 12 \
|
84 |
+
train_db.py \
|
85 |
+
--pretrained_model_name_or_path="wd-1-4-anime_e1.ckpt" \
|
86 |
+
--train_data_dir="/content/data/img_train" \
|
87 |
+
--reg_data_dir="/content/data/img_reg" \
|
88 |
+
--output_dir="/content/data/output_models" \
|
89 |
+
--prior_loss_weight=1.0 \
|
90 |
+
--resolution="448,640" \
|
91 |
+
--train_batch_size="4" \
|
92 |
+
--learning_rate="1e-6" \
|
93 |
+
--max_train_steps="8400" \
|
94 |
+
--use_8bit_adam \
|
95 |
+
--cache_latents \
|
96 |
+
--v2 \
|
97 |
+
--logging_dir="/content/data/logs" \
|
98 |
+
--save_every_n_epochs "10" \
|
99 |
+
--save_last_n_epochs "1" \
|
100 |
+
--save_state \
|
101 |
+
--mixed_precision='fp16'
|
102 |
+
```
|
103 |
+
|
104 |
+
後半300エポックは``--output_dir``を変え,``--resume /content/data/output_models/last-state``で再開.
|
105 |
+
|
106 |
+
## 学習に使った画像
|
107 |
+
|
108 |
+
TBA
|
109 |
+
|
110 |
+
## 生成例
|
111 |
+
|
112 |
+
TBA
|