Text-to-Image
Diffusers
Safetensors
English
StableDiffusion3Pipeline
alfredplpl commited on
Commit
36b27f9
·
verified ·
1 Parent(s): 70cd821

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +179 -0
README.md CHANGED
@@ -4,3 +4,182 @@ license: other
4
  license_name: stabilityai-ai-community
5
  license_link: LICENSE.md
6
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
4
  license_name: stabilityai-ai-community
5
  license_link: LICENSE.md
6
  ---
7
+
8
+
9
+ # Emi 2.5 Model Card
10
+
11
+ ![eyecatch.jpg](eyecatch.jpg)
12
+
13
+ # はじめに
14
+ Emi 3 (Ethereal master of illustration 3) は、
15
+ AI Picasso社が開発したAIアートに特化した画像生成AIです。
16
+ このモデルの特徴として、Danbooruなどにある無断転載画像を学習していないことがあげられます。
17
+
18
+ # 使い方
19
+ [ここ](https://huggingface.co/spaces/aipicasso/emi-3)からデモを利用することができます。
20
+ 本格的に利用する人は[ここ](emi3.safetensors)からモデルをダウンロードできます。
21
+
22
+ # モデルの出力向上について
23
+ - 使えるプロンプトはAnimagineXLと同じです。また、自然言語を使うこともできます。
24
+ - ChatGPTを用いてプロンプトを洗練すると、自分の枠を超えた作品に出会えます。
25
+
26
+ # 法律について
27
+ 本モデルは日本にて作成されました。したがって、日本の法律が適用されます。
28
+ 本モデルの学習は、著作権法第30条の4に基づき、合法であると主張します。
29
+ また、本モデルの配布については、著作権法や刑法175条に照らしてみても、
30
+ 正犯や幇助犯にも該当しないと主張します。詳しくは柿沼弁護士の[見解](https://twitter.com/tka0120/status/1601483633436393473?s=20&t=yvM9EX0Em-_7lh8NJln3IQ)を御覧ください。
31
+ ただし、ライセンスにもある通り、本モデルの生成物は各種法令に従って取り扱って下さい。
32
+
33
+ # 連絡先
34
35
+
36
+ 以下、一般的なモデルカードの日本語訳です。
37
+
38
+ ## モデル詳細
39
+ - **モデルタイプ:** 拡散モデルベースの text-to-image 生成モデル
40
+ - **言語:** 日本語
41
+ - **ライセンス:** [CreativeML Open RAIL++-M License](LICENSE.md)
42
+ - **モデルの説明:** このモデルはプロンプトに応じて適切な画像を生成することができます。アルゴリズムは [Latent Diffusion Model](https://arxiv.org/abs/2307.01952) と [OpenCLIP-ViT/G](https://github.com/mlfoundations/open_clip)、[CLIP-L](https://github.com/openai/CLIP) です。
43
+ - **補足:**
44
+ - **参考文献:**
45
+ ```bibtex
46
+ @misc{podell2023sdxl,
47
+ title={SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis},
48
+ author={Dustin Podell and Zion English and Kyle Lacey and Andreas Blattmann and Tim Dockhorn and Jonas Müller and Joe Penna and Robin Rombach},
49
+ year={2023},
50
+ eprint={2307.01952},
51
+ archivePrefix={arXiv},
52
+ primaryClass={cs.CV}
53
+ }
54
+ ```
55
+
56
+ ## モデルの使用例
57
+
58
+ Stable Diffusion 3.5 Largeと同じ使い方です。
59
+ たくさんの方法がありますが、2つのパターンを提供します。
60
+ - ComfyUI
61
+ - Diffusers
62
+
63
+ ### ComfyUIやFooocusの場合
64
+
65
+ Stable Diffusion XL 1.0 の使い方と同じく、safetensors形式のモデルファイルを使ってください。
66
+ 詳しいインストール方法は、[こちらの記事](https://note.com/it_navi/n/n723d93bedd64)を参照してください。
67
+
68
+ ### Diffusersの場合
69
+
70
+ [🤗's Diffusers library](https://github.com/huggingface/diffusers) を使ってください。
71
+
72
+ まずは、以下のスクリプトを実行し、ライブラリをいれてください。
73
+
74
+ ```bash
75
+ pip install invisible_watermark transformers accelerate safetensors diffusers
76
+ ```
77
+
78
+ 次のスクリプトを実行し、画像を生成してください。
79
+
80
+ ```python
81
+ from diffusers import StableDiffusionXLPipeline, EulerAncestralDiscreteScheduler
82
+ import torch
83
+
84
+ model_id = "aipicasso/emi-2-5"
85
+
86
+ scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id,subfolder="scheduler")
87
+ pipe = StableDiffusionXLPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.bfloat16)
88
+ pipe = pipe.to("cuda")
89
+
90
+ prompt = "1girl, upper body, brown bob short hair, brown eyes, looking at viewer, cherry blossom"
91
+ images = pipe(prompt, num_inference_steps=20).images
92
+ images[0].save("girl.png")
93
+
94
+ ```
95
+
96
+ 複雑な操作は[デモのソースコード](https://huggingface.co/spaces/aipicasso/emi-2-demo/blob/main/app.py)を参考にしてください。
97
+
98
+ #### 想定される用途
99
+ - イラストや漫画、アニメの作画補助
100
+ - 商用・非商用は問わない
101
+ - 依頼の際のクリエイターとのコミュニケーション
102
+ - 画像生成サービスの商用提供
103
+ - 生成物の取り扱いには注意して使ってください。
104
+ - 自己表現
105
+ - このAIを使い、「あなた」らしさを発信すること
106
+ - 研究開発
107
+ - ファインチューニング(追加学習とも)
108
+ - LoRA など
109
+ - 他のモデルとのマージ
110
+ - 本モデルの性能をFIDなどで調べること
111
+ - 教育
112
+ - 美大生や専門学校生の卒業制作
113
+ - 大学生の卒業論文や課題制作
114
+ - 先生が画像生成AIの現状を伝えること
115
+ - Hugging Face の Community にかいてある用途
116
+ - 日本語か英語で��問してください
117
+
118
+ #### 想定されない用途
119
+ - 物事を事実として表現するようなこと
120
+ - 先生を困らせるようなこと
121
+ - その他、創作業界に悪影響を及ぼすこと
122
+
123
+ # 使用してはいけない用途や悪意のある用途
124
+ - マネー・ロンダリングに用いないでください
125
+ - デジタル贋作 ([Digital Forgery](https://arxiv.org/abs/2212.03860)) は公開しないでください(著作権法に違反するおそれ)
126
+ - 他人の作品を無断でImage-to-Imageしないでください(著作権法に違反するおそれ)
127
+ - わいせつ物を頒布しないでください (刑法175条に違反するおそれ)
128
+ - いわゆる業界のマナーを守らないようなこと
129
+ - 事実に基づかないことを事実のように語らないようにしてください(威力業務妨害罪が適用されるおそれ)
130
+ - フェイクニュース
131
+
132
+ ## モデルの限界やバイアス
133
+
134
+ ### モデルの限界
135
+
136
+ - 人間の手がきれいに生成することが難しいです。
137
+
138
+ ### バイアス
139
+
140
+ - 日本のイラスト風の画像を生成していることに向いていますが、写真のような画像を生成することには向いていません。
141
+
142
+ ## 学習
143
+
144
+ **学習データ**
145
+
146
+ - Stable Diffusionと同様のデータセットからDanbooruの無断転載画像を取り除いて手動で集めた約3000枚の画像
147
+ - Stable Diffusionと同様のデータセットからDanbooruの無断転載画像を取り除いて自動で集めた約50万枚の画像
148
+ - [CosmicMan-SDXL](https://huggingface.co/cosmicman/CosmicMan-SDXL)
149
+
150
+ **学習プロセス**
151
+
152
+ - **ハードウェア:** A6000
153
+
154
+ ## 評価結果
155
+
156
+ 第三者による評価を求めています。
157
+
158
+ ## 環境への影響
159
+
160
+ - **ハードウェアタイプ:** A6000
161
+ - **使用時間(単位は時間):** 500
162
+ - **学習した場所:** 日本
163
+
164
+ ## 参考文献
165
+
166
+ ```bibtex
167
+ @misc{podell2023sdxl,
168
+ title={SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis},
169
+ author={Dustin Podell and Zion English and Kyle Lacey and Andreas Blattmann and Tim Dockhorn and Jonas Müller and Joe Penna and Robin Rombach},
170
+ year={2023},
171
+ eprint={2307.01952},
172
+ archivePrefix={arXiv},
173
+ primaryClass={cs.CV}
174
+ }
175
+ ```
176
+
177
+ ```bibtex
178
+ @article{li2024cosmicman,
179
+ title={CosmicMan: A Text-to-Image Foundation Model for Humans},
180
+ author={Li, Shikai and Fu, Jianglin and Liu, Kaiyuan and Wang, Wentao and Lin, Kwan-Yee and Wu, Wayne},
181
+ journal={arXiv preprint arXiv:2404.01294},
182
+ year={2024}
183
+ }
184
+
185
+ ```