Update README.md
Browse files
README.md
CHANGED
|
@@ -62,7 +62,22 @@ This llama model was trained 2x faster with [Unsloth](https://github.com/unsloth
|
|
| 62 |
|
| 63 |
5. **ichikara-instruction-003-001**
|
| 64 |
- LLMのための日本語のシングルターン指示応答データセット。
|
| 65 |
-
- 約2,903件の高品質な日本語データを含む。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 66 |
|
| 67 |
|
| 68 |
|
|
|
|
| 62 |
|
| 63 |
5. **ichikara-instruction-003-001**
|
| 64 |
- LLMのための日本語のシングルターン指示応答データセット。
|
| 65 |
+
- 約2,903件の高品質な日本語データを含む。
|
| 66 |
+
|
| 67 |
+
# 学習用パラメータについて
|
| 68 |
+
|
| 69 |
+
| パラメータ名 | 値 |
|
| 70 |
+
|--------------------------------------|----------------------------------------|
|
| 71 |
+
| LoRA_r | 128 |
|
| 72 |
+
| LoRA_alpha | 256 |
|
| 73 |
+
| LoRA_dropout | 0.05 |
|
| 74 |
+
| per_device_train_batch_size | 1 |
|
| 75 |
+
| gradient_accumulation_steps | 16 |
|
| 76 |
+
| max_steps | 150 |
|
| 77 |
+
| warmup_ratio | 0.1 |
|
| 78 |
+
| num_train_epochs | 2 |
|
| 79 |
+
| learning_rate | 0.0001 |
|
| 80 |
+
| embedding_learning_rate | 0.00001 |
|
| 81 |
|
| 82 |
|
| 83 |
|