Update README.md
Browse files
README.md
CHANGED
|
@@ -22,7 +22,7 @@ PoC를 위해 학습한 작은 GPT 모델
|
|
| 22 |
## 학습 환경 및 하이퍼파라미터
|
| 23 |
- NVIDIA Tesla T4(16GB VRAM)
|
| 24 |
- fp 16, deepspeed stage2
|
| 25 |
-
- 350000 steps
|
| 26 |
- batch size 32
|
| 27 |
- learning rate 5e-5, linear scheduler
|
| 28 |
- 최종 train loss: 3.684
|
|
|
|
| 22 |
## 학습 환경 및 하이퍼파라미터
|
| 23 |
- NVIDIA Tesla T4(16GB VRAM)
|
| 24 |
- fp 16, deepspeed stage2
|
| 25 |
+
- 350000 steps, 2일 17시간 소요
|
| 26 |
- batch size 32
|
| 27 |
- learning rate 5e-5, linear scheduler
|
| 28 |
- 최종 train loss: 3.684
|