Update README.md

README.md

@@ -1,3 +1,89 @@
 ---
 license: mit
+widget:
+- text: "오늘 아침 정부는 발표를 통해"
+- text: "0 : 아 배고프다\n"
 ---
+PoC를 위해 학습한 작은 GPT 모델
+
+## 모델 구성
+- GPT-Neo-X, Pytorch
+- 2 Layers, 512 hidden dim, 2048 intermediate, 8 heads, 8000 vocab size
+- 512 max_seq_len
+- 모델 크기: 13M
+
+## 학습 데이터셋
+- AIHub SNS 대화(747MB)
+- AIHub 구어체(435MB)
+- 한국어 위키(773MB)
+- 나무위키(5.8GB)
+- 국립국어원 메신저 대화(21MB)
+
+## 학습 환경 및 하이퍼파라미터
+- NVIDIA Tesla T4(16GB VRAM)
+- fp 16, deepspeed stage2
+- 350000 steps
+- batch size 32
+- learning rate 5e-5, linear scheduler
+- 최종 train loss: 3.684
+- 학습 코드: https://github.com/HeegyuKim/language-model
+
+### 
+<details>
+<summary>deepspeed parameter</summary>
+<div markdown="1">
+
+```json
+{
+    "zero_optimization": {
+       "stage": 2,
+       "offload_optimizer": {
+           "device": "cpu",
+           "pin_memory": true
+       },
+       "allgather_partitions": true,
+       "allgather_bucket_size": 5e8,
+       "reduce_scatter": true,
+       "reduce_bucket_size": 5e8,
+       "overlap_comm": true,
+       "contiguous_gradients": true
+    },
+    "train_micro_batch_size_per_gpu": "auto",
+    "train_batch_size": "auto",
+    "steps_per_print": 1000
+  }
+```
+
+</div>
+</details>
+
+### example
+```python
+from transformers import pipeline
+
+generator = pipeline('text-generation', model='heegyu/kogpt-neox-tiny')
+
+def generate(prefix: str):
+    print(generator(prefix, do_sample=True, top_p=0.6, repetition_penalty=1.4, max_length=128, penalty_alpha=0.6)[0]["generated_text"])
+
+generate("0 : 만약 오늘이 ")
+generate("오늘 정부가 발표한 내용에 따르면")
+generate("수학이란 학자들의 정의에 따라")
+generate("영상 보는데 너무 웃겨 ")
+```
+실행 결과
+```
+0 : 만약 오늘이 #@이름#가 먼저 자는거면 또 자는건데ㅋ
+1 : ㅇㄷㆍ_==
+2 : 아까 아침에 일어났어?!!
+3 : 아니아니 근데 이따 시간표가 끝날때까지 잤지않게 일주일동안 계속 잠들었엉.. 나도 지금 일어났는데, 너무 늦을듯해. 그러다 다시 일어나서 다행이다
+4 : 어차피 2:30분에 출발할것같아요~
+5 : 이제 곧 일어낫어요
+오늘 정부가 발표한 내용에 따르면, 한참 여부는 "한숨이 살릴 수 있는 게 무엇인가"라는 질문에 대해 말할 것도 없다. 하지만 그건 바로 이러한 문제 때문일 것이다."
+실제로 해당 기사에서 나온 바 있다. 실제로 당시 한국에서 이게 사실이 아니라고 밝혔다는 건데도 불구하고 말이다. 기사화되기는 했는데 '한국어'의 경우에도 논란이 있었다. 사실 이 부분만 언급되어있고, 대한민국은 무조건 비난을 하는 것이 아니라 본인의 실수를 저지른다는 것인데 반해 유튜브 채널의 영상에서는 그냥 저런 댓글이 올라오
+수학이란 학자들의 정의에 따라 이 교과서에서 교육하는 경우가 많은데, 그 이유는 교수들(실제로 학생들은 공부도 하교할 수 있는 등)을 학교로 삼아 강의실에서 듣기 때문이다.
+이 학교의 교사들이 '학교'를 선택한 것은 아니지만 교사가 "학생들의"라는 뜻이다."라고 한다. 하지만 이쪽은 교사와 함께 한 명씩 입학식 전부터 교사의 인생들을 시험해보고 싶다는 의미다. 또한 수학여행에서는 가르칠 수도 있고 수학여행을 갔거나 전공 과목으로 졸업하고 교사는 다른
+영상 보는데 너무 웃겨 #@기타#웃기네
+0 : ㅋㅌㄱㆍ이별명인듯
+1 : ㅠㅜ그렇지뭐? 아빠는 아니고? 왜케 많음... 나도 그럴수가 없어.. 내가 말한건데 ㅎ,, #@이름#씨에스나게놀아주까봐 어제부터 내맘대로해달라햇어 그래서 우리집에서 안쓰럽거든 근데 진짜 많이해서 걱정하지말라고 해줬으면좋
+```