README.md

metadata

library_name: transformers
datasets:
  - UICHEOL-HWANG/fairy_dataset
language:
  - ko
metrics:
  - f1
  - accuracy
base_model:
  - skt/kogpt2-base-v2
pipeline_tag: text-generation

KoGPT2 fine Tuned model

• 타겟 : 동화 데이터를 통한 동화 생성 모델
• base model : "skt/kogpt2-base-v2"
• batch-size : 8
• max_length : 512
• num_epochs : 5
• learning_rate : 5e-5

특이점

• 동화 데이터 특성상 한 편당 길이가 매우 길어 chunk 단위로 짜른 뒤 데이터를 학습 시킴

  • 그렇게 나눈 덕에 학습 데이터가 매우 많아 VRAM 과부하 발생

    • frac=0.3 비율로 짤라서 학습
    • 추후 인퍼런스 예정

  • github

  https://github.com/UICHEOL-HWANG/KoGPT2-Generate_fairy.git