README.md

metadata

license: llama3
language:
  - en
  - ko
pipeline_tag: text-generation
tags:
  - saltlux
  - luxia
  - meta
  - llama-3
  - pytorch

Model Details

Saltlux, AI Labs 언어모델팀에서 학습 및 공개한 Ko-Llama3-Luxia-8B 모델은 Meta에서 출시한 Llama-3-8B 모델을 한국어에 특화한 모델입니다.

자체 보유하고 있는 1TB 이상의 한국어 학습 데이터 중, 약 100GB 정도의 데이터를 선별하여 사전학습에 활용하였습니다.

또한 공개된 Llama-3 Tokenizer를 한국어로 확장하고 사전학습에 활용했습니다.

• Meta Llama-3: Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dialogue use cases and outperform many of the available open source chat models on common industry benchmarks. Further, in developing these models, we took great care to optimize helpfulness and safety.
• License: Llama3 License https://llama.meta.com/llama3/license

Intended Use

Ko-Llama3-Luxia-8B는 연구용으로 제작되었으며, 다양한 자연어 생성 태스크를 위해 자유롭게 학습 및 활용할 수 있습니다.

How to Use

해당 모델 카드에는 Ko-Llama3-Luxia-8B 모델과 transformers 라이브러리 기반의 예시 코드를 제공합니다.

import transformers
import torch

model_id = "saltlux/Ko-Llama3-Luxia-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
pipeline("<|begin_of_text|>안녕하세요. 솔트룩스 AI Labs 입니다.")

Training Details

한국어 특화를 위한 사전학습 데이터는 Saltlux에서 보유한 뉴스, 법률, 특허, 의료, 역사, 사회, 문화, 대화(문어/구어) 등의 도메인으로 구성된 100GB 수준의 코퍼스(~2023년)를 활용하였습니다.

• 현재 제공되는 모델은 0.9 Epoch 학습된 모델입니다.
  

Use Device

사전학습은 NVIDIA H100 80GB * 8EA 장비를 활용하여 진행하였습니다.

Training Hyperparameters

Model	Params	Context length	GQA	Learning rate	Batch	Precision
Ko-Llama3-Luxia-8B	8B	8k	yes	1e-5	128	bf16

Tokenizer

Llama-3-Tokenizer를 한국어 특화하기 위해 한국어 토큰 17,536개를 추가하고 활용하였습니다.

Model	Vocab Size
Llama-3	128,256
Ko-Llama3-Luxia-8B	145,792

Tokenizer Result

• Ko

  입력	Llama-3	Ko-Llama3-Luxia-8B
  요즘 날씨가 너무 오락가락해서 아직도 겨울옷을 못치웠어요..	['요', '즘', ' 날', '씨', '가', ' 너무', ' 오', '락', '가', '락', '해서', ' 아직', '도', ' 겨', '울', '�', '�', '을', ' 못', '치', '웠', '어요', '..']	['요즘', ' 날씨', '가', ' 너무', ' 오락', '가락', '해서', ' 아직', '도', ' 겨울', '옷', '을', ' 못', '치', '웠', '어요', '..']
  맛있는 밥을 드셨습니까? 맛이 궁금하네요.	['맛', '있는', ' �', '�', '을', ' 드', '셨', '습', '니까', '?', ' 맛', '이', ' 궁금', '하', '네요', '.']	['맛', '있는', ' 밥', '을', ' 드셨', '습', '니까', '?', ' 맛', '이', ' 궁금', '하', '네요', '.']
  대법원부터 하급심 판례까지 원하는 판례를 찾는 가장 빠른 방법 - 서면 검색, 요청 판례, 유사 판례, AI 추천, 판례 및 법령 검색.	['대', '법', '원', '부터', ' 하', '급', '심', ' 판', '례', '까지', ' 원', '하는', ' 판', '례', '를', ' 찾', '는', ' 가장', ' 빠', '른', ' 방법', ' -', ' 서', '면', ' 검색', ',', ' 요청', ' 판', '례', ',', ' 유', '사', ' 판', '례', ',', ' AI', ' 추천', ',', ' 판', '례', ' 및', ' 법', '령', ' 검색', '.']	['대', '법', '원', '부터', ' 하', '급', '심', ' 판례', '까지', ' 원', '하는', ' 판례', '를', ' 찾', '는', ' 가장', ' 빠른', ' 방법', ' -', ' 서면', ' 검색', ',', ' 요청', ' 판례', ',', ' 유사', ' 판례', ',', ' AI', ' 추천', ',', ' 판례', ' 및', ' 법령', ' 검색', '.']
  본 발명은 금속판의 다수 부분을 에칭시켜 특정 무늬모양을 형성하는 건축용 금속재 장식판으로 이루어진 것에 특징이 있다.	['본', ' 발', '명', '은', ' 금', '속', '판', '의', ' 다', '수', ' 부분', '을', ' 에', '칭', '시', '켜', ' 특', '정', ' 무', '�', '�', '모', '양', '을', ' 형', '성', '하는', ' 건', '축', '용', ' 금', '속', '재', ' 장', '식', '판', '으로', ' 이루', '어진', ' 것', '에', ' 특', '징', '이', ' 있다', '.']	['본', ' 발명', '은', ' 금속', '판', '의', ' 다수', ' 부분', '을', ' 에칭', '시', '켜', ' 특정', ' 무늬', '모', '양', '을', ' 형성', '하는', ' 건축', '용', ' 금속', '재', ' 장식', '판', '으로', ' 이루어진', ' 것', '에', ' 특징', '이', ' 있다', '.']
  골다공증은 왜 생기는거에요? 그리고 치료하려면 어떻게해야하죠?	['골', '다', '공', '증', '은', ' 왜', ' 생', '기는', '거', '에', '요', '?', ' 그리고', ' 치', '료', '하려', '면', ' 어떻게', '해야', '하', '죠', '?']	['골', '다', '공증', '은', ' 왜', ' 생', '기는', '거', '에', '요', '?', ' 그리고', ' 치료', '하려', '면', ' 어떻게', '해야', '하', '죠', '?']

• En

  입력	Llama-3	Ko-Llama3-Luxia-8B
  Korean cuisine, hanguk yori, or hansik, has evolved through centuries of social and political change.	['K', 'orean', ' cuisine', ',', ' h', 'angu', 'k', ' y', 'ori', ',', ' or', ' hans', 'ik', ',', ' has', ' evolved', ' through', ' centuries', ' of', ' social', ' and', ' political', ' change', '.']	['K', 'orean', ' cuisine', ',', ' h', 'angu', 'k', ' y', 'ori', ',', ' or', ' hans', 'ik', ',', ' has', ' evolved', ' through', ' centuries', ' of', ' social', ' and', ' political', ' change', '.']
  Son Heung-min is a South Korean professional footballer who plays as a forward for and captains both Premier League club Tottenham Hotspur and the South Korea national team.	['Son', ' He', 'ung', '-min', ' is', ' a', ' South', ' Korean', ' professional', ' football', 'er', ' who', ' plays', ' as', ' a', ' forward', ' for', ' and', ' captains', ' both', ' Premier', ' League', ' club', ' Tottenham', ' Hot', 'sp', 'ur', ' and', ' the', ' South', ' Korea', ' national', ' team', '.']	['Son', ' He', 'ung', '-min', ' is', ' a', ' South', ' Korean', ' professional', ' football', 'er', ' who', ' plays', ' as', ' a', ' forward', ' for', ' and', ' captains', ' both', ' Premier', ' League', ' club', ' Tottenham', ' Hot', 'sp', 'ur', ' and', ' the', ' South', ' Korea', ' national', ' team', '.']

Inference Result

Llama-3	Ko-Llama3-Luxia-8B
한국의 문화 중에서 가장 큰 특징은 무엇인가?\nWhat is the most distinctive feature of Korean culture?\nKorean culture has many unique features. But I think that the most distinctive feature of Korean culture is its harmony with nature.\nThe harmony between people and nature is a very important concept in Korea. In fact, it is one of the basic principles of Confucianism, which is the traditional philosophy of Korea. According to this principle, humans should live in harmony with nature and respect the natural order of things.<이하 생략>	한국의 문화 중에 가장 큰 특징은 무엇일까? 바로 ‘빨리빨리’다. 한국인은 빨리빨리 문화를 통해 많은 것을 이루었다. 하지만 이 빠른 속도는 우리에게 어떤 영향을 미쳤을까?\n한국인의 빠른 속도는 긍정적인 면과 부정적인 면을 동시에 가지고 있다. 긍정적인 면은, 빠른 속도로 인해 우리는 많은 것을 이룰 수 있었다. 예를 들어, 한국은 세계에서 가장 빠르게 경제 성장을 이룬 나라 중 하나이며, IT 분야에서도 세계적인 강국으로 자리 잡았다.\n하지만 빠른 속도는 부정적인 면도 가지고 있다. 한국의 빠른 속도는 스트레스와 불안을 증가시켰다. 또한, 빠른 속도는 환경 파괴와 자원 고갈을 초래했다.\n\n빠른 속도의 장점<이하 생략>
한국의 대표적인 술인 소주와 맥주의 생산과정과 특성에 관한 연구\nA Study on the Production Process and Characteristics of Korean Soju and Beer\nThe purpose of this study was to investigate the production process and characteristics of soju and beer. The results are as follows: 1. The raw materials used for making soju were rice, wheat, corn, barley, sweet potato, and buckwheat. The main ingredients in soju were alcohol, water, sugar, and flavoring agents. The main flavoring agents were glycerin, caramel color, and artificial flavors. <이하 생략>	한국의 대표적인 술인 소주와 막걸리는 모두 쌀로 만든다.\n쌀은 한국인의 주식이기 때문에 술을 만들 때도 가장 많이 사용한다.\n소주는 증류주이고, 막걸리는 발효주이다. 증류주는 알코올 도수가 높고, 발효주는 낮다.\n막걸리에는 효모가 살아 있어 탄산이 생긴다.\n그래서 막걸리를 마시면 속이 더부룩해지는 것이다.\n막걸리의 알코올 도수는 6~8% 정도인데, 소주의 알코올 도수는 20% 이상이다.\n술의 종류에 따라 알코올 도수가 다르지만, 일반적으로 알코올 도수가 높으면 빨리 취하고, 낮으면 천천히 취한다.<이하 생략>
한국의 전통의상인 한복과 일본의 전통의상인 요로카미는 모두 5대륙의 문화를 수용하고, 각기 다른 지역의 특징을 반영한 의상을 갖추고 있다. 이러한 의상의 특징은 각각의 국가에서 발전해 온 역사와 문화에 기초한다. 한편, 한국의 한복과 일본의 요로카미는 서로 비슷한 형태를 가지고 있지만, 그 의미는 다르다. 한복은 한국인의 정체성을 나타내며, 요로카미는 일본인의 정체성을 나타낸다. 따라서 이 두 가지 의상은 서로 다른 문화적 배경을 가진 사람들의 정체성 표현에 사용된다.\nThe traditional costumes of Korea and Japan are hanbok and yorokami respectively. Both have been influenced by the cultures of other countries and reflect the characteristics of their respective regions. The distinctive features of these costumes are based on the history and culture of each country. However, although hanbok and yorokami share similar forms, they have different meanings. Hanbok represents Korean identity while yorokami represents Japanese identity. <이하 생략>	한국의 전통의상인 한복은 한국의 문화를 대표하는 상징물이다. 하지만 최근에는 한복을 입는 사람들이 점점 줄어들고 있다. 이는 여러 가지 이유가 있겠지만, 그 중 하나가 바로 한복이 불편하다는 것이다. 특히 여성들은 한복을 입으면 활동하기 어렵다는 것을 가장 큰 단점으로 꼽는다.\n하지만 최근에는 이러한 단점을 보완한 새로운 형태의 한복들이 등장하고 있다. 예를 들어, 치마 대신 바지를 입거나, 블라우스 대신 티셔츠나 셔츠를 입는 등 다양한 변형된 한복들이 나오고 있다. 이러한 새로운 형태의 한복들은 한복의 장점을 살리면서도 현대인의 생활 방식에 맞게 디자인되어 많은 사람들의 관심을 끌고 있다. <이하 생략>

Citation instructions

Ko-Llama3-Luxia-8B

@article{kollama3luxiamodelcard,
  title={Ko Llama 3 Luxia Model Card},
  author={AILabs@Saltux},
  year={2024},
  url={https://huggingface.co/saltlux/Ko-Llama3-Luxia-8B/blob/main/README.md}
}

Original Llama-3

@article{llama3modelcard,
title={Llama 3 Model Card},
author={AI@Meta},
year={2024},
url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}