README.md

metadata

license: llama3
language:
  - en
  - ko
pipeline_tag: text-generation
tags:
  - saltlux
  - luxia
  - meta
  - llama-3
  - pytorch

Model Details

Saltlux, AI Labs 언어모델팀에서 학습 및 공개한 Ko-Llama3-Luxia-8B 모델은 Meta에서 출시한 Llama-3-8B 모델을 한국어에 특화한 모델입니다.

자체 보유하고 있는 1TB 이상의 한국어 학습 데이터 중, 약 100GB 정도의 데이터를 선별하여 사전학습에 활용하였습니다.

또한 공개된 Llama-3 Tokenizer를 한국어로 확장하고 사전학습에 활용했습니다.

• Meta Llama-3: Meta developed and released the Meta Llama 3 family of large language models (LLMs), a collection of pretrained and instruction tuned generative text models in 8 and 70B sizes. The Llama 3 instruction tuned models are optimized for dialogue use cases and outperform many of the available open source chat models on common industry benchmarks. Further, in developing these models, we took great care to optimize helpfulness and safety.
• License: Llama3 License https://llama.meta.com/llama3/license

Intended Use

Ko-Llama3-Luxia-8B는 연구용으로 제작되었으며, 다양한 자연어 생성 태스크를 위해 자유롭게 학습 및 활용할 수 있습니다.

How to Use

해당 모델 카드에는 Ko-Llama3-Luxia-8B 모델과 transformers 라이브러리 기반의 예시 코드를 제공합니다.

import transformers
import torch

model_id = "saltlux/Ko-Llama3-Luxia-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
pipeline("<|begin_of_text|>안녕하세요. 솔트룩스 AI Labs 입니다.")

Training Details

한국어 특화를 위한 사전학습 데이터는 Saltlux에서 보유한 뉴스, 법률, 특허, 의료, 역사, 사회, 문화, 대화(문어/구어) 등의 도메인으로 구성된 100GB 수준의 코퍼스(~2023년)를 활용하였습니다.

Use Device

사전학습은 NVIDIA H100 80GB * 8EA 장비를 활용하여 진행하였습니다.

Training Hyperparameters

Model	Params	Context length	GQA	Learning rate	Batch	Precision
Ko-Llama3-Luxia-8B	8B	8k	yes	1e-5	128	bf16

Tokenizer

Llama-3-Tokenizer를 한국어 특화하기 위해 한국어 토큰 17,536개를 추가하고 활용하였습니다.

Model	Vocab Size
Llama-3	128,256
Ko-Llama3-Luxia-8B	145,792

Tokenizer Result

• Ko

  입력	Llama-3	Ko-Llama3-Luxia-8B
  요즘 날씨가 너무 오락가락해서 아직도 겨울옷을 못치웠어요..	['요', '즘', ' 날', '씨', '가', ' 너무', ' 오', '락', '가', '락', '해서', ' 아직', '도', ' 겨', '울', '�', '�', '을', ' 못', '치', '웠', '어요', '..']	['요즘', ' 날씨', '가', ' 너무', ' 오락', '가락', '해서', ' 아직', '도', ' 겨울', '옷', '을', ' 못', '치', '웠', '어요', '..']
  맛있는 밥을 드셨습니까? 맛이 궁금하네요.	['맛', '있는', ' �', '�', '을', ' 드', '셨', '습', '니까', '?', ' 맛', '이', ' 궁금', '하', '네요', '.']	['맛', '있는', ' 밥', '을', ' 드셨', '습', '니까', '?', ' 맛', '이', ' 궁금', '하', '네요', '.']
  대법원부터 하급심 판례까지 원하는 판례를 찾는 가장 빠른 방법 - 서면 검색, 요청 판례, 유사 판례, AI 추천, 판례 및 법령 검색.	['대', '법', '원', '부터', ' 하', '급', '심', ' 판', '례', '까지', ' 원', '하는', ' 판', '례', '를', ' 찾', '는', ' 가장', ' 빠', '른', ' 방법', ' -', ' 서', '면', ' 검색', ',', ' 요청', ' 판', '례', ',', ' 유', '사', ' 판', '례', ',', ' AI', ' 추천', ',', ' 판', '례', ' 및', ' 법', '령', ' 검색', '.']	['대', '법', '원', '부터', ' 하', '급', '심', ' 판례', '까지', ' 원', '하는', ' 판례', '를', ' 찾', '는', ' 가장', ' 빠른', ' 방법', ' -', ' 서면', ' 검색', ',', ' 요청', ' 판례', ',', ' 유사', ' 판례', ',', ' AI', ' 추천', ',', ' 판례', ' 및', ' 법령', ' 검색', '.']
  본 발명은 금속판의 다수 부분을 에칭시켜 특정 무늬모양을 형성하는 건축용 금속재 장식판으로 이루어진 것에 특징이 있다.	['본', ' 발', '명', '은', ' 금', '속', '판', '의', ' 다', '수', ' 부분', '을', ' 에', '칭', '시', '켜', ' 특', '정', ' 무', '�', '�', '모', '양', '을', ' 형', '성', '하는', ' 건', '축', '용', ' 금', '속', '재', ' 장', '식', '판', '으로', ' 이루', '어진', ' 것', '에', ' 특', '징', '이', ' 있다', '.']	['본', ' 발명', '은', ' 금속', '판', '의', ' 다수', ' 부분', '을', ' 에칭', '시', '켜', ' 특정', ' 무늬', '모', '양', '을', ' 형성', '하는', ' 건축', '용', ' 금속', '재', ' 장식', '판', '으로', ' 이루어진', ' 것', '에', ' 특징', '이', ' 있다', '.']
  골다공증은 왜 생기는거에요? 그리고 치료하려면 어떻게해야하죠?	['골', '다', '공', '증', '은', ' 왜', ' 생', '기는', '거', '에', '요', '?', ' 그리고', ' 치', '료', '하려', '면', ' 어떻게', '해야', '하', '죠', '?']	['골', '다', '공증', '은', ' 왜', ' 생', '기는', '거', '에', '요', '?', ' 그리고', ' 치료', '하려', '면', ' 어떻게', '해야', '하', '죠', '?']

• En

  입력	Llama-3	Ko-Llama3-Luxia-8B
  Korean cuisine, hanguk yori, or hansik, has evolved through centuries of social and political change.	['K', 'orean', ' cuisine', ',', ' h', 'angu', 'k', ' y', 'ori', ',', ' or', ' hans', 'ik', ',', ' has', ' evolved', ' through', ' centuries', ' of', ' social', ' and', ' political', ' change', '.']	['K', 'orean', ' cuisine', ',', ' h', 'angu', 'k', ' y', 'ori', ',', ' or', ' hans', 'ik', ',', ' has', ' evolved', ' through', ' centuries', ' of', ' social', ' and', ' political', ' change', '.']
  Son Heung-min is a South Korean professional footballer who plays as a forward for and captains both Premier League club Tottenham Hotspur and the South Korea national team.	['Son', ' He', 'ung', '-min', ' is', ' a', ' South', ' Korean', ' professional', ' football', 'er', ' who', ' plays', ' as', ' a', ' forward', ' for', ' and', ' captains', ' both', ' Premier', ' League', ' club', ' Tottenham', ' Hot', 'sp', 'ur', ' and', ' the', ' South', ' Korea', ' national', ' team', '.']	['Son', ' He', 'ung', '-min', ' is', ' a', ' South', ' Korean', ' professional', ' football', 'er', ' who', ' plays', ' as', ' a', ' forward', ' for', ' and', ' captains', ' both', ' Premier', ' League', ' club', ' Tottenham', ' Hot', 'sp', 'ur', ' and', ' the', ' South', ' Korea', ' national', ' team', '.']

Inference Result

Llama-3	Ko-Llama3-Luxia-8B
중국의 전통적인 의복을 현대적으로 재해석한 패션 브랜드, ‘이브라힘’의 창립자이자 디자이너인 이브라힘(이브라힘 알리)씨와 인터뷰를 진행했습니다. 그는 중국의 전통적인 의복에 대한 애정을 가지고 있으며, 이를 현대적으로 재해석하여 세계 각국에서 사랑받고 있는 브랜드를 운영하고 있습니다.\nIbrahim is a fashion brand that reinterprets traditional Chinese clothing in a modern way. Ibrahim (Ibrahim Ali), the founder and designer of Ibrahim, has an affection for traditional Chinese clothing and operates a brand that is loved around the world by modernizing it.\nIbrahim is a fashion brand that reinterprets traditional Chinese clothing in a modern way. <이하 생략>	중국의 전통적인 교육은 유교의 영향을 받았다.\n유교는 인간이 사회적 동물이라는 것을 강조한다.\n인간은 혼자 살아갈 수 없으며, 다른 사람과 더불어 살아야 한다.\n따라서 인간관계를 잘 맺고 유지하는 것이 중요하다.\n유교에서는 인간관계를 맺고 유지하기 위해서는 예절을 지켜야 한다고 가르친다.\n예절은 인간관계에서 지켜야 할 도리와 행동 규범이다. 만약 예절을 지키지 않으면 인간관계가 깨지게 되고, 결국 사회생활에 어려움을 겪게 된다.\n따라서 유교에서는 예절을 배우는 것을 매우 중요하게 생각했다.\n\n2. 중국의 전통적인 교육의 특징\n\n중국 전통교육의 특징은 다음과 같습니다.\n\n* 유교적 가치관: 중국 전통교육은 유교적 가치관을 바탕으로 합니다. 유교적 가치관은 인간이 사회적 동물이며, 다른 사람과 더불어 살아야 한다는 것을 강조합니다. 또한, 유교적 가치관은 인간관계를 잘 맺고 유지하기 위해서는 예절을 지켜야 한다고 가르칩니다.\n* 인성교육: <이하 생략>
한국의 대표적인 술인 소주와 맥주의 생산과정과 특성에 관한 연구\nA Study on the Production Process and Characteristics of Korean Soju and Beer\nThe purpose of this study was to investigate the production process and characteristics of soju and beer. The results are as follows: 1. The raw materials used for making soju were rice, wheat, corn, barley, sweet potato, and buckwheat. The main ingredients in soju were alcohol, water, sugar, and flavoring agents. The main flavoring agents were glycerin, caramel color, and artificial flavors. <이하 생략>	한국의 대표적인 술이 막걸리인데, 막걸리는 탁주라고도 한다. 막걸리의 유래는 삼국시대까지 거슬러 올라간다. 삼국사기에는 고구려의 왕족들이 술을 빚어 마시고, 신라에서는 왕과 귀족들이 술을 빚어 마셨다는 기록이 있다.\n막걸리란 말은 조선 후기에 등장한다. 18세기 후반부터 19세기 초반에 걸쳐 쓰여진 문헌에서 ‘막걸리’라는 말이 처음으로 나타난다. 당시에는 ‘막걸리’가 아니라 ‘막걸리’로 표기했다. ‘막걸리’는 20세기에 들어서야 쓰이게 된다.\n막걸리는 쌀을 주원료로 하고 누룩과 물을 섞어서 발효시켜 만든다. 막걸리를 만드는 과정은 크게 세 단계로 나뉜다. 먼저 쌀을 씻어 물에 담가 두었다가 체에 밭쳐 물기를 뺀다. 그리고 누룩가루를 넣고 고루 섞는다. 마지막으로 항아리에 담아서 발효시키면 막걸리가 완성된다.\n막걸리는 우리나라에서 가장 오래된 술이다. 막걸리는 쌀을 주원료로 하기 때문에 영양가가 높고 소화가 잘된다. 또한 막걸리는 알코올 도수가 낮아 부담 없이 마실 수 있다. <이하 생략>
롯데월드의 대표적인 놀이기구는 롯데타워입니다. 123m 높이로 올라가면 서울시내 전경을 한눈에 볼 수 있습니다.\nLotte World Tower is the tallest building in Seoul, South Korea and the fifth-tallest in the world. It has a total height of 555 m (1,821 ft) and consists of 123 floors above ground as well as five basement levels. The tower's main structure was topped out on March 29, 2016, and its observation deck opened to the public on April 11, 2017. Lotte World Tower is located in Songpa District, Seoul, near the Bangi Station on Line 5 of the Seoul Subway system.	롯데월드의 대표적인 놀이기구는 \'자이로드롭\'이다. 자이로드롭은 2013년 개장한 롯데월드타워 전망대 서울스카이와 함께 롯데월드타워를 대표하는 시설로, 국내에서 가장 빠른 속도인 시속 120㎞로 하강하며 짜릿함을 선사한다.\n롯데월드 측은 "자이로드롭은 롯데월드타워가 완공되기 전부터 많은 관심을 받았다"며 "국내 최고 높이(555m)라는 점과 세계 최대 규모(2대)의 시설이라는 점 때문에 개장 전부터 화제가 됐다"고 설명했다.\n실제 자이로드롭은 개장 이후 지금까지 누적 탑승객 수 100만명을 돌파했으며, 하루 평균 3000명 이상이 이용하고 있다. 특히 주말에는 4000여 명이 탑승할 정도로 인기가 높다.\n롯데월드 관계자는 "자이로드롭은 롯데월드타워의 랜드마크 시설 중 하나로, 롯데월드타워를 방문하는 고객이라면 누구나 꼭 타보고 싶어 하는 시설"이라고 말했다.\n롯데월드타워 전망대 서울스카이는 500m 상공에 위치해 있어 서울 시내 전경을 한눈에 볼 수 있는 곳으로, 개장 이후 누적 방문객 수가 200만명을 넘어섰다. <이하 생략>

Citation instructions

Ko-Llama3-Luxia-8B

@article{kollama3luxiamodelcard,
  title={Ko Llama 3 Luxia Model Card},
  author={AILabs@Saltux},
  year={2024},
  url={https://huggingface.co/saltlux/Ko-Llama3-Luxia-8B/blob/main/README.md}
}

Original Llama-3

@article{llama3modelcard,
title={Llama 3 Model Card},
author={AI@Meta},
year={2024},
url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}