Model Card for Model ID

AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성(Saxo) 이사가
mistralai/Mistral-Nemo-Instruct-2407 베이스모델을 사용해서 H100-80G 8개를 통해 약 20%정도의 파라미터를 한국어 CPT(Continued-Pretraining)->SFT->DPO 한
한글 언어 모델인 Saxo/Linkbricks-Horizon-AI-Korean-Advanced-12B을 추가적인 한글, 영어, 일어, 중국어 교차 데이터들을 활용해서 다양한 테스크별 한국어-중국어-영어-일본어 교차 학습 데이터와 수학 및
논리판단 데이터를 통하여 한중일영 언어 교차 증강 처리와 복잡한 논리 문제 역시 대응 가능하도록 훈련한 모델이다.
-한글, 영어, 중국어, 일본어 교차 처리 강화 버전
-토크나이저는 단어 확장 없이 베이스 모델 그대로 사용
-고객 리뷰나 복잡한 한글 추론 및 소셜 포스팅 고차원 분석 및 코딩과 작문, 수학, 논리판단 등이 강화된 모델
-128k-Context Window


Dr. Yunsung Ji (Saxo), a data scientist at Linkbricks, a company specializing in AI and big data analytics, has developed a Korean language model
using the Saxo/Linkbricks-Horizon-AI-Korean-Advanced-12B, a Korean language model that uses the mistralai/Mistral-Nemo-Instruct-2407 basemodel to train about 20% of the parameters through 8 H100-80Gs
using Korean CPT (Continued-Pretraining)->SFT->DPO. It is a model trained to handle cross-lingual augmentation and complex logic problems by utilizing additional Korean, Engliash, Japanese and Chinese Language data, cross-training data of Korean, Chinese, English, and Japanese by various tasks, and math and logic judgment data.

Translated with DeepL.com (free version)
-Reinforced Korean, Engliash, Japanese, Chinese Language processing
-Tokenizer uses the base model without word expansion
-Models enhanced with high-dimensional analysis of customer reviews and social posts, as well as coding, writing, math, decision making and complex inference
-128k-Context Window
-Deepspeed Stage=3, use rslora and BAdam Layer Mode


www.linkbricks.com, www.linkbricks.vc

Downloads last month
533
Safetensors
Model size
12.2B params
Tensor type
BF16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for Saxo/Linkbricks-Horizon-AI-Korean-Pro-12B

Datasets used to train Saxo/Linkbricks-Horizon-AI-Korean-Pro-12B