Update README.md

README.md

@@ -3,197 +3,107 @@ library_name: transformers
 tags: []
 ---
 
-# Model Card for Model ID
+이 토크나이저는 [microsoft/Phi-4-mini-instruct](https://huggingface.co/microsoft/Phi-4-mini-instruct)에 [devngho/jamo-tokenizer-exp1](https://huggingface.co/devngho/jamo-tokenizer-exp1)를 병합해 만들어졌습니다.
 
-<!-- Provide a quick summary of what the model is/does. -->
+NFKD 정규화를 하면 한국어 외 다른 언어 토크나이징에 영향을 줄 수 있습니다. 따라서 NFKD 정규화를 토크나이저에 적용하는 대신 미리 NFKD 정규화를 한글 글자에만 적용하고 Replace하도록 했습니다.
 
 
+**한국어 예시**: 원래 토크나이저보다 효율적으로 토크나이징
 
-## Model Details
+Text: `모든 인간은 태어날 때부터 자유로우며 그 존엄과 권리에 있어 동등하다. 인간은 천부적으로 이성과 양심을 부여받았으며 서로 형제애의 정신으로 행동하여야 한다.`
 
-### Model Description
+phi4: 85 (0.00% more effective than phi-4) (�|�|든| 인|간|은| �|�|어|�|�| 때|부|터| 자|�|�|로|우|�|�| 그| �|��|�|�|과| �|�|�|리|에| 있|어| �|�|�|�|하|다|.| 인|간|은| �|�|부|적|으로| 이|성|과| �|�|�|�|을| 부|여|�|�|�|�|으|�|�| 서|로| �|�|제|�|�|의| 정|신|으로| �|��|동|하여|야| 한|다|.)
 
-<!-- Provide a longer summary of what this model is. -->
+phi4-mini-jamo: 39 (117.95% more effective than phi-4) (모든| 인간은| 태어나|ᆯ 때|부터| 자유|로우|며| 그| 존|엄|과| 권리|에 있어| 동|등|하다|.| 인간은| 천|부|적으로| 이|성과| 양|심을| 부여|받아|ᆻ으며| 서로| 형제|애|의 정|신|으로| 행동|하여|야 한다|.)
 
-This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.
+phi4-jamo: 39 (117.95% more effective than phi-4) (모든| 인간은| 태어나|ᆯ 때|부터| 자유|로우|며| 그| 존|엄|과| 권리|에 있어| 동|등|하다|.| 인간은| 천|부|적으로| 이|성과| 양|심을| 부여|받아|ᆻ으며| 서로| 형제|애|의 정|신|으로| 행동|하여|야 한다|.)
 
-- **Developed by:** [More Information Needed]
-- **Funded by [optional]:** [More Information Needed]
-- **Shared by [optional]:** [More Information Needed]
-- **Model type:** [More Information Needed]
-- **Language(s) (NLP):** [More Information Needed]
-- **License:** [More Information Needed]
-- **Finetuned from model [optional]:** [More Information Needed]
+jamo-exp1: 39 (117.95% more effective than phi-4) (모든|인간은|태어나|ᆯ 때|부터|자유|로우|며|그|존|엄|과|권리|에 있어|동|등|하다|.|인간은|천|부|적으로|이|성과|양|심을|부여|받아|ᆻ으며|서로|형제|애|의 정|신|으로|행동|하여|야 한다|.)
 
-### Model Sources [optional]
+Text:
+```
+PyTorch, TensorFlow, JAX를 위한 최첨단 머신러닝
 
-<!-- Provide the basic links for the model. -->
+🤗 Transformers는 사전학습된 최첨단 모델들을 쉽게 다운로드하고 훈련시킬 수 있는 API와 도구를 제공합니다. 사전학습된 모델을 쓰면 컴퓨팅 비용과 탄소 배출량이 줄고, 모델을 처음부터 훈련시키는 데 필요한 시간과 리소스를 절약할 수 있습니다. 저희 모델들은 다양한 분야의 태스크를 지원합니다.
 
-- **Repository:** [More Information Needed]
-- **Paper [optional]:** [More Information Needed]
-- **Demo [optional]:** [More Information Needed]
+📝 자연어 처리: 텍스트 분류, 개체명 인식, 질의응답, 언어 모델링, 요약, 번역, 객관식 질의응답, 텍스트 생성
+🖼️ 컴퓨터 비전: 이미지 분류, 객체 탐지, 객체 분할
+🗣️ 오디오: 자동음성인식, 오디오 분류
+🐙 멀티모달: 표 질의응답, 광학 문자 인식 (OCR), 스캔한 문서에서 정보 추출, 비디오 분류, 시각 질의응답
 
-## Uses
+🤗 Transformers는 PyTorch, TensorFlow와 JAX 간의 상호운용성을 지원합니다. 유연하게 모델의 각 단계마다 다른 프레임워크를 사용할 수도 있습니다. 예를 들어 코드 3줄만 써서 모��을 훈련시킨 다음, 다른 프레임워크 상에서 추론할 수 있습니다. 모델을 운영 환경에 배포하기 위해 ONNX나 TorchScript 형식으로 내보낼 수도 있습니다.
 
-<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
+커뮤니티에 참여하시려면 Hub, 포럼, 디스코드를 방문해주세요!
+```
+<details> <summary>토큰 단위 결과</summary>
+phi4: 540 (0.00% more effective than phi-4) (Py|T|orch|,| TensorFlow|,| J|AX|를| 위|한| 최|�|�|�|�| �|�|�|신|러|�|�|
 
-### Direct Use
+|�|�|�| Transformers|는| 사|전|�|�|습|된| 최|�|�|�|�| 모|�|�|들|을| �|�|�|게| 다|운|로|드|하|고| �|�|�|�|�|시|�|��| 수| 있는| API|와| �|�|구|를| 제|공|합니다|.| 사|전|�|�|습|된| 모|�|�|을| �|�|�|면| �|�|�|�|�|�|�| 비|용|과| �|�|소| 배|출|�|�|이| �|�|고|,| 모|�|�|을| 처|음|부|터| �|�|�|�|�|시|�|��|는| �|��| 필|요|한| 시|간|과| 리|소|스|를| �|�|�|�|할| 수| 있|습니다|.| �|�|�|�|�| 모|�|�|들|은| 다|�|�|한| �|�|야|의| �|�|스|크|를| 지|원|합니다|.
 
-<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
+|�|�|�| 자|�|�|어| 처리|:| �|��|스트| �|�|류|,| 개|체|명| 인|식|,| �|�|의|�|�|�|�|,| �|�|어| 모|�|�|�|�|,| 요|�|�|,| 번|�|�|,| �|�|�|��|식| �|�|의|�|�|�|�|,| �|��|스트| 생성|
+|�|�|�|️| �|�|�|�|�|터| 비|전|:| 이미|지| �|�|류|,| 객체| �|�|지|,| 객체| �|�|할|
+|�|�|�|️| 오|디|오|:| 자|동|음|성|인|식|,| 오|디|오| �|�|류|
+|�|�|�| �|�|�|�|�|�|�|�|�|:| �|��| �|�|의|�|�|�|�|,| �|�|�|�|�| 문자| 인|식| (|OCR|),| �|�|�|�|�|한| 문|서|에서| 정보| 추|출|,| 비|디|오| �|�|류|,| 시|�|�| �|�|의|�|�|�|�|
 
-[More Information Needed]
+|�|�|�| Transformers|는| Py|T|orch|,| TensorFlow|와| J|AX| �|�|의| 상|호|운|용|성|을| 지|원|합니다|.| �|�|�|�|하|게| 모|�|�|의| �|�| �|�|�|�|�|�다| 다|른| 프|�|�|임|�|�|크|를| 사용|할| 수|도| 있|습니다|.| 예|를| �|�|어| 코드| |3|�|�|만| �|�|�|서| 모|�|�|을| �|�|�|�|�|시|�|��| 다|음|,| 다|른| 프|�|�|임|�|�|크| 상|에서| 추|�|�|할| 수| 있|습니다|.| 모|�|�|을| �|�|�|�| �|�|경|에| 배|�|�|�|하기| 위|해| ON|NX|나| Torch|Script| �|�|식|으로| 내|보|�|�| 수|도| 있|습니다|.
 
-### Downstream Use [optional]
+|�|�|�|�|�|�|니|�|�|�|에| �|�|여|하|시|�|�|면| Hub|,| 포|�|�|,| �|�|스|�|��드|를| 방|문|해|주세요|!)
 
-<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
+phi4-mini-jamo: 305 (77.05% more effective than phi-4) (Py|T|orch|,| |Tensor|Flow|,| |J|AX|를| 위한| 최|첨|단| 머|신|러|닝|
 
-[More Information Needed]
+|�|�|�| |Transform|ers|는| 사전|학습|된| 최|첨|단| 모델|들을| 쉽게| 다|운|로드|하고| 훈련|시키|ᆯ 수 있는| |API|와| 도|구를| 제공합니다|.| 사전|학습|된| 모델을| 쓰|면| ᄏ|ᅥᆷ퓨|팅| 비용|과| 탄소| 배출|량이| 줄|고|,| 모델을| 처음|부터| 훈련|시키는 데| 필요한| 시간과| 리|소|스를| 절|약하|ᆯ 수 있습니다|.| 저|희| 모델|들은| 다양한| 분야|의| 태|스크|를| 지원|합니다|.
 
-### Out-of-Scope Use
+|�|�|�| 자연|어| 처리|:| 텍|스트| 분류|,| 개|체|명| 인식|,| 질의|응답|,| 언어| 모데|ᆯ링|,| 요약|,| 번|역|,| 객|관|식| 질의|응답|,| 텍|스트| 생성|
+|�|�|�|️| 컴퓨터| 비|전|:| 이미지| 분류|,| 객|체| 탐|지|,| 객|체| 분|할|
+|�|�|�|️| 오|디오|:| 자동|음성|인식|,| 오|디ᄋ���| 분류|
+|�|�|�| 멀티|모|달|:| 표| 질의|응답|,| 광학| 문자| 인식| |(|OCR|),| 스|캐|ᆫ|한| 문|서|에서| 정보| 추출|,| 비디오| 분류|,| 시각| 질의|응답|
 
-<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
+|�|�|�| |Transform|ers|는| |Py|T|orch|,| |Tensor|Flow|와| |J|AX| 간|의 상호|운용|성을| 지원|합니다|.| 유연|하게| 모데|ᆯ의| 각| 단계|마다| 다른| 프레임|워크|를 사용|할 수도| 있습니다|.| 예를 들어| 코드| |3|줄|만| 써|서| 모델을| 훈련|시킨| 다음|,| 다른| 프레임|워크| 상에서| 추|론|할 수 있|습니다|.| 모델을| 운영| 환경|에| 배|포|하기 위해| |ON|NX|나| |T|orch|Script| 형|식으로| 내|보내|ᆯ 수도| 있습니다|.
 
-[More Information Needed]
+|커뮤니티|에 참여|하시|려면| |Hub|,| 포|럼|,| 디|스코|드를| 방문|해주|세요|!)
 
-## Bias, Risks, and Limitations
+phi4-jamo: 305 (77.05% more effective than phi-4) (Py|T|orch|,| |Tensor|Flow|,| |J|AX|를| 위한| 최|첨|단| 머|신|러|닝|
 
-<!-- This section is meant to convey both technical and sociotechnical limitations. -->
+|�|�|�| |Transform|ers|는| 사전|학습|된| 최|첨|단| 모델|들을| 쉽게| 다|운|로드|하고| 훈련|시키|ᆯ 수 있는| |API|와| 도|구를| 제공합니다|.| 사전|학습|된| 모델을| 쓰|면| ᄏ|ᅥᆷ퓨|팅| 비용|과| 탄소| 배출|량이| 줄|고|,| 모델을| 처음|부터| 훈련|시키는 데| 필요한| 시간과| 리|소|스를| 절|약하|ᆯ 수 있습니다|.| 저|희| 모델|들은| 다양한| 분야|의| 태|스크|를| 지원|합니다|.
 
-[More Information Needed]
+|�|�|�| 자연|어| 처리|:| 텍|스트| 분류|,| 개|체|명| 인식|,| 질의|응답|,| 언어| 모데|ᆯ링|,| 요약|,| 번|역|,| 객|관|식| 질의|응답|,| 텍|스트| 생성|
+|�|�|�|️| 컴퓨터| 비|전|:| 이미지| 분류|,| 객|체| 탐|지|,| 객|체| 분|할|
+|�|�|�|️| 오|디오|:| 자동|음성|인식|,| 오|디오| 분류|
+|�|�|�| 멀티|모|달|:| 표| 질의|응답|,| 광학| 문자| 인식| |(|OCR|),| 스|캐|ᆫ|한| 문|서|에서| 정보| 추출|,| 비디오| 분류|,| 시각| 질의|응답|
 
-### Recommendations
+|�|�|�| |Transform|ers|는| |Py|T|orch|,| |Tensor|Flow|와| |J|AX| 간|의 상호|운용|성을| 지원|합니다|.| 유연|하게| 모데|ᆯ의| 각| 단계|마다| 다른| 프레임|워크|를 사용|할 수도| 있습니다|.| 예를 들어| 코드| |3|줄|만| 써|서| 모델을| 훈련|시킨| 다음|,| 다른| 프레임|워크| 상에서| 추|론|할 수 있|습니다|.| 모델을| 운영| 환경|에| 배|포|하기 위해| |ON|NX|나| |T|orch|Script| 형|식으로| 내|보내|ᆯ 수도| 있습니다|.
 
-<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
+|커뮤니티|에 참여|하시|려면| |Hub|,| 포|럼|,| 디|스코|드를| 방문|해주|세요|!)
 
-Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
+jamo-exp1: 345 (56.52% more effective than phi-4) (P|y|T|or|ch|,|T|en|s|or|F|lo|w|,|J|A|X|를 위한|최|첨|단|머|신|러|닝|
+|
+|�|�|�|�|T|r|an|s|for|m|ers|는 사|전|학습|된|최|첨|단|모델|들을|쉽게|다|운|로드|하고|훈련|시키|ᆯ 수 있는|AP|I|와|도|구를|제공합니다|.|사전|학습|된|모델을|쓰|면|ᄏ|ᅥᆷ퓨|팅|비용|과|탄소|배출|량이|줄|고|,|모델을|처음|부터|훈련|시키는 데|필요한|시간과|리|소|스를|절|약하|ᆯ 수 있습니다|.|저|희|모델|들은|다양한|분야|의|태|스크|를|지원|합니다|.|
+|
+|�|�|�|�|자연|어|처리|:|텍|스트|분류|,|개|체|명|인식|,|질의|응답|,|언어|모데|ᆯ링|,|요약|,|번|역|,|객|관|식|질의|응답|,|텍|스트|생성|
+|�|�|�|�|�|�|�|컴퓨터|비|전|:|이미지|분류|,|객|체|탐|지|,|객|체|분|할|
+|�|�|�|�|�|�|�|오|디오|:|자동|음성|인식|,|오|디오|분류|
+|�|�|�|�|멀티|모|달|:|표|질의|응답|,|광학|문자|인식||(|OC|R|)|,|스|캐|ᆫ|한|문|서|에서|정보|추출|,|비디오|분류|,|시각|질의|응답|
+|
+|�|�|�|�|T|r|an|s|for|m|ers|는|P|y|T|or|ch|,|T|en|s|or|F|lo|w|와|J|A|X|간|의 상호|운용|성을|지원|합니다|.|유연|하게|모데|ᆯ의|각|단계|마다|다른|프레임|워크|를 사용|할 수도|있습니다|.|예를 들어|코드||3|줄|만|써|서|모델을|훈련|시킨|다음|,|다른|프레임|워크|상에서|추|론|할 수 있|습니다|.|모델을|운영|환경|에|배|포|하기 위해|ON|N|X|나|T|or|ch|S|c|ri|p|t|형|식으로|내|보내|ᆯ 수도|있습니다|.|
+|
+|커뮤니티|에 참여|하시|려면|H|ub|,|포|럼|,|디|스코|드를|방문|해주|세요|!)</details>
 
-## How to Get Started with the Model
+phi4: 540 (0.00% more effective than phi-4)
 
-Use the code below to get started with the model.
+phi4-mini-jamo: 305 (77.05% more effective than phi-4)
 
-[More Information Needed]
+phi4-jamo: 305 (77.05% more effective than phi-4)
 
-## Training Details
+jamo-exp1: 345 (56.52% more effective than phi-4)
 
-### Training Data
+**다국어 예시**: 원래 토크나이저와 동일
 
-<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
+Text: Zoë
 
-[More Information Needed]
+phi4: 3 (0.00% more effective than phi-4) (Z|o|ë)
 
-### Training Procedure
+phi4-mini-jamo: 3 (0.00% more effective than phi-4) (Z|o|ë)
 
-<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
+phi4-jamo: 3 (0.00% more effective than phi-4) (Z|o|ë)
 
-#### Preprocessing [optional]
-
-[More Information Needed]
-
-
-#### Training Hyperparameters
-
-- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
-
-#### Speeds, Sizes, Times [optional]
-
-<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
-
-[More Information Needed]
-
-## Evaluation
-
-<!-- This section describes the evaluation protocols and provides the results. -->
-
-### Testing Data, Factors & Metrics
-
-#### Testing Data
-
-<!-- This should link to a Dataset Card if possible. -->
-
-[More Information Needed]
-
-#### Factors
-
-<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
-
-[More Information Needed]
-
-#### Metrics
-
-<!-- These are the evaluation metrics being used, ideally with a description of why. -->
-
-[More Information Needed]
-
-### Results
-
-[More Information Needed]
-
-#### Summary
-
-
-
-## Model Examination [optional]
-
-<!-- Relevant interpretability work for the model goes here -->
-
-[More Information Needed]
-
-## Environmental Impact
-
-<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
-
-Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
-
-- **Hardware Type:** [More Information Needed]
-- **Hours used:** [More Information Needed]
-- **Cloud Provider:** [More Information Needed]
-- **Compute Region:** [More Information Needed]
-- **Carbon Emitted:** [More Information Needed]
-
-## Technical Specifications [optional]
-
-### Model Architecture and Objective
-
-[More Information Needed]
-
-### Compute Infrastructure
-
-[More Information Needed]
-
-#### Hardware
-
-[More Information Needed]
-
-#### Software
-
-[More Information Needed]
-
-## Citation [optional]
-
-<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
-
-**BibTeX:**
-
-[More Information Needed]
-
-**APA:**
-
-[More Information Needed]
-
-## Glossary [optional]
-
-<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
-
-[More Information Needed]
-
-## More Information [optional]
-
-[More Information Needed]
-
-## Model Card Authors [optional]
-
-[More Information Needed]
-
-## Model Card Contact
-
-[More Information Needed]
+jamo-exp1: 5 (-40.00% more effective than phi-4) (Z|o|e|�|�)