Add SetFit model

.gitattributes

@@ -33,3 +33,5 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text
+unigram.json filter=lfs diff=lfs merge=lfs -text

1_Pooling/config.json

@@ -0,0 +1,9 @@
+{
+  "word_embedding_dimension": 384,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false
+}

README.md

@@ -1,3 +1,233 @@
 ---
-license: osl-3.0
+library_name: setfit
+tags:
+- setfit
+- sentence-transformers
+- text-classification
+- generated_from_setfit_trainer
+datasets:
+- ayakiri/wolo-app-categories-to-description
+metrics:
+- accuracy
+widget:
+- text: Fundacja "Dźwięki Natury" poszukuje wolontariuszy do projektu "Schronienie
+    dla Dzikich Zwierząt". Inicjatywa ta ma na celu pomaganie w utrzymaniu schroniska
+    dla dzikich zwierząt, które potrzebują opieki i rehabilitacji. Wymagamy od chętnych
+    empatii wobec zwierząt, gotowości do pracy w warunkach schroniskowych oraz umiejętności
+    obsługi podstawowego sprzętu medycznego. Wolontariusze będą wspierać personel
+    schroniska w codziennej opiece nad zwierzętami, pomoc w leczeniu rannych czy chorych
+    jednostek oraz organizacja działań edukacyjnych.
+- text: Fundacja "Wspieramy Edukację" poszukuje wolontariuszy do projektu "Lekcje
+    z Pasją". Inicjatywa ta skierowana jest na pomoc uczniom w rozwijaniu zainteresowań
+    i umiejętności poprzez dodatkowe lekcje. Wymagamy od chętnych pasji do nauczania,
+    zdolności komunikacyjnych oraz gotowości do dostosowywania się do potrzeb uczniów.
+    Wolontariusze będą udzielać korepetycji, prowadzić zajęcia z wybranych przedmiotów
+    oraz wspierać uczniów w osiąganiu lepszych wyników.
+- text: Stowarzyszenie "Pomoc Dla Bezdomnych" poszukuje wolontariuszy do projektu
+    "Ciepłe Ubrania na Zimę". Inicjatywa ta ma na celu zbieranie i dostarczanie ubrań,
+    kołder i śpiworów dla osób bezdomnych podczas zimy. Wymagamy od chętnych zaangażowania
+    społecznego, umiejętności organizacji zbiórek oraz gotowości do pracy w trudnych
+    warunkach atmosferycznych. Wolontariusze będą odpowiedzialni za organizację akcji
+    zbierania darów, ich sortowanie i pakowanie, a także dostarczanie potrzebującym.
+- text: The "Global Education Network" is in search of volunteers for its "Learning
+    Across Borders" program. The initiative aims to connect students globally through
+    online educational exchanges and collaborative projects. We are seeking individuals
+    with strong communication skills, experience in online education, and a commitment
+    to fostering cross-cultural understanding. Volunteers will assist in coordinating
+    virtual exchange programs, facilitating discussions, and creating engaging educational
+    content.
+- text: Organizacja "Sport dla Wszystkich" poszukuje wolontariuszy do programu "Aktywni
+    Razem". Inicjatywa ta skierowana jest na promowanie aktywności fizycznej wśród
+    osób z różnymi umiejętnościami. Poszukujemy osób z pasją do sportu, zdolnościami
+    motywacyjnymi oraz chęcią wspierania innych w aktywnym trybie życia. Wolontariusze
+    będą zaangażowani w organizację treningów, wydarzeń sportowych oraz tworzenie
+    przyjaznej atmosfery.
+pipeline_tag: text-classification
+inference: true
+base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
+model-index:
+- name: SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
+  results:
+  - task:
+      type: text-classification
+      name: Text Classification
+    dataset:
+      name: ayakiri/wolo-app-categories-to-description
+      type: ayakiri/wolo-app-categories-to-description
+      split: test
+    metrics:
+    - type: accuracy
+      value: 0.85
+      name: Accuracy
 ---
+
+# SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
+
+This is a [SetFit](https://github.com/huggingface/setfit) model trained on the [ayakiri/wolo-app-categories-to-description](https://huggingface.co/datasets/ayakiri/wolo-app-categories-to-description) dataset that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification.
+
+The model has been trained using an efficient few-shot learning technique that involves:
+
+1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
+2. Training a classification head with features from the fine-tuned Sentence Transformer.
+
+## Model Details
+
+### Model Description
+- **Model Type:** SetFit
+- **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2)
+- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
+- **Maximum Sequence Length:** 128 tokens
+- **Number of Classes:** 5 classes
+- **Training Dataset:** [ayakiri/wolo-app-categories-to-description](https://huggingface.co/datasets/ayakiri/wolo-app-categories-to-description)
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit)
+- **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
+- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
+
+### Model Labels
+| Label    | Examples                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+|:---------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+| Edukacja | <ul><li>'Fundacja "Edukacyjne Spotkania" poszukuje wolontariuszy do realizacji projektu "Podróże w Świat Literatury". Celem inicjatywy jest organizacja spotkań autorskich w szkołach podstawowych, które pozwolą uczniom na bezpośrednią interakcję z twórcami literatury. Wolontariusze będą odpowiedzialni za kontakt z autorami, logistykę spotkań oraz pomoc w organizacji konkursów literackich. '</li><li>'Organizacja "Technologia dla Edukacji" poszukuje wolontariuszy do projektu "Koduj z Nami". Inicjatywa ta ma na celu wprowadzenie podstaw programowania i informatyki do szkół podstawowych. Wolontariusze będą prowadzić warsztaty z programowania, uczyć podstawowych umiejętności korzystania z narzędzi informatycznych oraz inspirować uczniów do kreatywnego myślenia. Wymagamy od chętnych znajomości podstaw programowania w wybranym przez siebie języku (mile widziany Python i Scratch).'</li><li>'The "Global Education Network" is in search of volunteers for its "Learning Across Borders" program. The initiative aims to connect students globally through online educational exchanges and collaborative projects. We are seeking individuals with strong communication skills, experience in online education, and a commitment to fostering cross-cultural understanding. Volunteers will assist in coordinating virtual exchange programs, facilitating discussions, and creating engaging educational content.'</li></ul>                                                                                         |
+| Kultura  | <ul><li>'The "Creative Minds Foundation" is seeking volunteers for its "Artistic Explorers" project. The initiative aims to bring art and culture to local communities through interactive workshops and exhibitions. We are looking for individuals with a passion for the arts, excellent communication skills, and a willingness to inspire creativity. Volunteers will be responsible for organizing art sessions, assisting in exhibitions, and fostering a love for artistic expression in the community.'</li><li>'Organizacja Nonprofit "Kreatywna Harmonia" poszukuje zaangażowanych wolontariuszy do udziału w wyjątkowym projekcie kulturalnym. "Sztuka w Twoich Rękach" to inicjatywa mająca na celu przekształcenie przestrzeni publicznej poprzez sztukę uliczną. Oczekujemy od wolontariuszy, aby dzielili się swoją pasją do sztuki, mieli zdolności artystyczne oraz umiejętność pracy w zespole. Obowiązki będą obejmować przygotowanie i malowanie murali, współpracę z lokalnymi artystami oraz organizację wydarzeń kulturalnych w ramach projektu. Mile widziane doświadczenie w dziedzinie sztuki ulicznej.'</li><li>'\n\nPoszukujemy osoby zainteresowanej profesjonalną organizacją wystaw. \n\nKoncepcja, dobór twórców planowanie, organizacja, współpraca z partnerami: muzea, placówki edukacyjne. \n\nOsoby z doświadczeniem mile widziane :)'</li></ul>                                                                                                                                                                   |
+| Sport    | <ul><li>'Fundacja "Rowerem dla Dobra" poszukuje wolontariuszy do akcji "Rowerem po Uśmiech". Nasza inicjatywa zakłada zorganizowanie jednodniowej przejażdki rowerowej, której celem jest zbieranie środków na leczenie dzieci z chorobami nowotworowymi. Wymagamy od kandydatów umiejętności obsługi rowerów, komunikatywności oraz zaangażowania w sprawy społeczne. Wolontariusze będą odpowiedzialni za logistykę trasy, wsparcie uczestników podczas trasy oraz pomoc w organizacji wydarzeń towarzyszących.'</li><li>'Stowarzyszenie "Aktywne Przerwy" poszukuje wolontariuszy do współpracy przy organizacji cyklu zajęć sportowych dla uczniów w szkole podstawowej. Inicjatywa "Ruch to Zdrowie" ma na celu wprowadzenie krótkich aktywności fizycznych w przerwach między lekcjami. '</li><li>'Organizacja "Sprint dla Dobrej Sprawy" poszukuje wolontariuszy do jednorazowej akcji "Bieg dla Charytatywności". Inicjatywa ta ma na celu zebranie środków na wsparcie lokalnych potrzebujących poprzez zorganizowanie biegu charytatywnego. Wymagamy od chętnych entuzjazmu do aktywności fizycznej, zdolności organizacyjnych oraz gotowości do pracy w dynamicznym środowisku. Wolontariusze będą odpowiedzialni za rejestrację uczestników, obsługę punktów kontrolnych oraz promocję wydarzenia w mediach społecznościowych.'</li></ul>                                                                                                                                                                                                    |
+| Pomoc    | <ul><li>'Fundacja "Z Wartościami w Tle" poszukuje wolontariuszy do programu "Wsparcie Psychologiczne". Inicjatywa ta ma na celu oferowanie wsparcia emocjonalnego osobom przeżywającym trudne sytuacje życiowe. Wymagamy od chętnych umiejętności słuchania, zdolności do wyrażania empatii oraz dyskrecji. Wolontariusze będą uczestniczyć w szkoleniach z zakresu wsparcia psychologicznego, a także oferować rozmowy i wsparcie dla osób potrzebujących. Dodatkowe umiejętności z zakresu psychologii lub doświadczenie w pracy socjalnej są mile widziane.'</li><li>'The "Helping Hands Foundation" is recruiting volunteers for its "Neighborhood Support Network." The initiative aims to provide assistance to individuals and families facing various challenges. We are looking for individuals with empathy, strong interpersonal skills, and a commitment to making a difference in their community. Volunteers will be responsible for offering practical help, emotional support, and connecting community members with essential resources.'</li><li>'Stowarzyszenie "Wspólna Dłoń" poszukuje wolontariuszy do programu "Senior na Drodze". Inicjatywa ta ma na celu pomoc osobom starszym w codziennym życiu oraz zapewnienie im towarzystwa. Wymagamy od chętnych empatii, gotowości do pomocy w codziennych zadaniach, a także umiejętności nawiązywania relacji z osobami starszymi. Wolontariusze będą angażowani w zakupy, pomoc w sprzątaniu czy wspólne spacery, a także organizację zajęć integracyjnych dla seniorów.'</li></ul> |
+| Ekologia | <ul><li>'Stowarzyszenie "Zielony Patrol" poszukuje wolontariuszy do projektu "Strażnicy Przyrody". Inicjatywa ta zakłada utworzenie grupy wolontariuszy wspierających nadzór nad obszarami przyrodniczymi i parkami. Wolontariusze będą uczestniczyć w patrolach, monitorować stan środowiska naturalnego, a także prowadzić akcje edukacyjne dla odwiedzających obszary przyrodnicze. Chętni muszą ukończyć 18 rok życia.'</li><li>'Fundacja "Zielony Świat" poszukuje wolontariuszy do akcji "Czyste Wybrzeże". Inicjatywa ta skupia się na ochronie środowiska morskiego poprzez organizację sprzątania plaż i wybrzeży. Wymagamy od chętnych zaangażowania w ochronę przyrody, zdolności pracy w zespole oraz gotowości do pracy na świeżym powietrzu. Wolontariusze będą odpowiedzialni za zbieranie śmieci'</li><li>'Organizacja "Zielona Aktywność" poszukuje wolontariuszy do projektu "Aktywiści na Rowerze". Inicjatywa ta ma na celu promowanie ekologicznych środków transportu i wprowadzenie zmian w infrastrukturze miejskiej. Wymagamy od chętnych umiejętności jazdy na rowerze. Wolontariusze będą wspierać organizację wydarzeń rowerowych, działać na rzecz poprawy ścieżek rowerowych'</li></ul>                                                                                                                                                                                                                                                                                                                                    |
+
+## Evaluation
+
+### Metrics
+| Label   | Accuracy |
+|:--------|:---------|
+| **all** | 0.85     |
+
+## Uses
+
+### Direct Use for Inference
+
+First install the SetFit library:
+
+```bash
+pip install setfit
+```
+
+Then you can load this model and run inference.
+
+```python
+from setfit import SetFitModel
+
+# Download from the 🤗 Hub
+model = SetFitModel.from_pretrained("ayakiri/wolo-app-categories-setfit-model")
+# Run inference
+preds = model("Organizacja \"Sport dla Wszystkich\" poszukuje wolontariuszy do programu \"Aktywni Razem\". Inicjatywa ta skierowana jest na promowanie aktywności fizycznej wśród osób z różnymi umiejętnościami. Poszukujemy osób z pasją do sportu, zdolnościami motywacyjnymi oraz chęcią wspierania innych w aktywnym trybie życia. Wolontariusze będą zaangażowani w organizację treningów, wydarzeń sportowych oraz tworzenie przyjaznej atmosfery.")
+```
+
+<!--
+### Downstream Use
+
+*List how someone could finetune this model on their own dataset.*
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Set Metrics
+| Training set | Min | Median  | Max |
+|:-------------|:----|:--------|:----|
+| Word count   | 23  | 60.8364 | 177 |
+
+| Label    | Training Sample Count |
+|:---------|:----------------------|
+| Kultura  | 10                    |
+| Sport    | 11                    |
+| Edukacja | 11                    |
+| Ekologia | 10                    |
+| Pomoc    | 13                    |
+
+### Training Hyperparameters
+- batch_size: (16, 16)
+- num_epochs: (1, 1)
+- max_steps: -1
+- sampling_strategy: oversampling
+- num_iterations: 20
+- body_learning_rate: (2e-05, 2e-05)
+- head_learning_rate: 2e-05
+- loss: CosineSimilarityLoss
+- distance_metric: cosine_distance
+- margin: 0.25
+- end_to_end: False
+- use_amp: False
+- warmup_proportion: 0.1
+- seed: 42
+- eval_max_steps: -1
+- load_best_model_at_end: False
+
+### Training Results
+| Epoch  | Step | Training Loss | Validation Loss |
+|:------:|:----:|:-------------:|:---------------:|
+| 0.0072 | 1    | 0.2038        | -               |
+| 0.3623 | 50   | 0.0152        | -               |
+| 0.7246 | 100  | 0.0023        | -               |
+
+### Framework Versions
+- Python: 3.10.5
+- SetFit: 1.0.3
+- Sentence Transformers: 2.3.1
+- Transformers: 4.37.2
+- PyTorch: 2.1.0+cpu
+- Datasets: 2.16.1
+- Tokenizers: 0.15.1
+
+## Citation
+
+### BibTeX
+```bibtex
+@article{https://doi.org/10.48550/arxiv.2209.11055,
+    doi = {10.48550/ARXIV.2209.11055},
+    url = {https://arxiv.org/abs/2209.11055},
+    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
+    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
+    title = {Efficient Few-Shot Learning Without Prompts},
+    publisher = {arXiv},
+    year = {2022},
+    copyright = {Creative Commons Attribution 4.0 International}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,26 @@
+{
+  "_name_or_path": "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
+  "architectures": [
+    "BertModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 384,
+  "initializer_range": 0.02,
+  "intermediate_size": 1536,
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "bert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.37.2",
+  "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 250037
+}

config_sentence_transformers.json

@@ -0,0 +1,7 @@
+{
+  "__version__": {
+    "sentence_transformers": "2.0.0",
+    "transformers": "4.7.0",
+    "pytorch": "1.9.0+cu102"
+  }
+}

config_setfit.json

@@ -0,0 +1,10 @@
+{
+  "normalize_embeddings": false,
+  "labels": [
+    "Kultura",
+    "Sport",
+    "Edukacja",
+    "Ekologia",
+    "Pomoc"
+  ]
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6df21bd28e7b8671000caeae9e1a7da93c563bcc29da5e8082f743b03110e8f9
+size 470637416

model_head.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c69adcfd17abc17a7d0f19a54da142db67a313a02c79f4d14d0b615831d36465
+size 16383

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 128,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:fa685fc160bbdbab64058d4fc91b60e62d207e8dc60b9af5c002c5ab946ded00
+size 17083009

tokenizer_config.json

@@ -0,0 +1,64 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "do_lower_case": true,
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "max_length": 128,
+  "model_max_length": 512,
+  "pad_to_multiple_of": null,
+  "pad_token": "<pad>",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "</s>",
+  "stride": 0,
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "<unk>"
+}

unigram.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:da145b5e7700ae40f16691ec32a0b1fdc1ee3298db22a31ea55f57a966c4a65d
+size 14763260