Update README.md
Browse files
README.md
CHANGED
|
@@ -37,6 +37,7 @@ Repozytorium zawiera model Meta Llama-3-8B-Omnibus-1-PL-v01 w wersji polskojęzy
|
|
| 37 |
<img src="Llama-3-8B-PL-small.jpg" width="420" />
|
| 38 |
|
| 39 |
Uwaga!
|
|
|
|
| 40 |
* Model będzie dalej rozwijany ponieważ eksperymentuję z a. kolejnymi wersjami datasetu, b. model jest świetną bazą do testowania różnych technik finetunowania (LoRA, QLoRA; DPO, ORPO itd.)
|
| 41 |
* Udostępniłem go spontanicznie by użytkownicy mogli go używać i sprawdzać jakość Llama 3 ale w kontekście języka polskiego.
|
| 42 |
* Po informacji, że baza była trenowana na 15T tokenów (tylko 5% nie angielskich) uznałem, że to świetna baza do finetuningu. Być może lekkie dotrenowanie modelu za pomocą contingued-pretraining da jeszcze większy uzysk.
|
|
|
|
| 37 |
<img src="Llama-3-8B-PL-small.jpg" width="420" />
|
| 38 |
|
| 39 |
Uwaga!
|
| 40 |
+
* Model NIE jest CENZUROWANY. To wersja do zabawy. Nie została ujarzmiona.
|
| 41 |
* Model będzie dalej rozwijany ponieważ eksperymentuję z a. kolejnymi wersjami datasetu, b. model jest świetną bazą do testowania różnych technik finetunowania (LoRA, QLoRA; DPO, ORPO itd.)
|
| 42 |
* Udostępniłem go spontanicznie by użytkownicy mogli go używać i sprawdzać jakość Llama 3 ale w kontekście języka polskiego.
|
| 43 |
* Po informacji, że baza była trenowana na 15T tokenów (tylko 5% nie angielskich) uznałem, że to świetna baza do finetuningu. Być może lekkie dotrenowanie modelu za pomocą contingued-pretraining da jeszcze większy uzysk.
|