Remek commited on
Commit
21df202
1 Parent(s): e2b9343

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -40,7 +40,7 @@ Uwaga!
40
  * Model NIE jest CENZUROWANY. To wersja do zabawy. Nie została ujarzmiona.
41
  * Model będzie dalej rozwijany ponieważ eksperymentuję z a. kolejnymi wersjami datasetu, b. model jest świetną bazą do testowania różnych technik finetunowania (LoRA, QLoRA; DPO, ORPO itd.)
42
  * Udostępniłem go spontanicznie by użytkownicy mogli go używać i sprawdzać jakość Llama 3 ale w kontekście języka polskiego.
43
- * Po informacji, że baza była trenowana na 15T tokenów (tylko 5% nie angielskich) uznałem, że to świetna baza do finetuningu. Być może lekkie dotrenowanie modelu za pomocą contingued-pretraining da jeszcze większy uzysk.
44
 
45
  ### Sposób kodowania nazwy modelu
46
  * Nazwa modelu bazowego: Llama-3-8B
 
40
  * Model NIE jest CENZUROWANY. To wersja do zabawy. Nie została ujarzmiona.
41
  * Model będzie dalej rozwijany ponieważ eksperymentuję z a. kolejnymi wersjami datasetu, b. model jest świetną bazą do testowania różnych technik finetunowania (LoRA, QLoRA; DPO, ORPO itd.)
42
  * Udostępniłem go spontanicznie by użytkownicy mogli go używać i sprawdzać jakość Llama 3 ale w kontekście języka polskiego.
43
+ * Po informacji, że baza była trenowana na 15T tokenów (tylko 5% nie angielskich) uznałem, że to świetny model do finetuningu. Być może lekkie dotrenowanie modelu za pomocą contingued-pretraining da jeszcze większy uzysk.
44
 
45
  ### Sposób kodowania nazwy modelu
46
  * Nazwa modelu bazowego: Llama-3-8B