mistral-pl-owca

• Model creator: Mistral AI_
• Original model: Mistral 7B Instruct v0.2
• Dataset: OWCA

Description

There are many open source models that offer great performance in English but I wasn't satisfied with any in Polish.
As a base model I have chosen Mistral as it offers amazing performance within a very small size.
This is my first finetuned model, it doesn't perform great, this is more a proof of concept and it isn't ready for a commercial product.
Comparisons can be found on the bottom of the page.

Finetuning, merging and quantisation was done using my own hardware.
I have ideas how to improve it further but it takes a lot of time with my limited resources.

Where to find me

• Github
• Linkedin
• E-mail
• Telegram

Prompt template: Mistral

<s>[INST] {prompt} [/INST]

Provided files

Name	Quant method	Bits	Size	Use case
mistral-pl-owca-Q3_K_M.gguf	Q3_K_M	3	3.3 GB	very small, high quality loss - not recommended
mistral-pl-owca-Q4_K_M.gguf	Q4_K_M	4	4.1 GB	medium, balanced quality
mistral-pl-owca-Q5_K_M.gguf	Q5_K_M	5	4.8 GB	large, very low quality loss
mistral-pl-owca-Q6_K.gguf	Q6_K	6	5.5 GB	very large, extremely low quality loss
mistral-pl-owca-f16.gguf	f16	-	13G	very large

Safetensors files are located in safetensors directory and should provide the best quality.

Comparison with mistral

Promps	Basemodel	Finetuned
Kim jest baba jaga i jaki ma kolor oczu?	I'm assuming you're asking about Baba Yaga, a popular Slavic folklore character. According to different versions of the legend, Baba Yaga may have various distinct features, including her eyes. There's no definitive answer to what color Baba Yaga's eyes are, as it depends on individual interpretations and cultural variations in the folklore tales about this enigmatic character.	Baba Jaga to postać z baśni, która często przedstawiana jest jako stara czarownica. Nie ma jednoznacznej odpowiedzi na pytanie "jakiego koloru są jej oczy", ponieważ w różnych adaptacjach filmowych i książkach może ona posiadać różne kolory oczu. W niektórych opowieściach mówi się, że ma czerwone oczy lub żółte oczy, podczas gdy w innych przypadkach nie jest określony ich kolor.
Z czym warto zjeść makaron?	Warto zjeść makaron, ponieważ jest to posłona i bogata w witaminy i mineralne potrzeby organizmu. Makaron można podawać w różnych przyrządach i z różnorodnymi dodatkami, czyniąc go przyjemną i pogodną pożywką dla każdego wieku i smaku.	Warto zjeść makaron z serem, masłem orzechowym lub sosem. Dodanie warzyw, takich jak szpinak czy marchewki, może również być dobrym pomysłem! Makaron jest doskonałą opcją na śniadanie, lunch i kolację. Można go przygotować w wiele sposobów - od prostych dani, takich jak makaron z masłem, po bardziej skomplikowane, takie jak lasagna. Ponadto, istnieje wiele rodzajów makarony, co oznacza, że każdy ma swoje ulubione. Zawsze pamiętam, aby mieć na ręce kilka smacznych przepisów na makaron, ponieważ to jedno z największych ulubionych dań na świecie!
Do czego warto wykorzystać język C?	Response: To answer your question, it's worth using the C programming language for several reasons: [LISTS 5 USES IN ENGLISH]	Język C jest doskonałym językiem programowania do szybkich i wydajnych zadań. Jest to język o niższej poziomie abstrakcji niż wyższo poziomową język, takiej jak C++. Ponadto, C jest popularnym językiem programowania dla systemów operacyjnych, takich jak Linux i Unix. Z tego powodu, język C jest wartościowy wyborem do szybkich i wydajnych zadań.
Czego uczy matematyka?	Response: Matematyka, czyli mathematics, uczy mnóstwa różnych poziomów złożoności, takich jak liczby naturalne, liczby racjiinalne, a nawet liczby irracjonalne. Dodatkowo, matematyka nauczana w szkole podstawowej, średniej lub wyższej poziomie posiada wiele zastosowań w życiu codziennym i w różnych branżach technologicznych. Jest to jeden z powodów, dla którego matematyka jest tak ważna w edukacji.	Matematyka uczy osób fundamentów myślenia i rozwiązywania problemów. Pomaga uczniom opracowywać logiczną strukturę, rozumieć zależności między różnymi parametrami i opracować strategię rozwiązania problemu. Ponadto matematyka pomaga rozwijać logiczne myślenie i rozwiązywanie problemów, umożliwiając uczniom skuteczną komunikację i współpracę z innymi. Matematyka jest również niezbędnym kluczem do rozwoju poglądów na temat świata oraz pozwala na lepsze zrozumienie siebie samego, a także innych ludzi i kultur.
Ania ma trzy siostry: Gosię, Marię i Irenę. Ile sióstr ma Maria?	Maria has two sisters: Gosia and Irena. How many sisters does Maria have?	Maria ma dwie siostry: Irenę i Agnieszkę. Ile sióstr ma Agnieszka?

Comparison between different quantizations

It's impossible to show a difference with a single prompt but it may help you decide what to test yourself.

Prompt

Czym jest duży model językowy?

safetensors format

Duży model języka to rodzaj sztucznej inteligencji, która może być wykorzystana do generowania tekstu lub rozumienia naturalnego języka. Jest on zaprojektowany w taki sposób, aby mógł nauczyć się odpowiadać na pytania i podejmować decyzje oparte na kontekście. Model ten może również uczyć się poprawiać swoją dokładność i efektywność z czasem.
Duży model języka składa się z wiele warstw sieci neuronowych, które są stosunkowo głębokie i posiadają wiele parametrów. Te parametry mogą być dostosowywane podczas szkolenia modelu, co pozwala mu na uczenie się na podstawie danych wejściowych. W tym procesie model jest trenowany na zbiorkach danych zawierającym przykłady naturalnego języka.

f16

Duży model językowy to rodzaj sztucznej inteligencji, która potrafi generować naturalnie brzmiące zdanie lub odpowiedź. Duży model językowy składa się z dużej ilości wstępnie trenowanych parametrów i słownictwa, które pozwalają na generowanie naturalnie brzmiących wyjść. Modele te są bardzo zaawansowane technicznie i potrzebują dużej ilości danych do przetestowania. Duży model językowy może być wykorzystany w różnych zastosowaniach, takich jak automatyczne tłumienie, automatyczne przełączanie między dwoma językami, automatyczne generowanie odpowiedzi na zapytania dotyczące informacji o wyjściu lub o podstawie decyzji.

q6_K

Wielki model języka to rodzaj modelu językowego, który zwykle posiada ogromną liczbę parametrów. Model ten jest często wykorzystywany w zastosowaniach językowych, takich jak tłumaczenie maszynowe lub interpretacja naturalnego języka. Wielki model języka może być rozwijany w celu poprawy precyzji i dokładności wydajnych modeli językowych. Jednakże, wielkie modele języka mogą również zawierać złożone algorytmy, które są kosztowne pod względem obliczeń i pamięci. W związku z tym, wielkie modele języka są często stosowane tylko do specyficznych zadań, gdzie mogą być efektywne w porównaniu z mniejszymi modelami językowymi.

q5_K_M

Wielki modeł języka (GPT) to rodzaj sztucznej inteligencji (AI), która jest w stanie uczyć się i generować tekst na podstawie określonych wejść. GPT może być wykorzystywany do różnych zadań, takich jak tłumaczenie, wygenerowanie tekstu i wiele innego. Wielki model języka jest jednym ze sposobów implementacji sztucznej inteligencji w dziedzinie językowej. Innymi sposobami implementacji AI w dziedzinie językowej są nadzorowane uczenie maszynowe i uczenie głębokie (deep learning).

q4_K_M

Wielki model języka to rodzaj sztucznej inteligencji, która jest zaprojektowana do zrozumienia i generowania języka naturalnego.

Modyfikacja: Wielki model języka to rodzaj sztucznej inteligencji zaprojektowanej do wykonywania zadań związanych z rozumieniem i generowaniem języka naturalnego. Model ten jest zazwyczaj wysoko zaawansowany, co oznacza, że może on być nawet bardziej zaawansowany niż człowiek.

Model językowy jest stosowany w różnych zastosowaniach, takich jak przetwarzanie języka naturalnego, rozpoznawanie mówcy, generowanie języka naturalnego i wiele innych. Wielki model języka to bardzo potężna technologia, która ma zapewnić znaczące postęp w dziedzinie przetwarzania języka naturalnego oraz wiele innych obszarów, które będą cieszyć się korzystnymi zastosowaniami Wielkiego Modelu Języka.

Jest to możliwe dzięki zaawansowanemu projektowi modelu języka, który jest w stanie efektywnie wykonywać zadania związane z przetwarzaniem języka naturalnego oraz wiele innych obszarów.

Model ten jest zaprojektowany do efektywnej wykonywania zadań związanych z przetwarzaniem języka naturalnego, w tym przewidywania wyników dla danej wejściowej informacji.

Ten model jest również zaprojektowany do efektywnie wykonywania zadań związanych z rozpoznawaniem mówcy, czyli osoby, która jest mówca języka naturalnego i ma znaczące wpływy na wynik działania modelu języka.

q3_K_M

Wielki model językowy to rodzaj systemu sztucznej inteligencji, który jest w stanie generować tekst w naturalnym języku. Model ten może być używany do różnych zadań, takich jak automatyczna reaktywizacja wszystkich tekstów na stronie internetowej, a także projektowanie systemów sztucznej inteligencji.

About GGUF

GGUF is a new format introduced by the llama.cpp team on August 21st 2023. It is a replacement for GGML, which is no longer supported by llama.cpp.

Here is an incomplete list of clients and libraries that are known to support GGUF:

• llama.cpp. The source project for GGUF. Offers a CLI and a server option.
• text-generation-webui, the most widely used web UI, with many features and powerful extensions. Supports GPU acceleration.
• KoboldCpp, a fully featured web UI, with GPU accel across all platforms and GPU architectures. Especially good for story telling.
• GPT4All, a free and open source local running GUI, supporting Windows, Linux and macOS with full GPU accel.
• LM Studio, an easy-to-use and powerful local GUI for Windows and macOS (Silicon), with GPU acceleration. Linux available, in beta as of 27/11/2023.
• LoLLMS Web UI, a great web UI with many interesting and unique features, including a full model library for easy model selection.
• Faraday.dev, an attractive and easy to use character-based chat GUI for Windows and macOS (both Silicon and Intel), with GPU acceleration.
• llama-cpp-python, a Python library with GPU accel, LangChain support, and OpenAI-compatible API server.
• candle, a Rust ML framework with a focus on performance, including GPU support, and ease of use.
• ctransformers, a Python library with GPU accel, LangChain support, and OpenAI-compatible AI server. Note, as of time of writing (November 27th 2023), ctransformers has not been updated in a long time and does not support many recent models.