---
language:
- hu
license: apache-2.0
tags:
- text-generation-inference
- transformers
- unsloth
- mistral
- trl
base_model: unsloth/mistral-7b-bnb-4bit
datasets:
- SZTAKI-HLT/HunSum-1
---

# Mistral-7b-0.1-hu

- **Developed by:** Bazsalanszky
- **License:** apache-2.0
- **Finetuned from model :** unsloth/mistral-7b-bnb-4bit

Ez a mistral 7b model magyar szövegre lett tanítva 10 000 véletlenszerűen kiválasztott cikken. Így valamivel szebben ír magyarul, mint az alap model. 

## Fontos

Ez a modell NEM lett instrukciókra tanítva, valószínűleg nem fogja azokat követni.

## Példa használat

```python
# Load model directly
from transformers import AutoTokenizer, AutoModel

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-v0.1")
model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1")

adapter_name = model.load_adapter("Bazsalanszky/Mistral-7b-0.1-hu")

model.active_adapters = adapter_name

inputs = tokenizer("Magyarország\nFővárosa:", return_tensors = "pt").to("cpu")

from transformers import TextStreamer
text_streamer = TextStreamer(tokenizer)
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 250)
```

## Példa kimenet

Itt van egy példa arra, hogy hogyan viselkedik a modell a tanítás előtt és a tanítás után. 

**Bemenet**: `Magyarország\nFővárosa: ` 

### Tanítás előtt

```
Magyarország
Fővárosa: Budapest
Népesség: 10 000 000 fő
Terület: 93 030 km²

## Magyarország

Hungary is a landlocked country in Central Europe. It is situated in the Carpathian Basin and is bordered by Slovakia to the north, Ukraine to the northeast, Romania to the east and southeast, Serbia to the south, Croatia to the southwest, Slovenia to the west, and Austria to the northwest. The country's capital and largest city is Budapest. Hungary is a member of the European Union, NATO, the OECD, the Visegr
```

### Tanítás után

```
Magyarország
Fővárosa: 1,7 millió lakosú Budapest
Népesség: 10 millió
Nyelv: magyar

A magyarok a honfoglalás után a mai Magyarország területén telepedtek le. A 11. században a Kárpát-medencében létrejött a Magyar Királyság, amely a 16. században a Habsburg Birodalom része lett. A 19. században a magyarok a szabadságharcot követően a Habsburg Birodalom része lett, majd 1918-ban függetlenné vált. A második világháború után a Szovjetunió szövetségese lett, majd 1989-ben a kommun
```

## TODO

- [ ] Több példa
- [ ] Példák újragenerálása több token-el
- [ ] Újrataníáts több cikkel
- [ ] Újratanítás kevésbé formális tartalommal (pl . [Bazsalanszky/reddit_hu](https://huggingface.co/datasets/Bazsalanszky/reddit_hu))
- [ ] Kipróbálni milyen ha ezt tanítjuk tovább egy instrukció követő adatkészleten