|
--- |
|
language: |
|
- hu |
|
license: apache-2.0 |
|
tags: |
|
- text-generation-inference |
|
- transformers |
|
- unsloth |
|
- mistral |
|
- trl |
|
base_model: unsloth/mistral-7b-bnb-4bit |
|
datasets: |
|
- SZTAKI-HLT/HunSum-1 |
|
--- |
|
|
|
# Mistral-7b-0.1-hu |
|
|
|
- **Developed by:** Bazsalanszky |
|
- **License:** apache-2.0 |
|
- **Finetuned from model :** unsloth/mistral-7b-bnb-4bit |
|
|
|
Ez a mistral 7b model magyar szövegre lett tanítva 10 000 véletlenszerűen kiválasztott cikken. Így valamivel szebben ír magyarul, mint az alap model. |
|
|
|
## Fontos |
|
|
|
Ez a modell NEM lett instrukciókra tanítva, valószínűleg nem fogja azokat követni. |
|
|
|
## Példa használat |
|
|
|
```python |
|
# Load model directly |
|
from transformers import AutoTokenizer, AutoModel |
|
|
|
# Load model directly |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-v0.1") |
|
model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1") |
|
|
|
adapter_name = model.load_adapter("Bazsalanszky/Mistral-7b-0.1-hu") |
|
|
|
model.active_adapters = adapter_name |
|
|
|
inputs = tokenizer("Magyarország\nFővárosa:", return_tensors = "pt").to("cpu") |
|
|
|
from transformers import TextStreamer |
|
text_streamer = TextStreamer(tokenizer) |
|
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 250) |
|
``` |
