metadata

language:
  - hu
license: apache-2.0
tags:
  - text-generation-inference
  - transformers
  - unsloth
  - mistral
  - trl
base_model: unsloth/mistral-7b-bnb-4bit
datasets:
  - SZTAKI-HLT/HunSum-1

Mistral-7b-0.1-hu

Developed by: Bazsalanszky
License: apache-2.0
Finetuned from model : unsloth/mistral-7b-bnb-4bit

Ez a mistral 7b model magyar szövegre lett tanítva 10 000 véletlenszerűen kiválasztott cikken. Így valamivel szebben ír magyarul, mint az alap model.

Fontos

Ez a modell NEM lett instrukciókra tanítva, valószínűleg nem fogja azokat követni.

Példa használat

# Load model directly
from transformers import AutoTokenizer, AutoModel

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-v0.1")
model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1")

adapter_name = model.load_adapter("Bazsalanszky/Mistral-7b-0.1-hu")

model.active_adapters = adapter_name

inputs = tokenizer("Magyarország\nFővárosa:", return_tensors = "pt").to("cpu")

from transformers import TextStreamer
text_streamer = TextStreamer(tokenizer)
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 250)