Performans konusu
#2
by
bbilginn
- opened
Selamlar, Bu model için size teşekkür ederim.
Bu modeli ollama'da denemek istedim ancak çok yavaş çalışıyor. llama3.1'in kendisi gayet hızlı, en az 10kat fark var aralarında. Bunun sebebi ne olabilir acaba?
unsloth.Q8_0.gguf olanı indirdim ve ollama create methodu ile yarattım. Hem çok yavaş hem de çok kısa yanıtlar veriyor. Atladığım bir şey mi var acaba?
Modelfile
Teşekkürler.