是否可以使用llama.cpp量化这个模型
#3
by
VicMon
- opened
我使用的指令如下：
$ python convert.py models/llama3-8b-chinese --outfile models/llama3-8b-chinese-f16.gguf --outtype f16
$ ./quantize models/llama3-8b-chinese-f16.gguf models/llama3-cn-q4_0.gguf q4_0
但是在使用ollama create这个模型并且使用的时候得到报错：Ollama: 500 Internal Server Error invalid unordered_map<K, T> key