| FROM YOUR\PATH\HERE\MODEL.GGUF | |
| TEMPLATE """{{ if .System }}<|im_start|>system | |
| {{ .System }}<|im_end|> | |
| {{ end }}{{ if .Prompt }}<|im_start|>user | |
| {{ .Prompt }}<|im_end|> | |
| {{ end }}<|im_start|>assistant | |
| {{ .Response }}<|im_end|> | |
| """ | |
| PARAMETER stop "<|im_start|>" | |
| PARAMETER stop "<|im_end|>" | |
| PARAMETER mirostat 2 | |
| PARAMETER mirostat_eta 0.2 | |
| PARAMETER mirostat_tau 4.0 | |
| PARAMETER num_ctx 32000 | |
| PARAMETER repeat_last_n 128 | |
| PARAMETER repeat_penalty 1.3 | |
| PARAMETER temperature 0.4 | |
| PARAMETER top_k 20 | |
| PARAMETER top_p 0.7 | |
| PARAMETER min_p 0.05 |