FROM YOUR\PATH\HERE\MODEL.GGUF
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"
PARAMETER mirostat 2
PARAMETER mirostat_eta 0.2
PARAMETER mirostat_tau 4.0
PARAMETER num_ctx 32000
PARAMETER repeat_last_n 128
PARAMETER repeat_penalty 1.3
PARAMETER temperature 0.4
PARAMETER top_k 20
PARAMETER top_p 0.7
PARAMETER min_p 0.05