ollama호환 버전
#3
by
SeCrEaT999
- opened
먼저 모델을 공유해주셔서 감사합니다. 이 모델을 사용하기 위해 ollama가 지원되게 llama.cpp를 이용하여 gguf파일로 변환할려 했지만
INFO:hf-to-gguf:Loading model: bllossom
ERROR:hf-to-gguf:Model MllamaForConditionalGeneration is not supported
라는 오류가 반환됩니다. 어떻게 해야할지 문의드려 봅니다.
현재 llama cpp에서 MllamaForConditionalGeneration은 지원되고 있지 않습니다.
gguf 변환은 추후에 가능한 방안을 찾게 되면 코멘트를 다시 남기겠습니다.
gguf 변환 관련 이슈는 아래 이슈에서 업데이트 하도록 하겠습니다
https://huggingface.co/Bllossom/llama-3.2-Korean-Bllossom-AICA-5B/discussions/1
ShinDJ
changed discussion status to
closed