Load Model Error
안녕하세요, beomi님
먼저 solar ko 버전을 공유해 주셔서 너무 감사합니다.
너무 해보고싶었는데 올려주셔서 감사합니다.
모델을 불러오는데 오류가 발생해서 문의를 남기고있습니다.
OR
Error details
huggingface_token-> The value has been entered.
How can I do this? I really want to use it.
그리고 하나만 더 여쭈어볼게요
위의 토큰을 보면 model_max_length=1000000000000000019884624838656 <- 이게 정상적으로 불러와진걸까요?
https://colab.research.google.com/drive/1KYJ6mb5QrIx4Nm3VgU5RiNmrB-tWIZsn?usp=sharing
안녕하세요,
위 코랩 노트북 기준 Transformers 4.38.2, PyTorch 2.2.1 기준 정상적으로 생성이 되는 것으로 확인됩니다.
혹시 실행 환경이 어떻게 될까요?
그리고 Tokenizer의 model max length가 작은 숫자로 될 경우, 본 토크나이저를 선제적으로 사용해 데이터셋 인코딩할 때 임의로 truncate되는 상황이 발생하기 때문에 해당 문제를 예방하기 위해 긴 값을 넣어둡니다.(타 모델도 보시면 비슷한 길고 큰 값을 넣어둔 것을 보실 수 있습니다)
도커를 설치해서 다시 한번 해보겠습니다. 이렇게 빠르게 답변을 주실줄 몰랐는데 감사합니다.
먼저 공유 해주신 주피터 노트북은 너무 잘되었습니다.
처음 제공되는 용량이 적어서 한번 밖에 문장 생성 테스트를 하지 못했습니다.
- 왜 드라이브를 gpug를 사용하지 않고 하면 오류가 발생하는걸 까요?
- 에러 내용
ImportError: Usingbitsandbytes8-bit quantization requires Accelerate:pip install accelerateand the latest version of bitsandbytes:pip install -i https://pypi.org/simple/ bitsandbytes
- 그리고 쳇봇에 대해서 질문이있습니다. 모델에게 앞에 설명을 한다음 질문을 했을 때 없는 내용말고 있는 내용에 한에서만 나오게 끔 사용하고 싶은데 다른모델으 사용 혹은 찾아봐도 없네요 혹시 도움을 주실 만한 조언을 해주실 수 있을까요?
EX: "책의 내용이 적인 내용입니다. 소설책은 7천원, 만화책은 9천원, 일기는 2천원이야 질문: 책의 종류를 총몇권이야?"
라고 물어봤을 때 원하는 답변은 "답변: 총 2권" 이런식으로대답을 하게만들고 싶어요
하지만 문장 생성이라 그런지 "답변: 소설책, 만화책, 자기개발책, 그림책 등등.... "이렇게 대답을 하더라고요. 가능한 이야기일까요? 너무 구현을 하고싶은데 안됩니다.