context length 관련 문의입니다.

#1
by ccw7463 - opened

안녕하세요, beomi님

항상 좋은 모델 공개해주심에 정말 감사드립니다.

config 파일을 확인해보았는데, 기존 llama3에 제시된 postional embedding 길이 8k가 아닌 4k로 기입되어있던데, 의도하신걸까요?

Owner

8k입니다. 오타여서 수정했어요 :)

beomi changed discussion status to closed

답변 감사합니당~

Sign up or log in to comment