tokenizer.json 한글 인코딩

by leooj - opened Jun 25

leooj

Jun 25

안녕하세요 beomi님, 혹시 제가 맞게 tokenizer를 사용하고 있다면, 한글인코딩이 깨진게 아닌가 궁금합니다.

beomi

Owner Jul 8

안녕하세요. BBPE 인코딩이라 해당 처럼 나오는게 정상입니다.

beomi changed discussion status to closed Jul 8

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment