| {"bos_token": {"content": "<s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "eos_token": {"content": "</s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "unk_token": {"content": "<|UNKNOWN|>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "sep_token": "<EOL>", "pad_token": "<pad>", "special_tokens_map_file": null, "full_tokenizer_file": null, "do_lower_case": false, "additional_special_tokens": ["<STR_LIT>", "<NUM_LIT>", "<CHAR_LIT>", "<STR_LIT:name>", "<STR_LIT:\\n>", "<STR_LIT:U+0020>", "<STR_LIT:True>", "<STR_LIT:a>", "<STR_LIT:type>", "<STR_LIT:__main__>", "<STR_LIT:id>", "<STR_LIT:/>", "<STR_LIT:.>", "<STR_LIT:w>", "<STR_LIT:utf-8>", "<STR_LIT:b>", "<STR_LIT:foo>", "<STR_LIT:1>", "<STR_LIT:r>", "<STR_LIT:default>", "<STR_LIT:U+002C>", "<STR_LIT:->", "<STR_LIT:data>", "<STR_LIT:0>", "<STR_LIT:%s>", "<STR_LIT:x>", "<STR_LIT:blank>", "<STR_LIT::>", "<STR_LIT:value>", "<STR_LIT:max_length>", "<STR_LIT:c>", "<STR_LIT:_>", "<STR_LIT:test>", "<STR_LIT:A>", "<STR_LIT:store_true>", "<STR_LIT:description>", "<STR_LIT:*>", "<STR_LIT:null>", "<STR_LIT:title>", "<STR_LIT:y>", "<STR_LIT:U+002CU+0020>", "<STR_LIT:true>", "<STR_LIT:key>", "<STR_LIT:bar>", "<STR_LIT:=>", "<STR_LIT:string>", "<STR_LIT:status>", "<STR_LIT:2>", "<STR_LIT:rb>", "<STR_LIT:to>", "<STR_LIT:B>", "<STR_LIT:url>", "<STR_LIT:d>", "<STR_LIT:\">", "<STR_LIT:version>", "<STR_LIT:str>", "<STR_LIT:abc>", "<STR_LIT:int>", "<STR_LIT:GET>", "<STR_LIT:text>", "<STR_LIT:error>", "<STR_LIT:user>", "<STR_LIT:C>", "<STR_LIT:)>", "<STR_LIT:wb>", "<STR_LIT:\\t>", "<STR_LIT:+>", "<STR_LIT:\\\\>", "<STR_LIT:#>", "<STR_LIT:>>", "<STR_LIT:f>", "<STR_LIT:;>", "<STR_LIT:path>", "<STR_LIT:ascii>", "<STR_LIT:POST>", "<STR_LIT:?>", "<STR_LIT:3>", "<STR_LIT:False>", "<STR_LIT:D>", "<STR_LIT:|>", "<STR_LIT:label>", "<STR_LIT:s>", "<STR_LIT:(>", "<STR_LIT:message>", "<STR_LIT:'>", "<STR_LIT:i>", "<STR_LIT:primary_key>", "<STR_LIT:<>", "<STR_LIT:Meta>", "<STR_LIT:N>", "<STR_LIT:e>", "<STR_LIT:object_name>", "<STR_LIT:password>", "<STR_LIT:index>", "<STR_LIT:..>", "<STR_LIT:code>", "<STR_LIT:class>", "<STR_LIT:username>", "<STR_LIT:F>", "<STR_LIT:size>", "<STR_LIT:}>", "<STR_LIT:n>", "<STR_LIT:X>", "<STR_LIT:Y>", "<STR_LIT:file>", "<STR_LIT:z>", "<STR_LIT:[>", "<STR_LIT:store>", "<STR_LIT:none>", "<STR_LIT:html>", "<STR_LIT:]>", "<STR_LIT:utf8>", "<STR_LIT:p>", "<STR_LIT:strict>", "<STR_LIT:\\r\\n>", "<STR_LIT:end>", "<STR_LIT:all>", "<STR_LIT:Name>", "<STR_LIT:state>", "<STR_LIT:produces>", "<STR_LIT:m>", "<STR_LIT:t>", "<STR_LIT:I>", "<STR_LIT:result>", "<STR_LIT:bool>", "<STR_LIT:date>", "<STR_LIT:{}>", "<STR_LIT:\\x00>", "<STR_LIT:hello>", "<STR_LIT:start>", "<STR_LIT:left>", "<STR_LIT:email>", "<STR_LIT:ignore>", "<STR_LIT:S>", "<STR_LIT:@>", "<STR_LIT:L>", "<STR_LIT:false>", "<STR_LIT:action>", "<STR_LIT:{>", "<STR_LIT:related_name>", "<STR_LIT:time>", "<STR_LIT:count>", "<STR_LIT:v>", "<STR_LIT:4>", "<STR_LIT:relu>", "<STR_LIT:win32>", "<STR_LIT:port>", "<STR_LIT:h>", "<STR_LIT:#pop>", "<STR_LIT:source>", "<STR_LIT:Content-Type>", "<STR_LIT:application/json>", "<STR_LIT:&>", "<STR_LIT:src>", "<STR_LIT:O>", "<STR_LIT:-c>", "<STR_LIT:H>", "<STR_LIT:o>", "<STR_LIT:g>", "<STR_LIT:None>", "<STR_LIT:E>", "<STR_LIT:M>", "<STR_LIT:host>", "<STR_LIT:body>", "<STR_LIT:%>", "<STR_LIT:info>", "<STR_LIT:image>", "<STR_LIT:float>", "<STR_LIT:root>", "<STR_LIT:l>", "<STR_LIT:T>", "<STR_LIT:replace>", "<STR_LIT:k>", "<STR_LIT:\\ufffe>", "<STR_LIT:100>", "<STR_LIT:5>", "<STR_LIT:$>", "<STR_LIT:right>", "<STR_LIT:content>", "<STR_LIT:q>", "<STR_LIT:args>", "<STR_LIT:u>", "<STR_LIT:address>", "<STR_LIT:\\r>", "<STR_LIT:list>", "<STR_LIT:target>", "<STR_LIT:http>", "<STR_LIT:P>", "<STR_LIT:object>", "<STR_LIT:yes>", "<STR_LIT:1.0>", "<STR_LIT:R>", "<STR_LIT:width>", "<STR_LIT:localhost>", "<STR_LIT:127.0.0.1>", "<STR_LIT:train>", "<STR_LIT:[?]>", "<STR_LIT:OK>", "<STR_LIT:location>", "<STR_LIT:filename>", "<STR_LIT:!>", "<STR_LIT:success>", "<STR_LIT:input>", "<NUM_LIT:0>", "<NUM_LIT:1>", "<NUM_LIT:2>", "<NUM_LIT:3>", "<NUM_LIT:4>", "<NUM_LIT:5>", "<NUM_LIT:10>", "<NUM_LIT:6>", "<NUM_LIT:8>", "<NUM_LIT:1.0>", "<NUM_LIT:0.0>", "<NUM_LIT:7>", "<NUM_LIT:100>", "<NUM_LIT:9>", "<NUM_LIT:255>", "<NUM_LIT:16>", "<NUM_LIT:0.5>", "<NUM_LIT:20>", "<NUM_LIT:12>", "<NUM_LIT:32>", "<NUM_LIT:11>", "<NUM_LIT:200>", "<NUM_LIT:1000>", "<NUM_LIT:30>", "<NUM_LIT:1.>", "<NUM_LIT:15>", "<NUM_LIT:64>", "<NUM_LIT:0.1>", "<NUM_LIT:50>", "<NUM_LIT:0.>", "<NAME>", "<KEYWORD>", "<NUMBER>", "<STRING>", "<NEWLINE>", "<INDENT>", "<DEDENT>", "<LPAR>", "<RPAR>", "<LSQB>", "<RSQB>", "<COLON>", "<COMMA>", "<SEMI>", "<PLUS>", "<MINUS>", "<STAR>", "<SLASH>", "<VBAR>", "<AMPER>", "<LESS>", "<GREATER>", "<EQUAL>", "<DOT>", "<PERCENT>", "<LBRACE>", "<RBRACE>", "<EQEQUAL>", "<NOTEQUAL>", "<LESSEQUAL>", "<GREATEREQUAL>", "<TILDE>", "<CIRCUMFLEX>", "<LEFTSHIFT>", "<RIGHTSHIFT>", "<DOUBLESTAR>", "<PLUSEQUAL>", "<MINEQUAL>", "<STAREQUAL>", "<SLASHEQUAL>", "<PERCENTEQUAL>", "<AMPEREQUAL>", "<VBAREQUAL>", "<CIRCUMFLEXEQUAL>", "<LEFTSHIFTEQUAL>", "<RIGHTSHIFTEQUAL>", "<DOUBLESTAREQUAL>", "<DOUBLESLASH>", "<DOUBLESLASHEQUAL>", "<AT>", "<ATEQUAL>", "<RARROW>", "<ELLIPSIS>", "<ERRORTOKEN>"], "tokenizer_file": null, "name_or_path": "microsoft/CodeGPT-small-py"} |