请求适配vllm框架
#2
by
dafen
- opened
模型效果很好，但是由于architectures变动，原来的vllm不能支持InternLM2ForCausalLM，请求适配。谢谢
对比llama架构，internlm2主要是将Wq\Wk\Wv三个矩阵合并为了一个矩阵，这样可以让训练的速度增加5%，考虑到预训练的巨大消耗，这个优化对预训练非常重要。如果非常着急使用的话，可以尝试使用 https://github.com/InternLM/InternLM/tree/main/tools/convert2llama.py 脚本进行转换。
I converted the model weights to llama format and uploaded it here https://huggingface.co/kiranr/internlm2-chat-20b-llama. hope it will be helpful.
请问wqkv的组织形式和mpt模型的有什么不同吗？@x54-729
I converted the model weights to llama format and uploaded it here https://huggingface.co/kiranr/internlm2-chat-20b-llama. hope it will be helpful.
dafen
changed discussion status to
closed