VRxiaojie

/

DeepSeek-R1-Distill-Qwen-7B-RK3588S-RKLLM1.1.4

like 2

可以发一下模型的链接吗？因为搜Qwen-3B搜出来好几个，不知道需要哪个。
可以尝试转换一下

这里是模型的链接，非常感谢您 https://huggingface.co/Qwen/Qwen2.5-3B-Instruct/tree/main

另外我发现ollama那边Q4量化过的模型体积能明显缩小，比如deepseek-r1蒸馏的7b-qwen-distill-q4_K_M只有4.7GB空间，如果rockchip这边也能这么做，咱们的3588也能跑7B模型了

这里是模型的链接，非常感谢您 https://huggingface.co/Qwen/Qwen2.5-3B-Instruct/tree/main

已上传，链接：https://huggingface.co/VRxiaojie/Qwen2.5-3B-Instruct-RKLLM1.1.4

运行实测内存占用3.7GB，NPU负载3核各67%

这里是模型的链接，非常感谢您 https://huggingface.co/Qwen/Qwen2.5-3B-Instruct/tree/main

已上传，链接：https://huggingface.co/VRxiaojie/Qwen2.5-3B-Instruct-RKLLM1.1.4

运行实测内存占用3.7GB，NPU负载3核各67%

非常感谢，祝新年快乐！

这里是模型的链接，非常感谢您 https://huggingface.co/Qwen/Qwen2.5-3B-Instruct/tree/main

已上传，链接：https://huggingface.co/VRxiaojie/Qwen2.5-3B-Instruct-RKLLM1.1.4

运行实测内存占用3.7GB，NPU负载3核各67%

非常感谢，祝新年快乐！

新年快乐！