这我也跑不动啊你们都是在拿什么玩意玩啊。我勒个公鸡母鸡战斗鸡啊
#8
by
ss996
- opened
真无语啊 4090玩具卡
5090 也跑不动的好不
就是一些8*A100或者H100。最近市场上看不到B200之类的卡
512G内存用CPU跑
512G内存用CPU跑
这很慢吧，要是30token/s都到不了就难受
512G内存用CPU跑
这很慢吧，要是30token/s都到不了就难受
https://huggingface.co/unsloth/DeepSeek-V3-GGUF 看这个模型页面上写的，Q2只要内存+显存超过40G就行，llama.cpp有自动offload机制