尝试了一下Qwen2-VL-2B-Instruct
#23
by
jiuzhan
- opened
环境
Windows10
RTX 3060 laptop 6GB
软件版本
cuda 12.6
python3.10
torch 2.51+cu118
有这几个问题，
1.非量化版本我这垃圾电脑直接爆显存，
试了int8和int4
2.图片大小的增长会导致显存飞速增长
3.量化模型要安装auto-gptq这个库，直接pip install，一直出现metadata不匹配。直接在pypi官网下载包本地安装。
除此之外没有什么大问题了。
就是效果不是很理想，如果要描述或者总结的图片中内容过多，就会漏掉很多内容，这个可能是因为这个2B版本参数量太小的原因。