请教一下,openbmb/MiniCPM-Llama3-V-2_5这个模型想转onnx格式,该怎么操作?有好的建议或者集成工具吗?
#13
by
fridayfairy
- opened
请教一下,openbmb/MiniCPM-Llama3-V-2_5这个模型想转onnx格式,该怎么操作?有好的建议或者集成工具吗?
您好,我们现在在集中力量实现llamacpp版本,对于onnx格式转换还没有开始规划。如您有时间,欢迎您为openbmb/MiniCPM-Llama3-V-2_5转换onnx格式,感激不尽!
如果有更多问题,欢迎您继续提问
主要工作量可能是在ViT模型的VisionEmbeddings部分,需要根据CoreML支持的op做些代码简化和适配, 以及通过mask把动态input shape转成固定input shape
@fridayfairy
你好,现在做openbmb/MiniCPM-Llama3-V-2_5转换onnx格式的工作了吗
请问这个问题有更新吗,转换vpm过程中,动态batch抛出错误,Split算子维度对不上