執行環境的硬體配置
#7
by
phidiassj
- opened
請問可否提供執行環境的硬體配置規格?
包括建議執行規格及最低要求規格等。
謝謝您們! 辛苦了!
您好
README 中有 H100 GPU Hours和token量，您可以估計出訓練所需的運算資源
您好
這裡補充一下推論的硬體需求，最主要的硬體需求會是 VRAM 的部份
以半精度的 8B 模型來說，模型參數本身會須要 16GB 的 VRAM，在推論過程中還會產生一些額外開銷，如 KV Cache 等
因此我建議的硬體規格會是有 20GB 以上 VRAM 的 GPU，以市面上的消費級顯示卡來說 90 等級的顯示卡才會有 20GB 以上的 VRAM，如 3090(Ti)/4090 有 24 GB 的 VRAM
而最低規格可能就難以界定了，因為你能使用各種時間換取空間的方式去節省 VRAM 的使用量，甚至不需要 GPU 也能夠運行
了解~ 感謝您的詳細說明!
另外想請問，是否有考慮推出延長 context 的版本? 8K 實在很不好運用
另外也請考慮加入 function calling ( tools ) 的功能
因為我是做 AI 整合應用的，很希望有機會運用國產的模型做發揮
謝謝!
您可以使用 Dynamic NTK RoPE Scaling 來延展模型的 Context Size，此種方式在不對模型做額外訓練的情況下可以得到不錯的效果
您好，
會轉達您的需求，謝謝您的建議。
Best regards.
phidiassj
changed discussion status to
closed