How do you build your own MoE model?
#1
by
nps798
- opened
Hello, just wonder how do you do that ? any tutorial or materials that I can follow?
Thanks 謝謝!
Ofc!
但東西很雜不是一兩個 comment 可以搞定
你那邊有建立過 PyTorch/transformers 的環境嗎？
他有個 moe 的 branch 要切過去哦
上面就有 .md 可以告訴你直接怎麼操作
如果你是用本機環境建的話，要記得開 venv
然後模型尺寸要合的不能差太多
感覺你是不是想要用專業知識去組合啊？
yuuko-eth
changed discussion status to
closed
謝謝 我再來測試看看