RedXeol
/

bertin-gpt-j-6B-alpaca-4bit-128g

Text Generation

bertin-project/alpaca-spanish

Inference Endpoints

Model card Files Files and versions Community

RedXeol commited on May 12, 2023

Commit

a7c5062

•

1 Parent(s): 22a497b

Update README.md

Files changed (1) hide show

README.md +3 -2

README.md CHANGED Viewed

@@ -105,5 +105,6 @@ Este conjunto de datos no se puede usar para crear modelos que compitan de algun
 Finetuning
 Para ajustar el modelo BERTIN GPT-J-6B, usamos el código disponible en la bifurcación de BERTIN de mesh-transformer-jax, que proporciona código para adaptar un conjunto de datos de Alpaca para ajustar cualquier modelo GPT-J-6B. Ejecutamos un ajuste fino para 3 épocas usando una longitud de secuencia de 2048 en un solo TPUv3-8 durante 3 horas sobre BERTIN GPT-J-6B.
-![memoria gpu carga](https://twitter.com/IdeVtuber/status/1657081992851120134/photo/1)
-![memoria gpu uso](https://twitter.com/IdeVtuber/status/1657081992851120134/photo/2)

 Finetuning
 Para ajustar el modelo BERTIN GPT-J-6B, usamos el código disponible en la bifurcación de BERTIN de mesh-transformer-jax, que proporciona código para adaptar un conjunto de datos de Alpaca para ajustar cualquier modelo GPT-J-6B. Ejecutamos un ajuste fino para 3 épocas usando una longitud de secuencia de 2048 en un solo TPUv3-8 durante 3 horas sobre BERTIN GPT-J-6B.
+![memoria gpu carga](https://pbs.twimg.com/media/Fv8jPPWXgAAbAAW?format=png&name=900x900)
+![memoria gpu uso](https://pbs.twimg.com/media/Fv8jPPTXgAAPpMy?format=png&name=900x900)