RedXeol commited on
Commit
a752833
1 Parent(s): a93743e

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -1
README.md CHANGED
@@ -68,6 +68,8 @@ This dataset cannot be used to create models that compete in any way with OpenAI
68
  Finetuning
69
  To fine-tune the BERTIN GPT-J-6B model we used the code available on BERTIN's fork of mesh-transformer-jax, which provides code adapt an Alpaca dataset to finetune any GPT-J-6B model. We run finetuning for 3 epochs using sequence length of 2048 on a single TPUv3-8 for 3 hours on top of BERTIN GPT-J-6B.
70
 
 
 
71
 
72
 
73
  **Español** 🇪🇸
@@ -117,7 +119,7 @@ Este conjunto de datos no se puede usar para crear modelos que compitan de algun
117
  Finetuning
118
  Para ajustar el modelo BERTIN GPT-J-6B, usamos el código disponible en la bifurcación de BERTIN de mesh-transformer-jax, que proporciona código para adaptar un conjunto de datos de Alpaca para ajustar cualquier modelo GPT-J-6B. Ejecutamos un ajuste fino para 3 épocas usando una longitud de secuencia de 2048 en un solo TPUv3-8 durante 3 horas sobre BERTIN GPT-J-6B.
119
 
120
- necesitas una gpu de 8GB para ejecutarlocorrectamente.
121
 
122
  **puebas en nvidia rtx 3060 (12GB)**
123
 
 
68
  Finetuning
69
  To fine-tune the BERTIN GPT-J-6B model we used the code available on BERTIN's fork of mesh-transformer-jax, which provides code adapt an Alpaca dataset to finetune any GPT-J-6B model. We run finetuning for 3 epochs using sequence length of 2048 on a single TPUv3-8 for 3 hours on top of BERTIN GPT-J-6B.
70
 
71
+ **you need an 8GB gpu to run it correctly.**
72
+
73
 
74
 
75
  **Español** 🇪🇸
 
119
  Finetuning
120
  Para ajustar el modelo BERTIN GPT-J-6B, usamos el código disponible en la bifurcación de BERTIN de mesh-transformer-jax, que proporciona código para adaptar un conjunto de datos de Alpaca para ajustar cualquier modelo GPT-J-6B. Ejecutamos un ajuste fino para 3 épocas usando una longitud de secuencia de 2048 en un solo TPUv3-8 durante 3 horas sobre BERTIN GPT-J-6B.
121
 
122
+ **necesitas una gpu de 8GB para ejecutarlo correctamente.**
123
 
124
  **puebas en nvidia rtx 3060 (12GB)**
125