Update README.md
Browse files
README.md
CHANGED
|
@@ -68,6 +68,8 @@ This dataset cannot be used to create models that compete in any way with OpenAI
|
|
| 68 |
Finetuning
|
| 69 |
To fine-tune the BERTIN GPT-J-6B model we used the code available on BERTIN's fork of mesh-transformer-jax, which provides code adapt an Alpaca dataset to finetune any GPT-J-6B model. We run finetuning for 3 epochs using sequence length of 2048 on a single TPUv3-8 for 3 hours on top of BERTIN GPT-J-6B.
|
| 70 |
|
|
|
|
|
|
|
| 71 |
|
| 72 |
|
| 73 |
**Espa帽ol** 馃嚜馃嚫
|
|
@@ -117,7 +119,7 @@ Este conjunto de datos no se puede usar para crear modelos que compitan de algun
|
|
| 117 |
Finetuning
|
| 118 |
Para ajustar el modelo BERTIN GPT-J-6B, usamos el c贸digo disponible en la bifurcaci贸n de BERTIN de mesh-transformer-jax, que proporciona c贸digo para adaptar un conjunto de datos de Alpaca para ajustar cualquier modelo GPT-J-6B. Ejecutamos un ajuste fino para 3 茅pocas usando una longitud de secuencia de 2048 en un solo TPUv3-8 durante 3 horas sobre BERTIN GPT-J-6B.
|
| 119 |
|
| 120 |
-
necesitas una gpu de 8GB para
|
| 121 |
|
| 122 |
**puebas en nvidia rtx 3060 (12GB)**
|
| 123 |
|
|
|
|
| 68 |
Finetuning
|
| 69 |
To fine-tune the BERTIN GPT-J-6B model we used the code available on BERTIN's fork of mesh-transformer-jax, which provides code adapt an Alpaca dataset to finetune any GPT-J-6B model. We run finetuning for 3 epochs using sequence length of 2048 on a single TPUv3-8 for 3 hours on top of BERTIN GPT-J-6B.
|
| 70 |
|
| 71 |
+
**you need an 8GB gpu to run it correctly.**
|
| 72 |
+
|
| 73 |
|
| 74 |
|
| 75 |
**Espa帽ol** 馃嚜馃嚫
|
|
|
|
| 119 |
Finetuning
|
| 120 |
Para ajustar el modelo BERTIN GPT-J-6B, usamos el c贸digo disponible en la bifurcaci贸n de BERTIN de mesh-transformer-jax, que proporciona c贸digo para adaptar un conjunto de datos de Alpaca para ajustar cualquier modelo GPT-J-6B. Ejecutamos un ajuste fino para 3 茅pocas usando una longitud de secuencia de 2048 en un solo TPUv3-8 durante 3 horas sobre BERTIN GPT-J-6B.
|
| 121 |
|
| 122 |
+
**necesitas una gpu de 8GB para ejecutarlo correctamente.**
|
| 123 |
|
| 124 |
**puebas en nvidia rtx 3060 (12GB)**
|
| 125 |
|