Update README.md
Browse files
README.md
CHANGED
|
@@ -105,6 +105,10 @@ Este conjunto de datos no se puede usar para crear modelos que compitan de algun
|
|
| 105 |
Finetuning
|
| 106 |
Para ajustar el modelo BERTIN GPT-J-6B, usamos el código disponible en la bifurcación de BERTIN de mesh-transformer-jax, que proporciona código para adaptar un conjunto de datos de Alpaca para ajustar cualquier modelo GPT-J-6B. Ejecutamos un ajuste fino para 3 épocas usando una longitud de secuencia de 2048 en un solo TPUv3-8 durante 3 horas sobre BERTIN GPT-J-6B.
|
| 107 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 108 |
|
| 109 |
|
| 110 |
|
|
|
|
| 105 |
Finetuning
|
| 106 |
Para ajustar el modelo BERTIN GPT-J-6B, usamos el código disponible en la bifurcación de BERTIN de mesh-transformer-jax, que proporciona código para adaptar un conjunto de datos de Alpaca para ajustar cualquier modelo GPT-J-6B. Ejecutamos un ajuste fino para 3 épocas usando una longitud de secuencia de 2048 en un solo TPUv3-8 durante 3 horas sobre BERTIN GPT-J-6B.
|
| 107 |
|
| 108 |
+
necesitas una gpu de 8GB para ejecutarlocorrectamente.
|
| 109 |
+
|
| 110 |
+
**puebas en nvidia rtx 3060 (12GB)**
|
| 111 |
+
|
| 112 |
|
| 113 |
|
| 114 |
|