|
--- |
|
language: |
|
- es |
|
license: apache-2.0 |
|
library_name: transformers |
|
pipeline_tag: text-generation |
|
--- |
|
|
|
|
|
|
|
|
|
# LLM-AviationV2: Innovaci贸n AI en los Cielos |
|
|
|
<p align="center"> |
|
<img src="https://cdn-uploads.huggingface.co/production/uploads/6419c2f6b4adb0e101b17b6c/fhU5yTQKH9nHN_zues186.png" style="width: 50%; max-width: 500px; height: auto;" alt="LLM-AviationV2: Innovaci贸n AI en los Cielos"/> |
|
</p> |
|
|
|
|
|
|
|
|
|
|
|
### Descripci贸n del Modelo |
|
|
|
Desarrollado por Edison Bejarano y Nicolas Potes, este modelo representa un avance revolucionario en la utilizaci贸n de la tecnolog铆a de Modelos de Lenguaje (LM) dentro del sector aeron谩utico, espec铆ficamente dise帽ado para mejorar la comprensi贸n y accesibilidad del Reglamento Aeron谩utico Colombiano (RAC). Entrenado en una Tesla V100-SXM2-16GB, el modelo `LLM-AviationV2` se embarca en un viaje para navegar el complejo panorama regulatorio con una eficiencia y perspicacia sin precedentes. |
|
|
|
- **Desarrollado por:** [Edison Bejarano](https://huggingface.co/ejbejaranos) - [Sergio Nicolas](https://huggingface.co/SergioMadridF) - [Santiago Pineda](https://huggingface.co/sapinedamo) |
|
- **Tipo de modelo:** Versi贸n afinada de `google/gemma-2b-it` |
|
- **Idiomas (NLP):** Espa帽ol (es) |
|
- **Licencia:** Apache-2.0 |
|
- **Afinado a partir del modelo:** `google/gemma-2b-it` |
|
|
|
### Fuentes del Modelo |
|
|
|
- **URL en Hugging Face:** [ejbejaranos/LLM-AviationV2](https://huggingface.co/ejbejaranos/LLM-AviationV2) |
|
|
|
## Usos |
|
|
|
### Uso Directo |
|
|
|
El modelo `LLM-AviationV2` est谩 dise帽ado para aplicaciones directas en tareas de generaci贸n de texto, con el objetivo de simplificar la interpretaci贸n y aplicaci贸n de las regulaciones aeron谩uticas. Su funci贸n principal es servir a profesionales y entusiastas del campo de la aeron谩utica, proporcionando acceso inmediato a informaci贸n comprensible extra铆da del RAC. |
|
|
|
## Detalles de Entrenamiento |
|
|
|
## Datos de Entrenamiento |
|
|
|
El modelo `LLM-AviationV2` fue afinado utilizando el dataset `RAC_Colombia_QualityImproved025`, el cual representa una versi贸n mejorada en t茅rminos de calidad del Reglamento Aeron谩utico Colombiano. Este dataset fue curado y mejorado por el equipo de [SomosNLP](https://huggingface.co/somosnlp), con el objetivo de proporcionar una base de datos m谩s precisa y relevante para tareas de procesamiento de lenguaje natural relacionadas con la aviaci贸n. |
|
|
|
Para m谩s detalles sobre este dataset, puedes consultar la documentaci贸n y los metadatos a trav茅s del siguiente enlace: |
|
|
|
[Dataset `RAC_Colombia_QualityImproved025` en Hugging Face](https://huggingface.co/datasets/somosnlp/RAC_Colombia_QualityImproved025) |
|
|
|
|
|
### Procedimiento de Entrenamiento y Resultados |
|
|
|
#### Hiperpar谩metros de Entrenamiento para LLM-AviationV2 |
|
|
|
- **Tipo de GPU:** Tesla V100-SXM2-16GB |
|
- **Tiempo Total de Entrenamiento:** Aprox. 70 minutos (4239 segundos) |
|
- **Tasa de Aprendizaje:** 0.00005 |
|
- **Optimizador:** Paged AdamW 8bit |
|
- **Pasos M谩ximos:** 258 |
|
- **Tama帽o de Secuencia:** 1024 (presumido) |
|
- **Tama帽o de Lote por Dispositivo:** 3 |
|
|
|
#### Velocidades, Tama帽os, Tiempos para LLM-AviationV2 |
|
|
|
- **Tiempo de Entrenamiento:** 882.68 segundos |
|
- **Muestras por Segundo en Entrenamiento:** 2.338 |
|
- **Pasos por Segundo en Entrenamiento:** 0.585 |
|
|
|
#### Hiperpar谩metros de Entrenamiento para LLMs-AviationV3 |
|
|
|
- **Tipo de GPU:** NVIDIA A100-SXM4-40GB |
|
- **Tiempo Total de Entrenamiento:** Aprox. 50 minutos (3007 segundos) |
|
- **Tasa de Aprendizaje:** 0.00005 |
|
- **Optimizador:** Paged AdamW 8bit |
|
- **Pasos M谩ximos:** 1638 |
|
- **Tama帽o de Secuencia:** 2048 |
|
- **Tama帽o de Lote por Dispositivo:** 1 |
|
- **Versi贸n de Transformers:** 4.39.0 |
|
- **Funci贸n de Activaci贸n:** gelu_pytorch_tanh |
|
|
|
#### Velocidades, Tama帽os, Tiempos para LLMs-AviationV3 |
|
|
|
- **Tiempo de Entrenamiento:** 1641.78 segundos |
|
- **Muestras por Segundo en Entrenamiento:** 3.991 |
|
- **Pasos por Segundo en Entrenamiento:** 0.998 |
|
|
|
### Comparaci贸n de Modelos |
|
|
|
Al comparar los modelos, observamos mejoras significativas en la versi贸n LLMs-AviationV3. La expansi贸n del tama帽o de la secuencia a 2048 y la reducci贸n del tama帽o de lote por dispositivo a 1, junto con el incremento en los pasos m谩ximos a 1638, han demandado m谩s recursos pero han resultado en un aumento notable en la calidad del modelo. Adem谩s, la actualizaci贸n a la versi贸n 4.39.0 de Transformers y el cambio en la funci贸n de activaci贸n a `gelu_pytorch_tanh` para LLMs-AviationV3 han contribuido a este avance cualitativo. |
|
|
|
|
|
### Resultados |
|
|
|
El modelo ha demostrado una capacidad significativa para comprender y generar contenido regulatorio aeron谩utico en espa帽ol, convirti茅ndose en un valioso recurso para la industria. |
|
|
|
Actualmente vamos en la tercera version en donde hemos conseguido mejorar previas versiones: |
|
|
|
|
|
<p align="center"> |
|
<img src="https://cdn-uploads.huggingface.co/production/uploads/6419c2f6b4adb0e101b17b6c/vkdnFXNuRz8GRMY1_yvSy.png" style="width: 70%; max-width: 1000px; height: auto;" alt="M茅trica de perdida: Innovaci贸n AI en los Cielos"/> |
|
</p> |
|
|
|
## Evaluaci贸n |
|
Se esta desarrollando un espacio para que expertos en el campo puedan realizar una evalucacion por el momento tenemos estos dos para nuestros mejores modelos : |
|
|
|
https://somosnlp-rac-col-v1.hf.space |
|
|
|
## Impacto Ambiental |
|
|
|
El entrenamiento de `LLM-AviationV2` se llev贸 a cabo con una consideraci贸n cuidadosa de su huella ambiental, optimizando para la eficiencia y minimizando el gasto computacional innecesario. |
|
|
|
- **Tipo de Hardware:** Tesla V100-SXM2-16GB |
|
- **Horas Utilizadas:** Aproximadamente 0.52 horas |
|
- **Consumo de Energ铆a:** Aproximadamente 0.156 kWh |
|
- **Emisiones de CO2 Estimadas:** Aproximadamente 0.0741 kg |
|
|
|
Estas cifras subrayan nuestro compromiso con la sostenibilidad y la reducci贸n del impacto ambiental en el desarrollo de tecnolog铆as de inteligencia artificial. |
|
|
|
|
|
|
|
## Especificaciones T茅cnicas |
|
|
|
### Infraestructura de C贸mputo |
|
|
|
#### Hardware |
|
|
|
El entrenamiento se realiz贸 en una Tesla V100-SXM2-16GB, elegida por su equilibrio entre rendimiento y eficiencia energ茅tica. |
|
|
|
#### Software |
|
|
|
- **Versi贸n de Transformers:** 4.38.0 |
|
- **Entorno de Entrenamiento:** Proporcionado por la biblioteca Hugging Face Transformers. |
|
|
|
## M谩s Informaci贸n |
|
|
|
Para obtener informaci贸n m谩s detallada sobre `LLM-AviationV2`, incluido el acceso al modelo y sus capacidades completas, por favor visita nuestro [repositorio en Hugging Face](https://huggingface.co/ejbejaranos/LLM-AviationV2). |
|
LLM-AviationV2). |
|
|