ejbejaranos's picture
Upload GemmaForCausalLM
06739e3 verified
|
raw
history blame
4.7 kB
metadata
language:
  - es
license: apache-2.0
library_name: transformers
pipeline_tag: text-generation

LLM-AviationV2: Innovaci贸n AI en los Cielos

LLM-AviationV2: Innovaci贸n AI en los Cielos

Descripci贸n del Modelo

Desarrollado por Edison Bejarano y Nicolas Potes, este modelo representa un avance revolucionario en la utilizaci贸n de la tecnolog铆a de Modelos de Lenguaje (LM) dentro del sector aeron谩utico, espec铆ficamente dise帽ado para mejorar la comprensi贸n y accesibilidad del Reglamento Aeron谩utico Colombiano (RAC). Entrenado en una Tesla V100-SXM2-16GB, el modelo LLM-AviationV2 se embarca en un viaje para navegar el complejo panorama regulatorio con una eficiencia y perspicacia sin precedentes.

  • Desarrollado por: Edison Bejarano - Sergio Nicolas
  • Tipo de modelo: Versi贸n afinada de google/gemma-2b-it
  • Idiomas (NLP): Espa帽ol (es)
  • Licencia: Apache-2.0
  • Afinado a partir del modelo: google/gemma-2b-it

Fuentes del Modelo

Usos

Uso Directo

El modelo LLM-AviationV2 est谩 dise帽ado para aplicaciones directas en tareas de generaci贸n de texto, con el objetivo de simplificar la interpretaci贸n y aplicaci贸n de las regulaciones aeron谩uticas. Su funci贸n principal es servir a profesionales y entusiastas del campo de la aeron谩utica, proporcionando acceso inmediato a informaci贸n comprensible extra铆da del RAC.

Detalles de Entrenamiento

Datos de Entrenamiento

El modelo LLM-AviationV2 fue afinado utilizando el dataset RAC_Colombia_QualityImproved025, el cual representa una versi贸n mejorada en t茅rminos de calidad del Reglamento Aeron谩utico Colombiano. Este dataset fue curado y mejorado por el equipo de SomosNLP, con el objetivo de proporcionar una base de datos m谩s precisa y relevante para tareas de procesamiento de lenguaje natural relacionadas con la aviaci贸n.

Para m谩s detalles sobre este dataset, puedes consultar la documentaci贸n y los metadatos a trav茅s del siguiente enlace:

Dataset RAC_Colombia_QualityImproved025 en Hugging Face

Procedimiento de Entrenamiento

Hiperpar谩metros de Entrenamiento

  • Tipo de GPU: Tesla V100-SXM2-16GB
  • Tiempo Total de Entrenamiento: Aprox. 31 minutos (1860 segundos)
  • Tasa de Aprendizaje: 0.00005
  • Optimizador: Paged AdamW 8bit
  • Pasos M谩ximos: 516

Velocidades, Tama帽os, Tiempos

  • Tiempo de Entrenamiento: 882.68 segundos
  • Muestras por Segundo en Entrenamiento: 2.338
  • Pasos por Segundo en Entrenamiento: 0.585

Evaluaci贸n

Resultados

El modelo ha demostrado una capacidad significativa para comprender y generar contenido regulatorio aeron谩utico en espa帽ol, convirti茅ndose en un valioso recurso para la industria.

M茅trica de perdida: Innovaci贸n AI en los Cielos

Impacto Ambiental

El entrenamiento de LLM-AviationV2 se llev贸 a cabo con una consideraci贸n cuidadosa de su huella ambiental, optimizando para la eficiencia y minimizando el gasto computacional innecesario.

  • Tipo de Hardware: Tesla V100-SXM2-16GB
  • Horas Utilizadas: Aproximadamente 0.52 horas
  • Consumo de Energ铆a: Aproximadamente 0.156 kWh
  • Emisiones de CO2 Estimadas: Aproximadamente 0.0741 kg

Estas cifras subrayan nuestro compromiso con la sostenibilidad y la reducci贸n del impacto ambiental en el desarrollo de tecnolog铆as de inteligencia artificial.

Especificaciones T茅cnicas

Infraestructura de C贸mputo

Hardware

El entrenamiento se realiz贸 en una Tesla V100-SXM2-16GB, elegida por su equilibrio entre rendimiento y eficiencia energ茅tica.

Software

  • Versi贸n de Transformers: 4.38.0
  • Entorno de Entrenamiento: Proporcionado por la biblioteca Hugging Face Transformers.

M谩s Informaci贸n

Para obtener informaci贸n m谩s detallada sobre LLM-AviationV2, incluido el acceso al modelo y sus capacidades completas, por favor visita nuestro repositorio en Hugging Face. LLM-AviationV2).