|
--- |
|
license: apache-2.0 |
|
datasets: |
|
- maritaca-ai/ag_news_pt |
|
language: |
|
- pt |
|
metrics: |
|
- accuracy |
|
library_name: transformers |
|
pipeline_tag: text-classification |
|
tags: |
|
- hate-speech |
|
widget: |
|
- text: "Os preços do petróleo do Tearway, derrubar registros e forçar carteiras, apresentam uma nova ameaça econômica apenas três meses antes das eleições presidenciais dos EUA." |
|
example_title: Exemplo |
|
- text: "Quando falamos de Inteligência Artificial, hoje em dia existem já vários sistemas que começam a ganhar popularidade, embora nenhum seja ainda tão conhecido como o ChatGPT da OpenAI." |
|
example_title: Exemplo |
|
- text: "O Sport Club Internacional comunica a permanência do seu Diretor Esportivo, Márcio Rodrigues, o Magrão. Com novas atribuições, liderando os setores de trabalho do Departamento de Futebol, e a interligação com as categorias de base, exercendo uma função de gestão e suporte ao trabalho desempenhado pela comissão técnica, grupo de jogadores e staff do Clube." |
|
example_title: Exemplo |
|
- text: "Uma conferência da ONU terminou no início do sábado com um plano vago para novas negociações informais sobre como diminuir o aquecimento global, mas sem um compromisso dos EUA com negociações multilaterais sobre os próximos passos, incluindo controles de emissões." |
|
example_title: Exemplo |
|
--- |
|
# TeenyTinyLlama-162m-AgNews |
|
|
|
TeenyTinyLlama is a series of small foundational models trained in Brazilian Portuguese. |
|
|
|
This repository contains a version of [TeenyTinyLlama-162m](https://huggingface.co/nicholasKluge/TeenyTinyLlama-162m) (`TeenyTinyLlama-162m-AgNews`) fine-tuned on the [AgNews dataset](https://huggingface.co/datasets/maritaca-ai/ag_news_pt). |
|
|
|
## Details |
|
|
|
- **Number of Epochs:** 3 |
|
- **Batch size:** 16 |
|
- **Optimizer:** `torch.optim.AdamW` (learning_rate = 4e-5, epsilon = 1e-8) |
|
- **GPU:** 1 NVIDIA A100-SXM4-40GB |
|
|
|
## Usage |
|
|
|
Using `transformers.pipeline`: |
|
|
|
```python |
|
from transformers import pipeline |
|
|
|
text = "Quando falamos de Inteligência Artificial, hoje em dia existem já vários sistemas que começam a ganhar popularidade,\ |
|
embora nenhum seja ainda tão conhecido como o ChatGPT da OpenAI." |
|
|
|
classifier = pipeline("text-classification", model="nicholasKluge/TeenyTinyLlama-162m-AgNews") |
|
classifier(text) |
|
|
|
# >>> |
|
``` |
|
|
|
## Reproducing |
|
|
|
To reproduce the fine-tuning process, use the following code snippet: |
|
|
|
```python |
|
|
|
# AgNews |
|
!pip install transformers datasets evaluate accelerate -q |
|
|
|
import evaluate |
|
import numpy as np |
|
from datasets import load_dataset, Dataset, DatasetDict |
|
from transformers import AutoTokenizer, DataCollatorWithPadding |
|
from transformers import AutoModelForSequenceClassification, TrainingArguments, Trainer |
|
|
|
# Load the task |
|
dataset = load_dataset("maritaca-ai/ag_news_pt") |
|
|
|
# Create a `ModelForSequenceClassification` |
|
model = AutoModelForSequenceClassification.from_pretrained( |
|
"nicholasKluge/TeenyTinyLlama-162m", |
|
num_labels=4, |
|
id2label={0: "MUNDO", 1: "ESPORTES", 2: "NEGÓCIOS", 3: "TECNOLOGIA"}, |
|
label2id={"MUNDO": 0, "ESPORTES": 1, "NEGÓCIOS": 2, "TECNOLOGIA": 3} |
|
) |
|
|
|
tokenizer = AutoTokenizer.from_pretrained("nicholasKluge/TeenyTinyLlama-162m") |
|
|
|
# Format the dataset |
|
train = dataset['train'].to_pandas() |
|
train["text"] = train["title"] + "\n\n" + train["text"] |
|
train.label = train.label.astype(int) |
|
train = Dataset.from_pandas(train) |
|
|
|
test = dataset['test'].to_pandas() |
|
test["text"] = test["title"] + "\n\n" + test["text"] |
|
test.label = test.label.astype(int) |
|
test = Dataset.from_pandas(test) |
|
|
|
dataset = DatasetDict({ |
|
"train": train, |
|
"test": test |
|
}) |
|
|
|
# Preprocess the dataset |
|
def preprocess_function(examples): |
|
return tokenizer(examples["text"], truncation=True, max_length=256) |
|
|
|
dataset_tokenized = dataset.map(preprocess_function, batched=True) |
|
|
|
# Create a simple data collactor |
|
data_collator = DataCollatorWithPadding(tokenizer=tokenizer) |
|
|
|
# Use accuracy as an evaluation metric |
|
accuracy = evaluate.load("accuracy") |
|
|
|
# Function to compute accuracy |
|
def compute_metrics(eval_pred): |
|
predictions, labels = eval_pred |
|
predictions = np.argmax(predictions, axis=1) |
|
return accuracy.compute(predictions=predictions, references=labels) |
|
|
|
# Define training arguments |
|
training_args = TrainingArguments( |
|
output_dir="checkpoints", |
|
learning_rate=4e-5, |
|
per_device_train_batch_size=16, |
|
per_device_eval_batch_size=16, |
|
num_train_epochs=3, |
|
weight_decay=0.01, |
|
evaluation_strategy="epoch", |
|
save_strategy="epoch", |
|
load_best_model_at_end=True, |
|
push_to_hub=True, |
|
hub_token="your_token_here", |
|
hub_model_id="username/model-ID", |
|
) |
|
|
|
# Define the Trainer |
|
trainer = Trainer( |
|
model=model, |
|
args=training_args, |
|
train_dataset=dataset_tokenized["train"], |
|
eval_dataset=dataset_tokenized["test"], |
|
tokenizer=tokenizer, |
|
data_collator=data_collator, |
|
compute_metrics=compute_metrics, |
|
) |
|
|
|
# Train! |
|
trainer.train() |
|
|
|
``` |
|
|
|
## Fine-Tuning Comparisons |
|
|
|
| Models | [AgNews](https://huggingface.co/datasets/maritaca-ai/ag_news_pt) | |
|
|--------------------------------------------------------------------------------------------|------------------------------------------------------------------| |
|
| [Teeny Tiny Llama 162m](https://huggingface.co/nicholasKluge/TeenyTinyLlama-162m) | 94.05 | |
|
| [Bert-base-portuguese-cased](https://huggingface.co/neuralmind/bert-base-portuguese-cased) | 94.19 | |
|
| [Bert-large-portuguese-cased](https://huggingface.co/neuralmind/bert-base-portuguese-cased)| xx.xx | |
|
| [Gpt2-small-portuguese](https://huggingface.co/pierreguillou/gpt2-small-portuguese) | 94.07 | |
|
|
|
## Cite as 🤗 |
|
|
|
```latex |
|
|
|
@misc{nicholas22llama, |
|
doi = {10.5281/zenodo.6989727}, |
|
url = {https://huggingface.co/nicholasKluge/TeenyTinyLlama-162m}, |
|
author = {Nicholas Kluge Corrêa}, |
|
title = {TeenyTinyLlama}, |
|
year = {2023}, |
|
publisher = {HuggingFace}, |
|
journal = {HuggingFace repository}, |
|
} |
|
|
|
``` |
|
|
|
## Funding |
|
|
|
This repository was built as part of the RAIES ([Rede de Inteligência Artificial Ética e Segura](https://www.raies.org/)) initiative, a project supported by FAPERGS - ([Fundação de Amparo à Pesquisa do Estado do Rio Grande do Sul](https://fapergs.rs.gov.br/inicial)), Brazil. |
|
|
|
## License |
|
|
|
TeenyTinyLlama-162m-AgNews is licensed under the Apache License, Version 2.0. See the [LICENSE](LICENSE) file for more details. |
|
|
