BART (base-sized model)

BART pre-treinado em português.

Descrição do modelo

BART é um modelo do tipo transformer encoder-decoder (seq2seq) com um encoder bidirecional (semelhante a BERT) e um decoder autorregressivo (semelhante a GPT). O BART é pré-treinado (1) corrompendo o texto com uma função de ruído arbitrária e (2) aprendendo um modelo para reconstruir o texto original.

O BART é particularmente eficaz quando feito fine-tuning para geração de texto (por exemplo, resumo, tradução), mas também funciona bem para tarefas de compreensão (por exemplo, classificação de texto e QA).

Usos e limitações

Você pode usar o modelo base para preenchimento de texto. No entanto, o modelo será mais útil após o fine-tuning em um dataset para uma tarefa específica.

Como usar

from transformers import BartTokenizer, BartModel

tokenizer = BartTokenizer.from_pretrained('adalbertojunior/bart-base-portuguese')
model = BartModel.from_pretrained('adalbertojunior/bart-base-portuguese')

inputs = tokenizer("No meio do caminho havia uma pedra", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state
@misc {adalberto_ferreira_barbosa_junior_2024,
    author       = { {Adalberto Ferreira Barbosa Junior} },
    title        = { bart-base-portuguese (Revision 149de72) },
    year         = 2024,
    url          = { https://huggingface.co/adalbertojunior/bart-base-portuguese },
    doi          = { 10.57967/hf/3264 },
    publisher    = { Hugging Face }
}
Downloads last month
72
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train adalbertojunior/bart-base-portuguese