# Abstractive stage of PLSUM

Abstractive stage of the Multi-document Extractive Summarization (MDAS) model for portuguese, PLSUM. To goal here is to create Wikipedia-like summaries from multiple sentences extracted in the previous stage of PLSUM (the extractive stage) from websites (input and output in portuguese).

Project [github](https://github.com/aseidelo/wiki_generator/tree/cdd38918c2070200595b7cc64013d6d9ae4eddd0), and [paper](https://sol.sbc.org.br/index.php/eniac/article/view/18300).

## Usage

```
  # query: summary title
  query = 'torta de limão'
  # sentences: list of relevant sentences extracted from multiple documents (i.e via TF-IDF or Textrank or anyother extractive summarization model)
  sentences = [
    'apostar na união do doce com o azedinho da torta de limão é quase certeza de acertar na sobremesa. E você pode escolher a forma mais tradicional com uma massa crocante de farinha de trigo, ou dar um toque de sofisticação servindo porções em taças individuais .',
    'uma fruta no ponto e suculenta faz toda a diferença no preparo de qualquer receita . por isso , aqui vão algumas dicas para escolher o limão ideal para fazer a torta de limão perfeita . observe bem a casca. Uma casca lisa mostra que o limão está suculento . ela também precisa ser bem verde e brilhante ; preste atenção à maciez . aperte a fruta suavemente , se ele ceder ao toque é porque está macio e no ponto para ser consumido ; atenção para a firmeza . mesmo sendo macio , o limão precisa ser firme .',
    'tudo indica que a torta de limão nasceu nos estados unidos , na cidade de Key West , no estado da Flórida , a fins do século xix. por isso , o nome original da receita em inglês – key lime pie – seria originário do nome da cidade e do limão usado naquela região , bem semelhante ao limão taiti consumido no brasil , mas com uma casca amarelada .',
    'as tortas têm a massa como base que podem se estender pelas laterais da sobremesa e até por cima , parecida com uma crosta , mais crocante ou cremosa de acordo com os ingredientes utilizados . podem ser feitas com biscoitos doces com manteiga derretida , ou com uma mistura de farinha , sal , açúcar , manteiga derretida , gema e água . a massa da torta também pode ser feita com um bolo , e a partir daí se estrutura a torta . ',
    'as tortas , geralmente precisam ficar no forno a 200 °  c , por cerca de 20 a 40 minutos . dependendo de cada tipo de forno , o tempo pode variar',
    'para fazer uma massa de torta quase sempre é usada uma gordura como base , geralmente a manteiga . tem a gordura , a farinha , o trigo e às vezes , ovos na sua composição . durante o processo não pode incorporar calor e nem desenvolver o glúten em excesso , pois queremos como resultado uma massa que se dissolve na boca .'
  ]

  input_text = 'summarize: {}'.format(query) + sentences.join('</s>')
  # input_text = "summarize: torta de limão </s> apostar na união do doce com o azedinho da torta de limão é quase certeza de acertar na sobremesa. E você pode escolher a forma mais tradicional com uma massa crocante de farinha de trigo, ou dar um toque de sofisticação servindo porções em taças individuais. </s> uma fruta no ponto e suculenta faz toda a diferença no preparo de qualquer receita . por isso , aqui vão algumas dicas para escolher o limão ideal para fazer a torta de limão perfeita . observe bem a casca. Uma casca lisa mostra que o limão está suculento . ela também precisa ser bem verde e brilhante ; preste atenção à maciez . aperte a fruta suavemente , se ele ceder ao toque é porque está macio e no ponto para ser consumido ; atenção para a firmeza . mesmo sendo macio , o limão precisa ser firme . </s> tudo indica que a torta de limão nasceu nos estados unidos , na cidade de Key West , no estado da Flórida , a fins do século xix. por isso , o nome original da receita em inglês – key lime pie – seria originário do nome da cidade e do limão usado naquela região , bem semelhante ao limão taiti consumido no brasil , mas com uma casca amarelada . </s> as tortas têm a massa como base que podem se estender pelas laterais da sobremesa e até por cima , parecida com uma crosta , mais crocante ou cremosa de acordo com os ingredientes utilizados . podem ser feitas com biscoitos doces com manteiga derretida , ou com uma mistura de farinha , sal , açúcar , manteiga derretida , gema e água . a massa da torta também pode ser feita com um bolo , e a partir daí se estrutura a torta . </s> as tortas , geralmente precisam ficar no forno a 200 °  c , por cerca de 20 a 40 minutos . dependendo de cada tipo de forno , o tempo pode variar . </s> para fazer uma massa de torta quase sempre é usada uma gordura como base , geralmente a manteiga . tem a gordura , a farinha , o trigo e às vezes , ovos na sua composição . durante o processo não pode incorporar calor e nem desenvolver o glúten em excesso , pois queremos como resultado uma massa que se dissolve na boca ."

  tokenizer = T5TokenizerFast.from_pretrained("seidel/plsum-base-ptt5")
  model = T5ForConditionalGeneration.from_pretrained("seidel/plsum-base-ptt5", use_cache=False)
  x = tokenizer([input_text], padding="max_length", max_length=512, return_tensors="pt", truncation=True)
  y = model.generate(**x)
  print(tokenizer.batch_decode(y, skip_special_tokens=True))

  # output: a torta de limão é um doce feito com a fruta limão , que é uma mistura de farinha de trigo , sal , açúcar , manteiga derretida , gema e água . a massa da torta pode ser feita com biscoitos doces , biscoitinhos ou bolos . é uma receita tradicional dos estados unidos , com a utilização de uma massa crocante , ou ainda com um bolo .
```