File size: 9,051 Bytes
8576086
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "96d8a976",
   "metadata": {},
   "source": [
    "# Summarizer\n",
    "This script is used for summarizing Czech news texts as well as for generating news headlines or abstracts. It can be considered as a demonstration for the application of our summarization models.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5e7da404",
   "metadata": {},
   "outputs": [],
   "source": [
    "#dependencies\n",
    "import torch as pt\n",
    "import numpy as np\n",
    "\n",
    "from collections import OrderedDict\n",
    "\n",
    "from transformers import AutoModelForSeq2SeqLM\n",
    "from transformers import  AutoTokenizer\n",
    "\n",
    "from sentence_splitter import SentenceSplitter, split_text_into_sentences\n",
    "\n",
    "#init Summarizer\n",
    "#comment cuda and delete .to(cuda) if using cpuUse\n",
    "class Summarizer:\n",
    "    def __init__(self,model, tokenizer, inference_cfg):\n",
    "        self.model = model\n",
    "        self.model.cuda()\n",
    "        self.tokenizer = tokenizer\n",
    "        self.inference_cfg = inference_cfg\n",
    "        self.enc_max_len = 512\n",
    "    \n",
    "    #tokenize & summarize input texts\n",
    "    def __call__(self, texts, inference_cfg=None):\n",
    "        if type(texts) == str:\n",
    "            texts = [texts]\n",
    "        assert type(texts) == list and type(texts[0]) == str, \"Expected string or list of strings\"\n",
    "        summaries = []\n",
    "        self.inference_cfg = inference_cfg if inference_cfg is not None else self.inference_cfg\n",
    "        for text in texts:\n",
    "            text = self.tokenizer.eos_token.join(SentenceSplitter(language='cs').split(text))\n",
    "            ttext = self.tokenizer(text,max_length = self.enc_max_len, truncation=True, padding=\"max_length\",return_tensors=\"pt\")\n",
    "            summaries.append(self._summarize(ttext,**self.inference_cfg)[0])\n",
    "        return summaries\n",
    "    \n",
    "    #summarize batch of data\n",
    "    def _summarize(self, data, num_beams=1, do_sample=False, \n",
    "                    top_k=50, \n",
    "                    top_p=1.0,\n",
    "                    temperature=1.0,\n",
    "                    repetition_penalty=1.0,\n",
    "                    no_repeat_ngram_size = None,\n",
    "                    max_length=1024,\n",
    "                    min_length=10,\n",
    "                    decode_decoder_ids = False,\n",
    "                    early_stopping = False,**kwargs):\n",
    "        summary = model.generate(input_ids=data[\"input_ids\"].to(\"cuda\"),attention_mask=data[\"attention_mask\"].to(\"cuda\"),\n",
    "                                    num_beams= num_beams,\n",
    "                                   do_sample= do_sample,\n",
    "                                   top_k=top_k,\n",
    "                                   top_p=top_p,\n",
    "                                   temperature=temperature,\n",
    "                                   repetition_penalty=repetition_penalty,\n",
    "                                   max_length=max_length,\n",
    "                                   min_length=min_length,\n",
    "                                   early_stopping=early_stopping,\n",
    "                                 forced_bos_token_id=tokenizer.lang_code_to_id['cs_CZ'])\n",
    "        return self.tokenizer.batch_decode(summary,skip_special_tokens=True)\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b0000a6c",
   "metadata": {},
   "source": [
    "# Use\n",
    "- Load Czech summarization model from https://huggingface.co/krotima1\n",
    "- Summarize Czech news texts\n",
    "- Play with summarization parameters"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b610bdee",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Summarization config, setting up hyperparameters of inference methods used during summarization\n",
    "def summ_config():\n",
    "    cfg = OrderedDict([\n",
    "        # summarization model - checkpoint from website https://huggingface.co/krotima1\n",
    "        (\"model_name\", \"krotima1/mbart-ht2a-cs\"),\n",
    "        \n",
    "        #inference configuration of summ parameters\n",
    "        (\"inference_cfg\", OrderedDict([\n",
    "            (\"num_beams\", 4),\n",
    "            (\"top_k\", 40),\n",
    "            (\"top_p\", 0.92),\n",
    "            (\"do_sample\", True),\n",
    "            (\"temperature\", 0.89),\n",
    "            (\"repetition_penalty\", 1.2),\n",
    "            (\"no_repeat_ngram_size\", None),\n",
    "            (\"early_stopping\", True),\n",
    "        #     (\"max_length\", 96),\n",
    "            (\"min_length\", 10),\n",
    "        ])),\n",
    "        #texts to summarize\n",
    "        (\"text\",\n",
    "            [\n",
    "                \"Input your Czech text\",\n",
    "            ]\n",
    "        ),\n",
    "    ])\n",
    "    return cfg\n",
    "cfg = summ_config()\n",
    "#load model & tokenizer\n",
    "model = AutoModelForSeq2SeqLM.from_pretrained(cfg[\"model_name\"])\n",
    "tokenizer = AutoTokenizer.from_pretrained(cfg[\"model_name\"])\n",
    "#init summarizer\n",
    "summarize = Summarizer(model, tokenizer, cfg[\"inference_cfg\"])\n",
    "#summarize Czech texts - jdem na to\n",
    "#cfg[\"text\"]=...\n",
    "summarize(cfg[\"text\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0e907f6a",
   "metadata": {},
   "source": [
    "#### Change text to summarize"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b2c66c10",
   "metadata": {},
   "outputs": [],
   "source": [
    "cfg[\"text\"] = \"Nováčci, které stvořila soutěž Česko hledá SuperStar, vstoupí do konkurence s osvědčenými jmény domácího trhu. Jedním z nich je Lucie Bílá, která vydá kolekci hitů nazvanou Láska je láska. Naopak její kolegyně Anna K. bude mít zbrusu nové písně. Styl alba Anna K.: Noc na zemi prý připomíná rockový nářez s místy až mrazivým soundem.\\nDo společnosti hvězd se vypracoval drsný zpěvák Daniel Landa, jehož album Neofolk vyjde začátkem října. \\\"Na desce jsou písničky, které zdáli folk připomínají. Více než dříve kladu důraz na jejich texty. Neofolk mi přijde jako větší vykřičník a jistě i zlobivější název. Jinak je to bigbít i folk. Po obsahu,\\\" míní Landa, který pracuje na dvou muzikálech. Navíc v listopadu vydá záznam z vyšehradského koncertu, na kterém zpíval písně Karla Kryla.\\nKarel Plíhal si zase oblíbil básníka Josefa Kainara, jemuž vzdává hold na desce Nebe na zemi. Práce na tomto dlouho odkládaném a několikrát ohlašovaném albu se protáhly na šest let. Za tu dobu Plíhal nastudoval Kainarovu tvorbu a našel způsob, kterým by ji nejlépe vyjádřil. Stačí mu k tomu kytara, hlas a hostující zpěvačka Zuzana Navarová.\\nPetr Muk si vybral jiné oblíbence: britskou kapelu Erasure, se kterou kdysi jako vokalista kapely Oceán odehrál 27 koncertů ve Velké Británii a Irsku. Na minialbu Oh L\\\"Amour chce Muk představit některé jejich písně.\\nKoncem září se objeví novinka kapely Kryštof. Třetí album Mikrokosmos vznikalo pod dohledem Jana P. Muchowa, který si přál, aby kryštofovská muzika zněla maximálně živě, bez elektronických či jiných efektů. Hit Srdce, který se dostal do vysílání hudební televize MTV, byl vybrán jako propagační píseň.\\nŘíká se, že třetí album je rozhodující. Přesvědčí se o tom i kapela MIG 21, soustředěná kolem herce a zpěváka Jiřího Macháčka. Jejich nová deska Pop Pop Pop ukazuje směr, kterým MIG 21 poletí. Méně se ví o listopadovém albu Midlife skupiny Support Lesbiens, která letos propustila kytaristu a skladatele Yardu Helešice a buduje nový hudební profil.\\nRuku v ruce s nástupem hudebních DVD přibudou tituly bratří Ebenů, kapel Divokej Bill, Monkey Business nebo Kabát. Teplická formace se chce ohlédnout za dvěma masivními turné let 2003 a 2004, která jí zajistila postavení nejžádanější skupiny v Česku.\""
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5758250c",
   "metadata": {},
   "source": [
    "#### summarize"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "883b49e9",
   "metadata": {},
   "outputs": [],
   "source": [
    "summarize(cfg[\"text\"])"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}