cosimoiaia
commited on
Commit
·
7854bb6
1
Parent(s):
62c7eeb
Aggiornamento del readme in italiano.
Browse files- Readme-ITA.md +35 -34
Readme-ITA.md
CHANGED
@@ -10,48 +10,49 @@ tags:
|
|
10 |
- Mistral
|
11 |
- finetuning
|
12 |
---
|
13 |
-
Model Card per Loquace-7B-Mistral
|
14 |
|
15 |
# 🇮🇹 Loquace-7B-Mistral v0.1 🇮🇹
|
16 |
|
17 |
-
Loquace
|
18 |
|
19 |
-
Loquace-7B-Mistral
|
20 |
|
21 |
-
-
|
22 |
-
-
|
23 |
-
-
|
24 |
-
-
|
25 |
-
-
|
26 |
-
-
|
27 |
-
-
|
28 |
|
29 |
-
|
30 |
|
31 |
-
<b>
|
32 |
|
33 |
-
### Fine-tuning
|
34 |
-
|
35 |
https://github.com/cosimoiaia/Loquace
|
36 |
|
37 |
-
### GGUF
|
38 |
-
|
39 |
|
40 |
-
|
41 |
|
42 |
-
* [llama.cpp](https://github.com/ggerganov/llama.cpp).
|
43 |
-
* [text-generation-webui](https://github.com/oobabooga/text-generation-webui),
|
44 |
-
* [KoboldCpp](https://github.com/LostRuins/koboldcpp),
|
45 |
-
* [LM Studio](https://lmstudio.ai/),
|
46 |
-
* [
|
47 |
-
* [Faraday.dev](https://faraday.dev/),
|
48 |
-
* [ctransformers](https://github.com/marella/ctransformers),
|
49 |
-
* [llama-cpp-python](https://github.com/abetlen/llama-cpp-python),
|
50 |
-
* [candle](https://github.com/huggingface/candle),
|
51 |
|
52 |
#### Previous releases of the Loquace family:
|
53 |
|
54 |
-
|
|
|
55 |
|
56 |
- https://huggingface.co/cosimoiaia/Loquace-70m - Based on pythia-70m
|
57 |
- https://huggingface.co/cosimoiaia/Loquace-410m - Based on pythia-410m
|
@@ -60,9 +61,9 @@ The Loquace family started in the beginning of 2023 to prove it was possible to
|
|
60 |
- https://huggingface.co/cosimoiaia/Loquace-20B - Based on gpt-neox-20B
|
61 |
|
62 |
|
63 |
-
|
64 |
|
65 |
-
##
|
66 |
|
67 |
```python
|
68 |
from transformers import MistralForCausalLM, AutoTokenizer
|
@@ -95,7 +96,7 @@ outputs = model.generate(**inputs, do_sample = True, num_beams = 2, top_k=50, to
|
|
95 |
print(tokenizer.decode(outputs[0], skip_special_tokens=True).split("Response:")[1].strip())
|
96 |
```
|
97 |
|
98 |
-
##
|
99 |
```
|
100 |
> Pretendi di essere Dante Alighieri e raccontami la tua vita.
|
101 |
Sono Dante Alighieri, un poeta e scrittore italiano del XIV secolo. Nacqui a Firenze nel 1265 e ho trascorso gran parte della mia vita viaggiando in Europa e scrivendo poesie. Ho anche scritto la Divina Commedia, una delle opere letterarie più famose di tutti i tempi.
|
@@ -110,10 +111,10 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True).split("Response:")[
|
|
110 |
La ricetta è chiamata "Polenta al burro di arachidi e formaggio". Per prepararla, inizia bollendo la polenta secondo le istruzioni sulla confezione. Mentre la polenta si cucina, mescola insieme 1/2 tazza di burro di arachidi, 1/4 di tazza di formaggio grattugiato e 1/4 di tazza di parmigiano grattugiato. Una volta che la polenta è cotta, versala su una teglia da forno e distribuire il composto di burro di arachidi e formaggio sopra la polenta. Metti in forno a 350 gradi per 15 minuti o fino a quando la parte superiore è dorata. Servi caldo con un'insalata di pomodoro e basilico fresco.
|
111 |
```
|
112 |
|
113 |
-
##
|
114 |
|
115 |
-
- Loquace-
|
116 |
-
-
|
117 |
|
118 |
-
##
|
119 |
Cosimo Iaia <[email protected]>
|
|
|
10 |
- Mistral
|
11 |
- finetuning
|
12 |
---
|
13 |
+
Model Card per Loquace-7B-Mistral (<u>Questa model card è stata tradotta automaticamente utilizzando Loquace.</u>)
|
14 |
|
15 |
# 🇮🇹 Loquace-7B-Mistral v0.1 🇮🇹
|
16 |
|
17 |
+
Loquace è una Intelligenza Artificiale (o un Large Language Model) che parla Italiano, addestrata per seguire istruzioni. 🇮🇹
|
18 |
|
19 |
+
Loquace-7B-Mistral ha alcune caratteristiche peculiari:
|
20 |
|
21 |
+
- È abbastanza bravo a seguire istruzioni in Italiano.
|
22 |
+
- Risponde bene al prompt-engineering.
|
23 |
+
- Funziona bene in sistemi RAG (Retrival Augmented Generation).
|
24 |
+
- È stato addestrato su dati relativamente grezzi [Loquace-102K](https://huggingface.co/datasets/cosimoiaia/Loquace-102k) usando il metodo QLoRa e Mistral-7B-Instruct come modello di base.
|
25 |
+
- L'addestramento è durato solo 4 ore su una 3090, costando leggermente più di <b>1 euro</b>! Sulle GPU di [Genesis Cloud](https://gnsiscld.co/26qhlf)
|
26 |
+
- È <b><i>Veramente Open Source</i></b>: Sia il modello che i dati e il codice con le istruzioni per replicare i risultati sono completamente disponibili.
|
27 |
+
- È stato creato in un garage del Sud Italia :-)
|
28 |
|
29 |
+
I modelli LLM della famiglia Loquace sono stati creati con lo scopo di democratizzare l'Intelligenza Artificiale e i Large Language Models nel panorama Italiano.
|
30 |
|
31 |
+
<b> Non è necessario acquistare GPU costosi, ottenere finanziamenti grandiosi o essere un'istituzione accademica elitaria, basta scaricare il codice e addestrare sui tuoi dati sul tuo PC (o sulle GPU di un provider affidabile ed economico come [Genesis Cloud](https://gnsiscld.co/26qhlf) )</b>
|
32 |
|
33 |
+
### Istruzioni per il Fine-tuning:
|
34 |
+
Il codice relativo al finetuning si trova su:
|
35 |
https://github.com/cosimoiaia/Loquace
|
36 |
|
37 |
+
### Versione GGUF per l'utilizzo di CPU (Senza GPU!!!):
|
38 |
+
La versione 8bit di Loquace puo essere scaricata [qui](https://huggingface.co/cosimoiaia/Loquace-7B-Mistral-GGUF)
|
39 |
|
40 |
+
Qui c'è una lista incompleta di clienti e librerie che sono conosciute per supportare GGUF (Grazie a [TheBloke](https://huggingface.co/TheBloke) per questa lista e per il suo fantastico lavoro):
|
41 |
|
42 |
+
* [llama.cpp](https://github.com/ggerganov/llama.cpp). Il progetto primario per il formato GGUF. Fornisce un'interfaccia a riga di comando e una versione server.
|
43 |
+
* [text- generation-webui](https://github.com/oobabooga/text- generation-webui), L'interfaccia web più usata, con molte funzionalità ed estensioni. Supporta anche GPU locali.
|
44 |
+
* [KoboldCpp](https://github.com/LostRuins/koboldcpp), un'interfaccia utente Web completa, con accelerazione GPU su tutte le piattaforme e architetture GPU. Particolarmente adatto per raccontare storie.
|
45 |
+
* [LM Studio](https://lmstudio.ai/), una GUI locale potente e facile da usare per Windows e macOS (Silicon), con accelerazione GPU.
|
46 |
+
* [Interfaccia utente Web di LoLLMS](https://github.com/ParisNeo/lollms-webui), una fantastica interfaccia utente Web con molte funzionalità interessanti e uniche, inclusa una libreria di modelli completa per una facile selezione del modello.
|
47 |
+
* [Faraday.dev](https://faraday.dev/), una GUI di chat basata sui caratteri attraente e facile da usare per Windows e macOS (sia Silicon che Intel), con accelerazione GPU.
|
48 |
+
* [ctransformers](https://github.com/marella/ctransformers), una libreria Python con accelerazione GPU, supporto LangChain e server AI compatibile con OpenAI.
|
49 |
+
* [llama-cpp-python](https://github.com/abetlen/llama-cpp-python), una libreria Python con accelerazione GPU, supporto LangChain e server API compatibile con OpenAI.
|
50 |
+
* [candle](https://github.com/huggingface/candle), un framework Rust ML incentrato sulle prestazioni, incluso il supporto GPU e sulla facilità d'uso.
|
51 |
|
52 |
#### Previous releases of the Loquace family:
|
53 |
|
54 |
+
La Famiglia di Modelli Loquace è nata agli inizi del 2023 con lo scopo di provare che è possibile addestrare un LLM in una lingua diversa da quella del modello di base.
|
55 |
+
Potete trovare gli altri modelli qui:
|
56 |
|
57 |
- https://huggingface.co/cosimoiaia/Loquace-70m - Based on pythia-70m
|
58 |
- https://huggingface.co/cosimoiaia/Loquace-410m - Based on pythia-410m
|
|
|
61 |
- https://huggingface.co/cosimoiaia/Loquace-20B - Based on gpt-neox-20B
|
62 |
|
63 |
|
64 |
+
Questi modelli, seppur non producono risultati accettabili, sono la prova di quanto sia possibile effettuare il finetuning di un LLM in poco tempo, con dati relativamente grezzi e risorse veramente ridotte.
|
65 |
|
66 |
+
## Utilizzo:
|
67 |
|
68 |
```python
|
69 |
from transformers import MistralForCausalLM, AutoTokenizer
|
|
|
96 |
print(tokenizer.decode(outputs[0], skip_special_tokens=True).split("Response:")[1].strip())
|
97 |
```
|
98 |
|
99 |
+
## Esempi di risposta:
|
100 |
```
|
101 |
> Pretendi di essere Dante Alighieri e raccontami la tua vita.
|
102 |
Sono Dante Alighieri, un poeta e scrittore italiano del XIV secolo. Nacqui a Firenze nel 1265 e ho trascorso gran parte della mia vita viaggiando in Europa e scrivendo poesie. Ho anche scritto la Divina Commedia, una delle opere letterarie più famose di tutti i tempi.
|
|
|
111 |
La ricetta è chiamata "Polenta al burro di arachidi e formaggio". Per prepararla, inizia bollendo la polenta secondo le istruzioni sulla confezione. Mentre la polenta si cucina, mescola insieme 1/2 tazza di burro di arachidi, 1/4 di tazza di formaggio grattugiato e 1/4 di tazza di parmigiano grattugiato. Una volta che la polenta è cotta, versala su una teglia da forno e distribuire il composto di burro di arachidi e formaggio sopra la polenta. Metti in forno a 350 gradi per 15 minuti o fino a quando la parte superiore è dorata. Servi caldo con un'insalata di pomodoro e basilico fresco.
|
112 |
```
|
113 |
|
114 |
+
## Limitazioni:
|
115 |
|
116 |
+
- Loquace-7B potrebbe non gestire bene query complesse o sfumate e potrebbe avere problemi con input ambigui o mal formattati.
|
117 |
+
- Il modello può generare risposte di fatto errate o prive di senso. Dovrebbe essere usato con cautela e gli output dovrebbero essere attentamente verificati.
|
118 |
|
119 |
+
## Autore:
|
120 |
Cosimo Iaia <[email protected]>
|