cosimoiaia commited on
Commit
7854bb6
·
1 Parent(s): 62c7eeb

Aggiornamento del readme in italiano.

Browse files
Files changed (1) hide show
  1. Readme-ITA.md +35 -34
Readme-ITA.md CHANGED
@@ -10,48 +10,49 @@ tags:
10
  - Mistral
11
  - finetuning
12
  ---
13
- Model Card per Loquace-7B-Mistral
14
 
15
  # 🇮🇹 Loquace-7B-Mistral v0.1 🇮🇹
16
 
17
- Loquace is an Italian speaking, instruction finetuned, Large Language model. 🇮🇹
18
 
19
- Loquace-7B-Mistral's peculiar features:
20
 
21
- - Is pretty good a following istruction in italian.
22
- - Responds well to prompt-engineering.
23
- - Works well in a RAG (Retrival Augmented Generation) setup.
24
- - It has been trained on a relatively raw dataset [Loquace-102K](https://huggingface.co/datasets/cosimoiaia/Loquace-102k) using QLoRa and Mistral-7B-Instruct as base.
25
- - Training took only 4 hours on a 3090, costing a little more than <b>1 euro</b>! On [Genesis Cloud](https://gnsiscld.co/26qhlf) GPU.
26
- - It is <b><i>Truly Open Source</i></b>: Model, Dataset and Code to replicate the results are completely released.
27
- - Created in a garage in the south of Italy.
28
 
29
- The Loquace Italian LLM models are created with the goal of democratizing AI and LLM in the Italian Landscape.
30
 
31
- <b>No more need for expensive GPU, large funding, Big Corporation or Ivory Tower Institution, just download the code and train on your dataset on your own PC (or a cheap and reliable cloud provider like [Genesis Cloud](https://gnsiscld.co/26qhlf) )</b>
32
 
33
- ### Fine-tuning Instructions:
34
- The related code can be found at:
35
  https://github.com/cosimoiaia/Loquace
36
 
37
- ### GGUF Version for CPU Inference:
38
- 8bit quantized Version of Loquace can be found [here](https://huggingface.co/cosimoiaia/Loquace-7B-Mistral-GGUF)
39
 
40
- Here is an incomplate list of clients and libraries that are known to support GGUF (thanks to [TheBloke](https://huggingface.co/TheBloke) for this list and his awesome work) ):
41
 
42
- * [llama.cpp](https://github.com/ggerganov/llama.cpp). The source project for GGUF. Offers a CLI and a server option.
43
- * [text-generation-webui](https://github.com/oobabooga/text-generation-webui), the most widely used web UI, with many features and powerful extensions. Supports GPU acceleration.
44
- * [KoboldCpp](https://github.com/LostRuins/koboldcpp), a fully featured web UI, with GPU accel across all platforms and GPU architectures. Especially good for story telling.
45
- * [LM Studio](https://lmstudio.ai/), an easy-to-use and powerful local GUI for Windows and macOS (Silicon), with GPU acceleration.
46
- * [LoLLMS Web UI](https://github.com/ParisNeo/lollms-webui), a great web UI with many interesting and unique features, including a full model library for easy model selection.
47
- * [Faraday.dev](https://faraday.dev/), an attractive and easy to use character-based chat GUI for Windows and macOS (both Silicon and Intel), with GPU acceleration.
48
- * [ctransformers](https://github.com/marella/ctransformers), a Python library with GPU accel, LangChain support, and OpenAI-compatible AI server.
49
- * [llama-cpp-python](https://github.com/abetlen/llama-cpp-python), a Python library with GPU accel, LangChain support, and OpenAI-compatible API server.
50
- * [candle](https://github.com/huggingface/candle), a Rust ML framework with a focus on performance, including GPU support, and ease of use.
51
 
52
  #### Previous releases of the Loquace family:
53
 
54
- The Loquace family started in the beginning of 2023 to prove it was possible to fine-tune a Large Language model in a different language, you can find the other members of the family here:
 
55
 
56
  - https://huggingface.co/cosimoiaia/Loquace-70m - Based on pythia-70m
57
  - https://huggingface.co/cosimoiaia/Loquace-410m - Based on pythia-410m
@@ -60,9 +61,9 @@ The Loquace family started in the beginning of 2023 to prove it was possible to
60
  - https://huggingface.co/cosimoiaia/Loquace-20B - Based on gpt-neox-20B
61
 
62
 
63
- These model, although not producing good results, are proof that cheap finetuning is actually possible in a short amount of time, with a relaively raw dataset and extremely low resources.
64
 
65
- ## Inference:
66
 
67
  ```python
68
  from transformers import MistralForCausalLM, AutoTokenizer
@@ -95,7 +96,7 @@ outputs = model.generate(**inputs, do_sample = True, num_beams = 2, top_k=50, to
95
  print(tokenizer.decode(outputs[0], skip_special_tokens=True).split("Response:")[1].strip())
96
  ```
97
 
98
- ## Examples:
99
  ```
100
  > Pretendi di essere Dante Alighieri e raccontami la tua vita.
101
  Sono Dante Alighieri, un poeta e scrittore italiano del XIV secolo. Nacqui a Firenze nel 1265 e ho trascorso gran parte della mia vita viaggiando in Europa e scrivendo poesie. Ho anche scritto la Divina Commedia, una delle opere letterarie più famose di tutti i tempi.
@@ -110,10 +111,10 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True).split("Response:")[
110
  La ricetta è chiamata "Polenta al burro di arachidi e formaggio". Per prepararla, inizia bollendo la polenta secondo le istruzioni sulla confezione. Mentre la polenta si cucina, mescola insieme 1/2 tazza di burro di arachidi, 1/4 di tazza di formaggio grattugiato e 1/4 di tazza di parmigiano grattugiato. Una volta che la polenta è cotta, versala su una teglia da forno e distribuire il composto di burro di arachidi e formaggio sopra la polenta. Metti in forno a 350 gradi per 15 minuti o fino a quando la parte superiore è dorata. Servi caldo con un'insalata di pomodoro e basilico fresco.
111
  ```
112
 
113
- ## Limitations
114
 
115
- - Loquace-12B may not handle complex or nuanced queries well and may struggle with ambiguous or poorly formatted inputs.
116
- - The model may generate responses that are factually incorrect or nonsensical. It should be used with caution, and outputs should be carefully verified.
117
 
118
- ## Model Author:
119
  Cosimo Iaia <[email protected]>
 
10
  - Mistral
11
  - finetuning
12
  ---
13
+ Model Card per Loquace-7B-Mistral (<u>Questa model card è stata tradotta automaticamente utilizzando Loquace.</u>)
14
 
15
  # 🇮🇹 Loquace-7B-Mistral v0.1 🇮🇹
16
 
17
+ Loquace è una Intelligenza Artificiale (o un Large Language Model) che parla Italiano, addestrata per seguire istruzioni. 🇮🇹
18
 
19
+ Loquace-7B-Mistral ha alcune caratteristiche peculiari:
20
 
21
+ - È abbastanza bravo a seguire istruzioni in Italiano.
22
+ - Risponde bene al prompt-engineering.
23
+ - Funziona bene in sistemi RAG (Retrival Augmented Generation).
24
+ - È stato addestrato su dati relativamente grezzi [Loquace-102K](https://huggingface.co/datasets/cosimoiaia/Loquace-102k) usando il metodo QLoRa e Mistral-7B-Instruct come modello di base.
25
+ - L'addestramento è durato solo 4 ore su una 3090, costando leggermente più di <b>1 euro</b>! Sulle GPU di [Genesis Cloud](https://gnsiscld.co/26qhlf)
26
+ - È <b><i>Veramente Open Source</i></b>: Sia il modello che i dati e il codice con le istruzioni per replicare i risultati sono completamente disponibili.
27
+ - È stato creato in un garage del Sud Italia :-)
28
 
29
+ I modelli LLM della famiglia Loquace sono stati creati con lo scopo di democratizzare l'Intelligenza Artificiale e i Large Language Models nel panorama Italiano.
30
 
31
+ <b> Non è necessario acquistare GPU costosi, ottenere finanziamenti grandiosi o essere un'istituzione accademica elitaria, basta scaricare il codice e addestrare sui tuoi dati sul tuo PC (o sulle GPU di un provider affidabile ed economico come [Genesis Cloud](https://gnsiscld.co/26qhlf) )</b>
32
 
33
+ ### Istruzioni per il Fine-tuning:
34
+ Il codice relativo al finetuning si trova su:
35
  https://github.com/cosimoiaia/Loquace
36
 
37
+ ### Versione GGUF per l'utilizzo di CPU (Senza GPU!!!):
38
+ La versione 8bit di Loquace puo essere scaricata [qui](https://huggingface.co/cosimoiaia/Loquace-7B-Mistral-GGUF)
39
 
40
+ Qui c'è una lista incompleta di clienti e librerie che sono conosciute per supportare GGUF (Grazie a [TheBloke](https://huggingface.co/TheBloke) per questa lista e per il suo fantastico lavoro):
41
 
42
+ * [llama.cpp](https://github.com/ggerganov/llama.cpp). Il progetto primario per il formato GGUF. Fornisce un'interfaccia a riga di comando e una versione server.
43
+ * [text- generation-webui](https://github.com/oobabooga/text- generation-webui), L'interfaccia web più usata, con molte funzionalità ed estensioni. Supporta anche GPU locali.
44
+ * [KoboldCpp](https://github.com/LostRuins/koboldcpp), un'interfaccia utente Web completa, con accelerazione GPU su tutte le piattaforme e architetture GPU. Particolarmente adatto per raccontare storie.
45
+ * [LM Studio](https://lmstudio.ai/), una GUI locale potente e facile da usare per Windows e macOS (Silicon), con accelerazione GPU.
46
+ * [Interfaccia utente Web di LoLLMS](https://github.com/ParisNeo/lollms-webui), una fantastica interfaccia utente Web con molte funzionalità interessanti e uniche, inclusa una libreria di modelli completa per una facile selezione del modello.
47
+ * [Faraday.dev](https://faraday.dev/), una GUI di chat basata sui caratteri attraente e facile da usare per Windows e macOS (sia Silicon che Intel), con accelerazione GPU.
48
+ * [ctransformers](https://github.com/marella/ctransformers), una libreria Python con accelerazione GPU, supporto LangChain e server AI compatibile con OpenAI.
49
+ * [llama-cpp-python](https://github.com/abetlen/llama-cpp-python), una libreria Python con accelerazione GPU, supporto LangChain e server API compatibile con OpenAI.
50
+ * [candle](https://github.com/huggingface/candle), un framework Rust ML incentrato sulle prestazioni, incluso il supporto GPU e sulla facilità d'uso.
51
 
52
  #### Previous releases of the Loquace family:
53
 
54
+ La Famiglia di Modelli Loquace è nata agli inizi del 2023 con lo scopo di provare che è possibile addestrare un LLM in una lingua diversa da quella del modello di base.
55
+ Potete trovare gli altri modelli qui:
56
 
57
  - https://huggingface.co/cosimoiaia/Loquace-70m - Based on pythia-70m
58
  - https://huggingface.co/cosimoiaia/Loquace-410m - Based on pythia-410m
 
61
  - https://huggingface.co/cosimoiaia/Loquace-20B - Based on gpt-neox-20B
62
 
63
 
64
+ Questi modelli, seppur non producono risultati accettabili, sono la prova di quanto sia possibile effettuare il finetuning di un LLM in poco tempo, con dati relativamente grezzi e risorse veramente ridotte.
65
 
66
+ ## Utilizzo:
67
 
68
  ```python
69
  from transformers import MistralForCausalLM, AutoTokenizer
 
96
  print(tokenizer.decode(outputs[0], skip_special_tokens=True).split("Response:")[1].strip())
97
  ```
98
 
99
+ ## Esempi di risposta:
100
  ```
101
  > Pretendi di essere Dante Alighieri e raccontami la tua vita.
102
  Sono Dante Alighieri, un poeta e scrittore italiano del XIV secolo. Nacqui a Firenze nel 1265 e ho trascorso gran parte della mia vita viaggiando in Europa e scrivendo poesie. Ho anche scritto la Divina Commedia, una delle opere letterarie più famose di tutti i tempi.
 
111
  La ricetta è chiamata "Polenta al burro di arachidi e formaggio". Per prepararla, inizia bollendo la polenta secondo le istruzioni sulla confezione. Mentre la polenta si cucina, mescola insieme 1/2 tazza di burro di arachidi, 1/4 di tazza di formaggio grattugiato e 1/4 di tazza di parmigiano grattugiato. Una volta che la polenta è cotta, versala su una teglia da forno e distribuire il composto di burro di arachidi e formaggio sopra la polenta. Metti in forno a 350 gradi per 15 minuti o fino a quando la parte superiore è dorata. Servi caldo con un'insalata di pomodoro e basilico fresco.
112
  ```
113
 
114
+ ## Limitazioni:
115
 
116
+ - Loquace-7B potrebbe non gestire bene query complesse o sfumate e potrebbe avere problemi con input ambigui o mal formattati.
117
+ - Il modello può generare risposte di fatto errate o prive di senso. Dovrebbe essere usato con cautela e gli output dovrebbero essere attentamente verificati.
118
 
119
+ ## Autore:
120
  Cosimo Iaia <[email protected]>