enable faster whisper

.gitattributes

@@ -25,7 +25,6 @@
 *.safetensors filter=lfs diff=lfs merge=lfs -text
 saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.tar.* filter=lfs diff=lfs merge=lfs -text
-*.tar filter=lfs diff=lfs merge=lfs -text
 *.tflite filter=lfs diff=lfs merge=lfs -text
 *.tgz filter=lfs diff=lfs merge=lfs -text
 *.wasm filter=lfs diff=lfs merge=lfs -text

.gitignore

@@ -0,0 +1,4 @@
+venv
+**/__pycache__
+venv
+.env

README.md

@@ -1,13 +1,150 @@
 ---
-title: Faster Whisper
-emoji: 🏢
-colorFrom: yellow
-colorTo: pink
+title: ASR UI
+emoji: 🤫
+colorFrom: indigo
+colorTo: red
 sdk: gradio
-sdk_version: 4.44.0
+sdk_version: 4.20.0
 app_file: app.py
 pinned: false
-license: apache-2.0
+tags:
+- whisper-event
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+
+# Instruccions per l'ús d'interfície d'usuari de reconeixement de la parla
+
+
+## Resum
+
+Aquest document està preparat per a explicar l'ús, requisits i la instal·lació d'interfície d'usuari (IU) de reconeixement de la parla de BSC-LT. Per poder comprovar els models que estem desenvolupant, hem preparat aquest IU. L'aplicació està empaquetada amb docker, per això la instal·lació de docker és un dels requisits i l'aplicació està dissenyada pels navegadors. 
+
+
+## Requisits
+
+**OS:** Ubuntu/Debian (Està comprovat amb 20.04.6 LTS)
+
+**Requisits minims:**
+
+* CPU 4 vCores
+* 16 GB RAM
+* 25 GB espai lliure
+
+**Requisit suggerit:**
+* GPU: Nvidia T4, 16GB VRAM
+
+L’ús de GPU accelera la inferència considerablement. Sense GPU el rendiment de la inferència és aproximadament x3 RTF (real-time-factor), és a dir necessita 30 segons per transcriure 10 segons d'àudio. Però amb una GPU el RTF és menor a 1.
+
+## Instruccions
+
+Passos per desplegar l'aplicació d'IU és 
+
+* Instal·lar docker (opcional: afegir docker al grup d'usuaris sudo)
+* Descarregar la imatge de docker mitjançant el docker pull
+* Configurar un reverse proxy per fer disponible l'aplicació
+
+## Instal·lació docker
+
+Es pot seguir les instruccions d'aquestes pàgines
+
+* [How To Install and Use Docker on Ubuntu 22.04 | DigitalOcean](https://www.digitalocean.com/community/tutorials/how-to-install-and-use-docker-on-ubuntu-22-04)
+* [https://docs.docker.com/engine/install/ubuntu/](https://docs.docker.com/engine/install/ubuntu/)
+
+Però en resum:
+
+```
+## Add Docker's official GPG key
+
+$ sudo apt-get update
+$ sudo apt-get install ca-certificates curl gnupg
+$ sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
+sudo chmod a+r /etc/apt/keyrings/docker.gpg
+
+## Add the repository to Apt sources
+
+$ echo \
+  "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
+  "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
+  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
+$ sudo apt-get update && sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
+
+## Post Installation Steps
+
+#Add create docker group, add your user to the group for executing docker without sudo
+sudo groupadd docker
+sudo usermod -aG docker $USER
+newgrp docker
+
+#To automatically start Docker and containerd on boot for other Linux distributions using systemd, run the following commands:
+sudo systemctl enable docker.service
+sudo systemctl enable containerd.service
+```
+
+
+
+## Desplegament d'aplicació
+
+Per descarregar i córrer la imatge de docker:
+
+
+```
+docker run -d -p 7860:7860 --name asr-inference --platform=linux/amd64 \
+	registry.hf.space/projecte-aina-asr-inference:latest python app.py
+```
+
+
+Durant la primera execució el docker run descarrega la imatge i els models necessaris per córrer l'aplicació. Si tot funciona sense errors, l'aplicació de web estarà disponible a localhost:7860. (IP_DE_SERVIDOR:7860)
+
+Per consultar logs de l’aplicacio:
+
+
+```
+docker logs asr-inference
+```
+
+
+Si després d’uns minuts d'iniciar l’aplicació surt això als logs:
+
+
+```
+Running on local URL:  http://0.0.0.0:7860
+To create a public link, set `share=True` in `launch()`.
+```
+
+
+L'aplicació s'ha desplegat correctament.		
+
+Per aturar l'aplicació:
+
+
+```
+docker stop asr-inference
+```
+
+
+Per reiniciar l'aplicació
+
+
+```
+docker start asr-inference
+```
+
+
+
+## Connexió a l'IU
+
+Amb les instruccions anteriors si tot ha funcionat bé l'aplicació ja serà disponible a localhost al port 7860. Si l'aplicació està desplegada al local, només cal anar a <code>[http://0.0.0.0:7860](http://0.0.0.0:7860) </code> a un navegador per l'accés. Si l'aplicació està desplegada a una màquina virtual o un servidor en remot, hi ha dues maneres de conectar-hi:
+
+**ssh port forwarding:**
+
+
+```
+ssh -L 7860:localhost:7860 <vm-server-address>
+```
+
+
+D'aquesta manera es pot connectar a l'IU com estigués corrent al màquina local i.e. a l'adreça <code>[http://0.0.0.0:7860](http://0.0.0.0:7860) </code>
+
+**Mitjançant un web server:**
+
+Si la màquina virtual de l'aplicació està dins la mateixa xarxa i/o els ports de la màquina virtual estan oberts a fora, es pot connectar simplement amb apuntar el navegador a `http://<vm-server-address>:7860` per apuntar l'IP a un domini, es pot fer un reverse proxy mitjançant una eina com Apache o nginx.

app.py

@@ -0,0 +1,45 @@
+
+import gradio as gr
+from whisper import generate
+from AinaTheme import theme
+
+MODEL_NAME = "Systran/faster-whisper-large-v3"
+
+def transcribe(inputs):
+    if inputs is None:
+        raise gr.Error("Cap fitxer d'àudio introduit! Si us plau pengeu un fitxer "\
+                       "o enregistreu un àudio abans d'enviar la vostra sol·licitud")
+
+    return generate(audio_path=inputs)
+
+
+description_string = "Transcripció automàtica de micròfon o de fitxers d'àudio.\n Aquest demostrador s'ha desenvolupat per"\
+              " comprovar els models de reconeixement de parla per a móbils. Per ara utilitza el checkpoint "\
+              f"[{MODEL_NAME}](https://huggingface.co/{MODEL_NAME}) i la llibreria de 🤗 Transformers per a la transcripció."
+
+
+def clear():
+     return (None)
+
+
+with gr.Blocks(theme=theme) as demo:
+    gr.Markdown(description_string)
+    with gr.Row():
+        with gr.Column(scale=1):
+            input = gr.Audio(sources=["upload", "microphone"], type="filepath", label="Audio")
+
+        with gr.Column(scale=1):
+            output = gr.Textbox(label="Output", lines=8)
+    
+    with gr.Row(variant="panel"):
+            clear_btn = gr.Button("Clear")
+            submit_btn = gr.Button("Submit", variant="primary")
+
+
+    submit_btn.click(fn=transcribe, inputs=[input], outputs=[output])
+    clear_btn.click(fn=clear,inputs=[], outputs=[input], queue=False,)
+
+
+if __name__ == "__main__":
+    demo.launch()
+

packages.txt

@@ -0,0 +1 @@
+ffmpeg

requirements.txt

@@ -0,0 +1,4 @@
+faster_whisper
+torch
+gradio==4.20.0
+aina-gradio-theme==2.3

whisper.py

@@ -0,0 +1,24 @@
+from faster_whisper import WhisperModel
+import torch
+
+device = "cuda" if torch.cuda.is_available() else "cpu"
+torch_dtype = "float32"
+
+MODEL_NAME = "Systran/faster-whisper-large-v3"
+model = WhisperModel(MODEL_NAME, compute_type=torch_dtype)
+
+def generate(audio_path):
+    #check audio lenght
+    segments, _ = model.transcribe(
+        audio_path, 
+        # language="ca",
+        # chunk_length=30,
+        task="transcribe",
+        word_timestamps=False,
+    )
+
+    text = ""
+    for segment in segments:
+        text += " " + segment.text.strip()
+    return text
+