Hjgugugjhuhjggg commited on
Commit
5f8cec1
verified
1 Parent(s): 017c336

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +19 -6
app.py CHANGED
@@ -9,11 +9,20 @@ app = Flask(__name__)
9
  device = "cuda" if torch.cuda.is_available() else "cpu"
10
 
11
  # Inicializar los modelos con el dispositivo adecuado (GPU o CPU)
12
- modelos = {
13
- "facebook/opt-125m": LLM(model="facebook/opt-125m", device=device),
14
- "llama-3.2-1B": LLM(model="Hjgugugjhuhjggg/llama-3.2-1B-spinquant-hf", device=device),
15
- "gpt2": LLM(model="gpt2", device=device)
16
- }
 
 
 
 
 
 
 
 
 
17
 
18
  # Configuraci贸n de cach茅 para los modelos
19
  caches = {
@@ -164,4 +173,8 @@ def chat():
164
  return render_template_string(html_code_chatbot)
165
 
166
  if __name__ == '__main__':
167
- app.run(host='0.0.0.0', port=7860)
 
 
 
 
 
9
  device = "cuda" if torch.cuda.is_available() else "cpu"
10
 
11
  # Inicializar los modelos con el dispositivo adecuado (GPU o CPU)
12
+ try:
13
+ modelos = {
14
+ "facebook/opt-125m": LLM(model="facebook/opt-125m", device=device),
15
+ "llama-3.2-1B": LLM(model="Hjgugugjhuhjggg/llama-3.2-1B-spinquant-hf", device=device),
16
+ "gpt2": LLM(model="gpt2", device=device)
17
+ }
18
+ except KeyError as e:
19
+ print(f"Error al inicializar el modelo con {device}: {e}")
20
+ modelos = {}
21
+
22
+ # Verificar si los modelos fueron correctamente inicializados
23
+ if not modelos:
24
+ print("Error: No se pudo inicializar ning煤n modelo.")
25
+ exit(1)
26
 
27
  # Configuraci贸n de cach茅 para los modelos
28
  caches = {
 
173
  return render_template_string(html_code_chatbot)
174
 
175
  if __name__ == '__main__':
176
+ # Asegurar que el servidor solo arranca si los modelos fueron inicializados correctamente
177
+ if modelos:
178
+ app.run(host='0.0.0.0', port=7860)
179
+ else:
180
+ print("Error: No se pudieron cargar los modelos. El servidor no se iniciar谩.")