Hjgugugjhuhjggg commited on
Commit
322b4f7
·
verified ·
1 Parent(s): 0d6647a

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +0 -7
app.py CHANGED
@@ -26,7 +26,6 @@ nltk.download('stopwords')
26
 
27
  app = FastAPI()
28
 
29
- Configurar dispositivo
30
  if torch.cuda.is_available():
31
  device = torch.device("cuda")
32
  else:
@@ -34,7 +33,6 @@ else:
34
 
35
  print("Dispositivo:", device)
36
 
37
- Cargar modelos con VLLM
38
  modelos = {
39
  "gpt2-medium": VLLM(model="gpt2-medium"),
40
  "qwen2.5-0.5b": VLLM(model="Qwen/Qwen2.5-0.5B-Instruct"),
@@ -63,7 +61,6 @@ print("Creando instancias de caché...")
63
  for nombre, caché in tqdm(caches.items()):
64
  print(f"Caché para modelo {nombre} creada")
65
 
66
- Crear instancias de cadenas de modelo para cada modelo
67
  cadenas = {
68
  nombre: LLMChain(modelo, caché) for nombre, modelo, caché in zip(modelos.keys(), modelos.values(), caches.values())
69
  }
@@ -72,17 +69,14 @@ print("Creando instancias de cadenas de modelo...")
72
  for nombre, cadena in tqdm(cadenas.items()):
73
  print(f"Cadena de modelo {nombre} creada")
74
 
75
- Cargar modelo de resumen de texto
76
  summarizer = pipeline("summarization", device=device)
77
 
78
  print("Cargando modelo de resumen de texto...")
79
 
80
- Cargar modelo de vectorizador TF-IDF
81
  vectorizer = TfidfVectorizer()
82
 
83
  print("Cargando modelo de vectorizador TF-IDF...")
84
 
85
- Cargar modelo DALL-E
86
  dalle_encoder = DALLEncoder(model_id="dall-e-mini")
87
  dalle_decoder = DALLDecoder(model_id="dall-e-mini")
88
 
@@ -119,7 +113,6 @@ def liberar_recursos():
119
 
120
  time.sleep(60)
121
 
122
- Iniciar hilos
123
  threading.Thread(target=keep_alive, daemon=True).start()
124
  threading.Thread(target=liberar_recursos, daemon=True).start()
125
 
 
26
 
27
  app = FastAPI()
28
 
 
29
  if torch.cuda.is_available():
30
  device = torch.device("cuda")
31
  else:
 
33
 
34
  print("Dispositivo:", device)
35
 
 
36
  modelos = {
37
  "gpt2-medium": VLLM(model="gpt2-medium"),
38
  "qwen2.5-0.5b": VLLM(model="Qwen/Qwen2.5-0.5B-Instruct"),
 
61
  for nombre, caché in tqdm(caches.items()):
62
  print(f"Caché para modelo {nombre} creada")
63
 
 
64
  cadenas = {
65
  nombre: LLMChain(modelo, caché) for nombre, modelo, caché in zip(modelos.keys(), modelos.values(), caches.values())
66
  }
 
69
  for nombre, cadena in tqdm(cadenas.items()):
70
  print(f"Cadena de modelo {nombre} creada")
71
 
 
72
  summarizer = pipeline("summarization", device=device)
73
 
74
  print("Cargando modelo de resumen de texto...")
75
 
 
76
  vectorizer = TfidfVectorizer()
77
 
78
  print("Cargando modelo de vectorizador TF-IDF...")
79
 
 
80
  dalle_encoder = DALLEncoder(model_id="dall-e-mini")
81
  dalle_decoder = DALLDecoder(model_id="dall-e-mini")
82
 
 
113
 
114
  time.sleep(60)
115
 
 
116
  threading.Thread(target=keep_alive, daemon=True).start()
117
  threading.Thread(target=liberar_recursos, daemon=True).start()
118