Hjgugugjhuhjggg
commited on
Update app.py
Browse files
app.py
CHANGED
@@ -26,7 +26,6 @@ nltk.download('stopwords')
|
|
26 |
|
27 |
app = FastAPI()
|
28 |
|
29 |
-
Configurar dispositivo
|
30 |
if torch.cuda.is_available():
|
31 |
device = torch.device("cuda")
|
32 |
else:
|
@@ -34,7 +33,6 @@ else:
|
|
34 |
|
35 |
print("Dispositivo:", device)
|
36 |
|
37 |
-
Cargar modelos con VLLM
|
38 |
modelos = {
|
39 |
"gpt2-medium": VLLM(model="gpt2-medium"),
|
40 |
"qwen2.5-0.5b": VLLM(model="Qwen/Qwen2.5-0.5B-Instruct"),
|
@@ -63,7 +61,6 @@ print("Creando instancias de caché...")
|
|
63 |
for nombre, caché in tqdm(caches.items()):
|
64 |
print(f"Caché para modelo {nombre} creada")
|
65 |
|
66 |
-
Crear instancias de cadenas de modelo para cada modelo
|
67 |
cadenas = {
|
68 |
nombre: LLMChain(modelo, caché) for nombre, modelo, caché in zip(modelos.keys(), modelos.values(), caches.values())
|
69 |
}
|
@@ -72,17 +69,14 @@ print("Creando instancias de cadenas de modelo...")
|
|
72 |
for nombre, cadena in tqdm(cadenas.items()):
|
73 |
print(f"Cadena de modelo {nombre} creada")
|
74 |
|
75 |
-
Cargar modelo de resumen de texto
|
76 |
summarizer = pipeline("summarization", device=device)
|
77 |
|
78 |
print("Cargando modelo de resumen de texto...")
|
79 |
|
80 |
-
Cargar modelo de vectorizador TF-IDF
|
81 |
vectorizer = TfidfVectorizer()
|
82 |
|
83 |
print("Cargando modelo de vectorizador TF-IDF...")
|
84 |
|
85 |
-
Cargar modelo DALL-E
|
86 |
dalle_encoder = DALLEncoder(model_id="dall-e-mini")
|
87 |
dalle_decoder = DALLDecoder(model_id="dall-e-mini")
|
88 |
|
@@ -119,7 +113,6 @@ def liberar_recursos():
|
|
119 |
|
120 |
time.sleep(60)
|
121 |
|
122 |
-
Iniciar hilos
|
123 |
threading.Thread(target=keep_alive, daemon=True).start()
|
124 |
threading.Thread(target=liberar_recursos, daemon=True).start()
|
125 |
|
|
|
26 |
|
27 |
app = FastAPI()
|
28 |
|
|
|
29 |
if torch.cuda.is_available():
|
30 |
device = torch.device("cuda")
|
31 |
else:
|
|
|
33 |
|
34 |
print("Dispositivo:", device)
|
35 |
|
|
|
36 |
modelos = {
|
37 |
"gpt2-medium": VLLM(model="gpt2-medium"),
|
38 |
"qwen2.5-0.5b": VLLM(model="Qwen/Qwen2.5-0.5B-Instruct"),
|
|
|
61 |
for nombre, caché in tqdm(caches.items()):
|
62 |
print(f"Caché para modelo {nombre} creada")
|
63 |
|
|
|
64 |
cadenas = {
|
65 |
nombre: LLMChain(modelo, caché) for nombre, modelo, caché in zip(modelos.keys(), modelos.values(), caches.values())
|
66 |
}
|
|
|
69 |
for nombre, cadena in tqdm(cadenas.items()):
|
70 |
print(f"Cadena de modelo {nombre} creada")
|
71 |
|
|
|
72 |
summarizer = pipeline("summarization", device=device)
|
73 |
|
74 |
print("Cargando modelo de resumen de texto...")
|
75 |
|
|
|
76 |
vectorizer = TfidfVectorizer()
|
77 |
|
78 |
print("Cargando modelo de vectorizador TF-IDF...")
|
79 |
|
|
|
80 |
dalle_encoder = DALLEncoder(model_id="dall-e-mini")
|
81 |
dalle_decoder = DALLDecoder(model_id="dall-e-mini")
|
82 |
|
|
|
113 |
|
114 |
time.sleep(60)
|
115 |
|
|
|
116 |
threading.Thread(target=keep_alive, daemon=True).start()
|
117 |
threading.Thread(target=liberar_recursos, daemon=True).start()
|
118 |
|