fastapi_django_main_live / mysite /interpreter_config.py
kenken999's picture
fda
1afbeb8
raw
history blame
1.2 kB
# interpreter_config.py
import os
from interpreter import interpreter
# 環境変数でOpenAI APIキーを保存および使用
interpreter.auto_run = True
interpreter.llm.model = "huggingface/meta-llama/Meta-Llama-3-8B-Instruct"
interpreter.llm.api_key = os.getenv("hf_token")
interpreter.llm.api_base = "https://api.groq.com/openai/v1"
interpreter.llm.api_key = os.getenv("api_key")
interpreter.llm.model = "Llama3-70b-8192"
# interpreter.llm.fp16 = False # 明示的にFP32を使用するように設定
# interpreter --conversations
# LLM設定の適用
interpreter.llm.context_window = 4096 # 一般的なLLMのコンテキストウィンドウサイズ
interpreter.context_window = 4096 # 一般的なLLMのコンテキストウィンドウサイズ
interpreter.llm.max_tokens = 3000 # 1回のリクエストで処理するトークンの最大数
interpreter.max_tokens = 3000 # 1回のリクエストで処理するトークンの最大数
interpreter.llm.max_output = 10000 # 出力の最大トークン数
interpreter.max_output = 10000 # 出力の最大トークン数
interpreter.conversation_history = True
interpreter.debug_mode = False
# interpreter.temperature = 0.7