Spaces:
Running
on
Zero
Running
on
Zero
Update app.py
Browse files
app.py
CHANGED
@@ -10,8 +10,8 @@ import torch
|
|
10 |
|
11 |
DESCRIPTION = '''
|
12 |
<div>
|
13 |
-
<h1 style="text-align: center;">非公式LLM-JP-3-13B-
|
14 |
-
<p>LLM-JP-3-13B-Instructの非公式デモだよ。 <a href="https://huggingface.co/llm-jp/llm-jp-3-13b-
|
15 |
</div>
|
16 |
'''
|
17 |
|
@@ -45,8 +45,8 @@ h1 {
|
|
45 |
"""
|
46 |
|
47 |
# Load the tokenizer and model
|
48 |
-
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-13b-
|
49 |
-
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-13b-
|
50 |
|
51 |
@spaces.GPU()
|
52 |
def chat_llama3_8b(message: str,
|
@@ -125,6 +125,8 @@ with gr.Blocks(fill_height=True, css=css) as demo:
|
|
125 |
render=False ),
|
126 |
],
|
127 |
examples=[
|
|
|
|
|
128 |
['小学生にもわかるように相対性理論を教えてください。'],
|
129 |
['宇宙の起源を知るための方法をステップ・バイ・ステップで教えてください。'],
|
130 |
['1から100までの素数を求めるスクリプトをPythonで書いてください。'],
|
|
|
10 |
|
11 |
DESCRIPTION = '''
|
12 |
<div>
|
13 |
+
<h1 style="text-align: center;">非公式LLM-JP-3-13B-Instruct3</h1>
|
14 |
+
<p>LLM-JP-3-13B-Instructの非公式デモだよ。 <a href="https://huggingface.co/llm-jp/llm-jp-3-13b-instruct3"><b>llm-jp/llm-jp-3-13b-instruct3</b></a>.</p>
|
15 |
</div>
|
16 |
'''
|
17 |
|
|
|
45 |
"""
|
46 |
|
47 |
# Load the tokenizer and model
|
48 |
+
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-13b-instruct3", torch_dtype=torch.bfloat16)
|
49 |
+
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-13b-instruct3", torch_dtype=torch.bfloat16,device_map="auto")
|
50 |
|
51 |
@spaces.GPU()
|
52 |
def chat_llama3_8b(message: str,
|
|
|
125 |
render=False ),
|
126 |
],
|
127 |
examples=[
|
128 |
+
['まどか☆マギカで一番好きなキャラクターを教えて下さい。'],
|
129 |
+
['まどか☆マギカとPSYCHO-PASSを通じて虚淵玄は功利主義の観点から何を伝えたかったのでしょうか。'],
|
130 |
['小学生にもわかるように相対性理論を教えてください。'],
|
131 |
['宇宙の起源を知るための方法をステップ・バイ・ステップで教えてください。'],
|
132 |
['1から100までの素数を求めるスクリプトをPythonで書いてください。'],
|