このモデルはコンペティションのために開発されたモデルです。

推論方法

まず、llama-cpp-pythonをインストールしてください。 その後推論用ライブラリをセットアップします。

git clone https://github.com/weak-kajuma/inference-for-llm-class.git
cd inference-for-llm-class
pip install datasets

次に、モデルをダウンロードします。

# GPUによって量子化サイズや次のセクションの`--ngl`を選んでください。
wget https://huggingface.co/kajuma/gemma-2-27b-instruct/resolve/main/Gemma-2-27B-Instruct_Q6_K.gguf

推論プログラムを実行します。

python answer_llama_cpp.py --model Gemma-2-27B-Instruct_Q6_K.gguf --ngl 46 --data_file data.jsonl

ただしdata.jsonlのフォーマットは以下の通りです。

{"task_id": 0, "input": "質問"}

推論後output.jsonlが作成されます。

Downloads last month
392
Safetensors
Model size
27.2B params
Tensor type
BF16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for kajuma/gemma-2-27b-instruct

Base model

google/gemma-2-27b
Quantized
(14)
this model

Datasets used to train kajuma/gemma-2-27b-instruct