Update README.md

README.md

@@ -29,28 +29,22 @@ This llama model was trained 2x faster with [Unsloth](https://github.com/unsloth
 '''
 
 %%capture   #結果を非表示にするセルマジックコマンド
-# Google Colab の場合は上記の環境構築手順を行なわず、単にこのセルから実行していってください。
 !pip uninstall unsloth -y
 !pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
 
 %%capture   #結果を非表示にするセルマジックコマンド
-# Google Colab のデフォルトで入っているパッケージをアップグレード（Moriyasu さんありがとうございます）
 !pip install --upgrade torch
 !pip install --upgrade xformers
 
 %%capture   #結果を非表示にするセルマジックコマンド
-# notebookでインタラクティブな表示を可能とする（ただし、うまく動かない場合あり）
-# Google Colabでは実行不要
 !pip install ipywidgets --upgrade
 
-# Install Flash Attention 2 for softcapping support
 import torch
 if torch.cuda.get_device_capability()[0] >= 8:
     !pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"
 
 HF_TOKEN = "your token"
 
-# llm-jp/llm-jp-3-13bを4bit量子化のqLoRA設定でロード。
 
 from unsloth import FastLanguageModel
 import torch
@@ -60,7 +54,7 @@ load_in_4bit = True # 今回は13Bモデルを扱うためTrue
 
 model_id = "llm-jp/llm-jp-3-13b"
 new_model_id = "llm-jp-3-13b-it" #Fine-Tuningしたモデルにつけたい名前、it: Instruction Tuning
-# FastLanguageModel インスタンスを作成
+
 model, tokenizer = FastLanguageModel.from_pretrained(
     model_name=model_id,
     dtype=dtype,
@@ -68,7 +62,6 @@ model, tokenizer = FastLanguageModel.from_pretrained(
     trust_remote_code=True,
 )
 
-# SFT用のモデルを用意
 model = FastLanguageModel.get_peft_model(
     model,
     r = 32,
@@ -84,15 +77,13 @@ model = FastLanguageModel.get_peft_model(
     max_seq_length = max_seq_length,
 )
 
-# 学習に用いるデータセットの指定
 from datasets import load_dataset
 
 dataset = load_dataset("json", data_files="./ichikara-instruction-003-001-1.json")
 
-# 学習時のプロンプトフォーマットの定義
 prompt = """### 指示
 {}
-### 回答
+
 {}"""
 
 
@@ -107,7 +98,6 @@ def formatting_prompts_func(examples):
     return { "formatted_text" : text, } # 新しいフィールド "formatted_text" を返す
 pass
 
-# # 各データにフォーマットを適用
 dataset = dataset.map(
     formatting_prompts_func,
     num_proc= 4, # 並列処理数を指定
@@ -115,7 +105,6 @@ dataset = dataset.map(
 
 dataset
 
-# データを確認
 print(dataset["train"]["formatted_text"][3])
 
 """
@@ -218,9 +207,7 @@ print(f"{start_gpu_memory} GB of memory reserved.")
 #@title 学習実行
 trainer_stats = trainer.train()
 
-# ELYZA-tasks-100-TVの読み込み。事前にファイルをアップロードしてください
-# データセットの読み込み。
-# omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
+
 import json
 datasets = []
 with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
@@ -232,10 +219,8 @@ with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
         datasets.append(json.loads(item))
         item = ""
 
-# 学習したモデルを用いてタスクを実行
 from tqdm import tqdm
 
-# 推論するためにモデルのモードを変更
 FastLanguageModel.for_inference(model)
 
 results = []
@@ -251,14 +236,11 @@ for dt in tqdm(datasets):
 
   results.append({"task_id": dt["task_id"], "input": input, "output": prediction})
 
-# jsonlで保存
 with open(f"{new_model_id}_output.jsonl", 'w', encoding='utf-8') as f:
     for result in results:
         json.dump(result, f, ensure_ascii=False)
         f.write('\n')
 
-# LoRAアダプタだけ保存
-# 書き込み可能なtoken
 HF_TOKEN = "your token"
 
 model.push_to_hub_merged(
@@ -274,14 +256,12 @@ model.push_to_hub_merged(
 
 保存したモデルの使い方
 '''
-# 必要なライブラリをインストール
 %%capture
 !pip install unsloth
 !pip uninstall unsloth -y && pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
 !pip install -U torch
 !pip install -U peft
 
-# 必要なライブラリを読み込み
 from unsloth import FastLanguageModel
 from peft import PeftModel
 import torch
@@ -289,13 +269,11 @@ import json
 from tqdm import tqdm
 import re
 
-# ベースとなるモデルと学習したLoRAのアダプタ（Hugging FaceのIDを指定）。
 model_id = "llm-jp/llm-jp-3-13b"
 adapter_id = "okaba815/llm-jp-3-13b-it_lora"
 
 HF_TOKEN = "your token"
 
-# unslothのFastLanguageModelで元のモデルをロード。
 dtype = None # Noneにしておけば自動で設定
 load_in_4bit = True # 今回は13Bモデルを扱うためTrue
 
@@ -306,12 +284,9 @@ model, tokenizer = FastLanguageModel.from_pretrained(
     trust_remote_code=True,
 )
 
-# 元のモデルにLoRAのアダプタを統合。
 model = PeftModel.from_pretrained(model, adapter_id, token = HF_TOKEN)
 
 
-# タスクとなるデータの読み込み。
-# 事前にデータをアップロードしてください。
 datasets = []
 with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
     item = ""
@@ -322,9 +297,7 @@ with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
         datasets.append(json.loads(item))
         item = ""
 
-# モデルを用いてタスクの推論。
 
-# 推論するためにモデルのモードを変更
 FastLanguageModel.for_inference(model)
 
 results = []
@@ -340,9 +313,7 @@ for dt in tqdm(datasets):
 
   results.append({"task_id": dt["task_id"], "input": input, "output": prediction})
 
-# 結果をjsonlで保存。
 
-# ここではadapter_idを元にファイル名を決定しているが、ファイル名は任意で問題なし。
 json_file_id = re.sub(".*/", "", adapter_id)
 with open(f"/content/{json_file_id}_output.jsonl", 'w', encoding='utf-8') as f:
     for result in results: