Update README.md

README.md

@@ -9,9 +9,11 @@ tags:
 ---
 # Model Card for gemma-2-2b-jpn-it-translate
 
-gemma-2-2b-jpn-it-translateは、日英・英日翻訳タスクに特化したSLM（Small Language Model）です。パラメーター数は20億（2B）ですが、従来の70億（7B）モデルに迫るレベルの翻訳品質を提供します。ファイルサイズが約5GBと比較的小さいため、高速な実行が可能です。  
+gemma-2-2b-jpn-it-translateは、googleが公開してくれた[google/gemma-2-2b-jpn-it](https://huggingface.co/google/gemma-2-2b-jpn-it)を翻訳タスク用にチューニングしたモデルです  
+gemma-2-2b-jpn-it-translate is a model tuned for translation tasks based on [google/gemma-2-2b-jpn-it](https://huggingface.co/google/gemma-2-2b-jpn-it) released by Google.  
 
-gemma-2-2b-jpn-it-translate is an SLM (Small Language Model) specialized for Japanese-English and English-Japanese translation tasks. Despite having only 2 billion parameters (2B), it provides translation quality approaching that of conventional 7 billion (7B) parameter models. With a relatively small file size of about 5GB, it enables fast execution.  
+パラメーター数は20億（2B）ですが、分野によっては1年前の70億（7B）モデルに迫るレベルの翻訳品質を提供します。ファイルサイズが約5GBと比較的小さいため、高速な実行が可能です。  
+Although it has 2 billion (2B) parameters, in some fields it provides translation quality approaching that of the 7 billion (7B) model from a year ago. The file size is relatively small at around 5GB, allowing for fast execution.  
 
 ## モデル詳細 Model Details
 
@@ -26,10 +28,29 @@ gemma-2-2b-jpn-it-translate is an SLM (Small Language Model) specialized for Jap
 This model is fine-tuned from "gemma-2-2b-jpn-it", a Japanese-specific model released by Google.  
 Our goal is to translate texts of unlimited length at high speed.  
 It is trained to output translated text (Japanese/English) in response to user input after being given an initial system prompt-like text (Japanese/English).  
-Additionally, by using apply_chat_template, it eliminates the need for manual writing of prompt templates, which can be prone to errors.
+Additionally, by using apply_chat_template, it eliminates the need for manual writing of prompt templates, which can be prone to errors.  
+
+文単位で翻訳する事を学習しているため、改行を含む長文を一度に渡すと品質が低下します。  
+長文を翻訳する際は文単位で区切る前処理をしてからモデルに与えてください。  
+Because the model is trained to translate sentence by sentence, passing a long sentence with line breaks at once will result in a decrease in quality.  
+When translating a long sentence, please pre-process it by dividing it into sentences before feeding it to the model.  
+
+### 一括翻訳用サンプルColabスクリプト
+
+Googleアカウントをお持ちの方は下記のリンク先で「Open In Colab」ボタンを押すと無料で確かめる事ができます。  
+If you have a Google account, you can check it out for free by clicking the "Open In Colab" button at the link below.  
+[gemma_2_2b_jpn_it_tranlate_batch_translation_sample.ipynb](https://github.com/webbigdata-jp/python_sample/blob/main/gemma_2_2b_jpn_it_tranlate_batch_translation_sample.ipynb)
 
 ### 日英翻訳用サンプルコード Japanese-English Translation sample script.
 
+GPU付きのパソコンをお持ちの方は以下のスクリプトを参考に動作させる事ができます  
+GPU付きのパソコンをお持ちでない方は[gguf版モデル](https://huggingface.co/webbigdata/gemma-2-2b-jpn-it-translate-gguf)をお試しください    
+下記のサンプルスクリプトは文単位に区切る部分の実装が完全なコードではないので用途に合わせて修正してください  
+
+If you have a computer with a GPU, you can use the following script as a reference.  
+If you don't have a computer with a GPU, try the [gguf model](https://huggingface.co/webbigdata/gemma-2-2b-jpn-it-translate-gguf).  
+The sample script below does not have a complete implementation of the part that separates sentences, so please modify it to suit your needs.
+
 '''
 pip install -U transformers
 '''
@@ -304,175 +325,45 @@ CEO, XYZ Corporation"""
 
 結果 result
 ```
-['貴社にご愛顧いただき、誠にありがとうございます。', 'このメールがご健在であることを心よりお祈り申し上げます。', '弊社の最近の進展と今後の計画について、重要なお知らせをご提供いたします。', 'まず、第3四半期の収益が予想を上回ったことをお知らせいたします。昨年の同時期と比較して、売上高が15％増加しました。', 'この成功は、新製品ラインの発売と、新興市場へのサービスの拡大が大きく貢献しています。', 'この成長を踏まえ、今後の数ヶ月にわたって、いくつかの戦略的イニシアテ��ブを実施する予定です。', '1', 'R＆D部門の拡大：市場での競争力を維持するために、大幅に研究開発に投資する予定です。', '2', 'サステナビリティの取り組み：次の5年間で、炭素排出量を30%削減することを目指しています。', 'これは、再生可能エネルギー源への移行と、すべての事業活動における環境にやさしい実践の導入を含むものです。', '3', 'デジタルトランスフォーメーション: 私たちのITインフラを強化し、効率を向上させ、より良いサービスを提供する', 'さらに、今年は新型コロナウイルス感染症の懸念が続くため、オンラインで開催されますが、毎年恒例の年次カンファレンスをお知らせいたします。', 'カンファレンスは2024年11月15日～16日に開催され、業界のリーダーによるキーノートスピーチ、インタラクティブワークショップ、ネットワークングの機会が盛りだくさんです。', '引き続きご支援とご協力を賜りますようお願い申し上げます。', 'これらのイニシアチブについてご質問がある場合や、さらに詳しい情報をご希望の場合は、ご担当マネジャーにご連絡するか、弊社のカスタマーサポートチームにご連絡ください。', '弊社の信頼を賜り、誠にありがとうございます。', '共に新たな目標を達成できることを楽しみにしています。', 'ご清栄のこととお慶び申し上げます。', 'ジョン・スミス', 'XYZ株式会社のCEO']
+['貴社にご愛顧いただき、誠にありがとうございます。', 'このメールがご健在であることを心よりお祈り申し上げます。',
+'弊社の最近の進展と今後の計画について、重要なお知らせをご提供いたします。',
+'まず、第3四半期の収益が予想を上回ったことをお知らせいたします。昨年の同時期と比較して、売上高が15％増加しました。',
+'この成功は、新製品ラインの発売と、新興市場へのサービスの拡大が大きく貢献しています。',
+'この成長を踏まえ、今後の数ヶ月にわたって、いくつかの戦略的イニシアティブを実施する予定です。',
+'1', 'R＆D部門の拡大：市場での競争力を維持するために、大幅に研究開発に投資する予定です。',
+'2', 'サステナビリティの取り組み：次の5年間で、炭素排出量を30%削減することを目指しています。',
+'これは、再生可能エネルギー源への移行と、すべての事業活動における環境にやさしい実践の導入を含むものです。',
+'3', 'デジタルトランスフォーメーション: 私たちのITインフラを強化し、効率を向上させ、より良いサービスを提供する',
+'さらに、今年は新型コロナウイルス感染症の懸念が続くため、オンラインで開催されますが、毎年恒例の年次カンファレンスをお知らせいたします。',
+'カンファレンスは2024年11月15日～16日に開催され、業界のリーダーによるキーノートスピーチ、インタラクティブワークショップ、ネットワークングの機会が盛りだくさんです。',
+'引き続きご支援とご協力を賜りますようお願い申し上げます。',
+'これらのイニシアチブについてご質問がある場合や、さらに詳しい情報をご希望の場合は、ご担当マネジャーにご連絡するか、弊社のカスタマーサポートチームにご連絡ください。',
+'弊社の信頼を賜り、誠にありがとうございます。',
+'共に新たな目標を達成できることを楽しみにしています。',
+'ご清栄のこととお慶び申し上げます。',
+'ジョン・スミス', 'XYZ株式会社のCEO']
 ```
 
+### ベンチマーク結果 Benchmark results
 
+集計中です  
+Currently being compiled  
 
-制限
-
-空行を渡すと翻訳をせずに元文をそのまま出力してしまう減少が確認されています
-
-<!-- Provide a longer summary of what this model is. -->
-
-
-
-- **Developed by:** [More Information Needed]
-- **Funded by [optional]:** [More Information Needed]
-- **Shared by [optional]:** [More Information Needed]
-- **Model type:** [More Information Needed]
-- **Language(s) (NLP):** [More Information Needed]
-- **License:** [More Information Needed]
-- **Finetuned from model [optional]:** [More Information Needed]
-
-### Model Sources [optional]
-
-<!-- Provide the basic links for the model. -->
-
-- **Repository:** [More Information Needed]
-- **Paper [optional]:** [More Information Needed]
-- **Demo [optional]:** [More Information Needed]
-
-## Uses
-
-<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
-
-### Direct Use
-
-<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
-
-[More Information Needed]
-
-### Downstream Use [optional]
-
-<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
-
-[More Information Needed]
-
-### Out-of-Scope Use
-
-<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
-
-[More Information Needed]
-
-## Bias, Risks, and Limitations
-
-<!-- This section is meant to convey both technical and sociotechnical limitations. -->
-
-[More Information Needed]
-
-### Recommendations
-
-<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
-
-Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
-
-## How to Get Started with the Model
-
-Use the code below to get started with the model.
-
-[More Information Needed]
-
-## Training Details
-
-### Training Data
-
-<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
-
-[More Information Needed]
-
-### Training Procedure
-
-<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
-
-#### Preprocessing [optional]
-
-[More Information Needed]
-
-
-#### Training Hyperparameters
-
-- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
-
-#### Speeds, Sizes, Times [optional]
-
-<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
-
-[More Information Needed]
-
-## Evaluation
-
-<!-- This section describes the evaluation protocols and provides the results. -->
-
-### Testing Data, Factors & Metrics
-
-#### Testing Data
-
-<!-- This should link to a Dataset Card if possible. -->
-
-[More Information Needed]
-
-#### Factors
-
-<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
-
-[More Information Needed]
-
-#### Metrics
-
-<!-- These are the evaluation metrics being used, ideally with a description of why. -->
-
-[More Information Needed]
-
-### Results
-
-[More Information Needed]
-
-#### Summary
-
-
-
-## Model Examination [optional]
-
-<!-- Relevant interpretability work for the model goes here -->
-
-[More Information Needed]
-
-## Environmental Impact
-
-<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
-
-Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
-
-- **Hardware Type:** [More Information Needed]
-- **Hours used:** [More Information Needed]
-- **Cloud Provider:** [More Information Needed]
-- **Compute Region:** [More Information Needed]
-- **Carbon Emitted:** [More Information Needed]
+### 謝辞 Acknowledgements
 
+- **Developed by:** [dahara1@webbigdata]
+- **Language(s) (NLP):** [English, Japanese]
+- **base model [optional]:** [gemma-2-9b-it](https://huggingface.co/google/gemma-2-9b-it)
 
 **BibTeX:**
+```
+@misc{dahara2024imatrix,
+  author       = {dahara1@webbigdata},
+  title        = {gemma-2-2b-jpn-it-translate: A translation task-specific model based on gemma-2-2b-jpn-it},
+  year         = {2024},
+  howpublished = {\url{https://huggingface.co/webbigdata/gemma-2-2b-jpn-it-translate/}},
+  note         = {Accessed: 2024-10-10},
+  abstract     = {This model is an improvement over the 2B model, which is specialized for Japanese.},
+}
+```
 
-[More Information Needed]
-
-**APA:**
-
-[More Information Needed]
-
-## Glossary [optional]
-
-<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
-
-[More Information Needed]
-
-## More Information [optional]
-
-[More Information Needed]
-
-## Model Card Authors [optional]
-
-[More Information Needed]
-
-## Model Card Contact
-
-[More Information Needed]