feat: add dataset and use our own model

README.md

@@ -11,4 +11,66 @@ license: apache-2.0
 python_version: 3.11.9
 ---
 
-An example chatbot using [Gradio](https://gradio.app), [`huggingface_hub`](https://huggingface.co/docs/huggingface_hub/v0.22.2/en/index), and the [Hugging Face Inference API](https://huggingface.co/docs/api-inference/index).
+# 海龜湯遊戲 (Turtle Soup Game)
+
+這是一個互動式的「海龜湯」遊戲，玩家可以透過問問題或嘗試解答來推理故事的完整內容。遊戲基於水平思考，強調創造性解決問題的能力。
+
+## 功能簡介
+
+問問題：玩家可以提出問題，遊戲會根據故事的設定回應「是」、「不是」或「與此無關」。
+
+回答謎題：玩家可以嘗試輸入答案，系統會根據答案與謎題底層邏輯的相似度進行判定。
+
+重新開始：玩家可以隨時選擇重新開始新遊戲，系統會隨機挑選一個新的故事。
+
+## 遊戲操作
+
+提出問題：
+
+-   點擊「提出問題」標籤，輸入你的問題。
+-   系統會基於謎題回應「是」、「不是」或「不知道」。
+
+回答謎題：
+
+-   點擊「輸入答案」標籤，嘗試輸入你的答案。
+-   系統會根據相似度返回「正確」、「接近了」或「錯誤」。
+
+重新開始遊戲：
+
+-   點擊「重新開始新遊戲」按鈕，系統會隨機選擇一個新的謎題。
+
+## 使用模型
+
+`BertForMaskedLM`
+
+-   使用 BERT 預訓練模型，進行 Masked Language Model 推理，判定玩家的提問。
+-   模型使用 [nycu-ai113-dl-final-project](https://huggingface.co/nycu-ai113-dl-final-project) 中的模型。
+
+`SentenceTransformer`
+
+-   用於計算玩家輸入的答案與故事底層邏輯的語義相似度。
+-   使用模型來自 [thenlper/gte-base-zh](https://huggingface.co/thenlper/gte-base-zh)，授權於 MIT。
+
+## 文件結構
+
+`app.py`: 主遊戲程式碼。
+
+`stories.json`: 包含遊戲謎題的故事數據集。
+
+`README.md`: 本說明文件。
+
+## 使用方法
+
+確保安裝所需依賴：
+
+```shell
+pip install -r requirements.txt
+```
+
+運行遊戲：
+
+```shell
+python app.py
+```
+
+瀏覽器將自動打開遊戲介面。

app.py

@@ -1,163 +1,140 @@
 import gradio as gr
-from transformers import BertTokenizerFast, BertForSequenceClassification, AutoModelForMaskedLM, T5Tokenizer, T5ForConditionalGeneration
+from transformers import BertTokenizerFast, BertForMaskedLM
 import torch
-import pandas as pd
 from sentence_transformers import SentenceTransformer
-from sklearn.metrics.pairwise import cosine_similarity
+from sentence_transformers.util import cos_sim
+import random
+import json
 
-# 加載 BERT Tokenizer 和 預訓練模型
-# tokenizer = BertTokenizerFast.from_pretrained('bert-base-chinese')
-# model = AutoModelForMaskedLM.from_pretrained('bert-base-chinese')
-
-tokenizer = T5Tokenizer.from_pretrained("google/flan-t5-large")
-question_judge = T5ForConditionalGeneration.from_pretrained("google/flan-t5-large")
-
-answer_judge = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2')
-
-
-
-zh_sys_msg="""
-你是遊戲的裁判，根據提供的<湯麵>和<湯底>理解故事。玩家會根據<湯麵>進行猜測，並要求你判斷猜測是否正確。你只能回答三種答案：對、錯、不知道。
-
-## 判定規則：
-1. 玩家猜測正確：回答"對"。
-2. 玩家猜測錯誤：回答"錯"。
-3. 無法從<湯麵>和<湯底>得出結論或無法推理的問題：回答"不知道"。
-
-## 注意：
-1. 玩家只能看到<湯麵>，所以他是基於<湯麵>進行猜測，即使<湯底>中有其他信息，也不會影響對<湯麵>的判定。
-2. 如果猜測無法從故事中推理出結論，回答"不知道"。
-3. 嚴格遵守只回答"對"、"錯"、"不知道"。
-
-## 題目內容：
-### 湯麵：
-一個男人走進一家酒吧，並向酒保要了一杯水。酒保突然拿出一把手槍瞄準他，而男子竟只是笑著說：「謝謝你！」然後從容離開，請問發生了什麼事？
-### 湯底：
-男子打嗝，他希望喝一杯水來改善狀況。酒保意識到這一點，選擇拿槍嚇他，男子一緊張之下，打嗝自然消失，因而衷心感謝酒保後就離開了。
-
-現在，請判斷以下玩家猜測:
-"""
+model_name = "nycu-ai113-dl-final-project/bert-turtle-soup-pet-zh"
+dataset_name = "nycu-ai113-dl-final-project/TurtleBench-extended-zh"
 
+model = BertForMaskedLM.from_pretrained(model_name)
+tokenizer = BertTokenizerFast.from_pretrained(model_name)
 
+answer_judge = SentenceTransformer('thenlper/gte-base-zh')
 
 intro="""
 ### 玩法介紹
 
-遊戲一開始，我會給你一個不完整的故事，這個故事通常有很多未知的細節，你需要透過提出問題來探索更多線索。你可以問我各種問題，不過請記住，我只能回答三種答案：「是」、「不是」或「與此無關」。你的目標是根據這些有限的答案，逐步推理出故事的完整脈絡，從而揭開事件的真相。
+遊戲一開始，我會給你一個不完整的故事，這個故事通常有很多未知的細節，你需要透過提出問題來探索更多線索。你可以問我各種問題，不過請記住，我只能回答三種答案：「是」、「不是」或「不知道」。你的目標是根據這些有限的答案，逐步推理出故事的完整脈絡，從而揭開事件的真相。
 
 這個遊戲的名稱來自於其中一個最經典的題目，海龜湯的故事。由於這類型的遊戲強調水平思考，也就是用非傳統的方式解決問題，這些遊戲就被大家統稱為「海龜湯」，有點像是可樂成為所有碳酸飲料的代名詞。
 
 在遊戲中，你的提問會讓你逐漸接近真相。準備好發揮你的推理能力，讓我們開始吧！
 """
 
-
 class PuzzleGame:
     def __init__(self):
         """
         初始化遊戲類別。
         """
-        self.df = pd.read_excel('puzzles.xlsx')
-        self.title = None
-        self.story = None
-        self.answer = None
-        self.prompt = None
+        self.template = ' 根據判定規則，此玩家的猜測為[MASK]'
+        self.load_stories('stories.json')
+
+    def load_stories(self, path):
+        with open(path, mode='r', encoding='utf-8') as f:
+            self.stories = json.load(f)
 
     def get_random_puzzle(self):
         """
         隨機選擇一個謎題並設定當前謎題的標題、故事和答案。
         """
-        puzzle = self.df.sample(n=1).iloc[0]
+        puzzle = random.choice(self.stories)
         self.title = puzzle['title']
-        # self.story = puzzle['story']
-        # self.answer = puzzle['answer']
-        self.story = """A man walks into a bar and asks the bartender for a glass of water. The bartender suddenly pulls out a gun and points it at him. The man smiles and says, "Thank you!" then calmly leaves. What happened?"""
-        self.answer = """The man had hiccups and wanted a glass of water to cure them. The bartender realized this and chose to scare him with a gun. The man's hiccups disappeared due to the sudden shock, so he sincerely thanked the bartender before leaving."""
-
-    def get_sample_puzzle(self):
-        """
-        選擇範例謎題並設定當前謎題的標題、故��和答案。
-        """
-        self.title = "The Hiccuping Man"
-        self.story = """A man walks into a bar and asks the bartender for a glass of water. The bartender suddenly pulls out a gun and points it at him. The man smiles and says, "Thank you!" then calmly leaves. What happened?"""
-        self.answer = """The man had hiccups and wanted a glass of water to cure them. The bartender realized this and chose to scare him with a gun. The man's hiccups disappeared due to the sudden shock, so he sincerely thanked the bartender before leaving."""
+        self.surface = puzzle['surface']
+        self.bottom = puzzle['bottom']
 
     def get_prompt(self):
         """
         返回填入謎題故事和答案的 prompt
         """
-        prompt = f"""
-            You are the game referee, and based on the provided story context and background information, you need to understand the story. The player will make guesses based on the story context, and you are required to judge whether the guess is correct. You can only respond with three possible answers: Correct, Incorrect, or I don’t know.
+        prompt = "你是遊戲的裁判，根據提供的<湯麵>和<湯底>理解故事。玩家會根據<湯麵>進行猜測，並要求你判斷猜測是否正確。你只能回答三種答案：正確、錯誤、不知道。判定規則：1. 玩家猜測正確：回答\"正確\"。2. 玩家猜測錯誤：回答\"錯誤\"。3. 無法從<湯麵>和<湯底>得出結論或無法推理的問題：回答\"不知道\"。注意：1. 玩家只能看到<湯麵>，所以他是基於<湯麵>進行猜測，即使<湯底>中有其他信息，也不會影響對<湯麵>的判定。2. 如果猜測無法從故事中推理出結論，回答\"不知道\"。3. 嚴格遵守只回答\"正確\"、\"錯誤\"、\"不知道\"。<湯麵>{self.surface}<湯底>{self.bottom}請判斷以下玩家猜測:"
 
-            Judgment Rules:
-            If the player guesses correctly: Answer "Correct".
-            If the player guesses incorrectly: Answer "Incorrect".
-            If the guess cannot be concluded from the story context and background information, or if it cannot be logically inferred: Answer "I don’t know".
-
-            Notes:
-            The player can only see the story context, so they will make guesses based on the story context. Even if there is other information in the background, it should not influence the judgment of the story context.
-            If the guess cannot be inferred from the story, answer "I don’t know".
-            Strictly follow the answers "Correct", "Incorrect", or "I don’t know".
+        return prompt
 
-            Story Context:
-            {self.story}
+# 初始化遊戲
+game = PuzzleGame()
 
-            Background Information:
-            {self.answer}
+def predict_masked_token(text):
+    """
+    使用模型預測 [MASK] 位置的 token。
+    :param text: 包含 [MASK] 的文本。
+    :return: 預測的 token。
+    """
+    inputs = tokenizer(text, return_tensors="pt")
+    model.eval()
+    with torch.no_grad():
+        outputs = model(**inputs)
 
-            Now, please judge the following player's guess:
-            """
-        
-        return prompt
+    # 找到 [MASK] 的位置
+    mask_token_index = (inputs.input_ids == tokenizer.mask_token_id).nonzero(as_tuple=True)[1]
 
+    if mask_token_index.numel() == 0:
+        raise "請確保輸入包含 [MASK]。"
 
-game = PuzzleGame()
+    # 獲取 [MASK] 位置的 logits 並預測
+    mask_token_logits = outputs.logits[0, mask_token_index, :]
+    predicted_id = torch.argmax(mask_token_logits, dim=-1)
+    return tokenizer.decode(predicted_id)
 
 def restart():
+    """
+    重新開始遊戲，初始化新的謎題。
+    返回故事的開頭內容。
+    """
     game.get_random_puzzle()
-    story = [{"role": "assistant", "content": game.story}]
+    story = [{"role": "assistant", "content": game.surface}]
     return story
 
 def user(message, history):
+    """
+    處理用戶輸入的問題或答案，並將其添加到對話歷史中。
+    :param message: 用戶的輸入消息。
+    :param history: 當前的對話歷史。
+    :return: 用戶的消息和更新後的歷史。
+    """
     history.append({"role": "user", "content": message})
     return message, history
 
-def bot(message, history):
-    inputs = game.get_prompt() + message
-    input_ids = tokenizer(inputs, return_tensors="pt").input_ids
-
-    with torch.no_grad():
-        outputs = question_judge.generate(input_ids)
-
-    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    history.append({"role": "assistant", "content": response})
-
-    return "", history
-
 def check_question(question, history):
-    inputs = game.get_prompt() + question
-    input_ids = tokenizer(inputs, return_tensors="pt").input_ids
-
-    with torch.no_grad():
-        outputs = question_judge.generate(input_ids)
-
-    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-
-    history.append({"role": "assistant", "content": response})
-
+    """
+    使用 Masked Language Model 檢查用戶提問的問題。
+    :param question: 用戶的提問。
+    :param history: 當前的對話歷史。
+    :return: 空字符串和更新後的歷史。
+    """
+    # 將問題與遊戲提示和模板結合
+    text = game.get_prompt() + question + game.template
+    predicted = predict_masked_token(text)
+
+    predicted_map = {
+        '是':'是',
+        '否':'不是',
+        '不':'不知道'
+    }
+
+    history.append({"role": "assistant", "content": predicted_map[predicted]})
     return "", history
 
-
 def check_answer(answer, history):
-    sentences = [answer, game.answer]
+    """
+    使用語義相似度檢查用戶輸入的答案是否正確。
+    :param answer: 用戶的答案。
+    :param history: 當前的對話歷史。
+    :return: 空字符串和更新後的歷史。
+    """
+    sentences = [answer, game.bottom]
     embeddings = answer_judge.encode(sentences)
 
-    cos_sim = cosine_similarity([embeddings[0]], [embeddings[1]])
+    sim = cos_sim([embeddings[0]], [embeddings[1]])
 
-    print("相似度: ", cos_sim[0][0])
+    print("相似度: ", sim[0][0])
 
-    if cos_sim[0][0] > 0.8:
-        response = "正確！你猜對了！ 完整故事:\n" + game.answer
-    elif cos_sim[0][0] > 0.5:
+    # 根據相似度生成回應
+    if sim[0][0] > 0.8:
+        response = "正確！你猜對了！ 完整故事:\n" + game.bottom
+    elif sim[0][0] > 0.7:
         response = "接近了！再試一次！"
     else:
         response = "錯誤！再試一次！"
@@ -166,26 +143,33 @@ def check_answer(answer, history):
 
     return "", history
 
-
+# 使用 Gradio 創建界面
 with gr.Blocks() as demo:
+    # 頁面介紹
     gr.Markdown(intro)
     gr.Markdown("---")
+
+    # 初始化故事
     story = restart()
     chatbot = gr.Chatbot(type='messages', value=story, height=600)
     
-
+    # 問題提問功能
     with gr.Tab("提出問題"):
         question_input_box = gr.Textbox(
             show_label=False,
             placeholder="提問各種可能性的問題...",
-        
             submit_btn=True,
         )
 
+        # 用戶輸入的文本框
+        # 1. 將用戶輸入的問題提交到 `user` 函數處理，將問題加入到歷史對話中。
+        # 2. 將 `user` 處理的結果（問題和更新後的歷史）傳遞給 `check_question` 函數。
+        # 3. `check_question` 會檢查問題並生成對應的回應，更新對話歷史。
         question_input_box.submit(user, [question_input_box, chatbot], [question_input_box, chatbot]).then(
             check_question, [question_input_box, chatbot], [question_input_box, chatbot]
         )
 
+    # 答案輸入功能
     with gr.Tab("輸入答案"):
         answer_input_box = gr.Textbox(
             show_label=False,
@@ -193,14 +177,18 @@ with gr.Blocks() as demo:
             submit_btn=True,
         )
 
+        # 用戶輸入的答案框
+        # 1. 將用戶輸入的答案提交到 `user` 函數處理，將答案加入到歷史對話中。
+        # 2. 將 `user` 處理的結果（答案和更新後的歷史）傳遞給 `check_answer` 函數。
+        # 3. `check_answer` 會檢查答案的正確性，生成對應的回應，並更新對話歷史。
         answer_input_box.submit(user, [answer_input_box, chatbot], [answer_input_box, chatbot]).then(
             check_answer, [answer_input_box, chatbot], [answer_input_box, chatbot]
         )
 
+    # 重新開始按鈕
     restart_btn = gr.ClearButton(value='重新開始新遊戲', inputs=[question_input_box, chatbot])
     restart_btn.click(restart, outputs=[chatbot])
 
-
-
+# 啟動應用
 if __name__ == "__main__":
     demo.launch()

puzzles.xlsx

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:2334e69f0ac1382849365d13a6d50cd17a64df4bcf7ab1ff57a79f8fde70ebb9
-size 289440

requirements.txt

@@ -1,9 +1,4 @@
-gradio==5.7.1
-pandas==2.2.3
-scikit_learn==1.5.2
+gradio==5.9.1
 sentence_transformers==3.3.1
 torch==2.5.1
-# torch==2.5.1+cu118
-transformers==4.46.3
-sentencepiece==0.2.0
-openpyxl==3.1.5
+transformers==4.46.3

stories.json

@@ -0,0 +1,27 @@
+[
+    {
+        "title":"日記",
+        "surface":"2019 年 2 月，女兒不去上學了，我勸不動她。\n2019 年 6 月，女兒每天盯着電視和電腦看，我怕她眼睛弄壞了。\n2019 年 12 月，女兒好像開朗了一些，看到她經常和朋友語音聊天。\n2020 年 3 月，女兒笑了，說她做了一件大好事，我也很高興。\n2020 年 5 月，女兒的狀態惡化了，整夜不睡覺，她也不和我說話。\n2020 年 6 月，總覺得最近家裏開銷特別大，嗯……?是我糊塗了嗎。\n2020 年 10 月，女兒出門了，最近疫情好些了之後她經常出門，好像朋友也變多了，太好了。\n2021 年 2 月，我收到了一張律師函，上面寫着女兒的名字，怎麼會?!\n2021 年 8 月，我把女兒禁足了",
+        "bottom":"女兒因為一些原因拒絕去上學，6 月陳情令上線，女兒沉迷其中。同年 12 月，女兒混了肖戰的飯圈。這段期間，女兒一直在給肖戰當網路水軍。 20 年 3 月，AO3 被檢舉。 5 月，肖戰遭到大批網友抵制，資本開始審視這個東西是不是值得投資。 6 月光點上線，女兒偷家裡的錢買數字專。疫情好轉後，女兒照例出門參加飯圈活動，漸漸開始認清它的真面目。 21 年 2 月，蕭戰狀告\"黑粉\"。 8 月肖戰勝訴，粉絲被罰 3W，故事中的這位父\/母把女兒徹底禁足了。"
+    },
+    {
+        "title":"打折的零食",
+        "surface":"他在小賣部買了一批折扣零食，感覺自己賺了，暗暗自喜。第二天看新聞時，他被嚇傻了。",
+        "bottom":"他之前在這家店買過一次零食，覺得老闆娘多收了他錢。這次來看到是一個男子在看店，他提到上次可能算錯了錢，男子說這次給他打折作為補償。他覺得自己賺到了便宜很開心。第二天，他從新聞得知這家店的店主夫妻被殺害，而男子是殺人後冒充店主的人。"
+    },
+    {
+        "title":"1237",
+        "surface":"幼兒園的一個小朋友數數總是說\"1，2，3，7\"，總是漏掉中間的\"4，5，6\"。可是當我糾正她時，她卻說這是她媽媽教她的，我很疑惑，便提出去她家家訪，家訪結束後我也對她說是\"1，2，3，7\"",
+        "bottom":"身為一個幼師，我發現一個小朋友數數總是錯的，她堅持數「1237」。當我教她正確的數數方式時，她卻說媽媽教的就是「1237」。我提出家訪，她帶我去了醫院。原來她的媽媽患有心臟病，生命所剩無幾。為了陪女兒過最後一個生日，她編織了「3後面是7」的謊言，期望撐到七月。我深受感動，也對她說「3後面確實是7"
+    },
+    {
+        "title":"遺失的手機",
+        "surface":"我的手機不見了，當我找到它時，我嚇了一跳。",
+        "bottom":"我和閨蜜去酒吧蹦迪，喝了一點酒後發現手機不見了。我請閨蜜幫忙撥打我的號碼，電話接通後是個陌生男子的聲音。酒吧太吵，我們還沒聽清楚對方的話，電話就被掛斷了。回家後，我發現手機就在床頭，才猛然想起我根本沒帶手機出門，而且我一直獨自居住，頓時毛骨悚然。"
+    },
+    {
+        "title":"洗衣機",
+        "surface":"夜晚，貧窮的拾荒者撿了一臺洗衣機回家。半夜他從睡夢中驚醒，好像聽到了洗衣機啓動的聲音。",
+        "bottom":"兇手將殺害的受害者肢解後，把屍塊放進洗衣機，並用洗衣機運到郊外拋屍。當兇手挖坑埋屍時，一位拾荒者撿走了洗衣機，開著小三輪離去。兇手跟蹤拾荒者到家後，潛入其家中啟動洗衣機，試圖清洗殘留的血跡。"
+    }
+]