Spaces:
Running
Running
Commit
·
59ca3b6
1
Parent(s):
127e55d
add
Browse files- Acrostic.json +16 -16
- Crossword.json +16 -16
- Cryptogram.json +16 -16
- Drop_Quote.json +16 -16
- Logic_Puzzle.json +16 -16
- Sudoku.json +16 -16
Acrostic.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
-
"Model": "
|
| 4 |
"CR": "43.0",
|
| 5 |
"S-Acc": "5.5",
|
| 6 |
"EM": "0.0",
|
|
@@ -8,7 +8,7 @@
|
|
| 8 |
"Tokens": "3712"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
-
"Model": "
|
| 12 |
"CR": "84.0",
|
| 13 |
"S-Acc": "35.8",
|
| 14 |
"EM": "0.0",
|
|
@@ -16,7 +16,7 @@
|
|
| 16 |
"Tokens": "3565"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
-
"Model": "
|
| 20 |
"CR": "97.0",
|
| 21 |
"S-Acc": "40.8",
|
| 22 |
"EM": "0.0",
|
|
@@ -24,7 +24,7 @@
|
|
| 24 |
"Tokens": "3584"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
-
"Model": "
|
| 28 |
"CR": "75.0",
|
| 29 |
"S-Acc": "7.9",
|
| 30 |
"EM": "0.0",
|
|
@@ -32,7 +32,7 @@
|
|
| 32 |
"Tokens": "4599"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
-
"Model": "
|
| 36 |
"CR": "67.0",
|
| 37 |
"S-Acc": "5.5",
|
| 38 |
"EM": "0.0",
|
|
@@ -40,7 +40,7 @@
|
|
| 40 |
"Tokens": "4170"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
-
"Model": "
|
| 44 |
"CR": "98.0",
|
| 45 |
"S-Acc": "39.4",
|
| 46 |
"EM": "0.0",
|
|
@@ -48,7 +48,7 @@
|
|
| 48 |
"Tokens": "4279"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
-
"Model": "
|
| 52 |
"CR": "42.0",
|
| 53 |
"S-Acc": "3.6",
|
| 54 |
"EM": "0.0",
|
|
@@ -56,7 +56,7 @@
|
|
| 56 |
"Tokens": "4159"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
-
"Model": "
|
| 60 |
"CR": "100.0",
|
| 61 |
"S-Acc": "31.8",
|
| 62 |
"EM": "0.0",
|
|
@@ -64,7 +64,7 @@
|
|
| 64 |
"Tokens": "4073"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
-
"Model": "
|
| 68 |
"CR": "100.0",
|
| 69 |
"S-Acc": "39.3",
|
| 70 |
"EM": "0.0",
|
|
@@ -72,7 +72,7 @@
|
|
| 72 |
"Tokens": "4110"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
-
"Model": "
|
| 76 |
"CR": "97.0",
|
| 77 |
"S-Acc": "31.6",
|
| 78 |
"EM": "0.0",
|
|
@@ -80,7 +80,7 @@
|
|
| 80 |
"Tokens": "4964"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
-
"Model": "
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "62.2",
|
| 86 |
"EM": "0.0",
|
|
@@ -88,7 +88,7 @@
|
|
| 88 |
"Tokens": "10076"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
-
"Model": "
|
| 92 |
"CR": "98.0",
|
| 93 |
"S-Acc": "48.0",
|
| 94 |
"EM": "0.0",
|
|
@@ -96,7 +96,7 @@
|
|
| 96 |
"Tokens": "4019"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
-
"Model": "
|
| 100 |
"CR": "92.0",
|
| 101 |
"S-Acc": "40.7",
|
| 102 |
"EM": "0.0",
|
|
@@ -104,7 +104,7 @@
|
|
| 104 |
"Tokens": "4256"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
-
"Model": "
|
| 108 |
"CR": "100.0",
|
| 109 |
"S-Acc": "56.0",
|
| 110 |
"EM": "0.0",
|
|
@@ -112,7 +112,7 @@
|
|
| 112 |
"Tokens": "3229"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
-
"Model": "
|
| 116 |
"CR": "97.0",
|
| 117 |
"S-Acc": "34.7",
|
| 118 |
"EM": "0.0",
|
|
@@ -120,7 +120,7 @@
|
|
| 120 |
"Tokens": "10951"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
-
"Model": "
|
| 124 |
"CR": "100.0",
|
| 125 |
"S-Acc": "67.2",
|
| 126 |
"EM": "0.0",
|
|
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
+
"Model": "Llama-3.1-8B-Instruct",
|
| 4 |
"CR": "43.0",
|
| 5 |
"S-Acc": "5.5",
|
| 6 |
"EM": "0.0",
|
|
|
|
| 8 |
"Tokens": "3712"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
+
"Model": "Llama-3.1-70B-Instruct",
|
| 12 |
"CR": "84.0",
|
| 13 |
"S-Acc": "35.8",
|
| 14 |
"EM": "0.0",
|
|
|
|
| 16 |
"Tokens": "3565"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
+
"Model": "Llama-3.3-70B-Instruct",
|
| 20 |
"CR": "97.0",
|
| 21 |
"S-Acc": "40.8",
|
| 22 |
"EM": "0.0",
|
|
|
|
| 24 |
"Tokens": "3584"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
+
"Model": "Mistral-7B-Instruct-v0.3",
|
| 28 |
"CR": "75.0",
|
| 29 |
"S-Acc": "7.9",
|
| 30 |
"EM": "0.0",
|
|
|
|
| 32 |
"Tokens": "4599"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
+
"Model": "Mistral-Small-Instruct-2409",
|
| 36 |
"CR": "67.0",
|
| 37 |
"S-Acc": "5.5",
|
| 38 |
"EM": "0.0",
|
|
|
|
| 40 |
"Tokens": "4170"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
+
"Model": "Mistral-Large-Instruct-2411",
|
| 44 |
"CR": "98.0",
|
| 45 |
"S-Acc": "39.4",
|
| 46 |
"EM": "0.0",
|
|
|
|
| 48 |
"Tokens": "4279"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
+
"Model": "Qwen2.5-7B-Instruct",
|
| 52 |
"CR": "42.0",
|
| 53 |
"S-Acc": "3.6",
|
| 54 |
"EM": "0.0",
|
|
|
|
| 56 |
"Tokens": "4159"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
+
"Model": "Qwen2.5-32B-Instruct",
|
| 60 |
"CR": "100.0",
|
| 61 |
"S-Acc": "31.8",
|
| 62 |
"EM": "0.0",
|
|
|
|
| 64 |
"Tokens": "4073"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
+
"Model": "Qwen2.5-72B-Instruct",
|
| 68 |
"CR": "100.0",
|
| 69 |
"S-Acc": "39.3",
|
| 70 |
"EM": "0.0",
|
|
|
|
| 72 |
"Tokens": "4110"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
+
"Model": "QwQ-32B-Preview",
|
| 76 |
"CR": "97.0",
|
| 77 |
"S-Acc": "31.6",
|
| 78 |
"EM": "0.0",
|
|
|
|
| 80 |
"Tokens": "4964"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
+
"Model": "DeepSeek-R1",
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "62.2",
|
| 86 |
"EM": "0.0",
|
|
|
|
| 88 |
"Tokens": "10076"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
+
"Model": "Gemini-2.0-exp",
|
| 92 |
"CR": "98.0",
|
| 93 |
"S-Acc": "48.0",
|
| 94 |
"EM": "0.0",
|
|
|
|
| 96 |
"Tokens": "4019"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
+
"Model": "Gemini-2.0-thinking",
|
| 100 |
"CR": "92.0",
|
| 101 |
"S-Acc": "40.7",
|
| 102 |
"EM": "0.0",
|
|
|
|
| 104 |
"Tokens": "4256"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
+
"Model": "OpenAI-gpt-4o",
|
| 108 |
"CR": "100.0",
|
| 109 |
"S-Acc": "56.0",
|
| 110 |
"EM": "0.0",
|
|
|
|
| 112 |
"Tokens": "3229"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
+
"Model": "OpenAI-o1-mini",
|
| 116 |
"CR": "97.0",
|
| 117 |
"S-Acc": "34.7",
|
| 118 |
"EM": "0.0",
|
|
|
|
| 120 |
"Tokens": "10951"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
+
"Model": "OpenAI-o1-preview",
|
| 124 |
"CR": "100.0",
|
| 125 |
"S-Acc": "67.2",
|
| 126 |
"EM": "0.0",
|
Crossword.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
-
"Model": "
|
| 4 |
"CR": "61.3",
|
| 5 |
"S-Acc": "23.3",
|
| 6 |
"EM": "0.0",
|
|
@@ -8,7 +8,7 @@
|
|
| 8 |
"Tokens": "2887"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
-
"Model": "
|
| 12 |
"CR": "77.3",
|
| 13 |
"S-Acc": "46.8",
|
| 14 |
"EM": "0.0",
|
|
@@ -16,7 +16,7 @@
|
|
| 16 |
"Tokens": "3071"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
-
"Model": "
|
| 20 |
"CR": "85.3",
|
| 21 |
"S-Acc": "47.6",
|
| 22 |
"EM": "0.0",
|
|
@@ -24,7 +24,7 @@
|
|
| 24 |
"Tokens": "2612"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
-
"Model": "
|
| 28 |
"CR": "94.0",
|
| 29 |
"S-Acc": "23.0",
|
| 30 |
"EM": "0.0",
|
|
@@ -32,7 +32,7 @@
|
|
| 32 |
"Tokens": "3655"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
-
"Model": "
|
| 36 |
"CR": "98.7",
|
| 37 |
"S-Acc": "48.3",
|
| 38 |
"EM": "0.0",
|
|
@@ -40,7 +40,7 @@
|
|
| 40 |
"Tokens": "3134"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
-
"Model": "
|
| 44 |
"CR": "99.3",
|
| 45 |
"S-Acc": "62.8",
|
| 46 |
"EM": "2.0",
|
|
@@ -48,7 +48,7 @@
|
|
| 48 |
"Tokens": "3237"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
-
"Model": "
|
| 52 |
"CR": "98.7",
|
| 53 |
"S-Acc": "21.1",
|
| 54 |
"EM": "0.0",
|
|
@@ -56,7 +56,7 @@
|
|
| 56 |
"Tokens": "2441"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
-
"Model": "
|
| 60 |
"CR": "100.0",
|
| 61 |
"S-Acc": "34.6",
|
| 62 |
"EM": "0.0",
|
|
@@ -64,7 +64,7 @@
|
|
| 64 |
"Tokens": "2560"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
-
"Model": "
|
| 68 |
"CR": "100.0",
|
| 69 |
"S-Acc": "44.1",
|
| 70 |
"EM": "0.0",
|
|
@@ -72,7 +72,7 @@
|
|
| 72 |
"Tokens": "2734"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
-
"Model": "
|
| 76 |
"CR": "80.0",
|
| 77 |
"S-Acc": "30.2",
|
| 78 |
"EM": "0.0",
|
|
@@ -80,7 +80,7 @@
|
|
| 80 |
"Tokens": "4816"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
-
"Model": "
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "75.3",
|
| 86 |
"EM": "16.7",
|
|
@@ -88,7 +88,7 @@
|
|
| 88 |
"Tokens": "9809"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
-
"Model": "
|
| 92 |
"CR": "98.7",
|
| 93 |
"S-Acc": "61.6",
|
| 94 |
"EM": "0.0",
|
|
@@ -96,7 +96,7 @@
|
|
| 96 |
"Tokens": "2555"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
-
"Model": "
|
| 100 |
"CR": "94.7",
|
| 101 |
"S-Acc": "57.7",
|
| 102 |
"EM": "1.3",
|
|
@@ -104,7 +104,7 @@
|
|
| 104 |
"Tokens": "2648"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
-
"Model": "
|
| 108 |
"CR": "100.0",
|
| 109 |
"S-Acc": "63.0",
|
| 110 |
"EM": "1.3",
|
|
@@ -112,7 +112,7 @@
|
|
| 112 |
"Tokens": "1726"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
-
"Model": "
|
| 116 |
"CR": "95.3",
|
| 117 |
"S-Acc": "45.5",
|
| 118 |
"EM": "1.3",
|
|
@@ -120,7 +120,7 @@
|
|
| 120 |
"Tokens": "7840"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
-
"Model": "
|
| 124 |
"CR": "98.0",
|
| 125 |
"S-Acc": "77.7",
|
| 126 |
"EM": "24.7",
|
|
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
+
"Model": "Llama-3.1-8B-Instruct",
|
| 4 |
"CR": "61.3",
|
| 5 |
"S-Acc": "23.3",
|
| 6 |
"EM": "0.0",
|
|
|
|
| 8 |
"Tokens": "2887"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
+
"Model": "Llama-3.1-70B-Instruct",
|
| 12 |
"CR": "77.3",
|
| 13 |
"S-Acc": "46.8",
|
| 14 |
"EM": "0.0",
|
|
|
|
| 16 |
"Tokens": "3071"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
+
"Model": "Llama-3.3-70B-Instruct",
|
| 20 |
"CR": "85.3",
|
| 21 |
"S-Acc": "47.6",
|
| 22 |
"EM": "0.0",
|
|
|
|
| 24 |
"Tokens": "2612"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
+
"Model": "Mistral-7B-Instruct-v0.3",
|
| 28 |
"CR": "94.0",
|
| 29 |
"S-Acc": "23.0",
|
| 30 |
"EM": "0.0",
|
|
|
|
| 32 |
"Tokens": "3655"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
+
"Model": "Mistral-Small-Instruct-2409",
|
| 36 |
"CR": "98.7",
|
| 37 |
"S-Acc": "48.3",
|
| 38 |
"EM": "0.0",
|
|
|
|
| 40 |
"Tokens": "3134"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
+
"Model": "Mistral-Large-Instruct-2411",
|
| 44 |
"CR": "99.3",
|
| 45 |
"S-Acc": "62.8",
|
| 46 |
"EM": "2.0",
|
|
|
|
| 48 |
"Tokens": "3237"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
+
"Model": "Qwen2.5-7B-Instruct",
|
| 52 |
"CR": "98.7",
|
| 53 |
"S-Acc": "21.1",
|
| 54 |
"EM": "0.0",
|
|
|
|
| 56 |
"Tokens": "2441"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
+
"Model": "Qwen2.5-32B-Instruct",
|
| 60 |
"CR": "100.0",
|
| 61 |
"S-Acc": "34.6",
|
| 62 |
"EM": "0.0",
|
|
|
|
| 64 |
"Tokens": "2560"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
+
"Model": "Qwen2.5-72B-Instruct",
|
| 68 |
"CR": "100.0",
|
| 69 |
"S-Acc": "44.1",
|
| 70 |
"EM": "0.0",
|
|
|
|
| 72 |
"Tokens": "2734"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
+
"Model": "QwQ-32B-Preview",
|
| 76 |
"CR": "80.0",
|
| 77 |
"S-Acc": "30.2",
|
| 78 |
"EM": "0.0",
|
|
|
|
| 80 |
"Tokens": "4816"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
+
"Model": "DeepSeek-R1",
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "75.3",
|
| 86 |
"EM": "16.7",
|
|
|
|
| 88 |
"Tokens": "9809"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
+
"Model": "Gemini-2.0-exp",
|
| 92 |
"CR": "98.7",
|
| 93 |
"S-Acc": "61.6",
|
| 94 |
"EM": "0.0",
|
|
|
|
| 96 |
"Tokens": "2555"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
+
"Model": "Gemini-2.0-thinking",
|
| 100 |
"CR": "94.7",
|
| 101 |
"S-Acc": "57.7",
|
| 102 |
"EM": "1.3",
|
|
|
|
| 104 |
"Tokens": "2648"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
+
"Model": "OpenAI-gpt-4o",
|
| 108 |
"CR": "100.0",
|
| 109 |
"S-Acc": "63.0",
|
| 110 |
"EM": "1.3",
|
|
|
|
| 112 |
"Tokens": "1726"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
+
"Model": "OpenAI-o1-mini",
|
| 116 |
"CR": "95.3",
|
| 117 |
"S-Acc": "45.5",
|
| 118 |
"EM": "1.3",
|
|
|
|
| 120 |
"Tokens": "7840"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
+
"Model": "OpenAI-o1-preview",
|
| 124 |
"CR": "98.0",
|
| 125 |
"S-Acc": "77.7",
|
| 126 |
"EM": "24.7",
|
Cryptogram.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
-
"Model": "
|
| 4 |
"CR": "43.0",
|
| 5 |
"S-Acc": "2.3",
|
| 6 |
"EM": "0.0",
|
|
@@ -8,7 +8,7 @@
|
|
| 8 |
"Tokens": "2067"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
-
"Model": "
|
| 12 |
"CR": "62.0",
|
| 13 |
"S-Acc": "6.9",
|
| 14 |
"EM": "0.0",
|
|
@@ -16,7 +16,7 @@
|
|
| 16 |
"Tokens": "1297"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
-
"Model": "
|
| 20 |
"CR": "99.0",
|
| 21 |
"S-Acc": "14.3",
|
| 22 |
"EM": "0.0",
|
|
@@ -24,7 +24,7 @@
|
|
| 24 |
"Tokens": "1137"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
-
"Model": "
|
| 28 |
"CR": "99.0",
|
| 29 |
"S-Acc": "4.3",
|
| 30 |
"EM": "0.0",
|
|
@@ -32,7 +32,7 @@
|
|
| 32 |
"Tokens": "1095"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
-
"Model": "
|
| 36 |
"CR": "95.0",
|
| 37 |
"S-Acc": "7.0",
|
| 38 |
"EM": "0.0",
|
|
@@ -40,7 +40,7 @@
|
|
| 40 |
"Tokens": "1233"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
-
"Model": "
|
| 44 |
"CR": "96.0",
|
| 45 |
"S-Acc": "13.7",
|
| 46 |
"EM": "0.0",
|
|
@@ -48,7 +48,7 @@
|
|
| 48 |
"Tokens": "1204"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
-
"Model": "
|
| 52 |
"CR": "81.0",
|
| 53 |
"S-Acc": "3.5",
|
| 54 |
"EM": "0.0",
|
|
@@ -56,7 +56,7 @@
|
|
| 56 |
"Tokens": "1181"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
-
"Model": "
|
| 60 |
"CR": "89.0",
|
| 61 |
"S-Acc": "9.8",
|
| 62 |
"EM": "0.0",
|
|
@@ -64,7 +64,7 @@
|
|
| 64 |
"Tokens": "1303"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
-
"Model": "
|
| 68 |
"CR": "85.0",
|
| 69 |
"S-Acc": "11.8",
|
| 70 |
"EM": "0.0",
|
|
@@ -72,7 +72,7 @@
|
|
| 72 |
"Tokens": "1726"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
-
"Model": "
|
| 76 |
"CR": "47.0",
|
| 77 |
"S-Acc": "3.6",
|
| 78 |
"EM": "0.0",
|
|
@@ -80,7 +80,7 @@
|
|
| 80 |
"Tokens": "6491"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
-
"Model": "
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "26.0",
|
| 86 |
"EM": "4.0",
|
|
@@ -88,7 +88,7 @@
|
|
| 88 |
"Tokens": "10344"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
-
"Model": "
|
| 92 |
"CR": "47.0",
|
| 93 |
"S-Acc": "8.5",
|
| 94 |
"EM": "0.0",
|
|
@@ -96,7 +96,7 @@
|
|
| 96 |
"Tokens": "1585"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
-
"Model": "
|
| 100 |
"CR": "68.0",
|
| 101 |
"S-Acc": "11.2",
|
| 102 |
"EM": "0.0",
|
|
@@ -104,7 +104,7 @@
|
|
| 104 |
"Tokens": "4167"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
-
"Model": "
|
| 108 |
"CR": "100.0",
|
| 109 |
"S-Acc": "20.7",
|
| 110 |
"EM": "0.0",
|
|
@@ -112,7 +112,7 @@
|
|
| 112 |
"Tokens": "739"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
-
"Model": "
|
| 116 |
"CR": "100.0",
|
| 117 |
"S-Acc": "22.7",
|
| 118 |
"EM": "1.0",
|
|
@@ -120,7 +120,7 @@
|
|
| 120 |
"Tokens": "11208"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
-
"Model": "
|
| 124 |
"CR": "92.0",
|
| 125 |
"S-Acc": "34.8",
|
| 126 |
"EM": "13.0",
|
|
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
+
"Model": "Llama-3.1-8B-Instruct",
|
| 4 |
"CR": "43.0",
|
| 5 |
"S-Acc": "2.3",
|
| 6 |
"EM": "0.0",
|
|
|
|
| 8 |
"Tokens": "2067"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
+
"Model": "Llama-3.1-70B-Instruct",
|
| 12 |
"CR": "62.0",
|
| 13 |
"S-Acc": "6.9",
|
| 14 |
"EM": "0.0",
|
|
|
|
| 16 |
"Tokens": "1297"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
+
"Model": "Llama-3.3-70B-Instruct",
|
| 20 |
"CR": "99.0",
|
| 21 |
"S-Acc": "14.3",
|
| 22 |
"EM": "0.0",
|
|
|
|
| 24 |
"Tokens": "1137"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
+
"Model": "Mistral-7B-Instruct-v0.3",
|
| 28 |
"CR": "99.0",
|
| 29 |
"S-Acc": "4.3",
|
| 30 |
"EM": "0.0",
|
|
|
|
| 32 |
"Tokens": "1095"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
+
"Model": "Mistral-Small-Instruct-2409",
|
| 36 |
"CR": "95.0",
|
| 37 |
"S-Acc": "7.0",
|
| 38 |
"EM": "0.0",
|
|
|
|
| 40 |
"Tokens": "1233"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
+
"Model": "Mistral-Large-Instruct-2411",
|
| 44 |
"CR": "96.0",
|
| 45 |
"S-Acc": "13.7",
|
| 46 |
"EM": "0.0",
|
|
|
|
| 48 |
"Tokens": "1204"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
+
"Model": "Qwen2.5-7B-Instruct",
|
| 52 |
"CR": "81.0",
|
| 53 |
"S-Acc": "3.5",
|
| 54 |
"EM": "0.0",
|
|
|
|
| 56 |
"Tokens": "1181"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
+
"Model": "Qwen2.5-32B-Instruct",
|
| 60 |
"CR": "89.0",
|
| 61 |
"S-Acc": "9.8",
|
| 62 |
"EM": "0.0",
|
|
|
|
| 64 |
"Tokens": "1303"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
+
"Model": "Qwen2.5-72B-Instruct",
|
| 68 |
"CR": "85.0",
|
| 69 |
"S-Acc": "11.8",
|
| 70 |
"EM": "0.0",
|
|
|
|
| 72 |
"Tokens": "1726"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
+
"Model": "QwQ-32B-Preview",
|
| 76 |
"CR": "47.0",
|
| 77 |
"S-Acc": "3.6",
|
| 78 |
"EM": "0.0",
|
|
|
|
| 80 |
"Tokens": "6491"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
+
"Model": "DeepSeek-R1",
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "26.0",
|
| 86 |
"EM": "4.0",
|
|
|
|
| 88 |
"Tokens": "10344"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
+
"Model": "Gemini-2.0-exp",
|
| 92 |
"CR": "47.0",
|
| 93 |
"S-Acc": "8.5",
|
| 94 |
"EM": "0.0",
|
|
|
|
| 96 |
"Tokens": "1585"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
+
"Model": "Gemini-2.0-thinking",
|
| 100 |
"CR": "68.0",
|
| 101 |
"S-Acc": "11.2",
|
| 102 |
"EM": "0.0",
|
|
|
|
| 104 |
"Tokens": "4167"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
+
"Model": "OpenAI-gpt-4o",
|
| 108 |
"CR": "100.0",
|
| 109 |
"S-Acc": "20.7",
|
| 110 |
"EM": "0.0",
|
|
|
|
| 112 |
"Tokens": "739"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
+
"Model": "OpenAI-o1-mini",
|
| 116 |
"CR": "100.0",
|
| 117 |
"S-Acc": "22.7",
|
| 118 |
"EM": "1.0",
|
|
|
|
| 120 |
"Tokens": "11208"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
+
"Model": "OpenAI-o1-preview",
|
| 124 |
"CR": "92.0",
|
| 125 |
"S-Acc": "34.8",
|
| 126 |
"EM": "13.0",
|
Drop_Quote.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
-
"Model": "
|
| 4 |
"CR": "44.0",
|
| 5 |
"S-Acc": "11.2",
|
| 6 |
"EM": "0.0",
|
|
@@ -8,7 +8,7 @@
|
|
| 8 |
"Tokens": "2122"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
-
"Model": "
|
| 12 |
"CR": "82.0",
|
| 13 |
"S-Acc": "27.7",
|
| 14 |
"EM": "0.0",
|
|
@@ -16,7 +16,7 @@
|
|
| 16 |
"Tokens": "1498"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
-
"Model": "
|
| 20 |
"CR": "99.0",
|
| 21 |
"S-Acc": "29.0",
|
| 22 |
"EM": "0.0",
|
|
@@ -24,7 +24,7 @@
|
|
| 24 |
"Tokens": "918"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
-
"Model": "
|
| 28 |
"CR": "66.0",
|
| 29 |
"S-Acc": "6.6",
|
| 30 |
"EM": "0.0",
|
|
@@ -32,7 +32,7 @@
|
|
| 32 |
"Tokens": "2336"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
-
"Model": "
|
| 36 |
"CR": "97.0",
|
| 37 |
"S-Acc": "26.9",
|
| 38 |
"EM": "0.0",
|
|
@@ -40,7 +40,7 @@
|
|
| 40 |
"Tokens": "1614"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
-
"Model": "
|
| 44 |
"CR": "98.0",
|
| 45 |
"S-Acc": "24.7",
|
| 46 |
"EM": "0.0",
|
|
@@ -48,7 +48,7 @@
|
|
| 48 |
"Tokens": "1565"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
-
"Model": "
|
| 52 |
"CR": "98.0",
|
| 53 |
"S-Acc": "21.9",
|
| 54 |
"EM": "0.0",
|
|
@@ -56,7 +56,7 @@
|
|
| 56 |
"Tokens": "1851"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
-
"Model": "
|
| 60 |
"CR": "95.0",
|
| 61 |
"S-Acc": "28.4",
|
| 62 |
"EM": "0.0",
|
|
@@ -64,7 +64,7 @@
|
|
| 64 |
"Tokens": "1197"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
-
"Model": "
|
| 68 |
"CR": "94.0",
|
| 69 |
"S-Acc": "30.9",
|
| 70 |
"EM": "0.0",
|
|
@@ -72,7 +72,7 @@
|
|
| 72 |
"Tokens": "1756"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
-
"Model": "
|
| 76 |
"CR": "33.0",
|
| 77 |
"S-Acc": "7.5",
|
| 78 |
"EM": "0.0",
|
|
@@ -80,7 +80,7 @@
|
|
| 80 |
"Tokens": "6078"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
-
"Model": "
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "47.3",
|
| 86 |
"EM": "7.0",
|
|
@@ -88,7 +88,7 @@
|
|
| 88 |
"Tokens": "11422"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
-
"Model": "
|
| 92 |
"CR": "92.0",
|
| 93 |
"S-Acc": "34.2",
|
| 94 |
"EM": "0.0",
|
|
@@ -96,7 +96,7 @@
|
|
| 96 |
"Tokens": "2717"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
-
"Model": "
|
| 100 |
"CR": "96.0",
|
| 101 |
"S-Acc": "34.4",
|
| 102 |
"EM": "0.0",
|
|
@@ -104,7 +104,7 @@
|
|
| 104 |
"Tokens": "3385"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
-
"Model": "
|
| 108 |
"CR": "99.0",
|
| 109 |
"S-Acc": "31.1",
|
| 110 |
"EM": "0.0",
|
|
@@ -112,7 +112,7 @@
|
|
| 112 |
"Tokens": "1165"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
-
"Model": "
|
| 116 |
"CR": "96.0",
|
| 117 |
"S-Acc": "34.3",
|
| 118 |
"EM": "2.0",
|
|
@@ -120,7 +120,7 @@
|
|
| 120 |
"Tokens": "13255"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
-
"Model": "
|
| 124 |
"CR": "97.0",
|
| 125 |
"S-Acc": "38.8",
|
| 126 |
"EM": "13.0",
|
|
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
+
"Model": "Llama-3.1-8B-Instruct",
|
| 4 |
"CR": "44.0",
|
| 5 |
"S-Acc": "11.2",
|
| 6 |
"EM": "0.0",
|
|
|
|
| 8 |
"Tokens": "2122"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
+
"Model": "Llama-3.1-70B-Instruct",
|
| 12 |
"CR": "82.0",
|
| 13 |
"S-Acc": "27.7",
|
| 14 |
"EM": "0.0",
|
|
|
|
| 16 |
"Tokens": "1498"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
+
"Model": "Llama-3.3-70B-Instruct",
|
| 20 |
"CR": "99.0",
|
| 21 |
"S-Acc": "29.0",
|
| 22 |
"EM": "0.0",
|
|
|
|
| 24 |
"Tokens": "918"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
+
"Model": "Mistral-7B-Instruct-v0.3",
|
| 28 |
"CR": "66.0",
|
| 29 |
"S-Acc": "6.6",
|
| 30 |
"EM": "0.0",
|
|
|
|
| 32 |
"Tokens": "2336"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
+
"Model": "Mistral-Small-Instruct-2409",
|
| 36 |
"CR": "97.0",
|
| 37 |
"S-Acc": "26.9",
|
| 38 |
"EM": "0.0",
|
|
|
|
| 40 |
"Tokens": "1614"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
+
"Model": "Mistral-Large-Instruct-2411",
|
| 44 |
"CR": "98.0",
|
| 45 |
"S-Acc": "24.7",
|
| 46 |
"EM": "0.0",
|
|
|
|
| 48 |
"Tokens": "1565"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
+
"Model": "Qwen2.5-7B-Instruct",
|
| 52 |
"CR": "98.0",
|
| 53 |
"S-Acc": "21.9",
|
| 54 |
"EM": "0.0",
|
|
|
|
| 56 |
"Tokens": "1851"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
+
"Model": "Qwen2.5-32B-Instruct",
|
| 60 |
"CR": "95.0",
|
| 61 |
"S-Acc": "28.4",
|
| 62 |
"EM": "0.0",
|
|
|
|
| 64 |
"Tokens": "1197"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
+
"Model": "Qwen2.5-72B-Instruct",
|
| 68 |
"CR": "94.0",
|
| 69 |
"S-Acc": "30.9",
|
| 70 |
"EM": "0.0",
|
|
|
|
| 72 |
"Tokens": "1756"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
+
"Model": "QwQ-32B-Preview",
|
| 76 |
"CR": "33.0",
|
| 77 |
"S-Acc": "7.5",
|
| 78 |
"EM": "0.0",
|
|
|
|
| 80 |
"Tokens": "6078"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
+
"Model": "DeepSeek-R1",
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "47.3",
|
| 86 |
"EM": "7.0",
|
|
|
|
| 88 |
"Tokens": "11422"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
+
"Model": "Gemini-2.0-exp",
|
| 92 |
"CR": "92.0",
|
| 93 |
"S-Acc": "34.2",
|
| 94 |
"EM": "0.0",
|
|
|
|
| 96 |
"Tokens": "2717"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
+
"Model": "Gemini-2.0-thinking",
|
| 100 |
"CR": "96.0",
|
| 101 |
"S-Acc": "34.4",
|
| 102 |
"EM": "0.0",
|
|
|
|
| 104 |
"Tokens": "3385"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
+
"Model": "OpenAI-gpt-4o",
|
| 108 |
"CR": "99.0",
|
| 109 |
"S-Acc": "31.1",
|
| 110 |
"EM": "0.0",
|
|
|
|
| 112 |
"Tokens": "1165"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
+
"Model": "OpenAI-o1-mini",
|
| 116 |
"CR": "96.0",
|
| 117 |
"S-Acc": "34.3",
|
| 118 |
"EM": "2.0",
|
|
|
|
| 120 |
"Tokens": "13255"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
+
"Model": "OpenAI-o1-preview",
|
| 124 |
"CR": "97.0",
|
| 125 |
"S-Acc": "38.8",
|
| 126 |
"EM": "13.0",
|
Logic_Puzzle.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
-
"Model": "
|
| 4 |
"CR": "57.0",
|
| 5 |
"S-Acc": "16.0",
|
| 6 |
"EM": "0.0",
|
|
@@ -8,7 +8,7 @@
|
|
| 8 |
"Tokens": "1292"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
-
"Model": "
|
| 12 |
"CR": "56.0",
|
| 13 |
"S-Acc": "22.8",
|
| 14 |
"EM": "2.0",
|
|
@@ -16,7 +16,7 @@
|
|
| 16 |
"Tokens": "1164"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
-
"Model": "
|
| 20 |
"CR": "80.5",
|
| 21 |
"S-Acc": "32.2",
|
| 22 |
"EM": "1.0",
|
|
@@ -24,7 +24,7 @@
|
|
| 24 |
"Tokens": "1738"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
-
"Model": "
|
| 28 |
"CR": "97.0",
|
| 29 |
"S-Acc": "19.1",
|
| 30 |
"EM": "0.0",
|
|
@@ -32,7 +32,7 @@
|
|
| 32 |
"Tokens": "1617"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
-
"Model": "
|
| 36 |
"CR": "99.5",
|
| 37 |
"S-Acc": "30.7",
|
| 38 |
"EM": "0.5",
|
|
@@ -40,7 +40,7 @@
|
|
| 40 |
"Tokens": "1514"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
-
"Model": "
|
| 44 |
"CR": "100.0",
|
| 45 |
"S-Acc": "38.3",
|
| 46 |
"EM": "3.0",
|
|
@@ -48,7 +48,7 @@
|
|
| 48 |
"Tokens": "1636"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
-
"Model": "
|
| 52 |
"CR": "96.5",
|
| 53 |
"S-Acc": "25.8",
|
| 54 |
"EM": "0.0",
|
|
@@ -56,7 +56,7 @@
|
|
| 56 |
"Tokens": "1395"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
-
"Model": "
|
| 60 |
"CR": "93.0",
|
| 61 |
"S-Acc": "32.2",
|
| 62 |
"EM": "0.0",
|
|
@@ -64,7 +64,7 @@
|
|
| 64 |
"Tokens": "1207"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
-
"Model": "
|
| 68 |
"CR": "93.5",
|
| 69 |
"S-Acc": "34.0",
|
| 70 |
"EM": "0.0",
|
|
@@ -72,7 +72,7 @@
|
|
| 72 |
"Tokens": "1809"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
-
"Model": "
|
| 76 |
"CR": "78.5",
|
| 77 |
"S-Acc": "46.3",
|
| 78 |
"EM": "19.5",
|
|
@@ -80,7 +80,7 @@
|
|
| 80 |
"Tokens": "9523"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
-
"Model": "
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "69.4",
|
| 86 |
"EM": "42.5",
|
|
@@ -88,7 +88,7 @@
|
|
| 88 |
"Tokens": "9204"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
-
"Model": "
|
| 92 |
"CR": "58.0",
|
| 93 |
"S-Acc": "24.2",
|
| 94 |
"EM": "2.0",
|
|
@@ -96,7 +96,7 @@
|
|
| 96 |
"Tokens": "2103"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
-
"Model": "
|
| 100 |
"CR": "99.0",
|
| 101 |
"S-Acc": "45.9",
|
| 102 |
"EM": "8.0",
|
|
@@ -104,7 +104,7 @@
|
|
| 104 |
"Tokens": "4037"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
-
"Model": "
|
| 108 |
"CR": "100.0",
|
| 109 |
"S-Acc": "39.3",
|
| 110 |
"EM": "3.5",
|
|
@@ -112,7 +112,7 @@
|
|
| 112 |
"Tokens": "953"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
-
"Model": "
|
| 116 |
"CR": "99.0",
|
| 117 |
"S-Acc": "57.2",
|
| 118 |
"EM": "23.5",
|
|
@@ -120,7 +120,7 @@
|
|
| 120 |
"Tokens": "10242"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
-
"Model": "
|
| 124 |
"CR": "99.0",
|
| 125 |
"S-Acc": "68.8",
|
| 126 |
"EM": "41.0",
|
|
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
+
"Model": "Llama-3.1-8B-Instruct",
|
| 4 |
"CR": "57.0",
|
| 5 |
"S-Acc": "16.0",
|
| 6 |
"EM": "0.0",
|
|
|
|
| 8 |
"Tokens": "1292"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
+
"Model": "Llama-3.1-70B-Instruct",
|
| 12 |
"CR": "56.0",
|
| 13 |
"S-Acc": "22.8",
|
| 14 |
"EM": "2.0",
|
|
|
|
| 16 |
"Tokens": "1164"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
+
"Model": "Llama-3.3-70B-Instruct",
|
| 20 |
"CR": "80.5",
|
| 21 |
"S-Acc": "32.2",
|
| 22 |
"EM": "1.0",
|
|
|
|
| 24 |
"Tokens": "1738"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
+
"Model": "Mistral-7B-Instruct-v0.3",
|
| 28 |
"CR": "97.0",
|
| 29 |
"S-Acc": "19.1",
|
| 30 |
"EM": "0.0",
|
|
|
|
| 32 |
"Tokens": "1617"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
+
"Model": "Mistral-Small-Instruct-2409",
|
| 36 |
"CR": "99.5",
|
| 37 |
"S-Acc": "30.7",
|
| 38 |
"EM": "0.5",
|
|
|
|
| 40 |
"Tokens": "1514"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
+
"Model": "Mistral-Large-Instruct-2411",
|
| 44 |
"CR": "100.0",
|
| 45 |
"S-Acc": "38.3",
|
| 46 |
"EM": "3.0",
|
|
|
|
| 48 |
"Tokens": "1636"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
+
"Model": "Qwen2.5-7B-Instruct",
|
| 52 |
"CR": "96.5",
|
| 53 |
"S-Acc": "25.8",
|
| 54 |
"EM": "0.0",
|
|
|
|
| 56 |
"Tokens": "1395"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
+
"Model": "Qwen2.5-32B-Instruct",
|
| 60 |
"CR": "93.0",
|
| 61 |
"S-Acc": "32.2",
|
| 62 |
"EM": "0.0",
|
|
|
|
| 64 |
"Tokens": "1207"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
+
"Model": "Qwen2.5-72B-Instruct",
|
| 68 |
"CR": "93.5",
|
| 69 |
"S-Acc": "34.0",
|
| 70 |
"EM": "0.0",
|
|
|
|
| 72 |
"Tokens": "1809"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
+
"Model": "QwQ-32B-Preview",
|
| 76 |
"CR": "78.5",
|
| 77 |
"S-Acc": "46.3",
|
| 78 |
"EM": "19.5",
|
|
|
|
| 80 |
"Tokens": "9523"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
+
"Model": "DeepSeek-R1",
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "69.4",
|
| 86 |
"EM": "42.5",
|
|
|
|
| 88 |
"Tokens": "9204"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
+
"Model": "Gemini-2.0-exp",
|
| 92 |
"CR": "58.0",
|
| 93 |
"S-Acc": "24.2",
|
| 94 |
"EM": "2.0",
|
|
|
|
| 96 |
"Tokens": "2103"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
+
"Model": "Gemini-2.0-thinking",
|
| 100 |
"CR": "99.0",
|
| 101 |
"S-Acc": "45.9",
|
| 102 |
"EM": "8.0",
|
|
|
|
| 104 |
"Tokens": "4037"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
+
"Model": "OpenAI-gpt-4o",
|
| 108 |
"CR": "100.0",
|
| 109 |
"S-Acc": "39.3",
|
| 110 |
"EM": "3.5",
|
|
|
|
| 112 |
"Tokens": "953"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
+
"Model": "OpenAI-o1-mini",
|
| 116 |
"CR": "99.0",
|
| 117 |
"S-Acc": "57.2",
|
| 118 |
"EM": "23.5",
|
|
|
|
| 120 |
"Tokens": "10242"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
+
"Model": "OpenAI-o1-preview",
|
| 124 |
"CR": "99.0",
|
| 125 |
"S-Acc": "68.8",
|
| 126 |
"EM": "41.0",
|
Sudoku.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
-
"Model": "
|
| 4 |
"CR": "7.5",
|
| 5 |
"S-Acc": "1.2",
|
| 6 |
"EM": "0.0",
|
|
@@ -8,7 +8,7 @@
|
|
| 8 |
"Tokens": "2782"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
-
"Model": "
|
| 12 |
"CR": "69.5",
|
| 13 |
"S-Acc": "24.2",
|
| 14 |
"EM": "1.0",
|
|
@@ -16,7 +16,7 @@
|
|
| 16 |
"Tokens": "1939"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
-
"Model": "
|
| 20 |
"CR": "93.5",
|
| 21 |
"S-Acc": "34.8",
|
| 22 |
"EM": "7.0",
|
|
@@ -24,7 +24,7 @@
|
|
| 24 |
"Tokens": "1061"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
-
"Model": "
|
| 28 |
"CR": "84.0",
|
| 29 |
"S-Acc": "11.9",
|
| 30 |
"EM": "0.0",
|
|
@@ -32,7 +32,7 @@
|
|
| 32 |
"Tokens": "3108"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
-
"Model": "
|
| 36 |
"CR": "89.0",
|
| 37 |
"S-Acc": "20.5",
|
| 38 |
"EM": "0.5",
|
|
@@ -40,7 +40,7 @@
|
|
| 40 |
"Tokens": "1968"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
-
"Model": "
|
| 44 |
"CR": "85.5",
|
| 45 |
"S-Acc": "39.5",
|
| 46 |
"EM": "10.0",
|
|
@@ -48,7 +48,7 @@
|
|
| 48 |
"Tokens": "1955"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
-
"Model": "
|
| 52 |
"CR": "94.5",
|
| 53 |
"S-Acc": "30.2",
|
| 54 |
"EM": "1.5",
|
|
@@ -56,7 +56,7 @@
|
|
| 56 |
"Tokens": "1486"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
-
"Model": "
|
| 60 |
"CR": "100.0",
|
| 61 |
"S-Acc": "42.8",
|
| 62 |
"EM": "3.5",
|
|
@@ -64,7 +64,7 @@
|
|
| 64 |
"Tokens": "1201"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
-
"Model": "
|
| 68 |
"CR": "97.5",
|
| 69 |
"S-Acc": "43.0",
|
| 70 |
"EM": "5.5",
|
|
@@ -72,7 +72,7 @@
|
|
| 72 |
"Tokens": "2013"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
-
"Model": "
|
| 76 |
"CR": "54.5",
|
| 77 |
"S-Acc": "40.1",
|
| 78 |
"EM": "31.5",
|
|
@@ -80,7 +80,7 @@
|
|
| 80 |
"Tokens": "8381"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
-
"Model": "
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "70.3",
|
| 86 |
"EM": "50.0",
|
|
@@ -88,7 +88,7 @@
|
|
| 88 |
"Tokens": "8276"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
-
"Model": "
|
| 92 |
"CR": "93.0",
|
| 93 |
"S-Acc": "45.3",
|
| 94 |
"EM": "12.5",
|
|
@@ -96,7 +96,7 @@
|
|
| 96 |
"Tokens": "2842"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
-
"Model": "
|
| 100 |
"CR": "79.5",
|
| 101 |
"S-Acc": "46.5",
|
| 102 |
"EM": "16.5",
|
|
@@ -104,7 +104,7 @@
|
|
| 104 |
"Tokens": "3852"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
-
"Model": "
|
| 108 |
"CR": "100.0",
|
| 109 |
"S-Acc": "52.2",
|
| 110 |
"EM": "14.5",
|
|
@@ -112,7 +112,7 @@
|
|
| 112 |
"Tokens": "1103"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
-
"Model": "
|
| 116 |
"CR": "99.0",
|
| 117 |
"S-Acc": "53.4",
|
| 118 |
"EM": "27.0",
|
|
@@ -120,7 +120,7 @@
|
|
| 120 |
"Tokens": "3960"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
-
"Model": "
|
| 124 |
"CR": "91.5",
|
| 125 |
"S-Acc": "65.1",
|
| 126 |
"EM": "50.0",
|
|
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
+
"Model": "Llama-3.1-8B-Instruct",
|
| 4 |
"CR": "7.5",
|
| 5 |
"S-Acc": "1.2",
|
| 6 |
"EM": "0.0",
|
|
|
|
| 8 |
"Tokens": "2782"
|
| 9 |
},
|
| 10 |
{
|
| 11 |
+
"Model": "Llama-3.1-70B-Instruct",
|
| 12 |
"CR": "69.5",
|
| 13 |
"S-Acc": "24.2",
|
| 14 |
"EM": "1.0",
|
|
|
|
| 16 |
"Tokens": "1939"
|
| 17 |
},
|
| 18 |
{
|
| 19 |
+
"Model": "Llama-3.3-70B-Instruct",
|
| 20 |
"CR": "93.5",
|
| 21 |
"S-Acc": "34.8",
|
| 22 |
"EM": "7.0",
|
|
|
|
| 24 |
"Tokens": "1061"
|
| 25 |
},
|
| 26 |
{
|
| 27 |
+
"Model": "Mistral-7B-Instruct-v0.3",
|
| 28 |
"CR": "84.0",
|
| 29 |
"S-Acc": "11.9",
|
| 30 |
"EM": "0.0",
|
|
|
|
| 32 |
"Tokens": "3108"
|
| 33 |
},
|
| 34 |
{
|
| 35 |
+
"Model": "Mistral-Small-Instruct-2409",
|
| 36 |
"CR": "89.0",
|
| 37 |
"S-Acc": "20.5",
|
| 38 |
"EM": "0.5",
|
|
|
|
| 40 |
"Tokens": "1968"
|
| 41 |
},
|
| 42 |
{
|
| 43 |
+
"Model": "Mistral-Large-Instruct-2411",
|
| 44 |
"CR": "85.5",
|
| 45 |
"S-Acc": "39.5",
|
| 46 |
"EM": "10.0",
|
|
|
|
| 48 |
"Tokens": "1955"
|
| 49 |
},
|
| 50 |
{
|
| 51 |
+
"Model": "Qwen2.5-7B-Instruct",
|
| 52 |
"CR": "94.5",
|
| 53 |
"S-Acc": "30.2",
|
| 54 |
"EM": "1.5",
|
|
|
|
| 56 |
"Tokens": "1486"
|
| 57 |
},
|
| 58 |
{
|
| 59 |
+
"Model": "Qwen2.5-32B-Instruct",
|
| 60 |
"CR": "100.0",
|
| 61 |
"S-Acc": "42.8",
|
| 62 |
"EM": "3.5",
|
|
|
|
| 64 |
"Tokens": "1201"
|
| 65 |
},
|
| 66 |
{
|
| 67 |
+
"Model": "Qwen2.5-72B-Instruct",
|
| 68 |
"CR": "97.5",
|
| 69 |
"S-Acc": "43.0",
|
| 70 |
"EM": "5.5",
|
|
|
|
| 72 |
"Tokens": "2013"
|
| 73 |
},
|
| 74 |
{
|
| 75 |
+
"Model": "QwQ-32B-Preview",
|
| 76 |
"CR": "54.5",
|
| 77 |
"S-Acc": "40.1",
|
| 78 |
"EM": "31.5",
|
|
|
|
| 80 |
"Tokens": "8381"
|
| 81 |
},
|
| 82 |
{
|
| 83 |
+
"Model": "DeepSeek-R1",
|
| 84 |
"CR": "100.0",
|
| 85 |
"S-Acc": "70.3",
|
| 86 |
"EM": "50.0",
|
|
|
|
| 88 |
"Tokens": "8276"
|
| 89 |
},
|
| 90 |
{
|
| 91 |
+
"Model": "Gemini-2.0-exp",
|
| 92 |
"CR": "93.0",
|
| 93 |
"S-Acc": "45.3",
|
| 94 |
"EM": "12.5",
|
|
|
|
| 96 |
"Tokens": "2842"
|
| 97 |
},
|
| 98 |
{
|
| 99 |
+
"Model": "Gemini-2.0-thinking",
|
| 100 |
"CR": "79.5",
|
| 101 |
"S-Acc": "46.5",
|
| 102 |
"EM": "16.5",
|
|
|
|
| 104 |
"Tokens": "3852"
|
| 105 |
},
|
| 106 |
{
|
| 107 |
+
"Model": "OpenAI-gpt-4o",
|
| 108 |
"CR": "100.0",
|
| 109 |
"S-Acc": "52.2",
|
| 110 |
"EM": "14.5",
|
|
|
|
| 112 |
"Tokens": "1103"
|
| 113 |
},
|
| 114 |
{
|
| 115 |
+
"Model": "OpenAI-o1-mini",
|
| 116 |
"CR": "99.0",
|
| 117 |
"S-Acc": "53.4",
|
| 118 |
"EM": "27.0",
|
|
|
|
| 120 |
"Tokens": "3960"
|
| 121 |
},
|
| 122 |
{
|
| 123 |
+
"Model": "OpenAI-o1-preview",
|
| 124 |
"CR": "91.5",
|
| 125 |
"S-Acc": "65.1",
|
| 126 |
"EM": "50.0",
|