Upload results/evaluation with huggingface_hub

results/evaluation/general_evaluation_results.txt

@@ -1,54 +1,54 @@
 --- Bagian tentang question type ---
 -- Bagian tentang question type yang terprediksi BENAR --
-Banyak pertanyaan APA: 2814, sebesar: 23.52 %
-Banyak pertanyaan DIMANA: 460, sebesar: 3.85 %
-Banyak pertanyaan KAPAN: 460, sebesar: 3.85 %
-Banyak pertanyaan SIAPA: 695, sebesar: 5.81 %
-Banyak pertanyaan BAGAIMANA: 85, sebesar: 0.71 %
-Banyak pertanyaan KENAPA: 36, sebesar: 0.3 %
-Banyak pertanyaan BERAPA: 907, sebesar: 7.58 %
-Banyak pertanyaan LAINNYA: 509, sebesar: 4.26 %
+Banyak pertanyaan APA: 2492, sebesar: 20.88 %
+Banyak pertanyaan DIMANA: 405, sebesar: 3.39 %
+Banyak pertanyaan KAPAN: 441, sebesar: 3.7 %
+Banyak pertanyaan SIAPA: 654, sebesar: 5.48 %
+Banyak pertanyaan BAGAIMANA: 69, sebesar: 0.58 %
+Banyak pertanyaan KENAPA: 34, sebesar: 0.28 %
+Banyak pertanyaan BERAPA: 873, sebesar: 7.32 %
+Banyak pertanyaan LAINNYA: 462, sebesar: 3.87 %
 
 -- Bagian tentang question type yang terprediksi SALAH --
-Banyak pertanyaan APA: 3445, sebesar: 28.8 %
-Banyak pertanyaan DIMANA: 454, sebesar: 3.8 %
-Banyak pertanyaan KAPAN: 234, sebesar: 1.96 %
-Banyak pertanyaan SIAPA: 341, sebesar: 2.85 %
-Banyak pertanyaan BAGAIMANA: 256, sebesar: 2.14 %
-Banyak pertanyaan KENAPA: 158, sebesar: 1.32 %
-Banyak pertanyaan BERAPA: 573, sebesar: 4.79 %
-Banyak pertanyaan LAINNYA: 535, sebesar: 4.47 %
+Banyak pertanyaan APA: 3758, sebesar: 31.49 %
+Banyak pertanyaan DIMANA: 507, sebesar: 4.25 %
+Banyak pertanyaan KAPAN: 253, sebesar: 2.12 %
+Banyak pertanyaan SIAPA: 379, sebesar: 3.18 %
+Banyak pertanyaan BAGAIMANA: 272, sebesar: 2.28 %
+Banyak pertanyaan KENAPA: 160, sebesar: 1.34 %
+Banyak pertanyaan BERAPA: 601, sebesar: 5.04 %
+Banyak pertanyaan LAINNYA: 574, sebesar: 4.81 %
 
 -- Presentase kebenaran --
-Banyak pertanyaan APA yang terpediksi benar sebesar: 44.96 %
-Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 50.33 %
-Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 66.28 %
-Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 67.08 %
-Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 24.93 %
-Banyak pertanyaan KENAPA yang terpediksi benar sebesar: 18.56 %
-Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 61.28 %
-Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 48.75 %
+Banyak pertanyaan APA yang terpediksi benar sebesar: 39.87 %
+Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 44.41 %
+Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 63.54 %
+Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 63.31 %
+Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 20.23 %
+Banyak pertanyaan KENAPA yang terpediksi benar sebesar: 17.53 %
+Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 59.23 %
+Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 44.59 %
 
 --- Bagian tentang panjang context ---
 -- Bagian tentang panjang context yang terprediksi BENAR --
-Panjang konteks < 100: 2931, sebesar: 24.5 %
-Panjang konteks 101 <= x <= 150: 3035, sebesar: 25.37 %
+Panjang konteks < 100: 2136, sebesar: 17.9 %
+Panjang konteks 101 <= x <= 150: 3294, sebesar: 27.6 %
 Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
 Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
 Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
 Panjang konteks > 300: 0, sebesar: 0.0 %
 
 -- Bagian tentang panjang context yang terprediksi SALAH --
-Panjang konteks < 100: 2951, sebesar: 24.67 %
-Panjang konteks 101 <= x <= 150: 3045, sebesar: 25.46 %
+Panjang konteks < 100: 2554, sebesar: 21.4 %
+Panjang konteks 101 <= x <= 150: 3950, sebesar: 33.1 %
 Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
 Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
 Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
 Panjang konteks > 300: 0, sebesar: 0.0 %
 
 -- Presentase kebenaran --
-Panjang konteks < 100 yang terprediksi benar sebesar: 49.83 %
-Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 49.92 %
+Panjang konteks < 100 yang terprediksi benar sebesar: 45.54 %
+Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 45.47 %
 Panjang konteks 151 <= x <= 200 yang terprediksi benar sebesar: 0 %
 Panjang konteks 201 <= x <= 250 yang terprediksi benar sebesar: 0 %
 Panjang konteks 251 <= x <= 300 yang terprediksi benar sebesar: 0 %
@@ -56,134 +56,134 @@ Panjang konteks > 300 yang terprediksi benar sebesar: 0 %
 
 --- Bagian tentang panjang question ---
 -- Bagian tentang panjang question yang terprediksi BENAR --
-Panjang question 1 <= x <= 5: 726, sebesar: 6.07 %
-Panjang question 6 <= x <= 10: 5240, sebesar: 43.81 %
+Panjang question 1 <= x <= 5: 620, sebesar: 5.2 %
+Panjang question 6 <= x <= 10: 4810, sebesar: 40.31 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Bagian tentang panjang question yang terprediksi SALAH --
-Panjang question 1 <= x <= 5: 778, sebesar: 6.5 %
-Panjang question 6 <= x <= 10: 5218, sebesar: 43.62 %
+Panjang question 1 <= x <= 5: 795, sebesar: 6.66 %
+Panjang question 6 <= x <= 10: 5709, sebesar: 47.84 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Presentase kebenaran --
-Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 48.27 %
-Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 50.11 %
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 43.82 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 45.73 %
 Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
 Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
 Panjang question > 20 yang terprediksi benar sebesar: 0 %
 
 --- Bagian tentang panjang gold answer ---
 -- Bagian tentang panjang gold answer yang terprediksi BENAR --
-Panjang question 1 <= x <= 5: 5543, sebesar: 46.34 %
-Panjang question 6 <= x <= 10: 423, sebesar: 3.54 %
+Panjang question 1 <= x <= 5: 5033, sebesar: 42.17 %
+Panjang question 6 <= x <= 10: 397, sebesar: 3.33 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Bagian tentang panjang gold answer yang terprediksi SALAH --
-Panjang question 1 <= x <= 5: 4937, sebesar: 41.27 %
-Panjang question 6 <= x <= 10: 1059, sebesar: 8.85 %
+Panjang question 1 <= x <= 5: 5193, sebesar: 43.51 %
+Panjang question 6 <= x <= 10: 1311, sebesar: 10.99 %
 Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
 Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
 Panjang question > 20: 0, sebesar: 0.0 %
 
 -- Presentase kebenaran --
-Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 52.89 %
-Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 28.54 %
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 49.22 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 23.24 %
 Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
 Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
 Panjang question > 20 yang terprediksi benar sebesar: 0 %
 
 --- Bagian tentang answer type ---
 -- Bagian tentang answer type yang terprediksi BENAR --
-Banyak answer type Person sebanyak: 907, sekitar 7.119309262166405 %
-Banyak answer type NORP sebanyak: 156, sekitar 1.2244897959183674 %
-Banyak answer type Facility sebanyak: 18, sekitar 0.141287284144427 %
-Banyak answer type Organization sebanyak: 241, sekitar 1.891679748822606 %
-Banyak answer type Geo-Political Entity sebanyak: 510, sekitar 4.003139717425432 %
-Banyak answer type Location sebanyak: 291, sekitar 2.28414442700157 %
-Banyak answer type Product sebanyak: 504, sekitar 3.9560439560439558 %
-Banyak answer type Event sebanyak: 63, sekitar 0.49450549450549447 %
-Banyak answer type Work of Art sebanyak: 27, sekitar 0.2119309262166405 %
-Banyak answer type Law sebanyak: 48, sekitar 0.3767660910518053 %
-Banyak answer type Language sebanyak: 3, sekitar 0.02354788069073783 %
-Banyak answer type Date sebanyak: 498, sekitar 3.90894819466248 %
-Banyak answer type Time sebanyak: 3, sekitar 0.02354788069073783 %
-Banyak answer type Percent sebanyak: 67, sekitar 0.5259026687598116 %
-Banyak answer type Money sebanyak: 128, sekitar 1.0047095761381475 %
-Banyak answer type Quantity sebanyak: 135, sekitar 1.0596546310832025 %
-Banyak answer type Ordinal sebanyak: 275, sekitar 2.1585557299843012 %
-Banyak answer type Cardinal sebanyak: 298, sekitar 2.339089481946625 %
-Banyak answer type REG sebanyak: 64, sekitar 0.5023547880690737 %
-Banyak answer type Null sebanyak: 2063, sekitar 16.19309262166405 %
+Banyak answer type Person sebanyak: 636, sekitar 5.026078710289237 %
+Banyak answer type NORP sebanyak: 78, sekitar 0.6164058795637744 %
+Banyak answer type Facility sebanyak: 20, sekitar 0.158052789631737 %
+Banyak answer type Organization sebanyak: 176, sekitar 1.3908645487592857 %
+Banyak answer type Geo-Political Entity sebanyak: 291, sekitar 2.299668089141773 %
+Banyak answer type Location sebanyak: 195, sekitar 1.5410146989094358 %
+Banyak answer type Product sebanyak: 617, sekitar 4.875928560139087 %
+Banyak answer type Event sebanyak: 42, sekitar 0.33191085822664773 %
+Banyak answer type Work of Art sebanyak: 52, sekitar 0.4109372530425162 %
+Banyak answer type Law sebanyak: 25, sekitar 0.19756598703967124 %
+Banyak answer type Language sebanyak: 0, sekitar 0.0 %
+Banyak answer type Date sebanyak: 552, sekitar 4.362256993835941 %
+Banyak answer type Time sebanyak: 3, sekitar 0.02370791844476055 %
+Banyak answer type Percent sebanyak: 78, sekitar 0.6164058795637744 %
+Banyak answer type Money sebanyak: 143, sekitar 1.1300774458669196 %
+Banyak answer type Quantity sebanyak: 144, sekitar 1.1379800853485065 %
+Banyak answer type Ordinal sebanyak: 269, sekitar 2.125810020546863 %
+Banyak answer type Cardinal sebanyak: 270, sekitar 2.1337126600284493 %
+Banyak answer type REG sebanyak: 59, sekitar 0.4662557294136242 %
+Banyak answer type Null sebanyak: 2124, sekitar 16.78520625889047 %
 
 -- Bagian tentang answer type yang terprediksi SALAH --
-Banyak answer type Person sebanyak: 396, sekitar 3.108320251177394 %
-Banyak answer type NORP sebanyak: 113, sekitar 0.8869701726844583 %
-Banyak answer type Facility sebanyak: 21, sekitar 0.16483516483516483 %
-Banyak answer type Organization sebanyak: 214, sekitar 1.6797488226059654 %
-Banyak answer type Geo-Political Entity sebanyak: 521, sekitar 4.089481946624804 %
-Banyak answer type Location sebanyak: 241, sekitar 1.891679748822606 %
-Banyak answer type Product sebanyak: 466, sekitar 3.6577708006279437 %
-Banyak answer type Event sebanyak: 49, sekitar 0.38461538461538464 %
-Banyak answer type Work of Art sebanyak: 16, sekitar 0.12558869701726844 %
-Banyak answer type Law sebanyak: 34, sekitar 0.2668759811616954 %
-Banyak answer type Language sebanyak: 5, sekitar 0.03924646781789639 %
-Banyak answer type Date sebanyak: 195, sekitar 1.530612244897959 %
-Banyak answer type Time sebanyak: 2, sekitar 0.015698587127158554 %
-Banyak answer type Percent sebanyak: 45, sekitar 0.35321821036106754 %
-Banyak answer type Money sebanyak: 82, sekitar 0.6436420722135008 %
-Banyak answer type Quantity sebanyak: 200, sekitar 1.5698587127158554 %
-Banyak answer type Ordinal sebanyak: 112, sekitar 0.8791208791208791 %
-Banyak answer type Cardinal sebanyak: 309, sekitar 2.425431711145997 %
-Banyak answer type REG sebanyak: 67, sekitar 0.5259026687598116 %
-Banyak answer type Null sebanyak: 3353, sekitar 26.31868131868132 %
+Banyak answer type Person sebanyak: 350, sekitar 2.7659238185553976 %
+Banyak answer type NORP sebanyak: 75, sekitar 0.5926979611190137 %
+Banyak answer type Facility sebanyak: 14, sekitar 0.1106369527422159 %
+Banyak answer type Organization sebanyak: 138, sekitar 1.0905642484589853 %
+Banyak answer type Geo-Political Entity sebanyak: 375, sekitar 2.963489805595069 %
+Banyak answer type Location sebanyak: 195, sekitar 1.5410146989094358 %
+Banyak answer type Product sebanyak: 595, sekitar 4.702070491544176 %
+Banyak answer type Event sebanyak: 29, sekitar 0.22917654496601866 %
+Banyak answer type Work of Art sebanyak: 33, sekitar 0.26078710289236606 %
+Banyak answer type Law sebanyak: 22, sekitar 0.1738580685949107 %
+Banyak answer type Language sebanyak: 2, sekitar 0.0158052789631737 %
+Banyak answer type Date sebanyak: 221, sekitar 1.746483325430694 %
+Banyak answer type Time sebanyak: 1, sekitar 0.00790263948158685 %
+Banyak answer type Percent sebanyak: 56, sekitar 0.4425478109688636 %
+Banyak answer type Money sebanyak: 84, sekitar 0.6638217164532955 %
+Banyak answer type Quantity sebanyak: 214, sekitar 1.691164849059586 %
+Banyak answer type Ordinal sebanyak: 149, sekitar 1.1774932827564406 %
+Banyak answer type Cardinal sebanyak: 359, sekitar 2.837047573889679 %
+Banyak answer type REG sebanyak: 59, sekitar 0.4662557294136242 %
+Banyak answer type Null sebanyak: 3909, sekitar 30.891417733522996 %
 
 -- Presentase kebenaran --
-Banyak answer type Person yang terprediksi benar sebesar: 69.61 %
-Banyak answer type NORP yang terprediksi benar sebesar: 57.99 %
-Banyak answer type Facility yang terprediksi benar sebesar: 46.15 %
-Banyak answer type Organization yang terprediksi benar sebesar: 52.97 %
-Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 49.47 %
-Banyak answer type Location yang terprediksi benar sebesar: 54.7 %
-Banyak answer type Product yang terprediksi benar sebesar: 51.96 %
-Banyak answer type Event yang terprediksi benar sebesar: 56.25 %
-Banyak answer type Work of Art yang terprediksi benar sebesar: 62.79 %
-Banyak answer type Law yang terprediksi benar sebesar: 58.54 %
-Banyak answer type Language yang terprediksi benar sebesar: 37.5 %
-Banyak answer type Date yang terprediksi benar sebesar: 71.86 %
-Banyak answer type Time yang terprediksi benar sebesar: 60.0 %
-Banyak answer type Percent yang terprediksi benar sebesar: 59.82 %
-Banyak answer type Money yang terprediksi benar sebesar: 60.95 %
-Banyak answer type Quantity yang terprediksi benar sebesar: 40.3 %
-Banyak answer type Ordinal yang terprediksi benar sebesar: 71.06 %
-Banyak answer type Cardinal yang terprediksi benar sebesar: 49.09 %
-Banyak answer type REG yang terprediksi benar sebesar: 48.85 %
-Banyak answer type Null yang terprediksi benar sebesar: 38.09 %
+Banyak answer type Person yang terprediksi benar sebesar: 64.5 %
+Banyak answer type NORP yang terprediksi benar sebesar: 50.98 %
+Banyak answer type Facility yang terprediksi benar sebesar: 58.82 %
+Banyak answer type Organization yang terprediksi benar sebesar: 56.05 %
+Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 43.69 %
+Banyak answer type Location yang terprediksi benar sebesar: 50.0 %
+Banyak answer type Product yang terprediksi benar sebesar: 50.91 %
+Banyak answer type Event yang terprediksi benar sebesar: 59.15 %
+Banyak answer type Work of Art yang terprediksi benar sebesar: 61.18 %
+Banyak answer type Law yang terprediksi benar sebesar: 53.19 %
+Banyak answer type Language yang terprediksi benar sebesar: 0.0 %
+Banyak answer type Date yang terprediksi benar sebesar: 71.41 %
+Banyak answer type Time yang terprediksi benar sebesar: 75.0 %
+Banyak answer type Percent yang terprediksi benar sebesar: 58.21 %
+Banyak answer type Money yang terprediksi benar sebesar: 63.0 %
+Banyak answer type Quantity yang terprediksi benar sebesar: 40.22 %
+Banyak answer type Ordinal yang terprediksi benar sebesar: 64.35 %
+Banyak answer type Cardinal yang terprediksi benar sebesar: 42.93 %
+Banyak answer type REG yang terprediksi benar sebesar: 50.0 %
+Banyak answer type Null yang terprediksi benar sebesar: 35.21 %
 
 --- Bagian tentang reasoning type ---
 -- Bagian tentang reasoning type yang terprediksi BENAR --
-Banyak reasoning type berjenis WM sebanyak: 5, sebesar: 5.0 %
-Banyak reasoning type berjenis PP sebanyak: 11, sebesar: 11.0 %
-Banyak reasoning type berjenis SSR sebanyak: 10, sebesar: 10.0 %
-Banyak reasoning type berjenis MSR sebanyak: 3, sebesar: 3.0 %
-Banyak reasoning type berjenis AoI sebanyak: 27, sebesar: 27.0 %
-
--- Bagian tentang reasoning type yang terprediksi SALAH --
 Banyak reasoning type berjenis WM sebanyak: 4, sebesar: 4.0 %
-Banyak reasoning type berjenis PP sebanyak: 6, sebesar: 6.0 %
+Banyak reasoning type berjenis PP sebanyak: 10, sebesar: 10.0 %
 Banyak reasoning type berjenis SSR sebanyak: 4, sebesar: 4.0 %
-Banyak reasoning type berjenis MSR sebanyak: 6, sebesar: 6.0 %
-Banyak reasoning type berjenis AoI sebanyak: 24, sebesar: 24.0 %
+Banyak reasoning type berjenis MSR sebanyak: 2, sebesar: 2.0 %
+Banyak reasoning type berjenis AoI sebanyak: 26, sebesar: 26.0 %
+
+-- Bagian tentang reasoning type yang terprediksi SALAH --
+Banyak reasoning type berjenis WM sebanyak: 5, sebesar: 5.0 %
+Banyak reasoning type berjenis PP sebanyak: 7, sebesar: 7.0 %
+Banyak reasoning type berjenis SSR sebanyak: 10, sebesar: 10.0 %
+Banyak reasoning type berjenis MSR sebanyak: 7, sebesar: 7.0 %
+Banyak reasoning type berjenis AoI sebanyak: 25, sebesar: 25.0 %
 
 -- Presentase kebenaran --
-Banyak reasoning type berjenis WM yang terprediksi benar sebesar: 55.56 %
-Banyak reasoning type berjenis PP yang terprediksi benar sebesar: 64.71 %
-Banyak reasoning type berjenis SSR yang terprediksi benar sebesar: 71.43 %
-Banyak reasoning type berjenis MSR yang terprediksi benar sebesar: 33.33 %
-Banyak reasoning type berjenis AoI yang terprediksi benar sebesar: 52.94 %
+Banyak reasoning type berjenis WM yang terprediksi benar sebesar: 44.44 %
+Banyak reasoning type berjenis PP yang terprediksi benar sebesar: 58.82 %
+Banyak reasoning type berjenis SSR yang terprediksi benar sebesar: 28.57 %
+Banyak reasoning type berjenis MSR yang terprediksi benar sebesar: 22.22 %
+Banyak reasoning type berjenis AoI yang terprediksi benar sebesar: 50.98 %
 

results/evaluation/metric_result.txt

@@ -1 +1 @@
-{'exact_match': 49.540210667112525, 'f1': 66.69283418028387}
+{'exact_match': 45.00586559410088, 'f1': 61.63459570644012}