Upload results/evaluation with huggingface_hub

results/evaluation/general_evaluation_results.txt

@@ -0,0 +1,189 @@
+--- Bagian tentang question type ---
+-- Bagian tentang question type yang terprediksi BENAR --
+Banyak pertanyaan APA: 151, sebesar: 17.62 %
+Banyak pertanyaan DIMANA: 12, sebesar: 1.4 %
+Banyak pertanyaan KAPAN: 92, sebesar: 10.74 %
+Banyak pertanyaan SIAPA: 29, sebesar: 3.38 %
+Banyak pertanyaan BAGAIMANA: 1, sebesar: 0.12 %
+Banyak pertanyaan KENAPA: 0, sebesar: 0.0 %
+Banyak pertanyaan BERAPA: 89, sebesar: 10.39 %
+Banyak pertanyaan LAINNYA: 102, sebesar: 11.9 %
+
+-- Bagian tentang question type yang terprediksi SALAH --
+Banyak pertanyaan APA: 150, sebesar: 17.5 %
+Banyak pertanyaan DIMANA: 22, sebesar: 2.57 %
+Banyak pertanyaan KAPAN: 44, sebesar: 5.13 %
+Banyak pertanyaan SIAPA: 28, sebesar: 3.27 %
+Banyak pertanyaan BAGAIMANA: 4, sebesar: 0.47 %
+Banyak pertanyaan KENAPA: 6, sebesar: 0.7 %
+Banyak pertanyaan BERAPA: 42, sebesar: 4.9 %
+Banyak pertanyaan LAINNYA: 85, sebesar: 9.92 %
+
+-- Presentase kebenaran --
+Banyak pertanyaan APA yang terpediksi benar sebesar: 50.17 %
+Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 35.29 %
+Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 67.65 %
+Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 50.88 %
+Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 20.0 %
+Banyak pertanyaan KENAPA yang terpediksi benar sebesar: 0.0 %
+Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 67.94 %
+Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 54.55 %
+
+--- Bagian tentang panjang context ---
+-- Bagian tentang panjang context yang terprediksi BENAR --
+Panjang konteks < 100: 359, sebesar: 41.89 %
+Panjang konteks 101 <= x <= 150: 117, sebesar: 13.65 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang context yang terprediksi SALAH --
+Panjang konteks < 100: 232, sebesar: 27.07 %
+Panjang konteks 101 <= x <= 150: 149, sebesar: 17.39 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang konteks < 100 yang terprediksi benar sebesar: 60.74 %
+Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 43.98 %
+Panjang konteks 151 <= x <= 200 yang terprediksi benar sebesar: 0 %
+Panjang konteks 201 <= x <= 250 yang terprediksi benar sebesar: 0 %
+Panjang konteks 251 <= x <= 300 yang terprediksi benar sebesar: 0 %
+Panjang konteks > 300 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang question ---
+-- Bagian tentang panjang question yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 330, sebesar: 38.51 %
+Panjang question 6 <= x <= 10: 146, sebesar: 17.04 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang question yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 222, sebesar: 25.9 %
+Panjang question 6 <= x <= 10: 159, sebesar: 18.55 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 59.78 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 47.87 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang gold answer ---
+-- Bagian tentang panjang gold answer yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 370, sebesar: 43.17 %
+Panjang question 6 <= x <= 10: 106, sebesar: 12.37 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang gold answer yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 244, sebesar: 28.47 %
+Panjang question 6 <= x <= 10: 137, sebesar: 15.99 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 60.26 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 43.62 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang answer type ---
+-- Bagian tentang answer type yang terprediksi BENAR --
+Banyak answer type Person sebanyak: 65, sekitar 6.7991631799163175 %
+Banyak answer type NORP sebanyak: 8, sekitar 0.8368200836820083 %
+Banyak answer type Facility sebanyak: 4, sekitar 0.41841004184100417 %
+Banyak answer type Organization sebanyak: 5, sekitar 0.5230125523012552 %
+Banyak answer type Geo-Political Entity sebanyak: 37, sekitar 3.8702928870292883 %
+Banyak answer type Location sebanyak: 14, sekitar 1.4644351464435146 %
+Banyak answer type Product sebanyak: 33, sekitar 3.4518828451882846 %
+Banyak answer type Event sebanyak: 2, sekitar 0.20920502092050208 %
+Banyak answer type Work of Art sebanyak: 11, sekitar 1.1506276150627615 %
+Banyak answer type Law sebanyak: 0, sekitar 0.0 %
+Banyak answer type Language sebanyak: 2, sekitar 0.20920502092050208 %
+Banyak answer type Date sebanyak: 87, sekitar 9.100418410041842 %
+Banyak answer type Time sebanyak: 0, sekitar 0.0 %
+Banyak answer type Percent sebanyak: 0, sekitar 0.0 %
+Banyak answer type Money sebanyak: 15, sekitar 1.5690376569037656 %
+Banyak answer type Quantity sebanyak: 45, sekitar 4.707112970711297 %
+Banyak answer type Ordinal sebanyak: 26, sekitar 2.7196652719665275 %
+Banyak answer type Cardinal sebanyak: 38, sekitar 3.9748953974895396 %
+Banyak answer type REG sebanyak: 13, sekitar 1.3598326359832638 %
+Banyak answer type Null sebanyak: 122, sekitar 12.761506276150628 %
+
+-- Bagian tentang answer type yang terprediksi SALAH --
+Banyak answer type Person sebanyak: 38, sekitar 3.9748953974895396 %
+Banyak answer type NORP sebanyak: 7, sekitar 0.7322175732217573 %
+Banyak answer type Facility sebanyak: 1, sekitar 0.10460251046025104 %
+Banyak answer type Organization sebanyak: 10, sekitar 1.0460251046025104 %
+Banyak answer type Geo-Political Entity sebanyak: 50, sekitar 5.230125523012552 %
+Banyak answer type Location sebanyak: 21, sekitar 2.1966527196652716 %
+Banyak answer type Product sebanyak: 44, sekitar 4.602510460251046 %
+Banyak answer type Event sebanyak: 3, sekitar 0.3138075313807531 %
+Banyak answer type Work of Art sebanyak: 3, sekitar 0.3138075313807531 %
+Banyak answer type Law sebanyak: 0, sekitar 0.0 %
+Banyak answer type Language sebanyak: 1, sekitar 0.10460251046025104 %
+Banyak answer type Date sebanyak: 53, sekitar 5.543933054393305 %
+Banyak answer type Time sebanyak: 0, sekitar 0.0 %
+Banyak answer type Percent sebanyak: 1, sekitar 0.10460251046025104 %
+Banyak answer type Money sebanyak: 3, sekitar 0.3138075313807531 %
+Banyak answer type Quantity sebanyak: 17, sekitar 1.778242677824268 %
+Banyak answer type Ordinal sebanyak: 15, sekitar 1.5690376569037656 %
+Banyak answer type Cardinal sebanyak: 27, sekitar 2.8242677824267783 %
+Banyak answer type REG sebanyak: 10, sekitar 1.0460251046025104 %
+Banyak answer type Null sebanyak: 125, sekitar 13.07531380753138 %
+
+-- Presentase kebenaran --
+Banyak answer type Person yang terprediksi benar sebesar: 63.11 %
+Banyak answer type NORP yang terprediksi benar sebesar: 53.33 %
+Banyak answer type Facility yang terprediksi benar sebesar: 80.0 %
+Banyak answer type Organization yang terprediksi benar sebesar: 33.33 %
+Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 42.53 %
+Banyak answer type Location yang terprediksi benar sebesar: 40.0 %
+Banyak answer type Product yang terprediksi benar sebesar: 42.86 %
+Banyak answer type Event yang terprediksi benar sebesar: 40.0 %
+Banyak answer type Work of Art yang terprediksi benar sebesar: 78.57 %
+Banyak answer type Law yang terprediksi benar sebesar: 0 %
+Banyak answer type Language yang terprediksi benar sebesar: 66.67 %
+Banyak answer type Date yang terprediksi benar sebesar: 62.14 %
+Banyak answer type Time yang terprediksi benar sebesar: 0 %
+Banyak answer type Percent yang terprediksi benar sebesar: 0.0 %
+Banyak answer type Money yang terprediksi benar sebesar: 83.33 %
+Banyak answer type Quantity yang terprediksi benar sebesar: 72.58 %
+Banyak answer type Ordinal yang terprediksi benar sebesar: 63.41 %
+Banyak answer type Cardinal yang terprediksi benar sebesar: 58.46 %
+Banyak answer type REG yang terprediksi benar sebesar: 56.52 %
+Banyak answer type Null yang terprediksi benar sebesar: 49.39 %
+
+--- Bagian tentang reasoning type ---
+-- Bagian tentang reasoning type yang terprediksi BENAR --
+Banyak reasoning type berjenis WM sebanyak: 5, sebesar: 5.0 %
+Banyak reasoning type berjenis PP sebanyak: 19, sebesar: 19.0 %
+Banyak reasoning type berjenis SSR sebanyak: 8, sebesar: 8.0 %
+Banyak reasoning type berjenis MSR sebanyak: 14, sebesar: 14.0 %
+Banyak reasoning type berjenis AoI sebanyak: 13, sebesar: 13.0 %
+
+-- Bagian tentang reasoning type yang terprediksi SALAH --
+Banyak reasoning type berjenis WM sebanyak: 4, sebesar: 4.0 %
+Banyak reasoning type berjenis PP sebanyak: 13, sebesar: 13.0 %
+Banyak reasoning type berjenis SSR sebanyak: 9, sebesar: 9.0 %
+Banyak reasoning type berjenis MSR sebanyak: 8, sebesar: 8.0 %
+Banyak reasoning type berjenis AoI sebanyak: 7, sebesar: 7.0 %
+
+-- Presentase kebenaran --
+Banyak reasoning type berjenis WM yang terprediksi benar sebesar: 55.56 %
+Banyak reasoning type berjenis PP yang terprediksi benar sebesar: 59.38 %
+Banyak reasoning type berjenis SSR yang terprediksi benar sebesar: 47.06 %
+Banyak reasoning type berjenis MSR yang terprediksi benar sebesar: 63.64 %
+Banyak reasoning type berjenis AoI yang terprediksi benar sebesar: 65.0 %
+

results/evaluation/metric_result.txt

@@ -0,0 +1 @@
+{'exact_match': 55.542590431738624, 'f1': 69.1131446166609}