Upload results/evaluation with huggingface_hub

results/evaluation/general_evaluation_results.txt

@@ -0,0 +1,189 @@
+--- Bagian tentang question type ---
+-- Bagian tentang question type yang terprediksi BENAR --
+Banyak pertanyaan APA: 143, sebesar: 16.69 %
+Banyak pertanyaan DIMANA: 10, sebesar: 1.17 %
+Banyak pertanyaan KAPAN: 84, sebesar: 9.8 %
+Banyak pertanyaan SIAPA: 31, sebesar: 3.62 %
+Banyak pertanyaan BAGAIMANA: 1, sebesar: 0.12 %
+Banyak pertanyaan KENAPA: 0, sebesar: 0.0 %
+Banyak pertanyaan BERAPA: 91, sebesar: 10.62 %
+Banyak pertanyaan LAINNYA: 82, sebesar: 9.57 %
+
+-- Bagian tentang question type yang terprediksi SALAH --
+Banyak pertanyaan APA: 158, sebesar: 18.44 %
+Banyak pertanyaan DIMANA: 24, sebesar: 2.8 %
+Banyak pertanyaan KAPAN: 52, sebesar: 6.07 %
+Banyak pertanyaan SIAPA: 26, sebesar: 3.03 %
+Banyak pertanyaan BAGAIMANA: 4, sebesar: 0.47 %
+Banyak pertanyaan KENAPA: 6, sebesar: 0.7 %
+Banyak pertanyaan BERAPA: 40, sebesar: 4.67 %
+Banyak pertanyaan LAINNYA: 105, sebesar: 12.25 %
+
+-- Presentase kebenaran --
+Banyak pertanyaan APA yang terpediksi benar sebesar: 47.51 %
+Banyak pertanyaan DIMANA yang terpediksi benar sebesar: 29.41 %
+Banyak pertanyaan KAPAN yang terpediksi benar sebesar: 61.76 %
+Banyak pertanyaan SIAPA yang terpediksi benar sebesar: 54.39 %
+Banyak pertanyaan BAGAIMANA yang terpediksi benar sebesar: 20.0 %
+Banyak pertanyaan KENAPA yang terpediksi benar sebesar: 0.0 %
+Banyak pertanyaan BERAPA yang terpediksi benar sebesar: 69.47 %
+Banyak pertanyaan LAINNYA yang terpediksi benar sebesar: 43.85 %
+
+--- Bagian tentang panjang context ---
+-- Bagian tentang panjang context yang terprediksi BENAR --
+Panjang konteks < 100: 337, sebesar: 39.32 %
+Panjang konteks 101 <= x <= 150: 105, sebesar: 12.25 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang context yang terprediksi SALAH --
+Panjang konteks < 100: 251, sebesar: 29.29 %
+Panjang konteks 101 <= x <= 150: 164, sebesar: 19.14 %
+Panjang konteks 151 <= x <= 200: 0, sebesar: 0.0 %
+Panjang konteks 201 <= x <= 250: 0, sebesar: 0.0 %
+Panjang konteks 251 <= x <= 300: 0, sebesar: 0.0 %
+Panjang konteks > 300: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang konteks < 100 yang terprediksi benar sebesar: 57.31 %
+Panjang konteks 101 <= x <= 150 yang terprediksi benar sebesar: 39.03 %
+Panjang konteks 151 <= x <= 200 yang terprediksi benar sebesar: 0 %
+Panjang konteks 201 <= x <= 250 yang terprediksi benar sebesar: 0 %
+Panjang konteks 251 <= x <= 300 yang terprediksi benar sebesar: 0 %
+Panjang konteks > 300 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang question ---
+-- Bagian tentang panjang question yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 307, sebesar: 35.82 %
+Panjang question 6 <= x <= 10: 135, sebesar: 15.75 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang question yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 245, sebesar: 28.59 %
+Panjang question 6 <= x <= 10: 170, sebesar: 19.84 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 55.62 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 44.26 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang panjang gold answer ---
+-- Bagian tentang panjang gold answer yang terprediksi BENAR --
+Panjang question 1 <= x <= 5: 337, sebesar: 39.32 %
+Panjang question 6 <= x <= 10: 105, sebesar: 12.25 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Bagian tentang panjang gold answer yang terprediksi SALAH --
+Panjang question 1 <= x <= 5: 277, sebesar: 32.32 %
+Panjang question 6 <= x <= 10: 138, sebesar: 16.1 %
+Panjang question 11 <= x <= 15: 0, sebesar: 0.0 %
+Panjang question 16 <= x <= 20: 0, sebesar: 0.0 %
+Panjang question > 20: 0, sebesar: 0.0 %
+
+-- Presentase kebenaran --
+Panjang question 1 <= x <= 5 yang terprediksi benar sebesar: 54.89 %
+Panjang question 6 <= x <= 10 yang terprediksi benar sebesar: 43.21 %
+Panjang question 11 <= x <= 15 yang terprediksi benar sebesar: 0 %
+Panjang question 16 <= x <= 20 yang terprediksi benar sebesar: 0 %
+Panjang question > 20 yang terprediksi benar sebesar: 0 %
+
+--- Bagian tentang answer type ---
+-- Bagian tentang answer type yang terprediksi BENAR --
+Banyak answer type Person sebanyak: 56, sekitar 5.876180482686253 %
+Banyak answer type NORP sebanyak: 4, sekitar 0.4197271773347324 %
+Banyak answer type Facility sebanyak: 4, sekitar 0.4197271773347324 %
+Banyak answer type Organization sebanyak: 3, sekitar 0.3147953830010493 %
+Banyak answer type Geo-Political Entity sebanyak: 24, sekitar 2.5183630640083945 %
+Banyak answer type Location sebanyak: 11, sekitar 1.154249737670514 %
+Banyak answer type Product sebanyak: 37, sekitar 3.882476390346275 %
+Banyak answer type Event sebanyak: 3, sekitar 0.3147953830010493 %
+Banyak answer type Work of Art sebanyak: 10, sekitar 1.049317943336831 %
+Banyak answer type Law sebanyak: 0, sekitar 0.0 %
+Banyak answer type Language sebanyak: 2, sekitar 0.2098635886673662 %
+Banyak answer type Date sebanyak: 86, sekitar 9.024134312696747 %
+Banyak answer type Time sebanyak: 0, sekitar 0.0 %
+Banyak answer type Percent sebanyak: 0, sekitar 0.0 %
+Banyak answer type Money sebanyak: 5, sekitar 0.5246589716684155 %
+Banyak answer type Quantity sebanyak: 67, sekitar 7.0304302203567675 %
+Banyak answer type Ordinal sebanyak: 22, sekitar 2.308499475341028 %
+Banyak answer type Cardinal sebanyak: 26, sekitar 2.728226652675761 %
+Banyak answer type REG sebanyak: 12, sekitar 1.2591815320041972 %
+Banyak answer type Null sebanyak: 110, sekitar 11.542497376705143 %
+
+-- Bagian tentang answer type yang terprediksi SALAH --
+Banyak answer type Person sebanyak: 47, sekitar 4.931794333683106 %
+Banyak answer type NORP sebanyak: 12, sekitar 1.2591815320041972 %
+Banyak answer type Facility sebanyak: 1, sekitar 0.1049317943336831 %
+Banyak answer type Organization sebanyak: 12, sekitar 1.2591815320041972 %
+Banyak answer type Geo-Political Entity sebanyak: 62, sekitar 6.505771248688353 %
+Banyak answer type Location sebanyak: 24, sekitar 2.5183630640083945 %
+Banyak answer type Product sebanyak: 41, sekitar 4.3022035676810075 %
+Banyak answer type Event sebanyak: 2, sekitar 0.2098635886673662 %
+Banyak answer type Work of Art sebanyak: 4, sekitar 0.4197271773347324 %
+Banyak answer type Law sebanyak: 0, sekitar 0.0 %
+Banyak answer type Language sebanyak: 1, sekitar 0.1049317943336831 %
+Banyak answer type Date sebanyak: 54, sekitar 5.6663168940188875 %
+Banyak answer type Time sebanyak: 0, sekitar 0.0 %
+Banyak answer type Percent sebanyak: 1, sekitar 0.1049317943336831 %
+Banyak answer type Money sebanyak: 4, sekitar 0.4197271773347324 %
+Banyak answer type Quantity sebanyak: 18, sekitar 1.888772298006296 %
+Banyak answer type Ordinal sebanyak: 13, sekitar 1.3641133263378804 %
+Banyak answer type Cardinal sebanyak: 27, sekitar 2.8331584470094437 %
+Banyak answer type REG sebanyak: 11, sekitar 1.154249737670514 %
+Banyak answer type Null sebanyak: 137, sekitar 14.375655823714586 %
+
+-- Presentase kebenaran --
+Banyak answer type Person yang terprediksi benar sebesar: 54.37 %
+Banyak answer type NORP yang terprediksi benar sebesar: 25.0 %
+Banyak answer type Facility yang terprediksi benar sebesar: 80.0 %
+Banyak answer type Organization yang terprediksi benar sebesar: 20.0 %
+Banyak answer type Geo-Political Entity yang terprediksi benar sebesar: 27.91 %
+Banyak answer type Location yang terprediksi benar sebesar: 31.43 %
+Banyak answer type Product yang terprediksi benar sebesar: 47.44 %
+Banyak answer type Event yang terprediksi benar sebesar: 60.0 %
+Banyak answer type Work of Art yang terprediksi benar sebesar: 71.43 %
+Banyak answer type Law yang terprediksi benar sebesar: 0 %
+Banyak answer type Language yang terprediksi benar sebesar: 66.67 %
+Banyak answer type Date yang terprediksi benar sebesar: 61.43 %
+Banyak answer type Time yang terprediksi benar sebesar: 0 %
+Banyak answer type Percent yang terprediksi benar sebesar: 0.0 %
+Banyak answer type Money yang terprediksi benar sebesar: 55.56 %
+Banyak answer type Quantity yang terprediksi benar sebesar: 78.82 %
+Banyak answer type Ordinal yang terprediksi benar sebesar: 62.86 %
+Banyak answer type Cardinal yang terprediksi benar sebesar: 49.06 %
+Banyak answer type REG yang terprediksi benar sebesar: 52.17 %
+Banyak answer type Null yang terprediksi benar sebesar: 44.53 %
+
+--- Bagian tentang reasoning type ---
+-- Bagian tentang reasoning type yang terprediksi BENAR --
+Banyak reasoning type berjenis WM sebanyak: 4, sebesar: 4.0 %
+Banyak reasoning type berjenis PP sebanyak: 15, sebesar: 15.0 %
+Banyak reasoning type berjenis SSR sebanyak: 10, sebesar: 10.0 %
+Banyak reasoning type berjenis MSR sebanyak: 11, sebesar: 11.0 %
+Banyak reasoning type berjenis AoI sebanyak: 9, sebesar: 9.0 %
+
+-- Bagian tentang reasoning type yang terprediksi SALAH --
+Banyak reasoning type berjenis WM sebanyak: 5, sebesar: 5.0 %
+Banyak reasoning type berjenis PP sebanyak: 17, sebesar: 17.0 %
+Banyak reasoning type berjenis SSR sebanyak: 7, sebesar: 7.0 %
+Banyak reasoning type berjenis MSR sebanyak: 11, sebesar: 11.0 %
+Banyak reasoning type berjenis AoI sebanyak: 11, sebesar: 11.0 %
+
+-- Presentase kebenaran --
+Banyak reasoning type berjenis WM yang terprediksi benar sebesar: 44.44 %
+Banyak reasoning type berjenis PP yang terprediksi benar sebesar: 46.88 %
+Banyak reasoning type berjenis SSR yang terprediksi benar sebesar: 58.82 %
+Banyak reasoning type berjenis MSR yang terprediksi benar sebesar: 50.0 %
+Banyak reasoning type berjenis AoI yang terprediksi benar sebesar: 45.0 %
+

results/evaluation/metric_result.txt

@@ -0,0 +1 @@
+{'exact_match': 51.5752625437573, 'f1': 64.7771585202949}