vit5-ner-ghtk-cs-new-data-3090-25Aug-1

This model is a fine-tuned version of VietAI/vit5-base on the None dataset. It achieves the following results on the evaluation set:

• Loss: 2.7568
• cmt: {'precision': 0.36363636363636365, 'recall': 0.5, 'f1': 0.4210526315789474, 'number': 8}
• Tk: {'precision': 0.75625, 'recall': 0.5960591133004927, 'f1': 0.6666666666666667, 'number': 203}
• A: {'precision': 0.9617834394904459, 'recall': 0.949685534591195, 'f1': 0.9556962025316456, 'number': 318}
• Gày: {'precision': 0.5238095238095238, 'recall': 0.6470588235294118, 'f1': 0.5789473684210527, 'number': 17}
• Gày trừu tượng: {'precision': 0.8742857142857143, 'recall': 0.8947368421052632, 'f1': 0.8843930635838151, 'number': 342}
• Gân hàng: {'precision': 0.7692307692307693, 'recall': 0.8, 'f1': 0.7843137254901961, 'number': 25}
• Hương thức thanh toán: {'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24}
• Hối lượng: {'precision': 0.35714285714285715, 'recall': 0.625, 'f1': 0.45454545454545453, 'number': 8}
• Iền: {'precision': 0.5185185185185185, 'recall': 0.6363636363636364, 'f1': 0.5714285714285714, 'number': 22}
• Iờ: {'precision': 0.6923076923076923, 'recall': 0.84375, 'f1': 0.7605633802816902, 'number': 32}
• Mail: {'precision': 0.9585987261146497, 'recall': 0.9647435897435898, 'f1': 0.9616613418530351, 'number': 312}
• Ã đơn: {'precision': 0.7058823529411765, 'recall': 0.8, 'f1': 0.7500000000000001, 'number': 195}
• Ên người: {'precision': 0.3684210526315789, 'recall': 0.35, 'f1': 0.358974358974359, 'number': 20}
• Đt: {'precision': 0.890625, 'recall': 0.9769683985002678, 'f1': 0.931800766283525, 'number': 1867}
• Đt trừu tượng: {'precision': 0.8169014084507042, 'recall': 0.7891156462585034, 'f1': 0.8027681660899654, 'number': 147}
• Ơn vị đo: {'precision': 0.8421052631578947, 'recall': 0.8421052631578947, 'f1': 0.8421052631578947, 'number': 19}
• Ản phẩm cụ thể: {'precision': 0.7027027027027027, 'recall': 0.5777777777777777, 'f1': 0.6341463414634145, 'number': 45}
• Ản phẩm trừu tượng: {'precision': 0.7222222222222222, 'recall': 0.65, 'f1': 0.6842105263157895, 'number': 20}
• Ịa chỉ cụ thể: {'precision': 0.3076923076923077, 'recall': 0.25806451612903225, 'f1': 0.2807017543859649, 'number': 31}
• Ịa chỉ trừu tượng: {'precision': 0.7358490566037735, 'recall': 0.6842105263157895, 'f1': 0.709090909090909, 'number': 57}
• Overall Precision: 0.8592
• Overall Recall: 0.8990
• Overall F1: 0.8786
• Overall Accuracy: 0.8967

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 4
• eval_batch_size: 4
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss	cmt	Tk	A	Gày	Gày trừu tượng	Gân hàng	Hương thức thanh toán	Hối lượng	Iền	Iờ	Mail	à đơn	Ên người	Đt	Đt trừu tượng	Ơn vị đo	Ản phẩm cụ thể	Ản phẩm trừu tượng	Ịa chỉ cụ thể	Ịa chỉ trừu tượng	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.4279	1.0	1470	1.3941	{'precision': 0.21621621621621623, 'recall': 1.0, 'f1': 0.35555555555555557, 'number': 8}	{'precision': 1.0, 'recall': 0.21182266009852216, 'f1': 0.3495934959349593, 'number': 203}	{'precision': 0.9219219219219219, 'recall': 0.9654088050314465, 'f1': 0.9431643625192012, 'number': 318}	{'precision': 0.3333333333333333, 'recall': 0.8235294117647058, 'f1': 0.4745762711864407, 'number': 17}	{'precision': 0.8181818181818182, 'recall': 0.8947368421052632, 'f1': 0.8547486033519553, 'number': 342}	{'precision': 0.7692307692307693, 'recall': 0.8, 'f1': 0.7843137254901961, 'number': 25}	{'precision': 0.8076923076923077, 'recall': 0.875, 'f1': 0.8400000000000001, 'number': 24}	{'precision': 0.14814814814814814, 'recall': 0.5, 'f1': 0.22857142857142856, 'number': 8}	{'precision': 0.3235294117647059, 'recall': 0.5, 'f1': 0.3928571428571429, 'number': 22}	{'precision': 0.36923076923076925, 'recall': 0.75, 'f1': 0.4948453608247423, 'number': 32}	{'precision': 0.9283387622149837, 'recall': 0.9134615384615384, 'f1': 0.9208400646203555, 'number': 312}	{'precision': 0.4660493827160494, 'recall': 0.7743589743589744, 'f1': 0.5818882466281311, 'number': 195}	{'precision': 0.2564102564102564, 'recall': 0.5, 'f1': 0.3389830508474576, 'number': 20}	{'precision': 0.8791748526522594, 'recall': 0.9587573647562935, 'f1': 0.9172431462977196, 'number': 1867}	{'precision': 0.6927083333333334, 'recall': 0.9047619047619048, 'f1': 0.784660766961652, 'number': 147}	{'precision': 0.5666666666666667, 'recall': 0.8947368421052632, 'f1': 0.6938775510204083, 'number': 19}	{'precision': 0.7105263157894737, 'recall': 0.6, 'f1': 0.6506024096385543, 'number': 45}	{'precision': 0.6842105263157895, 'recall': 0.65, 'f1': 0.6666666666666667, 'number': 20}	{'precision': 0.24, 'recall': 0.1935483870967742, 'f1': 0.21428571428571427, 'number': 31}	{'precision': 0.5483870967741935, 'recall': 0.5964912280701754, 'f1': 0.5714285714285714, 'number': 57}	0.7904	0.8685	0.8276	0.8710
0.5565	2.0	2940	1.6641	{'precision': 0.18181818181818182, 'recall': 0.25, 'f1': 0.2105263157894737, 'number': 8}	{'precision': 1.0, 'recall': 0.2857142857142857, 'f1': 0.4444444444444445, 'number': 203}	{'precision': 0.9415384615384615, 'recall': 0.9622641509433962, 'f1': 0.9517884914463453, 'number': 318}	{'precision': 0.3333333333333333, 'recall': 0.7058823529411765, 'f1': 0.45283018867924524, 'number': 17}	{'precision': 0.8753623188405797, 'recall': 0.8830409356725146, 'f1': 0.8791848617176128, 'number': 342}	{'precision': 0.64, 'recall': 0.64, 'f1': 0.64, 'number': 25}	{'precision': 0.8461538461538461, 'recall': 0.9166666666666666, 'f1': 0.8799999999999999, 'number': 24}	{'precision': 0.5, 'recall': 0.375, 'f1': 0.42857142857142855, 'number': 8}	{'precision': 0.4444444444444444, 'recall': 0.36363636363636365, 'f1': 0.39999999999999997, 'number': 22}	{'precision': 0.4716981132075472, 'recall': 0.78125, 'f1': 0.588235294117647, 'number': 32}	{'precision': 0.9719298245614035, 'recall': 0.8878205128205128, 'f1': 0.9279731993299833, 'number': 312}	{'precision': 0.5167597765363129, 'recall': 0.9487179487179487, 'f1': 0.6690777576853527, 'number': 195}	{'precision': 0.26666666666666666, 'recall': 0.2, 'f1': 0.2285714285714286, 'number': 20}	{'precision': 0.8198675496688742, 'recall': 0.9946438136047134, 'f1': 0.8988383349467571, 'number': 1867}	{'precision': 0.8270676691729323, 'recall': 0.7482993197278912, 'f1': 0.7857142857142857, 'number': 147}	{'precision': 0.7692307692307693, 'recall': 0.5263157894736842, 'f1': 0.625, 'number': 19}	{'precision': 0.7037037037037037, 'recall': 0.4222222222222222, 'f1': 0.5277777777777777, 'number': 45}	{'precision': 0.6153846153846154, 'recall': 0.4, 'f1': 0.4848484848484849, 'number': 20}	{'precision': 0.22580645161290322, 'recall': 0.22580645161290322, 'f1': 0.22580645161290322, 'number': 31}	{'precision': 0.6785714285714286, 'recall': 0.6666666666666666, 'f1': 0.6725663716814159, 'number': 57}	0.7975	0.8807	0.8370	0.8497
0.3428	3.0	4410	1.1250	{'precision': 0.6666666666666666, 'recall': 1.0, 'f1': 0.8, 'number': 8}	{'precision': 0.6457142857142857, 'recall': 0.5566502463054187, 'f1': 0.5978835978835978, 'number': 203}	{'precision': 0.9737704918032787, 'recall': 0.9339622641509434, 'f1': 0.9534510433386838, 'number': 318}	{'precision': 0.3939393939393939, 'recall': 0.7647058823529411, 'f1': 0.5199999999999999, 'number': 17}	{'precision': 0.8440860215053764, 'recall': 0.9181286549707602, 'f1': 0.8795518207282913, 'number': 342}	{'precision': 0.7307692307692307, 'recall': 0.76, 'f1': 0.7450980392156863, 'number': 25}	{'precision': 0.7692307692307693, 'recall': 0.8333333333333334, 'f1': 0.8, 'number': 24}	{'precision': 0.21052631578947367, 'recall': 0.5, 'f1': 0.2962962962962963, 'number': 8}	{'precision': 0.5555555555555556, 'recall': 0.45454545454545453, 'f1': 0.5, 'number': 22}	{'precision': 0.5652173913043478, 'recall': 0.8125, 'f1': 0.6666666666666667, 'number': 32}	{'precision': 0.9216867469879518, 'recall': 0.9807692307692307, 'f1': 0.9503105590062112, 'number': 312}	{'precision': 0.6618357487922706, 'recall': 0.7025641025641025, 'f1': 0.681592039800995, 'number': 195}	{'precision': 0.38461538461538464, 'recall': 0.25, 'f1': 0.30303030303030304, 'number': 20}	{'precision': 0.8602599814298979, 'recall': 0.9925013390465989, 'f1': 0.9216612782889829, 'number': 1867}	{'precision': 0.7103825136612022, 'recall': 0.8843537414965986, 'f1': 0.7878787878787878, 'number': 147}	{'precision': 0.7142857142857143, 'recall': 0.5263157894736842, 'f1': 0.6060606060606061, 'number': 19}	{'precision': 0.696969696969697, 'recall': 0.5111111111111111, 'f1': 0.5897435897435898, 'number': 45}	{'precision': 0.6363636363636364, 'recall': 0.35, 'f1': 0.45161290322580644, 'number': 20}	{'precision': 0.15384615384615385, 'recall': 0.12903225806451613, 'f1': 0.14035087719298245, 'number': 31}	{'precision': 0.6415094339622641, 'recall': 0.5964912280701754, 'f1': 0.6181818181818182, 'number': 57}	0.8213	0.8979	0.8579	0.8936
0.2065	4.0	5880	1.2166	{'precision': 0.4375, 'recall': 0.875, 'f1': 0.5833333333333334, 'number': 8}	{'precision': 0.6680161943319838, 'recall': 0.812807881773399, 'f1': 0.7333333333333333, 'number': 203}	{'precision': 0.9552715654952076, 'recall': 0.940251572327044, 'f1': 0.94770206022187, 'number': 318}	{'precision': 0.38235294117647056, 'recall': 0.7647058823529411, 'f1': 0.5098039215686274, 'number': 17}	{'precision': 0.8849557522123894, 'recall': 0.8771929824561403, 'f1': 0.8810572687224669, 'number': 342}	{'precision': 0.7, 'recall': 0.84, 'f1': 0.7636363636363636, 'number': 25}	{'precision': 0.8076923076923077, 'recall': 0.875, 'f1': 0.8400000000000001, 'number': 24}	{'precision': 0.4, 'recall': 0.5, 'f1': 0.4444444444444445, 'number': 8}	{'precision': 0.5, 'recall': 0.6363636363636364, 'f1': 0.56, 'number': 22}	{'precision': 0.5609756097560976, 'recall': 0.71875, 'f1': 0.6301369863013699, 'number': 32}	{'precision': 0.941717791411043, 'recall': 0.9839743589743589, 'f1': 0.9623824451410657, 'number': 312}	{'precision': 0.6014760147601476, 'recall': 0.8358974358974359, 'f1': 0.6995708154506437, 'number': 195}	{'precision': 0.4, 'recall': 0.4, 'f1': 0.4000000000000001, 'number': 20}	{'precision': 0.891358024691358, 'recall': 0.9667916443492234, 'f1': 0.9275436793422406, 'number': 1867}	{'precision': 0.6648648648648648, 'recall': 0.8367346938775511, 'f1': 0.7409638554216866, 'number': 147}	{'precision': 0.75, 'recall': 0.631578947368421, 'f1': 0.6857142857142857, 'number': 19}	{'precision': 0.7647058823529411, 'recall': 0.5777777777777777, 'f1': 0.6582278481012658, 'number': 45}	{'precision': 0.625, 'recall': 0.75, 'f1': 0.6818181818181818, 'number': 20}	{'precision': 0.1111111111111111, 'recall': 0.0967741935483871, 'f1': 0.10344827586206896, 'number': 31}	{'precision': 0.5846153846153846, 'recall': 0.6666666666666666, 'f1': 0.6229508196721312, 'number': 57}	0.8259	0.9071	0.8646	0.8922
0.1611	5.0	7350	1.4493	{'precision': 0.4166666666666667, 'recall': 0.625, 'f1': 0.5, 'number': 8}	{'precision': 0.6704545454545454, 'recall': 0.8719211822660099, 'f1': 0.7580299785867238, 'number': 203}	{'precision': 0.9498432601880877, 'recall': 0.9528301886792453, 'f1': 0.9513343799058084, 'number': 318}	{'precision': 0.36666666666666664, 'recall': 0.6470588235294118, 'f1': 0.46808510638297873, 'number': 17}	{'precision': 0.8539944903581267, 'recall': 0.9064327485380117, 'f1': 0.8794326241134751, 'number': 342}	{'precision': 0.7407407407407407, 'recall': 0.8, 'f1': 0.7692307692307692, 'number': 25}	{'precision': 0.8, 'recall': 0.8333333333333334, 'f1': 0.816326530612245, 'number': 24}	{'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 8}	{'precision': 0.55, 'recall': 0.5, 'f1': 0.5238095238095238, 'number': 22}	{'precision': 0.5, 'recall': 0.75, 'f1': 0.6, 'number': 32}	{'precision': 0.9691780821917808, 'recall': 0.907051282051282, 'f1': 0.9370860927152319, 'number': 312}	{'precision': 0.6713615023474179, 'recall': 0.7333333333333333, 'f1': 0.7009803921568627, 'number': 195}	{'precision': 0.3684210526315789, 'recall': 0.35, 'f1': 0.358974358974359, 'number': 20}	{'precision': 0.8805609284332688, 'recall': 0.9753615425816818, 'f1': 0.9255400254129605, 'number': 1867}	{'precision': 0.779874213836478, 'recall': 0.8435374149659864, 'f1': 0.8104575163398693, 'number': 147}	{'precision': 0.7894736842105263, 'recall': 0.7894736842105263, 'f1': 0.7894736842105263, 'number': 19}	{'precision': 0.7894736842105263, 'recall': 0.6666666666666666, 'f1': 0.7228915662650601, 'number': 45}	{'precision': 0.7058823529411765, 'recall': 0.6, 'f1': 0.6486486486486486, 'number': 20}	{'precision': 0.2413793103448276, 'recall': 0.22580645161290322, 'f1': 0.23333333333333334, 'number': 31}	{'precision': 0.76, 'recall': 0.6666666666666666, 'f1': 0.7102803738317756, 'number': 57}	0.8362	0.9065	0.8700	0.8938
0.1397	6.0	8820	1.7623	{'precision': 0.8, 'recall': 1.0, 'f1': 0.888888888888889, 'number': 8}	{'precision': 0.7302631578947368, 'recall': 0.5467980295566502, 'f1': 0.6253521126760564, 'number': 203}	{'precision': 0.9526813880126183, 'recall': 0.949685534591195, 'f1': 0.9511811023622048, 'number': 318}	{'precision': 0.46153846153846156, 'recall': 0.7058823529411765, 'f1': 0.558139534883721, 'number': 17}	{'precision': 0.8603351955307262, 'recall': 0.9005847953216374, 'f1': 0.8799999999999999, 'number': 342}	{'precision': 0.7037037037037037, 'recall': 0.76, 'f1': 0.7307692307692308, 'number': 25}	{'precision': 0.875, 'recall': 0.875, 'f1': 0.875, 'number': 24}	{'precision': 0.2, 'recall': 0.25, 'f1': 0.22222222222222224, 'number': 8}	{'precision': 0.5909090909090909, 'recall': 0.5909090909090909, 'f1': 0.5909090909090909, 'number': 22}	{'precision': 0.5555555555555556, 'recall': 0.625, 'f1': 0.5882352941176471, 'number': 32}	{'precision': 0.9640522875816994, 'recall': 0.9455128205128205, 'f1': 0.9546925566343043, 'number': 312}	{'precision': 0.6583333333333333, 'recall': 0.8102564102564103, 'f1': 0.7264367816091953, 'number': 195}	{'precision': 0.36363636363636365, 'recall': 0.4, 'f1': 0.380952380952381, 'number': 20}	{'precision': 0.8753009147809341, 'recall': 0.9737546866630958, 'f1': 0.9219066937119674, 'number': 1867}	{'precision': 0.7804878048780488, 'recall': 0.8707482993197279, 'f1': 0.8231511254019294, 'number': 147}	{'precision': 0.8125, 'recall': 0.6842105263157895, 'f1': 0.742857142857143, 'number': 19}	{'precision': 0.7, 'recall': 0.6222222222222222, 'f1': 0.6588235294117647, 'number': 45}	{'precision': 0.7222222222222222, 'recall': 0.65, 'f1': 0.6842105263157895, 'number': 20}	{'precision': 0.16666666666666666, 'recall': 0.16129032258064516, 'f1': 0.16393442622950818, 'number': 31}	{'precision': 0.6909090909090909, 'recall': 0.6666666666666666, 'f1': 0.6785714285714286, 'number': 57}	0.8405	0.8944	0.8666	0.8914
0.0995	7.0	10290	2.0166	{'precision': 0.6363636363636364, 'recall': 0.875, 'f1': 0.7368421052631579, 'number': 8}	{'precision': 0.7019867549668874, 'recall': 0.5221674876847291, 'f1': 0.5988700564971752, 'number': 203}	{'precision': 0.9735099337748344, 'recall': 0.9245283018867925, 'f1': 0.9483870967741936, 'number': 318}	{'precision': 0.6470588235294118, 'recall': 0.6470588235294118, 'f1': 0.6470588235294118, 'number': 17}	{'precision': 0.8813056379821959, 'recall': 0.868421052631579, 'f1': 0.8748159057437407, 'number': 342}	{'precision': 0.7142857142857143, 'recall': 0.8, 'f1': 0.7547169811320756, 'number': 25}	{'precision': 0.8695652173913043, 'recall': 0.8333333333333334, 'f1': 0.851063829787234, 'number': 24}	{'precision': 0.26666666666666666, 'recall': 0.5, 'f1': 0.3478260869565218, 'number': 8}	{'precision': 0.5925925925925926, 'recall': 0.7272727272727273, 'f1': 0.6530612244897959, 'number': 22}	{'precision': 0.675, 'recall': 0.84375, 'f1': 0.75, 'number': 32}	{'precision': 0.9333333333333333, 'recall': 0.9423076923076923, 'f1': 0.937799043062201, 'number': 312}	{'precision': 0.6666666666666666, 'recall': 0.7897435897435897, 'f1': 0.7230046948356806, 'number': 195}	{'precision': 0.4444444444444444, 'recall': 0.4, 'f1': 0.4210526315789474, 'number': 20}	{'precision': 0.8566729323308271, 'recall': 0.9764327798607392, 'f1': 0.9126408010012516, 'number': 1867}	{'precision': 0.8071428571428572, 'recall': 0.7687074829931972, 'f1': 0.7874564459930313, 'number': 147}	{'precision': 0.8235294117647058, 'recall': 0.7368421052631579, 'f1': 0.7777777777777778, 'number': 19}	{'precision': 0.6666666666666666, 'recall': 0.5333333333333333, 'f1': 0.5925925925925926, 'number': 45}	{'precision': 0.7058823529411765, 'recall': 0.6, 'f1': 0.6486486486486486, 'number': 20}	{'precision': 0.21212121212121213, 'recall': 0.22580645161290322, 'f1': 0.21875, 'number': 31}	{'precision': 0.7708333333333334, 'recall': 0.6491228070175439, 'f1': 0.7047619047619048, 'number': 57}	0.8358	0.8858	0.8601	0.8924
0.0408	8.0	11760	2.0541	{'precision': 0.5714285714285714, 'recall': 0.5, 'f1': 0.5333333333333333, 'number': 8}	{'precision': 0.6976744186046512, 'recall': 0.5911330049261084, 'f1': 0.64, 'number': 203}	{'precision': 0.9525316455696202, 'recall': 0.9465408805031447, 'f1': 0.9495268138801262, 'number': 318}	{'precision': 0.47619047619047616, 'recall': 0.5882352941176471, 'f1': 0.5263157894736842, 'number': 17}	{'precision': 0.8775510204081632, 'recall': 0.8801169590643275, 'f1': 0.8788321167883212, 'number': 342}	{'precision': 0.7241379310344828, 'recall': 0.84, 'f1': 0.7777777777777777, 'number': 25}	{'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24}	{'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 8}	{'precision': 0.6111111111111112, 'recall': 0.5, 'f1': 0.55, 'number': 22}	{'precision': 0.6774193548387096, 'recall': 0.65625, 'f1': 0.6666666666666667, 'number': 32}	{'precision': 0.9514563106796117, 'recall': 0.9423076923076923, 'f1': 0.9468599033816425, 'number': 312}	{'precision': 0.7014925373134329, 'recall': 0.7230769230769231, 'f1': 0.712121212121212, 'number': 195}	{'precision': 0.45, 'recall': 0.45, 'f1': 0.45, 'number': 20}	{'precision': 0.8904176904176904, 'recall': 0.9705409748259239, 'f1': 0.9287544848795489, 'number': 1867}	{'precision': 0.795774647887324, 'recall': 0.7687074829931972, 'f1': 0.7820069204152249, 'number': 147}	{'precision': 0.8235294117647058, 'recall': 0.7368421052631579, 'f1': 0.7777777777777778, 'number': 19}	{'precision': 0.5833333333333334, 'recall': 0.3111111111111111, 'f1': 0.4057971014492754, 'number': 45}	{'precision': 0.7647058823529411, 'recall': 0.65, 'f1': 0.7027027027027027, 'number': 20}	{'precision': 0.2222222222222222, 'recall': 0.1935483870967742, 'f1': 0.20689655172413793, 'number': 31}	{'precision': 0.74, 'recall': 0.6491228070175439, 'f1': 0.6915887850467289, 'number': 57}	0.8561	0.8801	0.8680	0.8918
0.0461	9.0	13230	2.2896	{'precision': 0.75, 'recall': 0.75, 'f1': 0.75, 'number': 8}	{'precision': 0.7535211267605634, 'recall': 0.5270935960591133, 'f1': 0.6202898550724638, 'number': 203}	{'precision': 0.9707792207792207, 'recall': 0.940251572327044, 'f1': 0.9552715654952075, 'number': 318}	{'precision': 0.5652173913043478, 'recall': 0.7647058823529411, 'f1': 0.65, 'number': 17}	{'precision': 0.8724637681159421, 'recall': 0.8801169590643275, 'f1': 0.8762736535662301, 'number': 342}	{'precision': 0.7777777777777778, 'recall': 0.84, 'f1': 0.8076923076923077, 'number': 25}	{'precision': 0.8076923076923077, 'recall': 0.875, 'f1': 0.8400000000000001, 'number': 24}	{'precision': 0.35714285714285715, 'recall': 0.625, 'f1': 0.45454545454545453, 'number': 8}	{'precision': 0.7, 'recall': 0.6363636363636364, 'f1': 0.6666666666666666, 'number': 22}	{'precision': 0.5897435897435898, 'recall': 0.71875, 'f1': 0.6478873239436619, 'number': 32}	{'precision': 0.9611650485436893, 'recall': 0.9519230769230769, 'f1': 0.9565217391304348, 'number': 312}	{'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 195}	{'precision': 0.4444444444444444, 'recall': 0.4, 'f1': 0.4210526315789474, 'number': 20}	{'precision': 0.8626425855513308, 'recall': 0.9721478307445099, 'f1': 0.9141274238227146, 'number': 1867}	{'precision': 0.8692307692307693, 'recall': 0.7687074829931972, 'f1': 0.8158844765342961, 'number': 147}	{'precision': 0.7272727272727273, 'recall': 0.8421052631578947, 'f1': 0.7804878048780488, 'number': 19}	{'precision': 0.7647058823529411, 'recall': 0.5777777777777777, 'f1': 0.6582278481012658, 'number': 45}	{'precision': 0.65, 'recall': 0.65, 'f1': 0.65, 'number': 20}	{'precision': 0.2682926829268293, 'recall': 0.3548387096774194, 'f1': 0.3055555555555556, 'number': 31}	{'precision': 0.72, 'recall': 0.631578947368421, 'f1': 0.6728971962616822, 'number': 57}	0.8434	0.8893	0.8657	0.8927
0.0441	10.0	14700	2.4986	{'precision': 0.36363636363636365, 'recall': 0.5, 'f1': 0.4210526315789474, 'number': 8}	{'precision': 0.7150837988826816, 'recall': 0.6305418719211823, 'f1': 0.6701570680628273, 'number': 203}	{'precision': 0.9583333333333334, 'recall': 0.940251572327044, 'f1': 0.9492063492063493, 'number': 318}	{'precision': 0.6, 'recall': 0.7058823529411765, 'f1': 0.6486486486486486, 'number': 17}	{'precision': 0.8859649122807017, 'recall': 0.8859649122807017, 'f1': 0.8859649122807017, 'number': 342}	{'precision': 0.6774193548387096, 'recall': 0.84, 'f1': 0.75, 'number': 25}	{'precision': 0.7692307692307693, 'recall': 0.8333333333333334, 'f1': 0.8, 'number': 24}	{'precision': 0.35714285714285715, 'recall': 0.625, 'f1': 0.45454545454545453, 'number': 8}	{'precision': 0.5862068965517241, 'recall': 0.7727272727272727, 'f1': 0.6666666666666667, 'number': 22}	{'precision': 0.5609756097560976, 'recall': 0.71875, 'f1': 0.6301369863013699, 'number': 32}	{'precision': 0.9612903225806452, 'recall': 0.9551282051282052, 'f1': 0.9581993569131833, 'number': 312}	{'precision': 0.7, 'recall': 0.7538461538461538, 'f1': 0.725925925925926, 'number': 195}	{'precision': 0.3888888888888889, 'recall': 0.35, 'f1': 0.36842105263157887, 'number': 20}	{'precision': 0.882295719844358, 'recall': 0.9716122121049813, 'f1': 0.924802447106806, 'number': 1867}	{'precision': 0.8322147651006712, 'recall': 0.8435374149659864, 'f1': 0.8378378378378378, 'number': 147}	{'precision': 0.8235294117647058, 'recall': 0.7368421052631579, 'f1': 0.7777777777777778, 'number': 19}	{'precision': 0.7241379310344828, 'recall': 0.4666666666666667, 'f1': 0.5675675675675675, 'number': 45}	{'precision': 0.6842105263157895, 'recall': 0.65, 'f1': 0.6666666666666667, 'number': 20}	{'precision': 0.2413793103448276, 'recall': 0.22580645161290322, 'f1': 0.23333333333333334, 'number': 31}	{'precision': 0.6551724137931034, 'recall': 0.6666666666666666, 'f1': 0.6608695652173913, 'number': 57}	0.85	0.8930	0.8710	0.8944
0.0197	11.0	16170	2.4599	{'precision': 0.36363636363636365, 'recall': 0.5, 'f1': 0.4210526315789474, 'number': 8}	{'precision': 0.7413793103448276, 'recall': 0.6354679802955665, 'f1': 0.6843501326259948, 'number': 203}	{'precision': 0.9614147909967846, 'recall': 0.940251572327044, 'f1': 0.9507154213036566, 'number': 318}	{'precision': 0.5454545454545454, 'recall': 0.7058823529411765, 'f1': 0.6153846153846153, 'number': 17}	{'precision': 0.8703170028818443, 'recall': 0.8830409356725146, 'f1': 0.876632801161103, 'number': 342}	{'precision': 0.7407407407407407, 'recall': 0.8, 'f1': 0.7692307692307692, 'number': 25}	{'precision': 0.7692307692307693, 'recall': 0.8333333333333334, 'f1': 0.8, 'number': 24}	{'precision': 0.4166666666666667, 'recall': 0.625, 'f1': 0.5, 'number': 8}	{'precision': 0.5, 'recall': 0.6363636363636364, 'f1': 0.56, 'number': 22}	{'precision': 0.7, 'recall': 0.875, 'f1': 0.7777777777777777, 'number': 32}	{'precision': 0.952076677316294, 'recall': 0.9551282051282052, 'f1': 0.9536, 'number': 312}	{'precision': 0.7050691244239631, 'recall': 0.7846153846153846, 'f1': 0.7427184466019418, 'number': 195}	{'precision': 0.5333333333333333, 'recall': 0.4, 'f1': 0.4571428571428572, 'number': 20}	{'precision': 0.9025, 'recall': 0.9667916443492234, 'f1': 0.9335402120506853, 'number': 1867}	{'precision': 0.7986111111111112, 'recall': 0.782312925170068, 'f1': 0.7903780068728522, 'number': 147}	{'precision': 0.8421052631578947, 'recall': 0.8421052631578947, 'f1': 0.8421052631578947, 'number': 19}	{'precision': 0.7241379310344828, 'recall': 0.4666666666666667, 'f1': 0.5675675675675675, 'number': 45}	{'precision': 0.7222222222222222, 'recall': 0.65, 'f1': 0.6842105263157895, 'number': 20}	{'precision': 0.23333333333333334, 'recall': 0.22580645161290322, 'f1': 0.22950819672131148, 'number': 31}	{'precision': 0.6909090909090909, 'recall': 0.6666666666666666, 'f1': 0.6785714285714286, 'number': 57}	0.8616	0.8909	0.8760	0.8958
0.0323	12.0	17640	2.6217	{'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 8}	{'precision': 0.7483870967741936, 'recall': 0.5714285714285714, 'f1': 0.6480446927374303, 'number': 203}	{'precision': 0.9615384615384616, 'recall': 0.9433962264150944, 'f1': 0.9523809523809524, 'number': 318}	{'precision': 0.45, 'recall': 0.5294117647058824, 'f1': 0.48648648648648646, 'number': 17}	{'precision': 0.893491124260355, 'recall': 0.8830409356725146, 'f1': 0.8882352941176469, 'number': 342}	{'precision': 0.7692307692307693, 'recall': 0.8, 'f1': 0.7843137254901961, 'number': 25}	{'precision': 0.7692307692307693, 'recall': 0.8333333333333334, 'f1': 0.8, 'number': 24}	{'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 8}	{'precision': 0.4, 'recall': 0.5454545454545454, 'f1': 0.4615384615384615, 'number': 22}	{'precision': 0.6136363636363636, 'recall': 0.84375, 'f1': 0.7105263157894737, 'number': 32}	{'precision': 0.9609120521172638, 'recall': 0.9455128205128205, 'f1': 0.9531502423263328, 'number': 312}	{'precision': 0.7064220183486238, 'recall': 0.7897435897435897, 'f1': 0.7457627118644069, 'number': 195}	{'precision': 0.4375, 'recall': 0.35, 'f1': 0.38888888888888884, 'number': 20}	{'precision': 0.8872691933916423, 'recall': 0.9780396357793251, 'f1': 0.9304458598726114, 'number': 1867}	{'precision': 0.7741935483870968, 'recall': 0.8163265306122449, 'f1': 0.794701986754967, 'number': 147}	{'precision': 0.8421052631578947, 'recall': 0.8421052631578947, 'f1': 0.8421052631578947, 'number': 19}	{'precision': 0.7307692307692307, 'recall': 0.4222222222222222, 'f1': 0.5352112676056338, 'number': 45}	{'precision': 0.7368421052631579, 'recall': 0.7, 'f1': 0.717948717948718, 'number': 20}	{'precision': 0.25925925925925924, 'recall': 0.22580645161290322, 'f1': 0.24137931034482757, 'number': 31}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 57}	0.8538	0.8917	0.8723	0.8923
0.0308	13.0	19110	2.6367	{'precision': 0.3076923076923077, 'recall': 0.5, 'f1': 0.380952380952381, 'number': 8}	{'precision': 0.7628205128205128, 'recall': 0.5862068965517241, 'f1': 0.6629526462395543, 'number': 203}	{'precision': 0.9647435897435898, 'recall': 0.9465408805031447, 'f1': 0.9555555555555556, 'number': 318}	{'precision': 0.4782608695652174, 'recall': 0.6470588235294118, 'f1': 0.55, 'number': 17}	{'precision': 0.8852941176470588, 'recall': 0.8801169590643275, 'f1': 0.8826979472140762, 'number': 342}	{'precision': 0.7307692307692307, 'recall': 0.76, 'f1': 0.7450980392156863, 'number': 25}	{'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24}	{'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 8}	{'precision': 0.46153846153846156, 'recall': 0.5454545454545454, 'f1': 0.4999999999999999, 'number': 22}	{'precision': 0.6052631578947368, 'recall': 0.71875, 'f1': 0.6571428571428571, 'number': 32}	{'precision': 0.9555555555555556, 'recall': 0.9647435897435898, 'f1': 0.960127591706539, 'number': 312}	{'precision': 0.7098214285714286, 'recall': 0.8153846153846154, 'f1': 0.7589498806682579, 'number': 195}	{'precision': 0.5263157894736842, 'recall': 0.5, 'f1': 0.5128205128205129, 'number': 20}	{'precision': 0.8851187590887057, 'recall': 0.9780396357793251, 'f1': 0.9292620865139949, 'number': 1867}	{'precision': 0.8068965517241379, 'recall': 0.7959183673469388, 'f1': 0.8013698630136987, 'number': 147}	{'precision': 0.8333333333333334, 'recall': 0.7894736842105263, 'f1': 0.8108108108108109, 'number': 19}	{'precision': 0.75, 'recall': 0.5333333333333333, 'f1': 0.6233766233766235, 'number': 45}	{'precision': 0.7368421052631579, 'recall': 0.7, 'f1': 0.717948717948718, 'number': 20}	{'precision': 0.2916666666666667, 'recall': 0.22580645161290322, 'f1': 0.2545454545454545, 'number': 31}	{'precision': 0.7450980392156863, 'recall': 0.6666666666666666, 'f1': 0.7037037037037038, 'number': 57}	0.8570	0.8960	0.8761	0.8943
0.014	14.0	20580	2.7100	{'precision': 0.4444444444444444, 'recall': 0.5, 'f1': 0.47058823529411764, 'number': 8}	{'precision': 0.7763157894736842, 'recall': 0.5812807881773399, 'f1': 0.6647887323943662, 'number': 203}	{'precision': 0.9587301587301588, 'recall': 0.949685534591195, 'f1': 0.9541864139020537, 'number': 318}	{'precision': 0.5454545454545454, 'recall': 0.7058823529411765, 'f1': 0.6153846153846153, 'number': 17}	{'precision': 0.8739255014326648, 'recall': 0.8918128654970761, 'f1': 0.8827785817655571, 'number': 342}	{'precision': 0.7692307692307693, 'recall': 0.8, 'f1': 0.7843137254901961, 'number': 25}	{'precision': 0.8, 'recall': 0.8333333333333334, 'f1': 0.816326530612245, 'number': 24}	{'precision': 0.35714285714285715, 'recall': 0.625, 'f1': 0.45454545454545453, 'number': 8}	{'precision': 0.5185185185185185, 'recall': 0.6363636363636364, 'f1': 0.5714285714285714, 'number': 22}	{'precision': 0.6666666666666666, 'recall': 0.8125, 'f1': 0.7323943661971831, 'number': 32}	{'precision': 0.9584664536741214, 'recall': 0.9615384615384616, 'f1': 0.96, 'number': 312}	{'precision': 0.751219512195122, 'recall': 0.7897435897435897, 'f1': 0.7699999999999999, 'number': 195}	{'precision': 0.3684210526315789, 'recall': 0.35, 'f1': 0.358974358974359, 'number': 20}	{'precision': 0.8914956011730205, 'recall': 0.9769683985002678, 'f1': 0.9322770253002812, 'number': 1867}	{'precision': 0.8169014084507042, 'recall': 0.7891156462585034, 'f1': 0.8027681660899654, 'number': 147}	{'precision': 0.8421052631578947, 'recall': 0.8421052631578947, 'f1': 0.8421052631578947, 'number': 19}	{'precision': 0.7647058823529411, 'recall': 0.5777777777777777, 'f1': 0.6582278481012658, 'number': 45}	{'precision': 0.7368421052631579, 'recall': 0.7, 'f1': 0.717948717948718, 'number': 20}	{'precision': 0.3076923076923077, 'recall': 0.25806451612903225, 'f1': 0.2807017543859649, 'number': 31}	{'precision': 0.7647058823529411, 'recall': 0.6842105263157895, 'f1': 0.7222222222222222, 'number': 57}	0.8645	0.8971	0.8805	0.8977
0.0092	15.0	22050	2.7568	{'precision': 0.36363636363636365, 'recall': 0.5, 'f1': 0.4210526315789474, 'number': 8}	{'precision': 0.75625, 'recall': 0.5960591133004927, 'f1': 0.6666666666666667, 'number': 203}	{'precision': 0.9617834394904459, 'recall': 0.949685534591195, 'f1': 0.9556962025316456, 'number': 318}	{'precision': 0.5238095238095238, 'recall': 0.6470588235294118, 'f1': 0.5789473684210527, 'number': 17}	{'precision': 0.8742857142857143, 'recall': 0.8947368421052632, 'f1': 0.8843930635838151, 'number': 342}	{'precision': 0.7692307692307693, 'recall': 0.8, 'f1': 0.7843137254901961, 'number': 25}	{'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24}	{'precision': 0.35714285714285715, 'recall': 0.625, 'f1': 0.45454545454545453, 'number': 8}	{'precision': 0.5185185185185185, 'recall': 0.6363636363636364, 'f1': 0.5714285714285714, 'number': 22}	{'precision': 0.6923076923076923, 'recall': 0.84375, 'f1': 0.7605633802816902, 'number': 32}	{'precision': 0.9585987261146497, 'recall': 0.9647435897435898, 'f1': 0.9616613418530351, 'number': 312}	{'precision': 0.7058823529411765, 'recall': 0.8, 'f1': 0.7500000000000001, 'number': 195}	{'precision': 0.3684210526315789, 'recall': 0.35, 'f1': 0.358974358974359, 'number': 20}	{'precision': 0.890625, 'recall': 0.9769683985002678, 'f1': 0.931800766283525, 'number': 1867}	{'precision': 0.8169014084507042, 'recall': 0.7891156462585034, 'f1': 0.8027681660899654, 'number': 147}	{'precision': 0.8421052631578947, 'recall': 0.8421052631578947, 'f1': 0.8421052631578947, 'number': 19}	{'precision': 0.7027027027027027, 'recall': 0.5777777777777777, 'f1': 0.6341463414634145, 'number': 45}	{'precision': 0.7222222222222222, 'recall': 0.65, 'f1': 0.6842105263157895, 'number': 20}	{'precision': 0.3076923076923077, 'recall': 0.25806451612903225, 'f1': 0.2807017543859649, 'number': 31}	{'precision': 0.7358490566037735, 'recall': 0.6842105263157895, 'f1': 0.709090909090909, 'number': 57}	0.8592	0.8990	0.8786	0.8967

Framework versions

• Transformers 4.44.0
• Pytorch 2.3.1+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1