README.md

metadata

tags:
  - automatic-speech-recognition
  - Lemswasabi/tuudle
  - generated_from_trainer
datasets:
  - tuudle
model-index:
  - name: ''
    results: []

This model is a fine-tuned version of Lemswasabi/letzspeak on the LEMSWASABI/TUUDLE - RTL dataset. It achieves the following results on the evaluation set:

• Loss: 0.1058
• Wer: 0.1075

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 7.5e-05
• train_batch_size: 3
• eval_batch_size: 3
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 12
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• num_epochs: 50.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
3.1484	0.89	500	3.0844	1.0
2.6539	1.77	1000	1.7272	0.9358
0.8732	2.66	1500	0.1975	0.1609
0.8075	3.55	2000	0.1483	0.1468
0.7358	4.43	2500	0.1331	0.1401
0.7079	5.32	3000	0.1273	0.1364
0.7032	6.21	3500	0.1133	0.1240
0.7129	7.09	4000	0.1124	0.1290
0.6771	7.98	4500	0.1121	0.1300
0.6859	8.86	5000	0.1095	0.1313
0.6496	9.75	5500	0.1091	0.1250
0.6431	10.64	6000	0.1102	0.1293
0.6422	11.52	6500	0.1107	0.1179
0.6334	12.41	7000	0.1049	0.1236
0.599	13.3	7500	0.1092	0.1152
0.6205	14.18	8000	0.1047	0.1219
0.5944	15.07	8500	0.1068	0.1203
0.6102	15.96	9000	0.1056	0.1159
0.5983	16.84	9500	0.1061	0.1152
0.5882	17.73	10000	0.1043	0.1135
0.5876	18.62	10500	0.1023	0.1159
0.5717	19.5	11000	0.1037	0.1233
0.5537	20.39	11500	0.1070	0.1192
0.5636	21.28	12000	0.1036	0.1169
0.5536	22.16	12500	0.1008	0.1182
0.5656	23.05	13000	0.1010	0.1172
0.5504	23.94	13500	0.1019	0.1105
0.5476	24.82	14000	0.1026	0.1166
0.5375	25.71	14500	0.1107	0.1189
0.5318	26.6	15000	0.1051	0.1142
0.5278	27.48	15500	0.1049	0.1166
0.5204	28.37	16000	0.1081	0.1182
0.512	29.26	16500	0.1062	0.1156
0.5082	30.14	17000	0.1045	0.1135
0.5193	31.03	17500	0.1091	0.1145
0.5129	31.91	18000	0.1040	0.1088
0.5126	32.8	18500	0.1085	0.1169
0.496	33.69	19000	0.1070	0.1166
0.5017	34.57	19500	0.1119	0.1162
0.4808	35.46	20000	0.1101	0.1139
0.4939	36.35	20500	0.1081	0.1125
0.4738	37.23	21000	0.1091	0.1098
0.4978	38.12	21500	0.1057	0.1092
0.4972	39.01	22000	0.1074	0.1105
0.4773	39.89	22500	0.1062	0.1108
0.4741	40.78	23000	0.1057	0.1085
0.4776	41.67	23500	0.1077	0.1085
0.4637	42.55	24000	0.1061	0.1095
0.4853	43.44	24500	0.1081	0.1075
0.4602	44.33	25000	0.1076	0.1085
0.4667	45.21	25500	0.1078	0.1078
0.4484	46.1	26000	0.1056	0.1082
0.4601	46.99	26500	0.1066	0.1078
0.4691	47.87	27000	0.1068	0.1085
0.4457	48.76	27500	0.1066	0.1078
0.475	49.65	28000	0.1060	0.1082

Framework versions

• Transformers 4.20.0.dev0
• Pytorch 1.11.0+cu113
• Datasets 2.2.1
• Tokenizers 0.12.1