mms-1b-all-lg-CV-v1

This model is a fine-tuned version of facebook/mms-1b-all on the common_voice_17_0 dataset. It achieves the following results on the evaluation set:

• Loss: inf
• Wer: 0.2420
• Cer: 0.0619

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.001
• train_batch_size: 8
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 16
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
0.2848	1.0	4442	inf	0.2783	0.0702
0.1923	2.0	8884	inf	0.2848	0.0713
0.1895	3.0	13326	inf	0.2710	0.0686
0.1873	4.0	17768	inf	0.2712	0.0675
0.1852	5.0	22210	inf	0.2710	0.0675
0.1828	6.0	26652	inf	0.2696	0.0695
0.1812	7.0	31094	inf	0.2756	0.0672
0.1804	8.0	35536	inf	0.2717	0.0675
0.1788	9.0	39978	inf	0.2592	0.0668
0.1778	10.0	44420	inf	0.2590	0.0666
0.1767	11.0	48862	inf	0.2619	0.0661
0.1755	12.0	53304	inf	0.2580	0.0657
0.1746	13.0	57746	inf	0.2545	0.0642
0.1738	14.0	62188	inf	0.2579	0.0655
0.1736	15.0	66630	inf	0.2565	0.0652
0.1727	16.0	71072	inf	0.2572	0.0650
0.172	17.0	75514	inf	0.2553	0.0644
0.1717	18.0	79956	inf	0.2520	0.0636
0.1706	19.0	84398	inf	0.2565	0.0645
0.1697	20.0	88840	inf	0.2516	0.0637
0.1696	21.0	93282	inf	0.2511	0.0632
0.1686	22.0	97724	inf	0.2687	0.0657
0.1688	23.0	102166	inf	0.2523	0.0639
0.1673	24.0	106608	inf	0.2529	0.0644
0.1671	25.0	111050	inf	0.2514	0.0637
0.1664	26.0	115492	inf	0.2508	0.0636
0.1666	27.0	119934	inf	0.2550	0.0637
0.1655	28.0	124376	inf	0.2515	0.0636
0.1649	29.0	128818	inf	0.2458	0.0628
0.1647	30.0	133260	inf	0.2517	0.0637
0.1641	31.0	137702	inf	0.2477	0.0628
0.1637	32.0	142144	inf	0.2461	0.0629
0.1629	33.0	146586	inf	0.2480	0.0635
0.1628	34.0	151028	inf	0.2498	0.0633
0.1625	35.0	155470	inf	0.2555	0.0638
0.1619	36.0	159912	inf	0.2498	0.0639
0.1625	37.0	164354	inf	0.2469	0.0628
0.1613	38.0	168796	inf	0.2443	0.0630
0.1618	39.0	173238	inf	0.2462	0.0635
0.1611	40.0	177680	inf	0.2419	0.0622
0.1604	41.0	182122	inf	0.2433	0.0627
0.1592	42.0	186564	inf	0.2443	0.0628
0.1598	43.0	191006	inf	0.2437	0.0629
0.1589	44.0	195448	inf	0.2444	0.0627
0.1589	45.0	199890	inf	0.2455	0.0628
0.158	46.0	204332	inf	0.2384	0.0619
0.1574	47.0	208774	inf	0.2455	0.0628
0.157	48.0	213216	inf	0.2444	0.0620
0.157	49.0	217658	inf	0.2428	0.0627
0.1557	50.0	222100	inf	0.2423	0.0622
0.1557	51.0	226542	inf	0.2420	0.0623
0.1558	52.0	230984	inf	0.2483	0.0626
0.1553	53.0	235426	inf	0.2406	0.0621
0.155	54.0	239868	inf	0.2445	0.0608
0.1545	55.0	244310	inf	0.2443	0.0617
0.1546	56.0	248752	inf	0.2419	0.0614
0.1537	57.0	253194	inf	0.2380	0.0612
0.1532	58.0	257636	inf	0.2420	0.0619

Framework versions

• Transformers 4.47.0
• Pytorch 2.1.0+cu118
• Datasets 3.1.0
• Tokenizers 0.21.0