upload

data/tamil_token_list/bpe_unigram500/bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d2f22a8b647d9a6b0c940c2c80a22b21f1c0426e6b58af1db863a64d17471663
+size 248117

data/tamil_token_list/bpe_unigram500/bpe.vocab

@@ -0,0 +1,500 @@
+<unk>	0
+<s>	0
+</s>	0
+ம்	-3.87044
+ர	-4.12927
+ய	-4.13727
+ன்	-4.22709
+வ	-4.24746
+▁அ	-4.27808
+ர்	-4.29732
+ு	-4.30314
+க	-4.40828
+▁ப	-4.42684
+ன	-4.43551
+க்க	-4.44243
+ல	-4.52444
+த	-4.54018
+ா	-4.54061
+▁க	-4.57332
+ப	-4.59428
+து	-4.59662
+ட	-4.59851
+▁இ	-4.65383
+ம	-4.65687
+ல்	-4.6572
+▁ம	-4.71532
+த்த	-4.74682
+▁த	-4.77288
+ும்	-4.79391
+ை	-4.8396
+ோ	-4.85089
+க்	-4.85482
+தி	-4.85975
+ி	-4.87246
+ே	-4.90293
+ிய	-4.95176
+கள்	-5.01702
+▁வி	-5.05469
+ந்த	-5.05546
+ரி	-5.06237
+டி	-5.07385
+▁ந	-5.07764
+ப்ப	-5.13187
+டு	-5.13874
+ட்ட	-5.1546
+▁வ	-5.16901
+▁உ	-5.17494
+லை	-5.18783
+▁ச	-5.18866
+ெ	-5.19107
+ச	-5.2616
+▁ஆ	-5.26932
+்	-5.28406
+வி	-5.3086
+ண	-5.31872
+ப்	-5.32957
+ள	-5.35586
+ீ	-5.36276
+மை	-5.37329
+த்து	-5.38515
+ரு	-5.39345
+று	-5.42407
+ில்	-5.43067
+க்கு	-5.45401
+ார்	-5.46149
+▁எ	-5.46518
+யில்	-5.4871
+ூ	-5.517
+ப்பு	-5.52739
+த்தில்	-5.54703
+ஸ்	-5.56052
+ட்	-5.56358
+வு	-5.57145
+▁பா	-5.58584
+த்	-5.60489
+ங்க	-5.61493
+னை	-5.62129
+ற்ற	-5.64751
+ட்டு	-5.70773
+ாக	-5.71181
+▁கு	-5.71224
+டை	-5.75916
+▁நி	-5.76097
+யா	-5.78338
+▁ஒரு	-5.78887
+லி	-5.79061
+ின்	-5.80269
+களை	-5.80881
+ச்ச	-5.81518
+ழ	-5.82018
+வா	-5.84589
+ள்	-5.85155
+கா	-5.85356
+ந்து	-5.85863
+▁சி	-5.86533
+ான	-5.87477
+▁நா	-5.88737
+▁கா	-5.89804
+▁மு	-5.90193
+ரை	-5.92262
+னி	-5.92622
+ற	-5.92988
+த்தி	-5.93022
+றி	-5.93883
+சி	-5.94352
+▁போ	-5.95741
+▁மற்றும்	-5.9618
+வை	-5.97275
+ரா	-5.97964
+ங்கள்	-5.98277
+ளி	-6.00061
+▁இந்த	-6.05367
+ந	-6.05535
+ண்ட	-6.06441
+கு	-6.07105
+ால்	-6.07582
+▁உள்ள	-6.08829
+யை	-6.0896
+▁பு	-6.10127
+▁வா	-6.13494
+கள	-6.1569
+▁வர	-6.15889
+பா	-6.1648
+த்தை	-6.17401
+▁மா	-6.1905
+ணி	-6.19564
+றை	-6.19628
+லா	-6.19957
+▁	-6.20532
+வர்	-6.20635
+மா	-6.21704
+னர்	-6.22212
+மான	-6.22479
+மாக	-6.22947
+ொ	-6.23706
+கை	-6.24853
+ப்பட்ட	-6.26247
+▁கோ	-6.26486
+▁என	-6.2664
+ுள்ள	-6.27867
+ப்பி	-6.32496
+▁வே	-6.32557
+ல்ல	-6.32842
+ட்டி	-6.32937
+ழு	-6.33209
+▁சு	-6.33458
+ச்	-6.33538
+பி	-6.36472
+வர	-6.37184
+ண்	-6.37754
+▁கி	-6.39428
+மி	-6.39711
+யாக	-6.40591
+தை	-6.41184
+கி	-6.41914
+▁ர	-6.41919
+ழ்	-6.42
+▁ஏ	-6.42523
+ன்ற	-6.42654
+பு	-6.42865
+ரிய	-6.43784
+ற்க	-6.44274
+ுக்கு	-6.44884
+வே	-6.45714
+யின்	-6.46464
+களுக்கு	-6.47762
+▁தி	-6.48391
+தா	-6.49654
+▁கொ	-6.4977
+ாய்	-6.50183
+▁செய்த	-6.50263
+▁பிர	-6.5106
+▁நீ	-6.51382
+ுடன்	-6.51795
+▁என்று	-6.5219
+க்கும்	-6.52537
+ிற	-6.52986
+▁சா	-6.54434
+▁திரு	-6.54475
+ர்கள்	-6.5505
+ஜ	-6.55081
+▁ஒ	-6.55761
+யி	-6.55922
+ளை	-6.55994
+ற்ப	-6.56595
+▁தொ	-6.57938
+களில்	-6.59097
+ற்று	-6.59598
+களின்	-6.59666
+த்தின்	-6.59878
+▁செய்ய	-6.60091
+ப்பா	-6.61027
+ப்பட	-6.61263
+▁செ	-6.61541
+ையும்	-6.62503
+▁வெளி	-6.63969
+▁பி	-6.64248
+மு	-6.64662
+▁ஜ	-6.66008
+▁அவர்	-6.66717
+▁து	-6.67047
+சா	-6.67416
+நா	-6.68272
+▁வீ	-6.68809
+தாக	-6.69035
+▁தே	-6.70072
+ச்சி	-6.70467
+ண்டு	-6.71209
+ையில்	-6.71442
+க்கி	-6.7161
+ங்கள	-6.71873
+ண்ண	-6.73262
+▁ஊ	-6.73511
+▁தொடர்	-6.74687
+க்கப்பட்ட	-6.75044
+▁பொ	-6.76462
+▁முடி	-6.79575
+ங்கு	-6.80731
+▁தா	-6.81175
+ாளர்	-6.81407
+▁என்ற	-6.81733
+▁கட	-6.83544
+ங்கி	-6.83586
+▁தெ	-6.8386
+சு	-6.84751
+ூர்	-6.84904
+ழி	-6.86154
+▁அவ	-6.86801
+▁கொண்ட	-6.88231
+ுகின்ற	-6.88858
+யான	-6.89115
+▁தீ	-6.8958
+▁பல	-6.91218
+ழை	-6.91711
+▁பட	-6.91793
+▁வெ	-6.93106
+▁ட	-6.9366
+னா	-6.93742
+▁இந்திய	-6.94475
+ஷ	-6.94529
+▁கரு	-6.96378
+▁இருக்க	-6.96633
+ஞ்ச	-6.96821
+ுவத	-6.99153
+ணை	-6.99332
+▁இது	-7.01376
+ிருந்த	-7.01534
+வில்	-7.01551
+ங்களை	-7.03261
+▁வேண்டும்	-7.04515
+▁சே	-7.04934
+வும்	-7.05493
+▁சொ	-7.06271
+▁மூ	-7.06274
+ுள்ளது	-7.067
+▁நிலைய	-7.06892
+▁கூற	-7.07001
+▁இருந்த	-7.07546
+▁பகுதி	-7.07692
+ிலும்	-7.08703
+யே	-7.09483
+ங்களில்	-7.09724
+▁மாவட்ட	-7.10378
+▁கே	-7.1047
+▁ஓ	-7.10895
+▁அதிக	-7.11564
+▁மே	-7.12719
+▁வழங்க	-7.13735
+▁என்பது	-7.13968
+ருக்கு	-7.14448
+ராக	-7.16524
+ஷ்	-7.1717
+▁பெற்ற	-7.17475
+ப்படும்	-7.18419
+▁பணி	-7.19036
+▁கால	-7.2038
+▁முதல்	-7.20633
+▁அரசு	-7.20899
+ள்ள	-7.21838
+▁மீ	-7.21849
+த்திற்கு	-7.21918
+▁வந்த	-7.22096
+▁ஒன்ற	-7.22952
+ொரு	-7.22975
+▁பெண்	-7.23446
+லாம்	-7.23941
+▁ல	-7.24261
+ா்	-7.24865
+சை	-7.25076
+▁என்ன	-7.25329
+ாட்சி	-7.25517
+▁இட	-7.26466
+கிறார்	-7.27583
+▁ஐ	-7.27681
+ெய்	-7.27688
+ந்தி	-7.27869
+▁குறித்த	-7.27869
+▁இருந்து	-7.28108
+▁மிக	-7.28345
+தற்கு	-7.28403
+▁ஹ	-7.28416
+▁எதிர்	-7.28474
+றிய	-7.28782
+▁சில	-7.28902
+▁தமிழ்	-7.2891
+கிறது	-7.29849
+▁ஸ்	-7.30002
+ண்டி	-7.30852
+ட்டை	-7.31957
+▁வை	-7.32733
+ிடம்	-7.33713
+▁எழு	-7.34024
+ப்படுகிறது	-7.34172
+ரோ	-7.34476
+ுள்ளார்	-7.34513
+▁பெரு	-7.34999
+▁முன்ன	-7.35199
+ிருக்க	-7.35286
+ஞ	-7.36125
+▁நேர	-7.36273
+▁பொது	-7.36711
+தே	-7.37161
+▁அறிவ	-7.38593
+▁என்பத	-7.39721
+ாமல்	-7.39891
+▁இவர்	-7.39988
+▁பிற	-7.40296
+▁அந்த	-7.40728
+வ்	-7.41051
+▁வழக்க	-7.41083
+▁மேலும்	-7.43614
+களும்	-7.44914
+ந்திர	-7.44944
+தான்	-7.4503
+▁மக்கள்	-7.45142
+▁முறை	-7.45363
+▁கூட	-7.46341
+ரின்	-7.46447
+ங்	-7.46688
+▁கூட்ட	-7.47067
+ுகிறது	-7.47087
+▁ரா	-7.47421
+▁மேற்	-7.47538
+தில்	-7.47697
+▁வைத்த	-7.4793
+▁சீ	-7.47993
+ப்படுத்த	-7.48113
+போது	-7.48617
+▁பேர	-7.48624
+▁இணை	-7.48782
+▁அல்லது	-7.49394
+ற்	-7.49844
+முறை	-7.50406
+▁தெரிவித்த	-7.50857
+▁யா	-7.5089
+▁வழி	-7.51094
+கொண்ட	-7.51245
+▁சட்ட	-7.51904
+தால்	-7.52212
+ஸ	-7.52244
+▁தோ	-7.525
+▁கொண்டு	-7.52518
+ாகவும்	-7.52781
+▁சென்ற	-7.52825
+▁காரண	-7.53334
+▁மீது	-7.53902
+நிலை	-7.54172
+▁காண	-7.54398
+யில	-7.55989
+▁பிரி	-7.56593
+▁சூ	-7.57195
+ட்டில்	-7.58116
+▁ஆகிய	-7.58436
+▁பற்றி	-7.59031
+▁போன்ற	-7.5934
+▁கட்சி	-7.59906
+ினார்	-7.60018
+▁நடவடிக்கை	-7.60463
+▁இலங்கை	-7.60643
+▁மருத்துவ	-7.60875
+▁நடத்த	-7.61029
+ாவில்	-7.61041
+ாவின்	-7.61265
+ஜி	-7.61488
+▁இன்று	-7.6162
+ப்போ	-7.61978
+▁ஈ	-7.62535
+▁நிறுவன	-7.62652
+▁தமிழக	-7.63611
+▁தனது	-7.63884
+▁அரச	-7.64101
+▁பயன்படுத்த	-7.6434
+▁நகர	-7.64586
+▁மக்கள	-7.64844
+▁உலக	-7.64982
+ிலிருந்து	-7.65085
+▁டி	-7.65198
+ிற்கு	-7.66416
+▁மூலம்	-7.6672
+▁திட்ட	-7.68222
+▁இருப்ப	-7.6833
+ுதல்	-7.69123
+ஹ	-7.69569
+வில்லை	-7.69897
+▁முக்கிய	-7.70226
+▁மத்திய	-7.72489
+▁புதிய	-7.73282
+▁இயக்க	-7.74027
+ினர்	-7.74365
+▁குறை	-7.74394
+▁தாக்க	-7.74436
+▁கொள்ள	-7.75062
+ாலும்	-7.75409
+▁முதல	-7.77869
+ுடைய	-7.7803
+▁மாற்ற	-7.7815
+▁சென்னை	-7.79497
+▁பெயர	-7.79743
+▁குறிப்பிடத்தக்க	-7.80186
+▁ஆனால்	-7.81094
+▁தமிழ	-7.81685
+▁மாநில	-7.81766
+கொள்ள	-7.82702
+ங்களுக்கு	-7.8307
+▁பெற	-7.83573
+▁அமெரிக்க	-7.83592
+▁அமைந்துள்ள	-7.8389
+ின்றன	-7.83899
+ஃ	-7.85081
+▁செல்ல	-7.85554
+▁உயர்	-7.86073
+▁சம்ப	-7.86599
+▁செயல்	-7.86752
+▁அளவ	-7.87314
+ப்பட்டுள்ளது	-7.87518
+▁உயிர	-7.87775
+▁அமைப்ப	-7.88032
+▁ராஜ	-7.89252
+▁தேசிய	-7.8962
+▁போராட்ட	-7.90548
+▁தலைவர்	-7.91205
+▁குழந்தை	-7.91331
+▁தகவல்	-7.91413
+▁தேர்தல	-7.91636
+▁பள்ளி	-7.93824
+ாவது	-7.95264
+▁அருகே	-7.95644
+ிருப்ப	-7.95815
+▁அனைத்து	-7.96976
+▁இரண்டு	-7.97462
+▁விசாரணை	-7.97574
+▁அரசியல்	-7.98094
+▁சேர்ந்த	-7.99905
+���அதிகாரி	-8.00873
+▁உருவாக்க	-8.02353
+▁சிறப்ப	-8.02428
+▁மாணவர்	-8.02627
+▁மொழி	-8.03518
+▁இவ்வ	-8.04066
+ினால்	-8.0436
+▁தொழில	-8.04512
+▁கிராம	-8.04591
+▁வெற்றி	-8.05301
+▁செயல	-8.07027
+▁சமூக	-8.07552
+▁கல்வி	-8.0763
+▁பெரிய	-8.07873
+▁அடுத்த	-8.08803
+▁இல்லை	-8.09175
+▁தற்போது	-8.10018
+▁குடும்ப	-8.1147
+▁மனித	-8.1159
+▁அவரது	-8.12498
+▁ஆட்சி	-8.14156
+▁ஆகும்	-8.14403
+படுத்த	-8.15026
+▁உதவி	-8.15509
+▁வளர்	-8.15571
+▁ஏற்பட்ட	-8.16072
+▁நீதிமன்ற	-8.16564
+எ	-8.16767
+▁எடுக்க	-8.17318
+▁உடல	-8.17894
+▁அனுமதி	-8.20644
+ௌ	-8.48685
+அ	-9.04635
+ஐ	-9.05132
+ஏ	-9.22496
+ஆ	-9.28605
+இ	-9.3993
+உ	-10.1828
+ஒ	-10.6098
+ஓ	-10.6962
+ஈ	-11.5349
+ங	-11.8865
+ஊ	-12.3722
+ஔ	-15.6257
+௸	-15.6258
+ஶ	-15.6258
+ௐ	-15.6258

data/tamil_token_list/bpe_unigram500/tokens.txt

@@ -0,0 +1,500 @@
+<blank>
+<unk>
+ம்
+ர
+ய
+ன்
+வ
+▁அ
+ர்
+ு
+க
+▁ப
+ன
+க்க
+ல
+த
+ா
+▁க
+ப
+து
+ட
+▁இ
+ம
+ல்
+▁ம
+த்த
+▁த
+ும்
+ை
+ோ
+க்
+தி
+ி
+ே
+ிய
+கள்
+▁வி
+ந்த
+ரி
+டி
+▁ந
+ப்ப
+டு
+ட்ட
+▁வ
+▁உ
+லை
+▁ச
+ெ
+ச
+▁ஆ
+்
+வி
+ண
+ப்
+ள
+ீ
+மை
+த்து
+ரு
+று
+ில்
+க்கு
+ார்
+▁எ
+யில்
+ூ
+ப்பு
+த்தில்
+ஸ்
+ட்
+வு
+▁பா
+த்
+ங்க
+னை
+ற்ற
+ட்டு
+ாக
+▁கு
+டை
+▁நி
+யா
+▁ஒரு
+லி
+ின்
+களை
+ச்ச
+ழ
+வா
+ள்
+கா
+ந்து
+▁சி
+ான
+▁நா
+▁கா
+▁மு
+ரை
+னி
+ற
+த்தி
+றி
+சி
+▁போ
+▁மற்றும்
+வை
+ரா
+ங்கள்
+ளி
+▁இந்த
+ந
+ண்ட
+கு
+ால்
+▁உள்ள
+யை
+▁பு
+▁வா
+கள
+▁வர
+பா
+த்தை
+▁மா
+ணி
+றை
+லா
+▁
+வர்
+மா
+னர்
+மான
+மாக
+ொ
+கை
+ப்பட்ட
+▁கோ
+▁என
+ுள்ள
+ப்பி
+▁வே
+ல்ல
+ட்டி
+ழு
+▁சு
+ச்
+பி
+வர
+ண்
+▁கி
+மி
+யாக
+தை
+கி
+▁ர
+ழ்
+▁ஏ
+ன்ற
+பு
+ரிய
+ற்க
+ுக்கு
+வே
+யின்
+களுக்கு
+▁தி
+தா
+▁கொ
+ாய்
+▁செய்த
+▁பிர
+▁நீ
+ுடன்
+▁என்று
+க்கும்
+ிற
+▁சா
+▁திரு
+ர்கள்
+ஜ
+▁ஒ
+யி
+ளை
+ற்ப
+▁தொ
+களில்
+ற்று
+களின்
+த்தின்
+▁செய்ய
+ப்பா
+ப்பட
+▁செ
+ையும்
+▁வெளி
+▁பி
+மு
+▁ஜ
+▁அவர்
+▁து
+சா
+நா
+▁வீ
+தாக
+▁தே
+ச்சி
+ண்டு
+ையில்
+க்கி
+ங்கள
+ண்ண
+▁ஊ
+▁தொடர்
+க்கப்பட்ட
+▁பொ
+▁முடி
+ங்கு
+▁தா
+ாளர்
+▁என்ற
+▁கட
+ங்கி
+▁தெ
+சு
+ூர்
+ழி
+▁அவ
+▁கொண்ட
+ுகின்ற
+யான
+▁தீ
+▁பல
+ழை
+▁பட
+▁வெ
+▁ட
+னா
+▁இந்திய
+ஷ
+▁கரு
+▁இருக்க
+ஞ்ச
+ுவத
+ணை
+▁இது
+ிருந்த
+வில்
+ங்களை
+▁வேண்டும்
+▁சே
+வும்
+▁சொ
+▁மூ
+ுள்ளது
+▁நிலைய
+▁கூற
+▁இருந்த
+▁பகுதி
+ிலும்
+யே
+ங்களில்
+▁மாவட்ட
+▁கே
+▁ஓ
+▁அதிக
+▁மே
+▁வழங்க
+▁என்பது
+ருக்கு
+ராக
+ஷ்
+▁பெற்ற
+ப்படும்
+▁பணி
+▁கால
+▁முதல்
+▁அரசு
+ள்ள
+▁மீ
+த்திற்கு
+▁வந்த
+▁ஒன்ற
+ொரு
+▁பெண்
+லாம்
+▁ல
+ா்
+சை
+▁என்ன
+ாட்சி
+▁இட
+கிறார்
+▁ஐ
+ெய்
+ந்தி
+▁குறித்த
+▁இருந்து
+▁மிக
+தற்கு
+▁ஹ
+▁எதிர்
+றிய
+▁சில
+▁தமிழ்
+கிறது
+▁ஸ்
+ண்டி
+ட்டை
+▁வை
+ிடம்
+▁எழு
+ப்படுகிறது
+ரோ
+ுள்ளார்
+▁பெரு
+▁முன்ன
+ிருக்க
+ஞ
+▁நேர
+▁பொது
+தே
+▁அறிவ
+▁என்பத
+ாமல்
+▁இவர்
+▁பிற
+▁அந்த
+வ்
+▁வழக்க
+▁மேலும்
+களும்
+ந்திர
+தான்
+▁மக்கள்
+▁முறை
+▁கூட
+ரின்
+ங்
+▁கூட்ட
+ுகிறது
+▁ரா
+▁மேற்
+தில்
+▁வைத்த
+▁சீ
+ப்படுத்த
+போது
+▁பேர
+▁இணை
+▁அல்லது
+ற்
+முறை
+▁தெரிவித்த
+▁யா
+▁வழி
+கொண்ட
+▁சட்ட
+தால்
+ஸ
+▁தோ
+▁கொண்டு
+ாகவும்
+▁சென்ற
+▁காரண
+▁மீது
+நிலை
+▁காண
+யில
+▁பிரி
+▁சூ
+ட்டில்
+▁ஆகிய
+▁பற்றி
+▁போன்ற
+▁கட்சி
+ினார்
+▁நடவடிக்கை
+▁இலங்கை
+▁மருத்துவ
+▁நடத்த
+ாவில்
+ாவின்
+ஜி
+▁இன்று
+ப்போ
+▁ஈ
+▁நிறுவன
+▁தமிழக
+▁தனது
+▁அரச
+▁பயன்படுத்த
+▁நகர
+▁மக்கள
+▁உலக
+ிலிருந்து
+▁டி
+ிற்கு
+▁மூலம்
+▁திட்ட
+▁இருப்ப
+ுதல்
+ஹ
+வில்லை
+▁முக்கிய
+▁மத்திய
+▁புதிய
+▁இயக்க
+ினர்
+▁குறை
+▁தாக்க
+▁கொள்ள
+ாலும்
+▁முதல
+ுடைய
+▁மாற்ற
+▁சென்னை
+▁பெயர
+▁குறிப்பிடத்தக்க
+▁ஆனால்
+▁தமிழ
+▁மாநில
+கொள்ள
+ங்களுக்கு
+▁பெற
+▁அமெரிக்க
+▁அமைந்துள்ள
+ின்றன
+ஃ
+▁செல்ல
+▁உயர்
+▁சம்ப
+▁செயல்
+▁அளவ
+ப்பட்டுள்ளது
+▁உயிர
+▁அமைப்ப
+▁ராஜ
+▁தேசிய
+▁போராட்ட
+▁தலைவர்
+▁குழந்தை
+▁தகவல்
+▁தேர்தல
+▁பள்ளி
+ாவது
+▁அருகே
+ிருப்ப
+▁அனைத்து
+▁இரண்டு
+▁விசாரணை
+▁அரசியல்
+▁சேர்ந்த
+▁அதிகாரி
+▁உருவாக்க
+▁சிறப்ப
+▁மாணவர்
+▁மொழி
+▁இவ்வ
+ினால்
+▁தொழில
+▁கிராம
+▁வெற்றி
+▁செயல
+▁சமூக
+▁கல்வி
+▁பெரிய
+▁அடுத்த
+▁இல்லை
+▁தற்போது
+▁குடும்ப
+▁மனித
+▁அவரது
+▁ஆட்சி
+▁ஆகும்
+படுத்த
+▁உதவி
+▁வளர்
+▁ஏற்பட்ட
+▁நீதிமன்ற
+எ
+▁எடுக்க
+▁உடல
+▁அனுமதி
+ௌ
+அ
+ஐ
+ஏ
+ஆ
+இ
+உ
+ஒ
+ஓ
+ஈ
+ங
+ஊ
+ஔ
+௸
+ஶ
+ௐ
+<sos/eos>

data/tamil_token_list/bpe_unigram500/train.txt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e2d564e07cce2895bae4d45b74d0d6ca0bf10ec3c066ba6291379afc3eb4fbc9
+size 25783902

exp/asr_stats_raw_tamil_bpe500/train/feats_stats.npz

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:06e390ecdf86b1004d4cdd7d8fffe10dcc415d4a18672391f95394722fb422ff
+size 1402

exp/asr_train_asr_raw_tamil_bpe500/config.yaml

@@ -0,0 +1,711 @@
+config: conf/train_asr.yaml
+print_config: false
+log_level: INFO
+dry_run: false
+iterator_type: sequence
+output_dir: exp/asr_train_asr_raw_tamil_bpe500
+ngpu: 1
+seed: 2022
+num_workers: 4
+num_att_plot: 3
+dist_backend: nccl
+dist_init_method: env://
+dist_world_size: null
+dist_rank: null
+local_rank: 0
+dist_master_addr: null
+dist_master_port: null
+dist_launcher: null
+multiprocessing_distributed: false
+unused_parameters: false
+sharded_ddp: false
+cudnn_enabled: true
+cudnn_benchmark: false
+cudnn_deterministic: true
+collect_stats: false
+write_collected_feats: false
+max_epoch: 70
+patience: null
+val_scheduler_criterion:
+- valid
+- loss
+early_stopping_criterion:
+- valid
+- loss
+- min
+best_model_criterion:
+-   - valid
+    - acc
+    - max
+keep_nbest_models: 10
+nbest_averaging_interval: 0
+grad_clip: 5.0
+grad_clip_type: 2.0
+grad_noise: false
+accum_grad: 4
+no_forward_run: false
+resume: true
+train_dtype: float32
+use_amp: true
+log_interval: null
+use_matplotlib: true
+use_tensorboard: true
+create_graph_in_tensorboard: false
+use_wandb: false
+wandb_project: null
+wandb_id: null
+wandb_entity: null
+wandb_name: null
+wandb_model_log_interval: -1
+detect_anomaly: false
+pretrain_path: null
+init_param: []
+ignore_init_mismatch: false
+freeze_param: []
+num_iters_per_epoch: null
+batch_size: 20
+valid_batch_size: null
+batch_bins: 10000000
+valid_batch_bins: null
+train_shape_file:
+- exp/asr_stats_raw_tamil_bpe500/train/speech_shape
+- exp/asr_stats_raw_tamil_bpe500/train/text_shape.bpe
+valid_shape_file:
+- exp/asr_stats_raw_tamil_bpe500/valid/speech_shape
+- exp/asr_stats_raw_tamil_bpe500/valid/text_shape.bpe
+batch_type: numel
+valid_batch_type: null
+fold_length:
+- 80000
+- 150
+sort_in_batch: descending
+shuffle_within_batch: false
+sort_batch: descending
+multiple_iterator: false
+chunk_length: 500
+chunk_shift_ratio: 0.5
+num_cache_chunks: 1024
+chunk_excluded_key_prefixes: []
+train_data_path_and_name_and_type:
+-   - dump/raw/tamil/train/wav.scp
+    - speech
+    - sound
+-   - dump/raw/tamil/train/text
+    - text
+    - text
+valid_data_path_and_name_and_type:
+-   - dump/raw/tamil/valid/wav.scp
+    - speech
+    - sound
+-   - dump/raw/tamil/valid/text
+    - text
+    - text
+allow_variable_data_keys: false
+max_cache_size: 0.0
+max_cache_fd: 32
+valid_max_cache_size: null
+exclude_weight_decay: false
+exclude_weight_decay_conf: {}
+optim: adam
+optim_conf:
+    lr: 0.002
+    weight_decay: 1.0e-06
+scheduler: warmuplr
+scheduler_conf:
+    warmup_steps: 15000
+token_list:
+- <blank>
+- <unk>
+- ம்
+- ர
+- ய
+- ன்
+- வ
+- ▁அ
+- ர்
+- ு
+- க
+- ▁ப
+- ன
+- க்க
+- ல
+- த
+- ா
+- ▁க
+- ப
+- து
+- ட
+- ▁இ
+- ம
+- ல்
+- ▁ம
+- த்த
+- ▁த
+- ும்
+- ை
+- ோ
+- க்
+- தி
+- ி
+- ே
+- ிய
+- கள்
+- ▁வி
+- ந்த
+- ரி
+- டி
+- ▁ந
+- ப்ப
+- டு
+- ட்ட
+- ▁வ
+- ▁உ
+- லை
+- ▁ச
+- ெ
+- ச
+- ▁ஆ
+- ்
+- வி
+- ண
+- ப்
+- ள
+- ீ
+- மை
+- த்து
+- ரு
+- று
+- ில்
+- க்கு
+- ார்
+- ▁எ
+- யில்
+- ூ
+- ப்பு
+- த்தில்
+- ஸ்
+- ட்
+- வு
+- ▁பா
+- த்
+- ங்க
+- னை
+- ற்ற
+- ட்டு
+- ாக
+- ▁கு
+- டை
+- ▁நி
+- யா
+- ▁ஒரு
+- லி
+- ின்
+- களை
+- ச்ச
+- ழ
+- வா
+- ள்
+- கா
+- ந்து
+- ▁சி
+- ான
+- ▁நா
+- ▁கா
+- ▁மு
+- ரை
+- னி
+- ற
+- த்தி
+- றி
+- சி
+- ▁போ
+- ▁மற்றும்
+- வை
+- ரா
+- ங்கள்
+- ளி
+- ▁இந்த
+- ந
+- ண்ட
+- கு
+- ால்
+- ▁உள்ள
+- யை
+- ▁பு
+- ▁வா
+- கள
+- ▁வர
+- பா
+- த்தை
+- ▁மா
+- ணி
+- றை
+- லா
+- ▁
+- வர்
+- மா
+- னர்
+- மான
+- மாக
+- ொ
+- கை
+- ப்பட்ட
+- ▁கோ
+- ▁என
+- ுள்ள
+- ப்பி
+- ▁வே
+- ல்ல
+- ட்டி
+- ழு
+- ▁சு
+- ச்
+- பி
+- வர
+- ண்
+- ▁கி
+- மி
+- யாக
+- தை
+- கி
+- ▁ர
+- ழ்
+- ▁ஏ
+- ன்ற
+- பு
+- ரிய
+- ற்க
+- ுக்கு
+- வே
+- யின்
+- களுக்கு
+- ▁தி
+- தா
+- ▁கொ
+- ாய்
+- ▁செய்த
+- ▁பிர
+- ▁நீ
+- ுடன்
+- ▁என்று
+- க்கும்
+- ிற
+- ▁சா
+- ▁திரு
+- ர்கள்
+- ஜ
+- ▁ஒ
+- யி
+- ளை
+- ற்ப
+- ▁தொ
+- களில்
+- ற்று
+- களின்
+- த்தின்
+- ▁செய்ய
+- ப்பா
+- ப்பட
+- ▁செ
+- ையும்
+- ▁வெளி
+- ▁பி
+- மு
+- ▁ஜ
+- ▁அவர்
+- ▁து
+- சா
+- நா
+- ▁வீ
+- தாக
+- ▁தே
+- ச்சி
+- ண்டு
+- ையில்
+- க்கி
+- ங்கள
+- ��்ண
+- ▁ஊ
+- ▁தொடர்
+- க்கப்பட்ட
+- ▁பொ
+- ▁முடி
+- ங்கு
+- ▁தா
+- ாளர்
+- ▁என்ற
+- ▁கட
+- ங்கி
+- ▁தெ
+- சு
+- ூர்
+- ழி
+- ▁அவ
+- ▁கொண்ட
+- ுகின்ற
+- யான
+- ▁தீ
+- ▁பல
+- ழை
+- ▁பட
+- ▁வெ
+- ▁ட
+- னா
+- ▁இந்திய
+- ஷ
+- ▁கரு
+- ▁இருக்க
+- ஞ்ச
+- ுவத
+- ணை
+- ▁இது
+- ிருந்த
+- வில்
+- ங்களை
+- ▁வேண்டும்
+- ▁சே
+- வும்
+- ▁சொ
+- ▁மூ
+- ுள்ளது
+- ▁நிலைய
+- ▁கூற
+- ▁இருந்த
+- ▁பகுதி
+- ிலும்
+- யே
+- ங்களில்
+- ▁மாவட்ட
+- ▁கே
+- ▁ஓ
+- ▁அதிக
+- ▁மே
+- ▁வழங்க
+- ▁என்பது
+- ருக்கு
+- ராக
+- ஷ்
+- ▁பெற்ற
+- ப்படும்
+- ▁பணி
+- ▁கால
+- ▁முதல்
+- ▁அரசு
+- ள்ள
+- ▁மீ
+- த்திற்கு
+- ▁வந்த
+- ▁ஒன்ற
+- ொரு
+- ▁பெண்
+- லாம்
+- ▁ல
+- ா்
+- சை
+- ▁என்ன
+- ாட்சி
+- ▁இட
+- கிறார்
+- ▁ஐ
+- ெய்
+- ந்தி
+- ▁குறித்த
+- ▁இருந்து
+- ▁மிக
+- தற்கு
+- ▁ஹ
+- ▁எதிர்
+- றிய
+- ▁சில
+- ▁தமிழ்
+- கிறது
+- ▁ஸ்
+- ண்டி
+- ட்டை
+- ▁வை
+- ிடம்
+- ▁எழு
+- ப்படுகிறது
+- ரோ
+- ுள்ளார்
+- ▁பெரு
+- ▁முன்ன
+- ிருக்க
+- ஞ
+- ▁நேர
+- ▁பொது
+- தே
+- ▁அறிவ
+- ▁என்பத
+- ாமல்
+- ▁இவர்
+- ▁பிற
+- ▁அந்த
+- வ்
+- ▁வழக்க
+- ▁மேலும்
+- களும்
+- ந்திர
+- தான்
+- ▁மக்கள்
+- ▁முறை
+- ▁கூட
+- ரின்
+- ங்
+- ▁கூட்ட
+- ுகிறது
+- ▁ரா
+- ▁மேற்
+- தில்
+- ▁வைத்த
+- ▁சீ
+- ப்படுத்த
+- போது
+- ▁பேர
+- ▁இணை
+- ▁அல்லது
+- ற்
+- முறை
+- ▁தெரிவித்த
+- ▁யா
+- ▁வழி
+- கொண்ட
+- ▁சட்ட
+- தால்
+- ஸ
+- ▁தோ
+- ▁கொண்டு
+- ாகவும்
+- ▁சென்ற
+- ▁காரண
+- ▁மீது
+- நிலை
+- ▁காண
+- யில
+- ▁பிரி
+- ▁சூ
+- ட்டில்
+- ▁ஆகிய
+- ▁பற்றி
+- ▁போன்ற
+- ▁கட்சி
+- ினார்
+- ▁நடவடிக்கை
+- ▁இலங்கை
+- ▁மருத்துவ
+- ▁நடத்த
+- ாவில்
+- ாவின்
+- ஜி
+- ▁இன்று
+- ப்போ
+- ▁ஈ
+- ▁நிறுவன
+- ▁தமிழக
+- ▁தனது
+- ▁அரச
+- ▁பயன்படுத்த
+- ▁நகர
+- ▁மக்கள
+- ▁உலக
+- ிலிருந்து
+- ▁டி
+- ிற்கு
+- ▁மூலம்
+- ▁திட்ட
+- ▁இருப்ப
+- ுதல்
+- ஹ
+- வில்லை
+- ▁முக்கிய
+- ▁மத்திய
+- ▁புதிய
+- ▁இயக்க
+- ினர்
+- ▁குறை
+- ▁தாக்க
+- ▁கொள்ள
+- ாலும்
+- ▁முதல
+- ுடைய
+- ▁மாற்ற
+- ▁சென்னை
+- ▁பெயர
+- ▁குறிப்பிடத்தக்க
+- ▁ஆனால்
+- ▁தமிழ
+- ▁மாநில
+- கொள்ள
+- ங்களுக்கு
+- ▁பெற
+- ▁அமெரிக்க
+- ▁அமைந்துள்ள
+- ின்றன
+- ஃ
+- ▁செல்ல
+- ▁உயர்
+- ▁சம்ப
+- ▁செயல்
+- ▁அளவ
+- ப்பட்டுள்ளது
+- ▁உயிர
+- ▁அமைப்ப
+- ▁ராஜ
+- ▁தேசிய
+- ▁போராட்ட
+- ▁தலைவர்
+- ▁குழந்தை
+- ▁தகவல்
+- ▁தேர்தல
+- ▁பள்ளி
+- ாவது
+- ▁அருகே
+- ிருப்ப
+- ▁அனைத்து
+- ▁இரண்டு
+- ▁விசாரணை
+- ▁அரசியல்
+- ▁சேர்ந்த
+- ▁அதிகாரி
+- ▁உருவாக்க
+- ▁சிறப்ப
+- ▁மாணவர்
+- ▁மொழி
+- ▁இவ்வ
+- ினால்
+- ▁தொழில
+- ▁கிராம
+- ▁வெற்றி
+- ▁செயல
+- ▁சமூக
+- ▁கல்வி
+- ▁பெரிய
+- ▁அடுத்த
+- ▁இல்லை
+- ▁தற்போது
+- ▁குடும்ப
+- ▁மனித
+- ▁அவரது
+- ▁ஆட்சி
+- ▁ஆகும்
+- படுத்த
+- ▁உதவி
+- ��வளர்
+- ▁ஏற்பட்ட
+- ▁நீதிமன்ற
+- எ
+- ▁எடுக்க
+- ▁உடல
+- ▁அனுமதி
+- ௌ
+- அ
+- ஐ
+- ஏ
+- ஆ
+- இ
+- உ
+- ஒ
+- ஓ
+- ஈ
+- ங
+- ஊ
+- ஔ
+- ௸
+- ஶ
+- ௐ
+- <sos/eos>
+init: null
+input_size: null
+ctc_conf:
+    dropout_rate: 0.0
+    ctc_type: builtin
+    reduce: true
+    ignore_nan_grad: null
+    zero_infinity: true
+joint_net_conf: null
+use_preprocessor: true
+token_type: bpe
+bpemodel: data/tamil_token_list/bpe_unigram500/bpe.model
+non_linguistic_symbols: null
+cleaner: null
+g2p: null
+speech_volume_normalize: null
+rir_scp: null
+rir_apply_prob: 1.0
+noise_scp: null
+noise_apply_prob: 1.0
+noise_db_range: '13_15'
+short_noise_thres: 0.5
+aux_ctc_tasks: []
+frontend: default
+frontend_conf:
+    n_fft: 512
+    win_length: 400
+    hop_length: 160
+    fs: 16k
+specaug: specaug
+specaug_conf:
+    apply_time_warp: true
+    time_warp_window: 5
+    time_warp_mode: bicubic
+    apply_freq_mask: true
+    freq_mask_width_range:
+    - 0
+    - 27
+    num_freq_mask: 2
+    apply_time_mask: true
+    time_mask_width_ratio_range:
+    - 0.0
+    - 0.05
+    num_time_mask: 5
+normalize: global_mvn
+normalize_conf:
+    stats_file: exp/asr_stats_raw_tamil_bpe500/train/feats_stats.npz
+model: espnet
+model_conf:
+    ctc_weight: 0.3
+    lsm_weight: 0.1
+    length_normalized_loss: false
+preencoder: null
+preencoder_conf: {}
+encoder: e_branchformer
+encoder_conf:
+    output_size: 256
+    attention_heads: 4
+    attention_layer_type: rel_selfattn
+    pos_enc_layer_type: rel_pos
+    rel_pos_type: latest
+    cgmlp_linear_units: 1024
+    cgmlp_conv_kernel: 31
+    use_linear_after_conv: false
+    gate_activation: identity
+    num_blocks: 12
+    dropout_rate: 0.1
+    positional_dropout_rate: 0.1
+    attention_dropout_rate: 0.1
+    input_layer: conv2d
+    layer_drop_rate: 0.0
+    linear_units: 1024
+    positionwise_layer_type: linear
+    use_ffn: true
+    macaron_ffn: true
+    merge_conv_kernel: 31
+postencoder: null
+postencoder_conf: {}
+decoder: transformer
+decoder_conf:
+    attention_heads: 4
+    linear_units: 2048
+    num_blocks: 6
+    dropout_rate: 0.1
+    positional_dropout_rate: 0.1
+    self_attention_dropout_rate: 0.1
+    src_attention_dropout_rate: 0.1
+    layer_drop_rate: 0.0
+preprocessor: default
+preprocessor_conf: {}
+required:
+- output_dir
+- token_list
+version: '202304'
+distributed: false

exp/asr_train_asr_raw_tamil_bpe500/valid.acc.ave_10best.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cdd89ae5d403ca42db9ab562057b3be92b55dc13481545809fc203c114471437
+size 140354317