| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 1.4986666666666666, | |
| "eval_steps": 75, | |
| "global_step": 1125, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.0013333333333333333, | |
| "grad_norm": 5.494853571957073, | |
| "learning_rate": 1.5e-06, | |
| "loss": 2.2794, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.0013333333333333333, | |
| "eval_loss": 1.8317261934280396, | |
| "eval_runtime": 98.252, | |
| "eval_samples_per_second": 1.018, | |
| "eval_steps_per_second": 0.254, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.0026666666666666666, | |
| "grad_norm": 0.4396391591358924, | |
| "learning_rate": 3e-06, | |
| "loss": 2.2089, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 0.004, | |
| "grad_norm": 0.6704432458412378, | |
| "learning_rate": 4.5e-06, | |
| "loss": 2.3789, | |
| "step": 3 | |
| }, | |
| { | |
| "epoch": 0.005333333333333333, | |
| "grad_norm": 0.5524719828039701, | |
| "learning_rate": 6e-06, | |
| "loss": 1.9508, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.006666666666666667, | |
| "grad_norm": 1.551345196476793, | |
| "learning_rate": 7.5e-06, | |
| "loss": 2.3302, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.008, | |
| "grad_norm": 1.4425623787692365, | |
| "learning_rate": 9e-06, | |
| "loss": 2.4649, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 0.009333333333333334, | |
| "grad_norm": 1.9558403413673842, | |
| "learning_rate": 1.05e-05, | |
| "loss": 2.5318, | |
| "step": 7 | |
| }, | |
| { | |
| "epoch": 0.010666666666666666, | |
| "grad_norm": 0.6930931382639645, | |
| "learning_rate": 1.2e-05, | |
| "loss": 1.9398, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.012, | |
| "grad_norm": 0.40522998481846323, | |
| "learning_rate": 1.3500000000000001e-05, | |
| "loss": 2.4355, | |
| "step": 9 | |
| }, | |
| { | |
| "epoch": 0.013333333333333334, | |
| "grad_norm": 2.194079323679347, | |
| "learning_rate": 1.5e-05, | |
| "loss": 2.3417, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.014666666666666666, | |
| "grad_norm": 2.5436460717739156, | |
| "learning_rate": 1.65e-05, | |
| "loss": 2.4571, | |
| "step": 11 | |
| }, | |
| { | |
| "epoch": 0.016, | |
| "grad_norm": 1.9496092240793341, | |
| "learning_rate": 1.8e-05, | |
| "loss": 1.9637, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.017333333333333333, | |
| "grad_norm": 1.2616722727237577, | |
| "learning_rate": 1.95e-05, | |
| "loss": 2.5866, | |
| "step": 13 | |
| }, | |
| { | |
| "epoch": 0.018666666666666668, | |
| "grad_norm": 0.3060862022495338, | |
| "learning_rate": 2.1e-05, | |
| "loss": 2.1547, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 0.02, | |
| "grad_norm": 0.5028816367161089, | |
| "learning_rate": 2.25e-05, | |
| "loss": 1.8957, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.021333333333333333, | |
| "grad_norm": 0.5034069784636721, | |
| "learning_rate": 2.4e-05, | |
| "loss": 2.1151, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.02266666666666667, | |
| "grad_norm": 1.5564960276262187, | |
| "learning_rate": 2.55e-05, | |
| "loss": 2.3041, | |
| "step": 17 | |
| }, | |
| { | |
| "epoch": 0.024, | |
| "grad_norm": 0.4958603020666427, | |
| "learning_rate": 2.7000000000000002e-05, | |
| "loss": 2.0962, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 0.025333333333333333, | |
| "grad_norm": 1.5362995691059922, | |
| "learning_rate": 2.8499999999999998e-05, | |
| "loss": 2.3989, | |
| "step": 19 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 0.648652241685575, | |
| "learning_rate": 3e-05, | |
| "loss": 2.5339, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.028, | |
| "grad_norm": 0.554470724602306, | |
| "learning_rate": 2.999996958555301e-05, | |
| "loss": 2.4793, | |
| "step": 21 | |
| }, | |
| { | |
| "epoch": 0.029333333333333333, | |
| "grad_norm": 1.3508987707917082, | |
| "learning_rate": 2.999987834234907e-05, | |
| "loss": 2.3167, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 0.030666666666666665, | |
| "grad_norm": 0.4599504691462346, | |
| "learning_rate": 2.9999726270799325e-05, | |
| "loss": 2.36, | |
| "step": 23 | |
| }, | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 1.0007538870075432, | |
| "learning_rate": 2.999951337158897e-05, | |
| "loss": 2.2342, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 0.03333333333333333, | |
| "grad_norm": 0.8436818785690442, | |
| "learning_rate": 2.9999239645677304e-05, | |
| "loss": 2.2803, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.034666666666666665, | |
| "grad_norm": 0.37337797248642607, | |
| "learning_rate": 2.9998905094297686e-05, | |
| "loss": 2.188, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 0.036, | |
| "grad_norm": 0.16596641795830927, | |
| "learning_rate": 2.9998509718957563e-05, | |
| "loss": 2.105, | |
| "step": 27 | |
| }, | |
| { | |
| "epoch": 0.037333333333333336, | |
| "grad_norm": 0.3163756174860874, | |
| "learning_rate": 2.9998053521438427e-05, | |
| "loss": 2.1819, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 0.03866666666666667, | |
| "grad_norm": 0.73179742586677, | |
| "learning_rate": 2.9997536503795834e-05, | |
| "loss": 2.2281, | |
| "step": 29 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 0.18793418314598326, | |
| "learning_rate": 2.9996958668359386e-05, | |
| "loss": 2.1174, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.04133333333333333, | |
| "grad_norm": 0.6403343407451153, | |
| "learning_rate": 2.999632001773272e-05, | |
| "loss": 2.3419, | |
| "step": 31 | |
| }, | |
| { | |
| "epoch": 0.042666666666666665, | |
| "grad_norm": 0.2773466547599625, | |
| "learning_rate": 2.9995620554793495e-05, | |
| "loss": 1.9779, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 0.044, | |
| "grad_norm": 0.42992322954286805, | |
| "learning_rate": 2.999486028269338e-05, | |
| "loss": 1.891, | |
| "step": 33 | |
| }, | |
| { | |
| "epoch": 0.04533333333333334, | |
| "grad_norm": 0.3880877285520559, | |
| "learning_rate": 2.9994039204858043e-05, | |
| "loss": 1.9488, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 0.04666666666666667, | |
| "grad_norm": 0.38995745148913935, | |
| "learning_rate": 2.999315732498714e-05, | |
| "loss": 2.5013, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.048, | |
| "grad_norm": 0.4228621926559084, | |
| "learning_rate": 2.999221464705427e-05, | |
| "loss": 2.1356, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 0.04933333333333333, | |
| "grad_norm": 0.4663890399818879, | |
| "learning_rate": 2.9991211175307006e-05, | |
| "loss": 2.155, | |
| "step": 37 | |
| }, | |
| { | |
| "epoch": 0.050666666666666665, | |
| "grad_norm": 0.5287155786829871, | |
| "learning_rate": 2.9990146914266826e-05, | |
| "loss": 1.8496, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 0.052, | |
| "grad_norm": 0.33925018851926647, | |
| "learning_rate": 2.9989021868729135e-05, | |
| "loss": 2.1315, | |
| "step": 39 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 0.16522140027488588, | |
| "learning_rate": 2.99878360437632e-05, | |
| "loss": 2.0977, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.05466666666666667, | |
| "grad_norm": 0.6355838754971164, | |
| "learning_rate": 2.998658944471217e-05, | |
| "loss": 2.1459, | |
| "step": 41 | |
| }, | |
| { | |
| "epoch": 0.056, | |
| "grad_norm": 0.26447590316147407, | |
| "learning_rate": 2.9985282077193026e-05, | |
| "loss": 2.0833, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 0.05733333333333333, | |
| "grad_norm": 0.29258668895913753, | |
| "learning_rate": 2.9983913947096563e-05, | |
| "loss": 2.2603, | |
| "step": 43 | |
| }, | |
| { | |
| "epoch": 0.058666666666666666, | |
| "grad_norm": 0.2920264557478038, | |
| "learning_rate": 2.9982485060587357e-05, | |
| "loss": 1.9828, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 0.06, | |
| "grad_norm": 0.3860467745966656, | |
| "learning_rate": 2.9980995424103748e-05, | |
| "loss": 2.4214, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 0.06133333333333333, | |
| "grad_norm": 0.5757512413804123, | |
| "learning_rate": 2.9979445044357814e-05, | |
| "loss": 2.212, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 0.06266666666666666, | |
| "grad_norm": 0.21304621427134704, | |
| "learning_rate": 2.9977833928335316e-05, | |
| "loss": 1.9271, | |
| "step": 47 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 0.3301257012003079, | |
| "learning_rate": 2.9976162083295694e-05, | |
| "loss": 2.0472, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 0.06533333333333333, | |
| "grad_norm": 0.3008211448973632, | |
| "learning_rate": 2.9974429516772018e-05, | |
| "loss": 2.4323, | |
| "step": 49 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 0.26704445986476444, | |
| "learning_rate": 2.997263623657097e-05, | |
| "loss": 2.003, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.068, | |
| "grad_norm": 0.24343367493238866, | |
| "learning_rate": 2.9970782250772786e-05, | |
| "loss": 1.9911, | |
| "step": 51 | |
| }, | |
| { | |
| "epoch": 0.06933333333333333, | |
| "grad_norm": 0.36868774906810614, | |
| "learning_rate": 2.9968867567731233e-05, | |
| "loss": 2.3312, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 0.07066666666666667, | |
| "grad_norm": 0.4346673091737939, | |
| "learning_rate": 2.9966892196073583e-05, | |
| "loss": 2.0461, | |
| "step": 53 | |
| }, | |
| { | |
| "epoch": 0.072, | |
| "grad_norm": 0.27732062938320917, | |
| "learning_rate": 2.996485614470054e-05, | |
| "loss": 1.8782, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 0.07333333333333333, | |
| "grad_norm": 0.5044098714622329, | |
| "learning_rate": 2.9962759422786248e-05, | |
| "loss": 2.3024, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 0.07466666666666667, | |
| "grad_norm": 0.35584299953539106, | |
| "learning_rate": 2.9960602039778196e-05, | |
| "loss": 1.9019, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 0.076, | |
| "grad_norm": 0.25515628575898364, | |
| "learning_rate": 2.995838400539723e-05, | |
| "loss": 2.1745, | |
| "step": 57 | |
| }, | |
| { | |
| "epoch": 0.07733333333333334, | |
| "grad_norm": 0.22266755698926835, | |
| "learning_rate": 2.9956105329637454e-05, | |
| "loss": 2.3572, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 0.07866666666666666, | |
| "grad_norm": 0.23590376658875728, | |
| "learning_rate": 2.9953766022766228e-05, | |
| "loss": 2.2639, | |
| "step": 59 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 0.19958974114647998, | |
| "learning_rate": 2.9951366095324108e-05, | |
| "loss": 2.2983, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.08133333333333333, | |
| "grad_norm": 0.26170668739549613, | |
| "learning_rate": 2.994890555812479e-05, | |
| "loss": 1.7797, | |
| "step": 61 | |
| }, | |
| { | |
| "epoch": 0.08266666666666667, | |
| "grad_norm": 0.1947500638232896, | |
| "learning_rate": 2.9946384422255074e-05, | |
| "loss": 2.232, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 0.084, | |
| "grad_norm": 0.18048707660964908, | |
| "learning_rate": 2.9943802699074796e-05, | |
| "loss": 2.3487, | |
| "step": 63 | |
| }, | |
| { | |
| "epoch": 0.08533333333333333, | |
| "grad_norm": 0.21913225188044025, | |
| "learning_rate": 2.994116040021681e-05, | |
| "loss": 2.1964, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 0.08666666666666667, | |
| "grad_norm": 0.4242826633242974, | |
| "learning_rate": 2.9938457537586896e-05, | |
| "loss": 2.3137, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 0.088, | |
| "grad_norm": 0.2557454392806272, | |
| "learning_rate": 2.9935694123363727e-05, | |
| "loss": 2.1458, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 0.08933333333333333, | |
| "grad_norm": 0.3093808768168103, | |
| "learning_rate": 2.9932870169998825e-05, | |
| "loss": 2.1153, | |
| "step": 67 | |
| }, | |
| { | |
| "epoch": 0.09066666666666667, | |
| "grad_norm": 0.33819459397450213, | |
| "learning_rate": 2.9929985690216478e-05, | |
| "loss": 2.0772, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 0.092, | |
| "grad_norm": 0.21377958208808176, | |
| "learning_rate": 2.9927040697013705e-05, | |
| "loss": 2.1949, | |
| "step": 69 | |
| }, | |
| { | |
| "epoch": 0.09333333333333334, | |
| "grad_norm": 0.2652218777029591, | |
| "learning_rate": 2.9924035203660188e-05, | |
| "loss": 2.0031, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.09466666666666666, | |
| "grad_norm": 0.23574741210798578, | |
| "learning_rate": 2.9920969223698202e-05, | |
| "loss": 1.9449, | |
| "step": 71 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 0.2226926959097067, | |
| "learning_rate": 2.991784277094258e-05, | |
| "loss": 2.031, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 0.09733333333333333, | |
| "grad_norm": 0.24814250998530846, | |
| "learning_rate": 2.9914655859480632e-05, | |
| "loss": 2.0921, | |
| "step": 73 | |
| }, | |
| { | |
| "epoch": 0.09866666666666667, | |
| "grad_norm": 0.33914254917033065, | |
| "learning_rate": 2.991140850367208e-05, | |
| "loss": 2.2183, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 0.25867270370266443, | |
| "learning_rate": 2.990810071814901e-05, | |
| "loss": 1.6416, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "eval_loss": 1.782590389251709, | |
| "eval_runtime": 98.6583, | |
| "eval_samples_per_second": 1.014, | |
| "eval_steps_per_second": 0.253, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 0.10133333333333333, | |
| "grad_norm": 0.22920181089355457, | |
| "learning_rate": 2.990473251781578e-05, | |
| "loss": 2.1863, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 0.10266666666666667, | |
| "grad_norm": 0.18274633553603156, | |
| "learning_rate": 2.9901303917848977e-05, | |
| "loss": 2.2399, | |
| "step": 77 | |
| }, | |
| { | |
| "epoch": 0.104, | |
| "grad_norm": 0.18220877055008589, | |
| "learning_rate": 2.9897814933697335e-05, | |
| "loss": 1.9149, | |
| "step": 78 | |
| }, | |
| { | |
| "epoch": 0.10533333333333333, | |
| "grad_norm": 0.2021601886002538, | |
| "learning_rate": 2.9894265581081682e-05, | |
| "loss": 2.199, | |
| "step": 79 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 3.7616720925364286, | |
| "learning_rate": 2.989065587599484e-05, | |
| "loss": 2.1179, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.108, | |
| "grad_norm": 0.23407462358542114, | |
| "learning_rate": 2.9886985834701577e-05, | |
| "loss": 2.5661, | |
| "step": 81 | |
| }, | |
| { | |
| "epoch": 0.10933333333333334, | |
| "grad_norm": 1.5338568979686038, | |
| "learning_rate": 2.9883255473738523e-05, | |
| "loss": 2.2263, | |
| "step": 82 | |
| }, | |
| { | |
| "epoch": 0.11066666666666666, | |
| "grad_norm": 0.24500727274505268, | |
| "learning_rate": 2.9879464809914113e-05, | |
| "loss": 2.0621, | |
| "step": 83 | |
| }, | |
| { | |
| "epoch": 0.112, | |
| "grad_norm": 0.21179059127462146, | |
| "learning_rate": 2.987561386030848e-05, | |
| "loss": 2.0356, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 0.11333333333333333, | |
| "grad_norm": 0.3306008087329227, | |
| "learning_rate": 2.9871702642273404e-05, | |
| "loss": 2.0848, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 0.11466666666666667, | |
| "grad_norm": 0.15657087812683942, | |
| "learning_rate": 2.9867731173432215e-05, | |
| "loss": 2.2127, | |
| "step": 86 | |
| }, | |
| { | |
| "epoch": 0.116, | |
| "grad_norm": 0.1886500437129195, | |
| "learning_rate": 2.9863699471679743e-05, | |
| "loss": 1.9854, | |
| "step": 87 | |
| }, | |
| { | |
| "epoch": 0.11733333333333333, | |
| "grad_norm": 0.22974349537556282, | |
| "learning_rate": 2.9859607555182206e-05, | |
| "loss": 2.1972, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 0.11866666666666667, | |
| "grad_norm": 0.2578002903522265, | |
| "learning_rate": 2.9855455442377135e-05, | |
| "loss": 2.1804, | |
| "step": 89 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 0.24109737247334548, | |
| "learning_rate": 2.9851243151973314e-05, | |
| "loss": 1.9523, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.12133333333333333, | |
| "grad_norm": 0.34121465203098633, | |
| "learning_rate": 2.9846970702950653e-05, | |
| "loss": 1.9493, | |
| "step": 91 | |
| }, | |
| { | |
| "epoch": 0.12266666666666666, | |
| "grad_norm": 0.2069391899522312, | |
| "learning_rate": 2.9842638114560144e-05, | |
| "loss": 2.2207, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 0.124, | |
| "grad_norm": 0.41038744334249916, | |
| "learning_rate": 2.9838245406323763e-05, | |
| "loss": 2.0954, | |
| "step": 93 | |
| }, | |
| { | |
| "epoch": 0.12533333333333332, | |
| "grad_norm": 0.2818876029106677, | |
| "learning_rate": 2.9833792598034362e-05, | |
| "loss": 2.063, | |
| "step": 94 | |
| }, | |
| { | |
| "epoch": 0.12666666666666668, | |
| "grad_norm": 0.3963506275688602, | |
| "learning_rate": 2.9829279709755597e-05, | |
| "loss": 1.9915, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 0.3357399751778237, | |
| "learning_rate": 2.9824706761821845e-05, | |
| "loss": 2.0319, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 0.12933333333333333, | |
| "grad_norm": 0.2484694376564558, | |
| "learning_rate": 2.9820073774838092e-05, | |
| "loss": 1.9593, | |
| "step": 97 | |
| }, | |
| { | |
| "epoch": 0.13066666666666665, | |
| "grad_norm": 0.28583010649806945, | |
| "learning_rate": 2.9815380769679853e-05, | |
| "loss": 2.0876, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 0.132, | |
| "grad_norm": 0.2839808516235786, | |
| "learning_rate": 2.9810627767493083e-05, | |
| "loss": 2.107, | |
| "step": 99 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 0.22309498057469626, | |
| "learning_rate": 2.9805814789694065e-05, | |
| "loss": 2.3163, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.13466666666666666, | |
| "grad_norm": 0.21629704903995522, | |
| "learning_rate": 2.9800941857969325e-05, | |
| "loss": 1.9568, | |
| "step": 101 | |
| }, | |
| { | |
| "epoch": 0.136, | |
| "grad_norm": 0.2498232144819958, | |
| "learning_rate": 2.9796008994275533e-05, | |
| "loss": 2.2436, | |
| "step": 102 | |
| }, | |
| { | |
| "epoch": 0.13733333333333334, | |
| "grad_norm": 0.23251794806618262, | |
| "learning_rate": 2.979101622083941e-05, | |
| "loss": 2.1077, | |
| "step": 103 | |
| }, | |
| { | |
| "epoch": 0.13866666666666666, | |
| "grad_norm": 0.27094215165929786, | |
| "learning_rate": 2.978596356015761e-05, | |
| "loss": 2.2429, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 0.14, | |
| "grad_norm": 0.23381976958310982, | |
| "learning_rate": 2.978085103499663e-05, | |
| "loss": 2.1045, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 0.14133333333333334, | |
| "grad_norm": 0.31137413672950875, | |
| "learning_rate": 2.9775678668392713e-05, | |
| "loss": 2.2828, | |
| "step": 106 | |
| }, | |
| { | |
| "epoch": 0.14266666666666666, | |
| "grad_norm": 0.2510514954722372, | |
| "learning_rate": 2.9770446483651735e-05, | |
| "loss": 2.0488, | |
| "step": 107 | |
| }, | |
| { | |
| "epoch": 0.144, | |
| "grad_norm": 0.20677625084575546, | |
| "learning_rate": 2.976515450434911e-05, | |
| "loss": 2.0007, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 0.14533333333333334, | |
| "grad_norm": 0.1441931078695141, | |
| "learning_rate": 2.9759802754329665e-05, | |
| "loss": 2.2914, | |
| "step": 109 | |
| }, | |
| { | |
| "epoch": 0.14666666666666667, | |
| "grad_norm": 0.2505777324570115, | |
| "learning_rate": 2.9754391257707555e-05, | |
| "loss": 2.3766, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.148, | |
| "grad_norm": 0.15292718959769924, | |
| "learning_rate": 2.9748920038866134e-05, | |
| "loss": 2.0941, | |
| "step": 111 | |
| }, | |
| { | |
| "epoch": 0.14933333333333335, | |
| "grad_norm": 0.323283263320876, | |
| "learning_rate": 2.9743389122457864e-05, | |
| "loss": 2.249, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 0.15066666666666667, | |
| "grad_norm": 0.18122528780601804, | |
| "learning_rate": 2.9737798533404195e-05, | |
| "loss": 2.225, | |
| "step": 113 | |
| }, | |
| { | |
| "epoch": 0.152, | |
| "grad_norm": 0.1959413592260722, | |
| "learning_rate": 2.9732148296895444e-05, | |
| "loss": 2.2521, | |
| "step": 114 | |
| }, | |
| { | |
| "epoch": 0.15333333333333332, | |
| "grad_norm": 0.3035240193818014, | |
| "learning_rate": 2.9726438438390702e-05, | |
| "loss": 1.8693, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 0.15466666666666667, | |
| "grad_norm": 0.18185372954938864, | |
| "learning_rate": 2.9720668983617685e-05, | |
| "loss": 1.7352, | |
| "step": 116 | |
| }, | |
| { | |
| "epoch": 0.156, | |
| "grad_norm": 0.22324589503263917, | |
| "learning_rate": 2.9714839958572674e-05, | |
| "loss": 2.1327, | |
| "step": 117 | |
| }, | |
| { | |
| "epoch": 0.15733333333333333, | |
| "grad_norm": 0.17640470731953065, | |
| "learning_rate": 2.9708951389520338e-05, | |
| "loss": 2.3011, | |
| "step": 118 | |
| }, | |
| { | |
| "epoch": 0.15866666666666668, | |
| "grad_norm": 0.22566777150432568, | |
| "learning_rate": 2.970300330299365e-05, | |
| "loss": 2.2591, | |
| "step": 119 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.26753575405847074, | |
| "learning_rate": 2.9696995725793764e-05, | |
| "loss": 1.9764, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.16133333333333333, | |
| "grad_norm": 0.2625838791216609, | |
| "learning_rate": 2.969092868498988e-05, | |
| "loss": 2.0906, | |
| "step": 121 | |
| }, | |
| { | |
| "epoch": 0.16266666666666665, | |
| "grad_norm": 0.23542440806071088, | |
| "learning_rate": 2.9684802207919144e-05, | |
| "loss": 2.331, | |
| "step": 122 | |
| }, | |
| { | |
| "epoch": 0.164, | |
| "grad_norm": 0.16614596830245607, | |
| "learning_rate": 2.9678616322186506e-05, | |
| "loss": 2.0534, | |
| "step": 123 | |
| }, | |
| { | |
| "epoch": 0.16533333333333333, | |
| "grad_norm": 0.2087450409416601, | |
| "learning_rate": 2.9672371055664598e-05, | |
| "loss": 2.3241, | |
| "step": 124 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 0.19314135153093137, | |
| "learning_rate": 2.9666066436493612e-05, | |
| "loss": 2.0654, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 0.168, | |
| "grad_norm": 0.21431158762567906, | |
| "learning_rate": 2.9659702493081184e-05, | |
| "loss": 1.9973, | |
| "step": 126 | |
| }, | |
| { | |
| "epoch": 0.16933333333333334, | |
| "grad_norm": 1.9808549742241428, | |
| "learning_rate": 2.965327925410226e-05, | |
| "loss": 2.0077, | |
| "step": 127 | |
| }, | |
| { | |
| "epoch": 0.17066666666666666, | |
| "grad_norm": 0.26139018103307665, | |
| "learning_rate": 2.9646796748498934e-05, | |
| "loss": 2.0224, | |
| "step": 128 | |
| }, | |
| { | |
| "epoch": 0.172, | |
| "grad_norm": 0.25005627301032396, | |
| "learning_rate": 2.9640255005480376e-05, | |
| "loss": 2.2725, | |
| "step": 129 | |
| }, | |
| { | |
| "epoch": 0.17333333333333334, | |
| "grad_norm": 0.15880416331686953, | |
| "learning_rate": 2.9633654054522655e-05, | |
| "loss": 2.2907, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.17466666666666666, | |
| "grad_norm": 0.33529634494995547, | |
| "learning_rate": 2.9626993925368635e-05, | |
| "loss": 2.0113, | |
| "step": 131 | |
| }, | |
| { | |
| "epoch": 0.176, | |
| "grad_norm": 0.28246655756719385, | |
| "learning_rate": 2.9620274648027805e-05, | |
| "loss": 1.6602, | |
| "step": 132 | |
| }, | |
| { | |
| "epoch": 0.17733333333333334, | |
| "grad_norm": 0.19752740198982274, | |
| "learning_rate": 2.96134962527762e-05, | |
| "loss": 2.4049, | |
| "step": 133 | |
| }, | |
| { | |
| "epoch": 0.17866666666666667, | |
| "grad_norm": 0.24132626803001633, | |
| "learning_rate": 2.960665877015619e-05, | |
| "loss": 1.9882, | |
| "step": 134 | |
| }, | |
| { | |
| "epoch": 0.18, | |
| "grad_norm": 0.20387262050547844, | |
| "learning_rate": 2.959976223097642e-05, | |
| "loss": 2.1055, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 0.18133333333333335, | |
| "grad_norm": 0.1624504592181784, | |
| "learning_rate": 2.9592806666311612e-05, | |
| "loss": 2.0519, | |
| "step": 136 | |
| }, | |
| { | |
| "epoch": 0.18266666666666667, | |
| "grad_norm": 0.17429829196685362, | |
| "learning_rate": 2.958579210750246e-05, | |
| "loss": 2.2465, | |
| "step": 137 | |
| }, | |
| { | |
| "epoch": 0.184, | |
| "grad_norm": 0.20450521945125338, | |
| "learning_rate": 2.9578718586155467e-05, | |
| "loss": 2.0122, | |
| "step": 138 | |
| }, | |
| { | |
| "epoch": 0.18533333333333332, | |
| "grad_norm": 0.25553899821370907, | |
| "learning_rate": 2.9571586134142824e-05, | |
| "loss": 1.9806, | |
| "step": 139 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 0.18251828378522442, | |
| "learning_rate": 2.956439478360224e-05, | |
| "loss": 2.0153, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.188, | |
| "grad_norm": 0.27047669211119385, | |
| "learning_rate": 2.9557144566936813e-05, | |
| "loss": 2.3386, | |
| "step": 141 | |
| }, | |
| { | |
| "epoch": 0.18933333333333333, | |
| "grad_norm": 0.25054213266869674, | |
| "learning_rate": 2.9549835516814905e-05, | |
| "loss": 1.8871, | |
| "step": 142 | |
| }, | |
| { | |
| "epoch": 0.19066666666666668, | |
| "grad_norm": 0.2177646465341283, | |
| "learning_rate": 2.9542467666169946e-05, | |
| "loss": 1.9861, | |
| "step": 143 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 0.23131873734472552, | |
| "learning_rate": 2.953504104820032e-05, | |
| "loss": 2.2903, | |
| "step": 144 | |
| }, | |
| { | |
| "epoch": 0.19333333333333333, | |
| "grad_norm": 0.19112449587530203, | |
| "learning_rate": 2.9527555696369217e-05, | |
| "loss": 2.079, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 0.19466666666666665, | |
| "grad_norm": 0.25269202301867255, | |
| "learning_rate": 2.9520011644404457e-05, | |
| "loss": 2.0033, | |
| "step": 146 | |
| }, | |
| { | |
| "epoch": 0.196, | |
| "grad_norm": 0.27870777753889076, | |
| "learning_rate": 2.9512408926298362e-05, | |
| "loss": 2.0747, | |
| "step": 147 | |
| }, | |
| { | |
| "epoch": 0.19733333333333333, | |
| "grad_norm": 0.2356849572111222, | |
| "learning_rate": 2.9504747576307594e-05, | |
| "loss": 1.9859, | |
| "step": 148 | |
| }, | |
| { | |
| "epoch": 0.19866666666666666, | |
| "grad_norm": 0.24802404030831268, | |
| "learning_rate": 2.9497027628953e-05, | |
| "loss": 1.9636, | |
| "step": 149 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 0.2705817304080749, | |
| "learning_rate": 2.9489249119019465e-05, | |
| "loss": 2.3547, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "eval_loss": 1.764258623123169, | |
| "eval_runtime": 98.8204, | |
| "eval_samples_per_second": 1.012, | |
| "eval_steps_per_second": 0.253, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.20133333333333334, | |
| "grad_norm": 0.2582615198348039, | |
| "learning_rate": 2.948141208155574e-05, | |
| "loss": 2.0245, | |
| "step": 151 | |
| }, | |
| { | |
| "epoch": 0.20266666666666666, | |
| "grad_norm": 0.4907789285423073, | |
| "learning_rate": 2.9473516551874283e-05, | |
| "loss": 2.0994, | |
| "step": 152 | |
| }, | |
| { | |
| "epoch": 0.204, | |
| "grad_norm": 0.18922034328138926, | |
| "learning_rate": 2.946556256555113e-05, | |
| "loss": 2.323, | |
| "step": 153 | |
| }, | |
| { | |
| "epoch": 0.20533333333333334, | |
| "grad_norm": 0.2033901054041812, | |
| "learning_rate": 2.94575501584257e-05, | |
| "loss": 2.0412, | |
| "step": 154 | |
| }, | |
| { | |
| "epoch": 0.20666666666666667, | |
| "grad_norm": 0.44181703724009636, | |
| "learning_rate": 2.9449479366600646e-05, | |
| "loss": 2.0977, | |
| "step": 155 | |
| }, | |
| { | |
| "epoch": 0.208, | |
| "grad_norm": 0.23299679001877052, | |
| "learning_rate": 2.94413502264417e-05, | |
| "loss": 2.1351, | |
| "step": 156 | |
| }, | |
| { | |
| "epoch": 0.20933333333333334, | |
| "grad_norm": 0.1826511129435199, | |
| "learning_rate": 2.94331627745775e-05, | |
| "loss": 2.23, | |
| "step": 157 | |
| }, | |
| { | |
| "epoch": 0.21066666666666667, | |
| "grad_norm": 0.21212768867139842, | |
| "learning_rate": 2.9424917047899425e-05, | |
| "loss": 2.1412, | |
| "step": 158 | |
| }, | |
| { | |
| "epoch": 0.212, | |
| "grad_norm": 0.3826582810934168, | |
| "learning_rate": 2.9416613083561428e-05, | |
| "loss": 2.2128, | |
| "step": 159 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 0.19962942232450726, | |
| "learning_rate": 2.9408250918979886e-05, | |
| "loss": 1.9778, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.21466666666666667, | |
| "grad_norm": 0.1694294631609089, | |
| "learning_rate": 2.9399830591833407e-05, | |
| "loss": 2.4602, | |
| "step": 161 | |
| }, | |
| { | |
| "epoch": 0.216, | |
| "grad_norm": 0.2899013004381108, | |
| "learning_rate": 2.9391352140062668e-05, | |
| "loss": 1.9118, | |
| "step": 162 | |
| }, | |
| { | |
| "epoch": 0.21733333333333332, | |
| "grad_norm": 0.23107679488781446, | |
| "learning_rate": 2.9382815601870252e-05, | |
| "loss": 2.0482, | |
| "step": 163 | |
| }, | |
| { | |
| "epoch": 0.21866666666666668, | |
| "grad_norm": 0.21890406305674734, | |
| "learning_rate": 2.9374221015720465e-05, | |
| "loss": 2.041, | |
| "step": 164 | |
| }, | |
| { | |
| "epoch": 0.22, | |
| "grad_norm": 0.23483748269482313, | |
| "learning_rate": 2.9365568420339173e-05, | |
| "loss": 2.2775, | |
| "step": 165 | |
| }, | |
| { | |
| "epoch": 0.22133333333333333, | |
| "grad_norm": 0.2872971245253849, | |
| "learning_rate": 2.9356857854713628e-05, | |
| "loss": 1.9568, | |
| "step": 166 | |
| }, | |
| { | |
| "epoch": 0.22266666666666668, | |
| "grad_norm": 0.2372348840011155, | |
| "learning_rate": 2.9348089358092266e-05, | |
| "loss": 2.262, | |
| "step": 167 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 0.36284791627622115, | |
| "learning_rate": 2.9339262969984575e-05, | |
| "loss": 2.083, | |
| "step": 168 | |
| }, | |
| { | |
| "epoch": 0.22533333333333333, | |
| "grad_norm": 0.29336818899957795, | |
| "learning_rate": 2.9330378730160882e-05, | |
| "loss": 1.9668, | |
| "step": 169 | |
| }, | |
| { | |
| "epoch": 0.22666666666666666, | |
| "grad_norm": 0.2201337837382957, | |
| "learning_rate": 2.932143667865218e-05, | |
| "loss": 2.2411, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.228, | |
| "grad_norm": 0.23312129174527574, | |
| "learning_rate": 2.931243685574997e-05, | |
| "loss": 1.7557, | |
| "step": 171 | |
| }, | |
| { | |
| "epoch": 0.22933333333333333, | |
| "grad_norm": 0.2158943628320117, | |
| "learning_rate": 2.930337930200603e-05, | |
| "loss": 2.2391, | |
| "step": 172 | |
| }, | |
| { | |
| "epoch": 0.23066666666666666, | |
| "grad_norm": 0.22961082626415702, | |
| "learning_rate": 2.929426405823231e-05, | |
| "loss": 1.983, | |
| "step": 173 | |
| }, | |
| { | |
| "epoch": 0.232, | |
| "grad_norm": 0.1589890947108339, | |
| "learning_rate": 2.9285091165500653e-05, | |
| "loss": 2.2212, | |
| "step": 174 | |
| }, | |
| { | |
| "epoch": 0.23333333333333334, | |
| "grad_norm": 0.3416891731513133, | |
| "learning_rate": 2.9275860665142697e-05, | |
| "loss": 2.151, | |
| "step": 175 | |
| }, | |
| { | |
| "epoch": 0.23466666666666666, | |
| "grad_norm": 0.3116792178273567, | |
| "learning_rate": 2.9266572598749632e-05, | |
| "loss": 1.9779, | |
| "step": 176 | |
| }, | |
| { | |
| "epoch": 0.236, | |
| "grad_norm": 0.2507975453340776, | |
| "learning_rate": 2.925722700817204e-05, | |
| "loss": 1.8828, | |
| "step": 177 | |
| }, | |
| { | |
| "epoch": 0.23733333333333334, | |
| "grad_norm": 0.2679656189407352, | |
| "learning_rate": 2.9247823935519685e-05, | |
| "loss": 2.0387, | |
| "step": 178 | |
| }, | |
| { | |
| "epoch": 0.23866666666666667, | |
| "grad_norm": 0.23989994031916193, | |
| "learning_rate": 2.9238363423161357e-05, | |
| "loss": 2.0543, | |
| "step": 179 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 0.1858192959656248, | |
| "learning_rate": 2.9228845513724636e-05, | |
| "loss": 2.1298, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.24133333333333334, | |
| "grad_norm": 0.2634790646951208, | |
| "learning_rate": 2.921927025009575e-05, | |
| "loss": 1.8913, | |
| "step": 181 | |
| }, | |
| { | |
| "epoch": 0.24266666666666667, | |
| "grad_norm": 0.2022924360136422, | |
| "learning_rate": 2.920963767541933e-05, | |
| "loss": 2.125, | |
| "step": 182 | |
| }, | |
| { | |
| "epoch": 0.244, | |
| "grad_norm": 0.2093674676298739, | |
| "learning_rate": 2.919994783309827e-05, | |
| "loss": 2.0787, | |
| "step": 183 | |
| }, | |
| { | |
| "epoch": 0.24533333333333332, | |
| "grad_norm": 0.21965402179914853, | |
| "learning_rate": 2.9190200766793476e-05, | |
| "loss": 2.2001, | |
| "step": 184 | |
| }, | |
| { | |
| "epoch": 0.24666666666666667, | |
| "grad_norm": 0.1853707607114335, | |
| "learning_rate": 2.9180396520423712e-05, | |
| "loss": 2.2625, | |
| "step": 185 | |
| }, | |
| { | |
| "epoch": 0.248, | |
| "grad_norm": 0.16161978911997635, | |
| "learning_rate": 2.9170535138165386e-05, | |
| "loss": 2.1841, | |
| "step": 186 | |
| }, | |
| { | |
| "epoch": 0.24933333333333332, | |
| "grad_norm": 0.3229805512119213, | |
| "learning_rate": 2.9160616664452343e-05, | |
| "loss": 2.3706, | |
| "step": 187 | |
| }, | |
| { | |
| "epoch": 0.25066666666666665, | |
| "grad_norm": 0.2836753076906196, | |
| "learning_rate": 2.915064114397568e-05, | |
| "loss": 1.6237, | |
| "step": 188 | |
| }, | |
| { | |
| "epoch": 0.252, | |
| "grad_norm": 0.2698172260057232, | |
| "learning_rate": 2.9140608621683537e-05, | |
| "loss": 1.6731, | |
| "step": 189 | |
| }, | |
| { | |
| "epoch": 0.25333333333333335, | |
| "grad_norm": 0.19227100326585553, | |
| "learning_rate": 2.913051914278089e-05, | |
| "loss": 2.3641, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.25466666666666665, | |
| "grad_norm": 0.17075536856147475, | |
| "learning_rate": 2.9120372752729364e-05, | |
| "loss": 2.1405, | |
| "step": 191 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 0.18977706986071732, | |
| "learning_rate": 2.9110169497247005e-05, | |
| "loss": 2.2104, | |
| "step": 192 | |
| }, | |
| { | |
| "epoch": 0.25733333333333336, | |
| "grad_norm": 0.19137759329665405, | |
| "learning_rate": 2.909990942230809e-05, | |
| "loss": 2.0225, | |
| "step": 193 | |
| }, | |
| { | |
| "epoch": 0.25866666666666666, | |
| "grad_norm": 1.565607637042905, | |
| "learning_rate": 2.9089592574142925e-05, | |
| "loss": 1.8544, | |
| "step": 194 | |
| }, | |
| { | |
| "epoch": 0.26, | |
| "grad_norm": 0.19540116729751783, | |
| "learning_rate": 2.9079218999237602e-05, | |
| "loss": 2.3062, | |
| "step": 195 | |
| }, | |
| { | |
| "epoch": 0.2613333333333333, | |
| "grad_norm": 0.210417328406617, | |
| "learning_rate": 2.9068788744333847e-05, | |
| "loss": 2.1931, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 0.26266666666666666, | |
| "grad_norm": 0.17528914661443556, | |
| "learning_rate": 2.905830185642875e-05, | |
| "loss": 2.213, | |
| "step": 197 | |
| }, | |
| { | |
| "epoch": 0.264, | |
| "grad_norm": 0.19180797982535258, | |
| "learning_rate": 2.90477583827746e-05, | |
| "loss": 2.0999, | |
| "step": 198 | |
| }, | |
| { | |
| "epoch": 0.2653333333333333, | |
| "grad_norm": 0.20387611359379645, | |
| "learning_rate": 2.903715837087864e-05, | |
| "loss": 2.4077, | |
| "step": 199 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 0.37614141580385196, | |
| "learning_rate": 2.9026501868502878e-05, | |
| "loss": 2.345, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.268, | |
| "grad_norm": 0.23854637338124732, | |
| "learning_rate": 2.901578892366384e-05, | |
| "loss": 1.9616, | |
| "step": 201 | |
| }, | |
| { | |
| "epoch": 0.2693333333333333, | |
| "grad_norm": 0.360995797147823, | |
| "learning_rate": 2.9005019584632385e-05, | |
| "loss": 2.2637, | |
| "step": 202 | |
| }, | |
| { | |
| "epoch": 0.27066666666666667, | |
| "grad_norm": 0.1964827412506095, | |
| "learning_rate": 2.899419389993348e-05, | |
| "loss": 2.2153, | |
| "step": 203 | |
| }, | |
| { | |
| "epoch": 0.272, | |
| "grad_norm": 0.2697880949391648, | |
| "learning_rate": 2.8983311918345973e-05, | |
| "loss": 1.8934, | |
| "step": 204 | |
| }, | |
| { | |
| "epoch": 0.2733333333333333, | |
| "grad_norm": 0.2583392197903811, | |
| "learning_rate": 2.8972373688902372e-05, | |
| "loss": 2.1552, | |
| "step": 205 | |
| }, | |
| { | |
| "epoch": 0.27466666666666667, | |
| "grad_norm": 0.2368677594314249, | |
| "learning_rate": 2.8961379260888634e-05, | |
| "loss": 2.1976, | |
| "step": 206 | |
| }, | |
| { | |
| "epoch": 0.276, | |
| "grad_norm": 0.28279002863897235, | |
| "learning_rate": 2.895032868384393e-05, | |
| "loss": 2.0461, | |
| "step": 207 | |
| }, | |
| { | |
| "epoch": 0.2773333333333333, | |
| "grad_norm": 0.17431186704640889, | |
| "learning_rate": 2.8939222007560446e-05, | |
| "loss": 2.2258, | |
| "step": 208 | |
| }, | |
| { | |
| "epoch": 0.2786666666666667, | |
| "grad_norm": 0.2607071149284682, | |
| "learning_rate": 2.8928059282083126e-05, | |
| "loss": 1.8783, | |
| "step": 209 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 0.16929508986851496, | |
| "learning_rate": 2.8916840557709474e-05, | |
| "loss": 2.21, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.2813333333333333, | |
| "grad_norm": 0.30196081586191537, | |
| "learning_rate": 2.8905565884989304e-05, | |
| "loss": 2.2047, | |
| "step": 211 | |
| }, | |
| { | |
| "epoch": 0.2826666666666667, | |
| "grad_norm": 0.22938305453707358, | |
| "learning_rate": 2.889423531472455e-05, | |
| "loss": 2.1314, | |
| "step": 212 | |
| }, | |
| { | |
| "epoch": 0.284, | |
| "grad_norm": 0.24253705098980116, | |
| "learning_rate": 2.8882848897968974e-05, | |
| "loss": 1.9166, | |
| "step": 213 | |
| }, | |
| { | |
| "epoch": 0.2853333333333333, | |
| "grad_norm": 0.21184383213391744, | |
| "learning_rate": 2.8871406686028006e-05, | |
| "loss": 2.1445, | |
| "step": 214 | |
| }, | |
| { | |
| "epoch": 0.2866666666666667, | |
| "grad_norm": 0.20065002671794552, | |
| "learning_rate": 2.885990873045846e-05, | |
| "loss": 2.2053, | |
| "step": 215 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 0.20595618063455937, | |
| "learning_rate": 2.884835508306833e-05, | |
| "loss": 2.0275, | |
| "step": 216 | |
| }, | |
| { | |
| "epoch": 0.28933333333333333, | |
| "grad_norm": 0.22663216643758846, | |
| "learning_rate": 2.883674579591656e-05, | |
| "loss": 2.1399, | |
| "step": 217 | |
| }, | |
| { | |
| "epoch": 0.2906666666666667, | |
| "grad_norm": 0.20459405622917667, | |
| "learning_rate": 2.8825080921312775e-05, | |
| "loss": 2.0352, | |
| "step": 218 | |
| }, | |
| { | |
| "epoch": 0.292, | |
| "grad_norm": 0.24151264290319524, | |
| "learning_rate": 2.8813360511817092e-05, | |
| "loss": 2.0821, | |
| "step": 219 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 0.2377001051292377, | |
| "learning_rate": 2.8801584620239833e-05, | |
| "loss": 2.0448, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.2946666666666667, | |
| "grad_norm": 0.3689003556922912, | |
| "learning_rate": 2.878975329964134e-05, | |
| "loss": 2.107, | |
| "step": 221 | |
| }, | |
| { | |
| "epoch": 0.296, | |
| "grad_norm": 0.19280049013174935, | |
| "learning_rate": 2.877786660333169e-05, | |
| "loss": 2.2571, | |
| "step": 222 | |
| }, | |
| { | |
| "epoch": 0.29733333333333334, | |
| "grad_norm": 0.25684356289858495, | |
| "learning_rate": 2.876592458487049e-05, | |
| "loss": 1.9243, | |
| "step": 223 | |
| }, | |
| { | |
| "epoch": 0.2986666666666667, | |
| "grad_norm": 0.2460391604188184, | |
| "learning_rate": 2.8753927298066608e-05, | |
| "loss": 2.0996, | |
| "step": 224 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 0.2287761563539284, | |
| "learning_rate": 2.8741874796977947e-05, | |
| "loss": 1.9114, | |
| "step": 225 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "eval_loss": 1.7546015977859497, | |
| "eval_runtime": 98.7181, | |
| "eval_samples_per_second": 1.013, | |
| "eval_steps_per_second": 0.253, | |
| "step": 225 | |
| }, | |
| { | |
| "epoch": 0.30133333333333334, | |
| "grad_norm": 0.31900423121867244, | |
| "learning_rate": 2.8729767135911197e-05, | |
| "loss": 1.5513, | |
| "step": 226 | |
| }, | |
| { | |
| "epoch": 0.30266666666666664, | |
| "grad_norm": 0.21099907718331903, | |
| "learning_rate": 2.8717604369421587e-05, | |
| "loss": 1.8735, | |
| "step": 227 | |
| }, | |
| { | |
| "epoch": 0.304, | |
| "grad_norm": 0.23179334925928516, | |
| "learning_rate": 2.8705386552312647e-05, | |
| "loss": 2.0279, | |
| "step": 228 | |
| }, | |
| { | |
| "epoch": 0.30533333333333335, | |
| "grad_norm": 0.2249602605454057, | |
| "learning_rate": 2.869311373963596e-05, | |
| "loss": 2.1506, | |
| "step": 229 | |
| }, | |
| { | |
| "epoch": 0.30666666666666664, | |
| "grad_norm": 0.30614551906788895, | |
| "learning_rate": 2.8680785986690903e-05, | |
| "loss": 2.0057, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.308, | |
| "grad_norm": 0.32936171428483624, | |
| "learning_rate": 2.86684033490244e-05, | |
| "loss": 1.9719, | |
| "step": 231 | |
| }, | |
| { | |
| "epoch": 0.30933333333333335, | |
| "grad_norm": 0.21095264296363714, | |
| "learning_rate": 2.8655965882430697e-05, | |
| "loss": 2.0526, | |
| "step": 232 | |
| }, | |
| { | |
| "epoch": 0.31066666666666665, | |
| "grad_norm": 0.2506508450731689, | |
| "learning_rate": 2.8643473642951066e-05, | |
| "loss": 2.034, | |
| "step": 233 | |
| }, | |
| { | |
| "epoch": 0.312, | |
| "grad_norm": 0.16272890488221511, | |
| "learning_rate": 2.8630926686873598e-05, | |
| "loss": 2.2394, | |
| "step": 234 | |
| }, | |
| { | |
| "epoch": 0.31333333333333335, | |
| "grad_norm": 0.2636216414291072, | |
| "learning_rate": 2.8618325070732918e-05, | |
| "loss": 1.9559, | |
| "step": 235 | |
| }, | |
| { | |
| "epoch": 0.31466666666666665, | |
| "grad_norm": 0.239263175250845, | |
| "learning_rate": 2.860566885130994e-05, | |
| "loss": 1.9268, | |
| "step": 236 | |
| }, | |
| { | |
| "epoch": 0.316, | |
| "grad_norm": 0.3034572733475333, | |
| "learning_rate": 2.8592958085631616e-05, | |
| "loss": 2.4146, | |
| "step": 237 | |
| }, | |
| { | |
| "epoch": 0.31733333333333336, | |
| "grad_norm": 0.22016199356343413, | |
| "learning_rate": 2.8580192830970674e-05, | |
| "loss": 1.901, | |
| "step": 238 | |
| }, | |
| { | |
| "epoch": 0.31866666666666665, | |
| "grad_norm": 0.23102023640647829, | |
| "learning_rate": 2.856737314484536e-05, | |
| "loss": 2.1498, | |
| "step": 239 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.20238380453993177, | |
| "learning_rate": 2.8554499085019177e-05, | |
| "loss": 2.0954, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.32133333333333336, | |
| "grad_norm": 0.20808439458283837, | |
| "learning_rate": 2.854157070950063e-05, | |
| "loss": 2.0783, | |
| "step": 241 | |
| }, | |
| { | |
| "epoch": 0.32266666666666666, | |
| "grad_norm": 0.278146848673199, | |
| "learning_rate": 2.8528588076542966e-05, | |
| "loss": 1.7518, | |
| "step": 242 | |
| }, | |
| { | |
| "epoch": 0.324, | |
| "grad_norm": 0.20915907784327617, | |
| "learning_rate": 2.8515551244643903e-05, | |
| "loss": 1.7229, | |
| "step": 243 | |
| }, | |
| { | |
| "epoch": 0.3253333333333333, | |
| "grad_norm": 0.5420477506537028, | |
| "learning_rate": 2.850246027254537e-05, | |
| "loss": 1.758, | |
| "step": 244 | |
| }, | |
| { | |
| "epoch": 0.32666666666666666, | |
| "grad_norm": 0.2800677412041746, | |
| "learning_rate": 2.8489315219233248e-05, | |
| "loss": 1.9584, | |
| "step": 245 | |
| }, | |
| { | |
| "epoch": 0.328, | |
| "grad_norm": 0.22569958386724373, | |
| "learning_rate": 2.847611614393709e-05, | |
| "loss": 2.1033, | |
| "step": 246 | |
| }, | |
| { | |
| "epoch": 0.3293333333333333, | |
| "grad_norm": 0.28225543933402175, | |
| "learning_rate": 2.846286310612988e-05, | |
| "loss": 2.2579, | |
| "step": 247 | |
| }, | |
| { | |
| "epoch": 0.33066666666666666, | |
| "grad_norm": 0.25637825153268795, | |
| "learning_rate": 2.844955616552773e-05, | |
| "loss": 1.9495, | |
| "step": 248 | |
| }, | |
| { | |
| "epoch": 0.332, | |
| "grad_norm": 0.3042322338758206, | |
| "learning_rate": 2.8436195382089644e-05, | |
| "loss": 2.2247, | |
| "step": 249 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 0.2110291139150889, | |
| "learning_rate": 2.8422780816017227e-05, | |
| "loss": 2.2582, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.33466666666666667, | |
| "grad_norm": 0.24476057607988286, | |
| "learning_rate": 2.8409312527754417e-05, | |
| "loss": 2.1626, | |
| "step": 251 | |
| }, | |
| { | |
| "epoch": 0.336, | |
| "grad_norm": 0.19859582662498323, | |
| "learning_rate": 2.8395790577987225e-05, | |
| "loss": 2.0592, | |
| "step": 252 | |
| }, | |
| { | |
| "epoch": 0.3373333333333333, | |
| "grad_norm": 0.2560077569832347, | |
| "learning_rate": 2.8382215027643447e-05, | |
| "loss": 1.9116, | |
| "step": 253 | |
| }, | |
| { | |
| "epoch": 0.33866666666666667, | |
| "grad_norm": 0.2325816082873428, | |
| "learning_rate": 2.836858593789239e-05, | |
| "loss": 2.1088, | |
| "step": 254 | |
| }, | |
| { | |
| "epoch": 0.34, | |
| "grad_norm": 0.2633745282570676, | |
| "learning_rate": 2.8354903370144613e-05, | |
| "loss": 2.3106, | |
| "step": 255 | |
| }, | |
| { | |
| "epoch": 0.3413333333333333, | |
| "grad_norm": 0.25738882949934827, | |
| "learning_rate": 2.834116738605162e-05, | |
| "loss": 1.9449, | |
| "step": 256 | |
| }, | |
| { | |
| "epoch": 0.3426666666666667, | |
| "grad_norm": 0.19022713562039067, | |
| "learning_rate": 2.8327378047505625e-05, | |
| "loss": 2.0301, | |
| "step": 257 | |
| }, | |
| { | |
| "epoch": 0.344, | |
| "grad_norm": 0.21459535231309906, | |
| "learning_rate": 2.8313535416639232e-05, | |
| "loss": 2.3784, | |
| "step": 258 | |
| }, | |
| { | |
| "epoch": 0.3453333333333333, | |
| "grad_norm": 0.2725347155581082, | |
| "learning_rate": 2.829963955582518e-05, | |
| "loss": 1.9749, | |
| "step": 259 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 0.23824574091343387, | |
| "learning_rate": 2.828569052767604e-05, | |
| "loss": 2.1253, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.348, | |
| "grad_norm": 0.30927788905161807, | |
| "learning_rate": 2.8271688395043965e-05, | |
| "loss": 1.6379, | |
| "step": 261 | |
| }, | |
| { | |
| "epoch": 0.34933333333333333, | |
| "grad_norm": 0.13916235450047149, | |
| "learning_rate": 2.8257633221020382e-05, | |
| "loss": 2.0781, | |
| "step": 262 | |
| }, | |
| { | |
| "epoch": 0.3506666666666667, | |
| "grad_norm": 0.2038351351610376, | |
| "learning_rate": 2.8243525068935705e-05, | |
| "loss": 2.1167, | |
| "step": 263 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 0.2282060698474947, | |
| "learning_rate": 2.8229364002359074e-05, | |
| "loss": 1.9761, | |
| "step": 264 | |
| }, | |
| { | |
| "epoch": 0.35333333333333333, | |
| "grad_norm": 0.19533951565078514, | |
| "learning_rate": 2.821515008509804e-05, | |
| "loss": 2.3902, | |
| "step": 265 | |
| }, | |
| { | |
| "epoch": 0.3546666666666667, | |
| "grad_norm": 0.22231788208405978, | |
| "learning_rate": 2.8200883381198297e-05, | |
| "loss": 2.2763, | |
| "step": 266 | |
| }, | |
| { | |
| "epoch": 0.356, | |
| "grad_norm": 0.17343255119399525, | |
| "learning_rate": 2.818656395494339e-05, | |
| "loss": 2.1964, | |
| "step": 267 | |
| }, | |
| { | |
| "epoch": 0.35733333333333334, | |
| "grad_norm": 0.3190889201723669, | |
| "learning_rate": 2.817219187085442e-05, | |
| "loss": 1.8898, | |
| "step": 268 | |
| }, | |
| { | |
| "epoch": 0.3586666666666667, | |
| "grad_norm": 0.25221058014306336, | |
| "learning_rate": 2.8157767193689753e-05, | |
| "loss": 2.2137, | |
| "step": 269 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 0.25456852526288787, | |
| "learning_rate": 2.8143289988444737e-05, | |
| "loss": 2.1055, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.36133333333333334, | |
| "grad_norm": 0.4387988494124866, | |
| "learning_rate": 2.8128760320351403e-05, | |
| "loss": 2.0767, | |
| "step": 271 | |
| }, | |
| { | |
| "epoch": 0.3626666666666667, | |
| "grad_norm": 0.27199878538165156, | |
| "learning_rate": 2.8114178254878156e-05, | |
| "loss": 2.1353, | |
| "step": 272 | |
| }, | |
| { | |
| "epoch": 0.364, | |
| "grad_norm": 0.2650737962386425, | |
| "learning_rate": 2.8099543857729525e-05, | |
| "loss": 2.037, | |
| "step": 273 | |
| }, | |
| { | |
| "epoch": 0.36533333333333334, | |
| "grad_norm": 0.19178775730316125, | |
| "learning_rate": 2.808485719484581e-05, | |
| "loss": 2.2227, | |
| "step": 274 | |
| }, | |
| { | |
| "epoch": 0.36666666666666664, | |
| "grad_norm": 0.2495538747593823, | |
| "learning_rate": 2.8070118332402827e-05, | |
| "loss": 2.1111, | |
| "step": 275 | |
| }, | |
| { | |
| "epoch": 0.368, | |
| "grad_norm": 0.23278524231204606, | |
| "learning_rate": 2.8055327336811585e-05, | |
| "loss": 2.0269, | |
| "step": 276 | |
| }, | |
| { | |
| "epoch": 0.36933333333333335, | |
| "grad_norm": 0.2909743741626987, | |
| "learning_rate": 2.804048427471801e-05, | |
| "loss": 1.9845, | |
| "step": 277 | |
| }, | |
| { | |
| "epoch": 0.37066666666666664, | |
| "grad_norm": 0.5654501769424853, | |
| "learning_rate": 2.8025589213002624e-05, | |
| "loss": 1.9375, | |
| "step": 278 | |
| }, | |
| { | |
| "epoch": 0.372, | |
| "grad_norm": 0.24272194924805965, | |
| "learning_rate": 2.8010642218780246e-05, | |
| "loss": 1.9151, | |
| "step": 279 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.23044549921686833, | |
| "learning_rate": 2.7995643359399703e-05, | |
| "loss": 2.1577, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.37466666666666665, | |
| "grad_norm": 0.2297518184027699, | |
| "learning_rate": 2.7980592702443518e-05, | |
| "loss": 2.2779, | |
| "step": 281 | |
| }, | |
| { | |
| "epoch": 0.376, | |
| "grad_norm": 0.43013668653840365, | |
| "learning_rate": 2.79654903157276e-05, | |
| "loss": 1.9419, | |
| "step": 282 | |
| }, | |
| { | |
| "epoch": 0.37733333333333335, | |
| "grad_norm": 0.23835905215528563, | |
| "learning_rate": 2.795033626730095e-05, | |
| "loss": 2.1743, | |
| "step": 283 | |
| }, | |
| { | |
| "epoch": 0.37866666666666665, | |
| "grad_norm": 0.2813058642182358, | |
| "learning_rate": 2.793513062544534e-05, | |
| "loss": 2.0095, | |
| "step": 284 | |
| }, | |
| { | |
| "epoch": 0.38, | |
| "grad_norm": 0.34406979517562547, | |
| "learning_rate": 2.7919873458675022e-05, | |
| "loss": 1.9489, | |
| "step": 285 | |
| }, | |
| { | |
| "epoch": 0.38133333333333336, | |
| "grad_norm": 0.32231785755728004, | |
| "learning_rate": 2.790456483573642e-05, | |
| "loss": 1.58, | |
| "step": 286 | |
| }, | |
| { | |
| "epoch": 0.38266666666666665, | |
| "grad_norm": 0.19333385414604146, | |
| "learning_rate": 2.788920482560779e-05, | |
| "loss": 1.9752, | |
| "step": 287 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 0.1765295794157884, | |
| "learning_rate": 2.7873793497498945e-05, | |
| "loss": 2.0614, | |
| "step": 288 | |
| }, | |
| { | |
| "epoch": 0.38533333333333336, | |
| "grad_norm": 0.16114993710297087, | |
| "learning_rate": 2.7858330920850923e-05, | |
| "loss": 2.2809, | |
| "step": 289 | |
| }, | |
| { | |
| "epoch": 0.38666666666666666, | |
| "grad_norm": 0.23825781911565472, | |
| "learning_rate": 2.784281716533568e-05, | |
| "loss": 2.1522, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.388, | |
| "grad_norm": 0.17001985217323573, | |
| "learning_rate": 2.782725230085579e-05, | |
| "loss": 1.9506, | |
| "step": 291 | |
| }, | |
| { | |
| "epoch": 0.3893333333333333, | |
| "grad_norm": 0.26309455211904453, | |
| "learning_rate": 2.7811636397544094e-05, | |
| "loss": 2.2083, | |
| "step": 292 | |
| }, | |
| { | |
| "epoch": 0.39066666666666666, | |
| "grad_norm": 0.20730249929125907, | |
| "learning_rate": 2.7795969525763418e-05, | |
| "loss": 2.2347, | |
| "step": 293 | |
| }, | |
| { | |
| "epoch": 0.392, | |
| "grad_norm": 0.24136453807928746, | |
| "learning_rate": 2.7780251756106242e-05, | |
| "loss": 2.029, | |
| "step": 294 | |
| }, | |
| { | |
| "epoch": 0.3933333333333333, | |
| "grad_norm": 0.35339039676185235, | |
| "learning_rate": 2.7764483159394384e-05, | |
| "loss": 2.211, | |
| "step": 295 | |
| }, | |
| { | |
| "epoch": 0.39466666666666667, | |
| "grad_norm": 0.25636488066657487, | |
| "learning_rate": 2.7748663806678684e-05, | |
| "loss": 2.1863, | |
| "step": 296 | |
| }, | |
| { | |
| "epoch": 0.396, | |
| "grad_norm": 0.20584179603071404, | |
| "learning_rate": 2.7732793769238674e-05, | |
| "loss": 2.2463, | |
| "step": 297 | |
| }, | |
| { | |
| "epoch": 0.3973333333333333, | |
| "grad_norm": 0.23027068378292892, | |
| "learning_rate": 2.7716873118582266e-05, | |
| "loss": 2.2356, | |
| "step": 298 | |
| }, | |
| { | |
| "epoch": 0.39866666666666667, | |
| "grad_norm": 0.192849837559735, | |
| "learning_rate": 2.770090192644543e-05, | |
| "loss": 2.2441, | |
| "step": 299 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.2685272097028798, | |
| "learning_rate": 2.768488026479187e-05, | |
| "loss": 2.0004, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "eval_loss": 1.7474404573440552, | |
| "eval_runtime": 98.8253, | |
| "eval_samples_per_second": 1.012, | |
| "eval_steps_per_second": 0.253, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.4013333333333333, | |
| "grad_norm": 0.26520047905722166, | |
| "learning_rate": 2.766880820581269e-05, | |
| "loss": 2.0768, | |
| "step": 301 | |
| }, | |
| { | |
| "epoch": 0.4026666666666667, | |
| "grad_norm": 0.31076708165257216, | |
| "learning_rate": 2.765268582192608e-05, | |
| "loss": 2.0636, | |
| "step": 302 | |
| }, | |
| { | |
| "epoch": 0.404, | |
| "grad_norm": 0.25216548132506456, | |
| "learning_rate": 2.763651318577699e-05, | |
| "loss": 2.0432, | |
| "step": 303 | |
| }, | |
| { | |
| "epoch": 0.4053333333333333, | |
| "grad_norm": 0.2393514712031434, | |
| "learning_rate": 2.7620290370236786e-05, | |
| "loss": 2.3461, | |
| "step": 304 | |
| }, | |
| { | |
| "epoch": 0.4066666666666667, | |
| "grad_norm": 0.21599798017132937, | |
| "learning_rate": 2.7604017448402954e-05, | |
| "loss": 2.3087, | |
| "step": 305 | |
| }, | |
| { | |
| "epoch": 0.408, | |
| "grad_norm": 0.3082071954730338, | |
| "learning_rate": 2.7587694493598743e-05, | |
| "loss": 1.9302, | |
| "step": 306 | |
| }, | |
| { | |
| "epoch": 0.4093333333333333, | |
| "grad_norm": 0.21921446809175332, | |
| "learning_rate": 2.7571321579372835e-05, | |
| "loss": 2.1354, | |
| "step": 307 | |
| }, | |
| { | |
| "epoch": 0.4106666666666667, | |
| "grad_norm": 0.2141708374659774, | |
| "learning_rate": 2.7554898779499025e-05, | |
| "loss": 2.0915, | |
| "step": 308 | |
| }, | |
| { | |
| "epoch": 0.412, | |
| "grad_norm": 0.2615730026982423, | |
| "learning_rate": 2.7538426167975895e-05, | |
| "loss": 1.9005, | |
| "step": 309 | |
| }, | |
| { | |
| "epoch": 0.41333333333333333, | |
| "grad_norm": 0.24746987092185013, | |
| "learning_rate": 2.7521903819026457e-05, | |
| "loss": 2.129, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.4146666666666667, | |
| "grad_norm": 0.23072670442926277, | |
| "learning_rate": 2.7505331807097845e-05, | |
| "loss": 2.1061, | |
| "step": 311 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 3.0090982638780748, | |
| "learning_rate": 2.7488710206860944e-05, | |
| "loss": 2.1382, | |
| "step": 312 | |
| }, | |
| { | |
| "epoch": 0.41733333333333333, | |
| "grad_norm": 0.2705418179646343, | |
| "learning_rate": 2.7472039093210108e-05, | |
| "loss": 2.2219, | |
| "step": 313 | |
| }, | |
| { | |
| "epoch": 0.4186666666666667, | |
| "grad_norm": 0.3567890646341258, | |
| "learning_rate": 2.7455318541262768e-05, | |
| "loss": 1.6885, | |
| "step": 314 | |
| }, | |
| { | |
| "epoch": 0.42, | |
| "grad_norm": 0.20851488835910675, | |
| "learning_rate": 2.743854862635912e-05, | |
| "loss": 1.947, | |
| "step": 315 | |
| }, | |
| { | |
| "epoch": 0.42133333333333334, | |
| "grad_norm": 0.24844212488624198, | |
| "learning_rate": 2.742172942406179e-05, | |
| "loss": 2.1564, | |
| "step": 316 | |
| }, | |
| { | |
| "epoch": 0.4226666666666667, | |
| "grad_norm": 0.304277870351501, | |
| "learning_rate": 2.7404861010155477e-05, | |
| "loss": 1.8723, | |
| "step": 317 | |
| }, | |
| { | |
| "epoch": 0.424, | |
| "grad_norm": 0.20754447108795832, | |
| "learning_rate": 2.7387943460646624e-05, | |
| "loss": 2.4758, | |
| "step": 318 | |
| }, | |
| { | |
| "epoch": 0.42533333333333334, | |
| "grad_norm": 0.24883308801860618, | |
| "learning_rate": 2.7370976851763068e-05, | |
| "loss": 1.6462, | |
| "step": 319 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 0.23024352142002386, | |
| "learning_rate": 2.73539612599537e-05, | |
| "loss": 2.1038, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.428, | |
| "grad_norm": 0.3139739867715439, | |
| "learning_rate": 2.7336896761888126e-05, | |
| "loss": 1.902, | |
| "step": 321 | |
| }, | |
| { | |
| "epoch": 0.42933333333333334, | |
| "grad_norm": 0.21999868040548332, | |
| "learning_rate": 2.7319783434456306e-05, | |
| "loss": 2.171, | |
| "step": 322 | |
| }, | |
| { | |
| "epoch": 0.43066666666666664, | |
| "grad_norm": 0.2467001853935637, | |
| "learning_rate": 2.7302621354768233e-05, | |
| "loss": 1.9828, | |
| "step": 323 | |
| }, | |
| { | |
| "epoch": 0.432, | |
| "grad_norm": 0.2496730220022523, | |
| "learning_rate": 2.728541060015356e-05, | |
| "loss": 2.3413, | |
| "step": 324 | |
| }, | |
| { | |
| "epoch": 0.43333333333333335, | |
| "grad_norm": 0.4056202922850381, | |
| "learning_rate": 2.7268151248161253e-05, | |
| "loss": 2.0407, | |
| "step": 325 | |
| }, | |
| { | |
| "epoch": 0.43466666666666665, | |
| "grad_norm": 0.2171839709482431, | |
| "learning_rate": 2.7250843376559265e-05, | |
| "loss": 2.0089, | |
| "step": 326 | |
| }, | |
| { | |
| "epoch": 0.436, | |
| "grad_norm": 0.26937671179427725, | |
| "learning_rate": 2.7233487063334172e-05, | |
| "loss": 2.2827, | |
| "step": 327 | |
| }, | |
| { | |
| "epoch": 0.43733333333333335, | |
| "grad_norm": 0.20567971005307945, | |
| "learning_rate": 2.7216082386690804e-05, | |
| "loss": 2.2386, | |
| "step": 328 | |
| }, | |
| { | |
| "epoch": 0.43866666666666665, | |
| "grad_norm": 0.2027173811893726, | |
| "learning_rate": 2.7198629425051917e-05, | |
| "loss": 2.3031, | |
| "step": 329 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 0.2980323024473477, | |
| "learning_rate": 2.7181128257057846e-05, | |
| "loss": 2.1883, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.44133333333333336, | |
| "grad_norm": 0.20192851290457803, | |
| "learning_rate": 2.716357896156611e-05, | |
| "loss": 1.9459, | |
| "step": 331 | |
| }, | |
| { | |
| "epoch": 0.44266666666666665, | |
| "grad_norm": 0.2871519578556366, | |
| "learning_rate": 2.7145981617651108e-05, | |
| "loss": 2.1742, | |
| "step": 332 | |
| }, | |
| { | |
| "epoch": 0.444, | |
| "grad_norm": 0.1949811627760568, | |
| "learning_rate": 2.712833630460372e-05, | |
| "loss": 2.2647, | |
| "step": 333 | |
| }, | |
| { | |
| "epoch": 0.44533333333333336, | |
| "grad_norm": 0.2741619826374072, | |
| "learning_rate": 2.7110643101930978e-05, | |
| "loss": 1.9767, | |
| "step": 334 | |
| }, | |
| { | |
| "epoch": 0.44666666666666666, | |
| "grad_norm": 0.22305808717890685, | |
| "learning_rate": 2.7092902089355693e-05, | |
| "loss": 1.9271, | |
| "step": 335 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 0.31086274795948865, | |
| "learning_rate": 2.7075113346816092e-05, | |
| "loss": 1.9092, | |
| "step": 336 | |
| }, | |
| { | |
| "epoch": 0.4493333333333333, | |
| "grad_norm": 0.34135122978923976, | |
| "learning_rate": 2.7057276954465484e-05, | |
| "loss": 1.9028, | |
| "step": 337 | |
| }, | |
| { | |
| "epoch": 0.45066666666666666, | |
| "grad_norm": 0.2422925649756551, | |
| "learning_rate": 2.703939299267186e-05, | |
| "loss": 2.3585, | |
| "step": 338 | |
| }, | |
| { | |
| "epoch": 0.452, | |
| "grad_norm": 0.21763822152397602, | |
| "learning_rate": 2.702146154201757e-05, | |
| "loss": 1.9407, | |
| "step": 339 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 0.26419913958274843, | |
| "learning_rate": 2.7003482683298935e-05, | |
| "loss": 2.0248, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.45466666666666666, | |
| "grad_norm": 0.2463717390301776, | |
| "learning_rate": 2.698545649752588e-05, | |
| "loss": 2.0147, | |
| "step": 341 | |
| }, | |
| { | |
| "epoch": 0.456, | |
| "grad_norm": 0.21124149059138703, | |
| "learning_rate": 2.696738306592159e-05, | |
| "loss": 1.9508, | |
| "step": 342 | |
| }, | |
| { | |
| "epoch": 0.4573333333333333, | |
| "grad_norm": 0.2758662340977994, | |
| "learning_rate": 2.694926246992213e-05, | |
| "loss": 2.1917, | |
| "step": 343 | |
| }, | |
| { | |
| "epoch": 0.45866666666666667, | |
| "grad_norm": 0.30773115319803324, | |
| "learning_rate": 2.693109479117608e-05, | |
| "loss": 2.0674, | |
| "step": 344 | |
| }, | |
| { | |
| "epoch": 0.46, | |
| "grad_norm": 0.23761648514026573, | |
| "learning_rate": 2.6912880111544163e-05, | |
| "loss": 2.0919, | |
| "step": 345 | |
| }, | |
| { | |
| "epoch": 0.4613333333333333, | |
| "grad_norm": 0.25681238620857727, | |
| "learning_rate": 2.6894618513098882e-05, | |
| "loss": 1.9084, | |
| "step": 346 | |
| }, | |
| { | |
| "epoch": 0.46266666666666667, | |
| "grad_norm": 0.22830005506281845, | |
| "learning_rate": 2.687631007812415e-05, | |
| "loss": 2.056, | |
| "step": 347 | |
| }, | |
| { | |
| "epoch": 0.464, | |
| "grad_norm": 0.2947866578986673, | |
| "learning_rate": 2.6857954889114923e-05, | |
| "loss": 1.7343, | |
| "step": 348 | |
| }, | |
| { | |
| "epoch": 0.4653333333333333, | |
| "grad_norm": 0.24624687251309207, | |
| "learning_rate": 2.6839553028776817e-05, | |
| "loss": 2.2644, | |
| "step": 349 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 0.23775099815354966, | |
| "learning_rate": 2.682110458002575e-05, | |
| "loss": 2.0576, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.468, | |
| "grad_norm": 0.24126580378308465, | |
| "learning_rate": 2.6802609625987548e-05, | |
| "loss": 2.1331, | |
| "step": 351 | |
| }, | |
| { | |
| "epoch": 0.4693333333333333, | |
| "grad_norm": 0.26152377053961967, | |
| "learning_rate": 2.6784068249997586e-05, | |
| "loss": 2.194, | |
| "step": 352 | |
| }, | |
| { | |
| "epoch": 0.4706666666666667, | |
| "grad_norm": 0.2670202218764803, | |
| "learning_rate": 2.676548053560042e-05, | |
| "loss": 1.885, | |
| "step": 353 | |
| }, | |
| { | |
| "epoch": 0.472, | |
| "grad_norm": 0.2227627113395291, | |
| "learning_rate": 2.674684656654938e-05, | |
| "loss": 2.2919, | |
| "step": 354 | |
| }, | |
| { | |
| "epoch": 0.47333333333333333, | |
| "grad_norm": 0.5386305755161744, | |
| "learning_rate": 2.6728166426806237e-05, | |
| "loss": 2.1106, | |
| "step": 355 | |
| }, | |
| { | |
| "epoch": 0.4746666666666667, | |
| "grad_norm": 0.2713934931123545, | |
| "learning_rate": 2.6709440200540778e-05, | |
| "loss": 1.9203, | |
| "step": 356 | |
| }, | |
| { | |
| "epoch": 0.476, | |
| "grad_norm": 0.2687463890320937, | |
| "learning_rate": 2.669066797213046e-05, | |
| "loss": 2.0278, | |
| "step": 357 | |
| }, | |
| { | |
| "epoch": 0.47733333333333333, | |
| "grad_norm": 0.2420523080214261, | |
| "learning_rate": 2.6671849826160018e-05, | |
| "loss": 1.9393, | |
| "step": 358 | |
| }, | |
| { | |
| "epoch": 0.4786666666666667, | |
| "grad_norm": 0.2400087971667011, | |
| "learning_rate": 2.6652985847421074e-05, | |
| "loss": 2.1867, | |
| "step": 359 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 0.28320805189191467, | |
| "learning_rate": 2.663407612091178e-05, | |
| "loss": 1.8562, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.48133333333333334, | |
| "grad_norm": 0.20819758118379753, | |
| "learning_rate": 2.6615120731836412e-05, | |
| "loss": 2.0647, | |
| "step": 361 | |
| }, | |
| { | |
| "epoch": 0.4826666666666667, | |
| "grad_norm": 0.19756628127478343, | |
| "learning_rate": 2.6596119765604996e-05, | |
| "loss": 2.1335, | |
| "step": 362 | |
| }, | |
| { | |
| "epoch": 0.484, | |
| "grad_norm": 0.26928306040248223, | |
| "learning_rate": 2.6577073307832925e-05, | |
| "loss": 2.0874, | |
| "step": 363 | |
| }, | |
| { | |
| "epoch": 0.48533333333333334, | |
| "grad_norm": 0.2164920362315045, | |
| "learning_rate": 2.655798144434056e-05, | |
| "loss": 2.1714, | |
| "step": 364 | |
| }, | |
| { | |
| "epoch": 0.4866666666666667, | |
| "grad_norm": 0.24919806333780237, | |
| "learning_rate": 2.6538844261152863e-05, | |
| "loss": 1.9509, | |
| "step": 365 | |
| }, | |
| { | |
| "epoch": 0.488, | |
| "grad_norm": 0.27032556044133776, | |
| "learning_rate": 2.6519661844498997e-05, | |
| "loss": 1.801, | |
| "step": 366 | |
| }, | |
| { | |
| "epoch": 0.48933333333333334, | |
| "grad_norm": 0.26804357878114354, | |
| "learning_rate": 2.650043428081194e-05, | |
| "loss": 2.1762, | |
| "step": 367 | |
| }, | |
| { | |
| "epoch": 0.49066666666666664, | |
| "grad_norm": 0.3572135575195324, | |
| "learning_rate": 2.6481161656728093e-05, | |
| "loss": 1.9907, | |
| "step": 368 | |
| }, | |
| { | |
| "epoch": 0.492, | |
| "grad_norm": 0.20724767007565056, | |
| "learning_rate": 2.646184405908689e-05, | |
| "loss": 2.0845, | |
| "step": 369 | |
| }, | |
| { | |
| "epoch": 0.49333333333333335, | |
| "grad_norm": 0.29461252876218635, | |
| "learning_rate": 2.6442481574930417e-05, | |
| "loss": 2.0182, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 0.49466666666666664, | |
| "grad_norm": 0.32302958691645034, | |
| "learning_rate": 2.6423074291503e-05, | |
| "loss": 1.8637, | |
| "step": 371 | |
| }, | |
| { | |
| "epoch": 0.496, | |
| "grad_norm": 0.21633487662675288, | |
| "learning_rate": 2.6403622296250843e-05, | |
| "loss": 2.1181, | |
| "step": 372 | |
| }, | |
| { | |
| "epoch": 0.49733333333333335, | |
| "grad_norm": 0.23982202171517725, | |
| "learning_rate": 2.6384125676821594e-05, | |
| "loss": 2.2663, | |
| "step": 373 | |
| }, | |
| { | |
| "epoch": 0.49866666666666665, | |
| "grad_norm": 0.26674040749443334, | |
| "learning_rate": 2.636458452106398e-05, | |
| "loss": 1.9904, | |
| "step": 374 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 0.20615794890547487, | |
| "learning_rate": 2.63449989170274e-05, | |
| "loss": 2.2052, | |
| "step": 375 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "eval_loss": 1.7428412437438965, | |
| "eval_runtime": 98.8155, | |
| "eval_samples_per_second": 1.012, | |
| "eval_steps_per_second": 0.253, | |
| "step": 375 | |
| }, | |
| { | |
| "epoch": 0.5013333333333333, | |
| "grad_norm": 0.21975919244022424, | |
| "learning_rate": 2.6325368952961525e-05, | |
| "loss": 2.2344, | |
| "step": 376 | |
| }, | |
| { | |
| "epoch": 0.5026666666666667, | |
| "grad_norm": 0.3511713966144426, | |
| "learning_rate": 2.6305694717315924e-05, | |
| "loss": 1.9296, | |
| "step": 377 | |
| }, | |
| { | |
| "epoch": 0.504, | |
| "grad_norm": 0.2478362671784885, | |
| "learning_rate": 2.628597629873962e-05, | |
| "loss": 2.3063, | |
| "step": 378 | |
| }, | |
| { | |
| "epoch": 0.5053333333333333, | |
| "grad_norm": 0.2607115263658857, | |
| "learning_rate": 2.626621378608074e-05, | |
| "loss": 2.0627, | |
| "step": 379 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 0.2164836472576184, | |
| "learning_rate": 2.624640726838608e-05, | |
| "loss": 2.2111, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 0.508, | |
| "grad_norm": 0.26262335545259213, | |
| "learning_rate": 2.622655683490072e-05, | |
| "loss": 2.135, | |
| "step": 381 | |
| }, | |
| { | |
| "epoch": 0.5093333333333333, | |
| "grad_norm": 0.3929953560993829, | |
| "learning_rate": 2.6206662575067612e-05, | |
| "loss": 2.0104, | |
| "step": 382 | |
| }, | |
| { | |
| "epoch": 0.5106666666666667, | |
| "grad_norm": 0.34025016050394374, | |
| "learning_rate": 2.6186724578527196e-05, | |
| "loss": 2.1592, | |
| "step": 383 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 0.23150100757885902, | |
| "learning_rate": 2.6166742935116967e-05, | |
| "loss": 2.2252, | |
| "step": 384 | |
| }, | |
| { | |
| "epoch": 0.5133333333333333, | |
| "grad_norm": 0.20480910397432198, | |
| "learning_rate": 2.6146717734871092e-05, | |
| "loss": 2.1451, | |
| "step": 385 | |
| }, | |
| { | |
| "epoch": 0.5146666666666667, | |
| "grad_norm": 0.3320045250749023, | |
| "learning_rate": 2.6126649068020004e-05, | |
| "loss": 2.094, | |
| "step": 386 | |
| }, | |
| { | |
| "epoch": 0.516, | |
| "grad_norm": 0.21607139651020324, | |
| "learning_rate": 2.6106537024989985e-05, | |
| "loss": 2.1313, | |
| "step": 387 | |
| }, | |
| { | |
| "epoch": 0.5173333333333333, | |
| "grad_norm": 0.26417756391106934, | |
| "learning_rate": 2.6086381696402757e-05, | |
| "loss": 2.2438, | |
| "step": 388 | |
| }, | |
| { | |
| "epoch": 0.5186666666666667, | |
| "grad_norm": 0.2575227608051382, | |
| "learning_rate": 2.6066183173075097e-05, | |
| "loss": 2.071, | |
| "step": 389 | |
| }, | |
| { | |
| "epoch": 0.52, | |
| "grad_norm": 0.33025483593812915, | |
| "learning_rate": 2.6045941546018393e-05, | |
| "loss": 1.9, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 0.5213333333333333, | |
| "grad_norm": 0.24483598990979227, | |
| "learning_rate": 2.6025656906438258e-05, | |
| "loss": 2.1122, | |
| "step": 391 | |
| }, | |
| { | |
| "epoch": 0.5226666666666666, | |
| "grad_norm": 0.2774543445460937, | |
| "learning_rate": 2.6005329345734118e-05, | |
| "loss": 1.9011, | |
| "step": 392 | |
| }, | |
| { | |
| "epoch": 0.524, | |
| "grad_norm": 0.23412108680048146, | |
| "learning_rate": 2.5984958955498787e-05, | |
| "loss": 2.3201, | |
| "step": 393 | |
| }, | |
| { | |
| "epoch": 0.5253333333333333, | |
| "grad_norm": 0.23961697514306227, | |
| "learning_rate": 2.5964545827518065e-05, | |
| "loss": 2.007, | |
| "step": 394 | |
| }, | |
| { | |
| "epoch": 0.5266666666666666, | |
| "grad_norm": 0.31411643954504864, | |
| "learning_rate": 2.5944090053770323e-05, | |
| "loss": 1.908, | |
| "step": 395 | |
| }, | |
| { | |
| "epoch": 0.528, | |
| "grad_norm": 0.27669334589294126, | |
| "learning_rate": 2.592359172642609e-05, | |
| "loss": 1.8943, | |
| "step": 396 | |
| }, | |
| { | |
| "epoch": 0.5293333333333333, | |
| "grad_norm": 0.30091910007710565, | |
| "learning_rate": 2.5903050937847625e-05, | |
| "loss": 2.0184, | |
| "step": 397 | |
| }, | |
| { | |
| "epoch": 0.5306666666666666, | |
| "grad_norm": 0.24400641571971146, | |
| "learning_rate": 2.5882467780588526e-05, | |
| "loss": 1.775, | |
| "step": 398 | |
| }, | |
| { | |
| "epoch": 0.532, | |
| "grad_norm": 0.25922993656928794, | |
| "learning_rate": 2.5861842347393282e-05, | |
| "loss": 1.9972, | |
| "step": 399 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 0.23535227055438726, | |
| "learning_rate": 2.5841174731196877e-05, | |
| "loss": 1.7925, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.5346666666666666, | |
| "grad_norm": 0.2342264521026473, | |
| "learning_rate": 2.5820465025124365e-05, | |
| "loss": 2.1403, | |
| "step": 401 | |
| }, | |
| { | |
| "epoch": 0.536, | |
| "grad_norm": 0.2842669876468834, | |
| "learning_rate": 2.5799713322490453e-05, | |
| "loss": 2.1425, | |
| "step": 402 | |
| }, | |
| { | |
| "epoch": 0.5373333333333333, | |
| "grad_norm": 0.3204086643789354, | |
| "learning_rate": 2.5778919716799074e-05, | |
| "loss": 1.8728, | |
| "step": 403 | |
| }, | |
| { | |
| "epoch": 0.5386666666666666, | |
| "grad_norm": 0.26967796394246557, | |
| "learning_rate": 2.5758084301742975e-05, | |
| "loss": 2.2239, | |
| "step": 404 | |
| }, | |
| { | |
| "epoch": 0.54, | |
| "grad_norm": 0.20159105110551168, | |
| "learning_rate": 2.5737207171203286e-05, | |
| "loss": 2.1444, | |
| "step": 405 | |
| }, | |
| { | |
| "epoch": 0.5413333333333333, | |
| "grad_norm": 0.2770693985078698, | |
| "learning_rate": 2.5716288419249098e-05, | |
| "loss": 2.0661, | |
| "step": 406 | |
| }, | |
| { | |
| "epoch": 0.5426666666666666, | |
| "grad_norm": 0.25565224879402676, | |
| "learning_rate": 2.569532814013704e-05, | |
| "loss": 2.2215, | |
| "step": 407 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 0.17283251407616515, | |
| "learning_rate": 2.5674326428310867e-05, | |
| "loss": 2.0621, | |
| "step": 408 | |
| }, | |
| { | |
| "epoch": 0.5453333333333333, | |
| "grad_norm": 0.280202142213052, | |
| "learning_rate": 2.5653283378401013e-05, | |
| "loss": 1.8841, | |
| "step": 409 | |
| }, | |
| { | |
| "epoch": 0.5466666666666666, | |
| "grad_norm": 0.24429132905069922, | |
| "learning_rate": 2.5632199085224175e-05, | |
| "loss": 2.2204, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 0.548, | |
| "grad_norm": 0.20785440391670923, | |
| "learning_rate": 2.5611073643782894e-05, | |
| "loss": 2.0911, | |
| "step": 411 | |
| }, | |
| { | |
| "epoch": 0.5493333333333333, | |
| "grad_norm": 0.24187453202492748, | |
| "learning_rate": 2.558990714926511e-05, | |
| "loss": 2.253, | |
| "step": 412 | |
| }, | |
| { | |
| "epoch": 0.5506666666666666, | |
| "grad_norm": 0.2677535149215768, | |
| "learning_rate": 2.556869969704375e-05, | |
| "loss": 2.1663, | |
| "step": 413 | |
| }, | |
| { | |
| "epoch": 0.552, | |
| "grad_norm": 0.23967372826331235, | |
| "learning_rate": 2.554745138267628e-05, | |
| "loss": 2.1926, | |
| "step": 414 | |
| }, | |
| { | |
| "epoch": 0.5533333333333333, | |
| "grad_norm": 0.23057427777779413, | |
| "learning_rate": 2.5526162301904293e-05, | |
| "loss": 2.0412, | |
| "step": 415 | |
| }, | |
| { | |
| "epoch": 0.5546666666666666, | |
| "grad_norm": 0.2885284967638168, | |
| "learning_rate": 2.5504832550653067e-05, | |
| "loss": 1.95, | |
| "step": 416 | |
| }, | |
| { | |
| "epoch": 0.556, | |
| "grad_norm": 0.20302927747169716, | |
| "learning_rate": 2.5483462225031128e-05, | |
| "loss": 2.1122, | |
| "step": 417 | |
| }, | |
| { | |
| "epoch": 0.5573333333333333, | |
| "grad_norm": 0.24366303363901448, | |
| "learning_rate": 2.546205142132984e-05, | |
| "loss": 2.1674, | |
| "step": 418 | |
| }, | |
| { | |
| "epoch": 0.5586666666666666, | |
| "grad_norm": 0.2932552576941417, | |
| "learning_rate": 2.5440600236022924e-05, | |
| "loss": 1.7735, | |
| "step": 419 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 0.2942369556389563, | |
| "learning_rate": 2.54191087657661e-05, | |
| "loss": 1.8327, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 0.5613333333333334, | |
| "grad_norm": 0.19743640775814034, | |
| "learning_rate": 2.5397577107396567e-05, | |
| "loss": 2.3126, | |
| "step": 421 | |
| }, | |
| { | |
| "epoch": 0.5626666666666666, | |
| "grad_norm": 0.32093382445453417, | |
| "learning_rate": 2.5376005357932616e-05, | |
| "loss": 1.9272, | |
| "step": 422 | |
| }, | |
| { | |
| "epoch": 0.564, | |
| "grad_norm": 0.31119702731247945, | |
| "learning_rate": 2.5354393614573188e-05, | |
| "loss": 1.8724, | |
| "step": 423 | |
| }, | |
| { | |
| "epoch": 0.5653333333333334, | |
| "grad_norm": 0.2066996097801704, | |
| "learning_rate": 2.5332741974697432e-05, | |
| "loss": 2.1157, | |
| "step": 424 | |
| }, | |
| { | |
| "epoch": 0.5666666666666667, | |
| "grad_norm": 0.18988191723765685, | |
| "learning_rate": 2.5311050535864253e-05, | |
| "loss": 1.9704, | |
| "step": 425 | |
| }, | |
| { | |
| "epoch": 0.568, | |
| "grad_norm": 0.23278617764031323, | |
| "learning_rate": 2.5289319395811897e-05, | |
| "loss": 1.9034, | |
| "step": 426 | |
| }, | |
| { | |
| "epoch": 0.5693333333333334, | |
| "grad_norm": 0.24359667899234191, | |
| "learning_rate": 2.5267548652457478e-05, | |
| "loss": 2.1112, | |
| "step": 427 | |
| }, | |
| { | |
| "epoch": 0.5706666666666667, | |
| "grad_norm": 0.2183386421997878, | |
| "learning_rate": 2.524573840389659e-05, | |
| "loss": 2.3351, | |
| "step": 428 | |
| }, | |
| { | |
| "epoch": 0.572, | |
| "grad_norm": 0.24623394684092095, | |
| "learning_rate": 2.5223888748402786e-05, | |
| "loss": 1.7524, | |
| "step": 429 | |
| }, | |
| { | |
| "epoch": 0.5733333333333334, | |
| "grad_norm": 0.3492801592421858, | |
| "learning_rate": 2.5201999784427225e-05, | |
| "loss": 1.9649, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 0.5746666666666667, | |
| "grad_norm": 0.23771436444452013, | |
| "learning_rate": 2.5180071610598164e-05, | |
| "loss": 1.9788, | |
| "step": 431 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 0.28422749390691604, | |
| "learning_rate": 2.5158104325720513e-05, | |
| "loss": 1.9749, | |
| "step": 432 | |
| }, | |
| { | |
| "epoch": 0.5773333333333334, | |
| "grad_norm": 0.24035666016422355, | |
| "learning_rate": 2.513609802877545e-05, | |
| "loss": 1.8426, | |
| "step": 433 | |
| }, | |
| { | |
| "epoch": 0.5786666666666667, | |
| "grad_norm": 0.22863170510861272, | |
| "learning_rate": 2.5114052818919913e-05, | |
| "loss": 1.946, | |
| "step": 434 | |
| }, | |
| { | |
| "epoch": 0.58, | |
| "grad_norm": 0.3080369938822394, | |
| "learning_rate": 2.5091968795486173e-05, | |
| "loss": 2.1382, | |
| "step": 435 | |
| }, | |
| { | |
| "epoch": 0.5813333333333334, | |
| "grad_norm": 0.25635562031358045, | |
| "learning_rate": 2.50698460579814e-05, | |
| "loss": 1.8564, | |
| "step": 436 | |
| }, | |
| { | |
| "epoch": 0.5826666666666667, | |
| "grad_norm": 0.25131606327010947, | |
| "learning_rate": 2.504768470608719e-05, | |
| "loss": 1.8574, | |
| "step": 437 | |
| }, | |
| { | |
| "epoch": 0.584, | |
| "grad_norm": 0.27786273971519304, | |
| "learning_rate": 2.502548483965914e-05, | |
| "loss": 1.8203, | |
| "step": 438 | |
| }, | |
| { | |
| "epoch": 0.5853333333333334, | |
| "grad_norm": 0.2537835141335265, | |
| "learning_rate": 2.50032465587264e-05, | |
| "loss": 2.1261, | |
| "step": 439 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 0.2857274434588356, | |
| "learning_rate": 2.4980969963491174e-05, | |
| "loss": 1.8283, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 0.588, | |
| "grad_norm": 0.2497369750967388, | |
| "learning_rate": 2.495865515432833e-05, | |
| "loss": 2.0896, | |
| "step": 441 | |
| }, | |
| { | |
| "epoch": 0.5893333333333334, | |
| "grad_norm": 0.31048709085768267, | |
| "learning_rate": 2.4936302231784924e-05, | |
| "loss": 1.8459, | |
| "step": 442 | |
| }, | |
| { | |
| "epoch": 0.5906666666666667, | |
| "grad_norm": 0.37747863954921845, | |
| "learning_rate": 2.491391129657974e-05, | |
| "loss": 1.766, | |
| "step": 443 | |
| }, | |
| { | |
| "epoch": 0.592, | |
| "grad_norm": 0.23281230965954086, | |
| "learning_rate": 2.4891482449602826e-05, | |
| "loss": 2.1607, | |
| "step": 444 | |
| }, | |
| { | |
| "epoch": 0.5933333333333334, | |
| "grad_norm": 0.23099470118617824, | |
| "learning_rate": 2.4869015791915073e-05, | |
| "loss": 2.2428, | |
| "step": 445 | |
| }, | |
| { | |
| "epoch": 0.5946666666666667, | |
| "grad_norm": 0.33283816512680775, | |
| "learning_rate": 2.4846511424747745e-05, | |
| "loss": 1.7942, | |
| "step": 446 | |
| }, | |
| { | |
| "epoch": 0.596, | |
| "grad_norm": 0.2610205889529608, | |
| "learning_rate": 2.4823969449501994e-05, | |
| "loss": 1.5129, | |
| "step": 447 | |
| }, | |
| { | |
| "epoch": 0.5973333333333334, | |
| "grad_norm": 0.2436971157415235, | |
| "learning_rate": 2.4801389967748457e-05, | |
| "loss": 2.1171, | |
| "step": 448 | |
| }, | |
| { | |
| "epoch": 0.5986666666666667, | |
| "grad_norm": 0.40234611756909766, | |
| "learning_rate": 2.4778773081226746e-05, | |
| "loss": 2.0152, | |
| "step": 449 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 0.3603986684632457, | |
| "learning_rate": 2.4756118891845033e-05, | |
| "loss": 1.9314, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "eval_loss": 1.7376551628112793, | |
| "eval_runtime": 98.8777, | |
| "eval_samples_per_second": 1.011, | |
| "eval_steps_per_second": 0.253, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 0.6013333333333334, | |
| "grad_norm": 0.3047585311557484, | |
| "learning_rate": 2.4733427501679556e-05, | |
| "loss": 1.9624, | |
| "step": 451 | |
| }, | |
| { | |
| "epoch": 0.6026666666666667, | |
| "grad_norm": 2.732104288666609, | |
| "learning_rate": 2.4710699012974184e-05, | |
| "loss": 2.0594, | |
| "step": 452 | |
| }, | |
| { | |
| "epoch": 0.604, | |
| "grad_norm": 0.5945756171955396, | |
| "learning_rate": 2.468793352813993e-05, | |
| "loss": 1.6689, | |
| "step": 453 | |
| }, | |
| { | |
| "epoch": 0.6053333333333333, | |
| "grad_norm": 0.20149493665704768, | |
| "learning_rate": 2.466513114975453e-05, | |
| "loss": 2.3389, | |
| "step": 454 | |
| }, | |
| { | |
| "epoch": 0.6066666666666667, | |
| "grad_norm": 0.2884544652315411, | |
| "learning_rate": 2.4642291980561943e-05, | |
| "loss": 2.2945, | |
| "step": 455 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 0.2716044614101472, | |
| "learning_rate": 2.4619416123471888e-05, | |
| "loss": 2.1059, | |
| "step": 456 | |
| }, | |
| { | |
| "epoch": 0.6093333333333333, | |
| "grad_norm": 0.2865353237820169, | |
| "learning_rate": 2.4596503681559425e-05, | |
| "loss": 2.0127, | |
| "step": 457 | |
| }, | |
| { | |
| "epoch": 0.6106666666666667, | |
| "grad_norm": 0.2815842392110537, | |
| "learning_rate": 2.4573554758064437e-05, | |
| "loss": 2.091, | |
| "step": 458 | |
| }, | |
| { | |
| "epoch": 0.612, | |
| "grad_norm": 0.2367309740017095, | |
| "learning_rate": 2.455056945639119e-05, | |
| "loss": 2.1941, | |
| "step": 459 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 0.22932211795337953, | |
| "learning_rate": 2.4527547880107873e-05, | |
| "loss": 1.8939, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 0.6146666666666667, | |
| "grad_norm": 0.2886521119304901, | |
| "learning_rate": 2.450449013294611e-05, | |
| "loss": 2.1722, | |
| "step": 461 | |
| }, | |
| { | |
| "epoch": 0.616, | |
| "grad_norm": 0.3025792968730659, | |
| "learning_rate": 2.448139631880052e-05, | |
| "loss": 1.8465, | |
| "step": 462 | |
| }, | |
| { | |
| "epoch": 0.6173333333333333, | |
| "grad_norm": 0.2741091872887346, | |
| "learning_rate": 2.4458266541728225e-05, | |
| "loss": 1.9238, | |
| "step": 463 | |
| }, | |
| { | |
| "epoch": 0.6186666666666667, | |
| "grad_norm": 0.23073611413041367, | |
| "learning_rate": 2.4435100905948387e-05, | |
| "loss": 1.6034, | |
| "step": 464 | |
| }, | |
| { | |
| "epoch": 0.62, | |
| "grad_norm": 0.3375731162237492, | |
| "learning_rate": 2.4411899515841757e-05, | |
| "loss": 1.8784, | |
| "step": 465 | |
| }, | |
| { | |
| "epoch": 0.6213333333333333, | |
| "grad_norm": 0.22514383343323016, | |
| "learning_rate": 2.438866247595017e-05, | |
| "loss": 2.4078, | |
| "step": 466 | |
| }, | |
| { | |
| "epoch": 0.6226666666666667, | |
| "grad_norm": 0.24786673693398917, | |
| "learning_rate": 2.4365389890976107e-05, | |
| "loss": 1.9611, | |
| "step": 467 | |
| }, | |
| { | |
| "epoch": 0.624, | |
| "grad_norm": 0.2582820529265001, | |
| "learning_rate": 2.4342081865782204e-05, | |
| "loss": 2.2779, | |
| "step": 468 | |
| }, | |
| { | |
| "epoch": 0.6253333333333333, | |
| "grad_norm": 0.30038879993456885, | |
| "learning_rate": 2.4318738505390792e-05, | |
| "loss": 1.7008, | |
| "step": 469 | |
| }, | |
| { | |
| "epoch": 0.6266666666666667, | |
| "grad_norm": 0.22093391590717046, | |
| "learning_rate": 2.42953599149834e-05, | |
| "loss": 2.1409, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 0.628, | |
| "grad_norm": 0.23026854819393244, | |
| "learning_rate": 2.427194619990032e-05, | |
| "loss": 1.9212, | |
| "step": 471 | |
| }, | |
| { | |
| "epoch": 0.6293333333333333, | |
| "grad_norm": 0.25457418947477256, | |
| "learning_rate": 2.424849746564009e-05, | |
| "loss": 1.9884, | |
| "step": 472 | |
| }, | |
| { | |
| "epoch": 0.6306666666666667, | |
| "grad_norm": 0.2977795754556178, | |
| "learning_rate": 2.4225013817859064e-05, | |
| "loss": 1.7479, | |
| "step": 473 | |
| }, | |
| { | |
| "epoch": 0.632, | |
| "grad_norm": 0.22067708037002065, | |
| "learning_rate": 2.4201495362370878e-05, | |
| "loss": 2.1299, | |
| "step": 474 | |
| }, | |
| { | |
| "epoch": 0.6333333333333333, | |
| "grad_norm": 0.24519431888409313, | |
| "learning_rate": 2.4177942205146033e-05, | |
| "loss": 2.0112, | |
| "step": 475 | |
| }, | |
| { | |
| "epoch": 0.6346666666666667, | |
| "grad_norm": 0.22465817603693417, | |
| "learning_rate": 2.4154354452311377e-05, | |
| "loss": 2.1755, | |
| "step": 476 | |
| }, | |
| { | |
| "epoch": 0.636, | |
| "grad_norm": 0.2104795110400901, | |
| "learning_rate": 2.4130732210149654e-05, | |
| "loss": 2.0665, | |
| "step": 477 | |
| }, | |
| { | |
| "epoch": 0.6373333333333333, | |
| "grad_norm": 0.254995878899391, | |
| "learning_rate": 2.4107075585098986e-05, | |
| "loss": 1.7783, | |
| "step": 478 | |
| }, | |
| { | |
| "epoch": 0.6386666666666667, | |
| "grad_norm": 0.2781731992077847, | |
| "learning_rate": 2.408338468375245e-05, | |
| "loss": 1.9261, | |
| "step": 479 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.2022199410275876, | |
| "learning_rate": 2.405965961285754e-05, | |
| "loss": 2.5905, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 0.6413333333333333, | |
| "grad_norm": 0.2245533085937808, | |
| "learning_rate": 2.4035900479315733e-05, | |
| "loss": 2.0583, | |
| "step": 481 | |
| }, | |
| { | |
| "epoch": 0.6426666666666667, | |
| "grad_norm": 0.2629367372490712, | |
| "learning_rate": 2.4012107390181972e-05, | |
| "loss": 2.0899, | |
| "step": 482 | |
| }, | |
| { | |
| "epoch": 0.644, | |
| "grad_norm": 0.2353694715550615, | |
| "learning_rate": 2.398828045266421e-05, | |
| "loss": 2.1819, | |
| "step": 483 | |
| }, | |
| { | |
| "epoch": 0.6453333333333333, | |
| "grad_norm": 0.32408275755469357, | |
| "learning_rate": 2.3964419774122905e-05, | |
| "loss": 2.1431, | |
| "step": 484 | |
| }, | |
| { | |
| "epoch": 0.6466666666666666, | |
| "grad_norm": 0.22518717197459437, | |
| "learning_rate": 2.394052546207056e-05, | |
| "loss": 2.2526, | |
| "step": 485 | |
| }, | |
| { | |
| "epoch": 0.648, | |
| "grad_norm": 0.2539883963098537, | |
| "learning_rate": 2.3916597624171212e-05, | |
| "loss": 1.8525, | |
| "step": 486 | |
| }, | |
| { | |
| "epoch": 0.6493333333333333, | |
| "grad_norm": 0.2576069823005604, | |
| "learning_rate": 2.3892636368239968e-05, | |
| "loss": 1.8764, | |
| "step": 487 | |
| }, | |
| { | |
| "epoch": 0.6506666666666666, | |
| "grad_norm": 0.2914513416559507, | |
| "learning_rate": 2.3868641802242505e-05, | |
| "loss": 1.8907, | |
| "step": 488 | |
| }, | |
| { | |
| "epoch": 0.652, | |
| "grad_norm": 0.2592192101828592, | |
| "learning_rate": 2.3844614034294603e-05, | |
| "loss": 1.9931, | |
| "step": 489 | |
| }, | |
| { | |
| "epoch": 0.6533333333333333, | |
| "grad_norm": 0.28662127139059485, | |
| "learning_rate": 2.3820553172661627e-05, | |
| "loss": 2.2488, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 0.6546666666666666, | |
| "grad_norm": 0.25415789018299234, | |
| "learning_rate": 2.3796459325758066e-05, | |
| "loss": 1.9321, | |
| "step": 491 | |
| }, | |
| { | |
| "epoch": 0.656, | |
| "grad_norm": 0.21601669885383726, | |
| "learning_rate": 2.3772332602147045e-05, | |
| "loss": 2.1329, | |
| "step": 492 | |
| }, | |
| { | |
| "epoch": 0.6573333333333333, | |
| "grad_norm": 0.3310096689326958, | |
| "learning_rate": 2.3748173110539806e-05, | |
| "loss": 1.9672, | |
| "step": 493 | |
| }, | |
| { | |
| "epoch": 0.6586666666666666, | |
| "grad_norm": 0.2681898272326062, | |
| "learning_rate": 2.3723980959795252e-05, | |
| "loss": 2.0179, | |
| "step": 494 | |
| }, | |
| { | |
| "epoch": 0.66, | |
| "grad_norm": 0.21937610824327985, | |
| "learning_rate": 2.369975625891945e-05, | |
| "loss": 2.3674, | |
| "step": 495 | |
| }, | |
| { | |
| "epoch": 0.6613333333333333, | |
| "grad_norm": 0.26983079477053074, | |
| "learning_rate": 2.3675499117065104e-05, | |
| "loss": 2.0192, | |
| "step": 496 | |
| }, | |
| { | |
| "epoch": 0.6626666666666666, | |
| "grad_norm": 0.24516611619277187, | |
| "learning_rate": 2.3651209643531136e-05, | |
| "loss": 2.243, | |
| "step": 497 | |
| }, | |
| { | |
| "epoch": 0.664, | |
| "grad_norm": 0.21468400015728048, | |
| "learning_rate": 2.3626887947762102e-05, | |
| "loss": 2.1864, | |
| "step": 498 | |
| }, | |
| { | |
| "epoch": 0.6653333333333333, | |
| "grad_norm": 0.287563912757122, | |
| "learning_rate": 2.3602534139347778e-05, | |
| "loss": 1.8674, | |
| "step": 499 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.26726264993942, | |
| "learning_rate": 2.3578148328022628e-05, | |
| "loss": 2.0575, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.668, | |
| "grad_norm": 0.261609977256579, | |
| "learning_rate": 2.355373062366531e-05, | |
| "loss": 1.9286, | |
| "step": 501 | |
| }, | |
| { | |
| "epoch": 0.6693333333333333, | |
| "grad_norm": 0.20611671277754134, | |
| "learning_rate": 2.3529281136298196e-05, | |
| "loss": 2.2271, | |
| "step": 502 | |
| }, | |
| { | |
| "epoch": 0.6706666666666666, | |
| "grad_norm": 0.2401968161646043, | |
| "learning_rate": 2.3504799976086846e-05, | |
| "loss": 2.4382, | |
| "step": 503 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 0.28468622521731657, | |
| "learning_rate": 2.348028725333957e-05, | |
| "loss": 1.8355, | |
| "step": 504 | |
| }, | |
| { | |
| "epoch": 0.6733333333333333, | |
| "grad_norm": 0.20634787358359907, | |
| "learning_rate": 2.3455743078506863e-05, | |
| "loss": 1.9282, | |
| "step": 505 | |
| }, | |
| { | |
| "epoch": 0.6746666666666666, | |
| "grad_norm": 0.3179961211359532, | |
| "learning_rate": 2.3431167562180944e-05, | |
| "loss": 1.8643, | |
| "step": 506 | |
| }, | |
| { | |
| "epoch": 0.676, | |
| "grad_norm": 0.299652498085615, | |
| "learning_rate": 2.3406560815095256e-05, | |
| "loss": 2.0409, | |
| "step": 507 | |
| }, | |
| { | |
| "epoch": 0.6773333333333333, | |
| "grad_norm": 0.17939940729354284, | |
| "learning_rate": 2.3381922948123975e-05, | |
| "loss": 2.3247, | |
| "step": 508 | |
| }, | |
| { | |
| "epoch": 0.6786666666666666, | |
| "grad_norm": 0.31054666764858174, | |
| "learning_rate": 2.3357254072281474e-05, | |
| "loss": 2.137, | |
| "step": 509 | |
| }, | |
| { | |
| "epoch": 0.68, | |
| "grad_norm": 0.25051714446023193, | |
| "learning_rate": 2.333255429872186e-05, | |
| "loss": 2.1494, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 0.6813333333333333, | |
| "grad_norm": 0.33225916062113814, | |
| "learning_rate": 2.3307823738738464e-05, | |
| "loss": 2.2757, | |
| "step": 511 | |
| }, | |
| { | |
| "epoch": 0.6826666666666666, | |
| "grad_norm": 0.23832106009922413, | |
| "learning_rate": 2.3283062503763328e-05, | |
| "loss": 2.2151, | |
| "step": 512 | |
| }, | |
| { | |
| "epoch": 0.684, | |
| "grad_norm": 0.3584913646272861, | |
| "learning_rate": 2.325827070536672e-05, | |
| "loss": 2.116, | |
| "step": 513 | |
| }, | |
| { | |
| "epoch": 0.6853333333333333, | |
| "grad_norm": 0.2380956102079889, | |
| "learning_rate": 2.3233448455256606e-05, | |
| "loss": 2.2443, | |
| "step": 514 | |
| }, | |
| { | |
| "epoch": 0.6866666666666666, | |
| "grad_norm": 0.3027209634683966, | |
| "learning_rate": 2.3208595865278176e-05, | |
| "loss": 2.2496, | |
| "step": 515 | |
| }, | |
| { | |
| "epoch": 0.688, | |
| "grad_norm": 0.3184372460718996, | |
| "learning_rate": 2.3183713047413332e-05, | |
| "loss": 1.8725, | |
| "step": 516 | |
| }, | |
| { | |
| "epoch": 0.6893333333333334, | |
| "grad_norm": 0.2794218076575254, | |
| "learning_rate": 2.315880011378016e-05, | |
| "loss": 2.1965, | |
| "step": 517 | |
| }, | |
| { | |
| "epoch": 0.6906666666666667, | |
| "grad_norm": 0.260191670734645, | |
| "learning_rate": 2.3133857176632456e-05, | |
| "loss": 1.8554, | |
| "step": 518 | |
| }, | |
| { | |
| "epoch": 0.692, | |
| "grad_norm": 0.21604250961632915, | |
| "learning_rate": 2.3108884348359204e-05, | |
| "loss": 2.2134, | |
| "step": 519 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 0.21227529934542605, | |
| "learning_rate": 2.308388174148407e-05, | |
| "loss": 2.0199, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 0.6946666666666667, | |
| "grad_norm": 0.24394795721824195, | |
| "learning_rate": 2.30588494686649e-05, | |
| "loss": 2.3131, | |
| "step": 521 | |
| }, | |
| { | |
| "epoch": 0.696, | |
| "grad_norm": 0.3792154413621289, | |
| "learning_rate": 2.3033787642693212e-05, | |
| "loss": 1.3969, | |
| "step": 522 | |
| }, | |
| { | |
| "epoch": 0.6973333333333334, | |
| "grad_norm": 0.5367777338806384, | |
| "learning_rate": 2.3008696376493685e-05, | |
| "loss": 2.1854, | |
| "step": 523 | |
| }, | |
| { | |
| "epoch": 0.6986666666666667, | |
| "grad_norm": 0.2484310681652364, | |
| "learning_rate": 2.2983575783123654e-05, | |
| "loss": 1.7635, | |
| "step": 524 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 0.19974085366635924, | |
| "learning_rate": 2.2958425975772582e-05, | |
| "loss": 2.202, | |
| "step": 525 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "eval_loss": 1.7349865436553955, | |
| "eval_runtime": 98.7392, | |
| "eval_samples_per_second": 1.013, | |
| "eval_steps_per_second": 0.253, | |
| "step": 525 | |
| }, | |
| { | |
| "epoch": 0.7013333333333334, | |
| "grad_norm": 0.2493667508703462, | |
| "learning_rate": 2.293324706776159e-05, | |
| "loss": 1.8884, | |
| "step": 526 | |
| }, | |
| { | |
| "epoch": 0.7026666666666667, | |
| "grad_norm": 0.2196802593462806, | |
| "learning_rate": 2.2908039172542903e-05, | |
| "loss": 1.953, | |
| "step": 527 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 0.27925364505505185, | |
| "learning_rate": 2.2882802403699365e-05, | |
| "loss": 2.0056, | |
| "step": 528 | |
| }, | |
| { | |
| "epoch": 0.7053333333333334, | |
| "grad_norm": 0.3244883574542453, | |
| "learning_rate": 2.2857536874943924e-05, | |
| "loss": 1.9776, | |
| "step": 529 | |
| }, | |
| { | |
| "epoch": 0.7066666666666667, | |
| "grad_norm": 0.27740712715023463, | |
| "learning_rate": 2.28322427001191e-05, | |
| "loss": 2.0773, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 0.708, | |
| "grad_norm": 0.25184080033253003, | |
| "learning_rate": 2.280691999319651e-05, | |
| "loss": 2.1259, | |
| "step": 531 | |
| }, | |
| { | |
| "epoch": 0.7093333333333334, | |
| "grad_norm": 0.2247509964017766, | |
| "learning_rate": 2.2781568868276318e-05, | |
| "loss": 2.1373, | |
| "step": 532 | |
| }, | |
| { | |
| "epoch": 0.7106666666666667, | |
| "grad_norm": 0.24666405348670045, | |
| "learning_rate": 2.2756189439586736e-05, | |
| "loss": 2.2327, | |
| "step": 533 | |
| }, | |
| { | |
| "epoch": 0.712, | |
| "grad_norm": 0.3252286607585267, | |
| "learning_rate": 2.2730781821483507e-05, | |
| "loss": 1.5159, | |
| "step": 534 | |
| }, | |
| { | |
| "epoch": 0.7133333333333334, | |
| "grad_norm": 0.2816374654091368, | |
| "learning_rate": 2.270534612844941e-05, | |
| "loss": 2.2146, | |
| "step": 535 | |
| }, | |
| { | |
| "epoch": 0.7146666666666667, | |
| "grad_norm": 0.24936235379096205, | |
| "learning_rate": 2.267988247509369e-05, | |
| "loss": 2.1009, | |
| "step": 536 | |
| }, | |
| { | |
| "epoch": 0.716, | |
| "grad_norm": 0.2779229582280588, | |
| "learning_rate": 2.265439097615161e-05, | |
| "loss": 1.8832, | |
| "step": 537 | |
| }, | |
| { | |
| "epoch": 0.7173333333333334, | |
| "grad_norm": 0.2575943747031005, | |
| "learning_rate": 2.2628871746483882e-05, | |
| "loss": 2.0232, | |
| "step": 538 | |
| }, | |
| { | |
| "epoch": 0.7186666666666667, | |
| "grad_norm": 0.23769746040206244, | |
| "learning_rate": 2.2603324901076177e-05, | |
| "loss": 2.3063, | |
| "step": 539 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.21574081196114406, | |
| "learning_rate": 2.257775055503859e-05, | |
| "loss": 1.9571, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 0.7213333333333334, | |
| "grad_norm": 0.21566738748323505, | |
| "learning_rate": 2.2552148823605143e-05, | |
| "loss": 2.1521, | |
| "step": 541 | |
| }, | |
| { | |
| "epoch": 0.7226666666666667, | |
| "grad_norm": 0.26810657886567807, | |
| "learning_rate": 2.2526519822133232e-05, | |
| "loss": 2.1191, | |
| "step": 542 | |
| }, | |
| { | |
| "epoch": 0.724, | |
| "grad_norm": 0.2940225959141783, | |
| "learning_rate": 2.2500863666103148e-05, | |
| "loss": 2.1898, | |
| "step": 543 | |
| }, | |
| { | |
| "epoch": 0.7253333333333334, | |
| "grad_norm": 0.3378840825082983, | |
| "learning_rate": 2.247518047111753e-05, | |
| "loss": 2.1439, | |
| "step": 544 | |
| }, | |
| { | |
| "epoch": 0.7266666666666667, | |
| "grad_norm": 0.22696101000868238, | |
| "learning_rate": 2.244947035290084e-05, | |
| "loss": 2.2698, | |
| "step": 545 | |
| }, | |
| { | |
| "epoch": 0.728, | |
| "grad_norm": 0.2162000773529741, | |
| "learning_rate": 2.2423733427298862e-05, | |
| "loss": 2.3212, | |
| "step": 546 | |
| }, | |
| { | |
| "epoch": 0.7293333333333333, | |
| "grad_norm": 0.2603830814733624, | |
| "learning_rate": 2.239796981027817e-05, | |
| "loss": 2.11, | |
| "step": 547 | |
| }, | |
| { | |
| "epoch": 0.7306666666666667, | |
| "grad_norm": 0.2888938079302091, | |
| "learning_rate": 2.2372179617925607e-05, | |
| "loss": 2.1089, | |
| "step": 548 | |
| }, | |
| { | |
| "epoch": 0.732, | |
| "grad_norm": 0.27471645137763273, | |
| "learning_rate": 2.2346362966447753e-05, | |
| "loss": 2.0256, | |
| "step": 549 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 0.21303205293010508, | |
| "learning_rate": 2.232051997217041e-05, | |
| "loss": 2.0032, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 0.7346666666666667, | |
| "grad_norm": 0.23694268054843318, | |
| "learning_rate": 2.2294650751538075e-05, | |
| "loss": 2.2141, | |
| "step": 551 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 0.2854078839991537, | |
| "learning_rate": 2.226875542111343e-05, | |
| "loss": 2.2259, | |
| "step": 552 | |
| }, | |
| { | |
| "epoch": 0.7373333333333333, | |
| "grad_norm": 0.3404877478094408, | |
| "learning_rate": 2.224283409757679e-05, | |
| "loss": 1.7182, | |
| "step": 553 | |
| }, | |
| { | |
| "epoch": 0.7386666666666667, | |
| "grad_norm": 0.27686754126786156, | |
| "learning_rate": 2.221688689772559e-05, | |
| "loss": 1.8002, | |
| "step": 554 | |
| }, | |
| { | |
| "epoch": 0.74, | |
| "grad_norm": 0.3073870674820258, | |
| "learning_rate": 2.219091393847387e-05, | |
| "loss": 2.0866, | |
| "step": 555 | |
| }, | |
| { | |
| "epoch": 0.7413333333333333, | |
| "grad_norm": 0.2516895248573763, | |
| "learning_rate": 2.2164915336851738e-05, | |
| "loss": 2.2784, | |
| "step": 556 | |
| }, | |
| { | |
| "epoch": 0.7426666666666667, | |
| "grad_norm": 0.2870432753981648, | |
| "learning_rate": 2.2138891210004832e-05, | |
| "loss": 1.9175, | |
| "step": 557 | |
| }, | |
| { | |
| "epoch": 0.744, | |
| "grad_norm": 0.2057162258455219, | |
| "learning_rate": 2.21128416751938e-05, | |
| "loss": 2.2339, | |
| "step": 558 | |
| }, | |
| { | |
| "epoch": 0.7453333333333333, | |
| "grad_norm": 0.20397086012230586, | |
| "learning_rate": 2.208676684979379e-05, | |
| "loss": 2.1495, | |
| "step": 559 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 0.21163355796403646, | |
| "learning_rate": 2.2060666851293903e-05, | |
| "loss": 2.3239, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 0.748, | |
| "grad_norm": 0.25078410912535354, | |
| "learning_rate": 2.2034541797296653e-05, | |
| "loss": 2.0699, | |
| "step": 561 | |
| }, | |
| { | |
| "epoch": 0.7493333333333333, | |
| "grad_norm": 0.3150772753859901, | |
| "learning_rate": 2.2008391805517457e-05, | |
| "loss": 1.8373, | |
| "step": 562 | |
| }, | |
| { | |
| "epoch": 0.7506666666666667, | |
| "grad_norm": 0.30918881784641583, | |
| "learning_rate": 2.1982216993784094e-05, | |
| "loss": 1.7701, | |
| "step": 563 | |
| }, | |
| { | |
| "epoch": 0.752, | |
| "grad_norm": 0.30426238371972825, | |
| "learning_rate": 2.1956017480036195e-05, | |
| "loss": 1.8156, | |
| "step": 564 | |
| }, | |
| { | |
| "epoch": 0.7533333333333333, | |
| "grad_norm": 0.23392806764627286, | |
| "learning_rate": 2.1929793382324677e-05, | |
| "loss": 2.2124, | |
| "step": 565 | |
| }, | |
| { | |
| "epoch": 0.7546666666666667, | |
| "grad_norm": 0.33011610020818255, | |
| "learning_rate": 2.1903544818811227e-05, | |
| "loss": 1.7663, | |
| "step": 566 | |
| }, | |
| { | |
| "epoch": 0.756, | |
| "grad_norm": 0.3217080135960756, | |
| "learning_rate": 2.1877271907767787e-05, | |
| "loss": 2.1091, | |
| "step": 567 | |
| }, | |
| { | |
| "epoch": 0.7573333333333333, | |
| "grad_norm": 0.21151987176007983, | |
| "learning_rate": 2.185097476757599e-05, | |
| "loss": 2.062, | |
| "step": 568 | |
| }, | |
| { | |
| "epoch": 0.7586666666666667, | |
| "grad_norm": 0.2920840438734248, | |
| "learning_rate": 2.182465351672665e-05, | |
| "loss": 2.0483, | |
| "step": 569 | |
| }, | |
| { | |
| "epoch": 0.76, | |
| "grad_norm": 0.429241268749088, | |
| "learning_rate": 2.179830827381921e-05, | |
| "loss": 1.9552, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 0.7613333333333333, | |
| "grad_norm": 0.32692404180047374, | |
| "learning_rate": 2.1771939157561234e-05, | |
| "loss": 2.1871, | |
| "step": 571 | |
| }, | |
| { | |
| "epoch": 0.7626666666666667, | |
| "grad_norm": 0.27909922539413456, | |
| "learning_rate": 2.1745546286767842e-05, | |
| "loss": 2.0617, | |
| "step": 572 | |
| }, | |
| { | |
| "epoch": 0.764, | |
| "grad_norm": 0.17765953245504265, | |
| "learning_rate": 2.1719129780361194e-05, | |
| "loss": 2.0504, | |
| "step": 573 | |
| }, | |
| { | |
| "epoch": 0.7653333333333333, | |
| "grad_norm": 0.19644746211449526, | |
| "learning_rate": 2.1692689757369942e-05, | |
| "loss": 2.1727, | |
| "step": 574 | |
| }, | |
| { | |
| "epoch": 0.7666666666666667, | |
| "grad_norm": 0.20383199948615116, | |
| "learning_rate": 2.166622633692871e-05, | |
| "loss": 2.2412, | |
| "step": 575 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 0.28197953448890994, | |
| "learning_rate": 2.1639739638277543e-05, | |
| "loss": 2.0012, | |
| "step": 576 | |
| }, | |
| { | |
| "epoch": 0.7693333333333333, | |
| "grad_norm": 0.22871484857936736, | |
| "learning_rate": 2.161322978076137e-05, | |
| "loss": 2.0497, | |
| "step": 577 | |
| }, | |
| { | |
| "epoch": 0.7706666666666667, | |
| "grad_norm": 0.1929053980852746, | |
| "learning_rate": 2.1586696883829475e-05, | |
| "loss": 2.1374, | |
| "step": 578 | |
| }, | |
| { | |
| "epoch": 0.772, | |
| "grad_norm": 0.2695936375802587, | |
| "learning_rate": 2.1560141067034956e-05, | |
| "loss": 2.1054, | |
| "step": 579 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 0.21580215410548284, | |
| "learning_rate": 2.1533562450034168e-05, | |
| "loss": 2.0746, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 0.7746666666666666, | |
| "grad_norm": 0.2969276144088988, | |
| "learning_rate": 2.1506961152586225e-05, | |
| "loss": 2.0389, | |
| "step": 581 | |
| }, | |
| { | |
| "epoch": 0.776, | |
| "grad_norm": 0.23286462925068996, | |
| "learning_rate": 2.1480337294552417e-05, | |
| "loss": 2.2243, | |
| "step": 582 | |
| }, | |
| { | |
| "epoch": 0.7773333333333333, | |
| "grad_norm": 0.2596140914186509, | |
| "learning_rate": 2.1453690995895705e-05, | |
| "loss": 2.0502, | |
| "step": 583 | |
| }, | |
| { | |
| "epoch": 0.7786666666666666, | |
| "grad_norm": 0.30325549702166155, | |
| "learning_rate": 2.1427022376680143e-05, | |
| "loss": 2.3072, | |
| "step": 584 | |
| }, | |
| { | |
| "epoch": 0.78, | |
| "grad_norm": 0.2604278177541721, | |
| "learning_rate": 2.1400331557070368e-05, | |
| "loss": 2.1556, | |
| "step": 585 | |
| }, | |
| { | |
| "epoch": 0.7813333333333333, | |
| "grad_norm": 0.23424819860644328, | |
| "learning_rate": 2.137361865733106e-05, | |
| "loss": 2.1441, | |
| "step": 586 | |
| }, | |
| { | |
| "epoch": 0.7826666666666666, | |
| "grad_norm": 0.30816126734242966, | |
| "learning_rate": 2.134688379782637e-05, | |
| "loss": 1.6698, | |
| "step": 587 | |
| }, | |
| { | |
| "epoch": 0.784, | |
| "grad_norm": 0.359821887854185, | |
| "learning_rate": 2.1320127099019405e-05, | |
| "loss": 1.7876, | |
| "step": 588 | |
| }, | |
| { | |
| "epoch": 0.7853333333333333, | |
| "grad_norm": 0.20547182722005924, | |
| "learning_rate": 2.1293348681471677e-05, | |
| "loss": 2.159, | |
| "step": 589 | |
| }, | |
| { | |
| "epoch": 0.7866666666666666, | |
| "grad_norm": 0.5274152472127392, | |
| "learning_rate": 2.1266548665842563e-05, | |
| "loss": 1.7306, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 0.788, | |
| "grad_norm": 0.22912094065764754, | |
| "learning_rate": 2.1239727172888742e-05, | |
| "loss": 1.907, | |
| "step": 591 | |
| }, | |
| { | |
| "epoch": 0.7893333333333333, | |
| "grad_norm": 0.2183670197225716, | |
| "learning_rate": 2.1212884323463686e-05, | |
| "loss": 2.2014, | |
| "step": 592 | |
| }, | |
| { | |
| "epoch": 0.7906666666666666, | |
| "grad_norm": 0.24541116440142172, | |
| "learning_rate": 2.118602023851708e-05, | |
| "loss": 2.1607, | |
| "step": 593 | |
| }, | |
| { | |
| "epoch": 0.792, | |
| "grad_norm": 0.292244380734899, | |
| "learning_rate": 2.1159135039094305e-05, | |
| "loss": 1.8559, | |
| "step": 594 | |
| }, | |
| { | |
| "epoch": 0.7933333333333333, | |
| "grad_norm": 0.20691929522008307, | |
| "learning_rate": 2.113222884633588e-05, | |
| "loss": 2.0957, | |
| "step": 595 | |
| }, | |
| { | |
| "epoch": 0.7946666666666666, | |
| "grad_norm": 0.33216459026134915, | |
| "learning_rate": 2.11053017814769e-05, | |
| "loss": 1.8922, | |
| "step": 596 | |
| }, | |
| { | |
| "epoch": 0.796, | |
| "grad_norm": 0.3054293726917442, | |
| "learning_rate": 2.107835396584652e-05, | |
| "loss": 2.0519, | |
| "step": 597 | |
| }, | |
| { | |
| "epoch": 0.7973333333333333, | |
| "grad_norm": 0.21992034783736703, | |
| "learning_rate": 2.1051385520867406e-05, | |
| "loss": 2.3201, | |
| "step": 598 | |
| }, | |
| { | |
| "epoch": 0.7986666666666666, | |
| "grad_norm": 0.1996741785211574, | |
| "learning_rate": 2.1024396568055155e-05, | |
| "loss": 2.1424, | |
| "step": 599 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.19403340249823747, | |
| "learning_rate": 2.0997387229017778e-05, | |
| "loss": 2.2453, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "eval_loss": 1.7302900552749634, | |
| "eval_runtime": 98.6559, | |
| "eval_samples_per_second": 1.014, | |
| "eval_steps_per_second": 0.253, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.8013333333333333, | |
| "grad_norm": 0.29338916525654163, | |
| "learning_rate": 2.0970357625455146e-05, | |
| "loss": 2.3107, | |
| "step": 601 | |
| }, | |
| { | |
| "epoch": 0.8026666666666666, | |
| "grad_norm": 0.36246246532567, | |
| "learning_rate": 2.0943307879158433e-05, | |
| "loss": 1.8637, | |
| "step": 602 | |
| }, | |
| { | |
| "epoch": 0.804, | |
| "grad_norm": 0.2309918626348626, | |
| "learning_rate": 2.091623811200958e-05, | |
| "loss": 2.1067, | |
| "step": 603 | |
| }, | |
| { | |
| "epoch": 0.8053333333333333, | |
| "grad_norm": 0.24887479253735115, | |
| "learning_rate": 2.0889148445980727e-05, | |
| "loss": 2.1379, | |
| "step": 604 | |
| }, | |
| { | |
| "epoch": 0.8066666666666666, | |
| "grad_norm": 0.3017961370307994, | |
| "learning_rate": 2.086203900313369e-05, | |
| "loss": 2.2075, | |
| "step": 605 | |
| }, | |
| { | |
| "epoch": 0.808, | |
| "grad_norm": 0.23914594068190997, | |
| "learning_rate": 2.0834909905619388e-05, | |
| "loss": 2.2573, | |
| "step": 606 | |
| }, | |
| { | |
| "epoch": 0.8093333333333333, | |
| "grad_norm": 2.5154669610980314, | |
| "learning_rate": 2.0807761275677302e-05, | |
| "loss": 1.9497, | |
| "step": 607 | |
| }, | |
| { | |
| "epoch": 0.8106666666666666, | |
| "grad_norm": 0.21951821500800203, | |
| "learning_rate": 2.078059323563493e-05, | |
| "loss": 2.2041, | |
| "step": 608 | |
| }, | |
| { | |
| "epoch": 0.812, | |
| "grad_norm": 0.233891875491137, | |
| "learning_rate": 2.0753405907907207e-05, | |
| "loss": 1.8755, | |
| "step": 609 | |
| }, | |
| { | |
| "epoch": 0.8133333333333334, | |
| "grad_norm": 0.2351112028502108, | |
| "learning_rate": 2.0726199414996002e-05, | |
| "loss": 2.0976, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 0.8146666666666667, | |
| "grad_norm": 0.20392855722897615, | |
| "learning_rate": 2.0698973879489528e-05, | |
| "loss": 2.0269, | |
| "step": 611 | |
| }, | |
| { | |
| "epoch": 0.816, | |
| "grad_norm": 0.20039060399626385, | |
| "learning_rate": 2.067172942406179e-05, | |
| "loss": 2.1268, | |
| "step": 612 | |
| }, | |
| { | |
| "epoch": 0.8173333333333334, | |
| "grad_norm": 0.1929728808891894, | |
| "learning_rate": 2.0644466171472065e-05, | |
| "loss": 2.3687, | |
| "step": 613 | |
| }, | |
| { | |
| "epoch": 0.8186666666666667, | |
| "grad_norm": 0.23806531555392976, | |
| "learning_rate": 2.0617184244564313e-05, | |
| "loss": 2.0828, | |
| "step": 614 | |
| }, | |
| { | |
| "epoch": 0.82, | |
| "grad_norm": 0.34395608943915507, | |
| "learning_rate": 2.0589883766266642e-05, | |
| "loss": 1.3991, | |
| "step": 615 | |
| }, | |
| { | |
| "epoch": 0.8213333333333334, | |
| "grad_norm": 0.24686411211608517, | |
| "learning_rate": 2.056256485959075e-05, | |
| "loss": 2.2174, | |
| "step": 616 | |
| }, | |
| { | |
| "epoch": 0.8226666666666667, | |
| "grad_norm": 0.20168022695928925, | |
| "learning_rate": 2.053522764763136e-05, | |
| "loss": 2.104, | |
| "step": 617 | |
| }, | |
| { | |
| "epoch": 0.824, | |
| "grad_norm": 0.36515476338010855, | |
| "learning_rate": 2.050787225356569e-05, | |
| "loss": 1.9741, | |
| "step": 618 | |
| }, | |
| { | |
| "epoch": 0.8253333333333334, | |
| "grad_norm": 0.2701482708801682, | |
| "learning_rate": 2.048049880065288e-05, | |
| "loss": 1.7996, | |
| "step": 619 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 0.30963402853563826, | |
| "learning_rate": 2.045310741223343e-05, | |
| "loss": 1.6238, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 0.828, | |
| "grad_norm": 0.2558122538846313, | |
| "learning_rate": 2.0425698211728673e-05, | |
| "loss": 1.8729, | |
| "step": 621 | |
| }, | |
| { | |
| "epoch": 0.8293333333333334, | |
| "grad_norm": 0.28237819609725434, | |
| "learning_rate": 2.039827132264019e-05, | |
| "loss": 1.8797, | |
| "step": 622 | |
| }, | |
| { | |
| "epoch": 0.8306666666666667, | |
| "grad_norm": 0.26926016615015824, | |
| "learning_rate": 2.037082686854926e-05, | |
| "loss": 1.9228, | |
| "step": 623 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 0.21988753067621333, | |
| "learning_rate": 2.0343364973116316e-05, | |
| "loss": 2.2013, | |
| "step": 624 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 0.27973689401501844, | |
| "learning_rate": 2.031588576008037e-05, | |
| "loss": 2.1545, | |
| "step": 625 | |
| }, | |
| { | |
| "epoch": 0.8346666666666667, | |
| "grad_norm": 0.30499363141797753, | |
| "learning_rate": 2.0288389353258472e-05, | |
| "loss": 1.5127, | |
| "step": 626 | |
| }, | |
| { | |
| "epoch": 0.836, | |
| "grad_norm": 0.2684417823787493, | |
| "learning_rate": 2.0260875876545143e-05, | |
| "loss": 2.0023, | |
| "step": 627 | |
| }, | |
| { | |
| "epoch": 0.8373333333333334, | |
| "grad_norm": 0.2516342787990096, | |
| "learning_rate": 2.023334545391181e-05, | |
| "loss": 2.0876, | |
| "step": 628 | |
| }, | |
| { | |
| "epoch": 0.8386666666666667, | |
| "grad_norm": 0.24835524471024745, | |
| "learning_rate": 2.020579820940627e-05, | |
| "loss": 2.3338, | |
| "step": 629 | |
| }, | |
| { | |
| "epoch": 0.84, | |
| "grad_norm": 0.2924293489494813, | |
| "learning_rate": 2.017823426715211e-05, | |
| "loss": 1.7605, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 0.8413333333333334, | |
| "grad_norm": 0.25345366138782366, | |
| "learning_rate": 2.015065375134815e-05, | |
| "loss": 1.9219, | |
| "step": 631 | |
| }, | |
| { | |
| "epoch": 0.8426666666666667, | |
| "grad_norm": 0.24060183599375579, | |
| "learning_rate": 2.012305678626789e-05, | |
| "loss": 2.3341, | |
| "step": 632 | |
| }, | |
| { | |
| "epoch": 0.844, | |
| "grad_norm": 0.2316800771546595, | |
| "learning_rate": 2.0095443496258953e-05, | |
| "loss": 2.0673, | |
| "step": 633 | |
| }, | |
| { | |
| "epoch": 0.8453333333333334, | |
| "grad_norm": 0.3113449745209023, | |
| "learning_rate": 2.0067814005742517e-05, | |
| "loss": 1.9076, | |
| "step": 634 | |
| }, | |
| { | |
| "epoch": 0.8466666666666667, | |
| "grad_norm": 0.21679721097416102, | |
| "learning_rate": 2.0040168439212754e-05, | |
| "loss": 2.1241, | |
| "step": 635 | |
| }, | |
| { | |
| "epoch": 0.848, | |
| "grad_norm": 0.27840250380366915, | |
| "learning_rate": 2.0012506921236264e-05, | |
| "loss": 2.1016, | |
| "step": 636 | |
| }, | |
| { | |
| "epoch": 0.8493333333333334, | |
| "grad_norm": 0.3000281269524226, | |
| "learning_rate": 1.998482957645155e-05, | |
| "loss": 1.6949, | |
| "step": 637 | |
| }, | |
| { | |
| "epoch": 0.8506666666666667, | |
| "grad_norm": 0.28890418696627373, | |
| "learning_rate": 1.9957136529568405e-05, | |
| "loss": 2.1754, | |
| "step": 638 | |
| }, | |
| { | |
| "epoch": 0.852, | |
| "grad_norm": 0.2163771072442336, | |
| "learning_rate": 1.9929427905367374e-05, | |
| "loss": 2.1617, | |
| "step": 639 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 0.2904060128108346, | |
| "learning_rate": 1.990170382869919e-05, | |
| "loss": 2.2918, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 0.8546666666666667, | |
| "grad_norm": 0.20072557669453545, | |
| "learning_rate": 1.9873964424484227e-05, | |
| "loss": 2.0668, | |
| "step": 641 | |
| }, | |
| { | |
| "epoch": 0.856, | |
| "grad_norm": 0.3527526034064076, | |
| "learning_rate": 1.9846209817711914e-05, | |
| "loss": 1.8876, | |
| "step": 642 | |
| }, | |
| { | |
| "epoch": 0.8573333333333333, | |
| "grad_norm": 0.23763986045736873, | |
| "learning_rate": 1.981844013344017e-05, | |
| "loss": 1.781, | |
| "step": 643 | |
| }, | |
| { | |
| "epoch": 0.8586666666666667, | |
| "grad_norm": 0.21489806291743502, | |
| "learning_rate": 1.9790655496794863e-05, | |
| "loss": 2.2248, | |
| "step": 644 | |
| }, | |
| { | |
| "epoch": 0.86, | |
| "grad_norm": 0.24292053657186655, | |
| "learning_rate": 1.9762856032969236e-05, | |
| "loss": 1.8312, | |
| "step": 645 | |
| }, | |
| { | |
| "epoch": 0.8613333333333333, | |
| "grad_norm": 0.4263248070646629, | |
| "learning_rate": 1.9735041867223335e-05, | |
| "loss": 1.7282, | |
| "step": 646 | |
| }, | |
| { | |
| "epoch": 0.8626666666666667, | |
| "grad_norm": 0.28804393148108814, | |
| "learning_rate": 1.9707213124883447e-05, | |
| "loss": 1.8168, | |
| "step": 647 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 0.21708602786361048, | |
| "learning_rate": 1.9679369931341543e-05, | |
| "loss": 2.0466, | |
| "step": 648 | |
| }, | |
| { | |
| "epoch": 0.8653333333333333, | |
| "grad_norm": 0.20885473673865412, | |
| "learning_rate": 1.9651512412054725e-05, | |
| "loss": 2.0116, | |
| "step": 649 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 0.2371365200294707, | |
| "learning_rate": 1.9623640692544613e-05, | |
| "loss": 2.1401, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 0.868, | |
| "grad_norm": 0.27036686070912347, | |
| "learning_rate": 1.959575489839683e-05, | |
| "loss": 2.2254, | |
| "step": 651 | |
| }, | |
| { | |
| "epoch": 0.8693333333333333, | |
| "grad_norm": 0.2656271581073266, | |
| "learning_rate": 1.9567855155260417e-05, | |
| "loss": 2.0191, | |
| "step": 652 | |
| }, | |
| { | |
| "epoch": 0.8706666666666667, | |
| "grad_norm": 0.31977088649285085, | |
| "learning_rate": 1.953994158884726e-05, | |
| "loss": 1.3226, | |
| "step": 653 | |
| }, | |
| { | |
| "epoch": 0.872, | |
| "grad_norm": 0.23499784965778608, | |
| "learning_rate": 1.951201432493154e-05, | |
| "loss": 2.0321, | |
| "step": 654 | |
| }, | |
| { | |
| "epoch": 0.8733333333333333, | |
| "grad_norm": 0.2989037712179273, | |
| "learning_rate": 1.9484073489349157e-05, | |
| "loss": 1.8174, | |
| "step": 655 | |
| }, | |
| { | |
| "epoch": 0.8746666666666667, | |
| "grad_norm": 0.1907026135101038, | |
| "learning_rate": 1.9456119207997136e-05, | |
| "loss": 2.1994, | |
| "step": 656 | |
| }, | |
| { | |
| "epoch": 0.876, | |
| "grad_norm": 0.24157807527538896, | |
| "learning_rate": 1.9428151606833134e-05, | |
| "loss": 2.1192, | |
| "step": 657 | |
| }, | |
| { | |
| "epoch": 0.8773333333333333, | |
| "grad_norm": 0.30146394289080436, | |
| "learning_rate": 1.940017081187478e-05, | |
| "loss": 2.1053, | |
| "step": 658 | |
| }, | |
| { | |
| "epoch": 0.8786666666666667, | |
| "grad_norm": 0.2929115666855541, | |
| "learning_rate": 1.9372176949199183e-05, | |
| "loss": 1.9694, | |
| "step": 659 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.297331189682287, | |
| "learning_rate": 1.9344170144942304e-05, | |
| "loss": 2.3715, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 0.8813333333333333, | |
| "grad_norm": 0.2636717496143045, | |
| "learning_rate": 1.9316150525298453e-05, | |
| "loss": 2.1051, | |
| "step": 661 | |
| }, | |
| { | |
| "epoch": 0.8826666666666667, | |
| "grad_norm": 0.20257245897176998, | |
| "learning_rate": 1.9288118216519658e-05, | |
| "loss": 2.0737, | |
| "step": 662 | |
| }, | |
| { | |
| "epoch": 0.884, | |
| "grad_norm": 0.25587322034193244, | |
| "learning_rate": 1.9260073344915128e-05, | |
| "loss": 2.0938, | |
| "step": 663 | |
| }, | |
| { | |
| "epoch": 0.8853333333333333, | |
| "grad_norm": 0.28792567581429684, | |
| "learning_rate": 1.9232016036850682e-05, | |
| "loss": 2.02, | |
| "step": 664 | |
| }, | |
| { | |
| "epoch": 0.8866666666666667, | |
| "grad_norm": 0.22585505321906343, | |
| "learning_rate": 1.9203946418748173e-05, | |
| "loss": 2.1266, | |
| "step": 665 | |
| }, | |
| { | |
| "epoch": 0.888, | |
| "grad_norm": 0.27594378692442784, | |
| "learning_rate": 1.9175864617084917e-05, | |
| "loss": 1.7154, | |
| "step": 666 | |
| }, | |
| { | |
| "epoch": 0.8893333333333333, | |
| "grad_norm": 0.21841749595708987, | |
| "learning_rate": 1.9147770758393136e-05, | |
| "loss": 1.9523, | |
| "step": 667 | |
| }, | |
| { | |
| "epoch": 0.8906666666666667, | |
| "grad_norm": 0.2660228447881722, | |
| "learning_rate": 1.9119664969259365e-05, | |
| "loss": 2.1537, | |
| "step": 668 | |
| }, | |
| { | |
| "epoch": 0.892, | |
| "grad_norm": 0.32185520369837134, | |
| "learning_rate": 1.9091547376323925e-05, | |
| "loss": 1.8394, | |
| "step": 669 | |
| }, | |
| { | |
| "epoch": 0.8933333333333333, | |
| "grad_norm": 0.276204895027196, | |
| "learning_rate": 1.9063418106280284e-05, | |
| "loss": 2.1844, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 0.8946666666666667, | |
| "grad_norm": 0.2701444210930779, | |
| "learning_rate": 1.9035277285874552e-05, | |
| "loss": 1.9599, | |
| "step": 671 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 0.3114461456421439, | |
| "learning_rate": 1.900712504190488e-05, | |
| "loss": 1.8502, | |
| "step": 672 | |
| }, | |
| { | |
| "epoch": 0.8973333333333333, | |
| "grad_norm": 0.30217698469471216, | |
| "learning_rate": 1.897896150122088e-05, | |
| "loss": 2.0576, | |
| "step": 673 | |
| }, | |
| { | |
| "epoch": 0.8986666666666666, | |
| "grad_norm": 0.2877043601768791, | |
| "learning_rate": 1.895078679072308e-05, | |
| "loss": 2.0009, | |
| "step": 674 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 0.29018782911949664, | |
| "learning_rate": 1.8922601037362325e-05, | |
| "loss": 1.8392, | |
| "step": 675 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "eval_loss": 1.7283107042312622, | |
| "eval_runtime": 98.936, | |
| "eval_samples_per_second": 1.011, | |
| "eval_steps_per_second": 0.253, | |
| "step": 675 | |
| }, | |
| { | |
| "epoch": 0.9013333333333333, | |
| "grad_norm": 0.2774654866858924, | |
| "learning_rate": 1.889440436813922e-05, | |
| "loss": 2.0282, | |
| "step": 676 | |
| }, | |
| { | |
| "epoch": 0.9026666666666666, | |
| "grad_norm": 0.29144370704709627, | |
| "learning_rate": 1.8866196910103564e-05, | |
| "loss": 1.9525, | |
| "step": 677 | |
| }, | |
| { | |
| "epoch": 0.904, | |
| "grad_norm": 0.262971024150831, | |
| "learning_rate": 1.8837978790353763e-05, | |
| "loss": 1.8053, | |
| "step": 678 | |
| }, | |
| { | |
| "epoch": 0.9053333333333333, | |
| "grad_norm": 0.3499809731358237, | |
| "learning_rate": 1.8809750136036257e-05, | |
| "loss": 1.7736, | |
| "step": 679 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 0.2529410842266655, | |
| "learning_rate": 1.8781511074344966e-05, | |
| "loss": 2.0712, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 0.908, | |
| "grad_norm": 0.24755888510667792, | |
| "learning_rate": 1.8753261732520688e-05, | |
| "loss": 1.9669, | |
| "step": 681 | |
| }, | |
| { | |
| "epoch": 0.9093333333333333, | |
| "grad_norm": 0.2506541249054586, | |
| "learning_rate": 1.8725002237850555e-05, | |
| "loss": 2.0211, | |
| "step": 682 | |
| }, | |
| { | |
| "epoch": 0.9106666666666666, | |
| "grad_norm": 0.25295097069732875, | |
| "learning_rate": 1.869673271766744e-05, | |
| "loss": 1.9912, | |
| "step": 683 | |
| }, | |
| { | |
| "epoch": 0.912, | |
| "grad_norm": 0.2366413129636617, | |
| "learning_rate": 1.8668453299349393e-05, | |
| "loss": 2.249, | |
| "step": 684 | |
| }, | |
| { | |
| "epoch": 0.9133333333333333, | |
| "grad_norm": 0.23066751808553923, | |
| "learning_rate": 1.864016411031906e-05, | |
| "loss": 2.0459, | |
| "step": 685 | |
| }, | |
| { | |
| "epoch": 0.9146666666666666, | |
| "grad_norm": 0.25882904111576405, | |
| "learning_rate": 1.861186527804312e-05, | |
| "loss": 2.0938, | |
| "step": 686 | |
| }, | |
| { | |
| "epoch": 0.916, | |
| "grad_norm": 0.24168151444542277, | |
| "learning_rate": 1.8583556930031685e-05, | |
| "loss": 1.859, | |
| "step": 687 | |
| }, | |
| { | |
| "epoch": 0.9173333333333333, | |
| "grad_norm": 0.33840150667952723, | |
| "learning_rate": 1.8555239193837755e-05, | |
| "loss": 1.9705, | |
| "step": 688 | |
| }, | |
| { | |
| "epoch": 0.9186666666666666, | |
| "grad_norm": 0.30896264686320224, | |
| "learning_rate": 1.8526912197056645e-05, | |
| "loss": 2.1068, | |
| "step": 689 | |
| }, | |
| { | |
| "epoch": 0.92, | |
| "grad_norm": 0.2665802427661005, | |
| "learning_rate": 1.8498576067325377e-05, | |
| "loss": 2.0479, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 0.9213333333333333, | |
| "grad_norm": 0.2971360163977456, | |
| "learning_rate": 1.8470230932322125e-05, | |
| "loss": 1.9619, | |
| "step": 691 | |
| }, | |
| { | |
| "epoch": 0.9226666666666666, | |
| "grad_norm": 0.3140316296499423, | |
| "learning_rate": 1.8441876919765645e-05, | |
| "loss": 1.7834, | |
| "step": 692 | |
| }, | |
| { | |
| "epoch": 0.924, | |
| "grad_norm": 0.2305606363074752, | |
| "learning_rate": 1.841351415741471e-05, | |
| "loss": 2.3564, | |
| "step": 693 | |
| }, | |
| { | |
| "epoch": 0.9253333333333333, | |
| "grad_norm": 0.2206539104945154, | |
| "learning_rate": 1.838514277306749e-05, | |
| "loss": 2.0796, | |
| "step": 694 | |
| }, | |
| { | |
| "epoch": 0.9266666666666666, | |
| "grad_norm": 0.32447668207860636, | |
| "learning_rate": 1.835676289456102e-05, | |
| "loss": 2.2334, | |
| "step": 695 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 0.23926117145357859, | |
| "learning_rate": 1.8328374649770596e-05, | |
| "loss": 2.3122, | |
| "step": 696 | |
| }, | |
| { | |
| "epoch": 0.9293333333333333, | |
| "grad_norm": 0.2047780984135103, | |
| "learning_rate": 1.8299978166609237e-05, | |
| "loss": 2.2805, | |
| "step": 697 | |
| }, | |
| { | |
| "epoch": 0.9306666666666666, | |
| "grad_norm": 0.24587779543837684, | |
| "learning_rate": 1.8271573573027055e-05, | |
| "loss": 2.179, | |
| "step": 698 | |
| }, | |
| { | |
| "epoch": 0.932, | |
| "grad_norm": 0.26659663594288746, | |
| "learning_rate": 1.8243160997010717e-05, | |
| "loss": 2.1311, | |
| "step": 699 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.3180460746897731, | |
| "learning_rate": 1.8214740566582862e-05, | |
| "loss": 1.7462, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.9346666666666666, | |
| "grad_norm": 0.3244069800490076, | |
| "learning_rate": 1.818631240980152e-05, | |
| "loss": 2.061, | |
| "step": 701 | |
| }, | |
| { | |
| "epoch": 0.936, | |
| "grad_norm": 0.23991437881187513, | |
| "learning_rate": 1.8157876654759523e-05, | |
| "loss": 2.2894, | |
| "step": 702 | |
| }, | |
| { | |
| "epoch": 0.9373333333333334, | |
| "grad_norm": 0.25976180285572664, | |
| "learning_rate": 1.812943342958395e-05, | |
| "loss": 1.9891, | |
| "step": 703 | |
| }, | |
| { | |
| "epoch": 0.9386666666666666, | |
| "grad_norm": 0.2927786905426986, | |
| "learning_rate": 1.8100982862435543e-05, | |
| "loss": 1.6884, | |
| "step": 704 | |
| }, | |
| { | |
| "epoch": 0.94, | |
| "grad_norm": 0.2756703449103029, | |
| "learning_rate": 1.8072525081508102e-05, | |
| "loss": 1.8145, | |
| "step": 705 | |
| }, | |
| { | |
| "epoch": 0.9413333333333334, | |
| "grad_norm": 0.2524822863680491, | |
| "learning_rate": 1.804406021502797e-05, | |
| "loss": 2.0691, | |
| "step": 706 | |
| }, | |
| { | |
| "epoch": 0.9426666666666667, | |
| "grad_norm": 0.2903981526285958, | |
| "learning_rate": 1.8015588391253376e-05, | |
| "loss": 2.0226, | |
| "step": 707 | |
| }, | |
| { | |
| "epoch": 0.944, | |
| "grad_norm": 0.27041828258282025, | |
| "learning_rate": 1.7987109738473926e-05, | |
| "loss": 2.0153, | |
| "step": 708 | |
| }, | |
| { | |
| "epoch": 0.9453333333333334, | |
| "grad_norm": 0.22968438052449883, | |
| "learning_rate": 1.795862438500999e-05, | |
| "loss": 2.1728, | |
| "step": 709 | |
| }, | |
| { | |
| "epoch": 0.9466666666666667, | |
| "grad_norm": 0.26581445298970097, | |
| "learning_rate": 1.793013245921212e-05, | |
| "loss": 2.1602, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 0.948, | |
| "grad_norm": 0.22756906936903462, | |
| "learning_rate": 1.7901634089460487e-05, | |
| "loss": 2.1154, | |
| "step": 711 | |
| }, | |
| { | |
| "epoch": 0.9493333333333334, | |
| "grad_norm": 0.22711425075649078, | |
| "learning_rate": 1.7873129404164308e-05, | |
| "loss": 1.8598, | |
| "step": 712 | |
| }, | |
| { | |
| "epoch": 0.9506666666666667, | |
| "grad_norm": 0.28129424152776866, | |
| "learning_rate": 1.7844618531761244e-05, | |
| "loss": 2.1648, | |
| "step": 713 | |
| }, | |
| { | |
| "epoch": 0.952, | |
| "grad_norm": 0.2298281596591105, | |
| "learning_rate": 1.7816101600716833e-05, | |
| "loss": 2.1483, | |
| "step": 714 | |
| }, | |
| { | |
| "epoch": 0.9533333333333334, | |
| "grad_norm": 0.3004309245970193, | |
| "learning_rate": 1.7787578739523923e-05, | |
| "loss": 2.0662, | |
| "step": 715 | |
| }, | |
| { | |
| "epoch": 0.9546666666666667, | |
| "grad_norm": 0.27654071062372865, | |
| "learning_rate": 1.775905007670208e-05, | |
| "loss": 2.1161, | |
| "step": 716 | |
| }, | |
| { | |
| "epoch": 0.956, | |
| "grad_norm": 0.22989967300260372, | |
| "learning_rate": 1.7730515740797e-05, | |
| "loss": 2.0016, | |
| "step": 717 | |
| }, | |
| { | |
| "epoch": 0.9573333333333334, | |
| "grad_norm": 0.2778791260401236, | |
| "learning_rate": 1.770197586037996e-05, | |
| "loss": 1.9537, | |
| "step": 718 | |
| }, | |
| { | |
| "epoch": 0.9586666666666667, | |
| "grad_norm": 0.2557980442255431, | |
| "learning_rate": 1.76734305640472e-05, | |
| "loss": 2.0411, | |
| "step": 719 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.2505533612029743, | |
| "learning_rate": 1.7644879980419376e-05, | |
| "loss": 2.1485, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 0.9613333333333334, | |
| "grad_norm": 0.22147869907546439, | |
| "learning_rate": 1.761632423814096e-05, | |
| "loss": 2.2138, | |
| "step": 721 | |
| }, | |
| { | |
| "epoch": 0.9626666666666667, | |
| "grad_norm": 0.3947764881731842, | |
| "learning_rate": 1.758776346587968e-05, | |
| "loss": 1.6291, | |
| "step": 722 | |
| }, | |
| { | |
| "epoch": 0.964, | |
| "grad_norm": 0.27811070842439584, | |
| "learning_rate": 1.755919779232591e-05, | |
| "loss": 2.2304, | |
| "step": 723 | |
| }, | |
| { | |
| "epoch": 0.9653333333333334, | |
| "grad_norm": 0.3593323666511308, | |
| "learning_rate": 1.753062734619212e-05, | |
| "loss": 1.8454, | |
| "step": 724 | |
| }, | |
| { | |
| "epoch": 0.9666666666666667, | |
| "grad_norm": 0.2745515781953686, | |
| "learning_rate": 1.7502052256212296e-05, | |
| "loss": 2.0281, | |
| "step": 725 | |
| }, | |
| { | |
| "epoch": 0.968, | |
| "grad_norm": 0.2046643868313138, | |
| "learning_rate": 1.7473472651141323e-05, | |
| "loss": 2.3229, | |
| "step": 726 | |
| }, | |
| { | |
| "epoch": 0.9693333333333334, | |
| "grad_norm": 0.31886434641532524, | |
| "learning_rate": 1.7444888659754444e-05, | |
| "loss": 2.1312, | |
| "step": 727 | |
| }, | |
| { | |
| "epoch": 0.9706666666666667, | |
| "grad_norm": 0.35362183848853807, | |
| "learning_rate": 1.741630041084667e-05, | |
| "loss": 1.9622, | |
| "step": 728 | |
| }, | |
| { | |
| "epoch": 0.972, | |
| "grad_norm": 0.3245155267313425, | |
| "learning_rate": 1.738770803323219e-05, | |
| "loss": 1.4596, | |
| "step": 729 | |
| }, | |
| { | |
| "epoch": 0.9733333333333334, | |
| "grad_norm": 0.25853346763135837, | |
| "learning_rate": 1.7359111655743798e-05, | |
| "loss": 2.1136, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 0.9746666666666667, | |
| "grad_norm": 0.3038496321594881, | |
| "learning_rate": 1.7330511407232302e-05, | |
| "loss": 1.8634, | |
| "step": 731 | |
| }, | |
| { | |
| "epoch": 0.976, | |
| "grad_norm": 0.23538899482596334, | |
| "learning_rate": 1.730190741656597e-05, | |
| "loss": 1.8893, | |
| "step": 732 | |
| }, | |
| { | |
| "epoch": 0.9773333333333334, | |
| "grad_norm": 0.2872056344414096, | |
| "learning_rate": 1.727329981262991e-05, | |
| "loss": 1.7375, | |
| "step": 733 | |
| }, | |
| { | |
| "epoch": 0.9786666666666667, | |
| "grad_norm": 0.2642485833575652, | |
| "learning_rate": 1.7244688724325536e-05, | |
| "loss": 2.0013, | |
| "step": 734 | |
| }, | |
| { | |
| "epoch": 0.98, | |
| "grad_norm": 0.2838100854362413, | |
| "learning_rate": 1.7216074280569945e-05, | |
| "loss": 2.3048, | |
| "step": 735 | |
| }, | |
| { | |
| "epoch": 0.9813333333333333, | |
| "grad_norm": 0.2657031716971977, | |
| "learning_rate": 1.718745661029535e-05, | |
| "loss": 1.8112, | |
| "step": 736 | |
| }, | |
| { | |
| "epoch": 0.9826666666666667, | |
| "grad_norm": 0.22906815346533607, | |
| "learning_rate": 1.7158835842448515e-05, | |
| "loss": 1.8842, | |
| "step": 737 | |
| }, | |
| { | |
| "epoch": 0.984, | |
| "grad_norm": 0.2499425224075748, | |
| "learning_rate": 1.713021210599015e-05, | |
| "loss": 2.1006, | |
| "step": 738 | |
| }, | |
| { | |
| "epoch": 0.9853333333333333, | |
| "grad_norm": 0.2562346799805699, | |
| "learning_rate": 1.7101585529894354e-05, | |
| "loss": 2.1199, | |
| "step": 739 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 0.3278925670543795, | |
| "learning_rate": 1.7072956243148004e-05, | |
| "loss": 2.0009, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 0.988, | |
| "grad_norm": 0.3486258540168203, | |
| "learning_rate": 1.7044324374750206e-05, | |
| "loss": 1.8149, | |
| "step": 741 | |
| }, | |
| { | |
| "epoch": 0.9893333333333333, | |
| "grad_norm": 0.2851088241581159, | |
| "learning_rate": 1.701569005371169e-05, | |
| "loss": 2.0202, | |
| "step": 742 | |
| }, | |
| { | |
| "epoch": 0.9906666666666667, | |
| "grad_norm": 0.26526386846134503, | |
| "learning_rate": 1.6987053409054237e-05, | |
| "loss": 1.7675, | |
| "step": 743 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 0.17202211624510527, | |
| "learning_rate": 1.6958414569810107e-05, | |
| "loss": 2.2223, | |
| "step": 744 | |
| }, | |
| { | |
| "epoch": 0.9933333333333333, | |
| "grad_norm": 0.2439839318014851, | |
| "learning_rate": 1.6929773665021445e-05, | |
| "loss": 1.7533, | |
| "step": 745 | |
| }, | |
| { | |
| "epoch": 0.9946666666666667, | |
| "grad_norm": 0.26622561219986507, | |
| "learning_rate": 1.690113082373969e-05, | |
| "loss": 2.3387, | |
| "step": 746 | |
| }, | |
| { | |
| "epoch": 0.996, | |
| "grad_norm": 0.2913645514245591, | |
| "learning_rate": 1.6872486175025013e-05, | |
| "loss": 1.8812, | |
| "step": 747 | |
| }, | |
| { | |
| "epoch": 0.9973333333333333, | |
| "grad_norm": 0.3210554827163261, | |
| "learning_rate": 1.684383984794574e-05, | |
| "loss": 1.9714, | |
| "step": 748 | |
| }, | |
| { | |
| "epoch": 0.9986666666666667, | |
| "grad_norm": 0.24511779664842132, | |
| "learning_rate": 1.6815191971577758e-05, | |
| "loss": 1.9085, | |
| "step": 749 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 0.29198350426636027, | |
| "learning_rate": 1.6786542675003918e-05, | |
| "loss": 1.7018, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_loss": 1.7271106243133545, | |
| "eval_runtime": 98.6847, | |
| "eval_samples_per_second": 1.013, | |
| "eval_steps_per_second": 0.253, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 1.0013333333333334, | |
| "grad_norm": 0.29314548587189315, | |
| "learning_rate": 1.6757892087313487e-05, | |
| "loss": 1.9639, | |
| "step": 751 | |
| }, | |
| { | |
| "epoch": 1.0013333333333334, | |
| "grad_norm": 0.2654022033477139, | |
| "learning_rate": 1.6729240337601544e-05, | |
| "loss": 2.1472, | |
| "step": 752 | |
| }, | |
| { | |
| "epoch": 1.0026666666666666, | |
| "grad_norm": 0.22112150742327574, | |
| "learning_rate": 1.67005875549684e-05, | |
| "loss": 2.0992, | |
| "step": 753 | |
| }, | |
| { | |
| "epoch": 1.004, | |
| "grad_norm": 0.30679558004287094, | |
| "learning_rate": 1.6671933868519025e-05, | |
| "loss": 2.2212, | |
| "step": 754 | |
| }, | |
| { | |
| "epoch": 1.0053333333333334, | |
| "grad_norm": 0.19730381106753442, | |
| "learning_rate": 1.6643279407362464e-05, | |
| "loss": 2.2968, | |
| "step": 755 | |
| }, | |
| { | |
| "epoch": 1.0066666666666666, | |
| "grad_norm": 0.2590521481067353, | |
| "learning_rate": 1.6614624300611235e-05, | |
| "loss": 2.2737, | |
| "step": 756 | |
| }, | |
| { | |
| "epoch": 1.008, | |
| "grad_norm": 0.26295101502619705, | |
| "learning_rate": 1.65859686773808e-05, | |
| "loss": 1.9639, | |
| "step": 757 | |
| }, | |
| { | |
| "epoch": 1.0093333333333334, | |
| "grad_norm": 0.302869511797495, | |
| "learning_rate": 1.6557312666788908e-05, | |
| "loss": 2.0783, | |
| "step": 758 | |
| }, | |
| { | |
| "epoch": 1.0106666666666666, | |
| "grad_norm": 0.19381704009773099, | |
| "learning_rate": 1.6528656397955082e-05, | |
| "loss": 2.2888, | |
| "step": 759 | |
| }, | |
| { | |
| "epoch": 1.012, | |
| "grad_norm": 0.2633771582850863, | |
| "learning_rate": 1.65e-05, | |
| "loss": 2.0637, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 1.0133333333333334, | |
| "grad_norm": 0.22315333613088192, | |
| "learning_rate": 1.6471343602044914e-05, | |
| "loss": 2.3058, | |
| "step": 761 | |
| }, | |
| { | |
| "epoch": 1.0146666666666666, | |
| "grad_norm": 0.2983055962293725, | |
| "learning_rate": 1.6442687333211095e-05, | |
| "loss": 1.8604, | |
| "step": 762 | |
| }, | |
| { | |
| "epoch": 1.016, | |
| "grad_norm": 0.22310976398154356, | |
| "learning_rate": 1.6414031322619204e-05, | |
| "loss": 1.846, | |
| "step": 763 | |
| }, | |
| { | |
| "epoch": 1.0173333333333334, | |
| "grad_norm": 0.34444133484673906, | |
| "learning_rate": 1.6385375699388768e-05, | |
| "loss": 2.1682, | |
| "step": 764 | |
| }, | |
| { | |
| "epoch": 1.0186666666666666, | |
| "grad_norm": 0.29118796102531774, | |
| "learning_rate": 1.6356720592637545e-05, | |
| "loss": 1.9338, | |
| "step": 765 | |
| }, | |
| { | |
| "epoch": 1.02, | |
| "grad_norm": 0.31104609690858964, | |
| "learning_rate": 1.6328066131480978e-05, | |
| "loss": 1.6356, | |
| "step": 766 | |
| }, | |
| { | |
| "epoch": 1.0213333333333334, | |
| "grad_norm": 0.4066809576837131, | |
| "learning_rate": 1.6299412445031603e-05, | |
| "loss": 2.1232, | |
| "step": 767 | |
| }, | |
| { | |
| "epoch": 1.0226666666666666, | |
| "grad_norm": 0.24740837717251093, | |
| "learning_rate": 1.6270759662398462e-05, | |
| "loss": 2.1537, | |
| "step": 768 | |
| }, | |
| { | |
| "epoch": 1.024, | |
| "grad_norm": 0.28914447404534616, | |
| "learning_rate": 1.6242107912686516e-05, | |
| "loss": 1.9898, | |
| "step": 769 | |
| }, | |
| { | |
| "epoch": 1.0253333333333334, | |
| "grad_norm": 0.39003214759118576, | |
| "learning_rate": 1.621345732499608e-05, | |
| "loss": 1.6123, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 1.0266666666666666, | |
| "grad_norm": 0.2750093981565428, | |
| "learning_rate": 1.6184808028422245e-05, | |
| "loss": 1.911, | |
| "step": 771 | |
| }, | |
| { | |
| "epoch": 1.028, | |
| "grad_norm": 0.3651690621253439, | |
| "learning_rate": 1.6156160152054262e-05, | |
| "loss": 2.0382, | |
| "step": 772 | |
| }, | |
| { | |
| "epoch": 1.0293333333333334, | |
| "grad_norm": 0.33034778749977567, | |
| "learning_rate": 1.6127513824974993e-05, | |
| "loss": 1.6505, | |
| "step": 773 | |
| }, | |
| { | |
| "epoch": 1.0306666666666666, | |
| "grad_norm": 0.24023546158281583, | |
| "learning_rate": 1.6098869176260317e-05, | |
| "loss": 2.126, | |
| "step": 774 | |
| }, | |
| { | |
| "epoch": 1.032, | |
| "grad_norm": 0.3099083986408515, | |
| "learning_rate": 1.6070226334978564e-05, | |
| "loss": 2.1278, | |
| "step": 775 | |
| }, | |
| { | |
| "epoch": 1.0333333333333334, | |
| "grad_norm": 0.23633839206355672, | |
| "learning_rate": 1.6041585430189895e-05, | |
| "loss": 2.0803, | |
| "step": 776 | |
| }, | |
| { | |
| "epoch": 1.0346666666666666, | |
| "grad_norm": 0.2994921701551886, | |
| "learning_rate": 1.6012946590945763e-05, | |
| "loss": 1.9376, | |
| "step": 777 | |
| }, | |
| { | |
| "epoch": 1.036, | |
| "grad_norm": 0.2742234625517111, | |
| "learning_rate": 1.5984309946288312e-05, | |
| "loss": 2.0729, | |
| "step": 778 | |
| }, | |
| { | |
| "epoch": 1.0373333333333334, | |
| "grad_norm": 0.2356967493076264, | |
| "learning_rate": 1.5955675625249796e-05, | |
| "loss": 1.9702, | |
| "step": 779 | |
| }, | |
| { | |
| "epoch": 1.0386666666666666, | |
| "grad_norm": 0.2675248987834828, | |
| "learning_rate": 1.5927043756852e-05, | |
| "loss": 1.9638, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 0.27287485663878314, | |
| "learning_rate": 1.5898414470105652e-05, | |
| "loss": 1.916, | |
| "step": 781 | |
| }, | |
| { | |
| "epoch": 1.0413333333333332, | |
| "grad_norm": 2.9298038201189223, | |
| "learning_rate": 1.586978789400985e-05, | |
| "loss": 1.7561, | |
| "step": 782 | |
| }, | |
| { | |
| "epoch": 1.0426666666666666, | |
| "grad_norm": 0.2836274262904837, | |
| "learning_rate": 1.584116415755149e-05, | |
| "loss": 1.9482, | |
| "step": 783 | |
| }, | |
| { | |
| "epoch": 1.044, | |
| "grad_norm": 0.26121342975391204, | |
| "learning_rate": 1.5812543389704656e-05, | |
| "loss": 2.1344, | |
| "step": 784 | |
| }, | |
| { | |
| "epoch": 1.0453333333333332, | |
| "grad_norm": 0.27272775638338237, | |
| "learning_rate": 1.5783925719430058e-05, | |
| "loss": 2.1061, | |
| "step": 785 | |
| }, | |
| { | |
| "epoch": 1.0466666666666666, | |
| "grad_norm": 0.2803803409505497, | |
| "learning_rate": 1.5755311275674464e-05, | |
| "loss": 2.1899, | |
| "step": 786 | |
| }, | |
| { | |
| "epoch": 1.048, | |
| "grad_norm": 0.24573695707656323, | |
| "learning_rate": 1.572670018737009e-05, | |
| "loss": 2.2364, | |
| "step": 787 | |
| }, | |
| { | |
| "epoch": 1.0493333333333332, | |
| "grad_norm": 0.27462618666360705, | |
| "learning_rate": 1.5698092583434034e-05, | |
| "loss": 1.9921, | |
| "step": 788 | |
| }, | |
| { | |
| "epoch": 1.0506666666666666, | |
| "grad_norm": 0.23040825764716574, | |
| "learning_rate": 1.5669488592767704e-05, | |
| "loss": 2.2539, | |
| "step": 789 | |
| }, | |
| { | |
| "epoch": 1.052, | |
| "grad_norm": 0.27456456401733165, | |
| "learning_rate": 1.5640888344256204e-05, | |
| "loss": 2.1869, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 1.0533333333333332, | |
| "grad_norm": 0.24623801105945586, | |
| "learning_rate": 1.5612291966767815e-05, | |
| "loss": 2.0502, | |
| "step": 791 | |
| }, | |
| { | |
| "epoch": 1.0546666666666666, | |
| "grad_norm": 0.1987428710050837, | |
| "learning_rate": 1.558369958915333e-05, | |
| "loss": 2.1769, | |
| "step": 792 | |
| }, | |
| { | |
| "epoch": 1.056, | |
| "grad_norm": 0.34124818351916664, | |
| "learning_rate": 1.5555111340245555e-05, | |
| "loss": 1.8273, | |
| "step": 793 | |
| }, | |
| { | |
| "epoch": 1.0573333333333332, | |
| "grad_norm": 0.33034667496938114, | |
| "learning_rate": 1.552652734885868e-05, | |
| "loss": 1.8017, | |
| "step": 794 | |
| }, | |
| { | |
| "epoch": 1.0586666666666666, | |
| "grad_norm": 0.2704584795184102, | |
| "learning_rate": 1.5497947743787706e-05, | |
| "loss": 2.0741, | |
| "step": 795 | |
| }, | |
| { | |
| "epoch": 1.06, | |
| "grad_norm": 0.2687197860247337, | |
| "learning_rate": 1.546937265380788e-05, | |
| "loss": 1.9011, | |
| "step": 796 | |
| }, | |
| { | |
| "epoch": 1.0613333333333332, | |
| "grad_norm": 0.2809331983944747, | |
| "learning_rate": 1.5440802207674096e-05, | |
| "loss": 1.7214, | |
| "step": 797 | |
| }, | |
| { | |
| "epoch": 1.0626666666666666, | |
| "grad_norm": 0.28752142884446497, | |
| "learning_rate": 1.5412236534120328e-05, | |
| "loss": 2.2099, | |
| "step": 798 | |
| }, | |
| { | |
| "epoch": 1.064, | |
| "grad_norm": 0.3245712934899835, | |
| "learning_rate": 1.5383675761859042e-05, | |
| "loss": 1.8972, | |
| "step": 799 | |
| }, | |
| { | |
| "epoch": 1.0653333333333332, | |
| "grad_norm": 0.38524173737742373, | |
| "learning_rate": 1.5355120019580633e-05, | |
| "loss": 2.1678, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 0.29958116794571543, | |
| "learning_rate": 1.5326569435952803e-05, | |
| "loss": 2.0969, | |
| "step": 801 | |
| }, | |
| { | |
| "epoch": 1.068, | |
| "grad_norm": 0.2588483476301596, | |
| "learning_rate": 1.5298024139620036e-05, | |
| "loss": 2.1281, | |
| "step": 802 | |
| }, | |
| { | |
| "epoch": 1.0693333333333332, | |
| "grad_norm": 0.27782644113498994, | |
| "learning_rate": 1.5269484259202998e-05, | |
| "loss": 2.2909, | |
| "step": 803 | |
| }, | |
| { | |
| "epoch": 1.0706666666666667, | |
| "grad_norm": 0.31008186142773403, | |
| "learning_rate": 1.5240949923297923e-05, | |
| "loss": 1.9608, | |
| "step": 804 | |
| }, | |
| { | |
| "epoch": 1.072, | |
| "grad_norm": 0.20652125496483334, | |
| "learning_rate": 1.521242126047608e-05, | |
| "loss": 2.2025, | |
| "step": 805 | |
| }, | |
| { | |
| "epoch": 1.0733333333333333, | |
| "grad_norm": 0.3305153056682933, | |
| "learning_rate": 1.5183898399283168e-05, | |
| "loss": 1.6804, | |
| "step": 806 | |
| }, | |
| { | |
| "epoch": 1.0746666666666667, | |
| "grad_norm": 0.3285012571245733, | |
| "learning_rate": 1.5155381468238763e-05, | |
| "loss": 1.6036, | |
| "step": 807 | |
| }, | |
| { | |
| "epoch": 1.076, | |
| "grad_norm": 0.2801204689153235, | |
| "learning_rate": 1.5126870595835696e-05, | |
| "loss": 2.002, | |
| "step": 808 | |
| }, | |
| { | |
| "epoch": 1.0773333333333333, | |
| "grad_norm": 0.27591723883269975, | |
| "learning_rate": 1.5098365910539514e-05, | |
| "loss": 2.0056, | |
| "step": 809 | |
| }, | |
| { | |
| "epoch": 1.0786666666666667, | |
| "grad_norm": 0.2822219932113097, | |
| "learning_rate": 1.5069867540787885e-05, | |
| "loss": 1.9001, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 1.08, | |
| "grad_norm": 0.2888298220969775, | |
| "learning_rate": 1.504137561499001e-05, | |
| "loss": 1.8408, | |
| "step": 811 | |
| }, | |
| { | |
| "epoch": 1.0813333333333333, | |
| "grad_norm": 0.22666168669502149, | |
| "learning_rate": 1.5012890261526077e-05, | |
| "loss": 1.9996, | |
| "step": 812 | |
| }, | |
| { | |
| "epoch": 1.0826666666666667, | |
| "grad_norm": 0.24342415396543557, | |
| "learning_rate": 1.4984411608746628e-05, | |
| "loss": 1.7895, | |
| "step": 813 | |
| }, | |
| { | |
| "epoch": 1.084, | |
| "grad_norm": 0.3176688771877161, | |
| "learning_rate": 1.4955939784972038e-05, | |
| "loss": 1.7781, | |
| "step": 814 | |
| }, | |
| { | |
| "epoch": 1.0853333333333333, | |
| "grad_norm": 0.356850483657526, | |
| "learning_rate": 1.4927474918491897e-05, | |
| "loss": 2.2755, | |
| "step": 815 | |
| }, | |
| { | |
| "epoch": 1.0866666666666667, | |
| "grad_norm": 0.2961712894598291, | |
| "learning_rate": 1.4899017137564468e-05, | |
| "loss": 1.9173, | |
| "step": 816 | |
| }, | |
| { | |
| "epoch": 1.088, | |
| "grad_norm": 0.23483397046388113, | |
| "learning_rate": 1.4870566570416054e-05, | |
| "loss": 2.2262, | |
| "step": 817 | |
| }, | |
| { | |
| "epoch": 1.0893333333333333, | |
| "grad_norm": 0.24591094734768637, | |
| "learning_rate": 1.4842123345240476e-05, | |
| "loss": 2.2407, | |
| "step": 818 | |
| }, | |
| { | |
| "epoch": 1.0906666666666667, | |
| "grad_norm": 0.3226255634566517, | |
| "learning_rate": 1.4813687590198486e-05, | |
| "loss": 1.9161, | |
| "step": 819 | |
| }, | |
| { | |
| "epoch": 1.092, | |
| "grad_norm": 0.31618866419039016, | |
| "learning_rate": 1.4785259433417137e-05, | |
| "loss": 2.1224, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 1.0933333333333333, | |
| "grad_norm": 0.26406701803190497, | |
| "learning_rate": 1.4756839002989287e-05, | |
| "loss": 2.0114, | |
| "step": 821 | |
| }, | |
| { | |
| "epoch": 1.0946666666666667, | |
| "grad_norm": 0.2570505246727361, | |
| "learning_rate": 1.472842642697295e-05, | |
| "loss": 2.0337, | |
| "step": 822 | |
| }, | |
| { | |
| "epoch": 1.096, | |
| "grad_norm": 0.24849779653480883, | |
| "learning_rate": 1.4700021833390772e-05, | |
| "loss": 1.9448, | |
| "step": 823 | |
| }, | |
| { | |
| "epoch": 1.0973333333333333, | |
| "grad_norm": 0.29803983234714143, | |
| "learning_rate": 1.4671625350229406e-05, | |
| "loss": 2.0525, | |
| "step": 824 | |
| }, | |
| { | |
| "epoch": 1.0986666666666667, | |
| "grad_norm": 0.26960983669026084, | |
| "learning_rate": 1.4643237105438985e-05, | |
| "loss": 1.9736, | |
| "step": 825 | |
| }, | |
| { | |
| "epoch": 1.0986666666666667, | |
| "eval_loss": 1.7263636589050293, | |
| "eval_runtime": 98.7852, | |
| "eval_samples_per_second": 1.012, | |
| "eval_steps_per_second": 0.253, | |
| "step": 825 | |
| }, | |
| { | |
| "epoch": 1.1, | |
| "grad_norm": 0.33739943860611005, | |
| "learning_rate": 1.4614857226932514e-05, | |
| "loss": 1.9295, | |
| "step": 826 | |
| }, | |
| { | |
| "epoch": 1.1013333333333333, | |
| "grad_norm": 0.31583103747112357, | |
| "learning_rate": 1.4586485842585288e-05, | |
| "loss": 1.8792, | |
| "step": 827 | |
| }, | |
| { | |
| "epoch": 1.1026666666666667, | |
| "grad_norm": 0.3477216318533689, | |
| "learning_rate": 1.4558123080234354e-05, | |
| "loss": 1.8972, | |
| "step": 828 | |
| }, | |
| { | |
| "epoch": 1.104, | |
| "grad_norm": 0.24381298309958485, | |
| "learning_rate": 1.4529769067677878e-05, | |
| "loss": 1.8523, | |
| "step": 829 | |
| }, | |
| { | |
| "epoch": 1.1053333333333333, | |
| "grad_norm": 0.36377772901911526, | |
| "learning_rate": 1.4501423932674627e-05, | |
| "loss": 1.8789, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 1.1066666666666667, | |
| "grad_norm": 0.2411161347666336, | |
| "learning_rate": 1.4473087802943354e-05, | |
| "loss": 2.0232, | |
| "step": 831 | |
| }, | |
| { | |
| "epoch": 1.108, | |
| "grad_norm": 0.2827729827360253, | |
| "learning_rate": 1.4444760806162249e-05, | |
| "loss": 2.472, | |
| "step": 832 | |
| }, | |
| { | |
| "epoch": 1.1093333333333333, | |
| "grad_norm": 0.2688803709712516, | |
| "learning_rate": 1.4416443069968319e-05, | |
| "loss": 2.1379, | |
| "step": 833 | |
| }, | |
| { | |
| "epoch": 1.1106666666666667, | |
| "grad_norm": 0.2763834018064042, | |
| "learning_rate": 1.438813472195688e-05, | |
| "loss": 2.1854, | |
| "step": 834 | |
| }, | |
| { | |
| "epoch": 1.112, | |
| "grad_norm": 0.3252822515732837, | |
| "learning_rate": 1.435983588968094e-05, | |
| "loss": 1.8315, | |
| "step": 835 | |
| }, | |
| { | |
| "epoch": 1.1133333333333333, | |
| "grad_norm": 0.288360641044998, | |
| "learning_rate": 1.4331546700650608e-05, | |
| "loss": 1.822, | |
| "step": 836 | |
| }, | |
| { | |
| "epoch": 1.1146666666666667, | |
| "grad_norm": 0.33567385117245413, | |
| "learning_rate": 1.430326728233256e-05, | |
| "loss": 1.9103, | |
| "step": 837 | |
| }, | |
| { | |
| "epoch": 1.116, | |
| "grad_norm": 0.34222016685695766, | |
| "learning_rate": 1.4274997762149446e-05, | |
| "loss": 2.0394, | |
| "step": 838 | |
| }, | |
| { | |
| "epoch": 1.1173333333333333, | |
| "grad_norm": 0.33037244516122444, | |
| "learning_rate": 1.424673826747932e-05, | |
| "loss": 2.1109, | |
| "step": 839 | |
| }, | |
| { | |
| "epoch": 1.1186666666666667, | |
| "grad_norm": 0.27845613642536654, | |
| "learning_rate": 1.4218488925655038e-05, | |
| "loss": 1.8761, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 0.29067916025863894, | |
| "learning_rate": 1.4190249863963746e-05, | |
| "loss": 2.0218, | |
| "step": 841 | |
| }, | |
| { | |
| "epoch": 1.1213333333333333, | |
| "grad_norm": 0.2028693513568206, | |
| "learning_rate": 1.4162021209646242e-05, | |
| "loss": 2.351, | |
| "step": 842 | |
| }, | |
| { | |
| "epoch": 1.1226666666666667, | |
| "grad_norm": 0.22107038719143224, | |
| "learning_rate": 1.4133803089896437e-05, | |
| "loss": 2.0639, | |
| "step": 843 | |
| }, | |
| { | |
| "epoch": 1.124, | |
| "grad_norm": 0.19090428144867044, | |
| "learning_rate": 1.4105595631860785e-05, | |
| "loss": 2.0944, | |
| "step": 844 | |
| }, | |
| { | |
| "epoch": 1.1253333333333333, | |
| "grad_norm": 0.2307925623582864, | |
| "learning_rate": 1.4077398962637679e-05, | |
| "loss": 2.1235, | |
| "step": 845 | |
| }, | |
| { | |
| "epoch": 1.1266666666666667, | |
| "grad_norm": 0.2773105933942592, | |
| "learning_rate": 1.4049213209276925e-05, | |
| "loss": 2.3474, | |
| "step": 846 | |
| }, | |
| { | |
| "epoch": 1.1280000000000001, | |
| "grad_norm": 0.28933871659651195, | |
| "learning_rate": 1.4021038498779123e-05, | |
| "loss": 1.6713, | |
| "step": 847 | |
| }, | |
| { | |
| "epoch": 1.1293333333333333, | |
| "grad_norm": 0.24815103673978903, | |
| "learning_rate": 1.3992874958095125e-05, | |
| "loss": 2.2942, | |
| "step": 848 | |
| }, | |
| { | |
| "epoch": 1.1306666666666667, | |
| "grad_norm": 0.22407067780211767, | |
| "learning_rate": 1.396472271412545e-05, | |
| "loss": 2.0328, | |
| "step": 849 | |
| }, | |
| { | |
| "epoch": 1.1320000000000001, | |
| "grad_norm": 0.19722677720163131, | |
| "learning_rate": 1.3936581893719717e-05, | |
| "loss": 2.0957, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 1.1333333333333333, | |
| "grad_norm": 0.2732434799353355, | |
| "learning_rate": 1.3908452623676083e-05, | |
| "loss": 2.07, | |
| "step": 851 | |
| }, | |
| { | |
| "epoch": 1.1346666666666667, | |
| "grad_norm": 0.3693734960374534, | |
| "learning_rate": 1.3880335030740634e-05, | |
| "loss": 1.9537, | |
| "step": 852 | |
| }, | |
| { | |
| "epoch": 1.1360000000000001, | |
| "grad_norm": 0.34582418850189106, | |
| "learning_rate": 1.385222924160687e-05, | |
| "loss": 2.3543, | |
| "step": 853 | |
| }, | |
| { | |
| "epoch": 1.1373333333333333, | |
| "grad_norm": 0.34579666129827547, | |
| "learning_rate": 1.3824135382915085e-05, | |
| "loss": 1.7169, | |
| "step": 854 | |
| }, | |
| { | |
| "epoch": 1.1386666666666667, | |
| "grad_norm": 0.27912681218848595, | |
| "learning_rate": 1.3796053581251835e-05, | |
| "loss": 2.0586, | |
| "step": 855 | |
| }, | |
| { | |
| "epoch": 1.1400000000000001, | |
| "grad_norm": 0.22301389294204216, | |
| "learning_rate": 1.3767983963149322e-05, | |
| "loss": 2.0467, | |
| "step": 856 | |
| }, | |
| { | |
| "epoch": 1.1413333333333333, | |
| "grad_norm": 0.35613948380619104, | |
| "learning_rate": 1.3739926655084871e-05, | |
| "loss": 2.3776, | |
| "step": 857 | |
| }, | |
| { | |
| "epoch": 1.1426666666666667, | |
| "grad_norm": 0.37935485390184787, | |
| "learning_rate": 1.3711881783480343e-05, | |
| "loss": 1.908, | |
| "step": 858 | |
| }, | |
| { | |
| "epoch": 1.144, | |
| "grad_norm": 0.2604125057354825, | |
| "learning_rate": 1.3683849474701546e-05, | |
| "loss": 2.1663, | |
| "step": 859 | |
| }, | |
| { | |
| "epoch": 1.1453333333333333, | |
| "grad_norm": 0.20226443257243945, | |
| "learning_rate": 1.36558298550577e-05, | |
| "loss": 2.1179, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 1.1466666666666667, | |
| "grad_norm": 0.28670416054657116, | |
| "learning_rate": 1.3627823050800821e-05, | |
| "loss": 2.3402, | |
| "step": 861 | |
| }, | |
| { | |
| "epoch": 1.148, | |
| "grad_norm": 0.22345952514121253, | |
| "learning_rate": 1.3599829188125224e-05, | |
| "loss": 2.0037, | |
| "step": 862 | |
| }, | |
| { | |
| "epoch": 1.1493333333333333, | |
| "grad_norm": 0.24363095543034283, | |
| "learning_rate": 1.357184839316687e-05, | |
| "loss": 2.449, | |
| "step": 863 | |
| }, | |
| { | |
| "epoch": 1.1506666666666667, | |
| "grad_norm": 0.35434158328131543, | |
| "learning_rate": 1.3543880792002864e-05, | |
| "loss": 1.7194, | |
| "step": 864 | |
| }, | |
| { | |
| "epoch": 1.152, | |
| "grad_norm": 0.27961168317007334, | |
| "learning_rate": 1.3515926510650848e-05, | |
| "loss": 2.1084, | |
| "step": 865 | |
| }, | |
| { | |
| "epoch": 1.1533333333333333, | |
| "grad_norm": 0.2851106139542046, | |
| "learning_rate": 1.3487985675068456e-05, | |
| "loss": 1.9084, | |
| "step": 866 | |
| }, | |
| { | |
| "epoch": 1.1546666666666667, | |
| "grad_norm": 0.3386904368910706, | |
| "learning_rate": 1.3460058411152742e-05, | |
| "loss": 1.6938, | |
| "step": 867 | |
| }, | |
| { | |
| "epoch": 1.156, | |
| "grad_norm": 0.23212252628845687, | |
| "learning_rate": 1.3432144844739585e-05, | |
| "loss": 2.0928, | |
| "step": 868 | |
| }, | |
| { | |
| "epoch": 1.1573333333333333, | |
| "grad_norm": 0.269610885122469, | |
| "learning_rate": 1.3404245101603173e-05, | |
| "loss": 2.1966, | |
| "step": 869 | |
| }, | |
| { | |
| "epoch": 1.1586666666666667, | |
| "grad_norm": 0.24300942352810392, | |
| "learning_rate": 1.3376359307455391e-05, | |
| "loss": 2.1554, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 1.16, | |
| "grad_norm": 0.26437919301371793, | |
| "learning_rate": 1.3348487587945281e-05, | |
| "loss": 1.7462, | |
| "step": 871 | |
| }, | |
| { | |
| "epoch": 1.1613333333333333, | |
| "grad_norm": 0.2038778141393033, | |
| "learning_rate": 1.3320630068658456e-05, | |
| "loss": 2.1588, | |
| "step": 872 | |
| }, | |
| { | |
| "epoch": 1.1626666666666667, | |
| "grad_norm": 0.29610511589262156, | |
| "learning_rate": 1.3292786875116554e-05, | |
| "loss": 1.8045, | |
| "step": 873 | |
| }, | |
| { | |
| "epoch": 1.164, | |
| "grad_norm": 0.2083586397413081, | |
| "learning_rate": 1.326495813277667e-05, | |
| "loss": 2.1227, | |
| "step": 874 | |
| }, | |
| { | |
| "epoch": 1.1653333333333333, | |
| "grad_norm": 0.3157235681757098, | |
| "learning_rate": 1.3237143967030768e-05, | |
| "loss": 1.5903, | |
| "step": 875 | |
| }, | |
| { | |
| "epoch": 1.1666666666666667, | |
| "grad_norm": 0.311903676076516, | |
| "learning_rate": 1.3209344503205141e-05, | |
| "loss": 1.8527, | |
| "step": 876 | |
| }, | |
| { | |
| "epoch": 1.168, | |
| "grad_norm": 0.3393466746581136, | |
| "learning_rate": 1.3181559866559834e-05, | |
| "loss": 1.8694, | |
| "step": 877 | |
| }, | |
| { | |
| "epoch": 1.1693333333333333, | |
| "grad_norm": 0.28211130910911014, | |
| "learning_rate": 1.3153790182288096e-05, | |
| "loss": 2.1516, | |
| "step": 878 | |
| }, | |
| { | |
| "epoch": 1.1706666666666667, | |
| "grad_norm": 0.2799523751154251, | |
| "learning_rate": 1.3126035575515774e-05, | |
| "loss": 2.1035, | |
| "step": 879 | |
| }, | |
| { | |
| "epoch": 1.172, | |
| "grad_norm": 0.21511516012771723, | |
| "learning_rate": 1.3098296171300815e-05, | |
| "loss": 2.2037, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 1.1733333333333333, | |
| "grad_norm": 0.2033152836937396, | |
| "learning_rate": 1.307057209463263e-05, | |
| "loss": 2.1185, | |
| "step": 881 | |
| }, | |
| { | |
| "epoch": 1.1746666666666667, | |
| "grad_norm": 0.31602422191043694, | |
| "learning_rate": 1.3042863470431595e-05, | |
| "loss": 2.0474, | |
| "step": 882 | |
| }, | |
| { | |
| "epoch": 1.176, | |
| "grad_norm": 0.30289004802802955, | |
| "learning_rate": 1.3015170423548452e-05, | |
| "loss": 1.9043, | |
| "step": 883 | |
| }, | |
| { | |
| "epoch": 1.1773333333333333, | |
| "grad_norm": 0.3700889055905809, | |
| "learning_rate": 1.2987493078763735e-05, | |
| "loss": 1.6108, | |
| "step": 884 | |
| }, | |
| { | |
| "epoch": 1.1786666666666668, | |
| "grad_norm": 0.28548958638313016, | |
| "learning_rate": 1.2959831560787254e-05, | |
| "loss": 2.1398, | |
| "step": 885 | |
| }, | |
| { | |
| "epoch": 1.18, | |
| "grad_norm": 0.25770632580022057, | |
| "learning_rate": 1.293218599425749e-05, | |
| "loss": 1.9075, | |
| "step": 886 | |
| }, | |
| { | |
| "epoch": 1.1813333333333333, | |
| "grad_norm": 0.33534449476212286, | |
| "learning_rate": 1.2904556503741054e-05, | |
| "loss": 1.9316, | |
| "step": 887 | |
| }, | |
| { | |
| "epoch": 1.1826666666666668, | |
| "grad_norm": 0.3166639011177591, | |
| "learning_rate": 1.2876943213732113e-05, | |
| "loss": 1.6889, | |
| "step": 888 | |
| }, | |
| { | |
| "epoch": 1.184, | |
| "grad_norm": 0.25352222922087836, | |
| "learning_rate": 1.2849346248651851e-05, | |
| "loss": 1.9141, | |
| "step": 889 | |
| }, | |
| { | |
| "epoch": 1.1853333333333333, | |
| "grad_norm": 0.25768329681012353, | |
| "learning_rate": 1.2821765732847894e-05, | |
| "loss": 2.0407, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 1.1866666666666668, | |
| "grad_norm": 0.39860000016451574, | |
| "learning_rate": 1.2794201790593729e-05, | |
| "loss": 1.9456, | |
| "step": 891 | |
| }, | |
| { | |
| "epoch": 1.188, | |
| "grad_norm": 0.272480193437812, | |
| "learning_rate": 1.276665454608819e-05, | |
| "loss": 2.1016, | |
| "step": 892 | |
| }, | |
| { | |
| "epoch": 1.1893333333333334, | |
| "grad_norm": 0.20790740179363376, | |
| "learning_rate": 1.2739124123454861e-05, | |
| "loss": 2.2562, | |
| "step": 893 | |
| }, | |
| { | |
| "epoch": 1.1906666666666668, | |
| "grad_norm": 0.33072921666504135, | |
| "learning_rate": 1.2711610646741535e-05, | |
| "loss": 2.0387, | |
| "step": 894 | |
| }, | |
| { | |
| "epoch": 1.192, | |
| "grad_norm": 0.23124047936995398, | |
| "learning_rate": 1.2684114239919634e-05, | |
| "loss": 2.1793, | |
| "step": 895 | |
| }, | |
| { | |
| "epoch": 1.1933333333333334, | |
| "grad_norm": 0.25553197408913225, | |
| "learning_rate": 1.265663502688369e-05, | |
| "loss": 2.0221, | |
| "step": 896 | |
| }, | |
| { | |
| "epoch": 1.1946666666666665, | |
| "grad_norm": 0.24976865846165938, | |
| "learning_rate": 1.262917313145074e-05, | |
| "loss": 2.2023, | |
| "step": 897 | |
| }, | |
| { | |
| "epoch": 1.196, | |
| "grad_norm": 0.26189714265274144, | |
| "learning_rate": 1.260172867735981e-05, | |
| "loss": 2.1178, | |
| "step": 898 | |
| }, | |
| { | |
| "epoch": 1.1973333333333334, | |
| "grad_norm": 0.2522352567726127, | |
| "learning_rate": 1.2574301788271328e-05, | |
| "loss": 2.1716, | |
| "step": 899 | |
| }, | |
| { | |
| "epoch": 1.1986666666666665, | |
| "grad_norm": 0.2944286279158644, | |
| "learning_rate": 1.2546892587766574e-05, | |
| "loss": 2.0917, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 1.1986666666666665, | |
| "eval_loss": 1.7244901657104492, | |
| "eval_runtime": 98.7949, | |
| "eval_samples_per_second": 1.012, | |
| "eval_steps_per_second": 0.253, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 0.2547330577707196, | |
| "learning_rate": 1.251950119934713e-05, | |
| "loss": 2.0067, | |
| "step": 901 | |
| }, | |
| { | |
| "epoch": 1.2013333333333334, | |
| "grad_norm": 0.30117867035434776, | |
| "learning_rate": 1.2492127746434314e-05, | |
| "loss": 1.8638, | |
| "step": 902 | |
| }, | |
| { | |
| "epoch": 1.2026666666666666, | |
| "grad_norm": 0.2615895402404071, | |
| "learning_rate": 1.2464772352368647e-05, | |
| "loss": 2.2824, | |
| "step": 903 | |
| }, | |
| { | |
| "epoch": 1.204, | |
| "grad_norm": 0.2597748699646768, | |
| "learning_rate": 1.2437435140409255e-05, | |
| "loss": 2.1053, | |
| "step": 904 | |
| }, | |
| { | |
| "epoch": 1.2053333333333334, | |
| "grad_norm": 0.3761295047354225, | |
| "learning_rate": 1.2410116233733357e-05, | |
| "loss": 1.9672, | |
| "step": 905 | |
| }, | |
| { | |
| "epoch": 1.2066666666666666, | |
| "grad_norm": 0.2913866347705974, | |
| "learning_rate": 1.2382815755435687e-05, | |
| "loss": 2.1088, | |
| "step": 906 | |
| }, | |
| { | |
| "epoch": 1.208, | |
| "grad_norm": 0.38291366440673635, | |
| "learning_rate": 1.2355533828527934e-05, | |
| "loss": 1.8243, | |
| "step": 907 | |
| }, | |
| { | |
| "epoch": 1.2093333333333334, | |
| "grad_norm": 0.32386717527047804, | |
| "learning_rate": 1.2328270575938213e-05, | |
| "loss": 1.8934, | |
| "step": 908 | |
| }, | |
| { | |
| "epoch": 1.2106666666666666, | |
| "grad_norm": 0.1826624959172315, | |
| "learning_rate": 1.2301026120510475e-05, | |
| "loss": 2.2003, | |
| "step": 909 | |
| }, | |
| { | |
| "epoch": 1.212, | |
| "grad_norm": 0.3062699668335225, | |
| "learning_rate": 1.2273800585004e-05, | |
| "loss": 1.8659, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 1.2133333333333334, | |
| "grad_norm": 0.22823325737647399, | |
| "learning_rate": 1.2246594092092794e-05, | |
| "loss": 2.2497, | |
| "step": 911 | |
| }, | |
| { | |
| "epoch": 1.2146666666666666, | |
| "grad_norm": 0.3504153910721868, | |
| "learning_rate": 1.2219406764365078e-05, | |
| "loss": 1.4905, | |
| "step": 912 | |
| }, | |
| { | |
| "epoch": 1.216, | |
| "grad_norm": 0.2408275469329323, | |
| "learning_rate": 1.2192238724322697e-05, | |
| "loss": 2.2068, | |
| "step": 913 | |
| }, | |
| { | |
| "epoch": 1.2173333333333334, | |
| "grad_norm": 0.26442843650072173, | |
| "learning_rate": 1.2165090094380611e-05, | |
| "loss": 2.1585, | |
| "step": 914 | |
| }, | |
| { | |
| "epoch": 1.2186666666666666, | |
| "grad_norm": 0.25378084892897107, | |
| "learning_rate": 1.2137960996866317e-05, | |
| "loss": 2.2022, | |
| "step": 915 | |
| }, | |
| { | |
| "epoch": 1.22, | |
| "grad_norm": 0.31051625227270396, | |
| "learning_rate": 1.2110851554019274e-05, | |
| "loss": 1.9324, | |
| "step": 916 | |
| }, | |
| { | |
| "epoch": 1.2213333333333334, | |
| "grad_norm": 0.3819581351495789, | |
| "learning_rate": 1.2083761887990429e-05, | |
| "loss": 1.6774, | |
| "step": 917 | |
| }, | |
| { | |
| "epoch": 1.2226666666666666, | |
| "grad_norm": 0.32058824344227177, | |
| "learning_rate": 1.205669212084157e-05, | |
| "loss": 1.909, | |
| "step": 918 | |
| }, | |
| { | |
| "epoch": 1.224, | |
| "grad_norm": 0.3473832906787709, | |
| "learning_rate": 1.2029642374544858e-05, | |
| "loss": 1.8806, | |
| "step": 919 | |
| }, | |
| { | |
| "epoch": 1.2253333333333334, | |
| "grad_norm": 0.25003309371333615, | |
| "learning_rate": 1.2002612770982223e-05, | |
| "loss": 2.1653, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 1.2266666666666666, | |
| "grad_norm": 0.2525675648288993, | |
| "learning_rate": 1.1975603431944842e-05, | |
| "loss": 1.9691, | |
| "step": 921 | |
| }, | |
| { | |
| "epoch": 1.228, | |
| "grad_norm": 0.27491762634579053, | |
| "learning_rate": 1.1948614479132597e-05, | |
| "loss": 2.3897, | |
| "step": 922 | |
| }, | |
| { | |
| "epoch": 1.2293333333333334, | |
| "grad_norm": 0.22984436322386587, | |
| "learning_rate": 1.192164603415348e-05, | |
| "loss": 2.0477, | |
| "step": 923 | |
| }, | |
| { | |
| "epoch": 1.2306666666666666, | |
| "grad_norm": 0.2592965644021112, | |
| "learning_rate": 1.1894698218523107e-05, | |
| "loss": 1.8221, | |
| "step": 924 | |
| }, | |
| { | |
| "epoch": 1.232, | |
| "grad_norm": 0.23779567668756016, | |
| "learning_rate": 1.1867771153664127e-05, | |
| "loss": 2.147, | |
| "step": 925 | |
| }, | |
| { | |
| "epoch": 1.2333333333333334, | |
| "grad_norm": 0.29708936917555434, | |
| "learning_rate": 1.1840864960905699e-05, | |
| "loss": 2.4098, | |
| "step": 926 | |
| }, | |
| { | |
| "epoch": 1.2346666666666666, | |
| "grad_norm": 0.24938414210983972, | |
| "learning_rate": 1.1813979761482923e-05, | |
| "loss": 2.3323, | |
| "step": 927 | |
| }, | |
| { | |
| "epoch": 1.236, | |
| "grad_norm": 0.36245195992978585, | |
| "learning_rate": 1.1787115676536318e-05, | |
| "loss": 1.9571, | |
| "step": 928 | |
| }, | |
| { | |
| "epoch": 1.2373333333333334, | |
| "grad_norm": 0.25809386922531646, | |
| "learning_rate": 1.176027282711126e-05, | |
| "loss": 2.0808, | |
| "step": 929 | |
| }, | |
| { | |
| "epoch": 1.2386666666666666, | |
| "grad_norm": 0.32260400225446856, | |
| "learning_rate": 1.1733451334157442e-05, | |
| "loss": 1.523, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 1.24, | |
| "grad_norm": 0.2572561777008489, | |
| "learning_rate": 1.1706651318528324e-05, | |
| "loss": 2.1503, | |
| "step": 931 | |
| }, | |
| { | |
| "epoch": 1.2413333333333334, | |
| "grad_norm": 0.29182585989734355, | |
| "learning_rate": 1.1679872900980594e-05, | |
| "loss": 1.7526, | |
| "step": 932 | |
| }, | |
| { | |
| "epoch": 1.2426666666666666, | |
| "grad_norm": 0.32446496421369664, | |
| "learning_rate": 1.1653116202173636e-05, | |
| "loss": 1.936, | |
| "step": 933 | |
| }, | |
| { | |
| "epoch": 1.244, | |
| "grad_norm": 0.19883278658831505, | |
| "learning_rate": 1.1626381342668941e-05, | |
| "loss": 2.0101, | |
| "step": 934 | |
| }, | |
| { | |
| "epoch": 1.2453333333333334, | |
| "grad_norm": 0.29576475205827124, | |
| "learning_rate": 1.1599668442929633e-05, | |
| "loss": 2.0127, | |
| "step": 935 | |
| }, | |
| { | |
| "epoch": 1.2466666666666666, | |
| "grad_norm": 0.3676829627740954, | |
| "learning_rate": 1.1572977623319863e-05, | |
| "loss": 2.438, | |
| "step": 936 | |
| }, | |
| { | |
| "epoch": 1.248, | |
| "grad_norm": 0.22325240280957503, | |
| "learning_rate": 1.1546309004104298e-05, | |
| "loss": 2.0717, | |
| "step": 937 | |
| }, | |
| { | |
| "epoch": 1.2493333333333334, | |
| "grad_norm": 0.34005680560575235, | |
| "learning_rate": 1.1519662705447585e-05, | |
| "loss": 1.9409, | |
| "step": 938 | |
| }, | |
| { | |
| "epoch": 1.2506666666666666, | |
| "grad_norm": 0.22968940980272243, | |
| "learning_rate": 1.1493038847413779e-05, | |
| "loss": 2.191, | |
| "step": 939 | |
| }, | |
| { | |
| "epoch": 1.252, | |
| "grad_norm": 0.24326085626015034, | |
| "learning_rate": 1.1466437549965835e-05, | |
| "loss": 1.7475, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 1.2533333333333334, | |
| "grad_norm": 0.23046922632524613, | |
| "learning_rate": 1.143985893296505e-05, | |
| "loss": 2.0973, | |
| "step": 941 | |
| }, | |
| { | |
| "epoch": 1.2546666666666666, | |
| "grad_norm": 0.28114011768361297, | |
| "learning_rate": 1.141330311617053e-05, | |
| "loss": 2.315, | |
| "step": 942 | |
| }, | |
| { | |
| "epoch": 1.256, | |
| "grad_norm": 0.47347586360266986, | |
| "learning_rate": 1.138677021923863e-05, | |
| "loss": 1.4803, | |
| "step": 943 | |
| }, | |
| { | |
| "epoch": 1.2573333333333334, | |
| "grad_norm": 0.2508323694375401, | |
| "learning_rate": 1.136026036172246e-05, | |
| "loss": 2.1912, | |
| "step": 944 | |
| }, | |
| { | |
| "epoch": 1.2586666666666666, | |
| "grad_norm": 0.2796341142328396, | |
| "learning_rate": 1.1333773663071288e-05, | |
| "loss": 2.1389, | |
| "step": 945 | |
| }, | |
| { | |
| "epoch": 1.26, | |
| "grad_norm": 0.3296992563741328, | |
| "learning_rate": 1.1307310242630057e-05, | |
| "loss": 1.6939, | |
| "step": 946 | |
| }, | |
| { | |
| "epoch": 1.2613333333333334, | |
| "grad_norm": 0.3083106018198859, | |
| "learning_rate": 1.128087021963881e-05, | |
| "loss": 2.3766, | |
| "step": 947 | |
| }, | |
| { | |
| "epoch": 1.2626666666666666, | |
| "grad_norm": 0.31882717197187505, | |
| "learning_rate": 1.1254453713232159e-05, | |
| "loss": 1.6688, | |
| "step": 948 | |
| }, | |
| { | |
| "epoch": 1.264, | |
| "grad_norm": 0.29232166517893704, | |
| "learning_rate": 1.122806084243877e-05, | |
| "loss": 2.1866, | |
| "step": 949 | |
| }, | |
| { | |
| "epoch": 1.2653333333333334, | |
| "grad_norm": 0.3163610956601867, | |
| "learning_rate": 1.120169172618079e-05, | |
| "loss": 1.9031, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 1.2666666666666666, | |
| "grad_norm": 0.3120121778039467, | |
| "learning_rate": 1.1175346483273354e-05, | |
| "loss": 1.853, | |
| "step": 951 | |
| }, | |
| { | |
| "epoch": 1.268, | |
| "grad_norm": 0.5009025445022389, | |
| "learning_rate": 1.1149025232424012e-05, | |
| "loss": 1.6438, | |
| "step": 952 | |
| }, | |
| { | |
| "epoch": 1.2693333333333334, | |
| "grad_norm": 0.23700035332015665, | |
| "learning_rate": 1.1122728092232216e-05, | |
| "loss": 2.0785, | |
| "step": 953 | |
| }, | |
| { | |
| "epoch": 1.2706666666666666, | |
| "grad_norm": 0.264436489757347, | |
| "learning_rate": 1.1096455181188775e-05, | |
| "loss": 2.0052, | |
| "step": 954 | |
| }, | |
| { | |
| "epoch": 1.272, | |
| "grad_norm": 0.23160525014333155, | |
| "learning_rate": 1.1070206617675325e-05, | |
| "loss": 2.1096, | |
| "step": 955 | |
| }, | |
| { | |
| "epoch": 1.2733333333333334, | |
| "grad_norm": 0.32986807056319895, | |
| "learning_rate": 1.1043982519963808e-05, | |
| "loss": 1.7779, | |
| "step": 956 | |
| }, | |
| { | |
| "epoch": 1.2746666666666666, | |
| "grad_norm": 0.2579454877027749, | |
| "learning_rate": 1.1017783006215907e-05, | |
| "loss": 2.0495, | |
| "step": 957 | |
| }, | |
| { | |
| "epoch": 1.276, | |
| "grad_norm": 0.25162242528179907, | |
| "learning_rate": 1.0991608194482554e-05, | |
| "loss": 2.2682, | |
| "step": 958 | |
| }, | |
| { | |
| "epoch": 1.2773333333333334, | |
| "grad_norm": 0.30710812037355206, | |
| "learning_rate": 1.0965458202703352e-05, | |
| "loss": 1.7869, | |
| "step": 959 | |
| }, | |
| { | |
| "epoch": 1.2786666666666666, | |
| "grad_norm": 0.2532367005874789, | |
| "learning_rate": 1.09393331487061e-05, | |
| "loss": 2.3555, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 0.36484293291028724, | |
| "learning_rate": 1.0913233150206209e-05, | |
| "loss": 1.7604, | |
| "step": 961 | |
| }, | |
| { | |
| "epoch": 1.2813333333333334, | |
| "grad_norm": 0.2595141607506986, | |
| "learning_rate": 1.08871583248062e-05, | |
| "loss": 1.7623, | |
| "step": 962 | |
| }, | |
| { | |
| "epoch": 1.2826666666666666, | |
| "grad_norm": 0.321469400417862, | |
| "learning_rate": 1.0861108789995175e-05, | |
| "loss": 1.9921, | |
| "step": 963 | |
| }, | |
| { | |
| "epoch": 1.284, | |
| "grad_norm": 0.29552580225234487, | |
| "learning_rate": 1.0835084663148261e-05, | |
| "loss": 1.9573, | |
| "step": 964 | |
| }, | |
| { | |
| "epoch": 1.2853333333333334, | |
| "grad_norm": 0.41556496862580544, | |
| "learning_rate": 1.0809086061526128e-05, | |
| "loss": 1.8884, | |
| "step": 965 | |
| }, | |
| { | |
| "epoch": 1.2866666666666666, | |
| "grad_norm": 0.2822774487477595, | |
| "learning_rate": 1.0783113102274411e-05, | |
| "loss": 1.8946, | |
| "step": 966 | |
| }, | |
| { | |
| "epoch": 1.288, | |
| "grad_norm": 0.44031351175790295, | |
| "learning_rate": 1.0757165902423214e-05, | |
| "loss": 1.9377, | |
| "step": 967 | |
| }, | |
| { | |
| "epoch": 1.2893333333333334, | |
| "grad_norm": 0.3224023433804108, | |
| "learning_rate": 1.0731244578886574e-05, | |
| "loss": 1.9487, | |
| "step": 968 | |
| }, | |
| { | |
| "epoch": 1.2906666666666666, | |
| "grad_norm": 0.2289483081063148, | |
| "learning_rate": 1.0705349248461927e-05, | |
| "loss": 2.1853, | |
| "step": 969 | |
| }, | |
| { | |
| "epoch": 1.292, | |
| "grad_norm": 0.20304258698515246, | |
| "learning_rate": 1.0679480027829593e-05, | |
| "loss": 2.1007, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 1.2933333333333334, | |
| "grad_norm": 0.23337315396307892, | |
| "learning_rate": 1.0653637033552248e-05, | |
| "loss": 1.9286, | |
| "step": 971 | |
| }, | |
| { | |
| "epoch": 1.2946666666666666, | |
| "grad_norm": 0.24322683715799448, | |
| "learning_rate": 1.0627820382074392e-05, | |
| "loss": 2.2592, | |
| "step": 972 | |
| }, | |
| { | |
| "epoch": 1.296, | |
| "grad_norm": 0.3045623268241354, | |
| "learning_rate": 1.0602030189721824e-05, | |
| "loss": 1.8093, | |
| "step": 973 | |
| }, | |
| { | |
| "epoch": 1.2973333333333334, | |
| "grad_norm": 0.2619398899479254, | |
| "learning_rate": 1.057626657270114e-05, | |
| "loss": 2.3952, | |
| "step": 974 | |
| }, | |
| { | |
| "epoch": 1.2986666666666666, | |
| "grad_norm": 0.312834788584186, | |
| "learning_rate": 1.055052964709916e-05, | |
| "loss": 1.5679, | |
| "step": 975 | |
| }, | |
| { | |
| "epoch": 1.2986666666666666, | |
| "eval_loss": 1.7238746881484985, | |
| "eval_runtime": 98.6021, | |
| "eval_samples_per_second": 1.014, | |
| "eval_steps_per_second": 0.254, | |
| "step": 975 | |
| }, | |
| { | |
| "epoch": 1.3, | |
| "grad_norm": 0.2066841548756775, | |
| "learning_rate": 1.0524819528882473e-05, | |
| "loss": 2.0234, | |
| "step": 976 | |
| }, | |
| { | |
| "epoch": 1.3013333333333335, | |
| "grad_norm": 0.23611191495984157, | |
| "learning_rate": 1.0499136333896853e-05, | |
| "loss": 2.0812, | |
| "step": 977 | |
| }, | |
| { | |
| "epoch": 1.3026666666666666, | |
| "grad_norm": 0.25854462746138257, | |
| "learning_rate": 1.0473480177866766e-05, | |
| "loss": 2.027, | |
| "step": 978 | |
| }, | |
| { | |
| "epoch": 1.304, | |
| "grad_norm": 0.2993196878311568, | |
| "learning_rate": 1.0447851176394865e-05, | |
| "loss": 1.4299, | |
| "step": 979 | |
| }, | |
| { | |
| "epoch": 1.3053333333333335, | |
| "grad_norm": 0.3312016639987474, | |
| "learning_rate": 1.0422249444961409e-05, | |
| "loss": 2.0316, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 1.3066666666666666, | |
| "grad_norm": 0.4123660738002601, | |
| "learning_rate": 1.0396675098923824e-05, | |
| "loss": 1.5699, | |
| "step": 981 | |
| }, | |
| { | |
| "epoch": 1.308, | |
| "grad_norm": 0.47523750295511136, | |
| "learning_rate": 1.0371128253516119e-05, | |
| "loss": 2.0409, | |
| "step": 982 | |
| }, | |
| { | |
| "epoch": 1.3093333333333335, | |
| "grad_norm": 0.26386017358225666, | |
| "learning_rate": 1.0345609023848393e-05, | |
| "loss": 2.0663, | |
| "step": 983 | |
| }, | |
| { | |
| "epoch": 1.3106666666666666, | |
| "grad_norm": 0.23941498875502595, | |
| "learning_rate": 1.0320117524906314e-05, | |
| "loss": 1.9465, | |
| "step": 984 | |
| }, | |
| { | |
| "epoch": 1.312, | |
| "grad_norm": 0.3011591825689887, | |
| "learning_rate": 1.0294653871550597e-05, | |
| "loss": 2.1965, | |
| "step": 985 | |
| }, | |
| { | |
| "epoch": 1.3133333333333335, | |
| "grad_norm": 0.3886533008639575, | |
| "learning_rate": 1.026921817851649e-05, | |
| "loss": 1.9607, | |
| "step": 986 | |
| }, | |
| { | |
| "epoch": 1.3146666666666667, | |
| "grad_norm": 0.46935820996990335, | |
| "learning_rate": 1.0243810560413267e-05, | |
| "loss": 2.0066, | |
| "step": 987 | |
| }, | |
| { | |
| "epoch": 1.316, | |
| "grad_norm": 0.3030968762504365, | |
| "learning_rate": 1.0218431131723686e-05, | |
| "loss": 2.221, | |
| "step": 988 | |
| }, | |
| { | |
| "epoch": 1.3173333333333335, | |
| "grad_norm": 0.3919982524329497, | |
| "learning_rate": 1.0193080006803488e-05, | |
| "loss": 1.7649, | |
| "step": 989 | |
| }, | |
| { | |
| "epoch": 1.3186666666666667, | |
| "grad_norm": 0.4656293894389717, | |
| "learning_rate": 1.0167757299880904e-05, | |
| "loss": 2.0147, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 1.32, | |
| "grad_norm": 0.29953323462402315, | |
| "learning_rate": 1.014246312505608e-05, | |
| "loss": 1.8871, | |
| "step": 991 | |
| }, | |
| { | |
| "epoch": 1.3213333333333335, | |
| "grad_norm": 0.2930865401307731, | |
| "learning_rate": 1.0117197596300636e-05, | |
| "loss": 1.8657, | |
| "step": 992 | |
| }, | |
| { | |
| "epoch": 1.3226666666666667, | |
| "grad_norm": 0.390100158479355, | |
| "learning_rate": 1.00919608274571e-05, | |
| "loss": 2.0961, | |
| "step": 993 | |
| }, | |
| { | |
| "epoch": 1.324, | |
| "grad_norm": 0.24323933777658324, | |
| "learning_rate": 1.0066752932238409e-05, | |
| "loss": 1.9925, | |
| "step": 994 | |
| }, | |
| { | |
| "epoch": 1.3253333333333333, | |
| "grad_norm": 0.20714496547037972, | |
| "learning_rate": 1.0041574024227422e-05, | |
| "loss": 2.2419, | |
| "step": 995 | |
| }, | |
| { | |
| "epoch": 1.3266666666666667, | |
| "grad_norm": 0.2501953151896484, | |
| "learning_rate": 1.0016424216876349e-05, | |
| "loss": 2.2866, | |
| "step": 996 | |
| }, | |
| { | |
| "epoch": 1.328, | |
| "grad_norm": 0.2919524534618537, | |
| "learning_rate": 9.991303623506314e-06, | |
| "loss": 1.963, | |
| "step": 997 | |
| }, | |
| { | |
| "epoch": 1.3293333333333333, | |
| "grad_norm": 0.2510067983950005, | |
| "learning_rate": 9.966212357306789e-06, | |
| "loss": 2.0418, | |
| "step": 998 | |
| }, | |
| { | |
| "epoch": 1.3306666666666667, | |
| "grad_norm": 0.2165153318028165, | |
| "learning_rate": 9.941150531335105e-06, | |
| "loss": 2.2648, | |
| "step": 999 | |
| }, | |
| { | |
| "epoch": 1.332, | |
| "grad_norm": 0.41720693355902916, | |
| "learning_rate": 9.916118258515937e-06, | |
| "loss": 1.5364, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 0.2570034938354712, | |
| "learning_rate": 9.891115651640803e-06, | |
| "loss": 2.2123, | |
| "step": 1001 | |
| }, | |
| { | |
| "epoch": 1.3346666666666667, | |
| "grad_norm": 0.2590986125961775, | |
| "learning_rate": 9.866142823367548e-06, | |
| "loss": 2.1989, | |
| "step": 1002 | |
| }, | |
| { | |
| "epoch": 1.336, | |
| "grad_norm": 0.2943508577234797, | |
| "learning_rate": 9.841199886219841e-06, | |
| "loss": 1.992, | |
| "step": 1003 | |
| }, | |
| { | |
| "epoch": 1.3373333333333333, | |
| "grad_norm": 0.3452008163216107, | |
| "learning_rate": 9.816286952586672e-06, | |
| "loss": 1.8358, | |
| "step": 1004 | |
| }, | |
| { | |
| "epoch": 1.3386666666666667, | |
| "grad_norm": 0.3328936896154838, | |
| "learning_rate": 9.791404134721822e-06, | |
| "loss": 2.027, | |
| "step": 1005 | |
| }, | |
| { | |
| "epoch": 1.34, | |
| "grad_norm": 0.4346204940522017, | |
| "learning_rate": 9.7665515447434e-06, | |
| "loss": 1.6934, | |
| "step": 1006 | |
| }, | |
| { | |
| "epoch": 1.3413333333333333, | |
| "grad_norm": 0.27369420080493645, | |
| "learning_rate": 9.741729294633283e-06, | |
| "loss": 1.9471, | |
| "step": 1007 | |
| }, | |
| { | |
| "epoch": 1.3426666666666667, | |
| "grad_norm": 0.2333434561287913, | |
| "learning_rate": 9.716937496236674e-06, | |
| "loss": 2.1179, | |
| "step": 1008 | |
| }, | |
| { | |
| "epoch": 1.3439999999999999, | |
| "grad_norm": 0.25380161045018934, | |
| "learning_rate": 9.69217626126154e-06, | |
| "loss": 2.1244, | |
| "step": 1009 | |
| }, | |
| { | |
| "epoch": 1.3453333333333333, | |
| "grad_norm": 0.291324934426026, | |
| "learning_rate": 9.66744570127814e-06, | |
| "loss": 1.8656, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 1.3466666666666667, | |
| "grad_norm": 0.23442616886376189, | |
| "learning_rate": 9.642745927718532e-06, | |
| "loss": 2.2127, | |
| "step": 1011 | |
| }, | |
| { | |
| "epoch": 1.3479999999999999, | |
| "grad_norm": 0.31306139241755915, | |
| "learning_rate": 9.618077051876027e-06, | |
| "loss": 1.7291, | |
| "step": 1012 | |
| }, | |
| { | |
| "epoch": 1.3493333333333333, | |
| "grad_norm": 0.3515339531352735, | |
| "learning_rate": 9.593439184904743e-06, | |
| "loss": 1.8207, | |
| "step": 1013 | |
| }, | |
| { | |
| "epoch": 1.3506666666666667, | |
| "grad_norm": 0.8365093850528004, | |
| "learning_rate": 9.56883243781906e-06, | |
| "loss": 1.849, | |
| "step": 1014 | |
| }, | |
| { | |
| "epoch": 1.3519999999999999, | |
| "grad_norm": 0.2903696389507148, | |
| "learning_rate": 9.544256921493143e-06, | |
| "loss": 2.0304, | |
| "step": 1015 | |
| }, | |
| { | |
| "epoch": 1.3533333333333333, | |
| "grad_norm": 0.21404332035599244, | |
| "learning_rate": 9.51971274666043e-06, | |
| "loss": 2.183, | |
| "step": 1016 | |
| }, | |
| { | |
| "epoch": 1.3546666666666667, | |
| "grad_norm": 0.3312096293122618, | |
| "learning_rate": 9.495200023913157e-06, | |
| "loss": 1.8786, | |
| "step": 1017 | |
| }, | |
| { | |
| "epoch": 1.3559999999999999, | |
| "grad_norm": 0.2556941819438561, | |
| "learning_rate": 9.470718863701808e-06, | |
| "loss": 1.7592, | |
| "step": 1018 | |
| }, | |
| { | |
| "epoch": 1.3573333333333333, | |
| "grad_norm": 0.2922744314300813, | |
| "learning_rate": 9.44626937633469e-06, | |
| "loss": 2.0837, | |
| "step": 1019 | |
| }, | |
| { | |
| "epoch": 1.3586666666666667, | |
| "grad_norm": 0.2536880917720249, | |
| "learning_rate": 9.421851671977374e-06, | |
| "loss": 2.0308, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 1.3599999999999999, | |
| "grad_norm": 0.2546073712056976, | |
| "learning_rate": 9.39746586065222e-06, | |
| "loss": 2.2593, | |
| "step": 1021 | |
| }, | |
| { | |
| "epoch": 1.3613333333333333, | |
| "grad_norm": 0.376826911912088, | |
| "learning_rate": 9.373112052237904e-06, | |
| "loss": 2.0858, | |
| "step": 1022 | |
| }, | |
| { | |
| "epoch": 1.3626666666666667, | |
| "grad_norm": 0.2595376039274529, | |
| "learning_rate": 9.348790356468868e-06, | |
| "loss": 2.2995, | |
| "step": 1023 | |
| }, | |
| { | |
| "epoch": 1.3639999999999999, | |
| "grad_norm": 0.3147677577616275, | |
| "learning_rate": 9.324500882934895e-06, | |
| "loss": 2.1556, | |
| "step": 1024 | |
| }, | |
| { | |
| "epoch": 1.3653333333333333, | |
| "grad_norm": 0.303360172980611, | |
| "learning_rate": 9.300243741080554e-06, | |
| "loss": 1.9504, | |
| "step": 1025 | |
| }, | |
| { | |
| "epoch": 1.3666666666666667, | |
| "grad_norm": 0.2821972169086538, | |
| "learning_rate": 9.276019040204743e-06, | |
| "loss": 2.1092, | |
| "step": 1026 | |
| }, | |
| { | |
| "epoch": 1.3679999999999999, | |
| "grad_norm": 0.2740770794379087, | |
| "learning_rate": 9.251826889460199e-06, | |
| "loss": 2.147, | |
| "step": 1027 | |
| }, | |
| { | |
| "epoch": 1.3693333333333333, | |
| "grad_norm": 0.3078021841106774, | |
| "learning_rate": 9.227667397852959e-06, | |
| "loss": 2.0266, | |
| "step": 1028 | |
| }, | |
| { | |
| "epoch": 1.3706666666666667, | |
| "grad_norm": 0.37222702209345876, | |
| "learning_rate": 9.203540674241935e-06, | |
| "loss": 1.9022, | |
| "step": 1029 | |
| }, | |
| { | |
| "epoch": 1.3719999999999999, | |
| "grad_norm": 0.30785568428977045, | |
| "learning_rate": 9.179446827338377e-06, | |
| "loss": 1.7123, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 1.3733333333333333, | |
| "grad_norm": 0.28177977841447255, | |
| "learning_rate": 9.155385965705402e-06, | |
| "loss": 2.015, | |
| "step": 1031 | |
| }, | |
| { | |
| "epoch": 1.3746666666666667, | |
| "grad_norm": 0.3104616836307782, | |
| "learning_rate": 9.131358197757492e-06, | |
| "loss": 2.2844, | |
| "step": 1032 | |
| }, | |
| { | |
| "epoch": 1.376, | |
| "grad_norm": 0.35543698525795886, | |
| "learning_rate": 9.107363631760036e-06, | |
| "loss": 1.8751, | |
| "step": 1033 | |
| }, | |
| { | |
| "epoch": 1.3773333333333333, | |
| "grad_norm": 0.36928659794302815, | |
| "learning_rate": 9.083402375828789e-06, | |
| "loss": 1.6635, | |
| "step": 1034 | |
| }, | |
| { | |
| "epoch": 1.3786666666666667, | |
| "grad_norm": 0.37741926337380055, | |
| "learning_rate": 9.05947453792944e-06, | |
| "loss": 1.7479, | |
| "step": 1035 | |
| }, | |
| { | |
| "epoch": 1.38, | |
| "grad_norm": 0.2589917233047938, | |
| "learning_rate": 9.035580225877096e-06, | |
| "loss": 2.0759, | |
| "step": 1036 | |
| }, | |
| { | |
| "epoch": 1.3813333333333333, | |
| "grad_norm": 0.2821854410032329, | |
| "learning_rate": 9.011719547335791e-06, | |
| "loss": 1.9565, | |
| "step": 1037 | |
| }, | |
| { | |
| "epoch": 1.3826666666666667, | |
| "grad_norm": 0.3962122947364143, | |
| "learning_rate": 8.987892609818034e-06, | |
| "loss": 1.8953, | |
| "step": 1038 | |
| }, | |
| { | |
| "epoch": 1.384, | |
| "grad_norm": 0.29350631665799953, | |
| "learning_rate": 8.964099520684272e-06, | |
| "loss": 2.184, | |
| "step": 1039 | |
| }, | |
| { | |
| "epoch": 1.3853333333333333, | |
| "grad_norm": 0.23836863300335664, | |
| "learning_rate": 8.940340387142464e-06, | |
| "loss": 1.8668, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 1.3866666666666667, | |
| "grad_norm": 0.2878738253620249, | |
| "learning_rate": 8.916615316247558e-06, | |
| "loss": 1.8121, | |
| "step": 1041 | |
| }, | |
| { | |
| "epoch": 1.388, | |
| "grad_norm": 0.3429656691098154, | |
| "learning_rate": 8.892924414901013e-06, | |
| "loss": 1.9059, | |
| "step": 1042 | |
| }, | |
| { | |
| "epoch": 1.3893333333333333, | |
| "grad_norm": 0.2981209762998983, | |
| "learning_rate": 8.869267789850354e-06, | |
| "loss": 1.9906, | |
| "step": 1043 | |
| }, | |
| { | |
| "epoch": 1.3906666666666667, | |
| "grad_norm": 0.4289147133224821, | |
| "learning_rate": 8.845645547688624e-06, | |
| "loss": 1.7197, | |
| "step": 1044 | |
| }, | |
| { | |
| "epoch": 1.392, | |
| "grad_norm": 0.2762960970206441, | |
| "learning_rate": 8.822057794853967e-06, | |
| "loss": 1.9793, | |
| "step": 1045 | |
| }, | |
| { | |
| "epoch": 1.3933333333333333, | |
| "grad_norm": 0.30228922028611566, | |
| "learning_rate": 8.798504637629125e-06, | |
| "loss": 2.068, | |
| "step": 1046 | |
| }, | |
| { | |
| "epoch": 1.3946666666666667, | |
| "grad_norm": 0.22982706385427917, | |
| "learning_rate": 8.77498618214094e-06, | |
| "loss": 2.2411, | |
| "step": 1047 | |
| }, | |
| { | |
| "epoch": 1.396, | |
| "grad_norm": 0.34540963566066135, | |
| "learning_rate": 8.751502534359904e-06, | |
| "loss": 1.9486, | |
| "step": 1048 | |
| }, | |
| { | |
| "epoch": 1.3973333333333333, | |
| "grad_norm": 0.2949342757497957, | |
| "learning_rate": 8.728053800099687e-06, | |
| "loss": 1.961, | |
| "step": 1049 | |
| }, | |
| { | |
| "epoch": 1.3986666666666667, | |
| "grad_norm": 0.29167541494308985, | |
| "learning_rate": 8.704640085016601e-06, | |
| "loss": 2.0799, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 1.3986666666666667, | |
| "eval_loss": 1.7225106954574585, | |
| "eval_runtime": 98.5095, | |
| "eval_samples_per_second": 1.015, | |
| "eval_steps_per_second": 0.254, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 0.2538920596106222, | |
| "learning_rate": 8.681261494609212e-06, | |
| "loss": 2.0864, | |
| "step": 1051 | |
| }, | |
| { | |
| "epoch": 1.4013333333333333, | |
| "grad_norm": 0.3604417088892008, | |
| "learning_rate": 8.6579181342178e-06, | |
| "loss": 1.9843, | |
| "step": 1052 | |
| }, | |
| { | |
| "epoch": 1.4026666666666667, | |
| "grad_norm": 0.36215496910875805, | |
| "learning_rate": 8.634610109023892e-06, | |
| "loss": 1.903, | |
| "step": 1053 | |
| }, | |
| { | |
| "epoch": 1.404, | |
| "grad_norm": 0.2940826006596936, | |
| "learning_rate": 8.611337524049838e-06, | |
| "loss": 1.9685, | |
| "step": 1054 | |
| }, | |
| { | |
| "epoch": 1.4053333333333333, | |
| "grad_norm": 0.28109721909340885, | |
| "learning_rate": 8.588100484158244e-06, | |
| "loss": 2.1936, | |
| "step": 1055 | |
| }, | |
| { | |
| "epoch": 1.4066666666666667, | |
| "grad_norm": 0.2931046485608371, | |
| "learning_rate": 8.564899094051615e-06, | |
| "loss": 1.9512, | |
| "step": 1056 | |
| }, | |
| { | |
| "epoch": 1.408, | |
| "grad_norm": 0.30319191370368687, | |
| "learning_rate": 8.54173345827178e-06, | |
| "loss": 2.0051, | |
| "step": 1057 | |
| }, | |
| { | |
| "epoch": 1.4093333333333333, | |
| "grad_norm": 0.32318508775865556, | |
| "learning_rate": 8.51860368119948e-06, | |
| "loss": 2.014, | |
| "step": 1058 | |
| }, | |
| { | |
| "epoch": 1.4106666666666667, | |
| "grad_norm": 0.2562896640551883, | |
| "learning_rate": 8.495509867053894e-06, | |
| "loss": 1.8368, | |
| "step": 1059 | |
| }, | |
| { | |
| "epoch": 1.412, | |
| "grad_norm": 0.25207827965849544, | |
| "learning_rate": 8.472452119892131e-06, | |
| "loss": 2.1172, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 1.4133333333333333, | |
| "grad_norm": 0.28992178254462136, | |
| "learning_rate": 8.449430543608813e-06, | |
| "loss": 1.9678, | |
| "step": 1061 | |
| }, | |
| { | |
| "epoch": 1.4146666666666667, | |
| "grad_norm": 0.4380115889335412, | |
| "learning_rate": 8.426445241935567e-06, | |
| "loss": 1.7544, | |
| "step": 1062 | |
| }, | |
| { | |
| "epoch": 1.416, | |
| "grad_norm": 0.41106900474426666, | |
| "learning_rate": 8.403496318440579e-06, | |
| "loss": 1.8735, | |
| "step": 1063 | |
| }, | |
| { | |
| "epoch": 1.4173333333333333, | |
| "grad_norm": 0.4267500621888804, | |
| "learning_rate": 8.38058387652811e-06, | |
| "loss": 1.7465, | |
| "step": 1064 | |
| }, | |
| { | |
| "epoch": 1.4186666666666667, | |
| "grad_norm": 0.38572675777345117, | |
| "learning_rate": 8.357708019438066e-06, | |
| "loss": 2.0006, | |
| "step": 1065 | |
| }, | |
| { | |
| "epoch": 1.42, | |
| "grad_norm": 0.24569510153472549, | |
| "learning_rate": 8.33486885024547e-06, | |
| "loss": 1.9158, | |
| "step": 1066 | |
| }, | |
| { | |
| "epoch": 1.4213333333333333, | |
| "grad_norm": 0.31163226543192446, | |
| "learning_rate": 8.312066471860071e-06, | |
| "loss": 2.0806, | |
| "step": 1067 | |
| }, | |
| { | |
| "epoch": 1.4226666666666667, | |
| "grad_norm": 0.31222665393358956, | |
| "learning_rate": 8.289300987025822e-06, | |
| "loss": 1.6629, | |
| "step": 1068 | |
| }, | |
| { | |
| "epoch": 1.424, | |
| "grad_norm": 0.29017746937010225, | |
| "learning_rate": 8.266572498320442e-06, | |
| "loss": 2.0028, | |
| "step": 1069 | |
| }, | |
| { | |
| "epoch": 1.4253333333333333, | |
| "grad_norm": 0.31991884152941924, | |
| "learning_rate": 8.243881108154971e-06, | |
| "loss": 1.793, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 1.4266666666666667, | |
| "grad_norm": 0.2914832805009305, | |
| "learning_rate": 8.221226918773254e-06, | |
| "loss": 2.371, | |
| "step": 1071 | |
| }, | |
| { | |
| "epoch": 1.428, | |
| "grad_norm": 0.41845535588311844, | |
| "learning_rate": 8.198610032251547e-06, | |
| "loss": 1.6627, | |
| "step": 1072 | |
| }, | |
| { | |
| "epoch": 1.4293333333333333, | |
| "grad_norm": 0.24466845772563686, | |
| "learning_rate": 8.17603055049801e-06, | |
| "loss": 2.1392, | |
| "step": 1073 | |
| }, | |
| { | |
| "epoch": 1.4306666666666668, | |
| "grad_norm": 0.2351306348473946, | |
| "learning_rate": 8.153488575252256e-06, | |
| "loss": 2.0445, | |
| "step": 1074 | |
| }, | |
| { | |
| "epoch": 1.432, | |
| "grad_norm": 0.30766467211770576, | |
| "learning_rate": 8.130984208084926e-06, | |
| "loss": 2.0487, | |
| "step": 1075 | |
| }, | |
| { | |
| "epoch": 1.4333333333333333, | |
| "grad_norm": 0.2834529482744189, | |
| "learning_rate": 8.108517550397178e-06, | |
| "loss": 2.1675, | |
| "step": 1076 | |
| }, | |
| { | |
| "epoch": 1.4346666666666668, | |
| "grad_norm": 0.33712245469368524, | |
| "learning_rate": 8.086088703420265e-06, | |
| "loss": 1.812, | |
| "step": 1077 | |
| }, | |
| { | |
| "epoch": 1.436, | |
| "grad_norm": 0.3567695919385937, | |
| "learning_rate": 8.063697768215075e-06, | |
| "loss": 2.2049, | |
| "step": 1078 | |
| }, | |
| { | |
| "epoch": 1.4373333333333334, | |
| "grad_norm": 0.35317331947277286, | |
| "learning_rate": 8.041344845671671e-06, | |
| "loss": 2.0734, | |
| "step": 1079 | |
| }, | |
| { | |
| "epoch": 1.4386666666666668, | |
| "grad_norm": 0.2556791245018692, | |
| "learning_rate": 8.019030036508829e-06, | |
| "loss": 2.0325, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 0.2652220272830154, | |
| "learning_rate": 7.99675344127361e-06, | |
| "loss": 2.0987, | |
| "step": 1081 | |
| }, | |
| { | |
| "epoch": 1.4413333333333334, | |
| "grad_norm": 0.2897541478701596, | |
| "learning_rate": 7.974515160340857e-06, | |
| "loss": 2.0477, | |
| "step": 1082 | |
| }, | |
| { | |
| "epoch": 1.4426666666666668, | |
| "grad_norm": 0.2713354231164444, | |
| "learning_rate": 7.952315293912814e-06, | |
| "loss": 1.8909, | |
| "step": 1083 | |
| }, | |
| { | |
| "epoch": 1.444, | |
| "grad_norm": 0.27794343473271915, | |
| "learning_rate": 7.930153942018608e-06, | |
| "loss": 2.0123, | |
| "step": 1084 | |
| }, | |
| { | |
| "epoch": 1.4453333333333334, | |
| "grad_norm": 0.25586976825414004, | |
| "learning_rate": 7.908031204513828e-06, | |
| "loss": 2.093, | |
| "step": 1085 | |
| }, | |
| { | |
| "epoch": 1.4466666666666668, | |
| "grad_norm": 0.26054010693090757, | |
| "learning_rate": 7.885947181080093e-06, | |
| "loss": 2.0798, | |
| "step": 1086 | |
| }, | |
| { | |
| "epoch": 1.448, | |
| "grad_norm": 0.27627178506584565, | |
| "learning_rate": 7.863901971224549e-06, | |
| "loss": 2.0497, | |
| "step": 1087 | |
| }, | |
| { | |
| "epoch": 1.4493333333333334, | |
| "grad_norm": 0.4793416035194133, | |
| "learning_rate": 7.841895674279487e-06, | |
| "loss": 1.9451, | |
| "step": 1088 | |
| }, | |
| { | |
| "epoch": 1.4506666666666668, | |
| "grad_norm": 0.32101733468417615, | |
| "learning_rate": 7.819928389401843e-06, | |
| "loss": 1.9822, | |
| "step": 1089 | |
| }, | |
| { | |
| "epoch": 1.452, | |
| "grad_norm": 0.258481297693479, | |
| "learning_rate": 7.79800021557277e-06, | |
| "loss": 2.0653, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 1.4533333333333334, | |
| "grad_norm": 0.2182303867271908, | |
| "learning_rate": 7.776111251597212e-06, | |
| "loss": 2.1925, | |
| "step": 1091 | |
| }, | |
| { | |
| "epoch": 1.4546666666666668, | |
| "grad_norm": 0.29448801609812375, | |
| "learning_rate": 7.754261596103416e-06, | |
| "loss": 2.0005, | |
| "step": 1092 | |
| }, | |
| { | |
| "epoch": 1.456, | |
| "grad_norm": 0.3055651720495297, | |
| "learning_rate": 7.732451347542521e-06, | |
| "loss": 1.9711, | |
| "step": 1093 | |
| }, | |
| { | |
| "epoch": 1.4573333333333334, | |
| "grad_norm": 0.3161431648774649, | |
| "learning_rate": 7.710680604188111e-06, | |
| "loss": 2.0265, | |
| "step": 1094 | |
| }, | |
| { | |
| "epoch": 1.4586666666666668, | |
| "grad_norm": 0.23619983336210987, | |
| "learning_rate": 7.688949464135751e-06, | |
| "loss": 2.0187, | |
| "step": 1095 | |
| }, | |
| { | |
| "epoch": 1.46, | |
| "grad_norm": 0.33855954964966417, | |
| "learning_rate": 7.667258025302569e-06, | |
| "loss": 1.8056, | |
| "step": 1096 | |
| }, | |
| { | |
| "epoch": 1.4613333333333334, | |
| "grad_norm": 0.31777962087256434, | |
| "learning_rate": 7.645606385426815e-06, | |
| "loss": 2.2153, | |
| "step": 1097 | |
| }, | |
| { | |
| "epoch": 1.4626666666666668, | |
| "grad_norm": 0.31201584629582, | |
| "learning_rate": 7.623994642067387e-06, | |
| "loss": 1.9949, | |
| "step": 1098 | |
| }, | |
| { | |
| "epoch": 1.464, | |
| "grad_norm": 0.3372471418090139, | |
| "learning_rate": 7.602422892603438e-06, | |
| "loss": 1.5181, | |
| "step": 1099 | |
| }, | |
| { | |
| "epoch": 1.4653333333333334, | |
| "grad_norm": 0.31073176772622507, | |
| "learning_rate": 7.580891234233905e-06, | |
| "loss": 1.8531, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 0.3116957138217745, | |
| "learning_rate": 7.559399763977072e-06, | |
| "loss": 2.2906, | |
| "step": 1101 | |
| }, | |
| { | |
| "epoch": 1.468, | |
| "grad_norm": 0.229465646917021, | |
| "learning_rate": 7.537948578670168e-06, | |
| "loss": 2.2351, | |
| "step": 1102 | |
| }, | |
| { | |
| "epoch": 1.4693333333333334, | |
| "grad_norm": 0.2655142959635673, | |
| "learning_rate": 7.516537774968873e-06, | |
| "loss": 1.9468, | |
| "step": 1103 | |
| }, | |
| { | |
| "epoch": 1.4706666666666668, | |
| "grad_norm": 0.24367202750127498, | |
| "learning_rate": 7.495167449346936e-06, | |
| "loss": 2.1133, | |
| "step": 1104 | |
| }, | |
| { | |
| "epoch": 1.472, | |
| "grad_norm": 0.25378800244252764, | |
| "learning_rate": 7.473837698095709e-06, | |
| "loss": 2.2698, | |
| "step": 1105 | |
| }, | |
| { | |
| "epoch": 1.4733333333333334, | |
| "grad_norm": 0.33368864079460925, | |
| "learning_rate": 7.452548617323718e-06, | |
| "loss": 1.956, | |
| "step": 1106 | |
| }, | |
| { | |
| "epoch": 1.4746666666666668, | |
| "grad_norm": 0.2928694785790874, | |
| "learning_rate": 7.43130030295625e-06, | |
| "loss": 1.7543, | |
| "step": 1107 | |
| }, | |
| { | |
| "epoch": 1.476, | |
| "grad_norm": 0.2647758594509944, | |
| "learning_rate": 7.4100928507348906e-06, | |
| "loss": 2.0156, | |
| "step": 1108 | |
| }, | |
| { | |
| "epoch": 1.4773333333333334, | |
| "grad_norm": 0.26837596843485895, | |
| "learning_rate": 7.388926356217109e-06, | |
| "loss": 2.2296, | |
| "step": 1109 | |
| }, | |
| { | |
| "epoch": 1.4786666666666668, | |
| "grad_norm": 0.3089495968101109, | |
| "learning_rate": 7.367800914775829e-06, | |
| "loss": 1.8543, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 1.48, | |
| "grad_norm": 0.34419976261823754, | |
| "learning_rate": 7.346716621598995e-06, | |
| "loss": 1.7276, | |
| "step": 1111 | |
| }, | |
| { | |
| "epoch": 1.4813333333333334, | |
| "grad_norm": 0.2719524903008768, | |
| "learning_rate": 7.325673571689135e-06, | |
| "loss": 1.8498, | |
| "step": 1112 | |
| }, | |
| { | |
| "epoch": 1.4826666666666668, | |
| "grad_norm": 0.32712229005728805, | |
| "learning_rate": 7.304671859862967e-06, | |
| "loss": 2.1891, | |
| "step": 1113 | |
| }, | |
| { | |
| "epoch": 1.484, | |
| "grad_norm": 0.229582678490368, | |
| "learning_rate": 7.283711580750906e-06, | |
| "loss": 2.0712, | |
| "step": 1114 | |
| }, | |
| { | |
| "epoch": 1.4853333333333334, | |
| "grad_norm": 0.30979881943842, | |
| "learning_rate": 7.262792828796713e-06, | |
| "loss": 1.933, | |
| "step": 1115 | |
| }, | |
| { | |
| "epoch": 1.4866666666666668, | |
| "grad_norm": 0.28334481455988325, | |
| "learning_rate": 7.241915698257026e-06, | |
| "loss": 2.0879, | |
| "step": 1116 | |
| }, | |
| { | |
| "epoch": 1.488, | |
| "grad_norm": 0.3192973814148057, | |
| "learning_rate": 7.221080283200925e-06, | |
| "loss": 2.0687, | |
| "step": 1117 | |
| }, | |
| { | |
| "epoch": 1.4893333333333334, | |
| "grad_norm": 0.2599356671150379, | |
| "learning_rate": 7.20028667750955e-06, | |
| "loss": 2.1094, | |
| "step": 1118 | |
| }, | |
| { | |
| "epoch": 1.4906666666666666, | |
| "grad_norm": 0.39128462717815576, | |
| "learning_rate": 7.179534974875638e-06, | |
| "loss": 1.9396, | |
| "step": 1119 | |
| }, | |
| { | |
| "epoch": 1.492, | |
| "grad_norm": 0.301840886430008, | |
| "learning_rate": 7.158825268803128e-06, | |
| "loss": 1.6469, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 1.4933333333333334, | |
| "grad_norm": 0.275916013821844, | |
| "learning_rate": 7.138157652606723e-06, | |
| "loss": 2.0605, | |
| "step": 1121 | |
| }, | |
| { | |
| "epoch": 1.4946666666666666, | |
| "grad_norm": 0.36483675044330716, | |
| "learning_rate": 7.1175322194114735e-06, | |
| "loss": 2.1861, | |
| "step": 1122 | |
| }, | |
| { | |
| "epoch": 1.496, | |
| "grad_norm": 0.3981617360945615, | |
| "learning_rate": 7.096949062152373e-06, | |
| "loss": 1.8739, | |
| "step": 1123 | |
| }, | |
| { | |
| "epoch": 1.4973333333333334, | |
| "grad_norm": 0.3240169083675091, | |
| "learning_rate": 7.076408273573911e-06, | |
| "loss": 2.2206, | |
| "step": 1124 | |
| }, | |
| { | |
| "epoch": 1.4986666666666666, | |
| "grad_norm": 0.33156483025148875, | |
| "learning_rate": 7.055909946229678e-06, | |
| "loss": 1.8398, | |
| "step": 1125 | |
| }, | |
| { | |
| "epoch": 1.4986666666666666, | |
| "eval_loss": 1.7219904661178589, | |
| "eval_runtime": 98.717, | |
| "eval_samples_per_second": 1.013, | |
| "eval_steps_per_second": 0.253, | |
| "step": 1125 | |
| } | |
| ], | |
| "logging_steps": 1, | |
| "max_steps": 1500, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 2, | |
| "save_steps": 375, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 261825232896000.0, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |