diff --git "a/checkpoint-750/trainer_state.json" "b/checkpoint-750/trainer_state.json"
new file mode 100644--- /dev/null
+++ "b/checkpoint-750/trainer_state.json"
@@ -0,0 +1,5371 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 1.0,
+  "eval_steps": 75,
+  "global_step": 750,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.0013333333333333333,
+      "grad_norm": 5.494853571957073,
+      "learning_rate": 1.5e-06,
+      "loss": 2.2794,
+      "step": 1
+    },
+    {
+      "epoch": 0.0013333333333333333,
+      "eval_loss": 1.8317261934280396,
+      "eval_runtime": 98.252,
+      "eval_samples_per_second": 1.018,
+      "eval_steps_per_second": 0.254,
+      "step": 1
+    },
+    {
+      "epoch": 0.0026666666666666666,
+      "grad_norm": 0.4396391591358924,
+      "learning_rate": 3e-06,
+      "loss": 2.2089,
+      "step": 2
+    },
+    {
+      "epoch": 0.004,
+      "grad_norm": 0.6704432458412378,
+      "learning_rate": 4.5e-06,
+      "loss": 2.3789,
+      "step": 3
+    },
+    {
+      "epoch": 0.005333333333333333,
+      "grad_norm": 0.5524719828039701,
+      "learning_rate": 6e-06,
+      "loss": 1.9508,
+      "step": 4
+    },
+    {
+      "epoch": 0.006666666666666667,
+      "grad_norm": 1.551345196476793,
+      "learning_rate": 7.5e-06,
+      "loss": 2.3302,
+      "step": 5
+    },
+    {
+      "epoch": 0.008,
+      "grad_norm": 1.4425623787692365,
+      "learning_rate": 9e-06,
+      "loss": 2.4649,
+      "step": 6
+    },
+    {
+      "epoch": 0.009333333333333334,
+      "grad_norm": 1.9558403413673842,
+      "learning_rate": 1.05e-05,
+      "loss": 2.5318,
+      "step": 7
+    },
+    {
+      "epoch": 0.010666666666666666,
+      "grad_norm": 0.6930931382639645,
+      "learning_rate": 1.2e-05,
+      "loss": 1.9398,
+      "step": 8
+    },
+    {
+      "epoch": 0.012,
+      "grad_norm": 0.40522998481846323,
+      "learning_rate": 1.3500000000000001e-05,
+      "loss": 2.4355,
+      "step": 9
+    },
+    {
+      "epoch": 0.013333333333333334,
+      "grad_norm": 2.194079323679347,
+      "learning_rate": 1.5e-05,
+      "loss": 2.3417,
+      "step": 10
+    },
+    {
+      "epoch": 0.014666666666666666,
+      "grad_norm": 2.5436460717739156,
+      "learning_rate": 1.65e-05,
+      "loss": 2.4571,
+      "step": 11
+    },
+    {
+      "epoch": 0.016,
+      "grad_norm": 1.9496092240793341,
+      "learning_rate": 1.8e-05,
+      "loss": 1.9637,
+      "step": 12
+    },
+    {
+      "epoch": 0.017333333333333333,
+      "grad_norm": 1.2616722727237577,
+      "learning_rate": 1.95e-05,
+      "loss": 2.5866,
+      "step": 13
+    },
+    {
+      "epoch": 0.018666666666666668,
+      "grad_norm": 0.3060862022495338,
+      "learning_rate": 2.1e-05,
+      "loss": 2.1547,
+      "step": 14
+    },
+    {
+      "epoch": 0.02,
+      "grad_norm": 0.5028816367161089,
+      "learning_rate": 2.25e-05,
+      "loss": 1.8957,
+      "step": 15
+    },
+    {
+      "epoch": 0.021333333333333333,
+      "grad_norm": 0.5034069784636721,
+      "learning_rate": 2.4e-05,
+      "loss": 2.1151,
+      "step": 16
+    },
+    {
+      "epoch": 0.02266666666666667,
+      "grad_norm": 1.5564960276262187,
+      "learning_rate": 2.55e-05,
+      "loss": 2.3041,
+      "step": 17
+    },
+    {
+      "epoch": 0.024,
+      "grad_norm": 0.4958603020666427,
+      "learning_rate": 2.7000000000000002e-05,
+      "loss": 2.0962,
+      "step": 18
+    },
+    {
+      "epoch": 0.025333333333333333,
+      "grad_norm": 1.5362995691059922,
+      "learning_rate": 2.8499999999999998e-05,
+      "loss": 2.3989,
+      "step": 19
+    },
+    {
+      "epoch": 0.02666666666666667,
+      "grad_norm": 0.648652241685575,
+      "learning_rate": 3e-05,
+      "loss": 2.5339,
+      "step": 20
+    },
+    {
+      "epoch": 0.028,
+      "grad_norm": 0.554470724602306,
+      "learning_rate": 2.999996958555301e-05,
+      "loss": 2.4793,
+      "step": 21
+    },
+    {
+      "epoch": 0.029333333333333333,
+      "grad_norm": 1.3508987707917082,
+      "learning_rate": 2.999987834234907e-05,
+      "loss": 2.3167,
+      "step": 22
+    },
+    {
+      "epoch": 0.030666666666666665,
+      "grad_norm": 0.4599504691462346,
+      "learning_rate": 2.9999726270799325e-05,
+      "loss": 2.36,
+      "step": 23
+    },
+    {
+      "epoch": 0.032,
+      "grad_norm": 1.0007538870075432,
+      "learning_rate": 2.999951337158897e-05,
+      "loss": 2.2342,
+      "step": 24
+    },
+    {
+      "epoch": 0.03333333333333333,
+      "grad_norm": 0.8436818785690442,
+      "learning_rate": 2.9999239645677304e-05,
+      "loss": 2.2803,
+      "step": 25
+    },
+    {
+      "epoch": 0.034666666666666665,
+      "grad_norm": 0.37337797248642607,
+      "learning_rate": 2.9998905094297686e-05,
+      "loss": 2.188,
+      "step": 26
+    },
+    {
+      "epoch": 0.036,
+      "grad_norm": 0.16596641795830927,
+      "learning_rate": 2.9998509718957563e-05,
+      "loss": 2.105,
+      "step": 27
+    },
+    {
+      "epoch": 0.037333333333333336,
+      "grad_norm": 0.3163756174860874,
+      "learning_rate": 2.9998053521438427e-05,
+      "loss": 2.1819,
+      "step": 28
+    },
+    {
+      "epoch": 0.03866666666666667,
+      "grad_norm": 0.73179742586677,
+      "learning_rate": 2.9997536503795834e-05,
+      "loss": 2.2281,
+      "step": 29
+    },
+    {
+      "epoch": 0.04,
+      "grad_norm": 0.18793418314598326,
+      "learning_rate": 2.9996958668359386e-05,
+      "loss": 2.1174,
+      "step": 30
+    },
+    {
+      "epoch": 0.04133333333333333,
+      "grad_norm": 0.6403343407451153,
+      "learning_rate": 2.999632001773272e-05,
+      "loss": 2.3419,
+      "step": 31
+    },
+    {
+      "epoch": 0.042666666666666665,
+      "grad_norm": 0.2773466547599625,
+      "learning_rate": 2.9995620554793495e-05,
+      "loss": 1.9779,
+      "step": 32
+    },
+    {
+      "epoch": 0.044,
+      "grad_norm": 0.42992322954286805,
+      "learning_rate": 2.999486028269338e-05,
+      "loss": 1.891,
+      "step": 33
+    },
+    {
+      "epoch": 0.04533333333333334,
+      "grad_norm": 0.3880877285520559,
+      "learning_rate": 2.9994039204858043e-05,
+      "loss": 1.9488,
+      "step": 34
+    },
+    {
+      "epoch": 0.04666666666666667,
+      "grad_norm": 0.38995745148913935,
+      "learning_rate": 2.999315732498714e-05,
+      "loss": 2.5013,
+      "step": 35
+    },
+    {
+      "epoch": 0.048,
+      "grad_norm": 0.4228621926559084,
+      "learning_rate": 2.999221464705427e-05,
+      "loss": 2.1356,
+      "step": 36
+    },
+    {
+      "epoch": 0.04933333333333333,
+      "grad_norm": 0.4663890399818879,
+      "learning_rate": 2.9991211175307006e-05,
+      "loss": 2.155,
+      "step": 37
+    },
+    {
+      "epoch": 0.050666666666666665,
+      "grad_norm": 0.5287155786829871,
+      "learning_rate": 2.9990146914266826e-05,
+      "loss": 1.8496,
+      "step": 38
+    },
+    {
+      "epoch": 0.052,
+      "grad_norm": 0.33925018851926647,
+      "learning_rate": 2.9989021868729135e-05,
+      "loss": 2.1315,
+      "step": 39
+    },
+    {
+      "epoch": 0.05333333333333334,
+      "grad_norm": 0.16522140027488588,
+      "learning_rate": 2.99878360437632e-05,
+      "loss": 2.0977,
+      "step": 40
+    },
+    {
+      "epoch": 0.05466666666666667,
+      "grad_norm": 0.6355838754971164,
+      "learning_rate": 2.998658944471217e-05,
+      "loss": 2.1459,
+      "step": 41
+    },
+    {
+      "epoch": 0.056,
+      "grad_norm": 0.26447590316147407,
+      "learning_rate": 2.9985282077193026e-05,
+      "loss": 2.0833,
+      "step": 42
+    },
+    {
+      "epoch": 0.05733333333333333,
+      "grad_norm": 0.29258668895913753,
+      "learning_rate": 2.9983913947096563e-05,
+      "loss": 2.2603,
+      "step": 43
+    },
+    {
+      "epoch": 0.058666666666666666,
+      "grad_norm": 0.2920264557478038,
+      "learning_rate": 2.9982485060587357e-05,
+      "loss": 1.9828,
+      "step": 44
+    },
+    {
+      "epoch": 0.06,
+      "grad_norm": 0.3860467745966656,
+      "learning_rate": 2.9980995424103748e-05,
+      "loss": 2.4214,
+      "step": 45
+    },
+    {
+      "epoch": 0.06133333333333333,
+      "grad_norm": 0.5757512413804123,
+      "learning_rate": 2.9979445044357814e-05,
+      "loss": 2.212,
+      "step": 46
+    },
+    {
+      "epoch": 0.06266666666666666,
+      "grad_norm": 0.21304621427134704,
+      "learning_rate": 2.9977833928335316e-05,
+      "loss": 1.9271,
+      "step": 47
+    },
+    {
+      "epoch": 0.064,
+      "grad_norm": 0.3301257012003079,
+      "learning_rate": 2.9976162083295694e-05,
+      "loss": 2.0472,
+      "step": 48
+    },
+    {
+      "epoch": 0.06533333333333333,
+      "grad_norm": 0.3008211448973632,
+      "learning_rate": 2.9974429516772018e-05,
+      "loss": 2.4323,
+      "step": 49
+    },
+    {
+      "epoch": 0.06666666666666667,
+      "grad_norm": 0.26704445986476444,
+      "learning_rate": 2.997263623657097e-05,
+      "loss": 2.003,
+      "step": 50
+    },
+    {
+      "epoch": 0.068,
+      "grad_norm": 0.24343367493238866,
+      "learning_rate": 2.9970782250772786e-05,
+      "loss": 1.9911,
+      "step": 51
+    },
+    {
+      "epoch": 0.06933333333333333,
+      "grad_norm": 0.36868774906810614,
+      "learning_rate": 2.9968867567731233e-05,
+      "loss": 2.3312,
+      "step": 52
+    },
+    {
+      "epoch": 0.07066666666666667,
+      "grad_norm": 0.4346673091737939,
+      "learning_rate": 2.9966892196073583e-05,
+      "loss": 2.0461,
+      "step": 53
+    },
+    {
+      "epoch": 0.072,
+      "grad_norm": 0.27732062938320917,
+      "learning_rate": 2.996485614470054e-05,
+      "loss": 1.8782,
+      "step": 54
+    },
+    {
+      "epoch": 0.07333333333333333,
+      "grad_norm": 0.5044098714622329,
+      "learning_rate": 2.9962759422786248e-05,
+      "loss": 2.3024,
+      "step": 55
+    },
+    {
+      "epoch": 0.07466666666666667,
+      "grad_norm": 0.35584299953539106,
+      "learning_rate": 2.9960602039778196e-05,
+      "loss": 1.9019,
+      "step": 56
+    },
+    {
+      "epoch": 0.076,
+      "grad_norm": 0.25515628575898364,
+      "learning_rate": 2.995838400539723e-05,
+      "loss": 2.1745,
+      "step": 57
+    },
+    {
+      "epoch": 0.07733333333333334,
+      "grad_norm": 0.22266755698926835,
+      "learning_rate": 2.9956105329637454e-05,
+      "loss": 2.3572,
+      "step": 58
+    },
+    {
+      "epoch": 0.07866666666666666,
+      "grad_norm": 0.23590376658875728,
+      "learning_rate": 2.9953766022766228e-05,
+      "loss": 2.2639,
+      "step": 59
+    },
+    {
+      "epoch": 0.08,
+      "grad_norm": 0.19958974114647998,
+      "learning_rate": 2.9951366095324108e-05,
+      "loss": 2.2983,
+      "step": 60
+    },
+    {
+      "epoch": 0.08133333333333333,
+      "grad_norm": 0.26170668739549613,
+      "learning_rate": 2.994890555812479e-05,
+      "loss": 1.7797,
+      "step": 61
+    },
+    {
+      "epoch": 0.08266666666666667,
+      "grad_norm": 0.1947500638232896,
+      "learning_rate": 2.9946384422255074e-05,
+      "loss": 2.232,
+      "step": 62
+    },
+    {
+      "epoch": 0.084,
+      "grad_norm": 0.18048707660964908,
+      "learning_rate": 2.9943802699074796e-05,
+      "loss": 2.3487,
+      "step": 63
+    },
+    {
+      "epoch": 0.08533333333333333,
+      "grad_norm": 0.21913225188044025,
+      "learning_rate": 2.994116040021681e-05,
+      "loss": 2.1964,
+      "step": 64
+    },
+    {
+      "epoch": 0.08666666666666667,
+      "grad_norm": 0.4242826633242974,
+      "learning_rate": 2.9938457537586896e-05,
+      "loss": 2.3137,
+      "step": 65
+    },
+    {
+      "epoch": 0.088,
+      "grad_norm": 0.2557454392806272,
+      "learning_rate": 2.9935694123363727e-05,
+      "loss": 2.1458,
+      "step": 66
+    },
+    {
+      "epoch": 0.08933333333333333,
+      "grad_norm": 0.3093808768168103,
+      "learning_rate": 2.9932870169998825e-05,
+      "loss": 2.1153,
+      "step": 67
+    },
+    {
+      "epoch": 0.09066666666666667,
+      "grad_norm": 0.33819459397450213,
+      "learning_rate": 2.9929985690216478e-05,
+      "loss": 2.0772,
+      "step": 68
+    },
+    {
+      "epoch": 0.092,
+      "grad_norm": 0.21377958208808176,
+      "learning_rate": 2.9927040697013705e-05,
+      "loss": 2.1949,
+      "step": 69
+    },
+    {
+      "epoch": 0.09333333333333334,
+      "grad_norm": 0.2652218777029591,
+      "learning_rate": 2.9924035203660188e-05,
+      "loss": 2.0031,
+      "step": 70
+    },
+    {
+      "epoch": 0.09466666666666666,
+      "grad_norm": 0.23574741210798578,
+      "learning_rate": 2.9920969223698202e-05,
+      "loss": 1.9449,
+      "step": 71
+    },
+    {
+      "epoch": 0.096,
+      "grad_norm": 0.2226926959097067,
+      "learning_rate": 2.991784277094258e-05,
+      "loss": 2.031,
+      "step": 72
+    },
+    {
+      "epoch": 0.09733333333333333,
+      "grad_norm": 0.24814250998530846,
+      "learning_rate": 2.9914655859480632e-05,
+      "loss": 2.0921,
+      "step": 73
+    },
+    {
+      "epoch": 0.09866666666666667,
+      "grad_norm": 0.33914254917033065,
+      "learning_rate": 2.991140850367208e-05,
+      "loss": 2.2183,
+      "step": 74
+    },
+    {
+      "epoch": 0.1,
+      "grad_norm": 0.25867270370266443,
+      "learning_rate": 2.990810071814901e-05,
+      "loss": 1.6416,
+      "step": 75
+    },
+    {
+      "epoch": 0.1,
+      "eval_loss": 1.782590389251709,
+      "eval_runtime": 98.6583,
+      "eval_samples_per_second": 1.014,
+      "eval_steps_per_second": 0.253,
+      "step": 75
+    },
+    {
+      "epoch": 0.10133333333333333,
+      "grad_norm": 0.22920181089355457,
+      "learning_rate": 2.990473251781578e-05,
+      "loss": 2.1863,
+      "step": 76
+    },
+    {
+      "epoch": 0.10266666666666667,
+      "grad_norm": 0.18274633553603156,
+      "learning_rate": 2.9901303917848977e-05,
+      "loss": 2.2399,
+      "step": 77
+    },
+    {
+      "epoch": 0.104,
+      "grad_norm": 0.18220877055008589,
+      "learning_rate": 2.9897814933697335e-05,
+      "loss": 1.9149,
+      "step": 78
+    },
+    {
+      "epoch": 0.10533333333333333,
+      "grad_norm": 0.2021601886002538,
+      "learning_rate": 2.9894265581081682e-05,
+      "loss": 2.199,
+      "step": 79
+    },
+    {
+      "epoch": 0.10666666666666667,
+      "grad_norm": 3.7616720925364286,
+      "learning_rate": 2.989065587599484e-05,
+      "loss": 2.1179,
+      "step": 80
+    },
+    {
+      "epoch": 0.108,
+      "grad_norm": 0.23407462358542114,
+      "learning_rate": 2.9886985834701577e-05,
+      "loss": 2.5661,
+      "step": 81
+    },
+    {
+      "epoch": 0.10933333333333334,
+      "grad_norm": 1.5338568979686038,
+      "learning_rate": 2.9883255473738523e-05,
+      "loss": 2.2263,
+      "step": 82
+    },
+    {
+      "epoch": 0.11066666666666666,
+      "grad_norm": 0.24500727274505268,
+      "learning_rate": 2.9879464809914113e-05,
+      "loss": 2.0621,
+      "step": 83
+    },
+    {
+      "epoch": 0.112,
+      "grad_norm": 0.21179059127462146,
+      "learning_rate": 2.987561386030848e-05,
+      "loss": 2.0356,
+      "step": 84
+    },
+    {
+      "epoch": 0.11333333333333333,
+      "grad_norm": 0.3306008087329227,
+      "learning_rate": 2.9871702642273404e-05,
+      "loss": 2.0848,
+      "step": 85
+    },
+    {
+      "epoch": 0.11466666666666667,
+      "grad_norm": 0.15657087812683942,
+      "learning_rate": 2.9867731173432215e-05,
+      "loss": 2.2127,
+      "step": 86
+    },
+    {
+      "epoch": 0.116,
+      "grad_norm": 0.1886500437129195,
+      "learning_rate": 2.9863699471679743e-05,
+      "loss": 1.9854,
+      "step": 87
+    },
+    {
+      "epoch": 0.11733333333333333,
+      "grad_norm": 0.22974349537556282,
+      "learning_rate": 2.9859607555182206e-05,
+      "loss": 2.1972,
+      "step": 88
+    },
+    {
+      "epoch": 0.11866666666666667,
+      "grad_norm": 0.2578002903522265,
+      "learning_rate": 2.9855455442377135e-05,
+      "loss": 2.1804,
+      "step": 89
+    },
+    {
+      "epoch": 0.12,
+      "grad_norm": 0.24109737247334548,
+      "learning_rate": 2.9851243151973314e-05,
+      "loss": 1.9523,
+      "step": 90
+    },
+    {
+      "epoch": 0.12133333333333333,
+      "grad_norm": 0.34121465203098633,
+      "learning_rate": 2.9846970702950653e-05,
+      "loss": 1.9493,
+      "step": 91
+    },
+    {
+      "epoch": 0.12266666666666666,
+      "grad_norm": 0.2069391899522312,
+      "learning_rate": 2.9842638114560144e-05,
+      "loss": 2.2207,
+      "step": 92
+    },
+    {
+      "epoch": 0.124,
+      "grad_norm": 0.41038744334249916,
+      "learning_rate": 2.9838245406323763e-05,
+      "loss": 2.0954,
+      "step": 93
+    },
+    {
+      "epoch": 0.12533333333333332,
+      "grad_norm": 0.2818876029106677,
+      "learning_rate": 2.9833792598034362e-05,
+      "loss": 2.063,
+      "step": 94
+    },
+    {
+      "epoch": 0.12666666666666668,
+      "grad_norm": 0.3963506275688602,
+      "learning_rate": 2.9829279709755597e-05,
+      "loss": 1.9915,
+      "step": 95
+    },
+    {
+      "epoch": 0.128,
+      "grad_norm": 0.3357399751778237,
+      "learning_rate": 2.9824706761821845e-05,
+      "loss": 2.0319,
+      "step": 96
+    },
+    {
+      "epoch": 0.12933333333333333,
+      "grad_norm": 0.2484694376564558,
+      "learning_rate": 2.9820073774838092e-05,
+      "loss": 1.9593,
+      "step": 97
+    },
+    {
+      "epoch": 0.13066666666666665,
+      "grad_norm": 0.28583010649806945,
+      "learning_rate": 2.9815380769679853e-05,
+      "loss": 2.0876,
+      "step": 98
+    },
+    {
+      "epoch": 0.132,
+      "grad_norm": 0.2839808516235786,
+      "learning_rate": 2.9810627767493083e-05,
+      "loss": 2.107,
+      "step": 99
+    },
+    {
+      "epoch": 0.13333333333333333,
+      "grad_norm": 0.22309498057469626,
+      "learning_rate": 2.9805814789694065e-05,
+      "loss": 2.3163,
+      "step": 100
+    },
+    {
+      "epoch": 0.13466666666666666,
+      "grad_norm": 0.21629704903995522,
+      "learning_rate": 2.9800941857969325e-05,
+      "loss": 1.9568,
+      "step": 101
+    },
+    {
+      "epoch": 0.136,
+      "grad_norm": 0.2498232144819958,
+      "learning_rate": 2.9796008994275533e-05,
+      "loss": 2.2436,
+      "step": 102
+    },
+    {
+      "epoch": 0.13733333333333334,
+      "grad_norm": 0.23251794806618262,
+      "learning_rate": 2.979101622083941e-05,
+      "loss": 2.1077,
+      "step": 103
+    },
+    {
+      "epoch": 0.13866666666666666,
+      "grad_norm": 0.27094215165929786,
+      "learning_rate": 2.978596356015761e-05,
+      "loss": 2.2429,
+      "step": 104
+    },
+    {
+      "epoch": 0.14,
+      "grad_norm": 0.23381976958310982,
+      "learning_rate": 2.978085103499663e-05,
+      "loss": 2.1045,
+      "step": 105
+    },
+    {
+      "epoch": 0.14133333333333334,
+      "grad_norm": 0.31137413672950875,
+      "learning_rate": 2.9775678668392713e-05,
+      "loss": 2.2828,
+      "step": 106
+    },
+    {
+      "epoch": 0.14266666666666666,
+      "grad_norm": 0.2510514954722372,
+      "learning_rate": 2.9770446483651735e-05,
+      "loss": 2.0488,
+      "step": 107
+    },
+    {
+      "epoch": 0.144,
+      "grad_norm": 0.20677625084575546,
+      "learning_rate": 2.976515450434911e-05,
+      "loss": 2.0007,
+      "step": 108
+    },
+    {
+      "epoch": 0.14533333333333334,
+      "grad_norm": 0.1441931078695141,
+      "learning_rate": 2.9759802754329665e-05,
+      "loss": 2.2914,
+      "step": 109
+    },
+    {
+      "epoch": 0.14666666666666667,
+      "grad_norm": 0.2505777324570115,
+      "learning_rate": 2.9754391257707555e-05,
+      "loss": 2.3766,
+      "step": 110
+    },
+    {
+      "epoch": 0.148,
+      "grad_norm": 0.15292718959769924,
+      "learning_rate": 2.9748920038866134e-05,
+      "loss": 2.0941,
+      "step": 111
+    },
+    {
+      "epoch": 0.14933333333333335,
+      "grad_norm": 0.323283263320876,
+      "learning_rate": 2.9743389122457864e-05,
+      "loss": 2.249,
+      "step": 112
+    },
+    {
+      "epoch": 0.15066666666666667,
+      "grad_norm": 0.18122528780601804,
+      "learning_rate": 2.9737798533404195e-05,
+      "loss": 2.225,
+      "step": 113
+    },
+    {
+      "epoch": 0.152,
+      "grad_norm": 0.1959413592260722,
+      "learning_rate": 2.9732148296895444e-05,
+      "loss": 2.2521,
+      "step": 114
+    },
+    {
+      "epoch": 0.15333333333333332,
+      "grad_norm": 0.3035240193818014,
+      "learning_rate": 2.9726438438390702e-05,
+      "loss": 1.8693,
+      "step": 115
+    },
+    {
+      "epoch": 0.15466666666666667,
+      "grad_norm": 0.18185372954938864,
+      "learning_rate": 2.9720668983617685e-05,
+      "loss": 1.7352,
+      "step": 116
+    },
+    {
+      "epoch": 0.156,
+      "grad_norm": 0.22324589503263917,
+      "learning_rate": 2.9714839958572674e-05,
+      "loss": 2.1327,
+      "step": 117
+    },
+    {
+      "epoch": 0.15733333333333333,
+      "grad_norm": 0.17640470731953065,
+      "learning_rate": 2.9708951389520338e-05,
+      "loss": 2.3011,
+      "step": 118
+    },
+    {
+      "epoch": 0.15866666666666668,
+      "grad_norm": 0.22566777150432568,
+      "learning_rate": 2.970300330299365e-05,
+      "loss": 2.2591,
+      "step": 119
+    },
+    {
+      "epoch": 0.16,
+      "grad_norm": 0.26753575405847074,
+      "learning_rate": 2.9696995725793764e-05,
+      "loss": 1.9764,
+      "step": 120
+    },
+    {
+      "epoch": 0.16133333333333333,
+      "grad_norm": 0.2625838791216609,
+      "learning_rate": 2.969092868498988e-05,
+      "loss": 2.0906,
+      "step": 121
+    },
+    {
+      "epoch": 0.16266666666666665,
+      "grad_norm": 0.23542440806071088,
+      "learning_rate": 2.9684802207919144e-05,
+      "loss": 2.331,
+      "step": 122
+    },
+    {
+      "epoch": 0.164,
+      "grad_norm": 0.16614596830245607,
+      "learning_rate": 2.9678616322186506e-05,
+      "loss": 2.0534,
+      "step": 123
+    },
+    {
+      "epoch": 0.16533333333333333,
+      "grad_norm": 0.2087450409416601,
+      "learning_rate": 2.9672371055664598e-05,
+      "loss": 2.3241,
+      "step": 124
+    },
+    {
+      "epoch": 0.16666666666666666,
+      "grad_norm": 0.19314135153093137,
+      "learning_rate": 2.9666066436493612e-05,
+      "loss": 2.0654,
+      "step": 125
+    },
+    {
+      "epoch": 0.168,
+      "grad_norm": 0.21431158762567906,
+      "learning_rate": 2.9659702493081184e-05,
+      "loss": 1.9973,
+      "step": 126
+    },
+    {
+      "epoch": 0.16933333333333334,
+      "grad_norm": 1.9808549742241428,
+      "learning_rate": 2.965327925410226e-05,
+      "loss": 2.0077,
+      "step": 127
+    },
+    {
+      "epoch": 0.17066666666666666,
+      "grad_norm": 0.26139018103307665,
+      "learning_rate": 2.9646796748498934e-05,
+      "loss": 2.0224,
+      "step": 128
+    },
+    {
+      "epoch": 0.172,
+      "grad_norm": 0.25005627301032396,
+      "learning_rate": 2.9640255005480376e-05,
+      "loss": 2.2725,
+      "step": 129
+    },
+    {
+      "epoch": 0.17333333333333334,
+      "grad_norm": 0.15880416331686953,
+      "learning_rate": 2.9633654054522655e-05,
+      "loss": 2.2907,
+      "step": 130
+    },
+    {
+      "epoch": 0.17466666666666666,
+      "grad_norm": 0.33529634494995547,
+      "learning_rate": 2.9626993925368635e-05,
+      "loss": 2.0113,
+      "step": 131
+    },
+    {
+      "epoch": 0.176,
+      "grad_norm": 0.28246655756719385,
+      "learning_rate": 2.9620274648027805e-05,
+      "loss": 1.6602,
+      "step": 132
+    },
+    {
+      "epoch": 0.17733333333333334,
+      "grad_norm": 0.19752740198982274,
+      "learning_rate": 2.96134962527762e-05,
+      "loss": 2.4049,
+      "step": 133
+    },
+    {
+      "epoch": 0.17866666666666667,
+      "grad_norm": 0.24132626803001633,
+      "learning_rate": 2.960665877015619e-05,
+      "loss": 1.9882,
+      "step": 134
+    },
+    {
+      "epoch": 0.18,
+      "grad_norm": 0.20387262050547844,
+      "learning_rate": 2.959976223097642e-05,
+      "loss": 2.1055,
+      "step": 135
+    },
+    {
+      "epoch": 0.18133333333333335,
+      "grad_norm": 0.1624504592181784,
+      "learning_rate": 2.9592806666311612e-05,
+      "loss": 2.0519,
+      "step": 136
+    },
+    {
+      "epoch": 0.18266666666666667,
+      "grad_norm": 0.17429829196685362,
+      "learning_rate": 2.958579210750246e-05,
+      "loss": 2.2465,
+      "step": 137
+    },
+    {
+      "epoch": 0.184,
+      "grad_norm": 0.20450521945125338,
+      "learning_rate": 2.9578718586155467e-05,
+      "loss": 2.0122,
+      "step": 138
+    },
+    {
+      "epoch": 0.18533333333333332,
+      "grad_norm": 0.25553899821370907,
+      "learning_rate": 2.9571586134142824e-05,
+      "loss": 1.9806,
+      "step": 139
+    },
+    {
+      "epoch": 0.18666666666666668,
+      "grad_norm": 0.18251828378522442,
+      "learning_rate": 2.956439478360224e-05,
+      "loss": 2.0153,
+      "step": 140
+    },
+    {
+      "epoch": 0.188,
+      "grad_norm": 0.27047669211119385,
+      "learning_rate": 2.9557144566936813e-05,
+      "loss": 2.3386,
+      "step": 141
+    },
+    {
+      "epoch": 0.18933333333333333,
+      "grad_norm": 0.25054213266869674,
+      "learning_rate": 2.9549835516814905e-05,
+      "loss": 1.8871,
+      "step": 142
+    },
+    {
+      "epoch": 0.19066666666666668,
+      "grad_norm": 0.2177646465341283,
+      "learning_rate": 2.9542467666169946e-05,
+      "loss": 1.9861,
+      "step": 143
+    },
+    {
+      "epoch": 0.192,
+      "grad_norm": 0.23131873734472552,
+      "learning_rate": 2.953504104820032e-05,
+      "loss": 2.2903,
+      "step": 144
+    },
+    {
+      "epoch": 0.19333333333333333,
+      "grad_norm": 0.19112449587530203,
+      "learning_rate": 2.9527555696369217e-05,
+      "loss": 2.079,
+      "step": 145
+    },
+    {
+      "epoch": 0.19466666666666665,
+      "grad_norm": 0.25269202301867255,
+      "learning_rate": 2.9520011644404457e-05,
+      "loss": 2.0033,
+      "step": 146
+    },
+    {
+      "epoch": 0.196,
+      "grad_norm": 0.27870777753889076,
+      "learning_rate": 2.9512408926298362e-05,
+      "loss": 2.0747,
+      "step": 147
+    },
+    {
+      "epoch": 0.19733333333333333,
+      "grad_norm": 0.2356849572111222,
+      "learning_rate": 2.9504747576307594e-05,
+      "loss": 1.9859,
+      "step": 148
+    },
+    {
+      "epoch": 0.19866666666666666,
+      "grad_norm": 0.24802404030831268,
+      "learning_rate": 2.9497027628953e-05,
+      "loss": 1.9636,
+      "step": 149
+    },
+    {
+      "epoch": 0.2,
+      "grad_norm": 0.2705817304080749,
+      "learning_rate": 2.9489249119019465e-05,
+      "loss": 2.3547,
+      "step": 150
+    },
+    {
+      "epoch": 0.2,
+      "eval_loss": 1.764258623123169,
+      "eval_runtime": 98.8204,
+      "eval_samples_per_second": 1.012,
+      "eval_steps_per_second": 0.253,
+      "step": 150
+    },
+    {
+      "epoch": 0.20133333333333334,
+      "grad_norm": 0.2582615198348039,
+      "learning_rate": 2.948141208155574e-05,
+      "loss": 2.0245,
+      "step": 151
+    },
+    {
+      "epoch": 0.20266666666666666,
+      "grad_norm": 0.4907789285423073,
+      "learning_rate": 2.9473516551874283e-05,
+      "loss": 2.0994,
+      "step": 152
+    },
+    {
+      "epoch": 0.204,
+      "grad_norm": 0.18922034328138926,
+      "learning_rate": 2.946556256555113e-05,
+      "loss": 2.323,
+      "step": 153
+    },
+    {
+      "epoch": 0.20533333333333334,
+      "grad_norm": 0.2033901054041812,
+      "learning_rate": 2.94575501584257e-05,
+      "loss": 2.0412,
+      "step": 154
+    },
+    {
+      "epoch": 0.20666666666666667,
+      "grad_norm": 0.44181703724009636,
+      "learning_rate": 2.9449479366600646e-05,
+      "loss": 2.0977,
+      "step": 155
+    },
+    {
+      "epoch": 0.208,
+      "grad_norm": 0.23299679001877052,
+      "learning_rate": 2.94413502264417e-05,
+      "loss": 2.1351,
+      "step": 156
+    },
+    {
+      "epoch": 0.20933333333333334,
+      "grad_norm": 0.1826511129435199,
+      "learning_rate": 2.94331627745775e-05,
+      "loss": 2.23,
+      "step": 157
+    },
+    {
+      "epoch": 0.21066666666666667,
+      "grad_norm": 0.21212768867139842,
+      "learning_rate": 2.9424917047899425e-05,
+      "loss": 2.1412,
+      "step": 158
+    },
+    {
+      "epoch": 0.212,
+      "grad_norm": 0.3826582810934168,
+      "learning_rate": 2.9416613083561428e-05,
+      "loss": 2.2128,
+      "step": 159
+    },
+    {
+      "epoch": 0.21333333333333335,
+      "grad_norm": 0.19962942232450726,
+      "learning_rate": 2.9408250918979886e-05,
+      "loss": 1.9778,
+      "step": 160
+    },
+    {
+      "epoch": 0.21466666666666667,
+      "grad_norm": 0.1694294631609089,
+      "learning_rate": 2.9399830591833407e-05,
+      "loss": 2.4602,
+      "step": 161
+    },
+    {
+      "epoch": 0.216,
+      "grad_norm": 0.2899013004381108,
+      "learning_rate": 2.9391352140062668e-05,
+      "loss": 1.9118,
+      "step": 162
+    },
+    {
+      "epoch": 0.21733333333333332,
+      "grad_norm": 0.23107679488781446,
+      "learning_rate": 2.9382815601870252e-05,
+      "loss": 2.0482,
+      "step": 163
+    },
+    {
+      "epoch": 0.21866666666666668,
+      "grad_norm": 0.21890406305674734,
+      "learning_rate": 2.9374221015720465e-05,
+      "loss": 2.041,
+      "step": 164
+    },
+    {
+      "epoch": 0.22,
+      "grad_norm": 0.23483748269482313,
+      "learning_rate": 2.9365568420339173e-05,
+      "loss": 2.2775,
+      "step": 165
+    },
+    {
+      "epoch": 0.22133333333333333,
+      "grad_norm": 0.2872971245253849,
+      "learning_rate": 2.9356857854713628e-05,
+      "loss": 1.9568,
+      "step": 166
+    },
+    {
+      "epoch": 0.22266666666666668,
+      "grad_norm": 0.2372348840011155,
+      "learning_rate": 2.9348089358092266e-05,
+      "loss": 2.262,
+      "step": 167
+    },
+    {
+      "epoch": 0.224,
+      "grad_norm": 0.36284791627622115,
+      "learning_rate": 2.9339262969984575e-05,
+      "loss": 2.083,
+      "step": 168
+    },
+    {
+      "epoch": 0.22533333333333333,
+      "grad_norm": 0.29336818899957795,
+      "learning_rate": 2.9330378730160882e-05,
+      "loss": 1.9668,
+      "step": 169
+    },
+    {
+      "epoch": 0.22666666666666666,
+      "grad_norm": 0.2201337837382957,
+      "learning_rate": 2.932143667865218e-05,
+      "loss": 2.2411,
+      "step": 170
+    },
+    {
+      "epoch": 0.228,
+      "grad_norm": 0.23312129174527574,
+      "learning_rate": 2.931243685574997e-05,
+      "loss": 1.7557,
+      "step": 171
+    },
+    {
+      "epoch": 0.22933333333333333,
+      "grad_norm": 0.2158943628320117,
+      "learning_rate": 2.930337930200603e-05,
+      "loss": 2.2391,
+      "step": 172
+    },
+    {
+      "epoch": 0.23066666666666666,
+      "grad_norm": 0.22961082626415702,
+      "learning_rate": 2.929426405823231e-05,
+      "loss": 1.983,
+      "step": 173
+    },
+    {
+      "epoch": 0.232,
+      "grad_norm": 0.1589890947108339,
+      "learning_rate": 2.9285091165500653e-05,
+      "loss": 2.2212,
+      "step": 174
+    },
+    {
+      "epoch": 0.23333333333333334,
+      "grad_norm": 0.3416891731513133,
+      "learning_rate": 2.9275860665142697e-05,
+      "loss": 2.151,
+      "step": 175
+    },
+    {
+      "epoch": 0.23466666666666666,
+      "grad_norm": 0.3116792178273567,
+      "learning_rate": 2.9266572598749632e-05,
+      "loss": 1.9779,
+      "step": 176
+    },
+    {
+      "epoch": 0.236,
+      "grad_norm": 0.2507975453340776,
+      "learning_rate": 2.925722700817204e-05,
+      "loss": 1.8828,
+      "step": 177
+    },
+    {
+      "epoch": 0.23733333333333334,
+      "grad_norm": 0.2679656189407352,
+      "learning_rate": 2.9247823935519685e-05,
+      "loss": 2.0387,
+      "step": 178
+    },
+    {
+      "epoch": 0.23866666666666667,
+      "grad_norm": 0.23989994031916193,
+      "learning_rate": 2.9238363423161357e-05,
+      "loss": 2.0543,
+      "step": 179
+    },
+    {
+      "epoch": 0.24,
+      "grad_norm": 0.1858192959656248,
+      "learning_rate": 2.9228845513724636e-05,
+      "loss": 2.1298,
+      "step": 180
+    },
+    {
+      "epoch": 0.24133333333333334,
+      "grad_norm": 0.2634790646951208,
+      "learning_rate": 2.921927025009575e-05,
+      "loss": 1.8913,
+      "step": 181
+    },
+    {
+      "epoch": 0.24266666666666667,
+      "grad_norm": 0.2022924360136422,
+      "learning_rate": 2.920963767541933e-05,
+      "loss": 2.125,
+      "step": 182
+    },
+    {
+      "epoch": 0.244,
+      "grad_norm": 0.2093674676298739,
+      "learning_rate": 2.919994783309827e-05,
+      "loss": 2.0787,
+      "step": 183
+    },
+    {
+      "epoch": 0.24533333333333332,
+      "grad_norm": 0.21965402179914853,
+      "learning_rate": 2.9190200766793476e-05,
+      "loss": 2.2001,
+      "step": 184
+    },
+    {
+      "epoch": 0.24666666666666667,
+      "grad_norm": 0.1853707607114335,
+      "learning_rate": 2.9180396520423712e-05,
+      "loss": 2.2625,
+      "step": 185
+    },
+    {
+      "epoch": 0.248,
+      "grad_norm": 0.16161978911997635,
+      "learning_rate": 2.9170535138165386e-05,
+      "loss": 2.1841,
+      "step": 186
+    },
+    {
+      "epoch": 0.24933333333333332,
+      "grad_norm": 0.3229805512119213,
+      "learning_rate": 2.9160616664452343e-05,
+      "loss": 2.3706,
+      "step": 187
+    },
+    {
+      "epoch": 0.25066666666666665,
+      "grad_norm": 0.2836753076906196,
+      "learning_rate": 2.915064114397568e-05,
+      "loss": 1.6237,
+      "step": 188
+    },
+    {
+      "epoch": 0.252,
+      "grad_norm": 0.2698172260057232,
+      "learning_rate": 2.9140608621683537e-05,
+      "loss": 1.6731,
+      "step": 189
+    },
+    {
+      "epoch": 0.25333333333333335,
+      "grad_norm": 0.19227100326585553,
+      "learning_rate": 2.913051914278089e-05,
+      "loss": 2.3641,
+      "step": 190
+    },
+    {
+      "epoch": 0.25466666666666665,
+      "grad_norm": 0.17075536856147475,
+      "learning_rate": 2.9120372752729364e-05,
+      "loss": 2.1405,
+      "step": 191
+    },
+    {
+      "epoch": 0.256,
+      "grad_norm": 0.18977706986071732,
+      "learning_rate": 2.9110169497247005e-05,
+      "loss": 2.2104,
+      "step": 192
+    },
+    {
+      "epoch": 0.25733333333333336,
+      "grad_norm": 0.19137759329665405,
+      "learning_rate": 2.909990942230809e-05,
+      "loss": 2.0225,
+      "step": 193
+    },
+    {
+      "epoch": 0.25866666666666666,
+      "grad_norm": 1.565607637042905,
+      "learning_rate": 2.9089592574142925e-05,
+      "loss": 1.8544,
+      "step": 194
+    },
+    {
+      "epoch": 0.26,
+      "grad_norm": 0.19540116729751783,
+      "learning_rate": 2.9079218999237602e-05,
+      "loss": 2.3062,
+      "step": 195
+    },
+    {
+      "epoch": 0.2613333333333333,
+      "grad_norm": 0.210417328406617,
+      "learning_rate": 2.9068788744333847e-05,
+      "loss": 2.1931,
+      "step": 196
+    },
+    {
+      "epoch": 0.26266666666666666,
+      "grad_norm": 0.17528914661443556,
+      "learning_rate": 2.905830185642875e-05,
+      "loss": 2.213,
+      "step": 197
+    },
+    {
+      "epoch": 0.264,
+      "grad_norm": 0.19180797982535258,
+      "learning_rate": 2.90477583827746e-05,
+      "loss": 2.0999,
+      "step": 198
+    },
+    {
+      "epoch": 0.2653333333333333,
+      "grad_norm": 0.20387611359379645,
+      "learning_rate": 2.903715837087864e-05,
+      "loss": 2.4077,
+      "step": 199
+    },
+    {
+      "epoch": 0.26666666666666666,
+      "grad_norm": 0.37614141580385196,
+      "learning_rate": 2.9026501868502878e-05,
+      "loss": 2.345,
+      "step": 200
+    },
+    {
+      "epoch": 0.268,
+      "grad_norm": 0.23854637338124732,
+      "learning_rate": 2.901578892366384e-05,
+      "loss": 1.9616,
+      "step": 201
+    },
+    {
+      "epoch": 0.2693333333333333,
+      "grad_norm": 0.360995797147823,
+      "learning_rate": 2.9005019584632385e-05,
+      "loss": 2.2637,
+      "step": 202
+    },
+    {
+      "epoch": 0.27066666666666667,
+      "grad_norm": 0.1964827412506095,
+      "learning_rate": 2.899419389993348e-05,
+      "loss": 2.2153,
+      "step": 203
+    },
+    {
+      "epoch": 0.272,
+      "grad_norm": 0.2697880949391648,
+      "learning_rate": 2.8983311918345973e-05,
+      "loss": 1.8934,
+      "step": 204
+    },
+    {
+      "epoch": 0.2733333333333333,
+      "grad_norm": 0.2583392197903811,
+      "learning_rate": 2.8972373688902372e-05,
+      "loss": 2.1552,
+      "step": 205
+    },
+    {
+      "epoch": 0.27466666666666667,
+      "grad_norm": 0.2368677594314249,
+      "learning_rate": 2.8961379260888634e-05,
+      "loss": 2.1976,
+      "step": 206
+    },
+    {
+      "epoch": 0.276,
+      "grad_norm": 0.28279002863897235,
+      "learning_rate": 2.895032868384393e-05,
+      "loss": 2.0461,
+      "step": 207
+    },
+    {
+      "epoch": 0.2773333333333333,
+      "grad_norm": 0.17431186704640889,
+      "learning_rate": 2.8939222007560446e-05,
+      "loss": 2.2258,
+      "step": 208
+    },
+    {
+      "epoch": 0.2786666666666667,
+      "grad_norm": 0.2607071149284682,
+      "learning_rate": 2.8928059282083126e-05,
+      "loss": 1.8783,
+      "step": 209
+    },
+    {
+      "epoch": 0.28,
+      "grad_norm": 0.16929508986851496,
+      "learning_rate": 2.8916840557709474e-05,
+      "loss": 2.21,
+      "step": 210
+    },
+    {
+      "epoch": 0.2813333333333333,
+      "grad_norm": 0.30196081586191537,
+      "learning_rate": 2.8905565884989304e-05,
+      "loss": 2.2047,
+      "step": 211
+    },
+    {
+      "epoch": 0.2826666666666667,
+      "grad_norm": 0.22938305453707358,
+      "learning_rate": 2.889423531472455e-05,
+      "loss": 2.1314,
+      "step": 212
+    },
+    {
+      "epoch": 0.284,
+      "grad_norm": 0.24253705098980116,
+      "learning_rate": 2.8882848897968974e-05,
+      "loss": 1.9166,
+      "step": 213
+    },
+    {
+      "epoch": 0.2853333333333333,
+      "grad_norm": 0.21184383213391744,
+      "learning_rate": 2.8871406686028006e-05,
+      "loss": 2.1445,
+      "step": 214
+    },
+    {
+      "epoch": 0.2866666666666667,
+      "grad_norm": 0.20065002671794552,
+      "learning_rate": 2.885990873045846e-05,
+      "loss": 2.2053,
+      "step": 215
+    },
+    {
+      "epoch": 0.288,
+      "grad_norm": 0.20595618063455937,
+      "learning_rate": 2.884835508306833e-05,
+      "loss": 2.0275,
+      "step": 216
+    },
+    {
+      "epoch": 0.28933333333333333,
+      "grad_norm": 0.22663216643758846,
+      "learning_rate": 2.883674579591656e-05,
+      "loss": 2.1399,
+      "step": 217
+    },
+    {
+      "epoch": 0.2906666666666667,
+      "grad_norm": 0.20459405622917667,
+      "learning_rate": 2.8825080921312775e-05,
+      "loss": 2.0352,
+      "step": 218
+    },
+    {
+      "epoch": 0.292,
+      "grad_norm": 0.24151264290319524,
+      "learning_rate": 2.8813360511817092e-05,
+      "loss": 2.0821,
+      "step": 219
+    },
+    {
+      "epoch": 0.29333333333333333,
+      "grad_norm": 0.2377001051292377,
+      "learning_rate": 2.8801584620239833e-05,
+      "loss": 2.0448,
+      "step": 220
+    },
+    {
+      "epoch": 0.2946666666666667,
+      "grad_norm": 0.3689003556922912,
+      "learning_rate": 2.878975329964134e-05,
+      "loss": 2.107,
+      "step": 221
+    },
+    {
+      "epoch": 0.296,
+      "grad_norm": 0.19280049013174935,
+      "learning_rate": 2.877786660333169e-05,
+      "loss": 2.2571,
+      "step": 222
+    },
+    {
+      "epoch": 0.29733333333333334,
+      "grad_norm": 0.25684356289858495,
+      "learning_rate": 2.876592458487049e-05,
+      "loss": 1.9243,
+      "step": 223
+    },
+    {
+      "epoch": 0.2986666666666667,
+      "grad_norm": 0.2460391604188184,
+      "learning_rate": 2.8753927298066608e-05,
+      "loss": 2.0996,
+      "step": 224
+    },
+    {
+      "epoch": 0.3,
+      "grad_norm": 0.2287761563539284,
+      "learning_rate": 2.8741874796977947e-05,
+      "loss": 1.9114,
+      "step": 225
+    },
+    {
+      "epoch": 0.3,
+      "eval_loss": 1.7546015977859497,
+      "eval_runtime": 98.7181,
+      "eval_samples_per_second": 1.013,
+      "eval_steps_per_second": 0.253,
+      "step": 225
+    },
+    {
+      "epoch": 0.30133333333333334,
+      "grad_norm": 0.31900423121867244,
+      "learning_rate": 2.8729767135911197e-05,
+      "loss": 1.5513,
+      "step": 226
+    },
+    {
+      "epoch": 0.30266666666666664,
+      "grad_norm": 0.21099907718331903,
+      "learning_rate": 2.8717604369421587e-05,
+      "loss": 1.8735,
+      "step": 227
+    },
+    {
+      "epoch": 0.304,
+      "grad_norm": 0.23179334925928516,
+      "learning_rate": 2.8705386552312647e-05,
+      "loss": 2.0279,
+      "step": 228
+    },
+    {
+      "epoch": 0.30533333333333335,
+      "grad_norm": 0.2249602605454057,
+      "learning_rate": 2.869311373963596e-05,
+      "loss": 2.1506,
+      "step": 229
+    },
+    {
+      "epoch": 0.30666666666666664,
+      "grad_norm": 0.30614551906788895,
+      "learning_rate": 2.8680785986690903e-05,
+      "loss": 2.0057,
+      "step": 230
+    },
+    {
+      "epoch": 0.308,
+      "grad_norm": 0.32936171428483624,
+      "learning_rate": 2.86684033490244e-05,
+      "loss": 1.9719,
+      "step": 231
+    },
+    {
+      "epoch": 0.30933333333333335,
+      "grad_norm": 0.21095264296363714,
+      "learning_rate": 2.8655965882430697e-05,
+      "loss": 2.0526,
+      "step": 232
+    },
+    {
+      "epoch": 0.31066666666666665,
+      "grad_norm": 0.2506508450731689,
+      "learning_rate": 2.8643473642951066e-05,
+      "loss": 2.034,
+      "step": 233
+    },
+    {
+      "epoch": 0.312,
+      "grad_norm": 0.16272890488221511,
+      "learning_rate": 2.8630926686873598e-05,
+      "loss": 2.2394,
+      "step": 234
+    },
+    {
+      "epoch": 0.31333333333333335,
+      "grad_norm": 0.2636216414291072,
+      "learning_rate": 2.8618325070732918e-05,
+      "loss": 1.9559,
+      "step": 235
+    },
+    {
+      "epoch": 0.31466666666666665,
+      "grad_norm": 0.239263175250845,
+      "learning_rate": 2.860566885130994e-05,
+      "loss": 1.9268,
+      "step": 236
+    },
+    {
+      "epoch": 0.316,
+      "grad_norm": 0.3034572733475333,
+      "learning_rate": 2.8592958085631616e-05,
+      "loss": 2.4146,
+      "step": 237
+    },
+    {
+      "epoch": 0.31733333333333336,
+      "grad_norm": 0.22016199356343413,
+      "learning_rate": 2.8580192830970674e-05,
+      "loss": 1.901,
+      "step": 238
+    },
+    {
+      "epoch": 0.31866666666666665,
+      "grad_norm": 0.23102023640647829,
+      "learning_rate": 2.856737314484536e-05,
+      "loss": 2.1498,
+      "step": 239
+    },
+    {
+      "epoch": 0.32,
+      "grad_norm": 0.20238380453993177,
+      "learning_rate": 2.8554499085019177e-05,
+      "loss": 2.0954,
+      "step": 240
+    },
+    {
+      "epoch": 0.32133333333333336,
+      "grad_norm": 0.20808439458283837,
+      "learning_rate": 2.854157070950063e-05,
+      "loss": 2.0783,
+      "step": 241
+    },
+    {
+      "epoch": 0.32266666666666666,
+      "grad_norm": 0.278146848673199,
+      "learning_rate": 2.8528588076542966e-05,
+      "loss": 1.7518,
+      "step": 242
+    },
+    {
+      "epoch": 0.324,
+      "grad_norm": 0.20915907784327617,
+      "learning_rate": 2.8515551244643903e-05,
+      "loss": 1.7229,
+      "step": 243
+    },
+    {
+      "epoch": 0.3253333333333333,
+      "grad_norm": 0.5420477506537028,
+      "learning_rate": 2.850246027254537e-05,
+      "loss": 1.758,
+      "step": 244
+    },
+    {
+      "epoch": 0.32666666666666666,
+      "grad_norm": 0.2800677412041746,
+      "learning_rate": 2.8489315219233248e-05,
+      "loss": 1.9584,
+      "step": 245
+    },
+    {
+      "epoch": 0.328,
+      "grad_norm": 0.22569958386724373,
+      "learning_rate": 2.847611614393709e-05,
+      "loss": 2.1033,
+      "step": 246
+    },
+    {
+      "epoch": 0.3293333333333333,
+      "grad_norm": 0.28225543933402175,
+      "learning_rate": 2.846286310612988e-05,
+      "loss": 2.2579,
+      "step": 247
+    },
+    {
+      "epoch": 0.33066666666666666,
+      "grad_norm": 0.25637825153268795,
+      "learning_rate": 2.844955616552773e-05,
+      "loss": 1.9495,
+      "step": 248
+    },
+    {
+      "epoch": 0.332,
+      "grad_norm": 0.3042322338758206,
+      "learning_rate": 2.8436195382089644e-05,
+      "loss": 2.2247,
+      "step": 249
+    },
+    {
+      "epoch": 0.3333333333333333,
+      "grad_norm": 0.2110291139150889,
+      "learning_rate": 2.8422780816017227e-05,
+      "loss": 2.2582,
+      "step": 250
+    },
+    {
+      "epoch": 0.33466666666666667,
+      "grad_norm": 0.24476057607988286,
+      "learning_rate": 2.8409312527754417e-05,
+      "loss": 2.1626,
+      "step": 251
+    },
+    {
+      "epoch": 0.336,
+      "grad_norm": 0.19859582662498323,
+      "learning_rate": 2.8395790577987225e-05,
+      "loss": 2.0592,
+      "step": 252
+    },
+    {
+      "epoch": 0.3373333333333333,
+      "grad_norm": 0.2560077569832347,
+      "learning_rate": 2.8382215027643447e-05,
+      "loss": 1.9116,
+      "step": 253
+    },
+    {
+      "epoch": 0.33866666666666667,
+      "grad_norm": 0.2325816082873428,
+      "learning_rate": 2.836858593789239e-05,
+      "loss": 2.1088,
+      "step": 254
+    },
+    {
+      "epoch": 0.34,
+      "grad_norm": 0.2633745282570676,
+      "learning_rate": 2.8354903370144613e-05,
+      "loss": 2.3106,
+      "step": 255
+    },
+    {
+      "epoch": 0.3413333333333333,
+      "grad_norm": 0.25738882949934827,
+      "learning_rate": 2.834116738605162e-05,
+      "loss": 1.9449,
+      "step": 256
+    },
+    {
+      "epoch": 0.3426666666666667,
+      "grad_norm": 0.19022713562039067,
+      "learning_rate": 2.8327378047505625e-05,
+      "loss": 2.0301,
+      "step": 257
+    },
+    {
+      "epoch": 0.344,
+      "grad_norm": 0.21459535231309906,
+      "learning_rate": 2.8313535416639232e-05,
+      "loss": 2.3784,
+      "step": 258
+    },
+    {
+      "epoch": 0.3453333333333333,
+      "grad_norm": 0.2725347155581082,
+      "learning_rate": 2.829963955582518e-05,
+      "loss": 1.9749,
+      "step": 259
+    },
+    {
+      "epoch": 0.3466666666666667,
+      "grad_norm": 0.23824574091343387,
+      "learning_rate": 2.828569052767604e-05,
+      "loss": 2.1253,
+      "step": 260
+    },
+    {
+      "epoch": 0.348,
+      "grad_norm": 0.30927788905161807,
+      "learning_rate": 2.8271688395043965e-05,
+      "loss": 1.6379,
+      "step": 261
+    },
+    {
+      "epoch": 0.34933333333333333,
+      "grad_norm": 0.13916235450047149,
+      "learning_rate": 2.8257633221020382e-05,
+      "loss": 2.0781,
+      "step": 262
+    },
+    {
+      "epoch": 0.3506666666666667,
+      "grad_norm": 0.2038351351610376,
+      "learning_rate": 2.8243525068935705e-05,
+      "loss": 2.1167,
+      "step": 263
+    },
+    {
+      "epoch": 0.352,
+      "grad_norm": 0.2282060698474947,
+      "learning_rate": 2.8229364002359074e-05,
+      "loss": 1.9761,
+      "step": 264
+    },
+    {
+      "epoch": 0.35333333333333333,
+      "grad_norm": 0.19533951565078514,
+      "learning_rate": 2.821515008509804e-05,
+      "loss": 2.3902,
+      "step": 265
+    },
+    {
+      "epoch": 0.3546666666666667,
+      "grad_norm": 0.22231788208405978,
+      "learning_rate": 2.8200883381198297e-05,
+      "loss": 2.2763,
+      "step": 266
+    },
+    {
+      "epoch": 0.356,
+      "grad_norm": 0.17343255119399525,
+      "learning_rate": 2.818656395494339e-05,
+      "loss": 2.1964,
+      "step": 267
+    },
+    {
+      "epoch": 0.35733333333333334,
+      "grad_norm": 0.3190889201723669,
+      "learning_rate": 2.817219187085442e-05,
+      "loss": 1.8898,
+      "step": 268
+    },
+    {
+      "epoch": 0.3586666666666667,
+      "grad_norm": 0.25221058014306336,
+      "learning_rate": 2.8157767193689753e-05,
+      "loss": 2.2137,
+      "step": 269
+    },
+    {
+      "epoch": 0.36,
+      "grad_norm": 0.25456852526288787,
+      "learning_rate": 2.8143289988444737e-05,
+      "loss": 2.1055,
+      "step": 270
+    },
+    {
+      "epoch": 0.36133333333333334,
+      "grad_norm": 0.4387988494124866,
+      "learning_rate": 2.8128760320351403e-05,
+      "loss": 2.0767,
+      "step": 271
+    },
+    {
+      "epoch": 0.3626666666666667,
+      "grad_norm": 0.27199878538165156,
+      "learning_rate": 2.8114178254878156e-05,
+      "loss": 2.1353,
+      "step": 272
+    },
+    {
+      "epoch": 0.364,
+      "grad_norm": 0.2650737962386425,
+      "learning_rate": 2.8099543857729525e-05,
+      "loss": 2.037,
+      "step": 273
+    },
+    {
+      "epoch": 0.36533333333333334,
+      "grad_norm": 0.19178775730316125,
+      "learning_rate": 2.808485719484581e-05,
+      "loss": 2.2227,
+      "step": 274
+    },
+    {
+      "epoch": 0.36666666666666664,
+      "grad_norm": 0.2495538747593823,
+      "learning_rate": 2.8070118332402827e-05,
+      "loss": 2.1111,
+      "step": 275
+    },
+    {
+      "epoch": 0.368,
+      "grad_norm": 0.23278524231204606,
+      "learning_rate": 2.8055327336811585e-05,
+      "loss": 2.0269,
+      "step": 276
+    },
+    {
+      "epoch": 0.36933333333333335,
+      "grad_norm": 0.2909743741626987,
+      "learning_rate": 2.804048427471801e-05,
+      "loss": 1.9845,
+      "step": 277
+    },
+    {
+      "epoch": 0.37066666666666664,
+      "grad_norm": 0.5654501769424853,
+      "learning_rate": 2.8025589213002624e-05,
+      "loss": 1.9375,
+      "step": 278
+    },
+    {
+      "epoch": 0.372,
+      "grad_norm": 0.24272194924805965,
+      "learning_rate": 2.8010642218780246e-05,
+      "loss": 1.9151,
+      "step": 279
+    },
+    {
+      "epoch": 0.37333333333333335,
+      "grad_norm": 0.23044549921686833,
+      "learning_rate": 2.7995643359399703e-05,
+      "loss": 2.1577,
+      "step": 280
+    },
+    {
+      "epoch": 0.37466666666666665,
+      "grad_norm": 0.2297518184027699,
+      "learning_rate": 2.7980592702443518e-05,
+      "loss": 2.2779,
+      "step": 281
+    },
+    {
+      "epoch": 0.376,
+      "grad_norm": 0.43013668653840365,
+      "learning_rate": 2.79654903157276e-05,
+      "loss": 1.9419,
+      "step": 282
+    },
+    {
+      "epoch": 0.37733333333333335,
+      "grad_norm": 0.23835905215528563,
+      "learning_rate": 2.795033626730095e-05,
+      "loss": 2.1743,
+      "step": 283
+    },
+    {
+      "epoch": 0.37866666666666665,
+      "grad_norm": 0.2813058642182358,
+      "learning_rate": 2.793513062544534e-05,
+      "loss": 2.0095,
+      "step": 284
+    },
+    {
+      "epoch": 0.38,
+      "grad_norm": 0.34406979517562547,
+      "learning_rate": 2.7919873458675022e-05,
+      "loss": 1.9489,
+      "step": 285
+    },
+    {
+      "epoch": 0.38133333333333336,
+      "grad_norm": 0.32231785755728004,
+      "learning_rate": 2.790456483573642e-05,
+      "loss": 1.58,
+      "step": 286
+    },
+    {
+      "epoch": 0.38266666666666665,
+      "grad_norm": 0.19333385414604146,
+      "learning_rate": 2.788920482560779e-05,
+      "loss": 1.9752,
+      "step": 287
+    },
+    {
+      "epoch": 0.384,
+      "grad_norm": 0.1765295794157884,
+      "learning_rate": 2.7873793497498945e-05,
+      "loss": 2.0614,
+      "step": 288
+    },
+    {
+      "epoch": 0.38533333333333336,
+      "grad_norm": 0.16114993710297087,
+      "learning_rate": 2.7858330920850923e-05,
+      "loss": 2.2809,
+      "step": 289
+    },
+    {
+      "epoch": 0.38666666666666666,
+      "grad_norm": 0.23825781911565472,
+      "learning_rate": 2.784281716533568e-05,
+      "loss": 2.1522,
+      "step": 290
+    },
+    {
+      "epoch": 0.388,
+      "grad_norm": 0.17001985217323573,
+      "learning_rate": 2.782725230085579e-05,
+      "loss": 1.9506,
+      "step": 291
+    },
+    {
+      "epoch": 0.3893333333333333,
+      "grad_norm": 0.26309455211904453,
+      "learning_rate": 2.7811636397544094e-05,
+      "loss": 2.2083,
+      "step": 292
+    },
+    {
+      "epoch": 0.39066666666666666,
+      "grad_norm": 0.20730249929125907,
+      "learning_rate": 2.7795969525763418e-05,
+      "loss": 2.2347,
+      "step": 293
+    },
+    {
+      "epoch": 0.392,
+      "grad_norm": 0.24136453807928746,
+      "learning_rate": 2.7780251756106242e-05,
+      "loss": 2.029,
+      "step": 294
+    },
+    {
+      "epoch": 0.3933333333333333,
+      "grad_norm": 0.35339039676185235,
+      "learning_rate": 2.7764483159394384e-05,
+      "loss": 2.211,
+      "step": 295
+    },
+    {
+      "epoch": 0.39466666666666667,
+      "grad_norm": 0.25636488066657487,
+      "learning_rate": 2.7748663806678684e-05,
+      "loss": 2.1863,
+      "step": 296
+    },
+    {
+      "epoch": 0.396,
+      "grad_norm": 0.20584179603071404,
+      "learning_rate": 2.7732793769238674e-05,
+      "loss": 2.2463,
+      "step": 297
+    },
+    {
+      "epoch": 0.3973333333333333,
+      "grad_norm": 0.23027068378292892,
+      "learning_rate": 2.7716873118582266e-05,
+      "loss": 2.2356,
+      "step": 298
+    },
+    {
+      "epoch": 0.39866666666666667,
+      "grad_norm": 0.192849837559735,
+      "learning_rate": 2.770090192644543e-05,
+      "loss": 2.2441,
+      "step": 299
+    },
+    {
+      "epoch": 0.4,
+      "grad_norm": 0.2685272097028798,
+      "learning_rate": 2.768488026479187e-05,
+      "loss": 2.0004,
+      "step": 300
+    },
+    {
+      "epoch": 0.4,
+      "eval_loss": 1.7474404573440552,
+      "eval_runtime": 98.8253,
+      "eval_samples_per_second": 1.012,
+      "eval_steps_per_second": 0.253,
+      "step": 300
+    },
+    {
+      "epoch": 0.4013333333333333,
+      "grad_norm": 0.26520047905722166,
+      "learning_rate": 2.766880820581269e-05,
+      "loss": 2.0768,
+      "step": 301
+    },
+    {
+      "epoch": 0.4026666666666667,
+      "grad_norm": 0.31076708165257216,
+      "learning_rate": 2.765268582192608e-05,
+      "loss": 2.0636,
+      "step": 302
+    },
+    {
+      "epoch": 0.404,
+      "grad_norm": 0.25216548132506456,
+      "learning_rate": 2.763651318577699e-05,
+      "loss": 2.0432,
+      "step": 303
+    },
+    {
+      "epoch": 0.4053333333333333,
+      "grad_norm": 0.2393514712031434,
+      "learning_rate": 2.7620290370236786e-05,
+      "loss": 2.3461,
+      "step": 304
+    },
+    {
+      "epoch": 0.4066666666666667,
+      "grad_norm": 0.21599798017132937,
+      "learning_rate": 2.7604017448402954e-05,
+      "loss": 2.3087,
+      "step": 305
+    },
+    {
+      "epoch": 0.408,
+      "grad_norm": 0.3082071954730338,
+      "learning_rate": 2.7587694493598743e-05,
+      "loss": 1.9302,
+      "step": 306
+    },
+    {
+      "epoch": 0.4093333333333333,
+      "grad_norm": 0.21921446809175332,
+      "learning_rate": 2.7571321579372835e-05,
+      "loss": 2.1354,
+      "step": 307
+    },
+    {
+      "epoch": 0.4106666666666667,
+      "grad_norm": 0.2141708374659774,
+      "learning_rate": 2.7554898779499025e-05,
+      "loss": 2.0915,
+      "step": 308
+    },
+    {
+      "epoch": 0.412,
+      "grad_norm": 0.2615730026982423,
+      "learning_rate": 2.7538426167975895e-05,
+      "loss": 1.9005,
+      "step": 309
+    },
+    {
+      "epoch": 0.41333333333333333,
+      "grad_norm": 0.24746987092185013,
+      "learning_rate": 2.7521903819026457e-05,
+      "loss": 2.129,
+      "step": 310
+    },
+    {
+      "epoch": 0.4146666666666667,
+      "grad_norm": 0.23072670442926277,
+      "learning_rate": 2.7505331807097845e-05,
+      "loss": 2.1061,
+      "step": 311
+    },
+    {
+      "epoch": 0.416,
+      "grad_norm": 3.0090982638780748,
+      "learning_rate": 2.7488710206860944e-05,
+      "loss": 2.1382,
+      "step": 312
+    },
+    {
+      "epoch": 0.41733333333333333,
+      "grad_norm": 0.2705418179646343,
+      "learning_rate": 2.7472039093210108e-05,
+      "loss": 2.2219,
+      "step": 313
+    },
+    {
+      "epoch": 0.4186666666666667,
+      "grad_norm": 0.3567890646341258,
+      "learning_rate": 2.7455318541262768e-05,
+      "loss": 1.6885,
+      "step": 314
+    },
+    {
+      "epoch": 0.42,
+      "grad_norm": 0.20851488835910675,
+      "learning_rate": 2.743854862635912e-05,
+      "loss": 1.947,
+      "step": 315
+    },
+    {
+      "epoch": 0.42133333333333334,
+      "grad_norm": 0.24844212488624198,
+      "learning_rate": 2.742172942406179e-05,
+      "loss": 2.1564,
+      "step": 316
+    },
+    {
+      "epoch": 0.4226666666666667,
+      "grad_norm": 0.304277870351501,
+      "learning_rate": 2.7404861010155477e-05,
+      "loss": 1.8723,
+      "step": 317
+    },
+    {
+      "epoch": 0.424,
+      "grad_norm": 0.20754447108795832,
+      "learning_rate": 2.7387943460646624e-05,
+      "loss": 2.4758,
+      "step": 318
+    },
+    {
+      "epoch": 0.42533333333333334,
+      "grad_norm": 0.24883308801860618,
+      "learning_rate": 2.7370976851763068e-05,
+      "loss": 1.6462,
+      "step": 319
+    },
+    {
+      "epoch": 0.4266666666666667,
+      "grad_norm": 0.23024352142002386,
+      "learning_rate": 2.73539612599537e-05,
+      "loss": 2.1038,
+      "step": 320
+    },
+    {
+      "epoch": 0.428,
+      "grad_norm": 0.3139739867715439,
+      "learning_rate": 2.7336896761888126e-05,
+      "loss": 1.902,
+      "step": 321
+    },
+    {
+      "epoch": 0.42933333333333334,
+      "grad_norm": 0.21999868040548332,
+      "learning_rate": 2.7319783434456306e-05,
+      "loss": 2.171,
+      "step": 322
+    },
+    {
+      "epoch": 0.43066666666666664,
+      "grad_norm": 0.2467001853935637,
+      "learning_rate": 2.7302621354768233e-05,
+      "loss": 1.9828,
+      "step": 323
+    },
+    {
+      "epoch": 0.432,
+      "grad_norm": 0.2496730220022523,
+      "learning_rate": 2.728541060015356e-05,
+      "loss": 2.3413,
+      "step": 324
+    },
+    {
+      "epoch": 0.43333333333333335,
+      "grad_norm": 0.4056202922850381,
+      "learning_rate": 2.7268151248161253e-05,
+      "loss": 2.0407,
+      "step": 325
+    },
+    {
+      "epoch": 0.43466666666666665,
+      "grad_norm": 0.2171839709482431,
+      "learning_rate": 2.7250843376559265e-05,
+      "loss": 2.0089,
+      "step": 326
+    },
+    {
+      "epoch": 0.436,
+      "grad_norm": 0.26937671179427725,
+      "learning_rate": 2.7233487063334172e-05,
+      "loss": 2.2827,
+      "step": 327
+    },
+    {
+      "epoch": 0.43733333333333335,
+      "grad_norm": 0.20567971005307945,
+      "learning_rate": 2.7216082386690804e-05,
+      "loss": 2.2386,
+      "step": 328
+    },
+    {
+      "epoch": 0.43866666666666665,
+      "grad_norm": 0.2027173811893726,
+      "learning_rate": 2.7198629425051917e-05,
+      "loss": 2.3031,
+      "step": 329
+    },
+    {
+      "epoch": 0.44,
+      "grad_norm": 0.2980323024473477,
+      "learning_rate": 2.7181128257057846e-05,
+      "loss": 2.1883,
+      "step": 330
+    },
+    {
+      "epoch": 0.44133333333333336,
+      "grad_norm": 0.20192851290457803,
+      "learning_rate": 2.716357896156611e-05,
+      "loss": 1.9459,
+      "step": 331
+    },
+    {
+      "epoch": 0.44266666666666665,
+      "grad_norm": 0.2871519578556366,
+      "learning_rate": 2.7145981617651108e-05,
+      "loss": 2.1742,
+      "step": 332
+    },
+    {
+      "epoch": 0.444,
+      "grad_norm": 0.1949811627760568,
+      "learning_rate": 2.712833630460372e-05,
+      "loss": 2.2647,
+      "step": 333
+    },
+    {
+      "epoch": 0.44533333333333336,
+      "grad_norm": 0.2741619826374072,
+      "learning_rate": 2.7110643101930978e-05,
+      "loss": 1.9767,
+      "step": 334
+    },
+    {
+      "epoch": 0.44666666666666666,
+      "grad_norm": 0.22305808717890685,
+      "learning_rate": 2.7092902089355693e-05,
+      "loss": 1.9271,
+      "step": 335
+    },
+    {
+      "epoch": 0.448,
+      "grad_norm": 0.31086274795948865,
+      "learning_rate": 2.7075113346816092e-05,
+      "loss": 1.9092,
+      "step": 336
+    },
+    {
+      "epoch": 0.4493333333333333,
+      "grad_norm": 0.34135122978923976,
+      "learning_rate": 2.7057276954465484e-05,
+      "loss": 1.9028,
+      "step": 337
+    },
+    {
+      "epoch": 0.45066666666666666,
+      "grad_norm": 0.2422925649756551,
+      "learning_rate": 2.703939299267186e-05,
+      "loss": 2.3585,
+      "step": 338
+    },
+    {
+      "epoch": 0.452,
+      "grad_norm": 0.21763822152397602,
+      "learning_rate": 2.702146154201757e-05,
+      "loss": 1.9407,
+      "step": 339
+    },
+    {
+      "epoch": 0.4533333333333333,
+      "grad_norm": 0.26419913958274843,
+      "learning_rate": 2.7003482683298935e-05,
+      "loss": 2.0248,
+      "step": 340
+    },
+    {
+      "epoch": 0.45466666666666666,
+      "grad_norm": 0.2463717390301776,
+      "learning_rate": 2.698545649752588e-05,
+      "loss": 2.0147,
+      "step": 341
+    },
+    {
+      "epoch": 0.456,
+      "grad_norm": 0.21124149059138703,
+      "learning_rate": 2.696738306592159e-05,
+      "loss": 1.9508,
+      "step": 342
+    },
+    {
+      "epoch": 0.4573333333333333,
+      "grad_norm": 0.2758662340977994,
+      "learning_rate": 2.694926246992213e-05,
+      "loss": 2.1917,
+      "step": 343
+    },
+    {
+      "epoch": 0.45866666666666667,
+      "grad_norm": 0.30773115319803324,
+      "learning_rate": 2.693109479117608e-05,
+      "loss": 2.0674,
+      "step": 344
+    },
+    {
+      "epoch": 0.46,
+      "grad_norm": 0.23761648514026573,
+      "learning_rate": 2.6912880111544163e-05,
+      "loss": 2.0919,
+      "step": 345
+    },
+    {
+      "epoch": 0.4613333333333333,
+      "grad_norm": 0.25681238620857727,
+      "learning_rate": 2.6894618513098882e-05,
+      "loss": 1.9084,
+      "step": 346
+    },
+    {
+      "epoch": 0.46266666666666667,
+      "grad_norm": 0.22830005506281845,
+      "learning_rate": 2.687631007812415e-05,
+      "loss": 2.056,
+      "step": 347
+    },
+    {
+      "epoch": 0.464,
+      "grad_norm": 0.2947866578986673,
+      "learning_rate": 2.6857954889114923e-05,
+      "loss": 1.7343,
+      "step": 348
+    },
+    {
+      "epoch": 0.4653333333333333,
+      "grad_norm": 0.24624687251309207,
+      "learning_rate": 2.6839553028776817e-05,
+      "loss": 2.2644,
+      "step": 349
+    },
+    {
+      "epoch": 0.4666666666666667,
+      "grad_norm": 0.23775099815354966,
+      "learning_rate": 2.682110458002575e-05,
+      "loss": 2.0576,
+      "step": 350
+    },
+    {
+      "epoch": 0.468,
+      "grad_norm": 0.24126580378308465,
+      "learning_rate": 2.6802609625987548e-05,
+      "loss": 2.1331,
+      "step": 351
+    },
+    {
+      "epoch": 0.4693333333333333,
+      "grad_norm": 0.26152377053961967,
+      "learning_rate": 2.6784068249997586e-05,
+      "loss": 2.194,
+      "step": 352
+    },
+    {
+      "epoch": 0.4706666666666667,
+      "grad_norm": 0.2670202218764803,
+      "learning_rate": 2.676548053560042e-05,
+      "loss": 1.885,
+      "step": 353
+    },
+    {
+      "epoch": 0.472,
+      "grad_norm": 0.2227627113395291,
+      "learning_rate": 2.674684656654938e-05,
+      "loss": 2.2919,
+      "step": 354
+    },
+    {
+      "epoch": 0.47333333333333333,
+      "grad_norm": 0.5386305755161744,
+      "learning_rate": 2.6728166426806237e-05,
+      "loss": 2.1106,
+      "step": 355
+    },
+    {
+      "epoch": 0.4746666666666667,
+      "grad_norm": 0.2713934931123545,
+      "learning_rate": 2.6709440200540778e-05,
+      "loss": 1.9203,
+      "step": 356
+    },
+    {
+      "epoch": 0.476,
+      "grad_norm": 0.2687463890320937,
+      "learning_rate": 2.669066797213046e-05,
+      "loss": 2.0278,
+      "step": 357
+    },
+    {
+      "epoch": 0.47733333333333333,
+      "grad_norm": 0.2420523080214261,
+      "learning_rate": 2.6671849826160018e-05,
+      "loss": 1.9393,
+      "step": 358
+    },
+    {
+      "epoch": 0.4786666666666667,
+      "grad_norm": 0.2400087971667011,
+      "learning_rate": 2.6652985847421074e-05,
+      "loss": 2.1867,
+      "step": 359
+    },
+    {
+      "epoch": 0.48,
+      "grad_norm": 0.28320805189191467,
+      "learning_rate": 2.663407612091178e-05,
+      "loss": 1.8562,
+      "step": 360
+    },
+    {
+      "epoch": 0.48133333333333334,
+      "grad_norm": 0.20819758118379753,
+      "learning_rate": 2.6615120731836412e-05,
+      "loss": 2.0647,
+      "step": 361
+    },
+    {
+      "epoch": 0.4826666666666667,
+      "grad_norm": 0.19756628127478343,
+      "learning_rate": 2.6596119765604996e-05,
+      "loss": 2.1335,
+      "step": 362
+    },
+    {
+      "epoch": 0.484,
+      "grad_norm": 0.26928306040248223,
+      "learning_rate": 2.6577073307832925e-05,
+      "loss": 2.0874,
+      "step": 363
+    },
+    {
+      "epoch": 0.48533333333333334,
+      "grad_norm": 0.2164920362315045,
+      "learning_rate": 2.655798144434056e-05,
+      "loss": 2.1714,
+      "step": 364
+    },
+    {
+      "epoch": 0.4866666666666667,
+      "grad_norm": 0.24919806333780237,
+      "learning_rate": 2.6538844261152863e-05,
+      "loss": 1.9509,
+      "step": 365
+    },
+    {
+      "epoch": 0.488,
+      "grad_norm": 0.27032556044133776,
+      "learning_rate": 2.6519661844498997e-05,
+      "loss": 1.801,
+      "step": 366
+    },
+    {
+      "epoch": 0.48933333333333334,
+      "grad_norm": 0.26804357878114354,
+      "learning_rate": 2.650043428081194e-05,
+      "loss": 2.1762,
+      "step": 367
+    },
+    {
+      "epoch": 0.49066666666666664,
+      "grad_norm": 0.3572135575195324,
+      "learning_rate": 2.6481161656728093e-05,
+      "loss": 1.9907,
+      "step": 368
+    },
+    {
+      "epoch": 0.492,
+      "grad_norm": 0.20724767007565056,
+      "learning_rate": 2.646184405908689e-05,
+      "loss": 2.0845,
+      "step": 369
+    },
+    {
+      "epoch": 0.49333333333333335,
+      "grad_norm": 0.29461252876218635,
+      "learning_rate": 2.6442481574930417e-05,
+      "loss": 2.0182,
+      "step": 370
+    },
+    {
+      "epoch": 0.49466666666666664,
+      "grad_norm": 0.32302958691645034,
+      "learning_rate": 2.6423074291503e-05,
+      "loss": 1.8637,
+      "step": 371
+    },
+    {
+      "epoch": 0.496,
+      "grad_norm": 0.21633487662675288,
+      "learning_rate": 2.6403622296250843e-05,
+      "loss": 2.1181,
+      "step": 372
+    },
+    {
+      "epoch": 0.49733333333333335,
+      "grad_norm": 0.23982202171517725,
+      "learning_rate": 2.6384125676821594e-05,
+      "loss": 2.2663,
+      "step": 373
+    },
+    {
+      "epoch": 0.49866666666666665,
+      "grad_norm": 0.26674040749443334,
+      "learning_rate": 2.636458452106398e-05,
+      "loss": 1.9904,
+      "step": 374
+    },
+    {
+      "epoch": 0.5,
+      "grad_norm": 0.20615794890547487,
+      "learning_rate": 2.63449989170274e-05,
+      "loss": 2.2052,
+      "step": 375
+    },
+    {
+      "epoch": 0.5,
+      "eval_loss": 1.7428412437438965,
+      "eval_runtime": 98.8155,
+      "eval_samples_per_second": 1.012,
+      "eval_steps_per_second": 0.253,
+      "step": 375
+    },
+    {
+      "epoch": 0.5013333333333333,
+      "grad_norm": 0.21975919244022424,
+      "learning_rate": 2.6325368952961525e-05,
+      "loss": 2.2344,
+      "step": 376
+    },
+    {
+      "epoch": 0.5026666666666667,
+      "grad_norm": 0.3511713966144426,
+      "learning_rate": 2.6305694717315924e-05,
+      "loss": 1.9296,
+      "step": 377
+    },
+    {
+      "epoch": 0.504,
+      "grad_norm": 0.2478362671784885,
+      "learning_rate": 2.628597629873962e-05,
+      "loss": 2.3063,
+      "step": 378
+    },
+    {
+      "epoch": 0.5053333333333333,
+      "grad_norm": 0.2607115263658857,
+      "learning_rate": 2.626621378608074e-05,
+      "loss": 2.0627,
+      "step": 379
+    },
+    {
+      "epoch": 0.5066666666666667,
+      "grad_norm": 0.2164836472576184,
+      "learning_rate": 2.624640726838608e-05,
+      "loss": 2.2111,
+      "step": 380
+    },
+    {
+      "epoch": 0.508,
+      "grad_norm": 0.26262335545259213,
+      "learning_rate": 2.622655683490072e-05,
+      "loss": 2.135,
+      "step": 381
+    },
+    {
+      "epoch": 0.5093333333333333,
+      "grad_norm": 0.3929953560993829,
+      "learning_rate": 2.6206662575067612e-05,
+      "loss": 2.0104,
+      "step": 382
+    },
+    {
+      "epoch": 0.5106666666666667,
+      "grad_norm": 0.34025016050394374,
+      "learning_rate": 2.6186724578527196e-05,
+      "loss": 2.1592,
+      "step": 383
+    },
+    {
+      "epoch": 0.512,
+      "grad_norm": 0.23150100757885902,
+      "learning_rate": 2.6166742935116967e-05,
+      "loss": 2.2252,
+      "step": 384
+    },
+    {
+      "epoch": 0.5133333333333333,
+      "grad_norm": 0.20480910397432198,
+      "learning_rate": 2.6146717734871092e-05,
+      "loss": 2.1451,
+      "step": 385
+    },
+    {
+      "epoch": 0.5146666666666667,
+      "grad_norm": 0.3320045250749023,
+      "learning_rate": 2.6126649068020004e-05,
+      "loss": 2.094,
+      "step": 386
+    },
+    {
+      "epoch": 0.516,
+      "grad_norm": 0.21607139651020324,
+      "learning_rate": 2.6106537024989985e-05,
+      "loss": 2.1313,
+      "step": 387
+    },
+    {
+      "epoch": 0.5173333333333333,
+      "grad_norm": 0.26417756391106934,
+      "learning_rate": 2.6086381696402757e-05,
+      "loss": 2.2438,
+      "step": 388
+    },
+    {
+      "epoch": 0.5186666666666667,
+      "grad_norm": 0.2575227608051382,
+      "learning_rate": 2.6066183173075097e-05,
+      "loss": 2.071,
+      "step": 389
+    },
+    {
+      "epoch": 0.52,
+      "grad_norm": 0.33025483593812915,
+      "learning_rate": 2.6045941546018393e-05,
+      "loss": 1.9,
+      "step": 390
+    },
+    {
+      "epoch": 0.5213333333333333,
+      "grad_norm": 0.24483598990979227,
+      "learning_rate": 2.6025656906438258e-05,
+      "loss": 2.1122,
+      "step": 391
+    },
+    {
+      "epoch": 0.5226666666666666,
+      "grad_norm": 0.2774543445460937,
+      "learning_rate": 2.6005329345734118e-05,
+      "loss": 1.9011,
+      "step": 392
+    },
+    {
+      "epoch": 0.524,
+      "grad_norm": 0.23412108680048146,
+      "learning_rate": 2.5984958955498787e-05,
+      "loss": 2.3201,
+      "step": 393
+    },
+    {
+      "epoch": 0.5253333333333333,
+      "grad_norm": 0.23961697514306227,
+      "learning_rate": 2.5964545827518065e-05,
+      "loss": 2.007,
+      "step": 394
+    },
+    {
+      "epoch": 0.5266666666666666,
+      "grad_norm": 0.31411643954504864,
+      "learning_rate": 2.5944090053770323e-05,
+      "loss": 1.908,
+      "step": 395
+    },
+    {
+      "epoch": 0.528,
+      "grad_norm": 0.27669334589294126,
+      "learning_rate": 2.592359172642609e-05,
+      "loss": 1.8943,
+      "step": 396
+    },
+    {
+      "epoch": 0.5293333333333333,
+      "grad_norm": 0.30091910007710565,
+      "learning_rate": 2.5903050937847625e-05,
+      "loss": 2.0184,
+      "step": 397
+    },
+    {
+      "epoch": 0.5306666666666666,
+      "grad_norm": 0.24400641571971146,
+      "learning_rate": 2.5882467780588526e-05,
+      "loss": 1.775,
+      "step": 398
+    },
+    {
+      "epoch": 0.532,
+      "grad_norm": 0.25922993656928794,
+      "learning_rate": 2.5861842347393282e-05,
+      "loss": 1.9972,
+      "step": 399
+    },
+    {
+      "epoch": 0.5333333333333333,
+      "grad_norm": 0.23535227055438726,
+      "learning_rate": 2.5841174731196877e-05,
+      "loss": 1.7925,
+      "step": 400
+    },
+    {
+      "epoch": 0.5346666666666666,
+      "grad_norm": 0.2342264521026473,
+      "learning_rate": 2.5820465025124365e-05,
+      "loss": 2.1403,
+      "step": 401
+    },
+    {
+      "epoch": 0.536,
+      "grad_norm": 0.2842669876468834,
+      "learning_rate": 2.5799713322490453e-05,
+      "loss": 2.1425,
+      "step": 402
+    },
+    {
+      "epoch": 0.5373333333333333,
+      "grad_norm": 0.3204086643789354,
+      "learning_rate": 2.5778919716799074e-05,
+      "loss": 1.8728,
+      "step": 403
+    },
+    {
+      "epoch": 0.5386666666666666,
+      "grad_norm": 0.26967796394246557,
+      "learning_rate": 2.5758084301742975e-05,
+      "loss": 2.2239,
+      "step": 404
+    },
+    {
+      "epoch": 0.54,
+      "grad_norm": 0.20159105110551168,
+      "learning_rate": 2.5737207171203286e-05,
+      "loss": 2.1444,
+      "step": 405
+    },
+    {
+      "epoch": 0.5413333333333333,
+      "grad_norm": 0.2770693985078698,
+      "learning_rate": 2.5716288419249098e-05,
+      "loss": 2.0661,
+      "step": 406
+    },
+    {
+      "epoch": 0.5426666666666666,
+      "grad_norm": 0.25565224879402676,
+      "learning_rate": 2.569532814013704e-05,
+      "loss": 2.2215,
+      "step": 407
+    },
+    {
+      "epoch": 0.544,
+      "grad_norm": 0.17283251407616515,
+      "learning_rate": 2.5674326428310867e-05,
+      "loss": 2.0621,
+      "step": 408
+    },
+    {
+      "epoch": 0.5453333333333333,
+      "grad_norm": 0.280202142213052,
+      "learning_rate": 2.5653283378401013e-05,
+      "loss": 1.8841,
+      "step": 409
+    },
+    {
+      "epoch": 0.5466666666666666,
+      "grad_norm": 0.24429132905069922,
+      "learning_rate": 2.5632199085224175e-05,
+      "loss": 2.2204,
+      "step": 410
+    },
+    {
+      "epoch": 0.548,
+      "grad_norm": 0.20785440391670923,
+      "learning_rate": 2.5611073643782894e-05,
+      "loss": 2.0911,
+      "step": 411
+    },
+    {
+      "epoch": 0.5493333333333333,
+      "grad_norm": 0.24187453202492748,
+      "learning_rate": 2.558990714926511e-05,
+      "loss": 2.253,
+      "step": 412
+    },
+    {
+      "epoch": 0.5506666666666666,
+      "grad_norm": 0.2677535149215768,
+      "learning_rate": 2.556869969704375e-05,
+      "loss": 2.1663,
+      "step": 413
+    },
+    {
+      "epoch": 0.552,
+      "grad_norm": 0.23967372826331235,
+      "learning_rate": 2.554745138267628e-05,
+      "loss": 2.1926,
+      "step": 414
+    },
+    {
+      "epoch": 0.5533333333333333,
+      "grad_norm": 0.23057427777779413,
+      "learning_rate": 2.5526162301904293e-05,
+      "loss": 2.0412,
+      "step": 415
+    },
+    {
+      "epoch": 0.5546666666666666,
+      "grad_norm": 0.2885284967638168,
+      "learning_rate": 2.5504832550653067e-05,
+      "loss": 1.95,
+      "step": 416
+    },
+    {
+      "epoch": 0.556,
+      "grad_norm": 0.20302927747169716,
+      "learning_rate": 2.5483462225031128e-05,
+      "loss": 2.1122,
+      "step": 417
+    },
+    {
+      "epoch": 0.5573333333333333,
+      "grad_norm": 0.24366303363901448,
+      "learning_rate": 2.546205142132984e-05,
+      "loss": 2.1674,
+      "step": 418
+    },
+    {
+      "epoch": 0.5586666666666666,
+      "grad_norm": 0.2932552576941417,
+      "learning_rate": 2.5440600236022924e-05,
+      "loss": 1.7735,
+      "step": 419
+    },
+    {
+      "epoch": 0.56,
+      "grad_norm": 0.2942369556389563,
+      "learning_rate": 2.54191087657661e-05,
+      "loss": 1.8327,
+      "step": 420
+    },
+    {
+      "epoch": 0.5613333333333334,
+      "grad_norm": 0.19743640775814034,
+      "learning_rate": 2.5397577107396567e-05,
+      "loss": 2.3126,
+      "step": 421
+    },
+    {
+      "epoch": 0.5626666666666666,
+      "grad_norm": 0.32093382445453417,
+      "learning_rate": 2.5376005357932616e-05,
+      "loss": 1.9272,
+      "step": 422
+    },
+    {
+      "epoch": 0.564,
+      "grad_norm": 0.31119702731247945,
+      "learning_rate": 2.5354393614573188e-05,
+      "loss": 1.8724,
+      "step": 423
+    },
+    {
+      "epoch": 0.5653333333333334,
+      "grad_norm": 0.2066996097801704,
+      "learning_rate": 2.5332741974697432e-05,
+      "loss": 2.1157,
+      "step": 424
+    },
+    {
+      "epoch": 0.5666666666666667,
+      "grad_norm": 0.18988191723765685,
+      "learning_rate": 2.5311050535864253e-05,
+      "loss": 1.9704,
+      "step": 425
+    },
+    {
+      "epoch": 0.568,
+      "grad_norm": 0.23278617764031323,
+      "learning_rate": 2.5289319395811897e-05,
+      "loss": 1.9034,
+      "step": 426
+    },
+    {
+      "epoch": 0.5693333333333334,
+      "grad_norm": 0.24359667899234191,
+      "learning_rate": 2.5267548652457478e-05,
+      "loss": 2.1112,
+      "step": 427
+    },
+    {
+      "epoch": 0.5706666666666667,
+      "grad_norm": 0.2183386421997878,
+      "learning_rate": 2.524573840389659e-05,
+      "loss": 2.3351,
+      "step": 428
+    },
+    {
+      "epoch": 0.572,
+      "grad_norm": 0.24623394684092095,
+      "learning_rate": 2.5223888748402786e-05,
+      "loss": 1.7524,
+      "step": 429
+    },
+    {
+      "epoch": 0.5733333333333334,
+      "grad_norm": 0.3492801592421858,
+      "learning_rate": 2.5201999784427225e-05,
+      "loss": 1.9649,
+      "step": 430
+    },
+    {
+      "epoch": 0.5746666666666667,
+      "grad_norm": 0.23771436444452013,
+      "learning_rate": 2.5180071610598164e-05,
+      "loss": 1.9788,
+      "step": 431
+    },
+    {
+      "epoch": 0.576,
+      "grad_norm": 0.28422749390691604,
+      "learning_rate": 2.5158104325720513e-05,
+      "loss": 1.9749,
+      "step": 432
+    },
+    {
+      "epoch": 0.5773333333333334,
+      "grad_norm": 0.24035666016422355,
+      "learning_rate": 2.513609802877545e-05,
+      "loss": 1.8426,
+      "step": 433
+    },
+    {
+      "epoch": 0.5786666666666667,
+      "grad_norm": 0.22863170510861272,
+      "learning_rate": 2.5114052818919913e-05,
+      "loss": 1.946,
+      "step": 434
+    },
+    {
+      "epoch": 0.58,
+      "grad_norm": 0.3080369938822394,
+      "learning_rate": 2.5091968795486173e-05,
+      "loss": 2.1382,
+      "step": 435
+    },
+    {
+      "epoch": 0.5813333333333334,
+      "grad_norm": 0.25635562031358045,
+      "learning_rate": 2.50698460579814e-05,
+      "loss": 1.8564,
+      "step": 436
+    },
+    {
+      "epoch": 0.5826666666666667,
+      "grad_norm": 0.25131606327010947,
+      "learning_rate": 2.504768470608719e-05,
+      "loss": 1.8574,
+      "step": 437
+    },
+    {
+      "epoch": 0.584,
+      "grad_norm": 0.27786273971519304,
+      "learning_rate": 2.502548483965914e-05,
+      "loss": 1.8203,
+      "step": 438
+    },
+    {
+      "epoch": 0.5853333333333334,
+      "grad_norm": 0.2537835141335265,
+      "learning_rate": 2.50032465587264e-05,
+      "loss": 2.1261,
+      "step": 439
+    },
+    {
+      "epoch": 0.5866666666666667,
+      "grad_norm": 0.2857274434588356,
+      "learning_rate": 2.4980969963491174e-05,
+      "loss": 1.8283,
+      "step": 440
+    },
+    {
+      "epoch": 0.588,
+      "grad_norm": 0.2497369750967388,
+      "learning_rate": 2.495865515432833e-05,
+      "loss": 2.0896,
+      "step": 441
+    },
+    {
+      "epoch": 0.5893333333333334,
+      "grad_norm": 0.31048709085768267,
+      "learning_rate": 2.4936302231784924e-05,
+      "loss": 1.8459,
+      "step": 442
+    },
+    {
+      "epoch": 0.5906666666666667,
+      "grad_norm": 0.37747863954921845,
+      "learning_rate": 2.491391129657974e-05,
+      "loss": 1.766,
+      "step": 443
+    },
+    {
+      "epoch": 0.592,
+      "grad_norm": 0.23281230965954086,
+      "learning_rate": 2.4891482449602826e-05,
+      "loss": 2.1607,
+      "step": 444
+    },
+    {
+      "epoch": 0.5933333333333334,
+      "grad_norm": 0.23099470118617824,
+      "learning_rate": 2.4869015791915073e-05,
+      "loss": 2.2428,
+      "step": 445
+    },
+    {
+      "epoch": 0.5946666666666667,
+      "grad_norm": 0.33283816512680775,
+      "learning_rate": 2.4846511424747745e-05,
+      "loss": 1.7942,
+      "step": 446
+    },
+    {
+      "epoch": 0.596,
+      "grad_norm": 0.2610205889529608,
+      "learning_rate": 2.4823969449501994e-05,
+      "loss": 1.5129,
+      "step": 447
+    },
+    {
+      "epoch": 0.5973333333333334,
+      "grad_norm": 0.2436971157415235,
+      "learning_rate": 2.4801389967748457e-05,
+      "loss": 2.1171,
+      "step": 448
+    },
+    {
+      "epoch": 0.5986666666666667,
+      "grad_norm": 0.40234611756909766,
+      "learning_rate": 2.4778773081226746e-05,
+      "loss": 2.0152,
+      "step": 449
+    },
+    {
+      "epoch": 0.6,
+      "grad_norm": 0.3603986684632457,
+      "learning_rate": 2.4756118891845033e-05,
+      "loss": 1.9314,
+      "step": 450
+    },
+    {
+      "epoch": 0.6,
+      "eval_loss": 1.7376551628112793,
+      "eval_runtime": 98.8777,
+      "eval_samples_per_second": 1.011,
+      "eval_steps_per_second": 0.253,
+      "step": 450
+    },
+    {
+      "epoch": 0.6013333333333334,
+      "grad_norm": 0.3047585311557484,
+      "learning_rate": 2.4733427501679556e-05,
+      "loss": 1.9624,
+      "step": 451
+    },
+    {
+      "epoch": 0.6026666666666667,
+      "grad_norm": 2.732104288666609,
+      "learning_rate": 2.4710699012974184e-05,
+      "loss": 2.0594,
+      "step": 452
+    },
+    {
+      "epoch": 0.604,
+      "grad_norm": 0.5945756171955396,
+      "learning_rate": 2.468793352813993e-05,
+      "loss": 1.6689,
+      "step": 453
+    },
+    {
+      "epoch": 0.6053333333333333,
+      "grad_norm": 0.20149493665704768,
+      "learning_rate": 2.466513114975453e-05,
+      "loss": 2.3389,
+      "step": 454
+    },
+    {
+      "epoch": 0.6066666666666667,
+      "grad_norm": 0.2884544652315411,
+      "learning_rate": 2.4642291980561943e-05,
+      "loss": 2.2945,
+      "step": 455
+    },
+    {
+      "epoch": 0.608,
+      "grad_norm": 0.2716044614101472,
+      "learning_rate": 2.4619416123471888e-05,
+      "loss": 2.1059,
+      "step": 456
+    },
+    {
+      "epoch": 0.6093333333333333,
+      "grad_norm": 0.2865353237820169,
+      "learning_rate": 2.4596503681559425e-05,
+      "loss": 2.0127,
+      "step": 457
+    },
+    {
+      "epoch": 0.6106666666666667,
+      "grad_norm": 0.2815842392110537,
+      "learning_rate": 2.4573554758064437e-05,
+      "loss": 2.091,
+      "step": 458
+    },
+    {
+      "epoch": 0.612,
+      "grad_norm": 0.2367309740017095,
+      "learning_rate": 2.455056945639119e-05,
+      "loss": 2.1941,
+      "step": 459
+    },
+    {
+      "epoch": 0.6133333333333333,
+      "grad_norm": 0.22932211795337953,
+      "learning_rate": 2.4527547880107873e-05,
+      "loss": 1.8939,
+      "step": 460
+    },
+    {
+      "epoch": 0.6146666666666667,
+      "grad_norm": 0.2886521119304901,
+      "learning_rate": 2.450449013294611e-05,
+      "loss": 2.1722,
+      "step": 461
+    },
+    {
+      "epoch": 0.616,
+      "grad_norm": 0.3025792968730659,
+      "learning_rate": 2.448139631880052e-05,
+      "loss": 1.8465,
+      "step": 462
+    },
+    {
+      "epoch": 0.6173333333333333,
+      "grad_norm": 0.2741091872887346,
+      "learning_rate": 2.4458266541728225e-05,
+      "loss": 1.9238,
+      "step": 463
+    },
+    {
+      "epoch": 0.6186666666666667,
+      "grad_norm": 0.23073611413041367,
+      "learning_rate": 2.4435100905948387e-05,
+      "loss": 1.6034,
+      "step": 464
+    },
+    {
+      "epoch": 0.62,
+      "grad_norm": 0.3375731162237492,
+      "learning_rate": 2.4411899515841757e-05,
+      "loss": 1.8784,
+      "step": 465
+    },
+    {
+      "epoch": 0.6213333333333333,
+      "grad_norm": 0.22514383343323016,
+      "learning_rate": 2.438866247595017e-05,
+      "loss": 2.4078,
+      "step": 466
+    },
+    {
+      "epoch": 0.6226666666666667,
+      "grad_norm": 0.24786673693398917,
+      "learning_rate": 2.4365389890976107e-05,
+      "loss": 1.9611,
+      "step": 467
+    },
+    {
+      "epoch": 0.624,
+      "grad_norm": 0.2582820529265001,
+      "learning_rate": 2.4342081865782204e-05,
+      "loss": 2.2779,
+      "step": 468
+    },
+    {
+      "epoch": 0.6253333333333333,
+      "grad_norm": 0.30038879993456885,
+      "learning_rate": 2.4318738505390792e-05,
+      "loss": 1.7008,
+      "step": 469
+    },
+    {
+      "epoch": 0.6266666666666667,
+      "grad_norm": 0.22093391590717046,
+      "learning_rate": 2.42953599149834e-05,
+      "loss": 2.1409,
+      "step": 470
+    },
+    {
+      "epoch": 0.628,
+      "grad_norm": 0.23026854819393244,
+      "learning_rate": 2.427194619990032e-05,
+      "loss": 1.9212,
+      "step": 471
+    },
+    {
+      "epoch": 0.6293333333333333,
+      "grad_norm": 0.25457418947477256,
+      "learning_rate": 2.424849746564009e-05,
+      "loss": 1.9884,
+      "step": 472
+    },
+    {
+      "epoch": 0.6306666666666667,
+      "grad_norm": 0.2977795754556178,
+      "learning_rate": 2.4225013817859064e-05,
+      "loss": 1.7479,
+      "step": 473
+    },
+    {
+      "epoch": 0.632,
+      "grad_norm": 0.22067708037002065,
+      "learning_rate": 2.4201495362370878e-05,
+      "loss": 2.1299,
+      "step": 474
+    },
+    {
+      "epoch": 0.6333333333333333,
+      "grad_norm": 0.24519431888409313,
+      "learning_rate": 2.4177942205146033e-05,
+      "loss": 2.0112,
+      "step": 475
+    },
+    {
+      "epoch": 0.6346666666666667,
+      "grad_norm": 0.22465817603693417,
+      "learning_rate": 2.4154354452311377e-05,
+      "loss": 2.1755,
+      "step": 476
+    },
+    {
+      "epoch": 0.636,
+      "grad_norm": 0.2104795110400901,
+      "learning_rate": 2.4130732210149654e-05,
+      "loss": 2.0665,
+      "step": 477
+    },
+    {
+      "epoch": 0.6373333333333333,
+      "grad_norm": 0.254995878899391,
+      "learning_rate": 2.4107075585098986e-05,
+      "loss": 1.7783,
+      "step": 478
+    },
+    {
+      "epoch": 0.6386666666666667,
+      "grad_norm": 0.2781731992077847,
+      "learning_rate": 2.408338468375245e-05,
+      "loss": 1.9261,
+      "step": 479
+    },
+    {
+      "epoch": 0.64,
+      "grad_norm": 0.2022199410275876,
+      "learning_rate": 2.405965961285754e-05,
+      "loss": 2.5905,
+      "step": 480
+    },
+    {
+      "epoch": 0.6413333333333333,
+      "grad_norm": 0.2245533085937808,
+      "learning_rate": 2.4035900479315733e-05,
+      "loss": 2.0583,
+      "step": 481
+    },
+    {
+      "epoch": 0.6426666666666667,
+      "grad_norm": 0.2629367372490712,
+      "learning_rate": 2.4012107390181972e-05,
+      "loss": 2.0899,
+      "step": 482
+    },
+    {
+      "epoch": 0.644,
+      "grad_norm": 0.2353694715550615,
+      "learning_rate": 2.398828045266421e-05,
+      "loss": 2.1819,
+      "step": 483
+    },
+    {
+      "epoch": 0.6453333333333333,
+      "grad_norm": 0.32408275755469357,
+      "learning_rate": 2.3964419774122905e-05,
+      "loss": 2.1431,
+      "step": 484
+    },
+    {
+      "epoch": 0.6466666666666666,
+      "grad_norm": 0.22518717197459437,
+      "learning_rate": 2.394052546207056e-05,
+      "loss": 2.2526,
+      "step": 485
+    },
+    {
+      "epoch": 0.648,
+      "grad_norm": 0.2539883963098537,
+      "learning_rate": 2.3916597624171212e-05,
+      "loss": 1.8525,
+      "step": 486
+    },
+    {
+      "epoch": 0.6493333333333333,
+      "grad_norm": 0.2576069823005604,
+      "learning_rate": 2.3892636368239968e-05,
+      "loss": 1.8764,
+      "step": 487
+    },
+    {
+      "epoch": 0.6506666666666666,
+      "grad_norm": 0.2914513416559507,
+      "learning_rate": 2.3868641802242505e-05,
+      "loss": 1.8907,
+      "step": 488
+    },
+    {
+      "epoch": 0.652,
+      "grad_norm": 0.2592192101828592,
+      "learning_rate": 2.3844614034294603e-05,
+      "loss": 1.9931,
+      "step": 489
+    },
+    {
+      "epoch": 0.6533333333333333,
+      "grad_norm": 0.28662127139059485,
+      "learning_rate": 2.3820553172661627e-05,
+      "loss": 2.2488,
+      "step": 490
+    },
+    {
+      "epoch": 0.6546666666666666,
+      "grad_norm": 0.25415789018299234,
+      "learning_rate": 2.3796459325758066e-05,
+      "loss": 1.9321,
+      "step": 491
+    },
+    {
+      "epoch": 0.656,
+      "grad_norm": 0.21601669885383726,
+      "learning_rate": 2.3772332602147045e-05,
+      "loss": 2.1329,
+      "step": 492
+    },
+    {
+      "epoch": 0.6573333333333333,
+      "grad_norm": 0.3310096689326958,
+      "learning_rate": 2.3748173110539806e-05,
+      "loss": 1.9672,
+      "step": 493
+    },
+    {
+      "epoch": 0.6586666666666666,
+      "grad_norm": 0.2681898272326062,
+      "learning_rate": 2.3723980959795252e-05,
+      "loss": 2.0179,
+      "step": 494
+    },
+    {
+      "epoch": 0.66,
+      "grad_norm": 0.21937610824327985,
+      "learning_rate": 2.369975625891945e-05,
+      "loss": 2.3674,
+      "step": 495
+    },
+    {
+      "epoch": 0.6613333333333333,
+      "grad_norm": 0.26983079477053074,
+      "learning_rate": 2.3675499117065104e-05,
+      "loss": 2.0192,
+      "step": 496
+    },
+    {
+      "epoch": 0.6626666666666666,
+      "grad_norm": 0.24516611619277187,
+      "learning_rate": 2.3651209643531136e-05,
+      "loss": 2.243,
+      "step": 497
+    },
+    {
+      "epoch": 0.664,
+      "grad_norm": 0.21468400015728048,
+      "learning_rate": 2.3626887947762102e-05,
+      "loss": 2.1864,
+      "step": 498
+    },
+    {
+      "epoch": 0.6653333333333333,
+      "grad_norm": 0.287563912757122,
+      "learning_rate": 2.3602534139347778e-05,
+      "loss": 1.8674,
+      "step": 499
+    },
+    {
+      "epoch": 0.6666666666666666,
+      "grad_norm": 0.26726264993942,
+      "learning_rate": 2.3578148328022628e-05,
+      "loss": 2.0575,
+      "step": 500
+    },
+    {
+      "epoch": 0.668,
+      "grad_norm": 0.261609977256579,
+      "learning_rate": 2.355373062366531e-05,
+      "loss": 1.9286,
+      "step": 501
+    },
+    {
+      "epoch": 0.6693333333333333,
+      "grad_norm": 0.20611671277754134,
+      "learning_rate": 2.3529281136298196e-05,
+      "loss": 2.2271,
+      "step": 502
+    },
+    {
+      "epoch": 0.6706666666666666,
+      "grad_norm": 0.2401968161646043,
+      "learning_rate": 2.3504799976086846e-05,
+      "loss": 2.4382,
+      "step": 503
+    },
+    {
+      "epoch": 0.672,
+      "grad_norm": 0.28468622521731657,
+      "learning_rate": 2.348028725333957e-05,
+      "loss": 1.8355,
+      "step": 504
+    },
+    {
+      "epoch": 0.6733333333333333,
+      "grad_norm": 0.20634787358359907,
+      "learning_rate": 2.3455743078506863e-05,
+      "loss": 1.9282,
+      "step": 505
+    },
+    {
+      "epoch": 0.6746666666666666,
+      "grad_norm": 0.3179961211359532,
+      "learning_rate": 2.3431167562180944e-05,
+      "loss": 1.8643,
+      "step": 506
+    },
+    {
+      "epoch": 0.676,
+      "grad_norm": 0.299652498085615,
+      "learning_rate": 2.3406560815095256e-05,
+      "loss": 2.0409,
+      "step": 507
+    },
+    {
+      "epoch": 0.6773333333333333,
+      "grad_norm": 0.17939940729354284,
+      "learning_rate": 2.3381922948123975e-05,
+      "loss": 2.3247,
+      "step": 508
+    },
+    {
+      "epoch": 0.6786666666666666,
+      "grad_norm": 0.31054666764858174,
+      "learning_rate": 2.3357254072281474e-05,
+      "loss": 2.137,
+      "step": 509
+    },
+    {
+      "epoch": 0.68,
+      "grad_norm": 0.25051714446023193,
+      "learning_rate": 2.333255429872186e-05,
+      "loss": 2.1494,
+      "step": 510
+    },
+    {
+      "epoch": 0.6813333333333333,
+      "grad_norm": 0.33225916062113814,
+      "learning_rate": 2.3307823738738464e-05,
+      "loss": 2.2757,
+      "step": 511
+    },
+    {
+      "epoch": 0.6826666666666666,
+      "grad_norm": 0.23832106009922413,
+      "learning_rate": 2.3283062503763328e-05,
+      "loss": 2.2151,
+      "step": 512
+    },
+    {
+      "epoch": 0.684,
+      "grad_norm": 0.3584913646272861,
+      "learning_rate": 2.325827070536672e-05,
+      "loss": 2.116,
+      "step": 513
+    },
+    {
+      "epoch": 0.6853333333333333,
+      "grad_norm": 0.2380956102079889,
+      "learning_rate": 2.3233448455256606e-05,
+      "loss": 2.2443,
+      "step": 514
+    },
+    {
+      "epoch": 0.6866666666666666,
+      "grad_norm": 0.3027209634683966,
+      "learning_rate": 2.3208595865278176e-05,
+      "loss": 2.2496,
+      "step": 515
+    },
+    {
+      "epoch": 0.688,
+      "grad_norm": 0.3184372460718996,
+      "learning_rate": 2.3183713047413332e-05,
+      "loss": 1.8725,
+      "step": 516
+    },
+    {
+      "epoch": 0.6893333333333334,
+      "grad_norm": 0.2794218076575254,
+      "learning_rate": 2.315880011378016e-05,
+      "loss": 2.1965,
+      "step": 517
+    },
+    {
+      "epoch": 0.6906666666666667,
+      "grad_norm": 0.260191670734645,
+      "learning_rate": 2.3133857176632456e-05,
+      "loss": 1.8554,
+      "step": 518
+    },
+    {
+      "epoch": 0.692,
+      "grad_norm": 0.21604250961632915,
+      "learning_rate": 2.3108884348359204e-05,
+      "loss": 2.2134,
+      "step": 519
+    },
+    {
+      "epoch": 0.6933333333333334,
+      "grad_norm": 0.21227529934542605,
+      "learning_rate": 2.308388174148407e-05,
+      "loss": 2.0199,
+      "step": 520
+    },
+    {
+      "epoch": 0.6946666666666667,
+      "grad_norm": 0.24394795721824195,
+      "learning_rate": 2.30588494686649e-05,
+      "loss": 2.3131,
+      "step": 521
+    },
+    {
+      "epoch": 0.696,
+      "grad_norm": 0.3792154413621289,
+      "learning_rate": 2.3033787642693212e-05,
+      "loss": 1.3969,
+      "step": 522
+    },
+    {
+      "epoch": 0.6973333333333334,
+      "grad_norm": 0.5367777338806384,
+      "learning_rate": 2.3008696376493685e-05,
+      "loss": 2.1854,
+      "step": 523
+    },
+    {
+      "epoch": 0.6986666666666667,
+      "grad_norm": 0.2484310681652364,
+      "learning_rate": 2.2983575783123654e-05,
+      "loss": 1.7635,
+      "step": 524
+    },
+    {
+      "epoch": 0.7,
+      "grad_norm": 0.19974085366635924,
+      "learning_rate": 2.2958425975772582e-05,
+      "loss": 2.202,
+      "step": 525
+    },
+    {
+      "epoch": 0.7,
+      "eval_loss": 1.7349865436553955,
+      "eval_runtime": 98.7392,
+      "eval_samples_per_second": 1.013,
+      "eval_steps_per_second": 0.253,
+      "step": 525
+    },
+    {
+      "epoch": 0.7013333333333334,
+      "grad_norm": 0.2493667508703462,
+      "learning_rate": 2.293324706776159e-05,
+      "loss": 1.8884,
+      "step": 526
+    },
+    {
+      "epoch": 0.7026666666666667,
+      "grad_norm": 0.2196802593462806,
+      "learning_rate": 2.2908039172542903e-05,
+      "loss": 1.953,
+      "step": 527
+    },
+    {
+      "epoch": 0.704,
+      "grad_norm": 0.27925364505505185,
+      "learning_rate": 2.2882802403699365e-05,
+      "loss": 2.0056,
+      "step": 528
+    },
+    {
+      "epoch": 0.7053333333333334,
+      "grad_norm": 0.3244883574542453,
+      "learning_rate": 2.2857536874943924e-05,
+      "loss": 1.9776,
+      "step": 529
+    },
+    {
+      "epoch": 0.7066666666666667,
+      "grad_norm": 0.27740712715023463,
+      "learning_rate": 2.28322427001191e-05,
+      "loss": 2.0773,
+      "step": 530
+    },
+    {
+      "epoch": 0.708,
+      "grad_norm": 0.25184080033253003,
+      "learning_rate": 2.280691999319651e-05,
+      "loss": 2.1259,
+      "step": 531
+    },
+    {
+      "epoch": 0.7093333333333334,
+      "grad_norm": 0.2247509964017766,
+      "learning_rate": 2.2781568868276318e-05,
+      "loss": 2.1373,
+      "step": 532
+    },
+    {
+      "epoch": 0.7106666666666667,
+      "grad_norm": 0.24666405348670045,
+      "learning_rate": 2.2756189439586736e-05,
+      "loss": 2.2327,
+      "step": 533
+    },
+    {
+      "epoch": 0.712,
+      "grad_norm": 0.3252286607585267,
+      "learning_rate": 2.2730781821483507e-05,
+      "loss": 1.5159,
+      "step": 534
+    },
+    {
+      "epoch": 0.7133333333333334,
+      "grad_norm": 0.2816374654091368,
+      "learning_rate": 2.270534612844941e-05,
+      "loss": 2.2146,
+      "step": 535
+    },
+    {
+      "epoch": 0.7146666666666667,
+      "grad_norm": 0.24936235379096205,
+      "learning_rate": 2.267988247509369e-05,
+      "loss": 2.1009,
+      "step": 536
+    },
+    {
+      "epoch": 0.716,
+      "grad_norm": 0.2779229582280588,
+      "learning_rate": 2.265439097615161e-05,
+      "loss": 1.8832,
+      "step": 537
+    },
+    {
+      "epoch": 0.7173333333333334,
+      "grad_norm": 0.2575943747031005,
+      "learning_rate": 2.2628871746483882e-05,
+      "loss": 2.0232,
+      "step": 538
+    },
+    {
+      "epoch": 0.7186666666666667,
+      "grad_norm": 0.23769746040206244,
+      "learning_rate": 2.2603324901076177e-05,
+      "loss": 2.3063,
+      "step": 539
+    },
+    {
+      "epoch": 0.72,
+      "grad_norm": 0.21574081196114406,
+      "learning_rate": 2.257775055503859e-05,
+      "loss": 1.9571,
+      "step": 540
+    },
+    {
+      "epoch": 0.7213333333333334,
+      "grad_norm": 0.21566738748323505,
+      "learning_rate": 2.2552148823605143e-05,
+      "loss": 2.1521,
+      "step": 541
+    },
+    {
+      "epoch": 0.7226666666666667,
+      "grad_norm": 0.26810657886567807,
+      "learning_rate": 2.2526519822133232e-05,
+      "loss": 2.1191,
+      "step": 542
+    },
+    {
+      "epoch": 0.724,
+      "grad_norm": 0.2940225959141783,
+      "learning_rate": 2.2500863666103148e-05,
+      "loss": 2.1898,
+      "step": 543
+    },
+    {
+      "epoch": 0.7253333333333334,
+      "grad_norm": 0.3378840825082983,
+      "learning_rate": 2.247518047111753e-05,
+      "loss": 2.1439,
+      "step": 544
+    },
+    {
+      "epoch": 0.7266666666666667,
+      "grad_norm": 0.22696101000868238,
+      "learning_rate": 2.244947035290084e-05,
+      "loss": 2.2698,
+      "step": 545
+    },
+    {
+      "epoch": 0.728,
+      "grad_norm": 0.2162000773529741,
+      "learning_rate": 2.2423733427298862e-05,
+      "loss": 2.3212,
+      "step": 546
+    },
+    {
+      "epoch": 0.7293333333333333,
+      "grad_norm": 0.2603830814733624,
+      "learning_rate": 2.239796981027817e-05,
+      "loss": 2.11,
+      "step": 547
+    },
+    {
+      "epoch": 0.7306666666666667,
+      "grad_norm": 0.2888938079302091,
+      "learning_rate": 2.2372179617925607e-05,
+      "loss": 2.1089,
+      "step": 548
+    },
+    {
+      "epoch": 0.732,
+      "grad_norm": 0.27471645137763273,
+      "learning_rate": 2.2346362966447753e-05,
+      "loss": 2.0256,
+      "step": 549
+    },
+    {
+      "epoch": 0.7333333333333333,
+      "grad_norm": 0.21303205293010508,
+      "learning_rate": 2.232051997217041e-05,
+      "loss": 2.0032,
+      "step": 550
+    },
+    {
+      "epoch": 0.7346666666666667,
+      "grad_norm": 0.23694268054843318,
+      "learning_rate": 2.2294650751538075e-05,
+      "loss": 2.2141,
+      "step": 551
+    },
+    {
+      "epoch": 0.736,
+      "grad_norm": 0.2854078839991537,
+      "learning_rate": 2.226875542111343e-05,
+      "loss": 2.2259,
+      "step": 552
+    },
+    {
+      "epoch": 0.7373333333333333,
+      "grad_norm": 0.3404877478094408,
+      "learning_rate": 2.224283409757679e-05,
+      "loss": 1.7182,
+      "step": 553
+    },
+    {
+      "epoch": 0.7386666666666667,
+      "grad_norm": 0.27686754126786156,
+      "learning_rate": 2.221688689772559e-05,
+      "loss": 1.8002,
+      "step": 554
+    },
+    {
+      "epoch": 0.74,
+      "grad_norm": 0.3073870674820258,
+      "learning_rate": 2.219091393847387e-05,
+      "loss": 2.0866,
+      "step": 555
+    },
+    {
+      "epoch": 0.7413333333333333,
+      "grad_norm": 0.2516895248573763,
+      "learning_rate": 2.2164915336851738e-05,
+      "loss": 2.2784,
+      "step": 556
+    },
+    {
+      "epoch": 0.7426666666666667,
+      "grad_norm": 0.2870432753981648,
+      "learning_rate": 2.2138891210004832e-05,
+      "loss": 1.9175,
+      "step": 557
+    },
+    {
+      "epoch": 0.744,
+      "grad_norm": 0.2057162258455219,
+      "learning_rate": 2.21128416751938e-05,
+      "loss": 2.2339,
+      "step": 558
+    },
+    {
+      "epoch": 0.7453333333333333,
+      "grad_norm": 0.20397086012230586,
+      "learning_rate": 2.208676684979379e-05,
+      "loss": 2.1495,
+      "step": 559
+    },
+    {
+      "epoch": 0.7466666666666667,
+      "grad_norm": 0.21163355796403646,
+      "learning_rate": 2.2060666851293903e-05,
+      "loss": 2.3239,
+      "step": 560
+    },
+    {
+      "epoch": 0.748,
+      "grad_norm": 0.25078410912535354,
+      "learning_rate": 2.2034541797296653e-05,
+      "loss": 2.0699,
+      "step": 561
+    },
+    {
+      "epoch": 0.7493333333333333,
+      "grad_norm": 0.3150772753859901,
+      "learning_rate": 2.2008391805517457e-05,
+      "loss": 1.8373,
+      "step": 562
+    },
+    {
+      "epoch": 0.7506666666666667,
+      "grad_norm": 0.30918881784641583,
+      "learning_rate": 2.1982216993784094e-05,
+      "loss": 1.7701,
+      "step": 563
+    },
+    {
+      "epoch": 0.752,
+      "grad_norm": 0.30426238371972825,
+      "learning_rate": 2.1956017480036195e-05,
+      "loss": 1.8156,
+      "step": 564
+    },
+    {
+      "epoch": 0.7533333333333333,
+      "grad_norm": 0.23392806764627286,
+      "learning_rate": 2.1929793382324677e-05,
+      "loss": 2.2124,
+      "step": 565
+    },
+    {
+      "epoch": 0.7546666666666667,
+      "grad_norm": 0.33011610020818255,
+      "learning_rate": 2.1903544818811227e-05,
+      "loss": 1.7663,
+      "step": 566
+    },
+    {
+      "epoch": 0.756,
+      "grad_norm": 0.3217080135960756,
+      "learning_rate": 2.1877271907767787e-05,
+      "loss": 2.1091,
+      "step": 567
+    },
+    {
+      "epoch": 0.7573333333333333,
+      "grad_norm": 0.21151987176007983,
+      "learning_rate": 2.185097476757599e-05,
+      "loss": 2.062,
+      "step": 568
+    },
+    {
+      "epoch": 0.7586666666666667,
+      "grad_norm": 0.2920840438734248,
+      "learning_rate": 2.182465351672665e-05,
+      "loss": 2.0483,
+      "step": 569
+    },
+    {
+      "epoch": 0.76,
+      "grad_norm": 0.429241268749088,
+      "learning_rate": 2.179830827381921e-05,
+      "loss": 1.9552,
+      "step": 570
+    },
+    {
+      "epoch": 0.7613333333333333,
+      "grad_norm": 0.32692404180047374,
+      "learning_rate": 2.1771939157561234e-05,
+      "loss": 2.1871,
+      "step": 571
+    },
+    {
+      "epoch": 0.7626666666666667,
+      "grad_norm": 0.27909922539413456,
+      "learning_rate": 2.1745546286767842e-05,
+      "loss": 2.0617,
+      "step": 572
+    },
+    {
+      "epoch": 0.764,
+      "grad_norm": 0.17765953245504265,
+      "learning_rate": 2.1719129780361194e-05,
+      "loss": 2.0504,
+      "step": 573
+    },
+    {
+      "epoch": 0.7653333333333333,
+      "grad_norm": 0.19644746211449526,
+      "learning_rate": 2.1692689757369942e-05,
+      "loss": 2.1727,
+      "step": 574
+    },
+    {
+      "epoch": 0.7666666666666667,
+      "grad_norm": 0.20383199948615116,
+      "learning_rate": 2.166622633692871e-05,
+      "loss": 2.2412,
+      "step": 575
+    },
+    {
+      "epoch": 0.768,
+      "grad_norm": 0.28197953448890994,
+      "learning_rate": 2.1639739638277543e-05,
+      "loss": 2.0012,
+      "step": 576
+    },
+    {
+      "epoch": 0.7693333333333333,
+      "grad_norm": 0.22871484857936736,
+      "learning_rate": 2.161322978076137e-05,
+      "loss": 2.0497,
+      "step": 577
+    },
+    {
+      "epoch": 0.7706666666666667,
+      "grad_norm": 0.1929053980852746,
+      "learning_rate": 2.1586696883829475e-05,
+      "loss": 2.1374,
+      "step": 578
+    },
+    {
+      "epoch": 0.772,
+      "grad_norm": 0.2695936375802587,
+      "learning_rate": 2.1560141067034956e-05,
+      "loss": 2.1054,
+      "step": 579
+    },
+    {
+      "epoch": 0.7733333333333333,
+      "grad_norm": 0.21580215410548284,
+      "learning_rate": 2.1533562450034168e-05,
+      "loss": 2.0746,
+      "step": 580
+    },
+    {
+      "epoch": 0.7746666666666666,
+      "grad_norm": 0.2969276144088988,
+      "learning_rate": 2.1506961152586225e-05,
+      "loss": 2.0389,
+      "step": 581
+    },
+    {
+      "epoch": 0.776,
+      "grad_norm": 0.23286462925068996,
+      "learning_rate": 2.1480337294552417e-05,
+      "loss": 2.2243,
+      "step": 582
+    },
+    {
+      "epoch": 0.7773333333333333,
+      "grad_norm": 0.2596140914186509,
+      "learning_rate": 2.1453690995895705e-05,
+      "loss": 2.0502,
+      "step": 583
+    },
+    {
+      "epoch": 0.7786666666666666,
+      "grad_norm": 0.30325549702166155,
+      "learning_rate": 2.1427022376680143e-05,
+      "loss": 2.3072,
+      "step": 584
+    },
+    {
+      "epoch": 0.78,
+      "grad_norm": 0.2604278177541721,
+      "learning_rate": 2.1400331557070368e-05,
+      "loss": 2.1556,
+      "step": 585
+    },
+    {
+      "epoch": 0.7813333333333333,
+      "grad_norm": 0.23424819860644328,
+      "learning_rate": 2.137361865733106e-05,
+      "loss": 2.1441,
+      "step": 586
+    },
+    {
+      "epoch": 0.7826666666666666,
+      "grad_norm": 0.30816126734242966,
+      "learning_rate": 2.134688379782637e-05,
+      "loss": 1.6698,
+      "step": 587
+    },
+    {
+      "epoch": 0.784,
+      "grad_norm": 0.359821887854185,
+      "learning_rate": 2.1320127099019405e-05,
+      "loss": 1.7876,
+      "step": 588
+    },
+    {
+      "epoch": 0.7853333333333333,
+      "grad_norm": 0.20547182722005924,
+      "learning_rate": 2.1293348681471677e-05,
+      "loss": 2.159,
+      "step": 589
+    },
+    {
+      "epoch": 0.7866666666666666,
+      "grad_norm": 0.5274152472127392,
+      "learning_rate": 2.1266548665842563e-05,
+      "loss": 1.7306,
+      "step": 590
+    },
+    {
+      "epoch": 0.788,
+      "grad_norm": 0.22912094065764754,
+      "learning_rate": 2.1239727172888742e-05,
+      "loss": 1.907,
+      "step": 591
+    },
+    {
+      "epoch": 0.7893333333333333,
+      "grad_norm": 0.2183670197225716,
+      "learning_rate": 2.1212884323463686e-05,
+      "loss": 2.2014,
+      "step": 592
+    },
+    {
+      "epoch": 0.7906666666666666,
+      "grad_norm": 0.24541116440142172,
+      "learning_rate": 2.118602023851708e-05,
+      "loss": 2.1607,
+      "step": 593
+    },
+    {
+      "epoch": 0.792,
+      "grad_norm": 0.292244380734899,
+      "learning_rate": 2.1159135039094305e-05,
+      "loss": 1.8559,
+      "step": 594
+    },
+    {
+      "epoch": 0.7933333333333333,
+      "grad_norm": 0.20691929522008307,
+      "learning_rate": 2.113222884633588e-05,
+      "loss": 2.0957,
+      "step": 595
+    },
+    {
+      "epoch": 0.7946666666666666,
+      "grad_norm": 0.33216459026134915,
+      "learning_rate": 2.11053017814769e-05,
+      "loss": 1.8922,
+      "step": 596
+    },
+    {
+      "epoch": 0.796,
+      "grad_norm": 0.3054293726917442,
+      "learning_rate": 2.107835396584652e-05,
+      "loss": 2.0519,
+      "step": 597
+    },
+    {
+      "epoch": 0.7973333333333333,
+      "grad_norm": 0.21992034783736703,
+      "learning_rate": 2.1051385520867406e-05,
+      "loss": 2.3201,
+      "step": 598
+    },
+    {
+      "epoch": 0.7986666666666666,
+      "grad_norm": 0.1996741785211574,
+      "learning_rate": 2.1024396568055155e-05,
+      "loss": 2.1424,
+      "step": 599
+    },
+    {
+      "epoch": 0.8,
+      "grad_norm": 0.19403340249823747,
+      "learning_rate": 2.0997387229017778e-05,
+      "loss": 2.2453,
+      "step": 600
+    },
+    {
+      "epoch": 0.8,
+      "eval_loss": 1.7302900552749634,
+      "eval_runtime": 98.6559,
+      "eval_samples_per_second": 1.014,
+      "eval_steps_per_second": 0.253,
+      "step": 600
+    },
+    {
+      "epoch": 0.8013333333333333,
+      "grad_norm": 0.29338916525654163,
+      "learning_rate": 2.0970357625455146e-05,
+      "loss": 2.3107,
+      "step": 601
+    },
+    {
+      "epoch": 0.8026666666666666,
+      "grad_norm": 0.36246246532567,
+      "learning_rate": 2.0943307879158433e-05,
+      "loss": 1.8637,
+      "step": 602
+    },
+    {
+      "epoch": 0.804,
+      "grad_norm": 0.2309918626348626,
+      "learning_rate": 2.091623811200958e-05,
+      "loss": 2.1067,
+      "step": 603
+    },
+    {
+      "epoch": 0.8053333333333333,
+      "grad_norm": 0.24887479253735115,
+      "learning_rate": 2.0889148445980727e-05,
+      "loss": 2.1379,
+      "step": 604
+    },
+    {
+      "epoch": 0.8066666666666666,
+      "grad_norm": 0.3017961370307994,
+      "learning_rate": 2.086203900313369e-05,
+      "loss": 2.2075,
+      "step": 605
+    },
+    {
+      "epoch": 0.808,
+      "grad_norm": 0.23914594068190997,
+      "learning_rate": 2.0834909905619388e-05,
+      "loss": 2.2573,
+      "step": 606
+    },
+    {
+      "epoch": 0.8093333333333333,
+      "grad_norm": 2.5154669610980314,
+      "learning_rate": 2.0807761275677302e-05,
+      "loss": 1.9497,
+      "step": 607
+    },
+    {
+      "epoch": 0.8106666666666666,
+      "grad_norm": 0.21951821500800203,
+      "learning_rate": 2.078059323563493e-05,
+      "loss": 2.2041,
+      "step": 608
+    },
+    {
+      "epoch": 0.812,
+      "grad_norm": 0.233891875491137,
+      "learning_rate": 2.0753405907907207e-05,
+      "loss": 1.8755,
+      "step": 609
+    },
+    {
+      "epoch": 0.8133333333333334,
+      "grad_norm": 0.2351112028502108,
+      "learning_rate": 2.0726199414996002e-05,
+      "loss": 2.0976,
+      "step": 610
+    },
+    {
+      "epoch": 0.8146666666666667,
+      "grad_norm": 0.20392855722897615,
+      "learning_rate": 2.0698973879489528e-05,
+      "loss": 2.0269,
+      "step": 611
+    },
+    {
+      "epoch": 0.816,
+      "grad_norm": 0.20039060399626385,
+      "learning_rate": 2.067172942406179e-05,
+      "loss": 2.1268,
+      "step": 612
+    },
+    {
+      "epoch": 0.8173333333333334,
+      "grad_norm": 0.1929728808891894,
+      "learning_rate": 2.0644466171472065e-05,
+      "loss": 2.3687,
+      "step": 613
+    },
+    {
+      "epoch": 0.8186666666666667,
+      "grad_norm": 0.23806531555392976,
+      "learning_rate": 2.0617184244564313e-05,
+      "loss": 2.0828,
+      "step": 614
+    },
+    {
+      "epoch": 0.82,
+      "grad_norm": 0.34395608943915507,
+      "learning_rate": 2.0589883766266642e-05,
+      "loss": 1.3991,
+      "step": 615
+    },
+    {
+      "epoch": 0.8213333333333334,
+      "grad_norm": 0.24686411211608517,
+      "learning_rate": 2.056256485959075e-05,
+      "loss": 2.2174,
+      "step": 616
+    },
+    {
+      "epoch": 0.8226666666666667,
+      "grad_norm": 0.20168022695928925,
+      "learning_rate": 2.053522764763136e-05,
+      "loss": 2.104,
+      "step": 617
+    },
+    {
+      "epoch": 0.824,
+      "grad_norm": 0.36515476338010855,
+      "learning_rate": 2.050787225356569e-05,
+      "loss": 1.9741,
+      "step": 618
+    },
+    {
+      "epoch": 0.8253333333333334,
+      "grad_norm": 0.2701482708801682,
+      "learning_rate": 2.048049880065288e-05,
+      "loss": 1.7996,
+      "step": 619
+    },
+    {
+      "epoch": 0.8266666666666667,
+      "grad_norm": 0.30963402853563826,
+      "learning_rate": 2.045310741223343e-05,
+      "loss": 1.6238,
+      "step": 620
+    },
+    {
+      "epoch": 0.828,
+      "grad_norm": 0.2558122538846313,
+      "learning_rate": 2.0425698211728673e-05,
+      "loss": 1.8729,
+      "step": 621
+    },
+    {
+      "epoch": 0.8293333333333334,
+      "grad_norm": 0.28237819609725434,
+      "learning_rate": 2.039827132264019e-05,
+      "loss": 1.8797,
+      "step": 622
+    },
+    {
+      "epoch": 0.8306666666666667,
+      "grad_norm": 0.26926016615015824,
+      "learning_rate": 2.037082686854926e-05,
+      "loss": 1.9228,
+      "step": 623
+    },
+    {
+      "epoch": 0.832,
+      "grad_norm": 0.21988753067621333,
+      "learning_rate": 2.0343364973116316e-05,
+      "loss": 2.2013,
+      "step": 624
+    },
+    {
+      "epoch": 0.8333333333333334,
+      "grad_norm": 0.27973689401501844,
+      "learning_rate": 2.031588576008037e-05,
+      "loss": 2.1545,
+      "step": 625
+    },
+    {
+      "epoch": 0.8346666666666667,
+      "grad_norm": 0.30499363141797753,
+      "learning_rate": 2.0288389353258472e-05,
+      "loss": 1.5127,
+      "step": 626
+    },
+    {
+      "epoch": 0.836,
+      "grad_norm": 0.2684417823787493,
+      "learning_rate": 2.0260875876545143e-05,
+      "loss": 2.0023,
+      "step": 627
+    },
+    {
+      "epoch": 0.8373333333333334,
+      "grad_norm": 0.2516342787990096,
+      "learning_rate": 2.023334545391181e-05,
+      "loss": 2.0876,
+      "step": 628
+    },
+    {
+      "epoch": 0.8386666666666667,
+      "grad_norm": 0.24835524471024745,
+      "learning_rate": 2.020579820940627e-05,
+      "loss": 2.3338,
+      "step": 629
+    },
+    {
+      "epoch": 0.84,
+      "grad_norm": 0.2924293489494813,
+      "learning_rate": 2.017823426715211e-05,
+      "loss": 1.7605,
+      "step": 630
+    },
+    {
+      "epoch": 0.8413333333333334,
+      "grad_norm": 0.25345366138782366,
+      "learning_rate": 2.015065375134815e-05,
+      "loss": 1.9219,
+      "step": 631
+    },
+    {
+      "epoch": 0.8426666666666667,
+      "grad_norm": 0.24060183599375579,
+      "learning_rate": 2.012305678626789e-05,
+      "loss": 2.3341,
+      "step": 632
+    },
+    {
+      "epoch": 0.844,
+      "grad_norm": 0.2316800771546595,
+      "learning_rate": 2.0095443496258953e-05,
+      "loss": 2.0673,
+      "step": 633
+    },
+    {
+      "epoch": 0.8453333333333334,
+      "grad_norm": 0.3113449745209023,
+      "learning_rate": 2.0067814005742517e-05,
+      "loss": 1.9076,
+      "step": 634
+    },
+    {
+      "epoch": 0.8466666666666667,
+      "grad_norm": 0.21679721097416102,
+      "learning_rate": 2.0040168439212754e-05,
+      "loss": 2.1241,
+      "step": 635
+    },
+    {
+      "epoch": 0.848,
+      "grad_norm": 0.27840250380366915,
+      "learning_rate": 2.0012506921236264e-05,
+      "loss": 2.1016,
+      "step": 636
+    },
+    {
+      "epoch": 0.8493333333333334,
+      "grad_norm": 0.3000281269524226,
+      "learning_rate": 1.998482957645155e-05,
+      "loss": 1.6949,
+      "step": 637
+    },
+    {
+      "epoch": 0.8506666666666667,
+      "grad_norm": 0.28890418696627373,
+      "learning_rate": 1.9957136529568405e-05,
+      "loss": 2.1754,
+      "step": 638
+    },
+    {
+      "epoch": 0.852,
+      "grad_norm": 0.2163771072442336,
+      "learning_rate": 1.9929427905367374e-05,
+      "loss": 2.1617,
+      "step": 639
+    },
+    {
+      "epoch": 0.8533333333333334,
+      "grad_norm": 0.2904060128108346,
+      "learning_rate": 1.990170382869919e-05,
+      "loss": 2.2918,
+      "step": 640
+    },
+    {
+      "epoch": 0.8546666666666667,
+      "grad_norm": 0.20072557669453545,
+      "learning_rate": 1.9873964424484227e-05,
+      "loss": 2.0668,
+      "step": 641
+    },
+    {
+      "epoch": 0.856,
+      "grad_norm": 0.3527526034064076,
+      "learning_rate": 1.9846209817711914e-05,
+      "loss": 1.8876,
+      "step": 642
+    },
+    {
+      "epoch": 0.8573333333333333,
+      "grad_norm": 0.23763986045736873,
+      "learning_rate": 1.981844013344017e-05,
+      "loss": 1.781,
+      "step": 643
+    },
+    {
+      "epoch": 0.8586666666666667,
+      "grad_norm": 0.21489806291743502,
+      "learning_rate": 1.9790655496794863e-05,
+      "loss": 2.2248,
+      "step": 644
+    },
+    {
+      "epoch": 0.86,
+      "grad_norm": 0.24292053657186655,
+      "learning_rate": 1.9762856032969236e-05,
+      "loss": 1.8312,
+      "step": 645
+    },
+    {
+      "epoch": 0.8613333333333333,
+      "grad_norm": 0.4263248070646629,
+      "learning_rate": 1.9735041867223335e-05,
+      "loss": 1.7282,
+      "step": 646
+    },
+    {
+      "epoch": 0.8626666666666667,
+      "grad_norm": 0.28804393148108814,
+      "learning_rate": 1.9707213124883447e-05,
+      "loss": 1.8168,
+      "step": 647
+    },
+    {
+      "epoch": 0.864,
+      "grad_norm": 0.21708602786361048,
+      "learning_rate": 1.9679369931341543e-05,
+      "loss": 2.0466,
+      "step": 648
+    },
+    {
+      "epoch": 0.8653333333333333,
+      "grad_norm": 0.20885473673865412,
+      "learning_rate": 1.9651512412054725e-05,
+      "loss": 2.0116,
+      "step": 649
+    },
+    {
+      "epoch": 0.8666666666666667,
+      "grad_norm": 0.2371365200294707,
+      "learning_rate": 1.9623640692544613e-05,
+      "loss": 2.1401,
+      "step": 650
+    },
+    {
+      "epoch": 0.868,
+      "grad_norm": 0.27036686070912347,
+      "learning_rate": 1.959575489839683e-05,
+      "loss": 2.2254,
+      "step": 651
+    },
+    {
+      "epoch": 0.8693333333333333,
+      "grad_norm": 0.2656271581073266,
+      "learning_rate": 1.9567855155260417e-05,
+      "loss": 2.0191,
+      "step": 652
+    },
+    {
+      "epoch": 0.8706666666666667,
+      "grad_norm": 0.31977088649285085,
+      "learning_rate": 1.953994158884726e-05,
+      "loss": 1.3226,
+      "step": 653
+    },
+    {
+      "epoch": 0.872,
+      "grad_norm": 0.23499784965778608,
+      "learning_rate": 1.951201432493154e-05,
+      "loss": 2.0321,
+      "step": 654
+    },
+    {
+      "epoch": 0.8733333333333333,
+      "grad_norm": 0.2989037712179273,
+      "learning_rate": 1.9484073489349157e-05,
+      "loss": 1.8174,
+      "step": 655
+    },
+    {
+      "epoch": 0.8746666666666667,
+      "grad_norm": 0.1907026135101038,
+      "learning_rate": 1.9456119207997136e-05,
+      "loss": 2.1994,
+      "step": 656
+    },
+    {
+      "epoch": 0.876,
+      "grad_norm": 0.24157807527538896,
+      "learning_rate": 1.9428151606833134e-05,
+      "loss": 2.1192,
+      "step": 657
+    },
+    {
+      "epoch": 0.8773333333333333,
+      "grad_norm": 0.30146394289080436,
+      "learning_rate": 1.940017081187478e-05,
+      "loss": 2.1053,
+      "step": 658
+    },
+    {
+      "epoch": 0.8786666666666667,
+      "grad_norm": 0.2929115666855541,
+      "learning_rate": 1.9372176949199183e-05,
+      "loss": 1.9694,
+      "step": 659
+    },
+    {
+      "epoch": 0.88,
+      "grad_norm": 0.297331189682287,
+      "learning_rate": 1.9344170144942304e-05,
+      "loss": 2.3715,
+      "step": 660
+    },
+    {
+      "epoch": 0.8813333333333333,
+      "grad_norm": 0.2636717496143045,
+      "learning_rate": 1.9316150525298453e-05,
+      "loss": 2.1051,
+      "step": 661
+    },
+    {
+      "epoch": 0.8826666666666667,
+      "grad_norm": 0.20257245897176998,
+      "learning_rate": 1.9288118216519658e-05,
+      "loss": 2.0737,
+      "step": 662
+    },
+    {
+      "epoch": 0.884,
+      "grad_norm": 0.25587322034193244,
+      "learning_rate": 1.9260073344915128e-05,
+      "loss": 2.0938,
+      "step": 663
+    },
+    {
+      "epoch": 0.8853333333333333,
+      "grad_norm": 0.28792567581429684,
+      "learning_rate": 1.9232016036850682e-05,
+      "loss": 2.02,
+      "step": 664
+    },
+    {
+      "epoch": 0.8866666666666667,
+      "grad_norm": 0.22585505321906343,
+      "learning_rate": 1.9203946418748173e-05,
+      "loss": 2.1266,
+      "step": 665
+    },
+    {
+      "epoch": 0.888,
+      "grad_norm": 0.27594378692442784,
+      "learning_rate": 1.9175864617084917e-05,
+      "loss": 1.7154,
+      "step": 666
+    },
+    {
+      "epoch": 0.8893333333333333,
+      "grad_norm": 0.21841749595708987,
+      "learning_rate": 1.9147770758393136e-05,
+      "loss": 1.9523,
+      "step": 667
+    },
+    {
+      "epoch": 0.8906666666666667,
+      "grad_norm": 0.2660228447881722,
+      "learning_rate": 1.9119664969259365e-05,
+      "loss": 2.1537,
+      "step": 668
+    },
+    {
+      "epoch": 0.892,
+      "grad_norm": 0.32185520369837134,
+      "learning_rate": 1.9091547376323925e-05,
+      "loss": 1.8394,
+      "step": 669
+    },
+    {
+      "epoch": 0.8933333333333333,
+      "grad_norm": 0.276204895027196,
+      "learning_rate": 1.9063418106280284e-05,
+      "loss": 2.1844,
+      "step": 670
+    },
+    {
+      "epoch": 0.8946666666666667,
+      "grad_norm": 0.2701444210930779,
+      "learning_rate": 1.9035277285874552e-05,
+      "loss": 1.9599,
+      "step": 671
+    },
+    {
+      "epoch": 0.896,
+      "grad_norm": 0.3114461456421439,
+      "learning_rate": 1.900712504190488e-05,
+      "loss": 1.8502,
+      "step": 672
+    },
+    {
+      "epoch": 0.8973333333333333,
+      "grad_norm": 0.30217698469471216,
+      "learning_rate": 1.897896150122088e-05,
+      "loss": 2.0576,
+      "step": 673
+    },
+    {
+      "epoch": 0.8986666666666666,
+      "grad_norm": 0.2877043601768791,
+      "learning_rate": 1.895078679072308e-05,
+      "loss": 2.0009,
+      "step": 674
+    },
+    {
+      "epoch": 0.9,
+      "grad_norm": 0.29018782911949664,
+      "learning_rate": 1.8922601037362325e-05,
+      "loss": 1.8392,
+      "step": 675
+    },
+    {
+      "epoch": 0.9,
+      "eval_loss": 1.7283107042312622,
+      "eval_runtime": 98.936,
+      "eval_samples_per_second": 1.011,
+      "eval_steps_per_second": 0.253,
+      "step": 675
+    },
+    {
+      "epoch": 0.9013333333333333,
+      "grad_norm": 0.2774654866858924,
+      "learning_rate": 1.889440436813922e-05,
+      "loss": 2.0282,
+      "step": 676
+    },
+    {
+      "epoch": 0.9026666666666666,
+      "grad_norm": 0.29144370704709627,
+      "learning_rate": 1.8866196910103564e-05,
+      "loss": 1.9525,
+      "step": 677
+    },
+    {
+      "epoch": 0.904,
+      "grad_norm": 0.262971024150831,
+      "learning_rate": 1.8837978790353763e-05,
+      "loss": 1.8053,
+      "step": 678
+    },
+    {
+      "epoch": 0.9053333333333333,
+      "grad_norm": 0.3499809731358237,
+      "learning_rate": 1.8809750136036257e-05,
+      "loss": 1.7736,
+      "step": 679
+    },
+    {
+      "epoch": 0.9066666666666666,
+      "grad_norm": 0.2529410842266655,
+      "learning_rate": 1.8781511074344966e-05,
+      "loss": 2.0712,
+      "step": 680
+    },
+    {
+      "epoch": 0.908,
+      "grad_norm": 0.24755888510667792,
+      "learning_rate": 1.8753261732520688e-05,
+      "loss": 1.9669,
+      "step": 681
+    },
+    {
+      "epoch": 0.9093333333333333,
+      "grad_norm": 0.2506541249054586,
+      "learning_rate": 1.8725002237850555e-05,
+      "loss": 2.0211,
+      "step": 682
+    },
+    {
+      "epoch": 0.9106666666666666,
+      "grad_norm": 0.25295097069732875,
+      "learning_rate": 1.869673271766744e-05,
+      "loss": 1.9912,
+      "step": 683
+    },
+    {
+      "epoch": 0.912,
+      "grad_norm": 0.2366413129636617,
+      "learning_rate": 1.8668453299349393e-05,
+      "loss": 2.249,
+      "step": 684
+    },
+    {
+      "epoch": 0.9133333333333333,
+      "grad_norm": 0.23066751808553923,
+      "learning_rate": 1.864016411031906e-05,
+      "loss": 2.0459,
+      "step": 685
+    },
+    {
+      "epoch": 0.9146666666666666,
+      "grad_norm": 0.25882904111576405,
+      "learning_rate": 1.861186527804312e-05,
+      "loss": 2.0938,
+      "step": 686
+    },
+    {
+      "epoch": 0.916,
+      "grad_norm": 0.24168151444542277,
+      "learning_rate": 1.8583556930031685e-05,
+      "loss": 1.859,
+      "step": 687
+    },
+    {
+      "epoch": 0.9173333333333333,
+      "grad_norm": 0.33840150667952723,
+      "learning_rate": 1.8555239193837755e-05,
+      "loss": 1.9705,
+      "step": 688
+    },
+    {
+      "epoch": 0.9186666666666666,
+      "grad_norm": 0.30896264686320224,
+      "learning_rate": 1.8526912197056645e-05,
+      "loss": 2.1068,
+      "step": 689
+    },
+    {
+      "epoch": 0.92,
+      "grad_norm": 0.2665802427661005,
+      "learning_rate": 1.8498576067325377e-05,
+      "loss": 2.0479,
+      "step": 690
+    },
+    {
+      "epoch": 0.9213333333333333,
+      "grad_norm": 0.2971360163977456,
+      "learning_rate": 1.8470230932322125e-05,
+      "loss": 1.9619,
+      "step": 691
+    },
+    {
+      "epoch": 0.9226666666666666,
+      "grad_norm": 0.3140316296499423,
+      "learning_rate": 1.8441876919765645e-05,
+      "loss": 1.7834,
+      "step": 692
+    },
+    {
+      "epoch": 0.924,
+      "grad_norm": 0.2305606363074752,
+      "learning_rate": 1.841351415741471e-05,
+      "loss": 2.3564,
+      "step": 693
+    },
+    {
+      "epoch": 0.9253333333333333,
+      "grad_norm": 0.2206539104945154,
+      "learning_rate": 1.838514277306749e-05,
+      "loss": 2.0796,
+      "step": 694
+    },
+    {
+      "epoch": 0.9266666666666666,
+      "grad_norm": 0.32447668207860636,
+      "learning_rate": 1.835676289456102e-05,
+      "loss": 2.2334,
+      "step": 695
+    },
+    {
+      "epoch": 0.928,
+      "grad_norm": 0.23926117145357859,
+      "learning_rate": 1.8328374649770596e-05,
+      "loss": 2.3122,
+      "step": 696
+    },
+    {
+      "epoch": 0.9293333333333333,
+      "grad_norm": 0.2047780984135103,
+      "learning_rate": 1.8299978166609237e-05,
+      "loss": 2.2805,
+      "step": 697
+    },
+    {
+      "epoch": 0.9306666666666666,
+      "grad_norm": 0.24587779543837684,
+      "learning_rate": 1.8271573573027055e-05,
+      "loss": 2.179,
+      "step": 698
+    },
+    {
+      "epoch": 0.932,
+      "grad_norm": 0.26659663594288746,
+      "learning_rate": 1.8243160997010717e-05,
+      "loss": 2.1311,
+      "step": 699
+    },
+    {
+      "epoch": 0.9333333333333333,
+      "grad_norm": 0.3180460746897731,
+      "learning_rate": 1.8214740566582862e-05,
+      "loss": 1.7462,
+      "step": 700
+    },
+    {
+      "epoch": 0.9346666666666666,
+      "grad_norm": 0.3244069800490076,
+      "learning_rate": 1.818631240980152e-05,
+      "loss": 2.061,
+      "step": 701
+    },
+    {
+      "epoch": 0.936,
+      "grad_norm": 0.23991437881187513,
+      "learning_rate": 1.8157876654759523e-05,
+      "loss": 2.2894,
+      "step": 702
+    },
+    {
+      "epoch": 0.9373333333333334,
+      "grad_norm": 0.25976180285572664,
+      "learning_rate": 1.812943342958395e-05,
+      "loss": 1.9891,
+      "step": 703
+    },
+    {
+      "epoch": 0.9386666666666666,
+      "grad_norm": 0.2927786905426986,
+      "learning_rate": 1.8100982862435543e-05,
+      "loss": 1.6884,
+      "step": 704
+    },
+    {
+      "epoch": 0.94,
+      "grad_norm": 0.2756703449103029,
+      "learning_rate": 1.8072525081508102e-05,
+      "loss": 1.8145,
+      "step": 705
+    },
+    {
+      "epoch": 0.9413333333333334,
+      "grad_norm": 0.2524822863680491,
+      "learning_rate": 1.804406021502797e-05,
+      "loss": 2.0691,
+      "step": 706
+    },
+    {
+      "epoch": 0.9426666666666667,
+      "grad_norm": 0.2903981526285958,
+      "learning_rate": 1.8015588391253376e-05,
+      "loss": 2.0226,
+      "step": 707
+    },
+    {
+      "epoch": 0.944,
+      "grad_norm": 0.27041828258282025,
+      "learning_rate": 1.7987109738473926e-05,
+      "loss": 2.0153,
+      "step": 708
+    },
+    {
+      "epoch": 0.9453333333333334,
+      "grad_norm": 0.22968438052449883,
+      "learning_rate": 1.795862438500999e-05,
+      "loss": 2.1728,
+      "step": 709
+    },
+    {
+      "epoch": 0.9466666666666667,
+      "grad_norm": 0.26581445298970097,
+      "learning_rate": 1.793013245921212e-05,
+      "loss": 2.1602,
+      "step": 710
+    },
+    {
+      "epoch": 0.948,
+      "grad_norm": 0.22756906936903462,
+      "learning_rate": 1.7901634089460487e-05,
+      "loss": 2.1154,
+      "step": 711
+    },
+    {
+      "epoch": 0.9493333333333334,
+      "grad_norm": 0.22711425075649078,
+      "learning_rate": 1.7873129404164308e-05,
+      "loss": 1.8598,
+      "step": 712
+    },
+    {
+      "epoch": 0.9506666666666667,
+      "grad_norm": 0.28129424152776866,
+      "learning_rate": 1.7844618531761244e-05,
+      "loss": 2.1648,
+      "step": 713
+    },
+    {
+      "epoch": 0.952,
+      "grad_norm": 0.2298281596591105,
+      "learning_rate": 1.7816101600716833e-05,
+      "loss": 2.1483,
+      "step": 714
+    },
+    {
+      "epoch": 0.9533333333333334,
+      "grad_norm": 0.3004309245970193,
+      "learning_rate": 1.7787578739523923e-05,
+      "loss": 2.0662,
+      "step": 715
+    },
+    {
+      "epoch": 0.9546666666666667,
+      "grad_norm": 0.27654071062372865,
+      "learning_rate": 1.775905007670208e-05,
+      "loss": 2.1161,
+      "step": 716
+    },
+    {
+      "epoch": 0.956,
+      "grad_norm": 0.22989967300260372,
+      "learning_rate": 1.7730515740797e-05,
+      "loss": 2.0016,
+      "step": 717
+    },
+    {
+      "epoch": 0.9573333333333334,
+      "grad_norm": 0.2778791260401236,
+      "learning_rate": 1.770197586037996e-05,
+      "loss": 1.9537,
+      "step": 718
+    },
+    {
+      "epoch": 0.9586666666666667,
+      "grad_norm": 0.2557980442255431,
+      "learning_rate": 1.76734305640472e-05,
+      "loss": 2.0411,
+      "step": 719
+    },
+    {
+      "epoch": 0.96,
+      "grad_norm": 0.2505533612029743,
+      "learning_rate": 1.7644879980419376e-05,
+      "loss": 2.1485,
+      "step": 720
+    },
+    {
+      "epoch": 0.9613333333333334,
+      "grad_norm": 0.22147869907546439,
+      "learning_rate": 1.761632423814096e-05,
+      "loss": 2.2138,
+      "step": 721
+    },
+    {
+      "epoch": 0.9626666666666667,
+      "grad_norm": 0.3947764881731842,
+      "learning_rate": 1.758776346587968e-05,
+      "loss": 1.6291,
+      "step": 722
+    },
+    {
+      "epoch": 0.964,
+      "grad_norm": 0.27811070842439584,
+      "learning_rate": 1.755919779232591e-05,
+      "loss": 2.2304,
+      "step": 723
+    },
+    {
+      "epoch": 0.9653333333333334,
+      "grad_norm": 0.3593323666511308,
+      "learning_rate": 1.753062734619212e-05,
+      "loss": 1.8454,
+      "step": 724
+    },
+    {
+      "epoch": 0.9666666666666667,
+      "grad_norm": 0.2745515781953686,
+      "learning_rate": 1.7502052256212296e-05,
+      "loss": 2.0281,
+      "step": 725
+    },
+    {
+      "epoch": 0.968,
+      "grad_norm": 0.2046643868313138,
+      "learning_rate": 1.7473472651141323e-05,
+      "loss": 2.3229,
+      "step": 726
+    },
+    {
+      "epoch": 0.9693333333333334,
+      "grad_norm": 0.31886434641532524,
+      "learning_rate": 1.7444888659754444e-05,
+      "loss": 2.1312,
+      "step": 727
+    },
+    {
+      "epoch": 0.9706666666666667,
+      "grad_norm": 0.35362183848853807,
+      "learning_rate": 1.741630041084667e-05,
+      "loss": 1.9622,
+      "step": 728
+    },
+    {
+      "epoch": 0.972,
+      "grad_norm": 0.3245155267313425,
+      "learning_rate": 1.738770803323219e-05,
+      "loss": 1.4596,
+      "step": 729
+    },
+    {
+      "epoch": 0.9733333333333334,
+      "grad_norm": 0.25853346763135837,
+      "learning_rate": 1.7359111655743798e-05,
+      "loss": 2.1136,
+      "step": 730
+    },
+    {
+      "epoch": 0.9746666666666667,
+      "grad_norm": 0.3038496321594881,
+      "learning_rate": 1.7330511407232302e-05,
+      "loss": 1.8634,
+      "step": 731
+    },
+    {
+      "epoch": 0.976,
+      "grad_norm": 0.23538899482596334,
+      "learning_rate": 1.730190741656597e-05,
+      "loss": 1.8893,
+      "step": 732
+    },
+    {
+      "epoch": 0.9773333333333334,
+      "grad_norm": 0.2872056344414096,
+      "learning_rate": 1.727329981262991e-05,
+      "loss": 1.7375,
+      "step": 733
+    },
+    {
+      "epoch": 0.9786666666666667,
+      "grad_norm": 0.2642485833575652,
+      "learning_rate": 1.7244688724325536e-05,
+      "loss": 2.0013,
+      "step": 734
+    },
+    {
+      "epoch": 0.98,
+      "grad_norm": 0.2838100854362413,
+      "learning_rate": 1.7216074280569945e-05,
+      "loss": 2.3048,
+      "step": 735
+    },
+    {
+      "epoch": 0.9813333333333333,
+      "grad_norm": 0.2657031716971977,
+      "learning_rate": 1.718745661029535e-05,
+      "loss": 1.8112,
+      "step": 736
+    },
+    {
+      "epoch": 0.9826666666666667,
+      "grad_norm": 0.22906815346533607,
+      "learning_rate": 1.7158835842448515e-05,
+      "loss": 1.8842,
+      "step": 737
+    },
+    {
+      "epoch": 0.984,
+      "grad_norm": 0.2499425224075748,
+      "learning_rate": 1.713021210599015e-05,
+      "loss": 2.1006,
+      "step": 738
+    },
+    {
+      "epoch": 0.9853333333333333,
+      "grad_norm": 0.2562346799805699,
+      "learning_rate": 1.7101585529894354e-05,
+      "loss": 2.1199,
+      "step": 739
+    },
+    {
+      "epoch": 0.9866666666666667,
+      "grad_norm": 0.3278925670543795,
+      "learning_rate": 1.7072956243148004e-05,
+      "loss": 2.0009,
+      "step": 740
+    },
+    {
+      "epoch": 0.988,
+      "grad_norm": 0.3486258540168203,
+      "learning_rate": 1.7044324374750206e-05,
+      "loss": 1.8149,
+      "step": 741
+    },
+    {
+      "epoch": 0.9893333333333333,
+      "grad_norm": 0.2851088241581159,
+      "learning_rate": 1.701569005371169e-05,
+      "loss": 2.0202,
+      "step": 742
+    },
+    {
+      "epoch": 0.9906666666666667,
+      "grad_norm": 0.26526386846134503,
+      "learning_rate": 1.6987053409054237e-05,
+      "loss": 1.7675,
+      "step": 743
+    },
+    {
+      "epoch": 0.992,
+      "grad_norm": 0.17202211624510527,
+      "learning_rate": 1.6958414569810107e-05,
+      "loss": 2.2223,
+      "step": 744
+    },
+    {
+      "epoch": 0.9933333333333333,
+      "grad_norm": 0.2439839318014851,
+      "learning_rate": 1.6929773665021445e-05,
+      "loss": 1.7533,
+      "step": 745
+    },
+    {
+      "epoch": 0.9946666666666667,
+      "grad_norm": 0.26622561219986507,
+      "learning_rate": 1.690113082373969e-05,
+      "loss": 2.3387,
+      "step": 746
+    },
+    {
+      "epoch": 0.996,
+      "grad_norm": 0.2913645514245591,
+      "learning_rate": 1.6872486175025013e-05,
+      "loss": 1.8812,
+      "step": 747
+    },
+    {
+      "epoch": 0.9973333333333333,
+      "grad_norm": 0.3210554827163261,
+      "learning_rate": 1.684383984794574e-05,
+      "loss": 1.9714,
+      "step": 748
+    },
+    {
+      "epoch": 0.9986666666666667,
+      "grad_norm": 0.24511779664842132,
+      "learning_rate": 1.6815191971577758e-05,
+      "loss": 1.9085,
+      "step": 749
+    },
+    {
+      "epoch": 1.0,
+      "grad_norm": 0.29198350426636027,
+      "learning_rate": 1.6786542675003918e-05,
+      "loss": 1.7018,
+      "step": 750
+    },
+    {
+      "epoch": 1.0,
+      "eval_loss": 1.7271106243133545,
+      "eval_runtime": 98.6847,
+      "eval_samples_per_second": 1.013,
+      "eval_steps_per_second": 0.253,
+      "step": 750
+    }
+  ],
+  "logging_steps": 1,
+  "max_steps": 1500,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 2,
+  "save_steps": 375,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": false
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 174550155264000.0,
+  "train_batch_size": 1,
+  "trial_name": null,
+  "trial_params": null
+}