diff --git "a/checkpoint-1500/trainer_state.json" "b/checkpoint-1500/trainer_state.json"
new file mode 100644--- /dev/null
+++ "b/checkpoint-1500/trainer_state.json"
@@ -0,0 +1,10701 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 1.9986666666666668,
+  "eval_steps": 75,
+  "global_step": 1500,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.0013333333333333333,
+      "grad_norm": 5.494853571957073,
+      "learning_rate": 1.5e-06,
+      "loss": 2.2794,
+      "step": 1
+    },
+    {
+      "epoch": 0.0013333333333333333,
+      "eval_loss": 1.8317261934280396,
+      "eval_runtime": 98.252,
+      "eval_samples_per_second": 1.018,
+      "eval_steps_per_second": 0.254,
+      "step": 1
+    },
+    {
+      "epoch": 0.0026666666666666666,
+      "grad_norm": 0.4396391591358924,
+      "learning_rate": 3e-06,
+      "loss": 2.2089,
+      "step": 2
+    },
+    {
+      "epoch": 0.004,
+      "grad_norm": 0.6704432458412378,
+      "learning_rate": 4.5e-06,
+      "loss": 2.3789,
+      "step": 3
+    },
+    {
+      "epoch": 0.005333333333333333,
+      "grad_norm": 0.5524719828039701,
+      "learning_rate": 6e-06,
+      "loss": 1.9508,
+      "step": 4
+    },
+    {
+      "epoch": 0.006666666666666667,
+      "grad_norm": 1.551345196476793,
+      "learning_rate": 7.5e-06,
+      "loss": 2.3302,
+      "step": 5
+    },
+    {
+      "epoch": 0.008,
+      "grad_norm": 1.4425623787692365,
+      "learning_rate": 9e-06,
+      "loss": 2.4649,
+      "step": 6
+    },
+    {
+      "epoch": 0.009333333333333334,
+      "grad_norm": 1.9558403413673842,
+      "learning_rate": 1.05e-05,
+      "loss": 2.5318,
+      "step": 7
+    },
+    {
+      "epoch": 0.010666666666666666,
+      "grad_norm": 0.6930931382639645,
+      "learning_rate": 1.2e-05,
+      "loss": 1.9398,
+      "step": 8
+    },
+    {
+      "epoch": 0.012,
+      "grad_norm": 0.40522998481846323,
+      "learning_rate": 1.3500000000000001e-05,
+      "loss": 2.4355,
+      "step": 9
+    },
+    {
+      "epoch": 0.013333333333333334,
+      "grad_norm": 2.194079323679347,
+      "learning_rate": 1.5e-05,
+      "loss": 2.3417,
+      "step": 10
+    },
+    {
+      "epoch": 0.014666666666666666,
+      "grad_norm": 2.5436460717739156,
+      "learning_rate": 1.65e-05,
+      "loss": 2.4571,
+      "step": 11
+    },
+    {
+      "epoch": 0.016,
+      "grad_norm": 1.9496092240793341,
+      "learning_rate": 1.8e-05,
+      "loss": 1.9637,
+      "step": 12
+    },
+    {
+      "epoch": 0.017333333333333333,
+      "grad_norm": 1.2616722727237577,
+      "learning_rate": 1.95e-05,
+      "loss": 2.5866,
+      "step": 13
+    },
+    {
+      "epoch": 0.018666666666666668,
+      "grad_norm": 0.3060862022495338,
+      "learning_rate": 2.1e-05,
+      "loss": 2.1547,
+      "step": 14
+    },
+    {
+      "epoch": 0.02,
+      "grad_norm": 0.5028816367161089,
+      "learning_rate": 2.25e-05,
+      "loss": 1.8957,
+      "step": 15
+    },
+    {
+      "epoch": 0.021333333333333333,
+      "grad_norm": 0.5034069784636721,
+      "learning_rate": 2.4e-05,
+      "loss": 2.1151,
+      "step": 16
+    },
+    {
+      "epoch": 0.02266666666666667,
+      "grad_norm": 1.5564960276262187,
+      "learning_rate": 2.55e-05,
+      "loss": 2.3041,
+      "step": 17
+    },
+    {
+      "epoch": 0.024,
+      "grad_norm": 0.4958603020666427,
+      "learning_rate": 2.7000000000000002e-05,
+      "loss": 2.0962,
+      "step": 18
+    },
+    {
+      "epoch": 0.025333333333333333,
+      "grad_norm": 1.5362995691059922,
+      "learning_rate": 2.8499999999999998e-05,
+      "loss": 2.3989,
+      "step": 19
+    },
+    {
+      "epoch": 0.02666666666666667,
+      "grad_norm": 0.648652241685575,
+      "learning_rate": 3e-05,
+      "loss": 2.5339,
+      "step": 20
+    },
+    {
+      "epoch": 0.028,
+      "grad_norm": 0.554470724602306,
+      "learning_rate": 2.999996958555301e-05,
+      "loss": 2.4793,
+      "step": 21
+    },
+    {
+      "epoch": 0.029333333333333333,
+      "grad_norm": 1.3508987707917082,
+      "learning_rate": 2.999987834234907e-05,
+      "loss": 2.3167,
+      "step": 22
+    },
+    {
+      "epoch": 0.030666666666666665,
+      "grad_norm": 0.4599504691462346,
+      "learning_rate": 2.9999726270799325e-05,
+      "loss": 2.36,
+      "step": 23
+    },
+    {
+      "epoch": 0.032,
+      "grad_norm": 1.0007538870075432,
+      "learning_rate": 2.999951337158897e-05,
+      "loss": 2.2342,
+      "step": 24
+    },
+    {
+      "epoch": 0.03333333333333333,
+      "grad_norm": 0.8436818785690442,
+      "learning_rate": 2.9999239645677304e-05,
+      "loss": 2.2803,
+      "step": 25
+    },
+    {
+      "epoch": 0.034666666666666665,
+      "grad_norm": 0.37337797248642607,
+      "learning_rate": 2.9998905094297686e-05,
+      "loss": 2.188,
+      "step": 26
+    },
+    {
+      "epoch": 0.036,
+      "grad_norm": 0.16596641795830927,
+      "learning_rate": 2.9998509718957563e-05,
+      "loss": 2.105,
+      "step": 27
+    },
+    {
+      "epoch": 0.037333333333333336,
+      "grad_norm": 0.3163756174860874,
+      "learning_rate": 2.9998053521438427e-05,
+      "loss": 2.1819,
+      "step": 28
+    },
+    {
+      "epoch": 0.03866666666666667,
+      "grad_norm": 0.73179742586677,
+      "learning_rate": 2.9997536503795834e-05,
+      "loss": 2.2281,
+      "step": 29
+    },
+    {
+      "epoch": 0.04,
+      "grad_norm": 0.18793418314598326,
+      "learning_rate": 2.9996958668359386e-05,
+      "loss": 2.1174,
+      "step": 30
+    },
+    {
+      "epoch": 0.04133333333333333,
+      "grad_norm": 0.6403343407451153,
+      "learning_rate": 2.999632001773272e-05,
+      "loss": 2.3419,
+      "step": 31
+    },
+    {
+      "epoch": 0.042666666666666665,
+      "grad_norm": 0.2773466547599625,
+      "learning_rate": 2.9995620554793495e-05,
+      "loss": 1.9779,
+      "step": 32
+    },
+    {
+      "epoch": 0.044,
+      "grad_norm": 0.42992322954286805,
+      "learning_rate": 2.999486028269338e-05,
+      "loss": 1.891,
+      "step": 33
+    },
+    {
+      "epoch": 0.04533333333333334,
+      "grad_norm": 0.3880877285520559,
+      "learning_rate": 2.9994039204858043e-05,
+      "loss": 1.9488,
+      "step": 34
+    },
+    {
+      "epoch": 0.04666666666666667,
+      "grad_norm": 0.38995745148913935,
+      "learning_rate": 2.999315732498714e-05,
+      "loss": 2.5013,
+      "step": 35
+    },
+    {
+      "epoch": 0.048,
+      "grad_norm": 0.4228621926559084,
+      "learning_rate": 2.999221464705427e-05,
+      "loss": 2.1356,
+      "step": 36
+    },
+    {
+      "epoch": 0.04933333333333333,
+      "grad_norm": 0.4663890399818879,
+      "learning_rate": 2.9991211175307006e-05,
+      "loss": 2.155,
+      "step": 37
+    },
+    {
+      "epoch": 0.050666666666666665,
+      "grad_norm": 0.5287155786829871,
+      "learning_rate": 2.9990146914266826e-05,
+      "loss": 1.8496,
+      "step": 38
+    },
+    {
+      "epoch": 0.052,
+      "grad_norm": 0.33925018851926647,
+      "learning_rate": 2.9989021868729135e-05,
+      "loss": 2.1315,
+      "step": 39
+    },
+    {
+      "epoch": 0.05333333333333334,
+      "grad_norm": 0.16522140027488588,
+      "learning_rate": 2.99878360437632e-05,
+      "loss": 2.0977,
+      "step": 40
+    },
+    {
+      "epoch": 0.05466666666666667,
+      "grad_norm": 0.6355838754971164,
+      "learning_rate": 2.998658944471217e-05,
+      "loss": 2.1459,
+      "step": 41
+    },
+    {
+      "epoch": 0.056,
+      "grad_norm": 0.26447590316147407,
+      "learning_rate": 2.9985282077193026e-05,
+      "loss": 2.0833,
+      "step": 42
+    },
+    {
+      "epoch": 0.05733333333333333,
+      "grad_norm": 0.29258668895913753,
+      "learning_rate": 2.9983913947096563e-05,
+      "loss": 2.2603,
+      "step": 43
+    },
+    {
+      "epoch": 0.058666666666666666,
+      "grad_norm": 0.2920264557478038,
+      "learning_rate": 2.9982485060587357e-05,
+      "loss": 1.9828,
+      "step": 44
+    },
+    {
+      "epoch": 0.06,
+      "grad_norm": 0.3860467745966656,
+      "learning_rate": 2.9980995424103748e-05,
+      "loss": 2.4214,
+      "step": 45
+    },
+    {
+      "epoch": 0.06133333333333333,
+      "grad_norm": 0.5757512413804123,
+      "learning_rate": 2.9979445044357814e-05,
+      "loss": 2.212,
+      "step": 46
+    },
+    {
+      "epoch": 0.06266666666666666,
+      "grad_norm": 0.21304621427134704,
+      "learning_rate": 2.9977833928335316e-05,
+      "loss": 1.9271,
+      "step": 47
+    },
+    {
+      "epoch": 0.064,
+      "grad_norm": 0.3301257012003079,
+      "learning_rate": 2.9976162083295694e-05,
+      "loss": 2.0472,
+      "step": 48
+    },
+    {
+      "epoch": 0.06533333333333333,
+      "grad_norm": 0.3008211448973632,
+      "learning_rate": 2.9974429516772018e-05,
+      "loss": 2.4323,
+      "step": 49
+    },
+    {
+      "epoch": 0.06666666666666667,
+      "grad_norm": 0.26704445986476444,
+      "learning_rate": 2.997263623657097e-05,
+      "loss": 2.003,
+      "step": 50
+    },
+    {
+      "epoch": 0.068,
+      "grad_norm": 0.24343367493238866,
+      "learning_rate": 2.9970782250772786e-05,
+      "loss": 1.9911,
+      "step": 51
+    },
+    {
+      "epoch": 0.06933333333333333,
+      "grad_norm": 0.36868774906810614,
+      "learning_rate": 2.9968867567731233e-05,
+      "loss": 2.3312,
+      "step": 52
+    },
+    {
+      "epoch": 0.07066666666666667,
+      "grad_norm": 0.4346673091737939,
+      "learning_rate": 2.9966892196073583e-05,
+      "loss": 2.0461,
+      "step": 53
+    },
+    {
+      "epoch": 0.072,
+      "grad_norm": 0.27732062938320917,
+      "learning_rate": 2.996485614470054e-05,
+      "loss": 1.8782,
+      "step": 54
+    },
+    {
+      "epoch": 0.07333333333333333,
+      "grad_norm": 0.5044098714622329,
+      "learning_rate": 2.9962759422786248e-05,
+      "loss": 2.3024,
+      "step": 55
+    },
+    {
+      "epoch": 0.07466666666666667,
+      "grad_norm": 0.35584299953539106,
+      "learning_rate": 2.9960602039778196e-05,
+      "loss": 1.9019,
+      "step": 56
+    },
+    {
+      "epoch": 0.076,
+      "grad_norm": 0.25515628575898364,
+      "learning_rate": 2.995838400539723e-05,
+      "loss": 2.1745,
+      "step": 57
+    },
+    {
+      "epoch": 0.07733333333333334,
+      "grad_norm": 0.22266755698926835,
+      "learning_rate": 2.9956105329637454e-05,
+      "loss": 2.3572,
+      "step": 58
+    },
+    {
+      "epoch": 0.07866666666666666,
+      "grad_norm": 0.23590376658875728,
+      "learning_rate": 2.9953766022766228e-05,
+      "loss": 2.2639,
+      "step": 59
+    },
+    {
+      "epoch": 0.08,
+      "grad_norm": 0.19958974114647998,
+      "learning_rate": 2.9951366095324108e-05,
+      "loss": 2.2983,
+      "step": 60
+    },
+    {
+      "epoch": 0.08133333333333333,
+      "grad_norm": 0.26170668739549613,
+      "learning_rate": 2.994890555812479e-05,
+      "loss": 1.7797,
+      "step": 61
+    },
+    {
+      "epoch": 0.08266666666666667,
+      "grad_norm": 0.1947500638232896,
+      "learning_rate": 2.9946384422255074e-05,
+      "loss": 2.232,
+      "step": 62
+    },
+    {
+      "epoch": 0.084,
+      "grad_norm": 0.18048707660964908,
+      "learning_rate": 2.9943802699074796e-05,
+      "loss": 2.3487,
+      "step": 63
+    },
+    {
+      "epoch": 0.08533333333333333,
+      "grad_norm": 0.21913225188044025,
+      "learning_rate": 2.994116040021681e-05,
+      "loss": 2.1964,
+      "step": 64
+    },
+    {
+      "epoch": 0.08666666666666667,
+      "grad_norm": 0.4242826633242974,
+      "learning_rate": 2.9938457537586896e-05,
+      "loss": 2.3137,
+      "step": 65
+    },
+    {
+      "epoch": 0.088,
+      "grad_norm": 0.2557454392806272,
+      "learning_rate": 2.9935694123363727e-05,
+      "loss": 2.1458,
+      "step": 66
+    },
+    {
+      "epoch": 0.08933333333333333,
+      "grad_norm": 0.3093808768168103,
+      "learning_rate": 2.9932870169998825e-05,
+      "loss": 2.1153,
+      "step": 67
+    },
+    {
+      "epoch": 0.09066666666666667,
+      "grad_norm": 0.33819459397450213,
+      "learning_rate": 2.9929985690216478e-05,
+      "loss": 2.0772,
+      "step": 68
+    },
+    {
+      "epoch": 0.092,
+      "grad_norm": 0.21377958208808176,
+      "learning_rate": 2.9927040697013705e-05,
+      "loss": 2.1949,
+      "step": 69
+    },
+    {
+      "epoch": 0.09333333333333334,
+      "grad_norm": 0.2652218777029591,
+      "learning_rate": 2.9924035203660188e-05,
+      "loss": 2.0031,
+      "step": 70
+    },
+    {
+      "epoch": 0.09466666666666666,
+      "grad_norm": 0.23574741210798578,
+      "learning_rate": 2.9920969223698202e-05,
+      "loss": 1.9449,
+      "step": 71
+    },
+    {
+      "epoch": 0.096,
+      "grad_norm": 0.2226926959097067,
+      "learning_rate": 2.991784277094258e-05,
+      "loss": 2.031,
+      "step": 72
+    },
+    {
+      "epoch": 0.09733333333333333,
+      "grad_norm": 0.24814250998530846,
+      "learning_rate": 2.9914655859480632e-05,
+      "loss": 2.0921,
+      "step": 73
+    },
+    {
+      "epoch": 0.09866666666666667,
+      "grad_norm": 0.33914254917033065,
+      "learning_rate": 2.991140850367208e-05,
+      "loss": 2.2183,
+      "step": 74
+    },
+    {
+      "epoch": 0.1,
+      "grad_norm": 0.25867270370266443,
+      "learning_rate": 2.990810071814901e-05,
+      "loss": 1.6416,
+      "step": 75
+    },
+    {
+      "epoch": 0.1,
+      "eval_loss": 1.782590389251709,
+      "eval_runtime": 98.6583,
+      "eval_samples_per_second": 1.014,
+      "eval_steps_per_second": 0.253,
+      "step": 75
+    },
+    {
+      "epoch": 0.10133333333333333,
+      "grad_norm": 0.22920181089355457,
+      "learning_rate": 2.990473251781578e-05,
+      "loss": 2.1863,
+      "step": 76
+    },
+    {
+      "epoch": 0.10266666666666667,
+      "grad_norm": 0.18274633553603156,
+      "learning_rate": 2.9901303917848977e-05,
+      "loss": 2.2399,
+      "step": 77
+    },
+    {
+      "epoch": 0.104,
+      "grad_norm": 0.18220877055008589,
+      "learning_rate": 2.9897814933697335e-05,
+      "loss": 1.9149,
+      "step": 78
+    },
+    {
+      "epoch": 0.10533333333333333,
+      "grad_norm": 0.2021601886002538,
+      "learning_rate": 2.9894265581081682e-05,
+      "loss": 2.199,
+      "step": 79
+    },
+    {
+      "epoch": 0.10666666666666667,
+      "grad_norm": 3.7616720925364286,
+      "learning_rate": 2.989065587599484e-05,
+      "loss": 2.1179,
+      "step": 80
+    },
+    {
+      "epoch": 0.108,
+      "grad_norm": 0.23407462358542114,
+      "learning_rate": 2.9886985834701577e-05,
+      "loss": 2.5661,
+      "step": 81
+    },
+    {
+      "epoch": 0.10933333333333334,
+      "grad_norm": 1.5338568979686038,
+      "learning_rate": 2.9883255473738523e-05,
+      "loss": 2.2263,
+      "step": 82
+    },
+    {
+      "epoch": 0.11066666666666666,
+      "grad_norm": 0.24500727274505268,
+      "learning_rate": 2.9879464809914113e-05,
+      "loss": 2.0621,
+      "step": 83
+    },
+    {
+      "epoch": 0.112,
+      "grad_norm": 0.21179059127462146,
+      "learning_rate": 2.987561386030848e-05,
+      "loss": 2.0356,
+      "step": 84
+    },
+    {
+      "epoch": 0.11333333333333333,
+      "grad_norm": 0.3306008087329227,
+      "learning_rate": 2.9871702642273404e-05,
+      "loss": 2.0848,
+      "step": 85
+    },
+    {
+      "epoch": 0.11466666666666667,
+      "grad_norm": 0.15657087812683942,
+      "learning_rate": 2.9867731173432215e-05,
+      "loss": 2.2127,
+      "step": 86
+    },
+    {
+      "epoch": 0.116,
+      "grad_norm": 0.1886500437129195,
+      "learning_rate": 2.9863699471679743e-05,
+      "loss": 1.9854,
+      "step": 87
+    },
+    {
+      "epoch": 0.11733333333333333,
+      "grad_norm": 0.22974349537556282,
+      "learning_rate": 2.9859607555182206e-05,
+      "loss": 2.1972,
+      "step": 88
+    },
+    {
+      "epoch": 0.11866666666666667,
+      "grad_norm": 0.2578002903522265,
+      "learning_rate": 2.9855455442377135e-05,
+      "loss": 2.1804,
+      "step": 89
+    },
+    {
+      "epoch": 0.12,
+      "grad_norm": 0.24109737247334548,
+      "learning_rate": 2.9851243151973314e-05,
+      "loss": 1.9523,
+      "step": 90
+    },
+    {
+      "epoch": 0.12133333333333333,
+      "grad_norm": 0.34121465203098633,
+      "learning_rate": 2.9846970702950653e-05,
+      "loss": 1.9493,
+      "step": 91
+    },
+    {
+      "epoch": 0.12266666666666666,
+      "grad_norm": 0.2069391899522312,
+      "learning_rate": 2.9842638114560144e-05,
+      "loss": 2.2207,
+      "step": 92
+    },
+    {
+      "epoch": 0.124,
+      "grad_norm": 0.41038744334249916,
+      "learning_rate": 2.9838245406323763e-05,
+      "loss": 2.0954,
+      "step": 93
+    },
+    {
+      "epoch": 0.12533333333333332,
+      "grad_norm": 0.2818876029106677,
+      "learning_rate": 2.9833792598034362e-05,
+      "loss": 2.063,
+      "step": 94
+    },
+    {
+      "epoch": 0.12666666666666668,
+      "grad_norm": 0.3963506275688602,
+      "learning_rate": 2.9829279709755597e-05,
+      "loss": 1.9915,
+      "step": 95
+    },
+    {
+      "epoch": 0.128,
+      "grad_norm": 0.3357399751778237,
+      "learning_rate": 2.9824706761821845e-05,
+      "loss": 2.0319,
+      "step": 96
+    },
+    {
+      "epoch": 0.12933333333333333,
+      "grad_norm": 0.2484694376564558,
+      "learning_rate": 2.9820073774838092e-05,
+      "loss": 1.9593,
+      "step": 97
+    },
+    {
+      "epoch": 0.13066666666666665,
+      "grad_norm": 0.28583010649806945,
+      "learning_rate": 2.9815380769679853e-05,
+      "loss": 2.0876,
+      "step": 98
+    },
+    {
+      "epoch": 0.132,
+      "grad_norm": 0.2839808516235786,
+      "learning_rate": 2.9810627767493083e-05,
+      "loss": 2.107,
+      "step": 99
+    },
+    {
+      "epoch": 0.13333333333333333,
+      "grad_norm": 0.22309498057469626,
+      "learning_rate": 2.9805814789694065e-05,
+      "loss": 2.3163,
+      "step": 100
+    },
+    {
+      "epoch": 0.13466666666666666,
+      "grad_norm": 0.21629704903995522,
+      "learning_rate": 2.9800941857969325e-05,
+      "loss": 1.9568,
+      "step": 101
+    },
+    {
+      "epoch": 0.136,
+      "grad_norm": 0.2498232144819958,
+      "learning_rate": 2.9796008994275533e-05,
+      "loss": 2.2436,
+      "step": 102
+    },
+    {
+      "epoch": 0.13733333333333334,
+      "grad_norm": 0.23251794806618262,
+      "learning_rate": 2.979101622083941e-05,
+      "loss": 2.1077,
+      "step": 103
+    },
+    {
+      "epoch": 0.13866666666666666,
+      "grad_norm": 0.27094215165929786,
+      "learning_rate": 2.978596356015761e-05,
+      "loss": 2.2429,
+      "step": 104
+    },
+    {
+      "epoch": 0.14,
+      "grad_norm": 0.23381976958310982,
+      "learning_rate": 2.978085103499663e-05,
+      "loss": 2.1045,
+      "step": 105
+    },
+    {
+      "epoch": 0.14133333333333334,
+      "grad_norm": 0.31137413672950875,
+      "learning_rate": 2.9775678668392713e-05,
+      "loss": 2.2828,
+      "step": 106
+    },
+    {
+      "epoch": 0.14266666666666666,
+      "grad_norm": 0.2510514954722372,
+      "learning_rate": 2.9770446483651735e-05,
+      "loss": 2.0488,
+      "step": 107
+    },
+    {
+      "epoch": 0.144,
+      "grad_norm": 0.20677625084575546,
+      "learning_rate": 2.976515450434911e-05,
+      "loss": 2.0007,
+      "step": 108
+    },
+    {
+      "epoch": 0.14533333333333334,
+      "grad_norm": 0.1441931078695141,
+      "learning_rate": 2.9759802754329665e-05,
+      "loss": 2.2914,
+      "step": 109
+    },
+    {
+      "epoch": 0.14666666666666667,
+      "grad_norm": 0.2505777324570115,
+      "learning_rate": 2.9754391257707555e-05,
+      "loss": 2.3766,
+      "step": 110
+    },
+    {
+      "epoch": 0.148,
+      "grad_norm": 0.15292718959769924,
+      "learning_rate": 2.9748920038866134e-05,
+      "loss": 2.0941,
+      "step": 111
+    },
+    {
+      "epoch": 0.14933333333333335,
+      "grad_norm": 0.323283263320876,
+      "learning_rate": 2.9743389122457864e-05,
+      "loss": 2.249,
+      "step": 112
+    },
+    {
+      "epoch": 0.15066666666666667,
+      "grad_norm": 0.18122528780601804,
+      "learning_rate": 2.9737798533404195e-05,
+      "loss": 2.225,
+      "step": 113
+    },
+    {
+      "epoch": 0.152,
+      "grad_norm": 0.1959413592260722,
+      "learning_rate": 2.9732148296895444e-05,
+      "loss": 2.2521,
+      "step": 114
+    },
+    {
+      "epoch": 0.15333333333333332,
+      "grad_norm": 0.3035240193818014,
+      "learning_rate": 2.9726438438390702e-05,
+      "loss": 1.8693,
+      "step": 115
+    },
+    {
+      "epoch": 0.15466666666666667,
+      "grad_norm": 0.18185372954938864,
+      "learning_rate": 2.9720668983617685e-05,
+      "loss": 1.7352,
+      "step": 116
+    },
+    {
+      "epoch": 0.156,
+      "grad_norm": 0.22324589503263917,
+      "learning_rate": 2.9714839958572674e-05,
+      "loss": 2.1327,
+      "step": 117
+    },
+    {
+      "epoch": 0.15733333333333333,
+      "grad_norm": 0.17640470731953065,
+      "learning_rate": 2.9708951389520338e-05,
+      "loss": 2.3011,
+      "step": 118
+    },
+    {
+      "epoch": 0.15866666666666668,
+      "grad_norm": 0.22566777150432568,
+      "learning_rate": 2.970300330299365e-05,
+      "loss": 2.2591,
+      "step": 119
+    },
+    {
+      "epoch": 0.16,
+      "grad_norm": 0.26753575405847074,
+      "learning_rate": 2.9696995725793764e-05,
+      "loss": 1.9764,
+      "step": 120
+    },
+    {
+      "epoch": 0.16133333333333333,
+      "grad_norm": 0.2625838791216609,
+      "learning_rate": 2.969092868498988e-05,
+      "loss": 2.0906,
+      "step": 121
+    },
+    {
+      "epoch": 0.16266666666666665,
+      "grad_norm": 0.23542440806071088,
+      "learning_rate": 2.9684802207919144e-05,
+      "loss": 2.331,
+      "step": 122
+    },
+    {
+      "epoch": 0.164,
+      "grad_norm": 0.16614596830245607,
+      "learning_rate": 2.9678616322186506e-05,
+      "loss": 2.0534,
+      "step": 123
+    },
+    {
+      "epoch": 0.16533333333333333,
+      "grad_norm": 0.2087450409416601,
+      "learning_rate": 2.9672371055664598e-05,
+      "loss": 2.3241,
+      "step": 124
+    },
+    {
+      "epoch": 0.16666666666666666,
+      "grad_norm": 0.19314135153093137,
+      "learning_rate": 2.9666066436493612e-05,
+      "loss": 2.0654,
+      "step": 125
+    },
+    {
+      "epoch": 0.168,
+      "grad_norm": 0.21431158762567906,
+      "learning_rate": 2.9659702493081184e-05,
+      "loss": 1.9973,
+      "step": 126
+    },
+    {
+      "epoch": 0.16933333333333334,
+      "grad_norm": 1.9808549742241428,
+      "learning_rate": 2.965327925410226e-05,
+      "loss": 2.0077,
+      "step": 127
+    },
+    {
+      "epoch": 0.17066666666666666,
+      "grad_norm": 0.26139018103307665,
+      "learning_rate": 2.9646796748498934e-05,
+      "loss": 2.0224,
+      "step": 128
+    },
+    {
+      "epoch": 0.172,
+      "grad_norm": 0.25005627301032396,
+      "learning_rate": 2.9640255005480376e-05,
+      "loss": 2.2725,
+      "step": 129
+    },
+    {
+      "epoch": 0.17333333333333334,
+      "grad_norm": 0.15880416331686953,
+      "learning_rate": 2.9633654054522655e-05,
+      "loss": 2.2907,
+      "step": 130
+    },
+    {
+      "epoch": 0.17466666666666666,
+      "grad_norm": 0.33529634494995547,
+      "learning_rate": 2.9626993925368635e-05,
+      "loss": 2.0113,
+      "step": 131
+    },
+    {
+      "epoch": 0.176,
+      "grad_norm": 0.28246655756719385,
+      "learning_rate": 2.9620274648027805e-05,
+      "loss": 1.6602,
+      "step": 132
+    },
+    {
+      "epoch": 0.17733333333333334,
+      "grad_norm": 0.19752740198982274,
+      "learning_rate": 2.96134962527762e-05,
+      "loss": 2.4049,
+      "step": 133
+    },
+    {
+      "epoch": 0.17866666666666667,
+      "grad_norm": 0.24132626803001633,
+      "learning_rate": 2.960665877015619e-05,
+      "loss": 1.9882,
+      "step": 134
+    },
+    {
+      "epoch": 0.18,
+      "grad_norm": 0.20387262050547844,
+      "learning_rate": 2.959976223097642e-05,
+      "loss": 2.1055,
+      "step": 135
+    },
+    {
+      "epoch": 0.18133333333333335,
+      "grad_norm": 0.1624504592181784,
+      "learning_rate": 2.9592806666311612e-05,
+      "loss": 2.0519,
+      "step": 136
+    },
+    {
+      "epoch": 0.18266666666666667,
+      "grad_norm": 0.17429829196685362,
+      "learning_rate": 2.958579210750246e-05,
+      "loss": 2.2465,
+      "step": 137
+    },
+    {
+      "epoch": 0.184,
+      "grad_norm": 0.20450521945125338,
+      "learning_rate": 2.9578718586155467e-05,
+      "loss": 2.0122,
+      "step": 138
+    },
+    {
+      "epoch": 0.18533333333333332,
+      "grad_norm": 0.25553899821370907,
+      "learning_rate": 2.9571586134142824e-05,
+      "loss": 1.9806,
+      "step": 139
+    },
+    {
+      "epoch": 0.18666666666666668,
+      "grad_norm": 0.18251828378522442,
+      "learning_rate": 2.956439478360224e-05,
+      "loss": 2.0153,
+      "step": 140
+    },
+    {
+      "epoch": 0.188,
+      "grad_norm": 0.27047669211119385,
+      "learning_rate": 2.9557144566936813e-05,
+      "loss": 2.3386,
+      "step": 141
+    },
+    {
+      "epoch": 0.18933333333333333,
+      "grad_norm": 0.25054213266869674,
+      "learning_rate": 2.9549835516814905e-05,
+      "loss": 1.8871,
+      "step": 142
+    },
+    {
+      "epoch": 0.19066666666666668,
+      "grad_norm": 0.2177646465341283,
+      "learning_rate": 2.9542467666169946e-05,
+      "loss": 1.9861,
+      "step": 143
+    },
+    {
+      "epoch": 0.192,
+      "grad_norm": 0.23131873734472552,
+      "learning_rate": 2.953504104820032e-05,
+      "loss": 2.2903,
+      "step": 144
+    },
+    {
+      "epoch": 0.19333333333333333,
+      "grad_norm": 0.19112449587530203,
+      "learning_rate": 2.9527555696369217e-05,
+      "loss": 2.079,
+      "step": 145
+    },
+    {
+      "epoch": 0.19466666666666665,
+      "grad_norm": 0.25269202301867255,
+      "learning_rate": 2.9520011644404457e-05,
+      "loss": 2.0033,
+      "step": 146
+    },
+    {
+      "epoch": 0.196,
+      "grad_norm": 0.27870777753889076,
+      "learning_rate": 2.9512408926298362e-05,
+      "loss": 2.0747,
+      "step": 147
+    },
+    {
+      "epoch": 0.19733333333333333,
+      "grad_norm": 0.2356849572111222,
+      "learning_rate": 2.9504747576307594e-05,
+      "loss": 1.9859,
+      "step": 148
+    },
+    {
+      "epoch": 0.19866666666666666,
+      "grad_norm": 0.24802404030831268,
+      "learning_rate": 2.9497027628953e-05,
+      "loss": 1.9636,
+      "step": 149
+    },
+    {
+      "epoch": 0.2,
+      "grad_norm": 0.2705817304080749,
+      "learning_rate": 2.9489249119019465e-05,
+      "loss": 2.3547,
+      "step": 150
+    },
+    {
+      "epoch": 0.2,
+      "eval_loss": 1.764258623123169,
+      "eval_runtime": 98.8204,
+      "eval_samples_per_second": 1.012,
+      "eval_steps_per_second": 0.253,
+      "step": 150
+    },
+    {
+      "epoch": 0.20133333333333334,
+      "grad_norm": 0.2582615198348039,
+      "learning_rate": 2.948141208155574e-05,
+      "loss": 2.0245,
+      "step": 151
+    },
+    {
+      "epoch": 0.20266666666666666,
+      "grad_norm": 0.4907789285423073,
+      "learning_rate": 2.9473516551874283e-05,
+      "loss": 2.0994,
+      "step": 152
+    },
+    {
+      "epoch": 0.204,
+      "grad_norm": 0.18922034328138926,
+      "learning_rate": 2.946556256555113e-05,
+      "loss": 2.323,
+      "step": 153
+    },
+    {
+      "epoch": 0.20533333333333334,
+      "grad_norm": 0.2033901054041812,
+      "learning_rate": 2.94575501584257e-05,
+      "loss": 2.0412,
+      "step": 154
+    },
+    {
+      "epoch": 0.20666666666666667,
+      "grad_norm": 0.44181703724009636,
+      "learning_rate": 2.9449479366600646e-05,
+      "loss": 2.0977,
+      "step": 155
+    },
+    {
+      "epoch": 0.208,
+      "grad_norm": 0.23299679001877052,
+      "learning_rate": 2.94413502264417e-05,
+      "loss": 2.1351,
+      "step": 156
+    },
+    {
+      "epoch": 0.20933333333333334,
+      "grad_norm": 0.1826511129435199,
+      "learning_rate": 2.94331627745775e-05,
+      "loss": 2.23,
+      "step": 157
+    },
+    {
+      "epoch": 0.21066666666666667,
+      "grad_norm": 0.21212768867139842,
+      "learning_rate": 2.9424917047899425e-05,
+      "loss": 2.1412,
+      "step": 158
+    },
+    {
+      "epoch": 0.212,
+      "grad_norm": 0.3826582810934168,
+      "learning_rate": 2.9416613083561428e-05,
+      "loss": 2.2128,
+      "step": 159
+    },
+    {
+      "epoch": 0.21333333333333335,
+      "grad_norm": 0.19962942232450726,
+      "learning_rate": 2.9408250918979886e-05,
+      "loss": 1.9778,
+      "step": 160
+    },
+    {
+      "epoch": 0.21466666666666667,
+      "grad_norm": 0.1694294631609089,
+      "learning_rate": 2.9399830591833407e-05,
+      "loss": 2.4602,
+      "step": 161
+    },
+    {
+      "epoch": 0.216,
+      "grad_norm": 0.2899013004381108,
+      "learning_rate": 2.9391352140062668e-05,
+      "loss": 1.9118,
+      "step": 162
+    },
+    {
+      "epoch": 0.21733333333333332,
+      "grad_norm": 0.23107679488781446,
+      "learning_rate": 2.9382815601870252e-05,
+      "loss": 2.0482,
+      "step": 163
+    },
+    {
+      "epoch": 0.21866666666666668,
+      "grad_norm": 0.21890406305674734,
+      "learning_rate": 2.9374221015720465e-05,
+      "loss": 2.041,
+      "step": 164
+    },
+    {
+      "epoch": 0.22,
+      "grad_norm": 0.23483748269482313,
+      "learning_rate": 2.9365568420339173e-05,
+      "loss": 2.2775,
+      "step": 165
+    },
+    {
+      "epoch": 0.22133333333333333,
+      "grad_norm": 0.2872971245253849,
+      "learning_rate": 2.9356857854713628e-05,
+      "loss": 1.9568,
+      "step": 166
+    },
+    {
+      "epoch": 0.22266666666666668,
+      "grad_norm": 0.2372348840011155,
+      "learning_rate": 2.9348089358092266e-05,
+      "loss": 2.262,
+      "step": 167
+    },
+    {
+      "epoch": 0.224,
+      "grad_norm": 0.36284791627622115,
+      "learning_rate": 2.9339262969984575e-05,
+      "loss": 2.083,
+      "step": 168
+    },
+    {
+      "epoch": 0.22533333333333333,
+      "grad_norm": 0.29336818899957795,
+      "learning_rate": 2.9330378730160882e-05,
+      "loss": 1.9668,
+      "step": 169
+    },
+    {
+      "epoch": 0.22666666666666666,
+      "grad_norm": 0.2201337837382957,
+      "learning_rate": 2.932143667865218e-05,
+      "loss": 2.2411,
+      "step": 170
+    },
+    {
+      "epoch": 0.228,
+      "grad_norm": 0.23312129174527574,
+      "learning_rate": 2.931243685574997e-05,
+      "loss": 1.7557,
+      "step": 171
+    },
+    {
+      "epoch": 0.22933333333333333,
+      "grad_norm": 0.2158943628320117,
+      "learning_rate": 2.930337930200603e-05,
+      "loss": 2.2391,
+      "step": 172
+    },
+    {
+      "epoch": 0.23066666666666666,
+      "grad_norm": 0.22961082626415702,
+      "learning_rate": 2.929426405823231e-05,
+      "loss": 1.983,
+      "step": 173
+    },
+    {
+      "epoch": 0.232,
+      "grad_norm": 0.1589890947108339,
+      "learning_rate": 2.9285091165500653e-05,
+      "loss": 2.2212,
+      "step": 174
+    },
+    {
+      "epoch": 0.23333333333333334,
+      "grad_norm": 0.3416891731513133,
+      "learning_rate": 2.9275860665142697e-05,
+      "loss": 2.151,
+      "step": 175
+    },
+    {
+      "epoch": 0.23466666666666666,
+      "grad_norm": 0.3116792178273567,
+      "learning_rate": 2.9266572598749632e-05,
+      "loss": 1.9779,
+      "step": 176
+    },
+    {
+      "epoch": 0.236,
+      "grad_norm": 0.2507975453340776,
+      "learning_rate": 2.925722700817204e-05,
+      "loss": 1.8828,
+      "step": 177
+    },
+    {
+      "epoch": 0.23733333333333334,
+      "grad_norm": 0.2679656189407352,
+      "learning_rate": 2.9247823935519685e-05,
+      "loss": 2.0387,
+      "step": 178
+    },
+    {
+      "epoch": 0.23866666666666667,
+      "grad_norm": 0.23989994031916193,
+      "learning_rate": 2.9238363423161357e-05,
+      "loss": 2.0543,
+      "step": 179
+    },
+    {
+      "epoch": 0.24,
+      "grad_norm": 0.1858192959656248,
+      "learning_rate": 2.9228845513724636e-05,
+      "loss": 2.1298,
+      "step": 180
+    },
+    {
+      "epoch": 0.24133333333333334,
+      "grad_norm": 0.2634790646951208,
+      "learning_rate": 2.921927025009575e-05,
+      "loss": 1.8913,
+      "step": 181
+    },
+    {
+      "epoch": 0.24266666666666667,
+      "grad_norm": 0.2022924360136422,
+      "learning_rate": 2.920963767541933e-05,
+      "loss": 2.125,
+      "step": 182
+    },
+    {
+      "epoch": 0.244,
+      "grad_norm": 0.2093674676298739,
+      "learning_rate": 2.919994783309827e-05,
+      "loss": 2.0787,
+      "step": 183
+    },
+    {
+      "epoch": 0.24533333333333332,
+      "grad_norm": 0.21965402179914853,
+      "learning_rate": 2.9190200766793476e-05,
+      "loss": 2.2001,
+      "step": 184
+    },
+    {
+      "epoch": 0.24666666666666667,
+      "grad_norm": 0.1853707607114335,
+      "learning_rate": 2.9180396520423712e-05,
+      "loss": 2.2625,
+      "step": 185
+    },
+    {
+      "epoch": 0.248,
+      "grad_norm": 0.16161978911997635,
+      "learning_rate": 2.9170535138165386e-05,
+      "loss": 2.1841,
+      "step": 186
+    },
+    {
+      "epoch": 0.24933333333333332,
+      "grad_norm": 0.3229805512119213,
+      "learning_rate": 2.9160616664452343e-05,
+      "loss": 2.3706,
+      "step": 187
+    },
+    {
+      "epoch": 0.25066666666666665,
+      "grad_norm": 0.2836753076906196,
+      "learning_rate": 2.915064114397568e-05,
+      "loss": 1.6237,
+      "step": 188
+    },
+    {
+      "epoch": 0.252,
+      "grad_norm": 0.2698172260057232,
+      "learning_rate": 2.9140608621683537e-05,
+      "loss": 1.6731,
+      "step": 189
+    },
+    {
+      "epoch": 0.25333333333333335,
+      "grad_norm": 0.19227100326585553,
+      "learning_rate": 2.913051914278089e-05,
+      "loss": 2.3641,
+      "step": 190
+    },
+    {
+      "epoch": 0.25466666666666665,
+      "grad_norm": 0.17075536856147475,
+      "learning_rate": 2.9120372752729364e-05,
+      "loss": 2.1405,
+      "step": 191
+    },
+    {
+      "epoch": 0.256,
+      "grad_norm": 0.18977706986071732,
+      "learning_rate": 2.9110169497247005e-05,
+      "loss": 2.2104,
+      "step": 192
+    },
+    {
+      "epoch": 0.25733333333333336,
+      "grad_norm": 0.19137759329665405,
+      "learning_rate": 2.909990942230809e-05,
+      "loss": 2.0225,
+      "step": 193
+    },
+    {
+      "epoch": 0.25866666666666666,
+      "grad_norm": 1.565607637042905,
+      "learning_rate": 2.9089592574142925e-05,
+      "loss": 1.8544,
+      "step": 194
+    },
+    {
+      "epoch": 0.26,
+      "grad_norm": 0.19540116729751783,
+      "learning_rate": 2.9079218999237602e-05,
+      "loss": 2.3062,
+      "step": 195
+    },
+    {
+      "epoch": 0.2613333333333333,
+      "grad_norm": 0.210417328406617,
+      "learning_rate": 2.9068788744333847e-05,
+      "loss": 2.1931,
+      "step": 196
+    },
+    {
+      "epoch": 0.26266666666666666,
+      "grad_norm": 0.17528914661443556,
+      "learning_rate": 2.905830185642875e-05,
+      "loss": 2.213,
+      "step": 197
+    },
+    {
+      "epoch": 0.264,
+      "grad_norm": 0.19180797982535258,
+      "learning_rate": 2.90477583827746e-05,
+      "loss": 2.0999,
+      "step": 198
+    },
+    {
+      "epoch": 0.2653333333333333,
+      "grad_norm": 0.20387611359379645,
+      "learning_rate": 2.903715837087864e-05,
+      "loss": 2.4077,
+      "step": 199
+    },
+    {
+      "epoch": 0.26666666666666666,
+      "grad_norm": 0.37614141580385196,
+      "learning_rate": 2.9026501868502878e-05,
+      "loss": 2.345,
+      "step": 200
+    },
+    {
+      "epoch": 0.268,
+      "grad_norm": 0.23854637338124732,
+      "learning_rate": 2.901578892366384e-05,
+      "loss": 1.9616,
+      "step": 201
+    },
+    {
+      "epoch": 0.2693333333333333,
+      "grad_norm": 0.360995797147823,
+      "learning_rate": 2.9005019584632385e-05,
+      "loss": 2.2637,
+      "step": 202
+    },
+    {
+      "epoch": 0.27066666666666667,
+      "grad_norm": 0.1964827412506095,
+      "learning_rate": 2.899419389993348e-05,
+      "loss": 2.2153,
+      "step": 203
+    },
+    {
+      "epoch": 0.272,
+      "grad_norm": 0.2697880949391648,
+      "learning_rate": 2.8983311918345973e-05,
+      "loss": 1.8934,
+      "step": 204
+    },
+    {
+      "epoch": 0.2733333333333333,
+      "grad_norm": 0.2583392197903811,
+      "learning_rate": 2.8972373688902372e-05,
+      "loss": 2.1552,
+      "step": 205
+    },
+    {
+      "epoch": 0.27466666666666667,
+      "grad_norm": 0.2368677594314249,
+      "learning_rate": 2.8961379260888634e-05,
+      "loss": 2.1976,
+      "step": 206
+    },
+    {
+      "epoch": 0.276,
+      "grad_norm": 0.28279002863897235,
+      "learning_rate": 2.895032868384393e-05,
+      "loss": 2.0461,
+      "step": 207
+    },
+    {
+      "epoch": 0.2773333333333333,
+      "grad_norm": 0.17431186704640889,
+      "learning_rate": 2.8939222007560446e-05,
+      "loss": 2.2258,
+      "step": 208
+    },
+    {
+      "epoch": 0.2786666666666667,
+      "grad_norm": 0.2607071149284682,
+      "learning_rate": 2.8928059282083126e-05,
+      "loss": 1.8783,
+      "step": 209
+    },
+    {
+      "epoch": 0.28,
+      "grad_norm": 0.16929508986851496,
+      "learning_rate": 2.8916840557709474e-05,
+      "loss": 2.21,
+      "step": 210
+    },
+    {
+      "epoch": 0.2813333333333333,
+      "grad_norm": 0.30196081586191537,
+      "learning_rate": 2.8905565884989304e-05,
+      "loss": 2.2047,
+      "step": 211
+    },
+    {
+      "epoch": 0.2826666666666667,
+      "grad_norm": 0.22938305453707358,
+      "learning_rate": 2.889423531472455e-05,
+      "loss": 2.1314,
+      "step": 212
+    },
+    {
+      "epoch": 0.284,
+      "grad_norm": 0.24253705098980116,
+      "learning_rate": 2.8882848897968974e-05,
+      "loss": 1.9166,
+      "step": 213
+    },
+    {
+      "epoch": 0.2853333333333333,
+      "grad_norm": 0.21184383213391744,
+      "learning_rate": 2.8871406686028006e-05,
+      "loss": 2.1445,
+      "step": 214
+    },
+    {
+      "epoch": 0.2866666666666667,
+      "grad_norm": 0.20065002671794552,
+      "learning_rate": 2.885990873045846e-05,
+      "loss": 2.2053,
+      "step": 215
+    },
+    {
+      "epoch": 0.288,
+      "grad_norm": 0.20595618063455937,
+      "learning_rate": 2.884835508306833e-05,
+      "loss": 2.0275,
+      "step": 216
+    },
+    {
+      "epoch": 0.28933333333333333,
+      "grad_norm": 0.22663216643758846,
+      "learning_rate": 2.883674579591656e-05,
+      "loss": 2.1399,
+      "step": 217
+    },
+    {
+      "epoch": 0.2906666666666667,
+      "grad_norm": 0.20459405622917667,
+      "learning_rate": 2.8825080921312775e-05,
+      "loss": 2.0352,
+      "step": 218
+    },
+    {
+      "epoch": 0.292,
+      "grad_norm": 0.24151264290319524,
+      "learning_rate": 2.8813360511817092e-05,
+      "loss": 2.0821,
+      "step": 219
+    },
+    {
+      "epoch": 0.29333333333333333,
+      "grad_norm": 0.2377001051292377,
+      "learning_rate": 2.8801584620239833e-05,
+      "loss": 2.0448,
+      "step": 220
+    },
+    {
+      "epoch": 0.2946666666666667,
+      "grad_norm": 0.3689003556922912,
+      "learning_rate": 2.878975329964134e-05,
+      "loss": 2.107,
+      "step": 221
+    },
+    {
+      "epoch": 0.296,
+      "grad_norm": 0.19280049013174935,
+      "learning_rate": 2.877786660333169e-05,
+      "loss": 2.2571,
+      "step": 222
+    },
+    {
+      "epoch": 0.29733333333333334,
+      "grad_norm": 0.25684356289858495,
+      "learning_rate": 2.876592458487049e-05,
+      "loss": 1.9243,
+      "step": 223
+    },
+    {
+      "epoch": 0.2986666666666667,
+      "grad_norm": 0.2460391604188184,
+      "learning_rate": 2.8753927298066608e-05,
+      "loss": 2.0996,
+      "step": 224
+    },
+    {
+      "epoch": 0.3,
+      "grad_norm": 0.2287761563539284,
+      "learning_rate": 2.8741874796977947e-05,
+      "loss": 1.9114,
+      "step": 225
+    },
+    {
+      "epoch": 0.3,
+      "eval_loss": 1.7546015977859497,
+      "eval_runtime": 98.7181,
+      "eval_samples_per_second": 1.013,
+      "eval_steps_per_second": 0.253,
+      "step": 225
+    },
+    {
+      "epoch": 0.30133333333333334,
+      "grad_norm": 0.31900423121867244,
+      "learning_rate": 2.8729767135911197e-05,
+      "loss": 1.5513,
+      "step": 226
+    },
+    {
+      "epoch": 0.30266666666666664,
+      "grad_norm": 0.21099907718331903,
+      "learning_rate": 2.8717604369421587e-05,
+      "loss": 1.8735,
+      "step": 227
+    },
+    {
+      "epoch": 0.304,
+      "grad_norm": 0.23179334925928516,
+      "learning_rate": 2.8705386552312647e-05,
+      "loss": 2.0279,
+      "step": 228
+    },
+    {
+      "epoch": 0.30533333333333335,
+      "grad_norm": 0.2249602605454057,
+      "learning_rate": 2.869311373963596e-05,
+      "loss": 2.1506,
+      "step": 229
+    },
+    {
+      "epoch": 0.30666666666666664,
+      "grad_norm": 0.30614551906788895,
+      "learning_rate": 2.8680785986690903e-05,
+      "loss": 2.0057,
+      "step": 230
+    },
+    {
+      "epoch": 0.308,
+      "grad_norm": 0.32936171428483624,
+      "learning_rate": 2.86684033490244e-05,
+      "loss": 1.9719,
+      "step": 231
+    },
+    {
+      "epoch": 0.30933333333333335,
+      "grad_norm": 0.21095264296363714,
+      "learning_rate": 2.8655965882430697e-05,
+      "loss": 2.0526,
+      "step": 232
+    },
+    {
+      "epoch": 0.31066666666666665,
+      "grad_norm": 0.2506508450731689,
+      "learning_rate": 2.8643473642951066e-05,
+      "loss": 2.034,
+      "step": 233
+    },
+    {
+      "epoch": 0.312,
+      "grad_norm": 0.16272890488221511,
+      "learning_rate": 2.8630926686873598e-05,
+      "loss": 2.2394,
+      "step": 234
+    },
+    {
+      "epoch": 0.31333333333333335,
+      "grad_norm": 0.2636216414291072,
+      "learning_rate": 2.8618325070732918e-05,
+      "loss": 1.9559,
+      "step": 235
+    },
+    {
+      "epoch": 0.31466666666666665,
+      "grad_norm": 0.239263175250845,
+      "learning_rate": 2.860566885130994e-05,
+      "loss": 1.9268,
+      "step": 236
+    },
+    {
+      "epoch": 0.316,
+      "grad_norm": 0.3034572733475333,
+      "learning_rate": 2.8592958085631616e-05,
+      "loss": 2.4146,
+      "step": 237
+    },
+    {
+      "epoch": 0.31733333333333336,
+      "grad_norm": 0.22016199356343413,
+      "learning_rate": 2.8580192830970674e-05,
+      "loss": 1.901,
+      "step": 238
+    },
+    {
+      "epoch": 0.31866666666666665,
+      "grad_norm": 0.23102023640647829,
+      "learning_rate": 2.856737314484536e-05,
+      "loss": 2.1498,
+      "step": 239
+    },
+    {
+      "epoch": 0.32,
+      "grad_norm": 0.20238380453993177,
+      "learning_rate": 2.8554499085019177e-05,
+      "loss": 2.0954,
+      "step": 240
+    },
+    {
+      "epoch": 0.32133333333333336,
+      "grad_norm": 0.20808439458283837,
+      "learning_rate": 2.854157070950063e-05,
+      "loss": 2.0783,
+      "step": 241
+    },
+    {
+      "epoch": 0.32266666666666666,
+      "grad_norm": 0.278146848673199,
+      "learning_rate": 2.8528588076542966e-05,
+      "loss": 1.7518,
+      "step": 242
+    },
+    {
+      "epoch": 0.324,
+      "grad_norm": 0.20915907784327617,
+      "learning_rate": 2.8515551244643903e-05,
+      "loss": 1.7229,
+      "step": 243
+    },
+    {
+      "epoch": 0.3253333333333333,
+      "grad_norm": 0.5420477506537028,
+      "learning_rate": 2.850246027254537e-05,
+      "loss": 1.758,
+      "step": 244
+    },
+    {
+      "epoch": 0.32666666666666666,
+      "grad_norm": 0.2800677412041746,
+      "learning_rate": 2.8489315219233248e-05,
+      "loss": 1.9584,
+      "step": 245
+    },
+    {
+      "epoch": 0.328,
+      "grad_norm": 0.22569958386724373,
+      "learning_rate": 2.847611614393709e-05,
+      "loss": 2.1033,
+      "step": 246
+    },
+    {
+      "epoch": 0.3293333333333333,
+      "grad_norm": 0.28225543933402175,
+      "learning_rate": 2.846286310612988e-05,
+      "loss": 2.2579,
+      "step": 247
+    },
+    {
+      "epoch": 0.33066666666666666,
+      "grad_norm": 0.25637825153268795,
+      "learning_rate": 2.844955616552773e-05,
+      "loss": 1.9495,
+      "step": 248
+    },
+    {
+      "epoch": 0.332,
+      "grad_norm": 0.3042322338758206,
+      "learning_rate": 2.8436195382089644e-05,
+      "loss": 2.2247,
+      "step": 249
+    },
+    {
+      "epoch": 0.3333333333333333,
+      "grad_norm": 0.2110291139150889,
+      "learning_rate": 2.8422780816017227e-05,
+      "loss": 2.2582,
+      "step": 250
+    },
+    {
+      "epoch": 0.33466666666666667,
+      "grad_norm": 0.24476057607988286,
+      "learning_rate": 2.8409312527754417e-05,
+      "loss": 2.1626,
+      "step": 251
+    },
+    {
+      "epoch": 0.336,
+      "grad_norm": 0.19859582662498323,
+      "learning_rate": 2.8395790577987225e-05,
+      "loss": 2.0592,
+      "step": 252
+    },
+    {
+      "epoch": 0.3373333333333333,
+      "grad_norm": 0.2560077569832347,
+      "learning_rate": 2.8382215027643447e-05,
+      "loss": 1.9116,
+      "step": 253
+    },
+    {
+      "epoch": 0.33866666666666667,
+      "grad_norm": 0.2325816082873428,
+      "learning_rate": 2.836858593789239e-05,
+      "loss": 2.1088,
+      "step": 254
+    },
+    {
+      "epoch": 0.34,
+      "grad_norm": 0.2633745282570676,
+      "learning_rate": 2.8354903370144613e-05,
+      "loss": 2.3106,
+      "step": 255
+    },
+    {
+      "epoch": 0.3413333333333333,
+      "grad_norm": 0.25738882949934827,
+      "learning_rate": 2.834116738605162e-05,
+      "loss": 1.9449,
+      "step": 256
+    },
+    {
+      "epoch": 0.3426666666666667,
+      "grad_norm": 0.19022713562039067,
+      "learning_rate": 2.8327378047505625e-05,
+      "loss": 2.0301,
+      "step": 257
+    },
+    {
+      "epoch": 0.344,
+      "grad_norm": 0.21459535231309906,
+      "learning_rate": 2.8313535416639232e-05,
+      "loss": 2.3784,
+      "step": 258
+    },
+    {
+      "epoch": 0.3453333333333333,
+      "grad_norm": 0.2725347155581082,
+      "learning_rate": 2.829963955582518e-05,
+      "loss": 1.9749,
+      "step": 259
+    },
+    {
+      "epoch": 0.3466666666666667,
+      "grad_norm": 0.23824574091343387,
+      "learning_rate": 2.828569052767604e-05,
+      "loss": 2.1253,
+      "step": 260
+    },
+    {
+      "epoch": 0.348,
+      "grad_norm": 0.30927788905161807,
+      "learning_rate": 2.8271688395043965e-05,
+      "loss": 1.6379,
+      "step": 261
+    },
+    {
+      "epoch": 0.34933333333333333,
+      "grad_norm": 0.13916235450047149,
+      "learning_rate": 2.8257633221020382e-05,
+      "loss": 2.0781,
+      "step": 262
+    },
+    {
+      "epoch": 0.3506666666666667,
+      "grad_norm": 0.2038351351610376,
+      "learning_rate": 2.8243525068935705e-05,
+      "loss": 2.1167,
+      "step": 263
+    },
+    {
+      "epoch": 0.352,
+      "grad_norm": 0.2282060698474947,
+      "learning_rate": 2.8229364002359074e-05,
+      "loss": 1.9761,
+      "step": 264
+    },
+    {
+      "epoch": 0.35333333333333333,
+      "grad_norm": 0.19533951565078514,
+      "learning_rate": 2.821515008509804e-05,
+      "loss": 2.3902,
+      "step": 265
+    },
+    {
+      "epoch": 0.3546666666666667,
+      "grad_norm": 0.22231788208405978,
+      "learning_rate": 2.8200883381198297e-05,
+      "loss": 2.2763,
+      "step": 266
+    },
+    {
+      "epoch": 0.356,
+      "grad_norm": 0.17343255119399525,
+      "learning_rate": 2.818656395494339e-05,
+      "loss": 2.1964,
+      "step": 267
+    },
+    {
+      "epoch": 0.35733333333333334,
+      "grad_norm": 0.3190889201723669,
+      "learning_rate": 2.817219187085442e-05,
+      "loss": 1.8898,
+      "step": 268
+    },
+    {
+      "epoch": 0.3586666666666667,
+      "grad_norm": 0.25221058014306336,
+      "learning_rate": 2.8157767193689753e-05,
+      "loss": 2.2137,
+      "step": 269
+    },
+    {
+      "epoch": 0.36,
+      "grad_norm": 0.25456852526288787,
+      "learning_rate": 2.8143289988444737e-05,
+      "loss": 2.1055,
+      "step": 270
+    },
+    {
+      "epoch": 0.36133333333333334,
+      "grad_norm": 0.4387988494124866,
+      "learning_rate": 2.8128760320351403e-05,
+      "loss": 2.0767,
+      "step": 271
+    },
+    {
+      "epoch": 0.3626666666666667,
+      "grad_norm": 0.27199878538165156,
+      "learning_rate": 2.8114178254878156e-05,
+      "loss": 2.1353,
+      "step": 272
+    },
+    {
+      "epoch": 0.364,
+      "grad_norm": 0.2650737962386425,
+      "learning_rate": 2.8099543857729525e-05,
+      "loss": 2.037,
+      "step": 273
+    },
+    {
+      "epoch": 0.36533333333333334,
+      "grad_norm": 0.19178775730316125,
+      "learning_rate": 2.808485719484581e-05,
+      "loss": 2.2227,
+      "step": 274
+    },
+    {
+      "epoch": 0.36666666666666664,
+      "grad_norm": 0.2495538747593823,
+      "learning_rate": 2.8070118332402827e-05,
+      "loss": 2.1111,
+      "step": 275
+    },
+    {
+      "epoch": 0.368,
+      "grad_norm": 0.23278524231204606,
+      "learning_rate": 2.8055327336811585e-05,
+      "loss": 2.0269,
+      "step": 276
+    },
+    {
+      "epoch": 0.36933333333333335,
+      "grad_norm": 0.2909743741626987,
+      "learning_rate": 2.804048427471801e-05,
+      "loss": 1.9845,
+      "step": 277
+    },
+    {
+      "epoch": 0.37066666666666664,
+      "grad_norm": 0.5654501769424853,
+      "learning_rate": 2.8025589213002624e-05,
+      "loss": 1.9375,
+      "step": 278
+    },
+    {
+      "epoch": 0.372,
+      "grad_norm": 0.24272194924805965,
+      "learning_rate": 2.8010642218780246e-05,
+      "loss": 1.9151,
+      "step": 279
+    },
+    {
+      "epoch": 0.37333333333333335,
+      "grad_norm": 0.23044549921686833,
+      "learning_rate": 2.7995643359399703e-05,
+      "loss": 2.1577,
+      "step": 280
+    },
+    {
+      "epoch": 0.37466666666666665,
+      "grad_norm": 0.2297518184027699,
+      "learning_rate": 2.7980592702443518e-05,
+      "loss": 2.2779,
+      "step": 281
+    },
+    {
+      "epoch": 0.376,
+      "grad_norm": 0.43013668653840365,
+      "learning_rate": 2.79654903157276e-05,
+      "loss": 1.9419,
+      "step": 282
+    },
+    {
+      "epoch": 0.37733333333333335,
+      "grad_norm": 0.23835905215528563,
+      "learning_rate": 2.795033626730095e-05,
+      "loss": 2.1743,
+      "step": 283
+    },
+    {
+      "epoch": 0.37866666666666665,
+      "grad_norm": 0.2813058642182358,
+      "learning_rate": 2.793513062544534e-05,
+      "loss": 2.0095,
+      "step": 284
+    },
+    {
+      "epoch": 0.38,
+      "grad_norm": 0.34406979517562547,
+      "learning_rate": 2.7919873458675022e-05,
+      "loss": 1.9489,
+      "step": 285
+    },
+    {
+      "epoch": 0.38133333333333336,
+      "grad_norm": 0.32231785755728004,
+      "learning_rate": 2.790456483573642e-05,
+      "loss": 1.58,
+      "step": 286
+    },
+    {
+      "epoch": 0.38266666666666665,
+      "grad_norm": 0.19333385414604146,
+      "learning_rate": 2.788920482560779e-05,
+      "loss": 1.9752,
+      "step": 287
+    },
+    {
+      "epoch": 0.384,
+      "grad_norm": 0.1765295794157884,
+      "learning_rate": 2.7873793497498945e-05,
+      "loss": 2.0614,
+      "step": 288
+    },
+    {
+      "epoch": 0.38533333333333336,
+      "grad_norm": 0.16114993710297087,
+      "learning_rate": 2.7858330920850923e-05,
+      "loss": 2.2809,
+      "step": 289
+    },
+    {
+      "epoch": 0.38666666666666666,
+      "grad_norm": 0.23825781911565472,
+      "learning_rate": 2.784281716533568e-05,
+      "loss": 2.1522,
+      "step": 290
+    },
+    {
+      "epoch": 0.388,
+      "grad_norm": 0.17001985217323573,
+      "learning_rate": 2.782725230085579e-05,
+      "loss": 1.9506,
+      "step": 291
+    },
+    {
+      "epoch": 0.3893333333333333,
+      "grad_norm": 0.26309455211904453,
+      "learning_rate": 2.7811636397544094e-05,
+      "loss": 2.2083,
+      "step": 292
+    },
+    {
+      "epoch": 0.39066666666666666,
+      "grad_norm": 0.20730249929125907,
+      "learning_rate": 2.7795969525763418e-05,
+      "loss": 2.2347,
+      "step": 293
+    },
+    {
+      "epoch": 0.392,
+      "grad_norm": 0.24136453807928746,
+      "learning_rate": 2.7780251756106242e-05,
+      "loss": 2.029,
+      "step": 294
+    },
+    {
+      "epoch": 0.3933333333333333,
+      "grad_norm": 0.35339039676185235,
+      "learning_rate": 2.7764483159394384e-05,
+      "loss": 2.211,
+      "step": 295
+    },
+    {
+      "epoch": 0.39466666666666667,
+      "grad_norm": 0.25636488066657487,
+      "learning_rate": 2.7748663806678684e-05,
+      "loss": 2.1863,
+      "step": 296
+    },
+    {
+      "epoch": 0.396,
+      "grad_norm": 0.20584179603071404,
+      "learning_rate": 2.7732793769238674e-05,
+      "loss": 2.2463,
+      "step": 297
+    },
+    {
+      "epoch": 0.3973333333333333,
+      "grad_norm": 0.23027068378292892,
+      "learning_rate": 2.7716873118582266e-05,
+      "loss": 2.2356,
+      "step": 298
+    },
+    {
+      "epoch": 0.39866666666666667,
+      "grad_norm": 0.192849837559735,
+      "learning_rate": 2.770090192644543e-05,
+      "loss": 2.2441,
+      "step": 299
+    },
+    {
+      "epoch": 0.4,
+      "grad_norm": 0.2685272097028798,
+      "learning_rate": 2.768488026479187e-05,
+      "loss": 2.0004,
+      "step": 300
+    },
+    {
+      "epoch": 0.4,
+      "eval_loss": 1.7474404573440552,
+      "eval_runtime": 98.8253,
+      "eval_samples_per_second": 1.012,
+      "eval_steps_per_second": 0.253,
+      "step": 300
+    },
+    {
+      "epoch": 0.4013333333333333,
+      "grad_norm": 0.26520047905722166,
+      "learning_rate": 2.766880820581269e-05,
+      "loss": 2.0768,
+      "step": 301
+    },
+    {
+      "epoch": 0.4026666666666667,
+      "grad_norm": 0.31076708165257216,
+      "learning_rate": 2.765268582192608e-05,
+      "loss": 2.0636,
+      "step": 302
+    },
+    {
+      "epoch": 0.404,
+      "grad_norm": 0.25216548132506456,
+      "learning_rate": 2.763651318577699e-05,
+      "loss": 2.0432,
+      "step": 303
+    },
+    {
+      "epoch": 0.4053333333333333,
+      "grad_norm": 0.2393514712031434,
+      "learning_rate": 2.7620290370236786e-05,
+      "loss": 2.3461,
+      "step": 304
+    },
+    {
+      "epoch": 0.4066666666666667,
+      "grad_norm": 0.21599798017132937,
+      "learning_rate": 2.7604017448402954e-05,
+      "loss": 2.3087,
+      "step": 305
+    },
+    {
+      "epoch": 0.408,
+      "grad_norm": 0.3082071954730338,
+      "learning_rate": 2.7587694493598743e-05,
+      "loss": 1.9302,
+      "step": 306
+    },
+    {
+      "epoch": 0.4093333333333333,
+      "grad_norm": 0.21921446809175332,
+      "learning_rate": 2.7571321579372835e-05,
+      "loss": 2.1354,
+      "step": 307
+    },
+    {
+      "epoch": 0.4106666666666667,
+      "grad_norm": 0.2141708374659774,
+      "learning_rate": 2.7554898779499025e-05,
+      "loss": 2.0915,
+      "step": 308
+    },
+    {
+      "epoch": 0.412,
+      "grad_norm": 0.2615730026982423,
+      "learning_rate": 2.7538426167975895e-05,
+      "loss": 1.9005,
+      "step": 309
+    },
+    {
+      "epoch": 0.41333333333333333,
+      "grad_norm": 0.24746987092185013,
+      "learning_rate": 2.7521903819026457e-05,
+      "loss": 2.129,
+      "step": 310
+    },
+    {
+      "epoch": 0.4146666666666667,
+      "grad_norm": 0.23072670442926277,
+      "learning_rate": 2.7505331807097845e-05,
+      "loss": 2.1061,
+      "step": 311
+    },
+    {
+      "epoch": 0.416,
+      "grad_norm": 3.0090982638780748,
+      "learning_rate": 2.7488710206860944e-05,
+      "loss": 2.1382,
+      "step": 312
+    },
+    {
+      "epoch": 0.41733333333333333,
+      "grad_norm": 0.2705418179646343,
+      "learning_rate": 2.7472039093210108e-05,
+      "loss": 2.2219,
+      "step": 313
+    },
+    {
+      "epoch": 0.4186666666666667,
+      "grad_norm": 0.3567890646341258,
+      "learning_rate": 2.7455318541262768e-05,
+      "loss": 1.6885,
+      "step": 314
+    },
+    {
+      "epoch": 0.42,
+      "grad_norm": 0.20851488835910675,
+      "learning_rate": 2.743854862635912e-05,
+      "loss": 1.947,
+      "step": 315
+    },
+    {
+      "epoch": 0.42133333333333334,
+      "grad_norm": 0.24844212488624198,
+      "learning_rate": 2.742172942406179e-05,
+      "loss": 2.1564,
+      "step": 316
+    },
+    {
+      "epoch": 0.4226666666666667,
+      "grad_norm": 0.304277870351501,
+      "learning_rate": 2.7404861010155477e-05,
+      "loss": 1.8723,
+      "step": 317
+    },
+    {
+      "epoch": 0.424,
+      "grad_norm": 0.20754447108795832,
+      "learning_rate": 2.7387943460646624e-05,
+      "loss": 2.4758,
+      "step": 318
+    },
+    {
+      "epoch": 0.42533333333333334,
+      "grad_norm": 0.24883308801860618,
+      "learning_rate": 2.7370976851763068e-05,
+      "loss": 1.6462,
+      "step": 319
+    },
+    {
+      "epoch": 0.4266666666666667,
+      "grad_norm": 0.23024352142002386,
+      "learning_rate": 2.73539612599537e-05,
+      "loss": 2.1038,
+      "step": 320
+    },
+    {
+      "epoch": 0.428,
+      "grad_norm": 0.3139739867715439,
+      "learning_rate": 2.7336896761888126e-05,
+      "loss": 1.902,
+      "step": 321
+    },
+    {
+      "epoch": 0.42933333333333334,
+      "grad_norm": 0.21999868040548332,
+      "learning_rate": 2.7319783434456306e-05,
+      "loss": 2.171,
+      "step": 322
+    },
+    {
+      "epoch": 0.43066666666666664,
+      "grad_norm": 0.2467001853935637,
+      "learning_rate": 2.7302621354768233e-05,
+      "loss": 1.9828,
+      "step": 323
+    },
+    {
+      "epoch": 0.432,
+      "grad_norm": 0.2496730220022523,
+      "learning_rate": 2.728541060015356e-05,
+      "loss": 2.3413,
+      "step": 324
+    },
+    {
+      "epoch": 0.43333333333333335,
+      "grad_norm": 0.4056202922850381,
+      "learning_rate": 2.7268151248161253e-05,
+      "loss": 2.0407,
+      "step": 325
+    },
+    {
+      "epoch": 0.43466666666666665,
+      "grad_norm": 0.2171839709482431,
+      "learning_rate": 2.7250843376559265e-05,
+      "loss": 2.0089,
+      "step": 326
+    },
+    {
+      "epoch": 0.436,
+      "grad_norm": 0.26937671179427725,
+      "learning_rate": 2.7233487063334172e-05,
+      "loss": 2.2827,
+      "step": 327
+    },
+    {
+      "epoch": 0.43733333333333335,
+      "grad_norm": 0.20567971005307945,
+      "learning_rate": 2.7216082386690804e-05,
+      "loss": 2.2386,
+      "step": 328
+    },
+    {
+      "epoch": 0.43866666666666665,
+      "grad_norm": 0.2027173811893726,
+      "learning_rate": 2.7198629425051917e-05,
+      "loss": 2.3031,
+      "step": 329
+    },
+    {
+      "epoch": 0.44,
+      "grad_norm": 0.2980323024473477,
+      "learning_rate": 2.7181128257057846e-05,
+      "loss": 2.1883,
+      "step": 330
+    },
+    {
+      "epoch": 0.44133333333333336,
+      "grad_norm": 0.20192851290457803,
+      "learning_rate": 2.716357896156611e-05,
+      "loss": 1.9459,
+      "step": 331
+    },
+    {
+      "epoch": 0.44266666666666665,
+      "grad_norm": 0.2871519578556366,
+      "learning_rate": 2.7145981617651108e-05,
+      "loss": 2.1742,
+      "step": 332
+    },
+    {
+      "epoch": 0.444,
+      "grad_norm": 0.1949811627760568,
+      "learning_rate": 2.712833630460372e-05,
+      "loss": 2.2647,
+      "step": 333
+    },
+    {
+      "epoch": 0.44533333333333336,
+      "grad_norm": 0.2741619826374072,
+      "learning_rate": 2.7110643101930978e-05,
+      "loss": 1.9767,
+      "step": 334
+    },
+    {
+      "epoch": 0.44666666666666666,
+      "grad_norm": 0.22305808717890685,
+      "learning_rate": 2.7092902089355693e-05,
+      "loss": 1.9271,
+      "step": 335
+    },
+    {
+      "epoch": 0.448,
+      "grad_norm": 0.31086274795948865,
+      "learning_rate": 2.7075113346816092e-05,
+      "loss": 1.9092,
+      "step": 336
+    },
+    {
+      "epoch": 0.4493333333333333,
+      "grad_norm": 0.34135122978923976,
+      "learning_rate": 2.7057276954465484e-05,
+      "loss": 1.9028,
+      "step": 337
+    },
+    {
+      "epoch": 0.45066666666666666,
+      "grad_norm": 0.2422925649756551,
+      "learning_rate": 2.703939299267186e-05,
+      "loss": 2.3585,
+      "step": 338
+    },
+    {
+      "epoch": 0.452,
+      "grad_norm": 0.21763822152397602,
+      "learning_rate": 2.702146154201757e-05,
+      "loss": 1.9407,
+      "step": 339
+    },
+    {
+      "epoch": 0.4533333333333333,
+      "grad_norm": 0.26419913958274843,
+      "learning_rate": 2.7003482683298935e-05,
+      "loss": 2.0248,
+      "step": 340
+    },
+    {
+      "epoch": 0.45466666666666666,
+      "grad_norm": 0.2463717390301776,
+      "learning_rate": 2.698545649752588e-05,
+      "loss": 2.0147,
+      "step": 341
+    },
+    {
+      "epoch": 0.456,
+      "grad_norm": 0.21124149059138703,
+      "learning_rate": 2.696738306592159e-05,
+      "loss": 1.9508,
+      "step": 342
+    },
+    {
+      "epoch": 0.4573333333333333,
+      "grad_norm": 0.2758662340977994,
+      "learning_rate": 2.694926246992213e-05,
+      "loss": 2.1917,
+      "step": 343
+    },
+    {
+      "epoch": 0.45866666666666667,
+      "grad_norm": 0.30773115319803324,
+      "learning_rate": 2.693109479117608e-05,
+      "loss": 2.0674,
+      "step": 344
+    },
+    {
+      "epoch": 0.46,
+      "grad_norm": 0.23761648514026573,
+      "learning_rate": 2.6912880111544163e-05,
+      "loss": 2.0919,
+      "step": 345
+    },
+    {
+      "epoch": 0.4613333333333333,
+      "grad_norm": 0.25681238620857727,
+      "learning_rate": 2.6894618513098882e-05,
+      "loss": 1.9084,
+      "step": 346
+    },
+    {
+      "epoch": 0.46266666666666667,
+      "grad_norm": 0.22830005506281845,
+      "learning_rate": 2.687631007812415e-05,
+      "loss": 2.056,
+      "step": 347
+    },
+    {
+      "epoch": 0.464,
+      "grad_norm": 0.2947866578986673,
+      "learning_rate": 2.6857954889114923e-05,
+      "loss": 1.7343,
+      "step": 348
+    },
+    {
+      "epoch": 0.4653333333333333,
+      "grad_norm": 0.24624687251309207,
+      "learning_rate": 2.6839553028776817e-05,
+      "loss": 2.2644,
+      "step": 349
+    },
+    {
+      "epoch": 0.4666666666666667,
+      "grad_norm": 0.23775099815354966,
+      "learning_rate": 2.682110458002575e-05,
+      "loss": 2.0576,
+      "step": 350
+    },
+    {
+      "epoch": 0.468,
+      "grad_norm": 0.24126580378308465,
+      "learning_rate": 2.6802609625987548e-05,
+      "loss": 2.1331,
+      "step": 351
+    },
+    {
+      "epoch": 0.4693333333333333,
+      "grad_norm": 0.26152377053961967,
+      "learning_rate": 2.6784068249997586e-05,
+      "loss": 2.194,
+      "step": 352
+    },
+    {
+      "epoch": 0.4706666666666667,
+      "grad_norm": 0.2670202218764803,
+      "learning_rate": 2.676548053560042e-05,
+      "loss": 1.885,
+      "step": 353
+    },
+    {
+      "epoch": 0.472,
+      "grad_norm": 0.2227627113395291,
+      "learning_rate": 2.674684656654938e-05,
+      "loss": 2.2919,
+      "step": 354
+    },
+    {
+      "epoch": 0.47333333333333333,
+      "grad_norm": 0.5386305755161744,
+      "learning_rate": 2.6728166426806237e-05,
+      "loss": 2.1106,
+      "step": 355
+    },
+    {
+      "epoch": 0.4746666666666667,
+      "grad_norm": 0.2713934931123545,
+      "learning_rate": 2.6709440200540778e-05,
+      "loss": 1.9203,
+      "step": 356
+    },
+    {
+      "epoch": 0.476,
+      "grad_norm": 0.2687463890320937,
+      "learning_rate": 2.669066797213046e-05,
+      "loss": 2.0278,
+      "step": 357
+    },
+    {
+      "epoch": 0.47733333333333333,
+      "grad_norm": 0.2420523080214261,
+      "learning_rate": 2.6671849826160018e-05,
+      "loss": 1.9393,
+      "step": 358
+    },
+    {
+      "epoch": 0.4786666666666667,
+      "grad_norm": 0.2400087971667011,
+      "learning_rate": 2.6652985847421074e-05,
+      "loss": 2.1867,
+      "step": 359
+    },
+    {
+      "epoch": 0.48,
+      "grad_norm": 0.28320805189191467,
+      "learning_rate": 2.663407612091178e-05,
+      "loss": 1.8562,
+      "step": 360
+    },
+    {
+      "epoch": 0.48133333333333334,
+      "grad_norm": 0.20819758118379753,
+      "learning_rate": 2.6615120731836412e-05,
+      "loss": 2.0647,
+      "step": 361
+    },
+    {
+      "epoch": 0.4826666666666667,
+      "grad_norm": 0.19756628127478343,
+      "learning_rate": 2.6596119765604996e-05,
+      "loss": 2.1335,
+      "step": 362
+    },
+    {
+      "epoch": 0.484,
+      "grad_norm": 0.26928306040248223,
+      "learning_rate": 2.6577073307832925e-05,
+      "loss": 2.0874,
+      "step": 363
+    },
+    {
+      "epoch": 0.48533333333333334,
+      "grad_norm": 0.2164920362315045,
+      "learning_rate": 2.655798144434056e-05,
+      "loss": 2.1714,
+      "step": 364
+    },
+    {
+      "epoch": 0.4866666666666667,
+      "grad_norm": 0.24919806333780237,
+      "learning_rate": 2.6538844261152863e-05,
+      "loss": 1.9509,
+      "step": 365
+    },
+    {
+      "epoch": 0.488,
+      "grad_norm": 0.27032556044133776,
+      "learning_rate": 2.6519661844498997e-05,
+      "loss": 1.801,
+      "step": 366
+    },
+    {
+      "epoch": 0.48933333333333334,
+      "grad_norm": 0.26804357878114354,
+      "learning_rate": 2.650043428081194e-05,
+      "loss": 2.1762,
+      "step": 367
+    },
+    {
+      "epoch": 0.49066666666666664,
+      "grad_norm": 0.3572135575195324,
+      "learning_rate": 2.6481161656728093e-05,
+      "loss": 1.9907,
+      "step": 368
+    },
+    {
+      "epoch": 0.492,
+      "grad_norm": 0.20724767007565056,
+      "learning_rate": 2.646184405908689e-05,
+      "loss": 2.0845,
+      "step": 369
+    },
+    {
+      "epoch": 0.49333333333333335,
+      "grad_norm": 0.29461252876218635,
+      "learning_rate": 2.6442481574930417e-05,
+      "loss": 2.0182,
+      "step": 370
+    },
+    {
+      "epoch": 0.49466666666666664,
+      "grad_norm": 0.32302958691645034,
+      "learning_rate": 2.6423074291503e-05,
+      "loss": 1.8637,
+      "step": 371
+    },
+    {
+      "epoch": 0.496,
+      "grad_norm": 0.21633487662675288,
+      "learning_rate": 2.6403622296250843e-05,
+      "loss": 2.1181,
+      "step": 372
+    },
+    {
+      "epoch": 0.49733333333333335,
+      "grad_norm": 0.23982202171517725,
+      "learning_rate": 2.6384125676821594e-05,
+      "loss": 2.2663,
+      "step": 373
+    },
+    {
+      "epoch": 0.49866666666666665,
+      "grad_norm": 0.26674040749443334,
+      "learning_rate": 2.636458452106398e-05,
+      "loss": 1.9904,
+      "step": 374
+    },
+    {
+      "epoch": 0.5,
+      "grad_norm": 0.20615794890547487,
+      "learning_rate": 2.63449989170274e-05,
+      "loss": 2.2052,
+      "step": 375
+    },
+    {
+      "epoch": 0.5,
+      "eval_loss": 1.7428412437438965,
+      "eval_runtime": 98.8155,
+      "eval_samples_per_second": 1.012,
+      "eval_steps_per_second": 0.253,
+      "step": 375
+    },
+    {
+      "epoch": 0.5013333333333333,
+      "grad_norm": 0.21975919244022424,
+      "learning_rate": 2.6325368952961525e-05,
+      "loss": 2.2344,
+      "step": 376
+    },
+    {
+      "epoch": 0.5026666666666667,
+      "grad_norm": 0.3511713966144426,
+      "learning_rate": 2.6305694717315924e-05,
+      "loss": 1.9296,
+      "step": 377
+    },
+    {
+      "epoch": 0.504,
+      "grad_norm": 0.2478362671784885,
+      "learning_rate": 2.628597629873962e-05,
+      "loss": 2.3063,
+      "step": 378
+    },
+    {
+      "epoch": 0.5053333333333333,
+      "grad_norm": 0.2607115263658857,
+      "learning_rate": 2.626621378608074e-05,
+      "loss": 2.0627,
+      "step": 379
+    },
+    {
+      "epoch": 0.5066666666666667,
+      "grad_norm": 0.2164836472576184,
+      "learning_rate": 2.624640726838608e-05,
+      "loss": 2.2111,
+      "step": 380
+    },
+    {
+      "epoch": 0.508,
+      "grad_norm": 0.26262335545259213,
+      "learning_rate": 2.622655683490072e-05,
+      "loss": 2.135,
+      "step": 381
+    },
+    {
+      "epoch": 0.5093333333333333,
+      "grad_norm": 0.3929953560993829,
+      "learning_rate": 2.6206662575067612e-05,
+      "loss": 2.0104,
+      "step": 382
+    },
+    {
+      "epoch": 0.5106666666666667,
+      "grad_norm": 0.34025016050394374,
+      "learning_rate": 2.6186724578527196e-05,
+      "loss": 2.1592,
+      "step": 383
+    },
+    {
+      "epoch": 0.512,
+      "grad_norm": 0.23150100757885902,
+      "learning_rate": 2.6166742935116967e-05,
+      "loss": 2.2252,
+      "step": 384
+    },
+    {
+      "epoch": 0.5133333333333333,
+      "grad_norm": 0.20480910397432198,
+      "learning_rate": 2.6146717734871092e-05,
+      "loss": 2.1451,
+      "step": 385
+    },
+    {
+      "epoch": 0.5146666666666667,
+      "grad_norm": 0.3320045250749023,
+      "learning_rate": 2.6126649068020004e-05,
+      "loss": 2.094,
+      "step": 386
+    },
+    {
+      "epoch": 0.516,
+      "grad_norm": 0.21607139651020324,
+      "learning_rate": 2.6106537024989985e-05,
+      "loss": 2.1313,
+      "step": 387
+    },
+    {
+      "epoch": 0.5173333333333333,
+      "grad_norm": 0.26417756391106934,
+      "learning_rate": 2.6086381696402757e-05,
+      "loss": 2.2438,
+      "step": 388
+    },
+    {
+      "epoch": 0.5186666666666667,
+      "grad_norm": 0.2575227608051382,
+      "learning_rate": 2.6066183173075097e-05,
+      "loss": 2.071,
+      "step": 389
+    },
+    {
+      "epoch": 0.52,
+      "grad_norm": 0.33025483593812915,
+      "learning_rate": 2.6045941546018393e-05,
+      "loss": 1.9,
+      "step": 390
+    },
+    {
+      "epoch": 0.5213333333333333,
+      "grad_norm": 0.24483598990979227,
+      "learning_rate": 2.6025656906438258e-05,
+      "loss": 2.1122,
+      "step": 391
+    },
+    {
+      "epoch": 0.5226666666666666,
+      "grad_norm": 0.2774543445460937,
+      "learning_rate": 2.6005329345734118e-05,
+      "loss": 1.9011,
+      "step": 392
+    },
+    {
+      "epoch": 0.524,
+      "grad_norm": 0.23412108680048146,
+      "learning_rate": 2.5984958955498787e-05,
+      "loss": 2.3201,
+      "step": 393
+    },
+    {
+      "epoch": 0.5253333333333333,
+      "grad_norm": 0.23961697514306227,
+      "learning_rate": 2.5964545827518065e-05,
+      "loss": 2.007,
+      "step": 394
+    },
+    {
+      "epoch": 0.5266666666666666,
+      "grad_norm": 0.31411643954504864,
+      "learning_rate": 2.5944090053770323e-05,
+      "loss": 1.908,
+      "step": 395
+    },
+    {
+      "epoch": 0.528,
+      "grad_norm": 0.27669334589294126,
+      "learning_rate": 2.592359172642609e-05,
+      "loss": 1.8943,
+      "step": 396
+    },
+    {
+      "epoch": 0.5293333333333333,
+      "grad_norm": 0.30091910007710565,
+      "learning_rate": 2.5903050937847625e-05,
+      "loss": 2.0184,
+      "step": 397
+    },
+    {
+      "epoch": 0.5306666666666666,
+      "grad_norm": 0.24400641571971146,
+      "learning_rate": 2.5882467780588526e-05,
+      "loss": 1.775,
+      "step": 398
+    },
+    {
+      "epoch": 0.532,
+      "grad_norm": 0.25922993656928794,
+      "learning_rate": 2.5861842347393282e-05,
+      "loss": 1.9972,
+      "step": 399
+    },
+    {
+      "epoch": 0.5333333333333333,
+      "grad_norm": 0.23535227055438726,
+      "learning_rate": 2.5841174731196877e-05,
+      "loss": 1.7925,
+      "step": 400
+    },
+    {
+      "epoch": 0.5346666666666666,
+      "grad_norm": 0.2342264521026473,
+      "learning_rate": 2.5820465025124365e-05,
+      "loss": 2.1403,
+      "step": 401
+    },
+    {
+      "epoch": 0.536,
+      "grad_norm": 0.2842669876468834,
+      "learning_rate": 2.5799713322490453e-05,
+      "loss": 2.1425,
+      "step": 402
+    },
+    {
+      "epoch": 0.5373333333333333,
+      "grad_norm": 0.3204086643789354,
+      "learning_rate": 2.5778919716799074e-05,
+      "loss": 1.8728,
+      "step": 403
+    },
+    {
+      "epoch": 0.5386666666666666,
+      "grad_norm": 0.26967796394246557,
+      "learning_rate": 2.5758084301742975e-05,
+      "loss": 2.2239,
+      "step": 404
+    },
+    {
+      "epoch": 0.54,
+      "grad_norm": 0.20159105110551168,
+      "learning_rate": 2.5737207171203286e-05,
+      "loss": 2.1444,
+      "step": 405
+    },
+    {
+      "epoch": 0.5413333333333333,
+      "grad_norm": 0.2770693985078698,
+      "learning_rate": 2.5716288419249098e-05,
+      "loss": 2.0661,
+      "step": 406
+    },
+    {
+      "epoch": 0.5426666666666666,
+      "grad_norm": 0.25565224879402676,
+      "learning_rate": 2.569532814013704e-05,
+      "loss": 2.2215,
+      "step": 407
+    },
+    {
+      "epoch": 0.544,
+      "grad_norm": 0.17283251407616515,
+      "learning_rate": 2.5674326428310867e-05,
+      "loss": 2.0621,
+      "step": 408
+    },
+    {
+      "epoch": 0.5453333333333333,
+      "grad_norm": 0.280202142213052,
+      "learning_rate": 2.5653283378401013e-05,
+      "loss": 1.8841,
+      "step": 409
+    },
+    {
+      "epoch": 0.5466666666666666,
+      "grad_norm": 0.24429132905069922,
+      "learning_rate": 2.5632199085224175e-05,
+      "loss": 2.2204,
+      "step": 410
+    },
+    {
+      "epoch": 0.548,
+      "grad_norm": 0.20785440391670923,
+      "learning_rate": 2.5611073643782894e-05,
+      "loss": 2.0911,
+      "step": 411
+    },
+    {
+      "epoch": 0.5493333333333333,
+      "grad_norm": 0.24187453202492748,
+      "learning_rate": 2.558990714926511e-05,
+      "loss": 2.253,
+      "step": 412
+    },
+    {
+      "epoch": 0.5506666666666666,
+      "grad_norm": 0.2677535149215768,
+      "learning_rate": 2.556869969704375e-05,
+      "loss": 2.1663,
+      "step": 413
+    },
+    {
+      "epoch": 0.552,
+      "grad_norm": 0.23967372826331235,
+      "learning_rate": 2.554745138267628e-05,
+      "loss": 2.1926,
+      "step": 414
+    },
+    {
+      "epoch": 0.5533333333333333,
+      "grad_norm": 0.23057427777779413,
+      "learning_rate": 2.5526162301904293e-05,
+      "loss": 2.0412,
+      "step": 415
+    },
+    {
+      "epoch": 0.5546666666666666,
+      "grad_norm": 0.2885284967638168,
+      "learning_rate": 2.5504832550653067e-05,
+      "loss": 1.95,
+      "step": 416
+    },
+    {
+      "epoch": 0.556,
+      "grad_norm": 0.20302927747169716,
+      "learning_rate": 2.5483462225031128e-05,
+      "loss": 2.1122,
+      "step": 417
+    },
+    {
+      "epoch": 0.5573333333333333,
+      "grad_norm": 0.24366303363901448,
+      "learning_rate": 2.546205142132984e-05,
+      "loss": 2.1674,
+      "step": 418
+    },
+    {
+      "epoch": 0.5586666666666666,
+      "grad_norm": 0.2932552576941417,
+      "learning_rate": 2.5440600236022924e-05,
+      "loss": 1.7735,
+      "step": 419
+    },
+    {
+      "epoch": 0.56,
+      "grad_norm": 0.2942369556389563,
+      "learning_rate": 2.54191087657661e-05,
+      "loss": 1.8327,
+      "step": 420
+    },
+    {
+      "epoch": 0.5613333333333334,
+      "grad_norm": 0.19743640775814034,
+      "learning_rate": 2.5397577107396567e-05,
+      "loss": 2.3126,
+      "step": 421
+    },
+    {
+      "epoch": 0.5626666666666666,
+      "grad_norm": 0.32093382445453417,
+      "learning_rate": 2.5376005357932616e-05,
+      "loss": 1.9272,
+      "step": 422
+    },
+    {
+      "epoch": 0.564,
+      "grad_norm": 0.31119702731247945,
+      "learning_rate": 2.5354393614573188e-05,
+      "loss": 1.8724,
+      "step": 423
+    },
+    {
+      "epoch": 0.5653333333333334,
+      "grad_norm": 0.2066996097801704,
+      "learning_rate": 2.5332741974697432e-05,
+      "loss": 2.1157,
+      "step": 424
+    },
+    {
+      "epoch": 0.5666666666666667,
+      "grad_norm": 0.18988191723765685,
+      "learning_rate": 2.5311050535864253e-05,
+      "loss": 1.9704,
+      "step": 425
+    },
+    {
+      "epoch": 0.568,
+      "grad_norm": 0.23278617764031323,
+      "learning_rate": 2.5289319395811897e-05,
+      "loss": 1.9034,
+      "step": 426
+    },
+    {
+      "epoch": 0.5693333333333334,
+      "grad_norm": 0.24359667899234191,
+      "learning_rate": 2.5267548652457478e-05,
+      "loss": 2.1112,
+      "step": 427
+    },
+    {
+      "epoch": 0.5706666666666667,
+      "grad_norm": 0.2183386421997878,
+      "learning_rate": 2.524573840389659e-05,
+      "loss": 2.3351,
+      "step": 428
+    },
+    {
+      "epoch": 0.572,
+      "grad_norm": 0.24623394684092095,
+      "learning_rate": 2.5223888748402786e-05,
+      "loss": 1.7524,
+      "step": 429
+    },
+    {
+      "epoch": 0.5733333333333334,
+      "grad_norm": 0.3492801592421858,
+      "learning_rate": 2.5201999784427225e-05,
+      "loss": 1.9649,
+      "step": 430
+    },
+    {
+      "epoch": 0.5746666666666667,
+      "grad_norm": 0.23771436444452013,
+      "learning_rate": 2.5180071610598164e-05,
+      "loss": 1.9788,
+      "step": 431
+    },
+    {
+      "epoch": 0.576,
+      "grad_norm": 0.28422749390691604,
+      "learning_rate": 2.5158104325720513e-05,
+      "loss": 1.9749,
+      "step": 432
+    },
+    {
+      "epoch": 0.5773333333333334,
+      "grad_norm": 0.24035666016422355,
+      "learning_rate": 2.513609802877545e-05,
+      "loss": 1.8426,
+      "step": 433
+    },
+    {
+      "epoch": 0.5786666666666667,
+      "grad_norm": 0.22863170510861272,
+      "learning_rate": 2.5114052818919913e-05,
+      "loss": 1.946,
+      "step": 434
+    },
+    {
+      "epoch": 0.58,
+      "grad_norm": 0.3080369938822394,
+      "learning_rate": 2.5091968795486173e-05,
+      "loss": 2.1382,
+      "step": 435
+    },
+    {
+      "epoch": 0.5813333333333334,
+      "grad_norm": 0.25635562031358045,
+      "learning_rate": 2.50698460579814e-05,
+      "loss": 1.8564,
+      "step": 436
+    },
+    {
+      "epoch": 0.5826666666666667,
+      "grad_norm": 0.25131606327010947,
+      "learning_rate": 2.504768470608719e-05,
+      "loss": 1.8574,
+      "step": 437
+    },
+    {
+      "epoch": 0.584,
+      "grad_norm": 0.27786273971519304,
+      "learning_rate": 2.502548483965914e-05,
+      "loss": 1.8203,
+      "step": 438
+    },
+    {
+      "epoch": 0.5853333333333334,
+      "grad_norm": 0.2537835141335265,
+      "learning_rate": 2.50032465587264e-05,
+      "loss": 2.1261,
+      "step": 439
+    },
+    {
+      "epoch": 0.5866666666666667,
+      "grad_norm": 0.2857274434588356,
+      "learning_rate": 2.4980969963491174e-05,
+      "loss": 1.8283,
+      "step": 440
+    },
+    {
+      "epoch": 0.588,
+      "grad_norm": 0.2497369750967388,
+      "learning_rate": 2.495865515432833e-05,
+      "loss": 2.0896,
+      "step": 441
+    },
+    {
+      "epoch": 0.5893333333333334,
+      "grad_norm": 0.31048709085768267,
+      "learning_rate": 2.4936302231784924e-05,
+      "loss": 1.8459,
+      "step": 442
+    },
+    {
+      "epoch": 0.5906666666666667,
+      "grad_norm": 0.37747863954921845,
+      "learning_rate": 2.491391129657974e-05,
+      "loss": 1.766,
+      "step": 443
+    },
+    {
+      "epoch": 0.592,
+      "grad_norm": 0.23281230965954086,
+      "learning_rate": 2.4891482449602826e-05,
+      "loss": 2.1607,
+      "step": 444
+    },
+    {
+      "epoch": 0.5933333333333334,
+      "grad_norm": 0.23099470118617824,
+      "learning_rate": 2.4869015791915073e-05,
+      "loss": 2.2428,
+      "step": 445
+    },
+    {
+      "epoch": 0.5946666666666667,
+      "grad_norm": 0.33283816512680775,
+      "learning_rate": 2.4846511424747745e-05,
+      "loss": 1.7942,
+      "step": 446
+    },
+    {
+      "epoch": 0.596,
+      "grad_norm": 0.2610205889529608,
+      "learning_rate": 2.4823969449501994e-05,
+      "loss": 1.5129,
+      "step": 447
+    },
+    {
+      "epoch": 0.5973333333333334,
+      "grad_norm": 0.2436971157415235,
+      "learning_rate": 2.4801389967748457e-05,
+      "loss": 2.1171,
+      "step": 448
+    },
+    {
+      "epoch": 0.5986666666666667,
+      "grad_norm": 0.40234611756909766,
+      "learning_rate": 2.4778773081226746e-05,
+      "loss": 2.0152,
+      "step": 449
+    },
+    {
+      "epoch": 0.6,
+      "grad_norm": 0.3603986684632457,
+      "learning_rate": 2.4756118891845033e-05,
+      "loss": 1.9314,
+      "step": 450
+    },
+    {
+      "epoch": 0.6,
+      "eval_loss": 1.7376551628112793,
+      "eval_runtime": 98.8777,
+      "eval_samples_per_second": 1.011,
+      "eval_steps_per_second": 0.253,
+      "step": 450
+    },
+    {
+      "epoch": 0.6013333333333334,
+      "grad_norm": 0.3047585311557484,
+      "learning_rate": 2.4733427501679556e-05,
+      "loss": 1.9624,
+      "step": 451
+    },
+    {
+      "epoch": 0.6026666666666667,
+      "grad_norm": 2.732104288666609,
+      "learning_rate": 2.4710699012974184e-05,
+      "loss": 2.0594,
+      "step": 452
+    },
+    {
+      "epoch": 0.604,
+      "grad_norm": 0.5945756171955396,
+      "learning_rate": 2.468793352813993e-05,
+      "loss": 1.6689,
+      "step": 453
+    },
+    {
+      "epoch": 0.6053333333333333,
+      "grad_norm": 0.20149493665704768,
+      "learning_rate": 2.466513114975453e-05,
+      "loss": 2.3389,
+      "step": 454
+    },
+    {
+      "epoch": 0.6066666666666667,
+      "grad_norm": 0.2884544652315411,
+      "learning_rate": 2.4642291980561943e-05,
+      "loss": 2.2945,
+      "step": 455
+    },
+    {
+      "epoch": 0.608,
+      "grad_norm": 0.2716044614101472,
+      "learning_rate": 2.4619416123471888e-05,
+      "loss": 2.1059,
+      "step": 456
+    },
+    {
+      "epoch": 0.6093333333333333,
+      "grad_norm": 0.2865353237820169,
+      "learning_rate": 2.4596503681559425e-05,
+      "loss": 2.0127,
+      "step": 457
+    },
+    {
+      "epoch": 0.6106666666666667,
+      "grad_norm": 0.2815842392110537,
+      "learning_rate": 2.4573554758064437e-05,
+      "loss": 2.091,
+      "step": 458
+    },
+    {
+      "epoch": 0.612,
+      "grad_norm": 0.2367309740017095,
+      "learning_rate": 2.455056945639119e-05,
+      "loss": 2.1941,
+      "step": 459
+    },
+    {
+      "epoch": 0.6133333333333333,
+      "grad_norm": 0.22932211795337953,
+      "learning_rate": 2.4527547880107873e-05,
+      "loss": 1.8939,
+      "step": 460
+    },
+    {
+      "epoch": 0.6146666666666667,
+      "grad_norm": 0.2886521119304901,
+      "learning_rate": 2.450449013294611e-05,
+      "loss": 2.1722,
+      "step": 461
+    },
+    {
+      "epoch": 0.616,
+      "grad_norm": 0.3025792968730659,
+      "learning_rate": 2.448139631880052e-05,
+      "loss": 1.8465,
+      "step": 462
+    },
+    {
+      "epoch": 0.6173333333333333,
+      "grad_norm": 0.2741091872887346,
+      "learning_rate": 2.4458266541728225e-05,
+      "loss": 1.9238,
+      "step": 463
+    },
+    {
+      "epoch": 0.6186666666666667,
+      "grad_norm": 0.23073611413041367,
+      "learning_rate": 2.4435100905948387e-05,
+      "loss": 1.6034,
+      "step": 464
+    },
+    {
+      "epoch": 0.62,
+      "grad_norm": 0.3375731162237492,
+      "learning_rate": 2.4411899515841757e-05,
+      "loss": 1.8784,
+      "step": 465
+    },
+    {
+      "epoch": 0.6213333333333333,
+      "grad_norm": 0.22514383343323016,
+      "learning_rate": 2.438866247595017e-05,
+      "loss": 2.4078,
+      "step": 466
+    },
+    {
+      "epoch": 0.6226666666666667,
+      "grad_norm": 0.24786673693398917,
+      "learning_rate": 2.4365389890976107e-05,
+      "loss": 1.9611,
+      "step": 467
+    },
+    {
+      "epoch": 0.624,
+      "grad_norm": 0.2582820529265001,
+      "learning_rate": 2.4342081865782204e-05,
+      "loss": 2.2779,
+      "step": 468
+    },
+    {
+      "epoch": 0.6253333333333333,
+      "grad_norm": 0.30038879993456885,
+      "learning_rate": 2.4318738505390792e-05,
+      "loss": 1.7008,
+      "step": 469
+    },
+    {
+      "epoch": 0.6266666666666667,
+      "grad_norm": 0.22093391590717046,
+      "learning_rate": 2.42953599149834e-05,
+      "loss": 2.1409,
+      "step": 470
+    },
+    {
+      "epoch": 0.628,
+      "grad_norm": 0.23026854819393244,
+      "learning_rate": 2.427194619990032e-05,
+      "loss": 1.9212,
+      "step": 471
+    },
+    {
+      "epoch": 0.6293333333333333,
+      "grad_norm": 0.25457418947477256,
+      "learning_rate": 2.424849746564009e-05,
+      "loss": 1.9884,
+      "step": 472
+    },
+    {
+      "epoch": 0.6306666666666667,
+      "grad_norm": 0.2977795754556178,
+      "learning_rate": 2.4225013817859064e-05,
+      "loss": 1.7479,
+      "step": 473
+    },
+    {
+      "epoch": 0.632,
+      "grad_norm": 0.22067708037002065,
+      "learning_rate": 2.4201495362370878e-05,
+      "loss": 2.1299,
+      "step": 474
+    },
+    {
+      "epoch": 0.6333333333333333,
+      "grad_norm": 0.24519431888409313,
+      "learning_rate": 2.4177942205146033e-05,
+      "loss": 2.0112,
+      "step": 475
+    },
+    {
+      "epoch": 0.6346666666666667,
+      "grad_norm": 0.22465817603693417,
+      "learning_rate": 2.4154354452311377e-05,
+      "loss": 2.1755,
+      "step": 476
+    },
+    {
+      "epoch": 0.636,
+      "grad_norm": 0.2104795110400901,
+      "learning_rate": 2.4130732210149654e-05,
+      "loss": 2.0665,
+      "step": 477
+    },
+    {
+      "epoch": 0.6373333333333333,
+      "grad_norm": 0.254995878899391,
+      "learning_rate": 2.4107075585098986e-05,
+      "loss": 1.7783,
+      "step": 478
+    },
+    {
+      "epoch": 0.6386666666666667,
+      "grad_norm": 0.2781731992077847,
+      "learning_rate": 2.408338468375245e-05,
+      "loss": 1.9261,
+      "step": 479
+    },
+    {
+      "epoch": 0.64,
+      "grad_norm": 0.2022199410275876,
+      "learning_rate": 2.405965961285754e-05,
+      "loss": 2.5905,
+      "step": 480
+    },
+    {
+      "epoch": 0.6413333333333333,
+      "grad_norm": 0.2245533085937808,
+      "learning_rate": 2.4035900479315733e-05,
+      "loss": 2.0583,
+      "step": 481
+    },
+    {
+      "epoch": 0.6426666666666667,
+      "grad_norm": 0.2629367372490712,
+      "learning_rate": 2.4012107390181972e-05,
+      "loss": 2.0899,
+      "step": 482
+    },
+    {
+      "epoch": 0.644,
+      "grad_norm": 0.2353694715550615,
+      "learning_rate": 2.398828045266421e-05,
+      "loss": 2.1819,
+      "step": 483
+    },
+    {
+      "epoch": 0.6453333333333333,
+      "grad_norm": 0.32408275755469357,
+      "learning_rate": 2.3964419774122905e-05,
+      "loss": 2.1431,
+      "step": 484
+    },
+    {
+      "epoch": 0.6466666666666666,
+      "grad_norm": 0.22518717197459437,
+      "learning_rate": 2.394052546207056e-05,
+      "loss": 2.2526,
+      "step": 485
+    },
+    {
+      "epoch": 0.648,
+      "grad_norm": 0.2539883963098537,
+      "learning_rate": 2.3916597624171212e-05,
+      "loss": 1.8525,
+      "step": 486
+    },
+    {
+      "epoch": 0.6493333333333333,
+      "grad_norm": 0.2576069823005604,
+      "learning_rate": 2.3892636368239968e-05,
+      "loss": 1.8764,
+      "step": 487
+    },
+    {
+      "epoch": 0.6506666666666666,
+      "grad_norm": 0.2914513416559507,
+      "learning_rate": 2.3868641802242505e-05,
+      "loss": 1.8907,
+      "step": 488
+    },
+    {
+      "epoch": 0.652,
+      "grad_norm": 0.2592192101828592,
+      "learning_rate": 2.3844614034294603e-05,
+      "loss": 1.9931,
+      "step": 489
+    },
+    {
+      "epoch": 0.6533333333333333,
+      "grad_norm": 0.28662127139059485,
+      "learning_rate": 2.3820553172661627e-05,
+      "loss": 2.2488,
+      "step": 490
+    },
+    {
+      "epoch": 0.6546666666666666,
+      "grad_norm": 0.25415789018299234,
+      "learning_rate": 2.3796459325758066e-05,
+      "loss": 1.9321,
+      "step": 491
+    },
+    {
+      "epoch": 0.656,
+      "grad_norm": 0.21601669885383726,
+      "learning_rate": 2.3772332602147045e-05,
+      "loss": 2.1329,
+      "step": 492
+    },
+    {
+      "epoch": 0.6573333333333333,
+      "grad_norm": 0.3310096689326958,
+      "learning_rate": 2.3748173110539806e-05,
+      "loss": 1.9672,
+      "step": 493
+    },
+    {
+      "epoch": 0.6586666666666666,
+      "grad_norm": 0.2681898272326062,
+      "learning_rate": 2.3723980959795252e-05,
+      "loss": 2.0179,
+      "step": 494
+    },
+    {
+      "epoch": 0.66,
+      "grad_norm": 0.21937610824327985,
+      "learning_rate": 2.369975625891945e-05,
+      "loss": 2.3674,
+      "step": 495
+    },
+    {
+      "epoch": 0.6613333333333333,
+      "grad_norm": 0.26983079477053074,
+      "learning_rate": 2.3675499117065104e-05,
+      "loss": 2.0192,
+      "step": 496
+    },
+    {
+      "epoch": 0.6626666666666666,
+      "grad_norm": 0.24516611619277187,
+      "learning_rate": 2.3651209643531136e-05,
+      "loss": 2.243,
+      "step": 497
+    },
+    {
+      "epoch": 0.664,
+      "grad_norm": 0.21468400015728048,
+      "learning_rate": 2.3626887947762102e-05,
+      "loss": 2.1864,
+      "step": 498
+    },
+    {
+      "epoch": 0.6653333333333333,
+      "grad_norm": 0.287563912757122,
+      "learning_rate": 2.3602534139347778e-05,
+      "loss": 1.8674,
+      "step": 499
+    },
+    {
+      "epoch": 0.6666666666666666,
+      "grad_norm": 0.26726264993942,
+      "learning_rate": 2.3578148328022628e-05,
+      "loss": 2.0575,
+      "step": 500
+    },
+    {
+      "epoch": 0.668,
+      "grad_norm": 0.261609977256579,
+      "learning_rate": 2.355373062366531e-05,
+      "loss": 1.9286,
+      "step": 501
+    },
+    {
+      "epoch": 0.6693333333333333,
+      "grad_norm": 0.20611671277754134,
+      "learning_rate": 2.3529281136298196e-05,
+      "loss": 2.2271,
+      "step": 502
+    },
+    {
+      "epoch": 0.6706666666666666,
+      "grad_norm": 0.2401968161646043,
+      "learning_rate": 2.3504799976086846e-05,
+      "loss": 2.4382,
+      "step": 503
+    },
+    {
+      "epoch": 0.672,
+      "grad_norm": 0.28468622521731657,
+      "learning_rate": 2.348028725333957e-05,
+      "loss": 1.8355,
+      "step": 504
+    },
+    {
+      "epoch": 0.6733333333333333,
+      "grad_norm": 0.20634787358359907,
+      "learning_rate": 2.3455743078506863e-05,
+      "loss": 1.9282,
+      "step": 505
+    },
+    {
+      "epoch": 0.6746666666666666,
+      "grad_norm": 0.3179961211359532,
+      "learning_rate": 2.3431167562180944e-05,
+      "loss": 1.8643,
+      "step": 506
+    },
+    {
+      "epoch": 0.676,
+      "grad_norm": 0.299652498085615,
+      "learning_rate": 2.3406560815095256e-05,
+      "loss": 2.0409,
+      "step": 507
+    },
+    {
+      "epoch": 0.6773333333333333,
+      "grad_norm": 0.17939940729354284,
+      "learning_rate": 2.3381922948123975e-05,
+      "loss": 2.3247,
+      "step": 508
+    },
+    {
+      "epoch": 0.6786666666666666,
+      "grad_norm": 0.31054666764858174,
+      "learning_rate": 2.3357254072281474e-05,
+      "loss": 2.137,
+      "step": 509
+    },
+    {
+      "epoch": 0.68,
+      "grad_norm": 0.25051714446023193,
+      "learning_rate": 2.333255429872186e-05,
+      "loss": 2.1494,
+      "step": 510
+    },
+    {
+      "epoch": 0.6813333333333333,
+      "grad_norm": 0.33225916062113814,
+      "learning_rate": 2.3307823738738464e-05,
+      "loss": 2.2757,
+      "step": 511
+    },
+    {
+      "epoch": 0.6826666666666666,
+      "grad_norm": 0.23832106009922413,
+      "learning_rate": 2.3283062503763328e-05,
+      "loss": 2.2151,
+      "step": 512
+    },
+    {
+      "epoch": 0.684,
+      "grad_norm": 0.3584913646272861,
+      "learning_rate": 2.325827070536672e-05,
+      "loss": 2.116,
+      "step": 513
+    },
+    {
+      "epoch": 0.6853333333333333,
+      "grad_norm": 0.2380956102079889,
+      "learning_rate": 2.3233448455256606e-05,
+      "loss": 2.2443,
+      "step": 514
+    },
+    {
+      "epoch": 0.6866666666666666,
+      "grad_norm": 0.3027209634683966,
+      "learning_rate": 2.3208595865278176e-05,
+      "loss": 2.2496,
+      "step": 515
+    },
+    {
+      "epoch": 0.688,
+      "grad_norm": 0.3184372460718996,
+      "learning_rate": 2.3183713047413332e-05,
+      "loss": 1.8725,
+      "step": 516
+    },
+    {
+      "epoch": 0.6893333333333334,
+      "grad_norm": 0.2794218076575254,
+      "learning_rate": 2.315880011378016e-05,
+      "loss": 2.1965,
+      "step": 517
+    },
+    {
+      "epoch": 0.6906666666666667,
+      "grad_norm": 0.260191670734645,
+      "learning_rate": 2.3133857176632456e-05,
+      "loss": 1.8554,
+      "step": 518
+    },
+    {
+      "epoch": 0.692,
+      "grad_norm": 0.21604250961632915,
+      "learning_rate": 2.3108884348359204e-05,
+      "loss": 2.2134,
+      "step": 519
+    },
+    {
+      "epoch": 0.6933333333333334,
+      "grad_norm": 0.21227529934542605,
+      "learning_rate": 2.308388174148407e-05,
+      "loss": 2.0199,
+      "step": 520
+    },
+    {
+      "epoch": 0.6946666666666667,
+      "grad_norm": 0.24394795721824195,
+      "learning_rate": 2.30588494686649e-05,
+      "loss": 2.3131,
+      "step": 521
+    },
+    {
+      "epoch": 0.696,
+      "grad_norm": 0.3792154413621289,
+      "learning_rate": 2.3033787642693212e-05,
+      "loss": 1.3969,
+      "step": 522
+    },
+    {
+      "epoch": 0.6973333333333334,
+      "grad_norm": 0.5367777338806384,
+      "learning_rate": 2.3008696376493685e-05,
+      "loss": 2.1854,
+      "step": 523
+    },
+    {
+      "epoch": 0.6986666666666667,
+      "grad_norm": 0.2484310681652364,
+      "learning_rate": 2.2983575783123654e-05,
+      "loss": 1.7635,
+      "step": 524
+    },
+    {
+      "epoch": 0.7,
+      "grad_norm": 0.19974085366635924,
+      "learning_rate": 2.2958425975772582e-05,
+      "loss": 2.202,
+      "step": 525
+    },
+    {
+      "epoch": 0.7,
+      "eval_loss": 1.7349865436553955,
+      "eval_runtime": 98.7392,
+      "eval_samples_per_second": 1.013,
+      "eval_steps_per_second": 0.253,
+      "step": 525
+    },
+    {
+      "epoch": 0.7013333333333334,
+      "grad_norm": 0.2493667508703462,
+      "learning_rate": 2.293324706776159e-05,
+      "loss": 1.8884,
+      "step": 526
+    },
+    {
+      "epoch": 0.7026666666666667,
+      "grad_norm": 0.2196802593462806,
+      "learning_rate": 2.2908039172542903e-05,
+      "loss": 1.953,
+      "step": 527
+    },
+    {
+      "epoch": 0.704,
+      "grad_norm": 0.27925364505505185,
+      "learning_rate": 2.2882802403699365e-05,
+      "loss": 2.0056,
+      "step": 528
+    },
+    {
+      "epoch": 0.7053333333333334,
+      "grad_norm": 0.3244883574542453,
+      "learning_rate": 2.2857536874943924e-05,
+      "loss": 1.9776,
+      "step": 529
+    },
+    {
+      "epoch": 0.7066666666666667,
+      "grad_norm": 0.27740712715023463,
+      "learning_rate": 2.28322427001191e-05,
+      "loss": 2.0773,
+      "step": 530
+    },
+    {
+      "epoch": 0.708,
+      "grad_norm": 0.25184080033253003,
+      "learning_rate": 2.280691999319651e-05,
+      "loss": 2.1259,
+      "step": 531
+    },
+    {
+      "epoch": 0.7093333333333334,
+      "grad_norm": 0.2247509964017766,
+      "learning_rate": 2.2781568868276318e-05,
+      "loss": 2.1373,
+      "step": 532
+    },
+    {
+      "epoch": 0.7106666666666667,
+      "grad_norm": 0.24666405348670045,
+      "learning_rate": 2.2756189439586736e-05,
+      "loss": 2.2327,
+      "step": 533
+    },
+    {
+      "epoch": 0.712,
+      "grad_norm": 0.3252286607585267,
+      "learning_rate": 2.2730781821483507e-05,
+      "loss": 1.5159,
+      "step": 534
+    },
+    {
+      "epoch": 0.7133333333333334,
+      "grad_norm": 0.2816374654091368,
+      "learning_rate": 2.270534612844941e-05,
+      "loss": 2.2146,
+      "step": 535
+    },
+    {
+      "epoch": 0.7146666666666667,
+      "grad_norm": 0.24936235379096205,
+      "learning_rate": 2.267988247509369e-05,
+      "loss": 2.1009,
+      "step": 536
+    },
+    {
+      "epoch": 0.716,
+      "grad_norm": 0.2779229582280588,
+      "learning_rate": 2.265439097615161e-05,
+      "loss": 1.8832,
+      "step": 537
+    },
+    {
+      "epoch": 0.7173333333333334,
+      "grad_norm": 0.2575943747031005,
+      "learning_rate": 2.2628871746483882e-05,
+      "loss": 2.0232,
+      "step": 538
+    },
+    {
+      "epoch": 0.7186666666666667,
+      "grad_norm": 0.23769746040206244,
+      "learning_rate": 2.2603324901076177e-05,
+      "loss": 2.3063,
+      "step": 539
+    },
+    {
+      "epoch": 0.72,
+      "grad_norm": 0.21574081196114406,
+      "learning_rate": 2.257775055503859e-05,
+      "loss": 1.9571,
+      "step": 540
+    },
+    {
+      "epoch": 0.7213333333333334,
+      "grad_norm": 0.21566738748323505,
+      "learning_rate": 2.2552148823605143e-05,
+      "loss": 2.1521,
+      "step": 541
+    },
+    {
+      "epoch": 0.7226666666666667,
+      "grad_norm": 0.26810657886567807,
+      "learning_rate": 2.2526519822133232e-05,
+      "loss": 2.1191,
+      "step": 542
+    },
+    {
+      "epoch": 0.724,
+      "grad_norm": 0.2940225959141783,
+      "learning_rate": 2.2500863666103148e-05,
+      "loss": 2.1898,
+      "step": 543
+    },
+    {
+      "epoch": 0.7253333333333334,
+      "grad_norm": 0.3378840825082983,
+      "learning_rate": 2.247518047111753e-05,
+      "loss": 2.1439,
+      "step": 544
+    },
+    {
+      "epoch": 0.7266666666666667,
+      "grad_norm": 0.22696101000868238,
+      "learning_rate": 2.244947035290084e-05,
+      "loss": 2.2698,
+      "step": 545
+    },
+    {
+      "epoch": 0.728,
+      "grad_norm": 0.2162000773529741,
+      "learning_rate": 2.2423733427298862e-05,
+      "loss": 2.3212,
+      "step": 546
+    },
+    {
+      "epoch": 0.7293333333333333,
+      "grad_norm": 0.2603830814733624,
+      "learning_rate": 2.239796981027817e-05,
+      "loss": 2.11,
+      "step": 547
+    },
+    {
+      "epoch": 0.7306666666666667,
+      "grad_norm": 0.2888938079302091,
+      "learning_rate": 2.2372179617925607e-05,
+      "loss": 2.1089,
+      "step": 548
+    },
+    {
+      "epoch": 0.732,
+      "grad_norm": 0.27471645137763273,
+      "learning_rate": 2.2346362966447753e-05,
+      "loss": 2.0256,
+      "step": 549
+    },
+    {
+      "epoch": 0.7333333333333333,
+      "grad_norm": 0.21303205293010508,
+      "learning_rate": 2.232051997217041e-05,
+      "loss": 2.0032,
+      "step": 550
+    },
+    {
+      "epoch": 0.7346666666666667,
+      "grad_norm": 0.23694268054843318,
+      "learning_rate": 2.2294650751538075e-05,
+      "loss": 2.2141,
+      "step": 551
+    },
+    {
+      "epoch": 0.736,
+      "grad_norm": 0.2854078839991537,
+      "learning_rate": 2.226875542111343e-05,
+      "loss": 2.2259,
+      "step": 552
+    },
+    {
+      "epoch": 0.7373333333333333,
+      "grad_norm": 0.3404877478094408,
+      "learning_rate": 2.224283409757679e-05,
+      "loss": 1.7182,
+      "step": 553
+    },
+    {
+      "epoch": 0.7386666666666667,
+      "grad_norm": 0.27686754126786156,
+      "learning_rate": 2.221688689772559e-05,
+      "loss": 1.8002,
+      "step": 554
+    },
+    {
+      "epoch": 0.74,
+      "grad_norm": 0.3073870674820258,
+      "learning_rate": 2.219091393847387e-05,
+      "loss": 2.0866,
+      "step": 555
+    },
+    {
+      "epoch": 0.7413333333333333,
+      "grad_norm": 0.2516895248573763,
+      "learning_rate": 2.2164915336851738e-05,
+      "loss": 2.2784,
+      "step": 556
+    },
+    {
+      "epoch": 0.7426666666666667,
+      "grad_norm": 0.2870432753981648,
+      "learning_rate": 2.2138891210004832e-05,
+      "loss": 1.9175,
+      "step": 557
+    },
+    {
+      "epoch": 0.744,
+      "grad_norm": 0.2057162258455219,
+      "learning_rate": 2.21128416751938e-05,
+      "loss": 2.2339,
+      "step": 558
+    },
+    {
+      "epoch": 0.7453333333333333,
+      "grad_norm": 0.20397086012230586,
+      "learning_rate": 2.208676684979379e-05,
+      "loss": 2.1495,
+      "step": 559
+    },
+    {
+      "epoch": 0.7466666666666667,
+      "grad_norm": 0.21163355796403646,
+      "learning_rate": 2.2060666851293903e-05,
+      "loss": 2.3239,
+      "step": 560
+    },
+    {
+      "epoch": 0.748,
+      "grad_norm": 0.25078410912535354,
+      "learning_rate": 2.2034541797296653e-05,
+      "loss": 2.0699,
+      "step": 561
+    },
+    {
+      "epoch": 0.7493333333333333,
+      "grad_norm": 0.3150772753859901,
+      "learning_rate": 2.2008391805517457e-05,
+      "loss": 1.8373,
+      "step": 562
+    },
+    {
+      "epoch": 0.7506666666666667,
+      "grad_norm": 0.30918881784641583,
+      "learning_rate": 2.1982216993784094e-05,
+      "loss": 1.7701,
+      "step": 563
+    },
+    {
+      "epoch": 0.752,
+      "grad_norm": 0.30426238371972825,
+      "learning_rate": 2.1956017480036195e-05,
+      "loss": 1.8156,
+      "step": 564
+    },
+    {
+      "epoch": 0.7533333333333333,
+      "grad_norm": 0.23392806764627286,
+      "learning_rate": 2.1929793382324677e-05,
+      "loss": 2.2124,
+      "step": 565
+    },
+    {
+      "epoch": 0.7546666666666667,
+      "grad_norm": 0.33011610020818255,
+      "learning_rate": 2.1903544818811227e-05,
+      "loss": 1.7663,
+      "step": 566
+    },
+    {
+      "epoch": 0.756,
+      "grad_norm": 0.3217080135960756,
+      "learning_rate": 2.1877271907767787e-05,
+      "loss": 2.1091,
+      "step": 567
+    },
+    {
+      "epoch": 0.7573333333333333,
+      "grad_norm": 0.21151987176007983,
+      "learning_rate": 2.185097476757599e-05,
+      "loss": 2.062,
+      "step": 568
+    },
+    {
+      "epoch": 0.7586666666666667,
+      "grad_norm": 0.2920840438734248,
+      "learning_rate": 2.182465351672665e-05,
+      "loss": 2.0483,
+      "step": 569
+    },
+    {
+      "epoch": 0.76,
+      "grad_norm": 0.429241268749088,
+      "learning_rate": 2.179830827381921e-05,
+      "loss": 1.9552,
+      "step": 570
+    },
+    {
+      "epoch": 0.7613333333333333,
+      "grad_norm": 0.32692404180047374,
+      "learning_rate": 2.1771939157561234e-05,
+      "loss": 2.1871,
+      "step": 571
+    },
+    {
+      "epoch": 0.7626666666666667,
+      "grad_norm": 0.27909922539413456,
+      "learning_rate": 2.1745546286767842e-05,
+      "loss": 2.0617,
+      "step": 572
+    },
+    {
+      "epoch": 0.764,
+      "grad_norm": 0.17765953245504265,
+      "learning_rate": 2.1719129780361194e-05,
+      "loss": 2.0504,
+      "step": 573
+    },
+    {
+      "epoch": 0.7653333333333333,
+      "grad_norm": 0.19644746211449526,
+      "learning_rate": 2.1692689757369942e-05,
+      "loss": 2.1727,
+      "step": 574
+    },
+    {
+      "epoch": 0.7666666666666667,
+      "grad_norm": 0.20383199948615116,
+      "learning_rate": 2.166622633692871e-05,
+      "loss": 2.2412,
+      "step": 575
+    },
+    {
+      "epoch": 0.768,
+      "grad_norm": 0.28197953448890994,
+      "learning_rate": 2.1639739638277543e-05,
+      "loss": 2.0012,
+      "step": 576
+    },
+    {
+      "epoch": 0.7693333333333333,
+      "grad_norm": 0.22871484857936736,
+      "learning_rate": 2.161322978076137e-05,
+      "loss": 2.0497,
+      "step": 577
+    },
+    {
+      "epoch": 0.7706666666666667,
+      "grad_norm": 0.1929053980852746,
+      "learning_rate": 2.1586696883829475e-05,
+      "loss": 2.1374,
+      "step": 578
+    },
+    {
+      "epoch": 0.772,
+      "grad_norm": 0.2695936375802587,
+      "learning_rate": 2.1560141067034956e-05,
+      "loss": 2.1054,
+      "step": 579
+    },
+    {
+      "epoch": 0.7733333333333333,
+      "grad_norm": 0.21580215410548284,
+      "learning_rate": 2.1533562450034168e-05,
+      "loss": 2.0746,
+      "step": 580
+    },
+    {
+      "epoch": 0.7746666666666666,
+      "grad_norm": 0.2969276144088988,
+      "learning_rate": 2.1506961152586225e-05,
+      "loss": 2.0389,
+      "step": 581
+    },
+    {
+      "epoch": 0.776,
+      "grad_norm": 0.23286462925068996,
+      "learning_rate": 2.1480337294552417e-05,
+      "loss": 2.2243,
+      "step": 582
+    },
+    {
+      "epoch": 0.7773333333333333,
+      "grad_norm": 0.2596140914186509,
+      "learning_rate": 2.1453690995895705e-05,
+      "loss": 2.0502,
+      "step": 583
+    },
+    {
+      "epoch": 0.7786666666666666,
+      "grad_norm": 0.30325549702166155,
+      "learning_rate": 2.1427022376680143e-05,
+      "loss": 2.3072,
+      "step": 584
+    },
+    {
+      "epoch": 0.78,
+      "grad_norm": 0.2604278177541721,
+      "learning_rate": 2.1400331557070368e-05,
+      "loss": 2.1556,
+      "step": 585
+    },
+    {
+      "epoch": 0.7813333333333333,
+      "grad_norm": 0.23424819860644328,
+      "learning_rate": 2.137361865733106e-05,
+      "loss": 2.1441,
+      "step": 586
+    },
+    {
+      "epoch": 0.7826666666666666,
+      "grad_norm": 0.30816126734242966,
+      "learning_rate": 2.134688379782637e-05,
+      "loss": 1.6698,
+      "step": 587
+    },
+    {
+      "epoch": 0.784,
+      "grad_norm": 0.359821887854185,
+      "learning_rate": 2.1320127099019405e-05,
+      "loss": 1.7876,
+      "step": 588
+    },
+    {
+      "epoch": 0.7853333333333333,
+      "grad_norm": 0.20547182722005924,
+      "learning_rate": 2.1293348681471677e-05,
+      "loss": 2.159,
+      "step": 589
+    },
+    {
+      "epoch": 0.7866666666666666,
+      "grad_norm": 0.5274152472127392,
+      "learning_rate": 2.1266548665842563e-05,
+      "loss": 1.7306,
+      "step": 590
+    },
+    {
+      "epoch": 0.788,
+      "grad_norm": 0.22912094065764754,
+      "learning_rate": 2.1239727172888742e-05,
+      "loss": 1.907,
+      "step": 591
+    },
+    {
+      "epoch": 0.7893333333333333,
+      "grad_norm": 0.2183670197225716,
+      "learning_rate": 2.1212884323463686e-05,
+      "loss": 2.2014,
+      "step": 592
+    },
+    {
+      "epoch": 0.7906666666666666,
+      "grad_norm": 0.24541116440142172,
+      "learning_rate": 2.118602023851708e-05,
+      "loss": 2.1607,
+      "step": 593
+    },
+    {
+      "epoch": 0.792,
+      "grad_norm": 0.292244380734899,
+      "learning_rate": 2.1159135039094305e-05,
+      "loss": 1.8559,
+      "step": 594
+    },
+    {
+      "epoch": 0.7933333333333333,
+      "grad_norm": 0.20691929522008307,
+      "learning_rate": 2.113222884633588e-05,
+      "loss": 2.0957,
+      "step": 595
+    },
+    {
+      "epoch": 0.7946666666666666,
+      "grad_norm": 0.33216459026134915,
+      "learning_rate": 2.11053017814769e-05,
+      "loss": 1.8922,
+      "step": 596
+    },
+    {
+      "epoch": 0.796,
+      "grad_norm": 0.3054293726917442,
+      "learning_rate": 2.107835396584652e-05,
+      "loss": 2.0519,
+      "step": 597
+    },
+    {
+      "epoch": 0.7973333333333333,
+      "grad_norm": 0.21992034783736703,
+      "learning_rate": 2.1051385520867406e-05,
+      "loss": 2.3201,
+      "step": 598
+    },
+    {
+      "epoch": 0.7986666666666666,
+      "grad_norm": 0.1996741785211574,
+      "learning_rate": 2.1024396568055155e-05,
+      "loss": 2.1424,
+      "step": 599
+    },
+    {
+      "epoch": 0.8,
+      "grad_norm": 0.19403340249823747,
+      "learning_rate": 2.0997387229017778e-05,
+      "loss": 2.2453,
+      "step": 600
+    },
+    {
+      "epoch": 0.8,
+      "eval_loss": 1.7302900552749634,
+      "eval_runtime": 98.6559,
+      "eval_samples_per_second": 1.014,
+      "eval_steps_per_second": 0.253,
+      "step": 600
+    },
+    {
+      "epoch": 0.8013333333333333,
+      "grad_norm": 0.29338916525654163,
+      "learning_rate": 2.0970357625455146e-05,
+      "loss": 2.3107,
+      "step": 601
+    },
+    {
+      "epoch": 0.8026666666666666,
+      "grad_norm": 0.36246246532567,
+      "learning_rate": 2.0943307879158433e-05,
+      "loss": 1.8637,
+      "step": 602
+    },
+    {
+      "epoch": 0.804,
+      "grad_norm": 0.2309918626348626,
+      "learning_rate": 2.091623811200958e-05,
+      "loss": 2.1067,
+      "step": 603
+    },
+    {
+      "epoch": 0.8053333333333333,
+      "grad_norm": 0.24887479253735115,
+      "learning_rate": 2.0889148445980727e-05,
+      "loss": 2.1379,
+      "step": 604
+    },
+    {
+      "epoch": 0.8066666666666666,
+      "grad_norm": 0.3017961370307994,
+      "learning_rate": 2.086203900313369e-05,
+      "loss": 2.2075,
+      "step": 605
+    },
+    {
+      "epoch": 0.808,
+      "grad_norm": 0.23914594068190997,
+      "learning_rate": 2.0834909905619388e-05,
+      "loss": 2.2573,
+      "step": 606
+    },
+    {
+      "epoch": 0.8093333333333333,
+      "grad_norm": 2.5154669610980314,
+      "learning_rate": 2.0807761275677302e-05,
+      "loss": 1.9497,
+      "step": 607
+    },
+    {
+      "epoch": 0.8106666666666666,
+      "grad_norm": 0.21951821500800203,
+      "learning_rate": 2.078059323563493e-05,
+      "loss": 2.2041,
+      "step": 608
+    },
+    {
+      "epoch": 0.812,
+      "grad_norm": 0.233891875491137,
+      "learning_rate": 2.0753405907907207e-05,
+      "loss": 1.8755,
+      "step": 609
+    },
+    {
+      "epoch": 0.8133333333333334,
+      "grad_norm": 0.2351112028502108,
+      "learning_rate": 2.0726199414996002e-05,
+      "loss": 2.0976,
+      "step": 610
+    },
+    {
+      "epoch": 0.8146666666666667,
+      "grad_norm": 0.20392855722897615,
+      "learning_rate": 2.0698973879489528e-05,
+      "loss": 2.0269,
+      "step": 611
+    },
+    {
+      "epoch": 0.816,
+      "grad_norm": 0.20039060399626385,
+      "learning_rate": 2.067172942406179e-05,
+      "loss": 2.1268,
+      "step": 612
+    },
+    {
+      "epoch": 0.8173333333333334,
+      "grad_norm": 0.1929728808891894,
+      "learning_rate": 2.0644466171472065e-05,
+      "loss": 2.3687,
+      "step": 613
+    },
+    {
+      "epoch": 0.8186666666666667,
+      "grad_norm": 0.23806531555392976,
+      "learning_rate": 2.0617184244564313e-05,
+      "loss": 2.0828,
+      "step": 614
+    },
+    {
+      "epoch": 0.82,
+      "grad_norm": 0.34395608943915507,
+      "learning_rate": 2.0589883766266642e-05,
+      "loss": 1.3991,
+      "step": 615
+    },
+    {
+      "epoch": 0.8213333333333334,
+      "grad_norm": 0.24686411211608517,
+      "learning_rate": 2.056256485959075e-05,
+      "loss": 2.2174,
+      "step": 616
+    },
+    {
+      "epoch": 0.8226666666666667,
+      "grad_norm": 0.20168022695928925,
+      "learning_rate": 2.053522764763136e-05,
+      "loss": 2.104,
+      "step": 617
+    },
+    {
+      "epoch": 0.824,
+      "grad_norm": 0.36515476338010855,
+      "learning_rate": 2.050787225356569e-05,
+      "loss": 1.9741,
+      "step": 618
+    },
+    {
+      "epoch": 0.8253333333333334,
+      "grad_norm": 0.2701482708801682,
+      "learning_rate": 2.048049880065288e-05,
+      "loss": 1.7996,
+      "step": 619
+    },
+    {
+      "epoch": 0.8266666666666667,
+      "grad_norm": 0.30963402853563826,
+      "learning_rate": 2.045310741223343e-05,
+      "loss": 1.6238,
+      "step": 620
+    },
+    {
+      "epoch": 0.828,
+      "grad_norm": 0.2558122538846313,
+      "learning_rate": 2.0425698211728673e-05,
+      "loss": 1.8729,
+      "step": 621
+    },
+    {
+      "epoch": 0.8293333333333334,
+      "grad_norm": 0.28237819609725434,
+      "learning_rate": 2.039827132264019e-05,
+      "loss": 1.8797,
+      "step": 622
+    },
+    {
+      "epoch": 0.8306666666666667,
+      "grad_norm": 0.26926016615015824,
+      "learning_rate": 2.037082686854926e-05,
+      "loss": 1.9228,
+      "step": 623
+    },
+    {
+      "epoch": 0.832,
+      "grad_norm": 0.21988753067621333,
+      "learning_rate": 2.0343364973116316e-05,
+      "loss": 2.2013,
+      "step": 624
+    },
+    {
+      "epoch": 0.8333333333333334,
+      "grad_norm": 0.27973689401501844,
+      "learning_rate": 2.031588576008037e-05,
+      "loss": 2.1545,
+      "step": 625
+    },
+    {
+      "epoch": 0.8346666666666667,
+      "grad_norm": 0.30499363141797753,
+      "learning_rate": 2.0288389353258472e-05,
+      "loss": 1.5127,
+      "step": 626
+    },
+    {
+      "epoch": 0.836,
+      "grad_norm": 0.2684417823787493,
+      "learning_rate": 2.0260875876545143e-05,
+      "loss": 2.0023,
+      "step": 627
+    },
+    {
+      "epoch": 0.8373333333333334,
+      "grad_norm": 0.2516342787990096,
+      "learning_rate": 2.023334545391181e-05,
+      "loss": 2.0876,
+      "step": 628
+    },
+    {
+      "epoch": 0.8386666666666667,
+      "grad_norm": 0.24835524471024745,
+      "learning_rate": 2.020579820940627e-05,
+      "loss": 2.3338,
+      "step": 629
+    },
+    {
+      "epoch": 0.84,
+      "grad_norm": 0.2924293489494813,
+      "learning_rate": 2.017823426715211e-05,
+      "loss": 1.7605,
+      "step": 630
+    },
+    {
+      "epoch": 0.8413333333333334,
+      "grad_norm": 0.25345366138782366,
+      "learning_rate": 2.015065375134815e-05,
+      "loss": 1.9219,
+      "step": 631
+    },
+    {
+      "epoch": 0.8426666666666667,
+      "grad_norm": 0.24060183599375579,
+      "learning_rate": 2.012305678626789e-05,
+      "loss": 2.3341,
+      "step": 632
+    },
+    {
+      "epoch": 0.844,
+      "grad_norm": 0.2316800771546595,
+      "learning_rate": 2.0095443496258953e-05,
+      "loss": 2.0673,
+      "step": 633
+    },
+    {
+      "epoch": 0.8453333333333334,
+      "grad_norm": 0.3113449745209023,
+      "learning_rate": 2.0067814005742517e-05,
+      "loss": 1.9076,
+      "step": 634
+    },
+    {
+      "epoch": 0.8466666666666667,
+      "grad_norm": 0.21679721097416102,
+      "learning_rate": 2.0040168439212754e-05,
+      "loss": 2.1241,
+      "step": 635
+    },
+    {
+      "epoch": 0.848,
+      "grad_norm": 0.27840250380366915,
+      "learning_rate": 2.0012506921236264e-05,
+      "loss": 2.1016,
+      "step": 636
+    },
+    {
+      "epoch": 0.8493333333333334,
+      "grad_norm": 0.3000281269524226,
+      "learning_rate": 1.998482957645155e-05,
+      "loss": 1.6949,
+      "step": 637
+    },
+    {
+      "epoch": 0.8506666666666667,
+      "grad_norm": 0.28890418696627373,
+      "learning_rate": 1.9957136529568405e-05,
+      "loss": 2.1754,
+      "step": 638
+    },
+    {
+      "epoch": 0.852,
+      "grad_norm": 0.2163771072442336,
+      "learning_rate": 1.9929427905367374e-05,
+      "loss": 2.1617,
+      "step": 639
+    },
+    {
+      "epoch": 0.8533333333333334,
+      "grad_norm": 0.2904060128108346,
+      "learning_rate": 1.990170382869919e-05,
+      "loss": 2.2918,
+      "step": 640
+    },
+    {
+      "epoch": 0.8546666666666667,
+      "grad_norm": 0.20072557669453545,
+      "learning_rate": 1.9873964424484227e-05,
+      "loss": 2.0668,
+      "step": 641
+    },
+    {
+      "epoch": 0.856,
+      "grad_norm": 0.3527526034064076,
+      "learning_rate": 1.9846209817711914e-05,
+      "loss": 1.8876,
+      "step": 642
+    },
+    {
+      "epoch": 0.8573333333333333,
+      "grad_norm": 0.23763986045736873,
+      "learning_rate": 1.981844013344017e-05,
+      "loss": 1.781,
+      "step": 643
+    },
+    {
+      "epoch": 0.8586666666666667,
+      "grad_norm": 0.21489806291743502,
+      "learning_rate": 1.9790655496794863e-05,
+      "loss": 2.2248,
+      "step": 644
+    },
+    {
+      "epoch": 0.86,
+      "grad_norm": 0.24292053657186655,
+      "learning_rate": 1.9762856032969236e-05,
+      "loss": 1.8312,
+      "step": 645
+    },
+    {
+      "epoch": 0.8613333333333333,
+      "grad_norm": 0.4263248070646629,
+      "learning_rate": 1.9735041867223335e-05,
+      "loss": 1.7282,
+      "step": 646
+    },
+    {
+      "epoch": 0.8626666666666667,
+      "grad_norm": 0.28804393148108814,
+      "learning_rate": 1.9707213124883447e-05,
+      "loss": 1.8168,
+      "step": 647
+    },
+    {
+      "epoch": 0.864,
+      "grad_norm": 0.21708602786361048,
+      "learning_rate": 1.9679369931341543e-05,
+      "loss": 2.0466,
+      "step": 648
+    },
+    {
+      "epoch": 0.8653333333333333,
+      "grad_norm": 0.20885473673865412,
+      "learning_rate": 1.9651512412054725e-05,
+      "loss": 2.0116,
+      "step": 649
+    },
+    {
+      "epoch": 0.8666666666666667,
+      "grad_norm": 0.2371365200294707,
+      "learning_rate": 1.9623640692544613e-05,
+      "loss": 2.1401,
+      "step": 650
+    },
+    {
+      "epoch": 0.868,
+      "grad_norm": 0.27036686070912347,
+      "learning_rate": 1.959575489839683e-05,
+      "loss": 2.2254,
+      "step": 651
+    },
+    {
+      "epoch": 0.8693333333333333,
+      "grad_norm": 0.2656271581073266,
+      "learning_rate": 1.9567855155260417e-05,
+      "loss": 2.0191,
+      "step": 652
+    },
+    {
+      "epoch": 0.8706666666666667,
+      "grad_norm": 0.31977088649285085,
+      "learning_rate": 1.953994158884726e-05,
+      "loss": 1.3226,
+      "step": 653
+    },
+    {
+      "epoch": 0.872,
+      "grad_norm": 0.23499784965778608,
+      "learning_rate": 1.951201432493154e-05,
+      "loss": 2.0321,
+      "step": 654
+    },
+    {
+      "epoch": 0.8733333333333333,
+      "grad_norm": 0.2989037712179273,
+      "learning_rate": 1.9484073489349157e-05,
+      "loss": 1.8174,
+      "step": 655
+    },
+    {
+      "epoch": 0.8746666666666667,
+      "grad_norm": 0.1907026135101038,
+      "learning_rate": 1.9456119207997136e-05,
+      "loss": 2.1994,
+      "step": 656
+    },
+    {
+      "epoch": 0.876,
+      "grad_norm": 0.24157807527538896,
+      "learning_rate": 1.9428151606833134e-05,
+      "loss": 2.1192,
+      "step": 657
+    },
+    {
+      "epoch": 0.8773333333333333,
+      "grad_norm": 0.30146394289080436,
+      "learning_rate": 1.940017081187478e-05,
+      "loss": 2.1053,
+      "step": 658
+    },
+    {
+      "epoch": 0.8786666666666667,
+      "grad_norm": 0.2929115666855541,
+      "learning_rate": 1.9372176949199183e-05,
+      "loss": 1.9694,
+      "step": 659
+    },
+    {
+      "epoch": 0.88,
+      "grad_norm": 0.297331189682287,
+      "learning_rate": 1.9344170144942304e-05,
+      "loss": 2.3715,
+      "step": 660
+    },
+    {
+      "epoch": 0.8813333333333333,
+      "grad_norm": 0.2636717496143045,
+      "learning_rate": 1.9316150525298453e-05,
+      "loss": 2.1051,
+      "step": 661
+    },
+    {
+      "epoch": 0.8826666666666667,
+      "grad_norm": 0.20257245897176998,
+      "learning_rate": 1.9288118216519658e-05,
+      "loss": 2.0737,
+      "step": 662
+    },
+    {
+      "epoch": 0.884,
+      "grad_norm": 0.25587322034193244,
+      "learning_rate": 1.9260073344915128e-05,
+      "loss": 2.0938,
+      "step": 663
+    },
+    {
+      "epoch": 0.8853333333333333,
+      "grad_norm": 0.28792567581429684,
+      "learning_rate": 1.9232016036850682e-05,
+      "loss": 2.02,
+      "step": 664
+    },
+    {
+      "epoch": 0.8866666666666667,
+      "grad_norm": 0.22585505321906343,
+      "learning_rate": 1.9203946418748173e-05,
+      "loss": 2.1266,
+      "step": 665
+    },
+    {
+      "epoch": 0.888,
+      "grad_norm": 0.27594378692442784,
+      "learning_rate": 1.9175864617084917e-05,
+      "loss": 1.7154,
+      "step": 666
+    },
+    {
+      "epoch": 0.8893333333333333,
+      "grad_norm": 0.21841749595708987,
+      "learning_rate": 1.9147770758393136e-05,
+      "loss": 1.9523,
+      "step": 667
+    },
+    {
+      "epoch": 0.8906666666666667,
+      "grad_norm": 0.2660228447881722,
+      "learning_rate": 1.9119664969259365e-05,
+      "loss": 2.1537,
+      "step": 668
+    },
+    {
+      "epoch": 0.892,
+      "grad_norm": 0.32185520369837134,
+      "learning_rate": 1.9091547376323925e-05,
+      "loss": 1.8394,
+      "step": 669
+    },
+    {
+      "epoch": 0.8933333333333333,
+      "grad_norm": 0.276204895027196,
+      "learning_rate": 1.9063418106280284e-05,
+      "loss": 2.1844,
+      "step": 670
+    },
+    {
+      "epoch": 0.8946666666666667,
+      "grad_norm": 0.2701444210930779,
+      "learning_rate": 1.9035277285874552e-05,
+      "loss": 1.9599,
+      "step": 671
+    },
+    {
+      "epoch": 0.896,
+      "grad_norm": 0.3114461456421439,
+      "learning_rate": 1.900712504190488e-05,
+      "loss": 1.8502,
+      "step": 672
+    },
+    {
+      "epoch": 0.8973333333333333,
+      "grad_norm": 0.30217698469471216,
+      "learning_rate": 1.897896150122088e-05,
+      "loss": 2.0576,
+      "step": 673
+    },
+    {
+      "epoch": 0.8986666666666666,
+      "grad_norm": 0.2877043601768791,
+      "learning_rate": 1.895078679072308e-05,
+      "loss": 2.0009,
+      "step": 674
+    },
+    {
+      "epoch": 0.9,
+      "grad_norm": 0.29018782911949664,
+      "learning_rate": 1.8922601037362325e-05,
+      "loss": 1.8392,
+      "step": 675
+    },
+    {
+      "epoch": 0.9,
+      "eval_loss": 1.7283107042312622,
+      "eval_runtime": 98.936,
+      "eval_samples_per_second": 1.011,
+      "eval_steps_per_second": 0.253,
+      "step": 675
+    },
+    {
+      "epoch": 0.9013333333333333,
+      "grad_norm": 0.2774654866858924,
+      "learning_rate": 1.889440436813922e-05,
+      "loss": 2.0282,
+      "step": 676
+    },
+    {
+      "epoch": 0.9026666666666666,
+      "grad_norm": 0.29144370704709627,
+      "learning_rate": 1.8866196910103564e-05,
+      "loss": 1.9525,
+      "step": 677
+    },
+    {
+      "epoch": 0.904,
+      "grad_norm": 0.262971024150831,
+      "learning_rate": 1.8837978790353763e-05,
+      "loss": 1.8053,
+      "step": 678
+    },
+    {
+      "epoch": 0.9053333333333333,
+      "grad_norm": 0.3499809731358237,
+      "learning_rate": 1.8809750136036257e-05,
+      "loss": 1.7736,
+      "step": 679
+    },
+    {
+      "epoch": 0.9066666666666666,
+      "grad_norm": 0.2529410842266655,
+      "learning_rate": 1.8781511074344966e-05,
+      "loss": 2.0712,
+      "step": 680
+    },
+    {
+      "epoch": 0.908,
+      "grad_norm": 0.24755888510667792,
+      "learning_rate": 1.8753261732520688e-05,
+      "loss": 1.9669,
+      "step": 681
+    },
+    {
+      "epoch": 0.9093333333333333,
+      "grad_norm": 0.2506541249054586,
+      "learning_rate": 1.8725002237850555e-05,
+      "loss": 2.0211,
+      "step": 682
+    },
+    {
+      "epoch": 0.9106666666666666,
+      "grad_norm": 0.25295097069732875,
+      "learning_rate": 1.869673271766744e-05,
+      "loss": 1.9912,
+      "step": 683
+    },
+    {
+      "epoch": 0.912,
+      "grad_norm": 0.2366413129636617,
+      "learning_rate": 1.8668453299349393e-05,
+      "loss": 2.249,
+      "step": 684
+    },
+    {
+      "epoch": 0.9133333333333333,
+      "grad_norm": 0.23066751808553923,
+      "learning_rate": 1.864016411031906e-05,
+      "loss": 2.0459,
+      "step": 685
+    },
+    {
+      "epoch": 0.9146666666666666,
+      "grad_norm": 0.25882904111576405,
+      "learning_rate": 1.861186527804312e-05,
+      "loss": 2.0938,
+      "step": 686
+    },
+    {
+      "epoch": 0.916,
+      "grad_norm": 0.24168151444542277,
+      "learning_rate": 1.8583556930031685e-05,
+      "loss": 1.859,
+      "step": 687
+    },
+    {
+      "epoch": 0.9173333333333333,
+      "grad_norm": 0.33840150667952723,
+      "learning_rate": 1.8555239193837755e-05,
+      "loss": 1.9705,
+      "step": 688
+    },
+    {
+      "epoch": 0.9186666666666666,
+      "grad_norm": 0.30896264686320224,
+      "learning_rate": 1.8526912197056645e-05,
+      "loss": 2.1068,
+      "step": 689
+    },
+    {
+      "epoch": 0.92,
+      "grad_norm": 0.2665802427661005,
+      "learning_rate": 1.8498576067325377e-05,
+      "loss": 2.0479,
+      "step": 690
+    },
+    {
+      "epoch": 0.9213333333333333,
+      "grad_norm": 0.2971360163977456,
+      "learning_rate": 1.8470230932322125e-05,
+      "loss": 1.9619,
+      "step": 691
+    },
+    {
+      "epoch": 0.9226666666666666,
+      "grad_norm": 0.3140316296499423,
+      "learning_rate": 1.8441876919765645e-05,
+      "loss": 1.7834,
+      "step": 692
+    },
+    {
+      "epoch": 0.924,
+      "grad_norm": 0.2305606363074752,
+      "learning_rate": 1.841351415741471e-05,
+      "loss": 2.3564,
+      "step": 693
+    },
+    {
+      "epoch": 0.9253333333333333,
+      "grad_norm": 0.2206539104945154,
+      "learning_rate": 1.838514277306749e-05,
+      "loss": 2.0796,
+      "step": 694
+    },
+    {
+      "epoch": 0.9266666666666666,
+      "grad_norm": 0.32447668207860636,
+      "learning_rate": 1.835676289456102e-05,
+      "loss": 2.2334,
+      "step": 695
+    },
+    {
+      "epoch": 0.928,
+      "grad_norm": 0.23926117145357859,
+      "learning_rate": 1.8328374649770596e-05,
+      "loss": 2.3122,
+      "step": 696
+    },
+    {
+      "epoch": 0.9293333333333333,
+      "grad_norm": 0.2047780984135103,
+      "learning_rate": 1.8299978166609237e-05,
+      "loss": 2.2805,
+      "step": 697
+    },
+    {
+      "epoch": 0.9306666666666666,
+      "grad_norm": 0.24587779543837684,
+      "learning_rate": 1.8271573573027055e-05,
+      "loss": 2.179,
+      "step": 698
+    },
+    {
+      "epoch": 0.932,
+      "grad_norm": 0.26659663594288746,
+      "learning_rate": 1.8243160997010717e-05,
+      "loss": 2.1311,
+      "step": 699
+    },
+    {
+      "epoch": 0.9333333333333333,
+      "grad_norm": 0.3180460746897731,
+      "learning_rate": 1.8214740566582862e-05,
+      "loss": 1.7462,
+      "step": 700
+    },
+    {
+      "epoch": 0.9346666666666666,
+      "grad_norm": 0.3244069800490076,
+      "learning_rate": 1.818631240980152e-05,
+      "loss": 2.061,
+      "step": 701
+    },
+    {
+      "epoch": 0.936,
+      "grad_norm": 0.23991437881187513,
+      "learning_rate": 1.8157876654759523e-05,
+      "loss": 2.2894,
+      "step": 702
+    },
+    {
+      "epoch": 0.9373333333333334,
+      "grad_norm": 0.25976180285572664,
+      "learning_rate": 1.812943342958395e-05,
+      "loss": 1.9891,
+      "step": 703
+    },
+    {
+      "epoch": 0.9386666666666666,
+      "grad_norm": 0.2927786905426986,
+      "learning_rate": 1.8100982862435543e-05,
+      "loss": 1.6884,
+      "step": 704
+    },
+    {
+      "epoch": 0.94,
+      "grad_norm": 0.2756703449103029,
+      "learning_rate": 1.8072525081508102e-05,
+      "loss": 1.8145,
+      "step": 705
+    },
+    {
+      "epoch": 0.9413333333333334,
+      "grad_norm": 0.2524822863680491,
+      "learning_rate": 1.804406021502797e-05,
+      "loss": 2.0691,
+      "step": 706
+    },
+    {
+      "epoch": 0.9426666666666667,
+      "grad_norm": 0.2903981526285958,
+      "learning_rate": 1.8015588391253376e-05,
+      "loss": 2.0226,
+      "step": 707
+    },
+    {
+      "epoch": 0.944,
+      "grad_norm": 0.27041828258282025,
+      "learning_rate": 1.7987109738473926e-05,
+      "loss": 2.0153,
+      "step": 708
+    },
+    {
+      "epoch": 0.9453333333333334,
+      "grad_norm": 0.22968438052449883,
+      "learning_rate": 1.795862438500999e-05,
+      "loss": 2.1728,
+      "step": 709
+    },
+    {
+      "epoch": 0.9466666666666667,
+      "grad_norm": 0.26581445298970097,
+      "learning_rate": 1.793013245921212e-05,
+      "loss": 2.1602,
+      "step": 710
+    },
+    {
+      "epoch": 0.948,
+      "grad_norm": 0.22756906936903462,
+      "learning_rate": 1.7901634089460487e-05,
+      "loss": 2.1154,
+      "step": 711
+    },
+    {
+      "epoch": 0.9493333333333334,
+      "grad_norm": 0.22711425075649078,
+      "learning_rate": 1.7873129404164308e-05,
+      "loss": 1.8598,
+      "step": 712
+    },
+    {
+      "epoch": 0.9506666666666667,
+      "grad_norm": 0.28129424152776866,
+      "learning_rate": 1.7844618531761244e-05,
+      "loss": 2.1648,
+      "step": 713
+    },
+    {
+      "epoch": 0.952,
+      "grad_norm": 0.2298281596591105,
+      "learning_rate": 1.7816101600716833e-05,
+      "loss": 2.1483,
+      "step": 714
+    },
+    {
+      "epoch": 0.9533333333333334,
+      "grad_norm": 0.3004309245970193,
+      "learning_rate": 1.7787578739523923e-05,
+      "loss": 2.0662,
+      "step": 715
+    },
+    {
+      "epoch": 0.9546666666666667,
+      "grad_norm": 0.27654071062372865,
+      "learning_rate": 1.775905007670208e-05,
+      "loss": 2.1161,
+      "step": 716
+    },
+    {
+      "epoch": 0.956,
+      "grad_norm": 0.22989967300260372,
+      "learning_rate": 1.7730515740797e-05,
+      "loss": 2.0016,
+      "step": 717
+    },
+    {
+      "epoch": 0.9573333333333334,
+      "grad_norm": 0.2778791260401236,
+      "learning_rate": 1.770197586037996e-05,
+      "loss": 1.9537,
+      "step": 718
+    },
+    {
+      "epoch": 0.9586666666666667,
+      "grad_norm": 0.2557980442255431,
+      "learning_rate": 1.76734305640472e-05,
+      "loss": 2.0411,
+      "step": 719
+    },
+    {
+      "epoch": 0.96,
+      "grad_norm": 0.2505533612029743,
+      "learning_rate": 1.7644879980419376e-05,
+      "loss": 2.1485,
+      "step": 720
+    },
+    {
+      "epoch": 0.9613333333333334,
+      "grad_norm": 0.22147869907546439,
+      "learning_rate": 1.761632423814096e-05,
+      "loss": 2.2138,
+      "step": 721
+    },
+    {
+      "epoch": 0.9626666666666667,
+      "grad_norm": 0.3947764881731842,
+      "learning_rate": 1.758776346587968e-05,
+      "loss": 1.6291,
+      "step": 722
+    },
+    {
+      "epoch": 0.964,
+      "grad_norm": 0.27811070842439584,
+      "learning_rate": 1.755919779232591e-05,
+      "loss": 2.2304,
+      "step": 723
+    },
+    {
+      "epoch": 0.9653333333333334,
+      "grad_norm": 0.3593323666511308,
+      "learning_rate": 1.753062734619212e-05,
+      "loss": 1.8454,
+      "step": 724
+    },
+    {
+      "epoch": 0.9666666666666667,
+      "grad_norm": 0.2745515781953686,
+      "learning_rate": 1.7502052256212296e-05,
+      "loss": 2.0281,
+      "step": 725
+    },
+    {
+      "epoch": 0.968,
+      "grad_norm": 0.2046643868313138,
+      "learning_rate": 1.7473472651141323e-05,
+      "loss": 2.3229,
+      "step": 726
+    },
+    {
+      "epoch": 0.9693333333333334,
+      "grad_norm": 0.31886434641532524,
+      "learning_rate": 1.7444888659754444e-05,
+      "loss": 2.1312,
+      "step": 727
+    },
+    {
+      "epoch": 0.9706666666666667,
+      "grad_norm": 0.35362183848853807,
+      "learning_rate": 1.741630041084667e-05,
+      "loss": 1.9622,
+      "step": 728
+    },
+    {
+      "epoch": 0.972,
+      "grad_norm": 0.3245155267313425,
+      "learning_rate": 1.738770803323219e-05,
+      "loss": 1.4596,
+      "step": 729
+    },
+    {
+      "epoch": 0.9733333333333334,
+      "grad_norm": 0.25853346763135837,
+      "learning_rate": 1.7359111655743798e-05,
+      "loss": 2.1136,
+      "step": 730
+    },
+    {
+      "epoch": 0.9746666666666667,
+      "grad_norm": 0.3038496321594881,
+      "learning_rate": 1.7330511407232302e-05,
+      "loss": 1.8634,
+      "step": 731
+    },
+    {
+      "epoch": 0.976,
+      "grad_norm": 0.23538899482596334,
+      "learning_rate": 1.730190741656597e-05,
+      "loss": 1.8893,
+      "step": 732
+    },
+    {
+      "epoch": 0.9773333333333334,
+      "grad_norm": 0.2872056344414096,
+      "learning_rate": 1.727329981262991e-05,
+      "loss": 1.7375,
+      "step": 733
+    },
+    {
+      "epoch": 0.9786666666666667,
+      "grad_norm": 0.2642485833575652,
+      "learning_rate": 1.7244688724325536e-05,
+      "loss": 2.0013,
+      "step": 734
+    },
+    {
+      "epoch": 0.98,
+      "grad_norm": 0.2838100854362413,
+      "learning_rate": 1.7216074280569945e-05,
+      "loss": 2.3048,
+      "step": 735
+    },
+    {
+      "epoch": 0.9813333333333333,
+      "grad_norm": 0.2657031716971977,
+      "learning_rate": 1.718745661029535e-05,
+      "loss": 1.8112,
+      "step": 736
+    },
+    {
+      "epoch": 0.9826666666666667,
+      "grad_norm": 0.22906815346533607,
+      "learning_rate": 1.7158835842448515e-05,
+      "loss": 1.8842,
+      "step": 737
+    },
+    {
+      "epoch": 0.984,
+      "grad_norm": 0.2499425224075748,
+      "learning_rate": 1.713021210599015e-05,
+      "loss": 2.1006,
+      "step": 738
+    },
+    {
+      "epoch": 0.9853333333333333,
+      "grad_norm": 0.2562346799805699,
+      "learning_rate": 1.7101585529894354e-05,
+      "loss": 2.1199,
+      "step": 739
+    },
+    {
+      "epoch": 0.9866666666666667,
+      "grad_norm": 0.3278925670543795,
+      "learning_rate": 1.7072956243148004e-05,
+      "loss": 2.0009,
+      "step": 740
+    },
+    {
+      "epoch": 0.988,
+      "grad_norm": 0.3486258540168203,
+      "learning_rate": 1.7044324374750206e-05,
+      "loss": 1.8149,
+      "step": 741
+    },
+    {
+      "epoch": 0.9893333333333333,
+      "grad_norm": 0.2851088241581159,
+      "learning_rate": 1.701569005371169e-05,
+      "loss": 2.0202,
+      "step": 742
+    },
+    {
+      "epoch": 0.9906666666666667,
+      "grad_norm": 0.26526386846134503,
+      "learning_rate": 1.6987053409054237e-05,
+      "loss": 1.7675,
+      "step": 743
+    },
+    {
+      "epoch": 0.992,
+      "grad_norm": 0.17202211624510527,
+      "learning_rate": 1.6958414569810107e-05,
+      "loss": 2.2223,
+      "step": 744
+    },
+    {
+      "epoch": 0.9933333333333333,
+      "grad_norm": 0.2439839318014851,
+      "learning_rate": 1.6929773665021445e-05,
+      "loss": 1.7533,
+      "step": 745
+    },
+    {
+      "epoch": 0.9946666666666667,
+      "grad_norm": 0.26622561219986507,
+      "learning_rate": 1.690113082373969e-05,
+      "loss": 2.3387,
+      "step": 746
+    },
+    {
+      "epoch": 0.996,
+      "grad_norm": 0.2913645514245591,
+      "learning_rate": 1.6872486175025013e-05,
+      "loss": 1.8812,
+      "step": 747
+    },
+    {
+      "epoch": 0.9973333333333333,
+      "grad_norm": 0.3210554827163261,
+      "learning_rate": 1.684383984794574e-05,
+      "loss": 1.9714,
+      "step": 748
+    },
+    {
+      "epoch": 0.9986666666666667,
+      "grad_norm": 0.24511779664842132,
+      "learning_rate": 1.6815191971577758e-05,
+      "loss": 1.9085,
+      "step": 749
+    },
+    {
+      "epoch": 1.0,
+      "grad_norm": 0.29198350426636027,
+      "learning_rate": 1.6786542675003918e-05,
+      "loss": 1.7018,
+      "step": 750
+    },
+    {
+      "epoch": 1.0,
+      "eval_loss": 1.7271106243133545,
+      "eval_runtime": 98.6847,
+      "eval_samples_per_second": 1.013,
+      "eval_steps_per_second": 0.253,
+      "step": 750
+    },
+    {
+      "epoch": 1.0013333333333334,
+      "grad_norm": 0.29314548587189315,
+      "learning_rate": 1.6757892087313487e-05,
+      "loss": 1.9639,
+      "step": 751
+    },
+    {
+      "epoch": 1.0013333333333334,
+      "grad_norm": 0.2654022033477139,
+      "learning_rate": 1.6729240337601544e-05,
+      "loss": 2.1472,
+      "step": 752
+    },
+    {
+      "epoch": 1.0026666666666666,
+      "grad_norm": 0.22112150742327574,
+      "learning_rate": 1.67005875549684e-05,
+      "loss": 2.0992,
+      "step": 753
+    },
+    {
+      "epoch": 1.004,
+      "grad_norm": 0.30679558004287094,
+      "learning_rate": 1.6671933868519025e-05,
+      "loss": 2.2212,
+      "step": 754
+    },
+    {
+      "epoch": 1.0053333333333334,
+      "grad_norm": 0.19730381106753442,
+      "learning_rate": 1.6643279407362464e-05,
+      "loss": 2.2968,
+      "step": 755
+    },
+    {
+      "epoch": 1.0066666666666666,
+      "grad_norm": 0.2590521481067353,
+      "learning_rate": 1.6614624300611235e-05,
+      "loss": 2.2737,
+      "step": 756
+    },
+    {
+      "epoch": 1.008,
+      "grad_norm": 0.26295101502619705,
+      "learning_rate": 1.65859686773808e-05,
+      "loss": 1.9639,
+      "step": 757
+    },
+    {
+      "epoch": 1.0093333333333334,
+      "grad_norm": 0.302869511797495,
+      "learning_rate": 1.6557312666788908e-05,
+      "loss": 2.0783,
+      "step": 758
+    },
+    {
+      "epoch": 1.0106666666666666,
+      "grad_norm": 0.19381704009773099,
+      "learning_rate": 1.6528656397955082e-05,
+      "loss": 2.2888,
+      "step": 759
+    },
+    {
+      "epoch": 1.012,
+      "grad_norm": 0.2633771582850863,
+      "learning_rate": 1.65e-05,
+      "loss": 2.0637,
+      "step": 760
+    },
+    {
+      "epoch": 1.0133333333333334,
+      "grad_norm": 0.22315333613088192,
+      "learning_rate": 1.6471343602044914e-05,
+      "loss": 2.3058,
+      "step": 761
+    },
+    {
+      "epoch": 1.0146666666666666,
+      "grad_norm": 0.2983055962293725,
+      "learning_rate": 1.6442687333211095e-05,
+      "loss": 1.8604,
+      "step": 762
+    },
+    {
+      "epoch": 1.016,
+      "grad_norm": 0.22310976398154356,
+      "learning_rate": 1.6414031322619204e-05,
+      "loss": 1.846,
+      "step": 763
+    },
+    {
+      "epoch": 1.0173333333333334,
+      "grad_norm": 0.34444133484673906,
+      "learning_rate": 1.6385375699388768e-05,
+      "loss": 2.1682,
+      "step": 764
+    },
+    {
+      "epoch": 1.0186666666666666,
+      "grad_norm": 0.29118796102531774,
+      "learning_rate": 1.6356720592637545e-05,
+      "loss": 1.9338,
+      "step": 765
+    },
+    {
+      "epoch": 1.02,
+      "grad_norm": 0.31104609690858964,
+      "learning_rate": 1.6328066131480978e-05,
+      "loss": 1.6356,
+      "step": 766
+    },
+    {
+      "epoch": 1.0213333333333334,
+      "grad_norm": 0.4066809576837131,
+      "learning_rate": 1.6299412445031603e-05,
+      "loss": 2.1232,
+      "step": 767
+    },
+    {
+      "epoch": 1.0226666666666666,
+      "grad_norm": 0.24740837717251093,
+      "learning_rate": 1.6270759662398462e-05,
+      "loss": 2.1537,
+      "step": 768
+    },
+    {
+      "epoch": 1.024,
+      "grad_norm": 0.28914447404534616,
+      "learning_rate": 1.6242107912686516e-05,
+      "loss": 1.9898,
+      "step": 769
+    },
+    {
+      "epoch": 1.0253333333333334,
+      "grad_norm": 0.39003214759118576,
+      "learning_rate": 1.621345732499608e-05,
+      "loss": 1.6123,
+      "step": 770
+    },
+    {
+      "epoch": 1.0266666666666666,
+      "grad_norm": 0.2750093981565428,
+      "learning_rate": 1.6184808028422245e-05,
+      "loss": 1.911,
+      "step": 771
+    },
+    {
+      "epoch": 1.028,
+      "grad_norm": 0.3651690621253439,
+      "learning_rate": 1.6156160152054262e-05,
+      "loss": 2.0382,
+      "step": 772
+    },
+    {
+      "epoch": 1.0293333333333334,
+      "grad_norm": 0.33034778749977567,
+      "learning_rate": 1.6127513824974993e-05,
+      "loss": 1.6505,
+      "step": 773
+    },
+    {
+      "epoch": 1.0306666666666666,
+      "grad_norm": 0.24023546158281583,
+      "learning_rate": 1.6098869176260317e-05,
+      "loss": 2.126,
+      "step": 774
+    },
+    {
+      "epoch": 1.032,
+      "grad_norm": 0.3099083986408515,
+      "learning_rate": 1.6070226334978564e-05,
+      "loss": 2.1278,
+      "step": 775
+    },
+    {
+      "epoch": 1.0333333333333334,
+      "grad_norm": 0.23633839206355672,
+      "learning_rate": 1.6041585430189895e-05,
+      "loss": 2.0803,
+      "step": 776
+    },
+    {
+      "epoch": 1.0346666666666666,
+      "grad_norm": 0.2994921701551886,
+      "learning_rate": 1.6012946590945763e-05,
+      "loss": 1.9376,
+      "step": 777
+    },
+    {
+      "epoch": 1.036,
+      "grad_norm": 0.2742234625517111,
+      "learning_rate": 1.5984309946288312e-05,
+      "loss": 2.0729,
+      "step": 778
+    },
+    {
+      "epoch": 1.0373333333333334,
+      "grad_norm": 0.2356967493076264,
+      "learning_rate": 1.5955675625249796e-05,
+      "loss": 1.9702,
+      "step": 779
+    },
+    {
+      "epoch": 1.0386666666666666,
+      "grad_norm": 0.2675248987834828,
+      "learning_rate": 1.5927043756852e-05,
+      "loss": 1.9638,
+      "step": 780
+    },
+    {
+      "epoch": 1.04,
+      "grad_norm": 0.27287485663878314,
+      "learning_rate": 1.5898414470105652e-05,
+      "loss": 1.916,
+      "step": 781
+    },
+    {
+      "epoch": 1.0413333333333332,
+      "grad_norm": 2.9298038201189223,
+      "learning_rate": 1.586978789400985e-05,
+      "loss": 1.7561,
+      "step": 782
+    },
+    {
+      "epoch": 1.0426666666666666,
+      "grad_norm": 0.2836274262904837,
+      "learning_rate": 1.584116415755149e-05,
+      "loss": 1.9482,
+      "step": 783
+    },
+    {
+      "epoch": 1.044,
+      "grad_norm": 0.26121342975391204,
+      "learning_rate": 1.5812543389704656e-05,
+      "loss": 2.1344,
+      "step": 784
+    },
+    {
+      "epoch": 1.0453333333333332,
+      "grad_norm": 0.27272775638338237,
+      "learning_rate": 1.5783925719430058e-05,
+      "loss": 2.1061,
+      "step": 785
+    },
+    {
+      "epoch": 1.0466666666666666,
+      "grad_norm": 0.2803803409505497,
+      "learning_rate": 1.5755311275674464e-05,
+      "loss": 2.1899,
+      "step": 786
+    },
+    {
+      "epoch": 1.048,
+      "grad_norm": 0.24573695707656323,
+      "learning_rate": 1.572670018737009e-05,
+      "loss": 2.2364,
+      "step": 787
+    },
+    {
+      "epoch": 1.0493333333333332,
+      "grad_norm": 0.27462618666360705,
+      "learning_rate": 1.5698092583434034e-05,
+      "loss": 1.9921,
+      "step": 788
+    },
+    {
+      "epoch": 1.0506666666666666,
+      "grad_norm": 0.23040825764716574,
+      "learning_rate": 1.5669488592767704e-05,
+      "loss": 2.2539,
+      "step": 789
+    },
+    {
+      "epoch": 1.052,
+      "grad_norm": 0.27456456401733165,
+      "learning_rate": 1.5640888344256204e-05,
+      "loss": 2.1869,
+      "step": 790
+    },
+    {
+      "epoch": 1.0533333333333332,
+      "grad_norm": 0.24623801105945586,
+      "learning_rate": 1.5612291966767815e-05,
+      "loss": 2.0502,
+      "step": 791
+    },
+    {
+      "epoch": 1.0546666666666666,
+      "grad_norm": 0.1987428710050837,
+      "learning_rate": 1.558369958915333e-05,
+      "loss": 2.1769,
+      "step": 792
+    },
+    {
+      "epoch": 1.056,
+      "grad_norm": 0.34124818351916664,
+      "learning_rate": 1.5555111340245555e-05,
+      "loss": 1.8273,
+      "step": 793
+    },
+    {
+      "epoch": 1.0573333333333332,
+      "grad_norm": 0.33034667496938114,
+      "learning_rate": 1.552652734885868e-05,
+      "loss": 1.8017,
+      "step": 794
+    },
+    {
+      "epoch": 1.0586666666666666,
+      "grad_norm": 0.2704584795184102,
+      "learning_rate": 1.5497947743787706e-05,
+      "loss": 2.0741,
+      "step": 795
+    },
+    {
+      "epoch": 1.06,
+      "grad_norm": 0.2687197860247337,
+      "learning_rate": 1.546937265380788e-05,
+      "loss": 1.9011,
+      "step": 796
+    },
+    {
+      "epoch": 1.0613333333333332,
+      "grad_norm": 0.2809331983944747,
+      "learning_rate": 1.5440802207674096e-05,
+      "loss": 1.7214,
+      "step": 797
+    },
+    {
+      "epoch": 1.0626666666666666,
+      "grad_norm": 0.28752142884446497,
+      "learning_rate": 1.5412236534120328e-05,
+      "loss": 2.2099,
+      "step": 798
+    },
+    {
+      "epoch": 1.064,
+      "grad_norm": 0.3245712934899835,
+      "learning_rate": 1.5383675761859042e-05,
+      "loss": 1.8972,
+      "step": 799
+    },
+    {
+      "epoch": 1.0653333333333332,
+      "grad_norm": 0.38524173737742373,
+      "learning_rate": 1.5355120019580633e-05,
+      "loss": 2.1678,
+      "step": 800
+    },
+    {
+      "epoch": 1.0666666666666667,
+      "grad_norm": 0.29958116794571543,
+      "learning_rate": 1.5326569435952803e-05,
+      "loss": 2.0969,
+      "step": 801
+    },
+    {
+      "epoch": 1.068,
+      "grad_norm": 0.2588483476301596,
+      "learning_rate": 1.5298024139620036e-05,
+      "loss": 2.1281,
+      "step": 802
+    },
+    {
+      "epoch": 1.0693333333333332,
+      "grad_norm": 0.27782644113498994,
+      "learning_rate": 1.5269484259202998e-05,
+      "loss": 2.2909,
+      "step": 803
+    },
+    {
+      "epoch": 1.0706666666666667,
+      "grad_norm": 0.31008186142773403,
+      "learning_rate": 1.5240949923297923e-05,
+      "loss": 1.9608,
+      "step": 804
+    },
+    {
+      "epoch": 1.072,
+      "grad_norm": 0.20652125496483334,
+      "learning_rate": 1.521242126047608e-05,
+      "loss": 2.2025,
+      "step": 805
+    },
+    {
+      "epoch": 1.0733333333333333,
+      "grad_norm": 0.3305153056682933,
+      "learning_rate": 1.5183898399283168e-05,
+      "loss": 1.6804,
+      "step": 806
+    },
+    {
+      "epoch": 1.0746666666666667,
+      "grad_norm": 0.3285012571245733,
+      "learning_rate": 1.5155381468238763e-05,
+      "loss": 1.6036,
+      "step": 807
+    },
+    {
+      "epoch": 1.076,
+      "grad_norm": 0.2801204689153235,
+      "learning_rate": 1.5126870595835696e-05,
+      "loss": 2.002,
+      "step": 808
+    },
+    {
+      "epoch": 1.0773333333333333,
+      "grad_norm": 0.27591723883269975,
+      "learning_rate": 1.5098365910539514e-05,
+      "loss": 2.0056,
+      "step": 809
+    },
+    {
+      "epoch": 1.0786666666666667,
+      "grad_norm": 0.2822219932113097,
+      "learning_rate": 1.5069867540787885e-05,
+      "loss": 1.9001,
+      "step": 810
+    },
+    {
+      "epoch": 1.08,
+      "grad_norm": 0.2888298220969775,
+      "learning_rate": 1.504137561499001e-05,
+      "loss": 1.8408,
+      "step": 811
+    },
+    {
+      "epoch": 1.0813333333333333,
+      "grad_norm": 0.22666168669502149,
+      "learning_rate": 1.5012890261526077e-05,
+      "loss": 1.9996,
+      "step": 812
+    },
+    {
+      "epoch": 1.0826666666666667,
+      "grad_norm": 0.24342415396543557,
+      "learning_rate": 1.4984411608746628e-05,
+      "loss": 1.7895,
+      "step": 813
+    },
+    {
+      "epoch": 1.084,
+      "grad_norm": 0.3176688771877161,
+      "learning_rate": 1.4955939784972038e-05,
+      "loss": 1.7781,
+      "step": 814
+    },
+    {
+      "epoch": 1.0853333333333333,
+      "grad_norm": 0.356850483657526,
+      "learning_rate": 1.4927474918491897e-05,
+      "loss": 2.2755,
+      "step": 815
+    },
+    {
+      "epoch": 1.0866666666666667,
+      "grad_norm": 0.2961712894598291,
+      "learning_rate": 1.4899017137564468e-05,
+      "loss": 1.9173,
+      "step": 816
+    },
+    {
+      "epoch": 1.088,
+      "grad_norm": 0.23483397046388113,
+      "learning_rate": 1.4870566570416054e-05,
+      "loss": 2.2262,
+      "step": 817
+    },
+    {
+      "epoch": 1.0893333333333333,
+      "grad_norm": 0.24591094734768637,
+      "learning_rate": 1.4842123345240476e-05,
+      "loss": 2.2407,
+      "step": 818
+    },
+    {
+      "epoch": 1.0906666666666667,
+      "grad_norm": 0.3226255634566517,
+      "learning_rate": 1.4813687590198486e-05,
+      "loss": 1.9161,
+      "step": 819
+    },
+    {
+      "epoch": 1.092,
+      "grad_norm": 0.31618866419039016,
+      "learning_rate": 1.4785259433417137e-05,
+      "loss": 2.1224,
+      "step": 820
+    },
+    {
+      "epoch": 1.0933333333333333,
+      "grad_norm": 0.26406701803190497,
+      "learning_rate": 1.4756839002989287e-05,
+      "loss": 2.0114,
+      "step": 821
+    },
+    {
+      "epoch": 1.0946666666666667,
+      "grad_norm": 0.2570505246727361,
+      "learning_rate": 1.472842642697295e-05,
+      "loss": 2.0337,
+      "step": 822
+    },
+    {
+      "epoch": 1.096,
+      "grad_norm": 0.24849779653480883,
+      "learning_rate": 1.4700021833390772e-05,
+      "loss": 1.9448,
+      "step": 823
+    },
+    {
+      "epoch": 1.0973333333333333,
+      "grad_norm": 0.29803983234714143,
+      "learning_rate": 1.4671625350229406e-05,
+      "loss": 2.0525,
+      "step": 824
+    },
+    {
+      "epoch": 1.0986666666666667,
+      "grad_norm": 0.26960983669026084,
+      "learning_rate": 1.4643237105438985e-05,
+      "loss": 1.9736,
+      "step": 825
+    },
+    {
+      "epoch": 1.0986666666666667,
+      "eval_loss": 1.7263636589050293,
+      "eval_runtime": 98.7852,
+      "eval_samples_per_second": 1.012,
+      "eval_steps_per_second": 0.253,
+      "step": 825
+    },
+    {
+      "epoch": 1.1,
+      "grad_norm": 0.33739943860611005,
+      "learning_rate": 1.4614857226932514e-05,
+      "loss": 1.9295,
+      "step": 826
+    },
+    {
+      "epoch": 1.1013333333333333,
+      "grad_norm": 0.31583103747112357,
+      "learning_rate": 1.4586485842585288e-05,
+      "loss": 1.8792,
+      "step": 827
+    },
+    {
+      "epoch": 1.1026666666666667,
+      "grad_norm": 0.3477216318533689,
+      "learning_rate": 1.4558123080234354e-05,
+      "loss": 1.8972,
+      "step": 828
+    },
+    {
+      "epoch": 1.104,
+      "grad_norm": 0.24381298309958485,
+      "learning_rate": 1.4529769067677878e-05,
+      "loss": 1.8523,
+      "step": 829
+    },
+    {
+      "epoch": 1.1053333333333333,
+      "grad_norm": 0.36377772901911526,
+      "learning_rate": 1.4501423932674627e-05,
+      "loss": 1.8789,
+      "step": 830
+    },
+    {
+      "epoch": 1.1066666666666667,
+      "grad_norm": 0.2411161347666336,
+      "learning_rate": 1.4473087802943354e-05,
+      "loss": 2.0232,
+      "step": 831
+    },
+    {
+      "epoch": 1.108,
+      "grad_norm": 0.2827729827360253,
+      "learning_rate": 1.4444760806162249e-05,
+      "loss": 2.472,
+      "step": 832
+    },
+    {
+      "epoch": 1.1093333333333333,
+      "grad_norm": 0.2688803709712516,
+      "learning_rate": 1.4416443069968319e-05,
+      "loss": 2.1379,
+      "step": 833
+    },
+    {
+      "epoch": 1.1106666666666667,
+      "grad_norm": 0.2763834018064042,
+      "learning_rate": 1.438813472195688e-05,
+      "loss": 2.1854,
+      "step": 834
+    },
+    {
+      "epoch": 1.112,
+      "grad_norm": 0.3252822515732837,
+      "learning_rate": 1.435983588968094e-05,
+      "loss": 1.8315,
+      "step": 835
+    },
+    {
+      "epoch": 1.1133333333333333,
+      "grad_norm": 0.288360641044998,
+      "learning_rate": 1.4331546700650608e-05,
+      "loss": 1.822,
+      "step": 836
+    },
+    {
+      "epoch": 1.1146666666666667,
+      "grad_norm": 0.33567385117245413,
+      "learning_rate": 1.430326728233256e-05,
+      "loss": 1.9103,
+      "step": 837
+    },
+    {
+      "epoch": 1.116,
+      "grad_norm": 0.34222016685695766,
+      "learning_rate": 1.4274997762149446e-05,
+      "loss": 2.0394,
+      "step": 838
+    },
+    {
+      "epoch": 1.1173333333333333,
+      "grad_norm": 0.33037244516122444,
+      "learning_rate": 1.424673826747932e-05,
+      "loss": 2.1109,
+      "step": 839
+    },
+    {
+      "epoch": 1.1186666666666667,
+      "grad_norm": 0.27845613642536654,
+      "learning_rate": 1.4218488925655038e-05,
+      "loss": 1.8761,
+      "step": 840
+    },
+    {
+      "epoch": 1.12,
+      "grad_norm": 0.29067916025863894,
+      "learning_rate": 1.4190249863963746e-05,
+      "loss": 2.0218,
+      "step": 841
+    },
+    {
+      "epoch": 1.1213333333333333,
+      "grad_norm": 0.2028693513568206,
+      "learning_rate": 1.4162021209646242e-05,
+      "loss": 2.351,
+      "step": 842
+    },
+    {
+      "epoch": 1.1226666666666667,
+      "grad_norm": 0.22107038719143224,
+      "learning_rate": 1.4133803089896437e-05,
+      "loss": 2.0639,
+      "step": 843
+    },
+    {
+      "epoch": 1.124,
+      "grad_norm": 0.19090428144867044,
+      "learning_rate": 1.4105595631860785e-05,
+      "loss": 2.0944,
+      "step": 844
+    },
+    {
+      "epoch": 1.1253333333333333,
+      "grad_norm": 0.2307925623582864,
+      "learning_rate": 1.4077398962637679e-05,
+      "loss": 2.1235,
+      "step": 845
+    },
+    {
+      "epoch": 1.1266666666666667,
+      "grad_norm": 0.2773105933942592,
+      "learning_rate": 1.4049213209276925e-05,
+      "loss": 2.3474,
+      "step": 846
+    },
+    {
+      "epoch": 1.1280000000000001,
+      "grad_norm": 0.28933871659651195,
+      "learning_rate": 1.4021038498779123e-05,
+      "loss": 1.6713,
+      "step": 847
+    },
+    {
+      "epoch": 1.1293333333333333,
+      "grad_norm": 0.24815103673978903,
+      "learning_rate": 1.3992874958095125e-05,
+      "loss": 2.2942,
+      "step": 848
+    },
+    {
+      "epoch": 1.1306666666666667,
+      "grad_norm": 0.22407067780211767,
+      "learning_rate": 1.396472271412545e-05,
+      "loss": 2.0328,
+      "step": 849
+    },
+    {
+      "epoch": 1.1320000000000001,
+      "grad_norm": 0.19722677720163131,
+      "learning_rate": 1.3936581893719717e-05,
+      "loss": 2.0957,
+      "step": 850
+    },
+    {
+      "epoch": 1.1333333333333333,
+      "grad_norm": 0.2732434799353355,
+      "learning_rate": 1.3908452623676083e-05,
+      "loss": 2.07,
+      "step": 851
+    },
+    {
+      "epoch": 1.1346666666666667,
+      "grad_norm": 0.3693734960374534,
+      "learning_rate": 1.3880335030740634e-05,
+      "loss": 1.9537,
+      "step": 852
+    },
+    {
+      "epoch": 1.1360000000000001,
+      "grad_norm": 0.34582418850189106,
+      "learning_rate": 1.385222924160687e-05,
+      "loss": 2.3543,
+      "step": 853
+    },
+    {
+      "epoch": 1.1373333333333333,
+      "grad_norm": 0.34579666129827547,
+      "learning_rate": 1.3824135382915085e-05,
+      "loss": 1.7169,
+      "step": 854
+    },
+    {
+      "epoch": 1.1386666666666667,
+      "grad_norm": 0.27912681218848595,
+      "learning_rate": 1.3796053581251835e-05,
+      "loss": 2.0586,
+      "step": 855
+    },
+    {
+      "epoch": 1.1400000000000001,
+      "grad_norm": 0.22301389294204216,
+      "learning_rate": 1.3767983963149322e-05,
+      "loss": 2.0467,
+      "step": 856
+    },
+    {
+      "epoch": 1.1413333333333333,
+      "grad_norm": 0.35613948380619104,
+      "learning_rate": 1.3739926655084871e-05,
+      "loss": 2.3776,
+      "step": 857
+    },
+    {
+      "epoch": 1.1426666666666667,
+      "grad_norm": 0.37935485390184787,
+      "learning_rate": 1.3711881783480343e-05,
+      "loss": 1.908,
+      "step": 858
+    },
+    {
+      "epoch": 1.144,
+      "grad_norm": 0.2604125057354825,
+      "learning_rate": 1.3683849474701546e-05,
+      "loss": 2.1663,
+      "step": 859
+    },
+    {
+      "epoch": 1.1453333333333333,
+      "grad_norm": 0.20226443257243945,
+      "learning_rate": 1.36558298550577e-05,
+      "loss": 2.1179,
+      "step": 860
+    },
+    {
+      "epoch": 1.1466666666666667,
+      "grad_norm": 0.28670416054657116,
+      "learning_rate": 1.3627823050800821e-05,
+      "loss": 2.3402,
+      "step": 861
+    },
+    {
+      "epoch": 1.148,
+      "grad_norm": 0.22345952514121253,
+      "learning_rate": 1.3599829188125224e-05,
+      "loss": 2.0037,
+      "step": 862
+    },
+    {
+      "epoch": 1.1493333333333333,
+      "grad_norm": 0.24363095543034283,
+      "learning_rate": 1.357184839316687e-05,
+      "loss": 2.449,
+      "step": 863
+    },
+    {
+      "epoch": 1.1506666666666667,
+      "grad_norm": 0.35434158328131543,
+      "learning_rate": 1.3543880792002864e-05,
+      "loss": 1.7194,
+      "step": 864
+    },
+    {
+      "epoch": 1.152,
+      "grad_norm": 0.27961168317007334,
+      "learning_rate": 1.3515926510650848e-05,
+      "loss": 2.1084,
+      "step": 865
+    },
+    {
+      "epoch": 1.1533333333333333,
+      "grad_norm": 0.2851106139542046,
+      "learning_rate": 1.3487985675068456e-05,
+      "loss": 1.9084,
+      "step": 866
+    },
+    {
+      "epoch": 1.1546666666666667,
+      "grad_norm": 0.3386904368910706,
+      "learning_rate": 1.3460058411152742e-05,
+      "loss": 1.6938,
+      "step": 867
+    },
+    {
+      "epoch": 1.156,
+      "grad_norm": 0.23212252628845687,
+      "learning_rate": 1.3432144844739585e-05,
+      "loss": 2.0928,
+      "step": 868
+    },
+    {
+      "epoch": 1.1573333333333333,
+      "grad_norm": 0.269610885122469,
+      "learning_rate": 1.3404245101603173e-05,
+      "loss": 2.1966,
+      "step": 869
+    },
+    {
+      "epoch": 1.1586666666666667,
+      "grad_norm": 0.24300942352810392,
+      "learning_rate": 1.3376359307455391e-05,
+      "loss": 2.1554,
+      "step": 870
+    },
+    {
+      "epoch": 1.16,
+      "grad_norm": 0.26437919301371793,
+      "learning_rate": 1.3348487587945281e-05,
+      "loss": 1.7462,
+      "step": 871
+    },
+    {
+      "epoch": 1.1613333333333333,
+      "grad_norm": 0.2038778141393033,
+      "learning_rate": 1.3320630068658456e-05,
+      "loss": 2.1588,
+      "step": 872
+    },
+    {
+      "epoch": 1.1626666666666667,
+      "grad_norm": 0.29610511589262156,
+      "learning_rate": 1.3292786875116554e-05,
+      "loss": 1.8045,
+      "step": 873
+    },
+    {
+      "epoch": 1.164,
+      "grad_norm": 0.2083586397413081,
+      "learning_rate": 1.326495813277667e-05,
+      "loss": 2.1227,
+      "step": 874
+    },
+    {
+      "epoch": 1.1653333333333333,
+      "grad_norm": 0.3157235681757098,
+      "learning_rate": 1.3237143967030768e-05,
+      "loss": 1.5903,
+      "step": 875
+    },
+    {
+      "epoch": 1.1666666666666667,
+      "grad_norm": 0.311903676076516,
+      "learning_rate": 1.3209344503205141e-05,
+      "loss": 1.8527,
+      "step": 876
+    },
+    {
+      "epoch": 1.168,
+      "grad_norm": 0.3393466746581136,
+      "learning_rate": 1.3181559866559834e-05,
+      "loss": 1.8694,
+      "step": 877
+    },
+    {
+      "epoch": 1.1693333333333333,
+      "grad_norm": 0.28211130910911014,
+      "learning_rate": 1.3153790182288096e-05,
+      "loss": 2.1516,
+      "step": 878
+    },
+    {
+      "epoch": 1.1706666666666667,
+      "grad_norm": 0.2799523751154251,
+      "learning_rate": 1.3126035575515774e-05,
+      "loss": 2.1035,
+      "step": 879
+    },
+    {
+      "epoch": 1.172,
+      "grad_norm": 0.21511516012771723,
+      "learning_rate": 1.3098296171300815e-05,
+      "loss": 2.2037,
+      "step": 880
+    },
+    {
+      "epoch": 1.1733333333333333,
+      "grad_norm": 0.2033152836937396,
+      "learning_rate": 1.307057209463263e-05,
+      "loss": 2.1185,
+      "step": 881
+    },
+    {
+      "epoch": 1.1746666666666667,
+      "grad_norm": 0.31602422191043694,
+      "learning_rate": 1.3042863470431595e-05,
+      "loss": 2.0474,
+      "step": 882
+    },
+    {
+      "epoch": 1.176,
+      "grad_norm": 0.30289004802802955,
+      "learning_rate": 1.3015170423548452e-05,
+      "loss": 1.9043,
+      "step": 883
+    },
+    {
+      "epoch": 1.1773333333333333,
+      "grad_norm": 0.3700889055905809,
+      "learning_rate": 1.2987493078763735e-05,
+      "loss": 1.6108,
+      "step": 884
+    },
+    {
+      "epoch": 1.1786666666666668,
+      "grad_norm": 0.28548958638313016,
+      "learning_rate": 1.2959831560787254e-05,
+      "loss": 2.1398,
+      "step": 885
+    },
+    {
+      "epoch": 1.18,
+      "grad_norm": 0.25770632580022057,
+      "learning_rate": 1.293218599425749e-05,
+      "loss": 1.9075,
+      "step": 886
+    },
+    {
+      "epoch": 1.1813333333333333,
+      "grad_norm": 0.33534449476212286,
+      "learning_rate": 1.2904556503741054e-05,
+      "loss": 1.9316,
+      "step": 887
+    },
+    {
+      "epoch": 1.1826666666666668,
+      "grad_norm": 0.3166639011177591,
+      "learning_rate": 1.2876943213732113e-05,
+      "loss": 1.6889,
+      "step": 888
+    },
+    {
+      "epoch": 1.184,
+      "grad_norm": 0.25352222922087836,
+      "learning_rate": 1.2849346248651851e-05,
+      "loss": 1.9141,
+      "step": 889
+    },
+    {
+      "epoch": 1.1853333333333333,
+      "grad_norm": 0.25768329681012353,
+      "learning_rate": 1.2821765732847894e-05,
+      "loss": 2.0407,
+      "step": 890
+    },
+    {
+      "epoch": 1.1866666666666668,
+      "grad_norm": 0.39860000016451574,
+      "learning_rate": 1.2794201790593729e-05,
+      "loss": 1.9456,
+      "step": 891
+    },
+    {
+      "epoch": 1.188,
+      "grad_norm": 0.272480193437812,
+      "learning_rate": 1.276665454608819e-05,
+      "loss": 2.1016,
+      "step": 892
+    },
+    {
+      "epoch": 1.1893333333333334,
+      "grad_norm": 0.20790740179363376,
+      "learning_rate": 1.2739124123454861e-05,
+      "loss": 2.2562,
+      "step": 893
+    },
+    {
+      "epoch": 1.1906666666666668,
+      "grad_norm": 0.33072921666504135,
+      "learning_rate": 1.2711610646741535e-05,
+      "loss": 2.0387,
+      "step": 894
+    },
+    {
+      "epoch": 1.192,
+      "grad_norm": 0.23124047936995398,
+      "learning_rate": 1.2684114239919634e-05,
+      "loss": 2.1793,
+      "step": 895
+    },
+    {
+      "epoch": 1.1933333333333334,
+      "grad_norm": 0.25553197408913225,
+      "learning_rate": 1.265663502688369e-05,
+      "loss": 2.0221,
+      "step": 896
+    },
+    {
+      "epoch": 1.1946666666666665,
+      "grad_norm": 0.24976865846165938,
+      "learning_rate": 1.262917313145074e-05,
+      "loss": 2.2023,
+      "step": 897
+    },
+    {
+      "epoch": 1.196,
+      "grad_norm": 0.26189714265274144,
+      "learning_rate": 1.260172867735981e-05,
+      "loss": 2.1178,
+      "step": 898
+    },
+    {
+      "epoch": 1.1973333333333334,
+      "grad_norm": 0.2522352567726127,
+      "learning_rate": 1.2574301788271328e-05,
+      "loss": 2.1716,
+      "step": 899
+    },
+    {
+      "epoch": 1.1986666666666665,
+      "grad_norm": 0.2944286279158644,
+      "learning_rate": 1.2546892587766574e-05,
+      "loss": 2.0917,
+      "step": 900
+    },
+    {
+      "epoch": 1.1986666666666665,
+      "eval_loss": 1.7244901657104492,
+      "eval_runtime": 98.7949,
+      "eval_samples_per_second": 1.012,
+      "eval_steps_per_second": 0.253,
+      "step": 900
+    },
+    {
+      "epoch": 1.2,
+      "grad_norm": 0.2547330577707196,
+      "learning_rate": 1.251950119934713e-05,
+      "loss": 2.0067,
+      "step": 901
+    },
+    {
+      "epoch": 1.2013333333333334,
+      "grad_norm": 0.30117867035434776,
+      "learning_rate": 1.2492127746434314e-05,
+      "loss": 1.8638,
+      "step": 902
+    },
+    {
+      "epoch": 1.2026666666666666,
+      "grad_norm": 0.2615895402404071,
+      "learning_rate": 1.2464772352368647e-05,
+      "loss": 2.2824,
+      "step": 903
+    },
+    {
+      "epoch": 1.204,
+      "grad_norm": 0.2597748699646768,
+      "learning_rate": 1.2437435140409255e-05,
+      "loss": 2.1053,
+      "step": 904
+    },
+    {
+      "epoch": 1.2053333333333334,
+      "grad_norm": 0.3761295047354225,
+      "learning_rate": 1.2410116233733357e-05,
+      "loss": 1.9672,
+      "step": 905
+    },
+    {
+      "epoch": 1.2066666666666666,
+      "grad_norm": 0.2913866347705974,
+      "learning_rate": 1.2382815755435687e-05,
+      "loss": 2.1088,
+      "step": 906
+    },
+    {
+      "epoch": 1.208,
+      "grad_norm": 0.38291366440673635,
+      "learning_rate": 1.2355533828527934e-05,
+      "loss": 1.8243,
+      "step": 907
+    },
+    {
+      "epoch": 1.2093333333333334,
+      "grad_norm": 0.32386717527047804,
+      "learning_rate": 1.2328270575938213e-05,
+      "loss": 1.8934,
+      "step": 908
+    },
+    {
+      "epoch": 1.2106666666666666,
+      "grad_norm": 0.1826624959172315,
+      "learning_rate": 1.2301026120510475e-05,
+      "loss": 2.2003,
+      "step": 909
+    },
+    {
+      "epoch": 1.212,
+      "grad_norm": 0.3062699668335225,
+      "learning_rate": 1.2273800585004e-05,
+      "loss": 1.8659,
+      "step": 910
+    },
+    {
+      "epoch": 1.2133333333333334,
+      "grad_norm": 0.22823325737647399,
+      "learning_rate": 1.2246594092092794e-05,
+      "loss": 2.2497,
+      "step": 911
+    },
+    {
+      "epoch": 1.2146666666666666,
+      "grad_norm": 0.3504153910721868,
+      "learning_rate": 1.2219406764365078e-05,
+      "loss": 1.4905,
+      "step": 912
+    },
+    {
+      "epoch": 1.216,
+      "grad_norm": 0.2408275469329323,
+      "learning_rate": 1.2192238724322697e-05,
+      "loss": 2.2068,
+      "step": 913
+    },
+    {
+      "epoch": 1.2173333333333334,
+      "grad_norm": 0.26442843650072173,
+      "learning_rate": 1.2165090094380611e-05,
+      "loss": 2.1585,
+      "step": 914
+    },
+    {
+      "epoch": 1.2186666666666666,
+      "grad_norm": 0.25378084892897107,
+      "learning_rate": 1.2137960996866317e-05,
+      "loss": 2.2022,
+      "step": 915
+    },
+    {
+      "epoch": 1.22,
+      "grad_norm": 0.31051625227270396,
+      "learning_rate": 1.2110851554019274e-05,
+      "loss": 1.9324,
+      "step": 916
+    },
+    {
+      "epoch": 1.2213333333333334,
+      "grad_norm": 0.3819581351495789,
+      "learning_rate": 1.2083761887990429e-05,
+      "loss": 1.6774,
+      "step": 917
+    },
+    {
+      "epoch": 1.2226666666666666,
+      "grad_norm": 0.32058824344227177,
+      "learning_rate": 1.205669212084157e-05,
+      "loss": 1.909,
+      "step": 918
+    },
+    {
+      "epoch": 1.224,
+      "grad_norm": 0.3473832906787709,
+      "learning_rate": 1.2029642374544858e-05,
+      "loss": 1.8806,
+      "step": 919
+    },
+    {
+      "epoch": 1.2253333333333334,
+      "grad_norm": 0.25003309371333615,
+      "learning_rate": 1.2002612770982223e-05,
+      "loss": 2.1653,
+      "step": 920
+    },
+    {
+      "epoch": 1.2266666666666666,
+      "grad_norm": 0.2525675648288993,
+      "learning_rate": 1.1975603431944842e-05,
+      "loss": 1.9691,
+      "step": 921
+    },
+    {
+      "epoch": 1.228,
+      "grad_norm": 0.27491762634579053,
+      "learning_rate": 1.1948614479132597e-05,
+      "loss": 2.3897,
+      "step": 922
+    },
+    {
+      "epoch": 1.2293333333333334,
+      "grad_norm": 0.22984436322386587,
+      "learning_rate": 1.192164603415348e-05,
+      "loss": 2.0477,
+      "step": 923
+    },
+    {
+      "epoch": 1.2306666666666666,
+      "grad_norm": 0.2592965644021112,
+      "learning_rate": 1.1894698218523107e-05,
+      "loss": 1.8221,
+      "step": 924
+    },
+    {
+      "epoch": 1.232,
+      "grad_norm": 0.23779567668756016,
+      "learning_rate": 1.1867771153664127e-05,
+      "loss": 2.147,
+      "step": 925
+    },
+    {
+      "epoch": 1.2333333333333334,
+      "grad_norm": 0.29708936917555434,
+      "learning_rate": 1.1840864960905699e-05,
+      "loss": 2.4098,
+      "step": 926
+    },
+    {
+      "epoch": 1.2346666666666666,
+      "grad_norm": 0.24938414210983972,
+      "learning_rate": 1.1813979761482923e-05,
+      "loss": 2.3323,
+      "step": 927
+    },
+    {
+      "epoch": 1.236,
+      "grad_norm": 0.36245195992978585,
+      "learning_rate": 1.1787115676536318e-05,
+      "loss": 1.9571,
+      "step": 928
+    },
+    {
+      "epoch": 1.2373333333333334,
+      "grad_norm": 0.25809386922531646,
+      "learning_rate": 1.176027282711126e-05,
+      "loss": 2.0808,
+      "step": 929
+    },
+    {
+      "epoch": 1.2386666666666666,
+      "grad_norm": 0.32260400225446856,
+      "learning_rate": 1.1733451334157442e-05,
+      "loss": 1.523,
+      "step": 930
+    },
+    {
+      "epoch": 1.24,
+      "grad_norm": 0.2572561777008489,
+      "learning_rate": 1.1706651318528324e-05,
+      "loss": 2.1503,
+      "step": 931
+    },
+    {
+      "epoch": 1.2413333333333334,
+      "grad_norm": 0.29182585989734355,
+      "learning_rate": 1.1679872900980594e-05,
+      "loss": 1.7526,
+      "step": 932
+    },
+    {
+      "epoch": 1.2426666666666666,
+      "grad_norm": 0.32446496421369664,
+      "learning_rate": 1.1653116202173636e-05,
+      "loss": 1.936,
+      "step": 933
+    },
+    {
+      "epoch": 1.244,
+      "grad_norm": 0.19883278658831505,
+      "learning_rate": 1.1626381342668941e-05,
+      "loss": 2.0101,
+      "step": 934
+    },
+    {
+      "epoch": 1.2453333333333334,
+      "grad_norm": 0.29576475205827124,
+      "learning_rate": 1.1599668442929633e-05,
+      "loss": 2.0127,
+      "step": 935
+    },
+    {
+      "epoch": 1.2466666666666666,
+      "grad_norm": 0.3676829627740954,
+      "learning_rate": 1.1572977623319863e-05,
+      "loss": 2.438,
+      "step": 936
+    },
+    {
+      "epoch": 1.248,
+      "grad_norm": 0.22325240280957503,
+      "learning_rate": 1.1546309004104298e-05,
+      "loss": 2.0717,
+      "step": 937
+    },
+    {
+      "epoch": 1.2493333333333334,
+      "grad_norm": 0.34005680560575235,
+      "learning_rate": 1.1519662705447585e-05,
+      "loss": 1.9409,
+      "step": 938
+    },
+    {
+      "epoch": 1.2506666666666666,
+      "grad_norm": 0.22968940980272243,
+      "learning_rate": 1.1493038847413779e-05,
+      "loss": 2.191,
+      "step": 939
+    },
+    {
+      "epoch": 1.252,
+      "grad_norm": 0.24326085626015034,
+      "learning_rate": 1.1466437549965835e-05,
+      "loss": 1.7475,
+      "step": 940
+    },
+    {
+      "epoch": 1.2533333333333334,
+      "grad_norm": 0.23046922632524613,
+      "learning_rate": 1.143985893296505e-05,
+      "loss": 2.0973,
+      "step": 941
+    },
+    {
+      "epoch": 1.2546666666666666,
+      "grad_norm": 0.28114011768361297,
+      "learning_rate": 1.141330311617053e-05,
+      "loss": 2.315,
+      "step": 942
+    },
+    {
+      "epoch": 1.256,
+      "grad_norm": 0.47347586360266986,
+      "learning_rate": 1.138677021923863e-05,
+      "loss": 1.4803,
+      "step": 943
+    },
+    {
+      "epoch": 1.2573333333333334,
+      "grad_norm": 0.2508323694375401,
+      "learning_rate": 1.136026036172246e-05,
+      "loss": 2.1912,
+      "step": 944
+    },
+    {
+      "epoch": 1.2586666666666666,
+      "grad_norm": 0.2796341142328396,
+      "learning_rate": 1.1333773663071288e-05,
+      "loss": 2.1389,
+      "step": 945
+    },
+    {
+      "epoch": 1.26,
+      "grad_norm": 0.3296992563741328,
+      "learning_rate": 1.1307310242630057e-05,
+      "loss": 1.6939,
+      "step": 946
+    },
+    {
+      "epoch": 1.2613333333333334,
+      "grad_norm": 0.3083106018198859,
+      "learning_rate": 1.128087021963881e-05,
+      "loss": 2.3766,
+      "step": 947
+    },
+    {
+      "epoch": 1.2626666666666666,
+      "grad_norm": 0.31882717197187505,
+      "learning_rate": 1.1254453713232159e-05,
+      "loss": 1.6688,
+      "step": 948
+    },
+    {
+      "epoch": 1.264,
+      "grad_norm": 0.29232166517893704,
+      "learning_rate": 1.122806084243877e-05,
+      "loss": 2.1866,
+      "step": 949
+    },
+    {
+      "epoch": 1.2653333333333334,
+      "grad_norm": 0.3163610956601867,
+      "learning_rate": 1.120169172618079e-05,
+      "loss": 1.9031,
+      "step": 950
+    },
+    {
+      "epoch": 1.2666666666666666,
+      "grad_norm": 0.3120121778039467,
+      "learning_rate": 1.1175346483273354e-05,
+      "loss": 1.853,
+      "step": 951
+    },
+    {
+      "epoch": 1.268,
+      "grad_norm": 0.5009025445022389,
+      "learning_rate": 1.1149025232424012e-05,
+      "loss": 1.6438,
+      "step": 952
+    },
+    {
+      "epoch": 1.2693333333333334,
+      "grad_norm": 0.23700035332015665,
+      "learning_rate": 1.1122728092232216e-05,
+      "loss": 2.0785,
+      "step": 953
+    },
+    {
+      "epoch": 1.2706666666666666,
+      "grad_norm": 0.264436489757347,
+      "learning_rate": 1.1096455181188775e-05,
+      "loss": 2.0052,
+      "step": 954
+    },
+    {
+      "epoch": 1.272,
+      "grad_norm": 0.23160525014333155,
+      "learning_rate": 1.1070206617675325e-05,
+      "loss": 2.1096,
+      "step": 955
+    },
+    {
+      "epoch": 1.2733333333333334,
+      "grad_norm": 0.32986807056319895,
+      "learning_rate": 1.1043982519963808e-05,
+      "loss": 1.7779,
+      "step": 956
+    },
+    {
+      "epoch": 1.2746666666666666,
+      "grad_norm": 0.2579454877027749,
+      "learning_rate": 1.1017783006215907e-05,
+      "loss": 2.0495,
+      "step": 957
+    },
+    {
+      "epoch": 1.276,
+      "grad_norm": 0.25162242528179907,
+      "learning_rate": 1.0991608194482554e-05,
+      "loss": 2.2682,
+      "step": 958
+    },
+    {
+      "epoch": 1.2773333333333334,
+      "grad_norm": 0.30710812037355206,
+      "learning_rate": 1.0965458202703352e-05,
+      "loss": 1.7869,
+      "step": 959
+    },
+    {
+      "epoch": 1.2786666666666666,
+      "grad_norm": 0.2532367005874789,
+      "learning_rate": 1.09393331487061e-05,
+      "loss": 2.3555,
+      "step": 960
+    },
+    {
+      "epoch": 1.28,
+      "grad_norm": 0.36484293291028724,
+      "learning_rate": 1.0913233150206209e-05,
+      "loss": 1.7604,
+      "step": 961
+    },
+    {
+      "epoch": 1.2813333333333334,
+      "grad_norm": 0.2595141607506986,
+      "learning_rate": 1.08871583248062e-05,
+      "loss": 1.7623,
+      "step": 962
+    },
+    {
+      "epoch": 1.2826666666666666,
+      "grad_norm": 0.321469400417862,
+      "learning_rate": 1.0861108789995175e-05,
+      "loss": 1.9921,
+      "step": 963
+    },
+    {
+      "epoch": 1.284,
+      "grad_norm": 0.29552580225234487,
+      "learning_rate": 1.0835084663148261e-05,
+      "loss": 1.9573,
+      "step": 964
+    },
+    {
+      "epoch": 1.2853333333333334,
+      "grad_norm": 0.41556496862580544,
+      "learning_rate": 1.0809086061526128e-05,
+      "loss": 1.8884,
+      "step": 965
+    },
+    {
+      "epoch": 1.2866666666666666,
+      "grad_norm": 0.2822774487477595,
+      "learning_rate": 1.0783113102274411e-05,
+      "loss": 1.8946,
+      "step": 966
+    },
+    {
+      "epoch": 1.288,
+      "grad_norm": 0.44031351175790295,
+      "learning_rate": 1.0757165902423214e-05,
+      "loss": 1.9377,
+      "step": 967
+    },
+    {
+      "epoch": 1.2893333333333334,
+      "grad_norm": 0.3224023433804108,
+      "learning_rate": 1.0731244578886574e-05,
+      "loss": 1.9487,
+      "step": 968
+    },
+    {
+      "epoch": 1.2906666666666666,
+      "grad_norm": 0.2289483081063148,
+      "learning_rate": 1.0705349248461927e-05,
+      "loss": 2.1853,
+      "step": 969
+    },
+    {
+      "epoch": 1.292,
+      "grad_norm": 0.20304258698515246,
+      "learning_rate": 1.0679480027829593e-05,
+      "loss": 2.1007,
+      "step": 970
+    },
+    {
+      "epoch": 1.2933333333333334,
+      "grad_norm": 0.23337315396307892,
+      "learning_rate": 1.0653637033552248e-05,
+      "loss": 1.9286,
+      "step": 971
+    },
+    {
+      "epoch": 1.2946666666666666,
+      "grad_norm": 0.24322683715799448,
+      "learning_rate": 1.0627820382074392e-05,
+      "loss": 2.2592,
+      "step": 972
+    },
+    {
+      "epoch": 1.296,
+      "grad_norm": 0.3045623268241354,
+      "learning_rate": 1.0602030189721824e-05,
+      "loss": 1.8093,
+      "step": 973
+    },
+    {
+      "epoch": 1.2973333333333334,
+      "grad_norm": 0.2619398899479254,
+      "learning_rate": 1.057626657270114e-05,
+      "loss": 2.3952,
+      "step": 974
+    },
+    {
+      "epoch": 1.2986666666666666,
+      "grad_norm": 0.312834788584186,
+      "learning_rate": 1.055052964709916e-05,
+      "loss": 1.5679,
+      "step": 975
+    },
+    {
+      "epoch": 1.2986666666666666,
+      "eval_loss": 1.7238746881484985,
+      "eval_runtime": 98.6021,
+      "eval_samples_per_second": 1.014,
+      "eval_steps_per_second": 0.254,
+      "step": 975
+    },
+    {
+      "epoch": 1.3,
+      "grad_norm": 0.2066841548756775,
+      "learning_rate": 1.0524819528882473e-05,
+      "loss": 2.0234,
+      "step": 976
+    },
+    {
+      "epoch": 1.3013333333333335,
+      "grad_norm": 0.23611191495984157,
+      "learning_rate": 1.0499136333896853e-05,
+      "loss": 2.0812,
+      "step": 977
+    },
+    {
+      "epoch": 1.3026666666666666,
+      "grad_norm": 0.25854462746138257,
+      "learning_rate": 1.0473480177866766e-05,
+      "loss": 2.027,
+      "step": 978
+    },
+    {
+      "epoch": 1.304,
+      "grad_norm": 0.2993196878311568,
+      "learning_rate": 1.0447851176394865e-05,
+      "loss": 1.4299,
+      "step": 979
+    },
+    {
+      "epoch": 1.3053333333333335,
+      "grad_norm": 0.3312016639987474,
+      "learning_rate": 1.0422249444961409e-05,
+      "loss": 2.0316,
+      "step": 980
+    },
+    {
+      "epoch": 1.3066666666666666,
+      "grad_norm": 0.4123660738002601,
+      "learning_rate": 1.0396675098923824e-05,
+      "loss": 1.5699,
+      "step": 981
+    },
+    {
+      "epoch": 1.308,
+      "grad_norm": 0.47523750295511136,
+      "learning_rate": 1.0371128253516119e-05,
+      "loss": 2.0409,
+      "step": 982
+    },
+    {
+      "epoch": 1.3093333333333335,
+      "grad_norm": 0.26386017358225666,
+      "learning_rate": 1.0345609023848393e-05,
+      "loss": 2.0663,
+      "step": 983
+    },
+    {
+      "epoch": 1.3106666666666666,
+      "grad_norm": 0.23941498875502595,
+      "learning_rate": 1.0320117524906314e-05,
+      "loss": 1.9465,
+      "step": 984
+    },
+    {
+      "epoch": 1.312,
+      "grad_norm": 0.3011591825689887,
+      "learning_rate": 1.0294653871550597e-05,
+      "loss": 2.1965,
+      "step": 985
+    },
+    {
+      "epoch": 1.3133333333333335,
+      "grad_norm": 0.3886533008639575,
+      "learning_rate": 1.026921817851649e-05,
+      "loss": 1.9607,
+      "step": 986
+    },
+    {
+      "epoch": 1.3146666666666667,
+      "grad_norm": 0.46935820996990335,
+      "learning_rate": 1.0243810560413267e-05,
+      "loss": 2.0066,
+      "step": 987
+    },
+    {
+      "epoch": 1.316,
+      "grad_norm": 0.3030968762504365,
+      "learning_rate": 1.0218431131723686e-05,
+      "loss": 2.221,
+      "step": 988
+    },
+    {
+      "epoch": 1.3173333333333335,
+      "grad_norm": 0.3919982524329497,
+      "learning_rate": 1.0193080006803488e-05,
+      "loss": 1.7649,
+      "step": 989
+    },
+    {
+      "epoch": 1.3186666666666667,
+      "grad_norm": 0.4656293894389717,
+      "learning_rate": 1.0167757299880904e-05,
+      "loss": 2.0147,
+      "step": 990
+    },
+    {
+      "epoch": 1.32,
+      "grad_norm": 0.29953323462402315,
+      "learning_rate": 1.014246312505608e-05,
+      "loss": 1.8871,
+      "step": 991
+    },
+    {
+      "epoch": 1.3213333333333335,
+      "grad_norm": 0.2930865401307731,
+      "learning_rate": 1.0117197596300636e-05,
+      "loss": 1.8657,
+      "step": 992
+    },
+    {
+      "epoch": 1.3226666666666667,
+      "grad_norm": 0.390100158479355,
+      "learning_rate": 1.00919608274571e-05,
+      "loss": 2.0961,
+      "step": 993
+    },
+    {
+      "epoch": 1.324,
+      "grad_norm": 0.24323933777658324,
+      "learning_rate": 1.0066752932238409e-05,
+      "loss": 1.9925,
+      "step": 994
+    },
+    {
+      "epoch": 1.3253333333333333,
+      "grad_norm": 0.20714496547037972,
+      "learning_rate": 1.0041574024227422e-05,
+      "loss": 2.2419,
+      "step": 995
+    },
+    {
+      "epoch": 1.3266666666666667,
+      "grad_norm": 0.2501953151896484,
+      "learning_rate": 1.0016424216876349e-05,
+      "loss": 2.2866,
+      "step": 996
+    },
+    {
+      "epoch": 1.328,
+      "grad_norm": 0.2919524534618537,
+      "learning_rate": 9.991303623506314e-06,
+      "loss": 1.963,
+      "step": 997
+    },
+    {
+      "epoch": 1.3293333333333333,
+      "grad_norm": 0.2510067983950005,
+      "learning_rate": 9.966212357306789e-06,
+      "loss": 2.0418,
+      "step": 998
+    },
+    {
+      "epoch": 1.3306666666666667,
+      "grad_norm": 0.2165153318028165,
+      "learning_rate": 9.941150531335105e-06,
+      "loss": 2.2648,
+      "step": 999
+    },
+    {
+      "epoch": 1.332,
+      "grad_norm": 0.41720693355902916,
+      "learning_rate": 9.916118258515937e-06,
+      "loss": 1.5364,
+      "step": 1000
+    },
+    {
+      "epoch": 1.3333333333333333,
+      "grad_norm": 0.2570034938354712,
+      "learning_rate": 9.891115651640803e-06,
+      "loss": 2.2123,
+      "step": 1001
+    },
+    {
+      "epoch": 1.3346666666666667,
+      "grad_norm": 0.2590986125961775,
+      "learning_rate": 9.866142823367548e-06,
+      "loss": 2.1989,
+      "step": 1002
+    },
+    {
+      "epoch": 1.336,
+      "grad_norm": 0.2943508577234797,
+      "learning_rate": 9.841199886219841e-06,
+      "loss": 1.992,
+      "step": 1003
+    },
+    {
+      "epoch": 1.3373333333333333,
+      "grad_norm": 0.3452008163216107,
+      "learning_rate": 9.816286952586672e-06,
+      "loss": 1.8358,
+      "step": 1004
+    },
+    {
+      "epoch": 1.3386666666666667,
+      "grad_norm": 0.3328936896154838,
+      "learning_rate": 9.791404134721822e-06,
+      "loss": 2.027,
+      "step": 1005
+    },
+    {
+      "epoch": 1.34,
+      "grad_norm": 0.4346204940522017,
+      "learning_rate": 9.7665515447434e-06,
+      "loss": 1.6934,
+      "step": 1006
+    },
+    {
+      "epoch": 1.3413333333333333,
+      "grad_norm": 0.27369420080493645,
+      "learning_rate": 9.741729294633283e-06,
+      "loss": 1.9471,
+      "step": 1007
+    },
+    {
+      "epoch": 1.3426666666666667,
+      "grad_norm": 0.2333434561287913,
+      "learning_rate": 9.716937496236674e-06,
+      "loss": 2.1179,
+      "step": 1008
+    },
+    {
+      "epoch": 1.3439999999999999,
+      "grad_norm": 0.25380161045018934,
+      "learning_rate": 9.69217626126154e-06,
+      "loss": 2.1244,
+      "step": 1009
+    },
+    {
+      "epoch": 1.3453333333333333,
+      "grad_norm": 0.291324934426026,
+      "learning_rate": 9.66744570127814e-06,
+      "loss": 1.8656,
+      "step": 1010
+    },
+    {
+      "epoch": 1.3466666666666667,
+      "grad_norm": 0.23442616886376189,
+      "learning_rate": 9.642745927718532e-06,
+      "loss": 2.2127,
+      "step": 1011
+    },
+    {
+      "epoch": 1.3479999999999999,
+      "grad_norm": 0.31306139241755915,
+      "learning_rate": 9.618077051876027e-06,
+      "loss": 1.7291,
+      "step": 1012
+    },
+    {
+      "epoch": 1.3493333333333333,
+      "grad_norm": 0.3515339531352735,
+      "learning_rate": 9.593439184904743e-06,
+      "loss": 1.8207,
+      "step": 1013
+    },
+    {
+      "epoch": 1.3506666666666667,
+      "grad_norm": 0.8365093850528004,
+      "learning_rate": 9.56883243781906e-06,
+      "loss": 1.849,
+      "step": 1014
+    },
+    {
+      "epoch": 1.3519999999999999,
+      "grad_norm": 0.2903696389507148,
+      "learning_rate": 9.544256921493143e-06,
+      "loss": 2.0304,
+      "step": 1015
+    },
+    {
+      "epoch": 1.3533333333333333,
+      "grad_norm": 0.21404332035599244,
+      "learning_rate": 9.51971274666043e-06,
+      "loss": 2.183,
+      "step": 1016
+    },
+    {
+      "epoch": 1.3546666666666667,
+      "grad_norm": 0.3312096293122618,
+      "learning_rate": 9.495200023913157e-06,
+      "loss": 1.8786,
+      "step": 1017
+    },
+    {
+      "epoch": 1.3559999999999999,
+      "grad_norm": 0.2556941819438561,
+      "learning_rate": 9.470718863701808e-06,
+      "loss": 1.7592,
+      "step": 1018
+    },
+    {
+      "epoch": 1.3573333333333333,
+      "grad_norm": 0.2922744314300813,
+      "learning_rate": 9.44626937633469e-06,
+      "loss": 2.0837,
+      "step": 1019
+    },
+    {
+      "epoch": 1.3586666666666667,
+      "grad_norm": 0.2536880917720249,
+      "learning_rate": 9.421851671977374e-06,
+      "loss": 2.0308,
+      "step": 1020
+    },
+    {
+      "epoch": 1.3599999999999999,
+      "grad_norm": 0.2546073712056976,
+      "learning_rate": 9.39746586065222e-06,
+      "loss": 2.2593,
+      "step": 1021
+    },
+    {
+      "epoch": 1.3613333333333333,
+      "grad_norm": 0.376826911912088,
+      "learning_rate": 9.373112052237904e-06,
+      "loss": 2.0858,
+      "step": 1022
+    },
+    {
+      "epoch": 1.3626666666666667,
+      "grad_norm": 0.2595376039274529,
+      "learning_rate": 9.348790356468868e-06,
+      "loss": 2.2995,
+      "step": 1023
+    },
+    {
+      "epoch": 1.3639999999999999,
+      "grad_norm": 0.3147677577616275,
+      "learning_rate": 9.324500882934895e-06,
+      "loss": 2.1556,
+      "step": 1024
+    },
+    {
+      "epoch": 1.3653333333333333,
+      "grad_norm": 0.303360172980611,
+      "learning_rate": 9.300243741080554e-06,
+      "loss": 1.9504,
+      "step": 1025
+    },
+    {
+      "epoch": 1.3666666666666667,
+      "grad_norm": 0.2821972169086538,
+      "learning_rate": 9.276019040204743e-06,
+      "loss": 2.1092,
+      "step": 1026
+    },
+    {
+      "epoch": 1.3679999999999999,
+      "grad_norm": 0.2740770794379087,
+      "learning_rate": 9.251826889460199e-06,
+      "loss": 2.147,
+      "step": 1027
+    },
+    {
+      "epoch": 1.3693333333333333,
+      "grad_norm": 0.3078021841106774,
+      "learning_rate": 9.227667397852959e-06,
+      "loss": 2.0266,
+      "step": 1028
+    },
+    {
+      "epoch": 1.3706666666666667,
+      "grad_norm": 0.37222702209345876,
+      "learning_rate": 9.203540674241935e-06,
+      "loss": 1.9022,
+      "step": 1029
+    },
+    {
+      "epoch": 1.3719999999999999,
+      "grad_norm": 0.30785568428977045,
+      "learning_rate": 9.179446827338377e-06,
+      "loss": 1.7123,
+      "step": 1030
+    },
+    {
+      "epoch": 1.3733333333333333,
+      "grad_norm": 0.28177977841447255,
+      "learning_rate": 9.155385965705402e-06,
+      "loss": 2.015,
+      "step": 1031
+    },
+    {
+      "epoch": 1.3746666666666667,
+      "grad_norm": 0.3104616836307782,
+      "learning_rate": 9.131358197757492e-06,
+      "loss": 2.2844,
+      "step": 1032
+    },
+    {
+      "epoch": 1.376,
+      "grad_norm": 0.35543698525795886,
+      "learning_rate": 9.107363631760036e-06,
+      "loss": 1.8751,
+      "step": 1033
+    },
+    {
+      "epoch": 1.3773333333333333,
+      "grad_norm": 0.36928659794302815,
+      "learning_rate": 9.083402375828789e-06,
+      "loss": 1.6635,
+      "step": 1034
+    },
+    {
+      "epoch": 1.3786666666666667,
+      "grad_norm": 0.37741926337380055,
+      "learning_rate": 9.05947453792944e-06,
+      "loss": 1.7479,
+      "step": 1035
+    },
+    {
+      "epoch": 1.38,
+      "grad_norm": 0.2589917233047938,
+      "learning_rate": 9.035580225877096e-06,
+      "loss": 2.0759,
+      "step": 1036
+    },
+    {
+      "epoch": 1.3813333333333333,
+      "grad_norm": 0.2821854410032329,
+      "learning_rate": 9.011719547335791e-06,
+      "loss": 1.9565,
+      "step": 1037
+    },
+    {
+      "epoch": 1.3826666666666667,
+      "grad_norm": 0.3962122947364143,
+      "learning_rate": 8.987892609818034e-06,
+      "loss": 1.8953,
+      "step": 1038
+    },
+    {
+      "epoch": 1.384,
+      "grad_norm": 0.29350631665799953,
+      "learning_rate": 8.964099520684272e-06,
+      "loss": 2.184,
+      "step": 1039
+    },
+    {
+      "epoch": 1.3853333333333333,
+      "grad_norm": 0.23836863300335664,
+      "learning_rate": 8.940340387142464e-06,
+      "loss": 1.8668,
+      "step": 1040
+    },
+    {
+      "epoch": 1.3866666666666667,
+      "grad_norm": 0.2878738253620249,
+      "learning_rate": 8.916615316247558e-06,
+      "loss": 1.8121,
+      "step": 1041
+    },
+    {
+      "epoch": 1.388,
+      "grad_norm": 0.3429656691098154,
+      "learning_rate": 8.892924414901013e-06,
+      "loss": 1.9059,
+      "step": 1042
+    },
+    {
+      "epoch": 1.3893333333333333,
+      "grad_norm": 0.2981209762998983,
+      "learning_rate": 8.869267789850354e-06,
+      "loss": 1.9906,
+      "step": 1043
+    },
+    {
+      "epoch": 1.3906666666666667,
+      "grad_norm": 0.4289147133224821,
+      "learning_rate": 8.845645547688624e-06,
+      "loss": 1.7197,
+      "step": 1044
+    },
+    {
+      "epoch": 1.392,
+      "grad_norm": 0.2762960970206441,
+      "learning_rate": 8.822057794853967e-06,
+      "loss": 1.9793,
+      "step": 1045
+    },
+    {
+      "epoch": 1.3933333333333333,
+      "grad_norm": 0.30228922028611566,
+      "learning_rate": 8.798504637629125e-06,
+      "loss": 2.068,
+      "step": 1046
+    },
+    {
+      "epoch": 1.3946666666666667,
+      "grad_norm": 0.22982706385427917,
+      "learning_rate": 8.77498618214094e-06,
+      "loss": 2.2411,
+      "step": 1047
+    },
+    {
+      "epoch": 1.396,
+      "grad_norm": 0.34540963566066135,
+      "learning_rate": 8.751502534359904e-06,
+      "loss": 1.9486,
+      "step": 1048
+    },
+    {
+      "epoch": 1.3973333333333333,
+      "grad_norm": 0.2949342757497957,
+      "learning_rate": 8.728053800099687e-06,
+      "loss": 1.961,
+      "step": 1049
+    },
+    {
+      "epoch": 1.3986666666666667,
+      "grad_norm": 0.29167541494308985,
+      "learning_rate": 8.704640085016601e-06,
+      "loss": 2.0799,
+      "step": 1050
+    },
+    {
+      "epoch": 1.3986666666666667,
+      "eval_loss": 1.7225106954574585,
+      "eval_runtime": 98.5095,
+      "eval_samples_per_second": 1.015,
+      "eval_steps_per_second": 0.254,
+      "step": 1050
+    },
+    {
+      "epoch": 1.4,
+      "grad_norm": 0.2538920596106222,
+      "learning_rate": 8.681261494609212e-06,
+      "loss": 2.0864,
+      "step": 1051
+    },
+    {
+      "epoch": 1.4013333333333333,
+      "grad_norm": 0.3604417088892008,
+      "learning_rate": 8.6579181342178e-06,
+      "loss": 1.9843,
+      "step": 1052
+    },
+    {
+      "epoch": 1.4026666666666667,
+      "grad_norm": 0.36215496910875805,
+      "learning_rate": 8.634610109023892e-06,
+      "loss": 1.903,
+      "step": 1053
+    },
+    {
+      "epoch": 1.404,
+      "grad_norm": 0.2940826006596936,
+      "learning_rate": 8.611337524049838e-06,
+      "loss": 1.9685,
+      "step": 1054
+    },
+    {
+      "epoch": 1.4053333333333333,
+      "grad_norm": 0.28109721909340885,
+      "learning_rate": 8.588100484158244e-06,
+      "loss": 2.1936,
+      "step": 1055
+    },
+    {
+      "epoch": 1.4066666666666667,
+      "grad_norm": 0.2931046485608371,
+      "learning_rate": 8.564899094051615e-06,
+      "loss": 1.9512,
+      "step": 1056
+    },
+    {
+      "epoch": 1.408,
+      "grad_norm": 0.30319191370368687,
+      "learning_rate": 8.54173345827178e-06,
+      "loss": 2.0051,
+      "step": 1057
+    },
+    {
+      "epoch": 1.4093333333333333,
+      "grad_norm": 0.32318508775865556,
+      "learning_rate": 8.51860368119948e-06,
+      "loss": 2.014,
+      "step": 1058
+    },
+    {
+      "epoch": 1.4106666666666667,
+      "grad_norm": 0.2562896640551883,
+      "learning_rate": 8.495509867053894e-06,
+      "loss": 1.8368,
+      "step": 1059
+    },
+    {
+      "epoch": 1.412,
+      "grad_norm": 0.25207827965849544,
+      "learning_rate": 8.472452119892131e-06,
+      "loss": 2.1172,
+      "step": 1060
+    },
+    {
+      "epoch": 1.4133333333333333,
+      "grad_norm": 0.28992178254462136,
+      "learning_rate": 8.449430543608813e-06,
+      "loss": 1.9678,
+      "step": 1061
+    },
+    {
+      "epoch": 1.4146666666666667,
+      "grad_norm": 0.4380115889335412,
+      "learning_rate": 8.426445241935567e-06,
+      "loss": 1.7544,
+      "step": 1062
+    },
+    {
+      "epoch": 1.416,
+      "grad_norm": 0.41106900474426666,
+      "learning_rate": 8.403496318440579e-06,
+      "loss": 1.8735,
+      "step": 1063
+    },
+    {
+      "epoch": 1.4173333333333333,
+      "grad_norm": 0.4267500621888804,
+      "learning_rate": 8.38058387652811e-06,
+      "loss": 1.7465,
+      "step": 1064
+    },
+    {
+      "epoch": 1.4186666666666667,
+      "grad_norm": 0.38572675777345117,
+      "learning_rate": 8.357708019438066e-06,
+      "loss": 2.0006,
+      "step": 1065
+    },
+    {
+      "epoch": 1.42,
+      "grad_norm": 0.24569510153472549,
+      "learning_rate": 8.33486885024547e-06,
+      "loss": 1.9158,
+      "step": 1066
+    },
+    {
+      "epoch": 1.4213333333333333,
+      "grad_norm": 0.31163226543192446,
+      "learning_rate": 8.312066471860071e-06,
+      "loss": 2.0806,
+      "step": 1067
+    },
+    {
+      "epoch": 1.4226666666666667,
+      "grad_norm": 0.31222665393358956,
+      "learning_rate": 8.289300987025822e-06,
+      "loss": 1.6629,
+      "step": 1068
+    },
+    {
+      "epoch": 1.424,
+      "grad_norm": 0.29017746937010225,
+      "learning_rate": 8.266572498320442e-06,
+      "loss": 2.0028,
+      "step": 1069
+    },
+    {
+      "epoch": 1.4253333333333333,
+      "grad_norm": 0.31991884152941924,
+      "learning_rate": 8.243881108154971e-06,
+      "loss": 1.793,
+      "step": 1070
+    },
+    {
+      "epoch": 1.4266666666666667,
+      "grad_norm": 0.2914832805009305,
+      "learning_rate": 8.221226918773254e-06,
+      "loss": 2.371,
+      "step": 1071
+    },
+    {
+      "epoch": 1.428,
+      "grad_norm": 0.41845535588311844,
+      "learning_rate": 8.198610032251547e-06,
+      "loss": 1.6627,
+      "step": 1072
+    },
+    {
+      "epoch": 1.4293333333333333,
+      "grad_norm": 0.24466845772563686,
+      "learning_rate": 8.17603055049801e-06,
+      "loss": 2.1392,
+      "step": 1073
+    },
+    {
+      "epoch": 1.4306666666666668,
+      "grad_norm": 0.2351306348473946,
+      "learning_rate": 8.153488575252256e-06,
+      "loss": 2.0445,
+      "step": 1074
+    },
+    {
+      "epoch": 1.432,
+      "grad_norm": 0.30766467211770576,
+      "learning_rate": 8.130984208084926e-06,
+      "loss": 2.0487,
+      "step": 1075
+    },
+    {
+      "epoch": 1.4333333333333333,
+      "grad_norm": 0.2834529482744189,
+      "learning_rate": 8.108517550397178e-06,
+      "loss": 2.1675,
+      "step": 1076
+    },
+    {
+      "epoch": 1.4346666666666668,
+      "grad_norm": 0.33712245469368524,
+      "learning_rate": 8.086088703420265e-06,
+      "loss": 1.812,
+      "step": 1077
+    },
+    {
+      "epoch": 1.436,
+      "grad_norm": 0.3567695919385937,
+      "learning_rate": 8.063697768215075e-06,
+      "loss": 2.2049,
+      "step": 1078
+    },
+    {
+      "epoch": 1.4373333333333334,
+      "grad_norm": 0.35317331947277286,
+      "learning_rate": 8.041344845671671e-06,
+      "loss": 2.0734,
+      "step": 1079
+    },
+    {
+      "epoch": 1.4386666666666668,
+      "grad_norm": 0.2556791245018692,
+      "learning_rate": 8.019030036508829e-06,
+      "loss": 2.0325,
+      "step": 1080
+    },
+    {
+      "epoch": 1.44,
+      "grad_norm": 0.2652220272830154,
+      "learning_rate": 7.99675344127361e-06,
+      "loss": 2.0987,
+      "step": 1081
+    },
+    {
+      "epoch": 1.4413333333333334,
+      "grad_norm": 0.2897541478701596,
+      "learning_rate": 7.974515160340857e-06,
+      "loss": 2.0477,
+      "step": 1082
+    },
+    {
+      "epoch": 1.4426666666666668,
+      "grad_norm": 0.2713354231164444,
+      "learning_rate": 7.952315293912814e-06,
+      "loss": 1.8909,
+      "step": 1083
+    },
+    {
+      "epoch": 1.444,
+      "grad_norm": 0.27794343473271915,
+      "learning_rate": 7.930153942018608e-06,
+      "loss": 2.0123,
+      "step": 1084
+    },
+    {
+      "epoch": 1.4453333333333334,
+      "grad_norm": 0.25586976825414004,
+      "learning_rate": 7.908031204513828e-06,
+      "loss": 2.093,
+      "step": 1085
+    },
+    {
+      "epoch": 1.4466666666666668,
+      "grad_norm": 0.26054010693090757,
+      "learning_rate": 7.885947181080093e-06,
+      "loss": 2.0798,
+      "step": 1086
+    },
+    {
+      "epoch": 1.448,
+      "grad_norm": 0.27627178506584565,
+      "learning_rate": 7.863901971224549e-06,
+      "loss": 2.0497,
+      "step": 1087
+    },
+    {
+      "epoch": 1.4493333333333334,
+      "grad_norm": 0.4793416035194133,
+      "learning_rate": 7.841895674279487e-06,
+      "loss": 1.9451,
+      "step": 1088
+    },
+    {
+      "epoch": 1.4506666666666668,
+      "grad_norm": 0.32101733468417615,
+      "learning_rate": 7.819928389401843e-06,
+      "loss": 1.9822,
+      "step": 1089
+    },
+    {
+      "epoch": 1.452,
+      "grad_norm": 0.258481297693479,
+      "learning_rate": 7.79800021557277e-06,
+      "loss": 2.0653,
+      "step": 1090
+    },
+    {
+      "epoch": 1.4533333333333334,
+      "grad_norm": 0.2182303867271908,
+      "learning_rate": 7.776111251597212e-06,
+      "loss": 2.1925,
+      "step": 1091
+    },
+    {
+      "epoch": 1.4546666666666668,
+      "grad_norm": 0.29448801609812375,
+      "learning_rate": 7.754261596103416e-06,
+      "loss": 2.0005,
+      "step": 1092
+    },
+    {
+      "epoch": 1.456,
+      "grad_norm": 0.3055651720495297,
+      "learning_rate": 7.732451347542521e-06,
+      "loss": 1.9711,
+      "step": 1093
+    },
+    {
+      "epoch": 1.4573333333333334,
+      "grad_norm": 0.3161431648774649,
+      "learning_rate": 7.710680604188111e-06,
+      "loss": 2.0265,
+      "step": 1094
+    },
+    {
+      "epoch": 1.4586666666666668,
+      "grad_norm": 0.23619983336210987,
+      "learning_rate": 7.688949464135751e-06,
+      "loss": 2.0187,
+      "step": 1095
+    },
+    {
+      "epoch": 1.46,
+      "grad_norm": 0.33855954964966417,
+      "learning_rate": 7.667258025302569e-06,
+      "loss": 1.8056,
+      "step": 1096
+    },
+    {
+      "epoch": 1.4613333333333334,
+      "grad_norm": 0.31777962087256434,
+      "learning_rate": 7.645606385426815e-06,
+      "loss": 2.2153,
+      "step": 1097
+    },
+    {
+      "epoch": 1.4626666666666668,
+      "grad_norm": 0.31201584629582,
+      "learning_rate": 7.623994642067387e-06,
+      "loss": 1.9949,
+      "step": 1098
+    },
+    {
+      "epoch": 1.464,
+      "grad_norm": 0.3372471418090139,
+      "learning_rate": 7.602422892603438e-06,
+      "loss": 1.5181,
+      "step": 1099
+    },
+    {
+      "epoch": 1.4653333333333334,
+      "grad_norm": 0.31073176772622507,
+      "learning_rate": 7.580891234233905e-06,
+      "loss": 1.8531,
+      "step": 1100
+    },
+    {
+      "epoch": 1.4666666666666668,
+      "grad_norm": 0.3116957138217745,
+      "learning_rate": 7.559399763977072e-06,
+      "loss": 2.2906,
+      "step": 1101
+    },
+    {
+      "epoch": 1.468,
+      "grad_norm": 0.229465646917021,
+      "learning_rate": 7.537948578670168e-06,
+      "loss": 2.2351,
+      "step": 1102
+    },
+    {
+      "epoch": 1.4693333333333334,
+      "grad_norm": 0.2655142959635673,
+      "learning_rate": 7.516537774968873e-06,
+      "loss": 1.9468,
+      "step": 1103
+    },
+    {
+      "epoch": 1.4706666666666668,
+      "grad_norm": 0.24367202750127498,
+      "learning_rate": 7.495167449346936e-06,
+      "loss": 2.1133,
+      "step": 1104
+    },
+    {
+      "epoch": 1.472,
+      "grad_norm": 0.25378800244252764,
+      "learning_rate": 7.473837698095709e-06,
+      "loss": 2.2698,
+      "step": 1105
+    },
+    {
+      "epoch": 1.4733333333333334,
+      "grad_norm": 0.33368864079460925,
+      "learning_rate": 7.452548617323718e-06,
+      "loss": 1.956,
+      "step": 1106
+    },
+    {
+      "epoch": 1.4746666666666668,
+      "grad_norm": 0.2928694785790874,
+      "learning_rate": 7.43130030295625e-06,
+      "loss": 1.7543,
+      "step": 1107
+    },
+    {
+      "epoch": 1.476,
+      "grad_norm": 0.2647758594509944,
+      "learning_rate": 7.4100928507348906e-06,
+      "loss": 2.0156,
+      "step": 1108
+    },
+    {
+      "epoch": 1.4773333333333334,
+      "grad_norm": 0.26837596843485895,
+      "learning_rate": 7.388926356217109e-06,
+      "loss": 2.2296,
+      "step": 1109
+    },
+    {
+      "epoch": 1.4786666666666668,
+      "grad_norm": 0.3089495968101109,
+      "learning_rate": 7.367800914775829e-06,
+      "loss": 1.8543,
+      "step": 1110
+    },
+    {
+      "epoch": 1.48,
+      "grad_norm": 0.34419976261823754,
+      "learning_rate": 7.346716621598995e-06,
+      "loss": 1.7276,
+      "step": 1111
+    },
+    {
+      "epoch": 1.4813333333333334,
+      "grad_norm": 0.2719524903008768,
+      "learning_rate": 7.325673571689135e-06,
+      "loss": 1.8498,
+      "step": 1112
+    },
+    {
+      "epoch": 1.4826666666666668,
+      "grad_norm": 0.32712229005728805,
+      "learning_rate": 7.304671859862967e-06,
+      "loss": 2.1891,
+      "step": 1113
+    },
+    {
+      "epoch": 1.484,
+      "grad_norm": 0.229582678490368,
+      "learning_rate": 7.283711580750906e-06,
+      "loss": 2.0712,
+      "step": 1114
+    },
+    {
+      "epoch": 1.4853333333333334,
+      "grad_norm": 0.30979881943842,
+      "learning_rate": 7.262792828796713e-06,
+      "loss": 1.933,
+      "step": 1115
+    },
+    {
+      "epoch": 1.4866666666666668,
+      "grad_norm": 0.28334481455988325,
+      "learning_rate": 7.241915698257026e-06,
+      "loss": 2.0879,
+      "step": 1116
+    },
+    {
+      "epoch": 1.488,
+      "grad_norm": 0.3192973814148057,
+      "learning_rate": 7.221080283200925e-06,
+      "loss": 2.0687,
+      "step": 1117
+    },
+    {
+      "epoch": 1.4893333333333334,
+      "grad_norm": 0.2599356671150379,
+      "learning_rate": 7.20028667750955e-06,
+      "loss": 2.1094,
+      "step": 1118
+    },
+    {
+      "epoch": 1.4906666666666666,
+      "grad_norm": 0.39128462717815576,
+      "learning_rate": 7.179534974875638e-06,
+      "loss": 1.9396,
+      "step": 1119
+    },
+    {
+      "epoch": 1.492,
+      "grad_norm": 0.301840886430008,
+      "learning_rate": 7.158825268803128e-06,
+      "loss": 1.6469,
+      "step": 1120
+    },
+    {
+      "epoch": 1.4933333333333334,
+      "grad_norm": 0.275916013821844,
+      "learning_rate": 7.138157652606723e-06,
+      "loss": 2.0605,
+      "step": 1121
+    },
+    {
+      "epoch": 1.4946666666666666,
+      "grad_norm": 0.36483675044330716,
+      "learning_rate": 7.1175322194114735e-06,
+      "loss": 2.1861,
+      "step": 1122
+    },
+    {
+      "epoch": 1.496,
+      "grad_norm": 0.3981617360945615,
+      "learning_rate": 7.096949062152373e-06,
+      "loss": 1.8739,
+      "step": 1123
+    },
+    {
+      "epoch": 1.4973333333333334,
+      "grad_norm": 0.3240169083675091,
+      "learning_rate": 7.076408273573911e-06,
+      "loss": 2.2206,
+      "step": 1124
+    },
+    {
+      "epoch": 1.4986666666666666,
+      "grad_norm": 0.33156483025148875,
+      "learning_rate": 7.055909946229678e-06,
+      "loss": 1.8398,
+      "step": 1125
+    },
+    {
+      "epoch": 1.4986666666666666,
+      "eval_loss": 1.7219904661178589,
+      "eval_runtime": 98.717,
+      "eval_samples_per_second": 1.013,
+      "eval_steps_per_second": 0.253,
+      "step": 1125
+    },
+    {
+      "epoch": 1.5,
+      "grad_norm": 0.42576000049828056,
+      "learning_rate": 7.035454172481939e-06,
+      "loss": 1.7322,
+      "step": 1126
+    },
+    {
+      "epoch": 1.5013333333333332,
+      "grad_norm": 0.28573267335024055,
+      "learning_rate": 7.015041044501218e-06,
+      "loss": 1.7831,
+      "step": 1127
+    },
+    {
+      "epoch": 1.5026666666666668,
+      "grad_norm": 0.3414718515543826,
+      "learning_rate": 6.994670654265884e-06,
+      "loss": 1.9599,
+      "step": 1128
+    },
+    {
+      "epoch": 1.504,
+      "grad_norm": 0.335011811713793,
+      "learning_rate": 6.974343093561748e-06,
+      "loss": 2.1322,
+      "step": 1129
+    },
+    {
+      "epoch": 1.5053333333333332,
+      "grad_norm": 0.2785072820609695,
+      "learning_rate": 6.9540584539816095e-06,
+      "loss": 2.1408,
+      "step": 1130
+    },
+    {
+      "epoch": 1.5066666666666668,
+      "grad_norm": 0.4753219298738204,
+      "learning_rate": 6.933816826924901e-06,
+      "loss": 1.6006,
+      "step": 1131
+    },
+    {
+      "epoch": 1.508,
+      "grad_norm": 0.30697348435983324,
+      "learning_rate": 6.913618303597243e-06,
+      "loss": 2.0235,
+      "step": 1132
+    },
+    {
+      "epoch": 1.5093333333333332,
+      "grad_norm": 0.4153613742550903,
+      "learning_rate": 6.893462975010016e-06,
+      "loss": 1.9752,
+      "step": 1133
+    },
+    {
+      "epoch": 1.5106666666666668,
+      "grad_norm": 0.312643795287048,
+      "learning_rate": 6.873350931979997e-06,
+      "loss": 2.0373,
+      "step": 1134
+    },
+    {
+      "epoch": 1.512,
+      "grad_norm": 0.3423064880788558,
+      "learning_rate": 6.85328226512891e-06,
+      "loss": 2.0516,
+      "step": 1135
+    },
+    {
+      "epoch": 1.5133333333333332,
+      "grad_norm": 0.28129472173142733,
+      "learning_rate": 6.833257064883037e-06,
+      "loss": 2.0058,
+      "step": 1136
+    },
+    {
+      "epoch": 1.5146666666666668,
+      "grad_norm": 0.39771844556945607,
+      "learning_rate": 6.813275421472808e-06,
+      "loss": 1.9086,
+      "step": 1137
+    },
+    {
+      "epoch": 1.516,
+      "grad_norm": 0.2633599502144057,
+      "learning_rate": 6.79333742493239e-06,
+      "loss": 2.3038,
+      "step": 1138
+    },
+    {
+      "epoch": 1.5173333333333332,
+      "grad_norm": 0.28423486001857656,
+      "learning_rate": 6.773443165099282e-06,
+      "loss": 1.8284,
+      "step": 1139
+    },
+    {
+      "epoch": 1.5186666666666668,
+      "grad_norm": 0.28165307326490363,
+      "learning_rate": 6.753592731613921e-06,
+      "loss": 2.2602,
+      "step": 1140
+    },
+    {
+      "epoch": 1.52,
+      "grad_norm": 0.38766529400130406,
+      "learning_rate": 6.733786213919262e-06,
+      "loss": 1.9962,
+      "step": 1141
+    },
+    {
+      "epoch": 1.5213333333333332,
+      "grad_norm": 0.3851814515054565,
+      "learning_rate": 6.714023701260381e-06,
+      "loss": 2.0998,
+      "step": 1142
+    },
+    {
+      "epoch": 1.5226666666666666,
+      "grad_norm": 0.3110523603428367,
+      "learning_rate": 6.694305282684082e-06,
+      "loss": 2.1082,
+      "step": 1143
+    },
+    {
+      "epoch": 1.524,
+      "grad_norm": 0.32166222051581345,
+      "learning_rate": 6.674631047038474e-06,
+      "loss": 2.1549,
+      "step": 1144
+    },
+    {
+      "epoch": 1.5253333333333332,
+      "grad_norm": 0.3714093568925576,
+      "learning_rate": 6.655001082972608e-06,
+      "loss": 1.9224,
+      "step": 1145
+    },
+    {
+      "epoch": 1.5266666666666666,
+      "grad_norm": 0.26990239878423405,
+      "learning_rate": 6.6354154789360236e-06,
+      "loss": 2.0681,
+      "step": 1146
+    },
+    {
+      "epoch": 1.528,
+      "grad_norm": 0.29614395951387307,
+      "learning_rate": 6.615874323178404e-06,
+      "loss": 1.7743,
+      "step": 1147
+    },
+    {
+      "epoch": 1.5293333333333332,
+      "grad_norm": 0.4238155841943462,
+      "learning_rate": 6.596377703749159e-06,
+      "loss": 1.8813,
+      "step": 1148
+    },
+    {
+      "epoch": 1.5306666666666666,
+      "grad_norm": 0.4135280318554394,
+      "learning_rate": 6.576925708496998e-06,
+      "loss": 2.0044,
+      "step": 1149
+    },
+    {
+      "epoch": 1.532,
+      "grad_norm": 0.329401143669864,
+      "learning_rate": 6.557518425069587e-06,
+      "loss": 1.8501,
+      "step": 1150
+    },
+    {
+      "epoch": 1.5333333333333332,
+      "grad_norm": 0.3870439504201428,
+      "learning_rate": 6.5381559409131136e-06,
+      "loss": 1.7858,
+      "step": 1151
+    },
+    {
+      "epoch": 1.5346666666666666,
+      "grad_norm": 0.26424971214395176,
+      "learning_rate": 6.518838343271911e-06,
+      "loss": 2.1036,
+      "step": 1152
+    },
+    {
+      "epoch": 1.536,
+      "grad_norm": 0.23377734192735758,
+      "learning_rate": 6.499565719188063e-06,
+      "loss": 2.1089,
+      "step": 1153
+    },
+    {
+      "epoch": 1.5373333333333332,
+      "grad_norm": 0.3999481720819934,
+      "learning_rate": 6.480338155501005e-06,
+      "loss": 1.9927,
+      "step": 1154
+    },
+    {
+      "epoch": 1.5386666666666666,
+      "grad_norm": 0.19974083688019748,
+      "learning_rate": 6.4611557388471365e-06,
+      "loss": 2.0864,
+      "step": 1155
+    },
+    {
+      "epoch": 1.54,
+      "grad_norm": 0.25259444101779316,
+      "learning_rate": 6.442018555659441e-06,
+      "loss": 2.084,
+      "step": 1156
+    },
+    {
+      "epoch": 1.5413333333333332,
+      "grad_norm": 0.21928724016616088,
+      "learning_rate": 6.422926692167079e-06,
+      "loss": 2.1818,
+      "step": 1157
+    },
+    {
+      "epoch": 1.5426666666666666,
+      "grad_norm": 0.35131986951745753,
+      "learning_rate": 6.403880234395003e-06,
+      "loss": 1.9622,
+      "step": 1158
+    },
+    {
+      "epoch": 1.544,
+      "grad_norm": 0.27462669810402573,
+      "learning_rate": 6.384879268163591e-06,
+      "loss": 2.0306,
+      "step": 1159
+    },
+    {
+      "epoch": 1.5453333333333332,
+      "grad_norm": 0.2726982319860483,
+      "learning_rate": 6.36592387908822e-06,
+      "loss": 2.1739,
+      "step": 1160
+    },
+    {
+      "epoch": 1.5466666666666666,
+      "grad_norm": 0.24442353038894568,
+      "learning_rate": 6.3470141525789284e-06,
+      "loss": 2.0352,
+      "step": 1161
+    },
+    {
+      "epoch": 1.548,
+      "grad_norm": 0.3289484254294314,
+      "learning_rate": 6.328150173839986e-06,
+      "loss": 2.2725,
+      "step": 1162
+    },
+    {
+      "epoch": 1.5493333333333332,
+      "grad_norm": 0.5359081353824136,
+      "learning_rate": 6.309332027869538e-06,
+      "loss": 1.8154,
+      "step": 1163
+    },
+    {
+      "epoch": 1.5506666666666666,
+      "grad_norm": 0.32499853077539437,
+      "learning_rate": 6.290559799459224e-06,
+      "loss": 1.8606,
+      "step": 1164
+    },
+    {
+      "epoch": 1.552,
+      "grad_norm": 0.25795131871915045,
+      "learning_rate": 6.2718335731937625e-06,
+      "loss": 2.0695,
+      "step": 1165
+    },
+    {
+      "epoch": 1.5533333333333332,
+      "grad_norm": 0.20902979268728233,
+      "learning_rate": 6.253153433450618e-06,
+      "loss": 2.0694,
+      "step": 1166
+    },
+    {
+      "epoch": 1.5546666666666666,
+      "grad_norm": 0.3011043461510702,
+      "learning_rate": 6.234519464399583e-06,
+      "loss": 1.7635,
+      "step": 1167
+    },
+    {
+      "epoch": 1.556,
+      "grad_norm": 0.4006419574336653,
+      "learning_rate": 6.215931750002415e-06,
+      "loss": 2.1088,
+      "step": 1168
+    },
+    {
+      "epoch": 1.5573333333333332,
+      "grad_norm": 0.37180447482244916,
+      "learning_rate": 6.1973903740124575e-06,
+      "loss": 1.6674,
+      "step": 1169
+    },
+    {
+      "epoch": 1.5586666666666666,
+      "grad_norm": 0.3360728727629618,
+      "learning_rate": 6.178895419974254e-06,
+      "loss": 2.0423,
+      "step": 1170
+    },
+    {
+      "epoch": 1.56,
+      "grad_norm": 0.361105949068196,
+      "learning_rate": 6.160446971223181e-06,
+      "loss": 1.6858,
+      "step": 1171
+    },
+    {
+      "epoch": 1.5613333333333332,
+      "grad_norm": 0.3236655148510224,
+      "learning_rate": 6.1420451108850785e-06,
+      "loss": 1.748,
+      "step": 1172
+    },
+    {
+      "epoch": 1.5626666666666666,
+      "grad_norm": 0.35681201087694425,
+      "learning_rate": 6.123689921875853e-06,
+      "loss": 2.0809,
+      "step": 1173
+    },
+    {
+      "epoch": 1.564,
+      "grad_norm": 0.40575518215116035,
+      "learning_rate": 6.105381486901121e-06,
+      "loss": 2.0127,
+      "step": 1174
+    },
+    {
+      "epoch": 1.5653333333333332,
+      "grad_norm": 0.25593553791006374,
+      "learning_rate": 6.087119888455844e-06,
+      "loss": 2.1518,
+      "step": 1175
+    },
+    {
+      "epoch": 1.5666666666666667,
+      "grad_norm": 0.2296368548186152,
+      "learning_rate": 6.068905208823921e-06,
+      "loss": 2.1317,
+      "step": 1176
+    },
+    {
+      "epoch": 1.568,
+      "grad_norm": 0.3434777137958484,
+      "learning_rate": 6.05073753007787e-06,
+      "loss": 1.8188,
+      "step": 1177
+    },
+    {
+      "epoch": 1.5693333333333332,
+      "grad_norm": 0.33383991589680984,
+      "learning_rate": 6.0326169340784084e-06,
+      "loss": 1.839,
+      "step": 1178
+    },
+    {
+      "epoch": 1.5706666666666667,
+      "grad_norm": 0.43160059559462266,
+      "learning_rate": 6.0145435024741184e-06,
+      "loss": 2.0541,
+      "step": 1179
+    },
+    {
+      "epoch": 1.572,
+      "grad_norm": 0.36449349851382756,
+      "learning_rate": 5.9965173167010695e-06,
+      "loss": 1.9471,
+      "step": 1180
+    },
+    {
+      "epoch": 1.5733333333333333,
+      "grad_norm": 0.4291227428881365,
+      "learning_rate": 5.97853845798243e-06,
+      "loss": 1.9743,
+      "step": 1181
+    },
+    {
+      "epoch": 1.5746666666666667,
+      "grad_norm": 0.2878891423806459,
+      "learning_rate": 5.960607007328141e-06,
+      "loss": 2.2311,
+      "step": 1182
+    },
+    {
+      "epoch": 1.576,
+      "grad_norm": 0.3357531190759765,
+      "learning_rate": 5.942723045534522e-06,
+      "loss": 2.1003,
+      "step": 1183
+    },
+    {
+      "epoch": 1.5773333333333333,
+      "grad_norm": 0.3882442251084339,
+      "learning_rate": 5.9248866531839124e-06,
+      "loss": 2.1157,
+      "step": 1184
+    },
+    {
+      "epoch": 1.5786666666666667,
+      "grad_norm": 0.3937036421287482,
+      "learning_rate": 5.9070979106443125e-06,
+      "loss": 1.6975,
+      "step": 1185
+    },
+    {
+      "epoch": 1.58,
+      "grad_norm": 0.2016309514095066,
+      "learning_rate": 5.889356898069026e-06,
+      "loss": 1.9626,
+      "step": 1186
+    },
+    {
+      "epoch": 1.5813333333333333,
+      "grad_norm": 0.3904501377231184,
+      "learning_rate": 5.8716636953962794e-06,
+      "loss": 1.7024,
+      "step": 1187
+    },
+    {
+      "epoch": 1.5826666666666667,
+      "grad_norm": 0.27974021539041827,
+      "learning_rate": 5.854018382348892e-06,
+      "loss": 1.921,
+      "step": 1188
+    },
+    {
+      "epoch": 1.584,
+      "grad_norm": 0.32973906639357303,
+      "learning_rate": 5.836421038433889e-06,
+      "loss": 2.117,
+      "step": 1189
+    },
+    {
+      "epoch": 1.5853333333333333,
+      "grad_norm": 0.43055648917752676,
+      "learning_rate": 5.818871742942154e-06,
+      "loss": 1.5806,
+      "step": 1190
+    },
+    {
+      "epoch": 1.5866666666666667,
+      "grad_norm": 0.25886519809876707,
+      "learning_rate": 5.801370574948085e-06,
+      "loss": 2.2939,
+      "step": 1191
+    },
+    {
+      "epoch": 1.588,
+      "grad_norm": 0.28145540333720603,
+      "learning_rate": 5.7839176133092e-06,
+      "loss": 2.0813,
+      "step": 1192
+    },
+    {
+      "epoch": 1.5893333333333333,
+      "grad_norm": 0.28632563783557285,
+      "learning_rate": 5.7665129366658315e-06,
+      "loss": 1.9408,
+      "step": 1193
+    },
+    {
+      "epoch": 1.5906666666666667,
+      "grad_norm": 0.27437120614240146,
+      "learning_rate": 5.749156623440735e-06,
+      "loss": 2.2994,
+      "step": 1194
+    },
+    {
+      "epoch": 1.592,
+      "grad_norm": 0.30885075363787373,
+      "learning_rate": 5.7318487518387475e-06,
+      "loss": 1.8496,
+      "step": 1195
+    },
+    {
+      "epoch": 1.5933333333333333,
+      "grad_norm": 0.2825117249833234,
+      "learning_rate": 5.714589399846446e-06,
+      "loss": 2.0572,
+      "step": 1196
+    },
+    {
+      "epoch": 1.5946666666666667,
+      "grad_norm": 0.2309680936949854,
+      "learning_rate": 5.697378645231766e-06,
+      "loss": 2.3744,
+      "step": 1197
+    },
+    {
+      "epoch": 1.596,
+      "grad_norm": 0.28468589341704376,
+      "learning_rate": 5.680216565543692e-06,
+      "loss": 1.9452,
+      "step": 1198
+    },
+    {
+      "epoch": 1.5973333333333333,
+      "grad_norm": 0.25386348937660136,
+      "learning_rate": 5.663103238111879e-06,
+      "loss": 2.0029,
+      "step": 1199
+    },
+    {
+      "epoch": 1.5986666666666667,
+      "grad_norm": 0.3144161343393115,
+      "learning_rate": 5.646038740046305e-06,
+      "loss": 1.9806,
+      "step": 1200
+    },
+    {
+      "epoch": 1.5986666666666667,
+      "eval_loss": 1.7210901975631714,
+      "eval_runtime": 98.5249,
+      "eval_samples_per_second": 1.015,
+      "eval_steps_per_second": 0.254,
+      "step": 1200
+    },
+    {
+      "epoch": 1.6,
+      "grad_norm": 0.4371715887586266,
+      "learning_rate": 5.629023148236933e-06,
+      "loss": 2.1646,
+      "step": 1201
+    },
+    {
+      "epoch": 1.6013333333333333,
+      "grad_norm": 0.23892452169726422,
+      "learning_rate": 5.612056539353382e-06,
+      "loss": 2.1563,
+      "step": 1202
+    },
+    {
+      "epoch": 1.6026666666666667,
+      "grad_norm": 0.2582924621551667,
+      "learning_rate": 5.595138989844525e-06,
+      "loss": 2.0244,
+      "step": 1203
+    },
+    {
+      "epoch": 1.604,
+      "grad_norm": 0.26469263707775315,
+      "learning_rate": 5.578270575938212e-06,
+      "loss": 1.9863,
+      "step": 1204
+    },
+    {
+      "epoch": 1.6053333333333333,
+      "grad_norm": 0.22589909633475763,
+      "learning_rate": 5.561451373640881e-06,
+      "loss": 2.3636,
+      "step": 1205
+    },
+    {
+      "epoch": 1.6066666666666667,
+      "grad_norm": 0.2332320387650647,
+      "learning_rate": 5.544681458737232e-06,
+      "loss": 2.364,
+      "step": 1206
+    },
+    {
+      "epoch": 1.608,
+      "grad_norm": 0.38644529049130166,
+      "learning_rate": 5.527960906789897e-06,
+      "loss": 2.1124,
+      "step": 1207
+    },
+    {
+      "epoch": 1.6093333333333333,
+      "grad_norm": 0.29231869716506653,
+      "learning_rate": 5.511289793139056e-06,
+      "loss": 2.3048,
+      "step": 1208
+    },
+    {
+      "epoch": 1.6106666666666667,
+      "grad_norm": 0.29748235562371445,
+      "learning_rate": 5.49466819290216e-06,
+      "loss": 1.9208,
+      "step": 1209
+    },
+    {
+      "epoch": 1.612,
+      "grad_norm": 0.2563428678677028,
+      "learning_rate": 5.478096180973545e-06,
+      "loss": 2.0908,
+      "step": 1210
+    },
+    {
+      "epoch": 1.6133333333333333,
+      "grad_norm": 0.25695434484834034,
+      "learning_rate": 5.461573832024104e-06,
+      "loss": 1.7372,
+      "step": 1211
+    },
+    {
+      "epoch": 1.6146666666666667,
+      "grad_norm": 0.32066980860307925,
+      "learning_rate": 5.445101220500978e-06,
+      "loss": 1.5646,
+      "step": 1212
+    },
+    {
+      "epoch": 1.616,
+      "grad_norm": 0.20638361921035556,
+      "learning_rate": 5.428678420627167e-06,
+      "loss": 2.0322,
+      "step": 1213
+    },
+    {
+      "epoch": 1.6173333333333333,
+      "grad_norm": 0.31406917055811856,
+      "learning_rate": 5.412305506401259e-06,
+      "loss": 2.1081,
+      "step": 1214
+    },
+    {
+      "epoch": 1.6186666666666667,
+      "grad_norm": 0.27554852119459367,
+      "learning_rate": 5.395982551597046e-06,
+      "loss": 2.262,
+      "step": 1215
+    },
+    {
+      "epoch": 1.62,
+      "grad_norm": 0.2948250672679284,
+      "learning_rate": 5.379709629763217e-06,
+      "loss": 2.0061,
+      "step": 1216
+    },
+    {
+      "epoch": 1.6213333333333333,
+      "grad_norm": 0.3358681012265732,
+      "learning_rate": 5.363486814223014e-06,
+      "loss": 2.2007,
+      "step": 1217
+    },
+    {
+      "epoch": 1.6226666666666667,
+      "grad_norm": 0.23984888445535993,
+      "learning_rate": 5.3473141780739265e-06,
+      "loss": 2.3357,
+      "step": 1218
+    },
+    {
+      "epoch": 1.624,
+      "grad_norm": 0.34828544271318734,
+      "learning_rate": 5.331191794187313e-06,
+      "loss": 1.9376,
+      "step": 1219
+    },
+    {
+      "epoch": 1.6253333333333333,
+      "grad_norm": 0.273699229922252,
+      "learning_rate": 5.315119735208132e-06,
+      "loss": 2.2085,
+      "step": 1220
+    },
+    {
+      "epoch": 1.6266666666666667,
+      "grad_norm": 0.47864246879937133,
+      "learning_rate": 5.299098073554572e-06,
+      "loss": 1.785,
+      "step": 1221
+    },
+    {
+      "epoch": 1.6280000000000001,
+      "grad_norm": 0.2621316557398187,
+      "learning_rate": 5.283126881417735e-06,
+      "loss": 2.0424,
+      "step": 1222
+    },
+    {
+      "epoch": 1.6293333333333333,
+      "grad_norm": 0.2116960698052002,
+      "learning_rate": 5.267206230761333e-06,
+      "loss": 2.1278,
+      "step": 1223
+    },
+    {
+      "epoch": 1.6306666666666667,
+      "grad_norm": 0.4403234033158271,
+      "learning_rate": 5.251336193321318e-06,
+      "loss": 1.8652,
+      "step": 1224
+    },
+    {
+      "epoch": 1.6320000000000001,
+      "grad_norm": 0.27525919191369097,
+      "learning_rate": 5.235516840605618e-06,
+      "loss": 2.0803,
+      "step": 1225
+    },
+    {
+      "epoch": 1.6333333333333333,
+      "grad_norm": 0.2511893464132002,
+      "learning_rate": 5.219748243893761e-06,
+      "loss": 2.2731,
+      "step": 1226
+    },
+    {
+      "epoch": 1.6346666666666667,
+      "grad_norm": 0.4045745969111495,
+      "learning_rate": 5.204030474236582e-06,
+      "loss": 1.5324,
+      "step": 1227
+    },
+    {
+      "epoch": 1.6360000000000001,
+      "grad_norm": 0.3835811842954616,
+      "learning_rate": 5.1883636024559105e-06,
+      "loss": 2.1456,
+      "step": 1228
+    },
+    {
+      "epoch": 1.6373333333333333,
+      "grad_norm": 0.25662424584150384,
+      "learning_rate": 5.172747699144211e-06,
+      "loss": 1.7314,
+      "step": 1229
+    },
+    {
+      "epoch": 1.6386666666666667,
+      "grad_norm": 0.2180376087005349,
+      "learning_rate": 5.1571828346643175e-06,
+      "loss": 2.098,
+      "step": 1230
+    },
+    {
+      "epoch": 1.6400000000000001,
+      "grad_norm": 0.2887389143996647,
+      "learning_rate": 5.141669079149079e-06,
+      "loss": 2.1097,
+      "step": 1231
+    },
+    {
+      "epoch": 1.6413333333333333,
+      "grad_norm": 0.30172765135849566,
+      "learning_rate": 5.126206502501059e-06,
+      "loss": 2.1942,
+      "step": 1232
+    },
+    {
+      "epoch": 1.6426666666666667,
+      "grad_norm": 0.24849709673316336,
+      "learning_rate": 5.11079517439221e-06,
+      "loss": 2.0212,
+      "step": 1233
+    },
+    {
+      "epoch": 1.6440000000000001,
+      "grad_norm": 0.28982061257617114,
+      "learning_rate": 5.0954351642635836e-06,
+      "loss": 1.7901,
+      "step": 1234
+    },
+    {
+      "epoch": 1.6453333333333333,
+      "grad_norm": 0.29764116754937536,
+      "learning_rate": 5.080126541324977e-06,
+      "loss": 2.2157,
+      "step": 1235
+    },
+    {
+      "epoch": 1.6466666666666665,
+      "grad_norm": 0.27435051990874026,
+      "learning_rate": 5.064869374554665e-06,
+      "loss": 2.1656,
+      "step": 1236
+    },
+    {
+      "epoch": 1.6480000000000001,
+      "grad_norm": 0.35971271131419513,
+      "learning_rate": 5.049663732699057e-06,
+      "loss": 1.9244,
+      "step": 1237
+    },
+    {
+      "epoch": 1.6493333333333333,
+      "grad_norm": 0.23762726829003036,
+      "learning_rate": 5.034509684272402e-06,
+      "loss": 1.9519,
+      "step": 1238
+    },
+    {
+      "epoch": 1.6506666666666665,
+      "grad_norm": 0.30754457467680885,
+      "learning_rate": 5.019407297556488e-06,
+      "loss": 2.0071,
+      "step": 1239
+    },
+    {
+      "epoch": 1.6520000000000001,
+      "grad_norm": 0.33515081194299184,
+      "learning_rate": 5.004356640600298e-06,
+      "loss": 2.0094,
+      "step": 1240
+    },
+    {
+      "epoch": 1.6533333333333333,
+      "grad_norm": 0.28690625877431014,
+      "learning_rate": 4.989357781219756e-06,
+      "loss": 2.178,
+      "step": 1241
+    },
+    {
+      "epoch": 1.6546666666666665,
+      "grad_norm": 0.2360827998295873,
+      "learning_rate": 4.97441078699738e-06,
+      "loss": 2.0358,
+      "step": 1242
+    },
+    {
+      "epoch": 1.6560000000000001,
+      "grad_norm": 0.3022758693721732,
+      "learning_rate": 4.959515725281988e-06,
+      "loss": 1.9067,
+      "step": 1243
+    },
+    {
+      "epoch": 1.6573333333333333,
+      "grad_norm": 0.40951236383011924,
+      "learning_rate": 4.944672663188418e-06,
+      "loss": 2.205,
+      "step": 1244
+    },
+    {
+      "epoch": 1.6586666666666665,
+      "grad_norm": 0.2545495209566575,
+      "learning_rate": 4.929881667597176e-06,
+      "loss": 2.1557,
+      "step": 1245
+    },
+    {
+      "epoch": 1.6600000000000001,
+      "grad_norm": 0.6426035244687833,
+      "learning_rate": 4.915142805154192e-06,
+      "loss": 1.6094,
+      "step": 1246
+    },
+    {
+      "epoch": 1.6613333333333333,
+      "grad_norm": 0.4118851012736545,
+      "learning_rate": 4.9004561422704765e-06,
+      "loss": 1.8651,
+      "step": 1247
+    },
+    {
+      "epoch": 1.6626666666666665,
+      "grad_norm": 0.4026610151432334,
+      "learning_rate": 4.885821745121844e-06,
+      "loss": 1.6813,
+      "step": 1248
+    },
+    {
+      "epoch": 1.6640000000000001,
+      "grad_norm": 0.45446210752485866,
+      "learning_rate": 4.8712396796486e-06,
+      "loss": 1.6792,
+      "step": 1249
+    },
+    {
+      "epoch": 1.6653333333333333,
+      "grad_norm": 0.26066837433271034,
+      "learning_rate": 4.856710011555266e-06,
+      "loss": 1.9612,
+      "step": 1250
+    },
+    {
+      "epoch": 1.6666666666666665,
+      "grad_norm": 0.33509223924531384,
+      "learning_rate": 4.842232806310248e-06,
+      "loss": 2.03,
+      "step": 1251
+    },
+    {
+      "epoch": 1.6680000000000001,
+      "grad_norm": 0.31556596254717273,
+      "learning_rate": 4.827808129145582e-06,
+      "loss": 1.7201,
+      "step": 1252
+    },
+    {
+      "epoch": 1.6693333333333333,
+      "grad_norm": 0.2976310444644808,
+      "learning_rate": 4.813436045056614e-06,
+      "loss": 1.946,
+      "step": 1253
+    },
+    {
+      "epoch": 1.6706666666666665,
+      "grad_norm": 0.24931529602945096,
+      "learning_rate": 4.799116618801703e-06,
+      "loss": 2.1816,
+      "step": 1254
+    },
+    {
+      "epoch": 1.6720000000000002,
+      "grad_norm": 0.21194020725088808,
+      "learning_rate": 4.784849914901966e-06,
+      "loss": 2.2876,
+      "step": 1255
+    },
+    {
+      "epoch": 1.6733333333333333,
+      "grad_norm": 0.32906622219410003,
+      "learning_rate": 4.770635997640929e-06,
+      "loss": 1.7927,
+      "step": 1256
+    },
+    {
+      "epoch": 1.6746666666666665,
+      "grad_norm": 0.2716052839263571,
+      "learning_rate": 4.756474931064295e-06,
+      "loss": 2.2348,
+      "step": 1257
+    },
+    {
+      "epoch": 1.6760000000000002,
+      "grad_norm": 0.2568173362419867,
+      "learning_rate": 4.742366778979622e-06,
+      "loss": 1.9504,
+      "step": 1258
+    },
+    {
+      "epoch": 1.6773333333333333,
+      "grad_norm": 0.30640423212734624,
+      "learning_rate": 4.728311604956033e-06,
+      "loss": 1.8344,
+      "step": 1259
+    },
+    {
+      "epoch": 1.6786666666666665,
+      "grad_norm": 0.2529034154376273,
+      "learning_rate": 4.71430947232396e-06,
+      "loss": 1.9249,
+      "step": 1260
+    },
+    {
+      "epoch": 1.6800000000000002,
+      "grad_norm": 0.362249502112461,
+      "learning_rate": 4.7003604441748225e-06,
+      "loss": 1.6771,
+      "step": 1261
+    },
+    {
+      "epoch": 1.6813333333333333,
+      "grad_norm": 0.3896769868581684,
+      "learning_rate": 4.686464583360769e-06,
+      "loss": 1.7712,
+      "step": 1262
+    },
+    {
+      "epoch": 1.6826666666666665,
+      "grad_norm": 0.329971510777823,
+      "learning_rate": 4.672621952494377e-06,
+      "loss": 2.1231,
+      "step": 1263
+    },
+    {
+      "epoch": 1.6840000000000002,
+      "grad_norm": 0.25948170614981964,
+      "learning_rate": 4.658832613948383e-06,
+      "loss": 2.1486,
+      "step": 1264
+    },
+    {
+      "epoch": 1.6853333333333333,
+      "grad_norm": 0.34392003626651035,
+      "learning_rate": 4.6450966298553925e-06,
+      "loss": 1.8969,
+      "step": 1265
+    },
+    {
+      "epoch": 1.6866666666666665,
+      "grad_norm": 0.43428204260841224,
+      "learning_rate": 4.631414062107615e-06,
+      "loss": 1.8535,
+      "step": 1266
+    },
+    {
+      "epoch": 1.688,
+      "grad_norm": 0.35256563724832507,
+      "learning_rate": 4.617784972356557e-06,
+      "loss": 2.0018,
+      "step": 1267
+    },
+    {
+      "epoch": 1.6893333333333334,
+      "grad_norm": 0.2379648814842149,
+      "learning_rate": 4.604209422012777e-06,
+      "loss": 2.5834,
+      "step": 1268
+    },
+    {
+      "epoch": 1.6906666666666665,
+      "grad_norm": 0.35919378166765675,
+      "learning_rate": 4.590687472245585e-06,
+      "loss": 2.0653,
+      "step": 1269
+    },
+    {
+      "epoch": 1.692,
+      "grad_norm": 0.25692360711430434,
+      "learning_rate": 4.577219183982774e-06,
+      "loss": 2.5026,
+      "step": 1270
+    },
+    {
+      "epoch": 1.6933333333333334,
+      "grad_norm": 0.25781470375173604,
+      "learning_rate": 4.563804617910359e-06,
+      "loss": 2.2306,
+      "step": 1271
+    },
+    {
+      "epoch": 1.6946666666666665,
+      "grad_norm": 0.36663924032841505,
+      "learning_rate": 4.550443834472271e-06,
+      "loss": 1.9698,
+      "step": 1272
+    },
+    {
+      "epoch": 1.696,
+      "grad_norm": 0.3157707752046982,
+      "learning_rate": 4.537136893870122e-06,
+      "loss": 2.1198,
+      "step": 1273
+    },
+    {
+      "epoch": 1.6973333333333334,
+      "grad_norm": 0.352564419074741,
+      "learning_rate": 4.523883856062911e-06,
+      "loss": 1.4967,
+      "step": 1274
+    },
+    {
+      "epoch": 1.6986666666666665,
+      "grad_norm": 0.3555696311671396,
+      "learning_rate": 4.510684780766752e-06,
+      "loss": 1.7334,
+      "step": 1275
+    },
+    {
+      "epoch": 1.6986666666666665,
+      "eval_loss": 1.720908522605896,
+      "eval_runtime": 98.4932,
+      "eval_samples_per_second": 1.015,
+      "eval_steps_per_second": 0.254,
+      "step": 1275
+    },
+    {
+      "epoch": 1.7,
+      "grad_norm": 0.2647663669733098,
+      "learning_rate": 4.497539727454629e-06,
+      "loss": 1.9449,
+      "step": 1276
+    },
+    {
+      "epoch": 1.7013333333333334,
+      "grad_norm": 0.28079046695985366,
+      "learning_rate": 4.4844487553560975e-06,
+      "loss": 1.949,
+      "step": 1277
+    },
+    {
+      "epoch": 1.7026666666666666,
+      "grad_norm": 0.3207949768978031,
+      "learning_rate": 4.471411923457035e-06,
+      "loss": 1.8681,
+      "step": 1278
+    },
+    {
+      "epoch": 1.704,
+      "grad_norm": 0.41540034995570535,
+      "learning_rate": 4.458429290499371e-06,
+      "loss": 1.7674,
+      "step": 1279
+    },
+    {
+      "epoch": 1.7053333333333334,
+      "grad_norm": 0.30172835686904464,
+      "learning_rate": 4.445500914980827e-06,
+      "loss": 2.1768,
+      "step": 1280
+    },
+    {
+      "epoch": 1.7066666666666666,
+      "grad_norm": 0.3319435537826536,
+      "learning_rate": 4.432626855154642e-06,
+      "loss": 1.2831,
+      "step": 1281
+    },
+    {
+      "epoch": 1.708,
+      "grad_norm": 0.26633319300425934,
+      "learning_rate": 4.41980716902933e-06,
+      "loss": 2.1019,
+      "step": 1282
+    },
+    {
+      "epoch": 1.7093333333333334,
+      "grad_norm": 0.3197285105084946,
+      "learning_rate": 4.4070419143683845e-06,
+      "loss": 1.9058,
+      "step": 1283
+    },
+    {
+      "epoch": 1.7106666666666666,
+      "grad_norm": 0.3589947551615256,
+      "learning_rate": 4.394331148690062e-06,
+      "loss": 1.881,
+      "step": 1284
+    },
+    {
+      "epoch": 1.712,
+      "grad_norm": 0.4870075325507255,
+      "learning_rate": 4.381674929267084e-06,
+      "loss": 2.1517,
+      "step": 1285
+    },
+    {
+      "epoch": 1.7133333333333334,
+      "grad_norm": 0.2561217194232222,
+      "learning_rate": 4.3690733131264e-06,
+      "loss": 2.3088,
+      "step": 1286
+    },
+    {
+      "epoch": 1.7146666666666666,
+      "grad_norm": 0.2541908821483242,
+      "learning_rate": 4.356526357048937e-06,
+      "loss": 2.1718,
+      "step": 1287
+    },
+    {
+      "epoch": 1.716,
+      "grad_norm": 0.26352401725253216,
+      "learning_rate": 4.344034117569306e-06,
+      "loss": 2.1234,
+      "step": 1288
+    },
+    {
+      "epoch": 1.7173333333333334,
+      "grad_norm": 0.3039438223186964,
+      "learning_rate": 4.3315966509756e-06,
+      "loss": 2.1743,
+      "step": 1289
+    },
+    {
+      "epoch": 1.7186666666666666,
+      "grad_norm": 0.3063959147273782,
+      "learning_rate": 4.319214013309102e-06,
+      "loss": 2.0443,
+      "step": 1290
+    },
+    {
+      "epoch": 1.72,
+      "grad_norm": 0.35521535441876867,
+      "learning_rate": 4.3068862603640394e-06,
+      "loss": 2.0214,
+      "step": 1291
+    },
+    {
+      "epoch": 1.7213333333333334,
+      "grad_norm": 0.26539252116953144,
+      "learning_rate": 4.294613447687352e-06,
+      "loss": 2.1128,
+      "step": 1292
+    },
+    {
+      "epoch": 1.7226666666666666,
+      "grad_norm": 0.2554766256016604,
+      "learning_rate": 4.282395630578416e-06,
+      "loss": 2.2009,
+      "step": 1293
+    },
+    {
+      "epoch": 1.724,
+      "grad_norm": 0.25357772181287236,
+      "learning_rate": 4.270232864088808e-06,
+      "loss": 2.0589,
+      "step": 1294
+    },
+    {
+      "epoch": 1.7253333333333334,
+      "grad_norm": 0.34465614609730916,
+      "learning_rate": 4.2581252030220576e-06,
+      "loss": 2.1865,
+      "step": 1295
+    },
+    {
+      "epoch": 1.7266666666666666,
+      "grad_norm": 0.3251587181794359,
+      "learning_rate": 4.246072701933396e-06,
+      "loss": 1.8652,
+      "step": 1296
+    },
+    {
+      "epoch": 1.728,
+      "grad_norm": 0.353065349950647,
+      "learning_rate": 4.234075415129511e-06,
+      "loss": 1.8857,
+      "step": 1297
+    },
+    {
+      "epoch": 1.7293333333333334,
+      "grad_norm": 0.32609767544133844,
+      "learning_rate": 4.222133396668313e-06,
+      "loss": 2.0185,
+      "step": 1298
+    },
+    {
+      "epoch": 1.7306666666666666,
+      "grad_norm": 0.24432219429228524,
+      "learning_rate": 4.210246700358664e-06,
+      "loss": 1.9452,
+      "step": 1299
+    },
+    {
+      "epoch": 1.732,
+      "grad_norm": 0.23813946421819004,
+      "learning_rate": 4.1984153797601675e-06,
+      "loss": 2.2436,
+      "step": 1300
+    },
+    {
+      "epoch": 1.7333333333333334,
+      "grad_norm": 0.26908394692445414,
+      "learning_rate": 4.1866394881829125e-06,
+      "loss": 2.1038,
+      "step": 1301
+    },
+    {
+      "epoch": 1.7346666666666666,
+      "grad_norm": 0.39948760558554003,
+      "learning_rate": 4.1749190786872245e-06,
+      "loss": 1.9159,
+      "step": 1302
+    },
+    {
+      "epoch": 1.736,
+      "grad_norm": 0.356463377289541,
+      "learning_rate": 4.163254204083441e-06,
+      "loss": 1.9374,
+      "step": 1303
+    },
+    {
+      "epoch": 1.7373333333333334,
+      "grad_norm": 0.2500523156239864,
+      "learning_rate": 4.1516449169316686e-06,
+      "loss": 2.2311,
+      "step": 1304
+    },
+    {
+      "epoch": 1.7386666666666666,
+      "grad_norm": 0.2933833359745517,
+      "learning_rate": 4.1400912695415445e-06,
+      "loss": 1.9497,
+      "step": 1305
+    },
+    {
+      "epoch": 1.74,
+      "grad_norm": 0.30107525320357237,
+      "learning_rate": 4.1285933139719995e-06,
+      "loss": 2.1619,
+      "step": 1306
+    },
+    {
+      "epoch": 1.7413333333333334,
+      "grad_norm": 0.26106074855875105,
+      "learning_rate": 4.117151102031027e-06,
+      "loss": 2.0516,
+      "step": 1307
+    },
+    {
+      "epoch": 1.7426666666666666,
+      "grad_norm": 0.22642631743474637,
+      "learning_rate": 4.105764685275453e-06,
+      "loss": 2.1647,
+      "step": 1308
+    },
+    {
+      "epoch": 1.744,
+      "grad_norm": 0.23491895501501417,
+      "learning_rate": 4.094434115010693e-06,
+      "loss": 2.0333,
+      "step": 1309
+    },
+    {
+      "epoch": 1.7453333333333334,
+      "grad_norm": 0.3224430682730432,
+      "learning_rate": 4.083159442290527e-06,
+      "loss": 2.1498,
+      "step": 1310
+    },
+    {
+      "epoch": 1.7466666666666666,
+      "grad_norm": 0.2777521073093129,
+      "learning_rate": 4.071940717916875e-06,
+      "loss": 2.176,
+      "step": 1311
+    },
+    {
+      "epoch": 1.748,
+      "grad_norm": 0.3680762983940784,
+      "learning_rate": 4.060777992439557e-06,
+      "loss": 2.0071,
+      "step": 1312
+    },
+    {
+      "epoch": 1.7493333333333334,
+      "grad_norm": 0.2870759905631408,
+      "learning_rate": 4.04967131615607e-06,
+      "loss": 2.1558,
+      "step": 1313
+    },
+    {
+      "epoch": 1.7506666666666666,
+      "grad_norm": 0.29341206522624436,
+      "learning_rate": 4.038620739111371e-06,
+      "loss": 2.0554,
+      "step": 1314
+    },
+    {
+      "epoch": 1.752,
+      "grad_norm": 0.2496875953414441,
+      "learning_rate": 4.0276263110976295e-06,
+      "loss": 1.9892,
+      "step": 1315
+    },
+    {
+      "epoch": 1.7533333333333334,
+      "grad_norm": 0.3103508761835982,
+      "learning_rate": 4.016688081654026e-06,
+      "loss": 1.8776,
+      "step": 1316
+    },
+    {
+      "epoch": 1.7546666666666666,
+      "grad_norm": 0.30124747039628164,
+      "learning_rate": 4.00580610006652e-06,
+      "loss": 2.1332,
+      "step": 1317
+    },
+    {
+      "epoch": 1.756,
+      "grad_norm": 0.2742129800809628,
+      "learning_rate": 3.994980415367614e-06,
+      "loss": 2.0341,
+      "step": 1318
+    },
+    {
+      "epoch": 1.7573333333333334,
+      "grad_norm": 0.251935987103533,
+      "learning_rate": 3.9842110763361635e-06,
+      "loss": 2.207,
+      "step": 1319
+    },
+    {
+      "epoch": 1.7586666666666666,
+      "grad_norm": 0.26619413887428023,
+      "learning_rate": 3.973498131497124e-06,
+      "loss": 2.1608,
+      "step": 1320
+    },
+    {
+      "epoch": 1.76,
+      "grad_norm": 0.2297606788965876,
+      "learning_rate": 3.962841629121357e-06,
+      "loss": 2.2278,
+      "step": 1321
+    },
+    {
+      "epoch": 1.7613333333333334,
+      "grad_norm": 0.30061829840650195,
+      "learning_rate": 3.9522416172254e-06,
+      "loss": 2.0452,
+      "step": 1322
+    },
+    {
+      "epoch": 1.7626666666666666,
+      "grad_norm": 0.2514412586820187,
+      "learning_rate": 3.94169814357125e-06,
+      "loss": 1.829,
+      "step": 1323
+    },
+    {
+      "epoch": 1.764,
+      "grad_norm": 0.3903675977472388,
+      "learning_rate": 3.931211255666154e-06,
+      "loss": 1.8063,
+      "step": 1324
+    },
+    {
+      "epoch": 1.7653333333333334,
+      "grad_norm": 0.40224588509242803,
+      "learning_rate": 3.920781000762397e-06,
+      "loss": 1.6712,
+      "step": 1325
+    },
+    {
+      "epoch": 1.7666666666666666,
+      "grad_norm": 0.29155171498434274,
+      "learning_rate": 3.91040742585708e-06,
+      "loss": 1.6962,
+      "step": 1326
+    },
+    {
+      "epoch": 1.768,
+      "grad_norm": 0.2958400433618456,
+      "learning_rate": 3.90009057769191e-06,
+      "loss": 2.1896,
+      "step": 1327
+    },
+    {
+      "epoch": 1.7693333333333334,
+      "grad_norm": 0.25859195940800633,
+      "learning_rate": 3.8898305027529965e-06,
+      "loss": 2.258,
+      "step": 1328
+    },
+    {
+      "epoch": 1.7706666666666666,
+      "grad_norm": 0.30480452917159123,
+      "learning_rate": 3.879627247270637e-06,
+      "loss": 1.9964,
+      "step": 1329
+    },
+    {
+      "epoch": 1.772,
+      "grad_norm": 0.3262644561189039,
+      "learning_rate": 3.8694808572191125e-06,
+      "loss": 2.0815,
+      "step": 1330
+    },
+    {
+      "epoch": 1.7733333333333334,
+      "grad_norm": 0.3126688467197894,
+      "learning_rate": 3.859391378316467e-06,
+      "loss": 1.9704,
+      "step": 1331
+    },
+    {
+      "epoch": 1.7746666666666666,
+      "grad_norm": 0.2376144259980439,
+      "learning_rate": 3.849358856024321e-06,
+      "loss": 2.2969,
+      "step": 1332
+    },
+    {
+      "epoch": 1.776,
+      "grad_norm": 0.2638097603679803,
+      "learning_rate": 3.83938333554766e-06,
+      "loss": 2.1721,
+      "step": 1333
+    },
+    {
+      "epoch": 1.7773333333333334,
+      "grad_norm": 0.24942648560088407,
+      "learning_rate": 3.8294648618346144e-06,
+      "loss": 2.3936,
+      "step": 1334
+    },
+    {
+      "epoch": 1.7786666666666666,
+      "grad_norm": 0.3412173704852024,
+      "learning_rate": 3.819603479576287e-06,
+      "loss": 1.937,
+      "step": 1335
+    },
+    {
+      "epoch": 1.78,
+      "grad_norm": 0.2885720167535809,
+      "learning_rate": 3.8097992332065253e-06,
+      "loss": 1.9836,
+      "step": 1336
+    },
+    {
+      "epoch": 1.7813333333333334,
+      "grad_norm": 0.3268326516484759,
+      "learning_rate": 3.800052166901732e-06,
+      "loss": 1.796,
+      "step": 1337
+    },
+    {
+      "epoch": 1.7826666666666666,
+      "grad_norm": 0.36114163611905015,
+      "learning_rate": 3.790362324580669e-06,
+      "loss": 2.1065,
+      "step": 1338
+    },
+    {
+      "epoch": 1.784,
+      "grad_norm": 0.37002587915729973,
+      "learning_rate": 3.7807297499042533e-06,
+      "loss": 2.0555,
+      "step": 1339
+    },
+    {
+      "epoch": 1.7853333333333334,
+      "grad_norm": 0.2773930085691077,
+      "learning_rate": 3.7711544862753635e-06,
+      "loss": 2.2033,
+      "step": 1340
+    },
+    {
+      "epoch": 1.7866666666666666,
+      "grad_norm": 0.3243015331211771,
+      "learning_rate": 3.7616365768386476e-06,
+      "loss": 2.0037,
+      "step": 1341
+    },
+    {
+      "epoch": 1.788,
+      "grad_norm": 0.6039057905600634,
+      "learning_rate": 3.752176064480316e-06,
+      "loss": 1.8361,
+      "step": 1342
+    },
+    {
+      "epoch": 1.7893333333333334,
+      "grad_norm": 0.36736126860451135,
+      "learning_rate": 3.7427729918279615e-06,
+      "loss": 2.0363,
+      "step": 1343
+    },
+    {
+      "epoch": 1.7906666666666666,
+      "grad_norm": 0.259396641345276,
+      "learning_rate": 3.733427401250368e-06,
+      "loss": 1.9565,
+      "step": 1344
+    },
+    {
+      "epoch": 1.792,
+      "grad_norm": 0.3039847143535944,
+      "learning_rate": 3.7241393348573018e-06,
+      "loss": 1.9181,
+      "step": 1345
+    },
+    {
+      "epoch": 1.7933333333333334,
+      "grad_norm": 0.3214276496318672,
+      "learning_rate": 3.714908834499346e-06,
+      "loss": 1.9704,
+      "step": 1346
+    },
+    {
+      "epoch": 1.7946666666666666,
+      "grad_norm": 0.3709769351832857,
+      "learning_rate": 3.7057359417676933e-06,
+      "loss": 2.3009,
+      "step": 1347
+    },
+    {
+      "epoch": 1.796,
+      "grad_norm": 0.310425417286126,
+      "learning_rate": 3.6966206979939655e-06,
+      "loss": 2.1294,
+      "step": 1348
+    },
+    {
+      "epoch": 1.7973333333333334,
+      "grad_norm": 0.3805431793326589,
+      "learning_rate": 3.6875631442500363e-06,
+      "loss": 2.0575,
+      "step": 1349
+    },
+    {
+      "epoch": 1.7986666666666666,
+      "grad_norm": 0.23665759945223905,
+      "learning_rate": 3.6785633213478197e-06,
+      "loss": 2.1457,
+      "step": 1350
+    },
+    {
+      "epoch": 1.7986666666666666,
+      "eval_loss": 1.7204666137695312,
+      "eval_runtime": 98.5587,
+      "eval_samples_per_second": 1.015,
+      "eval_steps_per_second": 0.254,
+      "step": 1350
+    },
+    {
+      "epoch": 1.8,
+      "grad_norm": 0.30371553817079183,
+      "learning_rate": 3.6696212698391203e-06,
+      "loss": 1.5884,
+      "step": 1351
+    },
+    {
+      "epoch": 1.8013333333333335,
+      "grad_norm": 0.33768214761776244,
+      "learning_rate": 3.6607370300154277e-06,
+      "loss": 2.2728,
+      "step": 1352
+    },
+    {
+      "epoch": 1.8026666666666666,
+      "grad_norm": 0.2898194588145498,
+      "learning_rate": 3.651910641907737e-06,
+      "loss": 2.1581,
+      "step": 1353
+    },
+    {
+      "epoch": 1.804,
+      "grad_norm": 0.3739288034719595,
+      "learning_rate": 3.6431421452863782e-06,
+      "loss": 2.0835,
+      "step": 1354
+    },
+    {
+      "epoch": 1.8053333333333335,
+      "grad_norm": 0.34900212338565534,
+      "learning_rate": 3.6344315796608295e-06,
+      "loss": 1.8907,
+      "step": 1355
+    },
+    {
+      "epoch": 1.8066666666666666,
+      "grad_norm": 0.34597369037639625,
+      "learning_rate": 3.6257789842795375e-06,
+      "loss": 2.0138,
+      "step": 1356
+    },
+    {
+      "epoch": 1.808,
+      "grad_norm": 0.31969604854546907,
+      "learning_rate": 3.617184398129752e-06,
+      "loss": 1.7813,
+      "step": 1357
+    },
+    {
+      "epoch": 1.8093333333333335,
+      "grad_norm": 0.31705152503803785,
+      "learning_rate": 3.608647859937334e-06,
+      "loss": 2.1113,
+      "step": 1358
+    },
+    {
+      "epoch": 1.8106666666666666,
+      "grad_norm": 0.3673608825746238,
+      "learning_rate": 3.600169408166593e-06,
+      "loss": 1.6153,
+      "step": 1359
+    },
+    {
+      "epoch": 1.812,
+      "grad_norm": 0.44108143917339965,
+      "learning_rate": 3.5917490810201136e-06,
+      "loss": 2.2478,
+      "step": 1360
+    },
+    {
+      "epoch": 1.8133333333333335,
+      "grad_norm": 0.3452891597372353,
+      "learning_rate": 3.5833869164385715e-06,
+      "loss": 1.5998,
+      "step": 1361
+    },
+    {
+      "epoch": 1.8146666666666667,
+      "grad_norm": 0.33178614895117803,
+      "learning_rate": 3.5750829521005783e-06,
+      "loss": 2.0551,
+      "step": 1362
+    },
+    {
+      "epoch": 1.8159999999999998,
+      "grad_norm": 0.20014076479966472,
+      "learning_rate": 3.5668372254225027e-06,
+      "loss": 2.1887,
+      "step": 1363
+    },
+    {
+      "epoch": 1.8173333333333335,
+      "grad_norm": 0.23867608440188545,
+      "learning_rate": 3.5586497735583e-06,
+      "loss": 2.2793,
+      "step": 1364
+    },
+    {
+      "epoch": 1.8186666666666667,
+      "grad_norm": 0.23324342515332952,
+      "learning_rate": 3.550520633399356e-06,
+      "loss": 2.0202,
+      "step": 1365
+    },
+    {
+      "epoch": 1.8199999999999998,
+      "grad_norm": 0.30458757909263473,
+      "learning_rate": 3.542449841574301e-06,
+      "loss": 1.7431,
+      "step": 1366
+    },
+    {
+      "epoch": 1.8213333333333335,
+      "grad_norm": 0.40735652657786403,
+      "learning_rate": 3.5344374344488695e-06,
+      "loss": 1.7893,
+      "step": 1367
+    },
+    {
+      "epoch": 1.8226666666666667,
+      "grad_norm": 0.25495693777253076,
+      "learning_rate": 3.526483448125716e-06,
+      "loss": 2.143,
+      "step": 1368
+    },
+    {
+      "epoch": 1.8239999999999998,
+      "grad_norm": 0.30656415009393456,
+      "learning_rate": 3.5185879184442625e-06,
+      "loss": 2.1491,
+      "step": 1369
+    },
+    {
+      "epoch": 1.8253333333333335,
+      "grad_norm": 0.22702700229483308,
+      "learning_rate": 3.5107508809805343e-06,
+      "loss": 2.0356,
+      "step": 1370
+    },
+    {
+      "epoch": 1.8266666666666667,
+      "grad_norm": 0.4162996247309133,
+      "learning_rate": 3.5029723710469985e-06,
+      "loss": 1.6126,
+      "step": 1371
+    },
+    {
+      "epoch": 1.8279999999999998,
+      "grad_norm": 0.23413515514321612,
+      "learning_rate": 3.4952524236924085e-06,
+      "loss": 2.0459,
+      "step": 1372
+    },
+    {
+      "epoch": 1.8293333333333335,
+      "grad_norm": 0.3831090299922737,
+      "learning_rate": 3.4875910737016423e-06,
+      "loss": 2.0884,
+      "step": 1373
+    },
+    {
+      "epoch": 1.8306666666666667,
+      "grad_norm": 0.34224127514964786,
+      "learning_rate": 3.4799883555955475e-06,
+      "loss": 1.7416,
+      "step": 1374
+    },
+    {
+      "epoch": 1.8319999999999999,
+      "grad_norm": 0.2860317700338688,
+      "learning_rate": 3.472444303630785e-06,
+      "loss": 2.1524,
+      "step": 1375
+    },
+    {
+      "epoch": 1.8333333333333335,
+      "grad_norm": 0.30931742268426854,
+      "learning_rate": 3.46495895179968e-06,
+      "loss": 2.2165,
+      "step": 1376
+    },
+    {
+      "epoch": 1.8346666666666667,
+      "grad_norm": 0.2818407989904279,
+      "learning_rate": 3.4575323338300552e-06,
+      "loss": 2.0513,
+      "step": 1377
+    },
+    {
+      "epoch": 1.8359999999999999,
+      "grad_norm": 0.29564591530184514,
+      "learning_rate": 3.4501644831850962e-06,
+      "loss": 1.9257,
+      "step": 1378
+    },
+    {
+      "epoch": 1.8373333333333335,
+      "grad_norm": 0.3587006636758042,
+      "learning_rate": 3.4428554330631862e-06,
+      "loss": 2.1157,
+      "step": 1379
+    },
+    {
+      "epoch": 1.8386666666666667,
+      "grad_norm": 0.2791161036145188,
+      "learning_rate": 3.4356052163977655e-06,
+      "loss": 2.3346,
+      "step": 1380
+    },
+    {
+      "epoch": 1.8399999999999999,
+      "grad_norm": 0.39806961023406795,
+      "learning_rate": 3.4284138658571824e-06,
+      "loss": 2.1242,
+      "step": 1381
+    },
+    {
+      "epoch": 1.8413333333333335,
+      "grad_norm": 0.26436248898294795,
+      "learning_rate": 3.421281413844535e-06,
+      "loss": 2.3015,
+      "step": 1382
+    },
+    {
+      "epoch": 1.8426666666666667,
+      "grad_norm": 0.3166806689794716,
+      "learning_rate": 3.414207892497542e-06,
+      "loss": 1.8345,
+      "step": 1383
+    },
+    {
+      "epoch": 1.8439999999999999,
+      "grad_norm": 0.26956107784721944,
+      "learning_rate": 3.40719333368839e-06,
+      "loss": 2.2532,
+      "step": 1384
+    },
+    {
+      "epoch": 1.8453333333333335,
+      "grad_norm": 0.2783342076801306,
+      "learning_rate": 3.400237769023583e-06,
+      "loss": 2.1824,
+      "step": 1385
+    },
+    {
+      "epoch": 1.8466666666666667,
+      "grad_norm": 0.26037668684180304,
+      "learning_rate": 3.393341229843809e-06,
+      "loss": 2.0601,
+      "step": 1386
+    },
+    {
+      "epoch": 1.8479999999999999,
+      "grad_norm": 0.3072302285386089,
+      "learning_rate": 3.3865037472238046e-06,
+      "loss": 1.8726,
+      "step": 1387
+    },
+    {
+      "epoch": 1.8493333333333335,
+      "grad_norm": 0.30058104161693117,
+      "learning_rate": 3.3797253519721916e-06,
+      "loss": 2.1399,
+      "step": 1388
+    },
+    {
+      "epoch": 1.8506666666666667,
+      "grad_norm": 0.33607942573678407,
+      "learning_rate": 3.3730060746313664e-06,
+      "loss": 2.182,
+      "step": 1389
+    },
+    {
+      "epoch": 1.8519999999999999,
+      "grad_norm": 0.3396306896132095,
+      "learning_rate": 3.3663459454773437e-06,
+      "loss": 1.8973,
+      "step": 1390
+    },
+    {
+      "epoch": 1.8533333333333335,
+      "grad_norm": 0.2910623206729659,
+      "learning_rate": 3.359744994519624e-06,
+      "loss": 2.1633,
+      "step": 1391
+    },
+    {
+      "epoch": 1.8546666666666667,
+      "grad_norm": 0.33486704180110777,
+      "learning_rate": 3.3532032515010695e-06,
+      "loss": 1.9398,
+      "step": 1392
+    },
+    {
+      "epoch": 1.8559999999999999,
+      "grad_norm": 0.2834712185152555,
+      "learning_rate": 3.346720745897744e-06,
+      "loss": 1.6838,
+      "step": 1393
+    },
+    {
+      "epoch": 1.8573333333333333,
+      "grad_norm": 0.26931153081446685,
+      "learning_rate": 3.3402975069188144e-06,
+      "loss": 2.1921,
+      "step": 1394
+    },
+    {
+      "epoch": 1.8586666666666667,
+      "grad_norm": 0.43900699368691015,
+      "learning_rate": 3.3339335635063904e-06,
+      "loss": 1.5094,
+      "step": 1395
+    },
+    {
+      "epoch": 1.8599999999999999,
+      "grad_norm": 0.3277026254945064,
+      "learning_rate": 3.327628944335406e-06,
+      "loss": 1.8246,
+      "step": 1396
+    },
+    {
+      "epoch": 1.8613333333333333,
+      "grad_norm": 0.2872567580029521,
+      "learning_rate": 3.321383677813497e-06,
+      "loss": 2.0715,
+      "step": 1397
+    },
+    {
+      "epoch": 1.8626666666666667,
+      "grad_norm": 0.26675491614315777,
+      "learning_rate": 3.3151977920808545e-06,
+      "loss": 2.1932,
+      "step": 1398
+    },
+    {
+      "epoch": 1.8639999999999999,
+      "grad_norm": 0.3767117445335185,
+      "learning_rate": 3.309071315010118e-06,
+      "loss": 2.0008,
+      "step": 1399
+    },
+    {
+      "epoch": 1.8653333333333333,
+      "grad_norm": 0.3512765629734198,
+      "learning_rate": 3.3030042742062373e-06,
+      "loss": 1.7285,
+      "step": 1400
+    },
+    {
+      "epoch": 1.8666666666666667,
+      "grad_norm": 0.2757267127855709,
+      "learning_rate": 3.2969966970063508e-06,
+      "loss": 2.143,
+      "step": 1401
+    },
+    {
+      "epoch": 1.8679999999999999,
+      "grad_norm": 0.377846389279988,
+      "learning_rate": 3.291048610479664e-06,
+      "loss": 1.8185,
+      "step": 1402
+    },
+    {
+      "epoch": 1.8693333333333333,
+      "grad_norm": 0.3694928707977526,
+      "learning_rate": 3.285160041427329e-06,
+      "loss": 2.1124,
+      "step": 1403
+    },
+    {
+      "epoch": 1.8706666666666667,
+      "grad_norm": 0.2474274357420131,
+      "learning_rate": 3.279331016382314e-06,
+      "loss": 2.0826,
+      "step": 1404
+    },
+    {
+      "epoch": 1.8719999999999999,
+      "grad_norm": 0.24164795429181174,
+      "learning_rate": 3.273561561609303e-06,
+      "loss": 2.0786,
+      "step": 1405
+    },
+    {
+      "epoch": 1.8733333333333333,
+      "grad_norm": 0.34290079300464915,
+      "learning_rate": 3.2678517031045564e-06,
+      "loss": 2.0046,
+      "step": 1406
+    },
+    {
+      "epoch": 1.8746666666666667,
+      "grad_norm": 0.23500240205553166,
+      "learning_rate": 3.262201466595805e-06,
+      "loss": 1.6755,
+      "step": 1407
+    },
+    {
+      "epoch": 1.876,
+      "grad_norm": 0.22430851950428798,
+      "learning_rate": 3.2566108775421365e-06,
+      "loss": 2.1116,
+      "step": 1408
+    },
+    {
+      "epoch": 1.8773333333333333,
+      "grad_norm": 0.23094437947915372,
+      "learning_rate": 3.251079961133866e-06,
+      "loss": 2.1618,
+      "step": 1409
+    },
+    {
+      "epoch": 1.8786666666666667,
+      "grad_norm": 0.2941340690815622,
+      "learning_rate": 3.245608742292448e-06,
+      "loss": 1.7757,
+      "step": 1410
+    },
+    {
+      "epoch": 1.88,
+      "grad_norm": 0.31461464962092445,
+      "learning_rate": 3.240197245670336e-06,
+      "loss": 2.1266,
+      "step": 1411
+    },
+    {
+      "epoch": 1.8813333333333333,
+      "grad_norm": 0.3095200142118182,
+      "learning_rate": 3.2348454956508905e-06,
+      "loss": 2.1136,
+      "step": 1412
+    },
+    {
+      "epoch": 1.8826666666666667,
+      "grad_norm": 0.3160274941809561,
+      "learning_rate": 3.2295535163482655e-06,
+      "loss": 2.1532,
+      "step": 1413
+    },
+    {
+      "epoch": 1.884,
+      "grad_norm": 0.2890763563294067,
+      "learning_rate": 3.224321331607289e-06,
+      "loss": 2.3283,
+      "step": 1414
+    },
+    {
+      "epoch": 1.8853333333333333,
+      "grad_norm": 0.30975319797018563,
+      "learning_rate": 3.219148965003372e-06,
+      "loss": 2.1085,
+      "step": 1415
+    },
+    {
+      "epoch": 1.8866666666666667,
+      "grad_norm": 0.24967041122117917,
+      "learning_rate": 3.2140364398423923e-06,
+      "loss": 2.0392,
+      "step": 1416
+    },
+    {
+      "epoch": 1.888,
+      "grad_norm": 0.2444552663515834,
+      "learning_rate": 3.2089837791605892e-06,
+      "loss": 2.0893,
+      "step": 1417
+    },
+    {
+      "epoch": 1.8893333333333333,
+      "grad_norm": 0.4656021326010817,
+      "learning_rate": 3.203991005724464e-06,
+      "loss": 2.2965,
+      "step": 1418
+    },
+    {
+      "epoch": 1.8906666666666667,
+      "grad_norm": 0.41170676492764274,
+      "learning_rate": 3.1990581420306753e-06,
+      "loss": 1.9097,
+      "step": 1419
+    },
+    {
+      "epoch": 1.892,
+      "grad_norm": 0.37439458625206623,
+      "learning_rate": 3.194185210305936e-06,
+      "loss": 1.8408,
+      "step": 1420
+    },
+    {
+      "epoch": 1.8933333333333333,
+      "grad_norm": 0.2511808759853141,
+      "learning_rate": 3.1893722325069187e-06,
+      "loss": 2.2916,
+      "step": 1421
+    },
+    {
+      "epoch": 1.8946666666666667,
+      "grad_norm": 0.2731100907092534,
+      "learning_rate": 3.1846192303201476e-06,
+      "loss": 2.046,
+      "step": 1422
+    },
+    {
+      "epoch": 1.896,
+      "grad_norm": 0.259953363165022,
+      "learning_rate": 3.1799262251619116e-06,
+      "loss": 1.9172,
+      "step": 1423
+    },
+    {
+      "epoch": 1.8973333333333333,
+      "grad_norm": 0.3035998968778968,
+      "learning_rate": 3.175293238178158e-06,
+      "loss": 1.8627,
+      "step": 1424
+    },
+    {
+      "epoch": 1.8986666666666667,
+      "grad_norm": 0.31740670112203734,
+      "learning_rate": 3.1707202902444043e-06,
+      "loss": 1.7804,
+      "step": 1425
+    },
+    {
+      "epoch": 1.8986666666666667,
+      "eval_loss": 1.7201672792434692,
+      "eval_runtime": 98.7803,
+      "eval_samples_per_second": 1.012,
+      "eval_steps_per_second": 0.253,
+      "step": 1425
+    },
+    {
+      "epoch": 1.9,
+      "grad_norm": 0.38587256680948073,
+      "learning_rate": 3.166207401965642e-06,
+      "loss": 1.8867,
+      "step": 1426
+    },
+    {
+      "epoch": 1.9013333333333333,
+      "grad_norm": 0.2970629777465037,
+      "learning_rate": 3.1617545936762375e-06,
+      "loss": 1.8933,
+      "step": 1427
+    },
+    {
+      "epoch": 1.9026666666666667,
+      "grad_norm": 0.2551509848697822,
+      "learning_rate": 3.1573618854398546e-06,
+      "loss": 2.296,
+      "step": 1428
+    },
+    {
+      "epoch": 1.904,
+      "grad_norm": 0.2743485354891755,
+      "learning_rate": 3.15302929704935e-06,
+      "loss": 1.8633,
+      "step": 1429
+    },
+    {
+      "epoch": 1.9053333333333333,
+      "grad_norm": 0.2786606510935604,
+      "learning_rate": 3.1487568480266883e-06,
+      "loss": 2.1739,
+      "step": 1430
+    },
+    {
+      "epoch": 1.9066666666666667,
+      "grad_norm": 0.2477435221074629,
+      "learning_rate": 3.1445445576228634e-06,
+      "loss": 2.1276,
+      "step": 1431
+    },
+    {
+      "epoch": 1.908,
+      "grad_norm": 0.33869162123227436,
+      "learning_rate": 3.1403924448177952e-06,
+      "loss": 2.0939,
+      "step": 1432
+    },
+    {
+      "epoch": 1.9093333333333333,
+      "grad_norm": 0.3009834725639771,
+      "learning_rate": 3.1363005283202565e-06,
+      "loss": 2.0005,
+      "step": 1433
+    },
+    {
+      "epoch": 1.9106666666666667,
+      "grad_norm": 0.33829648684481384,
+      "learning_rate": 3.1322688265677855e-06,
+      "loss": 1.9467,
+      "step": 1434
+    },
+    {
+      "epoch": 1.912,
+      "grad_norm": 0.3511639060069577,
+      "learning_rate": 3.128297357726602e-06,
+      "loss": 1.9024,
+      "step": 1435
+    },
+    {
+      "epoch": 1.9133333333333333,
+      "grad_norm": 0.42318659422754107,
+      "learning_rate": 3.1243861396915223e-06,
+      "loss": 1.9748,
+      "step": 1436
+    },
+    {
+      "epoch": 1.9146666666666667,
+      "grad_norm": 0.2600044204614883,
+      "learning_rate": 3.120535190085888e-06,
+      "loss": 2.3989,
+      "step": 1437
+    },
+    {
+      "epoch": 1.916,
+      "grad_norm": 0.3280262254366885,
+      "learning_rate": 3.1167445262614766e-06,
+      "loss": 1.9299,
+      "step": 1438
+    },
+    {
+      "epoch": 1.9173333333333333,
+      "grad_norm": 0.26376254362927715,
+      "learning_rate": 3.1130141652984264e-06,
+      "loss": 2.0219,
+      "step": 1439
+    },
+    {
+      "epoch": 1.9186666666666667,
+      "grad_norm": 0.2845915573897727,
+      "learning_rate": 3.109344124005163e-06,
+      "loss": 2.183,
+      "step": 1440
+    },
+    {
+      "epoch": 1.92,
+      "grad_norm": 0.3677194358768651,
+      "learning_rate": 3.1057344189183187e-06,
+      "loss": 1.9384,
+      "step": 1441
+    },
+    {
+      "epoch": 1.9213333333333333,
+      "grad_norm": 0.4022930206729524,
+      "learning_rate": 3.102185066302664e-06,
+      "loss": 1.8612,
+      "step": 1442
+    },
+    {
+      "epoch": 1.9226666666666667,
+      "grad_norm": 0.27866491305542673,
+      "learning_rate": 3.0986960821510256e-06,
+      "loss": 2.072,
+      "step": 1443
+    },
+    {
+      "epoch": 1.924,
+      "grad_norm": 0.35180851932544116,
+      "learning_rate": 3.095267482184223e-06,
+      "loss": 2.0402,
+      "step": 1444
+    },
+    {
+      "epoch": 1.9253333333333333,
+      "grad_norm": 0.3437913270101531,
+      "learning_rate": 3.0918992818509926e-06,
+      "loss": 1.7446,
+      "step": 1445
+    },
+    {
+      "epoch": 1.9266666666666667,
+      "grad_norm": 0.3427487125861648,
+      "learning_rate": 3.0885914963279195e-06,
+      "loss": 2.0484,
+      "step": 1446
+    },
+    {
+      "epoch": 1.928,
+      "grad_norm": 0.32254004490109905,
+      "learning_rate": 3.08534414051937e-06,
+      "loss": 2.1783,
+      "step": 1447
+    },
+    {
+      "epoch": 1.9293333333333333,
+      "grad_norm": 0.30448999605691746,
+      "learning_rate": 3.0821572290574226e-06,
+      "loss": 2.1199,
+      "step": 1448
+    },
+    {
+      "epoch": 1.9306666666666668,
+      "grad_norm": 0.2640700052818509,
+      "learning_rate": 3.0790307763018024e-06,
+      "loss": 1.8567,
+      "step": 1449
+    },
+    {
+      "epoch": 1.932,
+      "grad_norm": 0.3918230590254399,
+      "learning_rate": 3.075964796339817e-06,
+      "loss": 1.6265,
+      "step": 1450
+    },
+    {
+      "epoch": 1.9333333333333333,
+      "grad_norm": 0.28702335285320785,
+      "learning_rate": 3.0729593029862958e-06,
+      "loss": 2.0197,
+      "step": 1451
+    },
+    {
+      "epoch": 1.9346666666666668,
+      "grad_norm": 0.30089758510960446,
+      "learning_rate": 3.0700143097835224e-06,
+      "loss": 2.2274,
+      "step": 1452
+    },
+    {
+      "epoch": 1.936,
+      "grad_norm": 0.32146925392019354,
+      "learning_rate": 3.067129830001175e-06,
+      "loss": 1.8177,
+      "step": 1453
+    },
+    {
+      "epoch": 1.9373333333333334,
+      "grad_norm": 0.3615676442362076,
+      "learning_rate": 3.0643058766362735e-06,
+      "loss": 2.2883,
+      "step": 1454
+    },
+    {
+      "epoch": 1.9386666666666668,
+      "grad_norm": 0.3890606095872102,
+      "learning_rate": 3.061542462413107e-06,
+      "loss": 1.6639,
+      "step": 1455
+    },
+    {
+      "epoch": 1.94,
+      "grad_norm": 0.39083172541997857,
+      "learning_rate": 3.0588395997831912e-06,
+      "loss": 1.7606,
+      "step": 1456
+    },
+    {
+      "epoch": 1.9413333333333334,
+      "grad_norm": 0.40477909715574106,
+      "learning_rate": 3.0561973009252035e-06,
+      "loss": 2.0129,
+      "step": 1457
+    },
+    {
+      "epoch": 1.9426666666666668,
+      "grad_norm": 0.25315603651912,
+      "learning_rate": 3.0536155777449286e-06,
+      "loss": 2.0817,
+      "step": 1458
+    },
+    {
+      "epoch": 1.944,
+      "grad_norm": 0.3262394782523973,
+      "learning_rate": 3.0510944418752107e-06,
+      "loss": 2.0268,
+      "step": 1459
+    },
+    {
+      "epoch": 1.9453333333333334,
+      "grad_norm": 0.24583375657010237,
+      "learning_rate": 3.0486339046758926e-06,
+      "loss": 2.1838,
+      "step": 1460
+    },
+    {
+      "epoch": 1.9466666666666668,
+      "grad_norm": 0.29652635538435207,
+      "learning_rate": 3.0462339772337723e-06,
+      "loss": 2.2371,
+      "step": 1461
+    },
+    {
+      "epoch": 1.948,
+      "grad_norm": 0.2930834603653301,
+      "learning_rate": 3.0438946703625493e-06,
+      "loss": 1.9095,
+      "step": 1462
+    },
+    {
+      "epoch": 1.9493333333333334,
+      "grad_norm": 0.2708595435056247,
+      "learning_rate": 3.041615994602773e-06,
+      "loss": 2.1743,
+      "step": 1463
+    },
+    {
+      "epoch": 1.9506666666666668,
+      "grad_norm": 0.38078883664592234,
+      "learning_rate": 3.0393979602218026e-06,
+      "loss": 1.8426,
+      "step": 1464
+    },
+    {
+      "epoch": 1.952,
+      "grad_norm": 0.36741068078972533,
+      "learning_rate": 3.037240577213754e-06,
+      "loss": 1.9806,
+      "step": 1465
+    },
+    {
+      "epoch": 1.9533333333333334,
+      "grad_norm": 0.3034412452420098,
+      "learning_rate": 3.03514385529946e-06,
+      "loss": 2.0411,
+      "step": 1466
+    },
+    {
+      "epoch": 1.9546666666666668,
+      "grad_norm": 0.31551480812729643,
+      "learning_rate": 3.033107803926422e-06,
+      "loss": 1.9182,
+      "step": 1467
+    },
+    {
+      "epoch": 1.956,
+      "grad_norm": 0.3505442619116313,
+      "learning_rate": 3.031132432268769e-06,
+      "loss": 2.0734,
+      "step": 1468
+    },
+    {
+      "epoch": 1.9573333333333334,
+      "grad_norm": 0.3448938979635124,
+      "learning_rate": 3.0292177492272175e-06,
+      "loss": 1.6531,
+      "step": 1469
+    },
+    {
+      "epoch": 1.9586666666666668,
+      "grad_norm": 0.29158657476806576,
+      "learning_rate": 3.027363763429031e-06,
+      "loss": 1.9476,
+      "step": 1470
+    },
+    {
+      "epoch": 1.96,
+      "grad_norm": 0.27852954726435414,
+      "learning_rate": 3.0255704832279807e-06,
+      "loss": 1.8429,
+      "step": 1471
+    },
+    {
+      "epoch": 1.9613333333333334,
+      "grad_norm": 0.31460304629913655,
+      "learning_rate": 3.023837916704308e-06,
+      "loss": 2.062,
+      "step": 1472
+    },
+    {
+      "epoch": 1.9626666666666668,
+      "grad_norm": 0.2667233695584214,
+      "learning_rate": 3.0221660716646853e-06,
+      "loss": 2.0153,
+      "step": 1473
+    },
+    {
+      "epoch": 1.964,
+      "grad_norm": 0.3146094774355961,
+      "learning_rate": 3.0205549556421875e-06,
+      "loss": 1.9807,
+      "step": 1474
+    },
+    {
+      "epoch": 1.9653333333333334,
+      "grad_norm": 0.40073157303912005,
+      "learning_rate": 3.0190045758962515e-06,
+      "loss": 2.0516,
+      "step": 1475
+    },
+    {
+      "epoch": 1.9666666666666668,
+      "grad_norm": 0.3291560437675029,
+      "learning_rate": 3.0175149394126444e-06,
+      "loss": 1.7695,
+      "step": 1476
+    },
+    {
+      "epoch": 1.968,
+      "grad_norm": 0.34746164945067376,
+      "learning_rate": 3.016086052903439e-06,
+      "loss": 1.8917,
+      "step": 1477
+    },
+    {
+      "epoch": 1.9693333333333334,
+      "grad_norm": 0.4132228545820542,
+      "learning_rate": 3.0147179228069735e-06,
+      "loss": 1.8209,
+      "step": 1478
+    },
+    {
+      "epoch": 1.9706666666666668,
+      "grad_norm": 0.2625707122745248,
+      "learning_rate": 3.0134105552878304e-06,
+      "loss": 2.1471,
+      "step": 1479
+    },
+    {
+      "epoch": 1.972,
+      "grad_norm": 0.517164210893396,
+      "learning_rate": 3.012163956236801e-06,
+      "loss": 2.0709,
+      "step": 1480
+    },
+    {
+      "epoch": 1.9733333333333334,
+      "grad_norm": 0.3145002779176351,
+      "learning_rate": 3.0109781312708676e-06,
+      "loss": 2.06,
+      "step": 1481
+    },
+    {
+      "epoch": 1.9746666666666668,
+      "grad_norm": 0.3968762390567781,
+      "learning_rate": 3.009853085733172e-06,
+      "loss": 1.8761,
+      "step": 1482
+    },
+    {
+      "epoch": 1.976,
+      "grad_norm": 0.30350523368451976,
+      "learning_rate": 3.008788824692994e-06,
+      "loss": 1.9464,
+      "step": 1483
+    },
+    {
+      "epoch": 1.9773333333333334,
+      "grad_norm": 0.29526468153444246,
+      "learning_rate": 3.0077853529457293e-06,
+      "loss": 2.1874,
+      "step": 1484
+    },
+    {
+      "epoch": 1.9786666666666668,
+      "grad_norm": 0.3192888574254121,
+      "learning_rate": 3.0068426750128627e-06,
+      "loss": 1.8496,
+      "step": 1485
+    },
+    {
+      "epoch": 1.98,
+      "grad_norm": 0.24176082497513032,
+      "learning_rate": 3.0059607951419562e-06,
+      "loss": 2.1863,
+      "step": 1486
+    },
+    {
+      "epoch": 1.9813333333333332,
+      "grad_norm": 0.2804718411296737,
+      "learning_rate": 3.0051397173066202e-06,
+      "loss": 2.1876,
+      "step": 1487
+    },
+    {
+      "epoch": 1.9826666666666668,
+      "grad_norm": 0.252626464360028,
+      "learning_rate": 3.004379445206506e-06,
+      "loss": 2.3013,
+      "step": 1488
+    },
+    {
+      "epoch": 1.984,
+      "grad_norm": 0.27921572772978404,
+      "learning_rate": 3.00367998226728e-06,
+      "loss": 2.0027,
+      "step": 1489
+    },
+    {
+      "epoch": 1.9853333333333332,
+      "grad_norm": 0.38571714557567593,
+      "learning_rate": 3.0030413316406127e-06,
+      "loss": 1.6291,
+      "step": 1490
+    },
+    {
+      "epoch": 1.9866666666666668,
+      "grad_norm": 0.42882385178762716,
+      "learning_rate": 3.002463496204165e-06,
+      "loss": 1.9582,
+      "step": 1491
+    },
+    {
+      "epoch": 1.988,
+      "grad_norm": 0.33788948109996964,
+      "learning_rate": 3.0019464785615725e-06,
+      "loss": 2.0199,
+      "step": 1492
+    },
+    {
+      "epoch": 1.9893333333333332,
+      "grad_norm": 0.3444792585905819,
+      "learning_rate": 3.001490281042437e-06,
+      "loss": 2.0115,
+      "step": 1493
+    },
+    {
+      "epoch": 1.9906666666666668,
+      "grad_norm": 0.35609492323095676,
+      "learning_rate": 3.0010949057023123e-06,
+      "loss": 1.9811,
+      "step": 1494
+    },
+    {
+      "epoch": 1.992,
+      "grad_norm": 0.30003868849911497,
+      "learning_rate": 3.0007603543226976e-06,
+      "loss": 2.1403,
+      "step": 1495
+    },
+    {
+      "epoch": 1.9933333333333332,
+      "grad_norm": 0.2960682501478522,
+      "learning_rate": 3.0004866284110317e-06,
+      "loss": 2.0825,
+      "step": 1496
+    },
+    {
+      "epoch": 1.9946666666666668,
+      "grad_norm": 0.2966433305056246,
+      "learning_rate": 3.000273729200678e-06,
+      "loss": 2.385,
+      "step": 1497
+    },
+    {
+      "epoch": 1.996,
+      "grad_norm": 0.2867093174965728,
+      "learning_rate": 3.0001216576509283e-06,
+      "loss": 1.7812,
+      "step": 1498
+    },
+    {
+      "epoch": 1.9973333333333332,
+      "grad_norm": 0.3110912131772926,
+      "learning_rate": 3.000030414446992e-06,
+      "loss": 2.0159,
+      "step": 1499
+    },
+    {
+      "epoch": 1.9986666666666668,
+      "grad_norm": 0.3051325896596767,
+      "learning_rate": 3e-06,
+      "loss": 2.1652,
+      "step": 1500
+    },
+    {
+      "epoch": 1.9986666666666668,
+      "eval_loss": 1.71974778175354,
+      "eval_runtime": 98.5502,
+      "eval_samples_per_second": 1.015,
+      "eval_steps_per_second": 0.254,
+      "step": 1500
+    }
+  ],
+  "logging_steps": 1,
+  "max_steps": 1500,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 2,
+  "save_steps": 375,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 349100310528000.0,
+  "train_batch_size": 1,
+  "trial_name": null,
+  "trial_params": null
+}