{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.9986666666666668,
  "eval_steps": 75,
  "global_step": 1500,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0013333333333333333,
      "grad_norm": 5.494853571957073,
      "learning_rate": 1.5e-06,
      "loss": 2.2794,
      "step": 1
    },
    {
      "epoch": 0.0013333333333333333,
      "eval_loss": 1.8317261934280396,
      "eval_runtime": 98.252,
      "eval_samples_per_second": 1.018,
      "eval_steps_per_second": 0.254,
      "step": 1
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 0.4396391591358924,
      "learning_rate": 3e-06,
      "loss": 2.2089,
      "step": 2
    },
    {
      "epoch": 0.004,
      "grad_norm": 0.6704432458412378,
      "learning_rate": 4.5e-06,
      "loss": 2.3789,
      "step": 3
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 0.5524719828039701,
      "learning_rate": 6e-06,
      "loss": 1.9508,
      "step": 4
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 1.551345196476793,
      "learning_rate": 7.5e-06,
      "loss": 2.3302,
      "step": 5
    },
    {
      "epoch": 0.008,
      "grad_norm": 1.4425623787692365,
      "learning_rate": 9e-06,
      "loss": 2.4649,
      "step": 6
    },
    {
      "epoch": 0.009333333333333334,
      "grad_norm": 1.9558403413673842,
      "learning_rate": 1.05e-05,
      "loss": 2.5318,
      "step": 7
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 0.6930931382639645,
      "learning_rate": 1.2e-05,
      "loss": 1.9398,
      "step": 8
    },
    {
      "epoch": 0.012,
      "grad_norm": 0.40522998481846323,
      "learning_rate": 1.3500000000000001e-05,
      "loss": 2.4355,
      "step": 9
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 2.194079323679347,
      "learning_rate": 1.5e-05,
      "loss": 2.3417,
      "step": 10
    },
    {
      "epoch": 0.014666666666666666,
      "grad_norm": 2.5436460717739156,
      "learning_rate": 1.65e-05,
      "loss": 2.4571,
      "step": 11
    },
    {
      "epoch": 0.016,
      "grad_norm": 1.9496092240793341,
      "learning_rate": 1.8e-05,
      "loss": 1.9637,
      "step": 12
    },
    {
      "epoch": 0.017333333333333333,
      "grad_norm": 1.2616722727237577,
      "learning_rate": 1.95e-05,
      "loss": 2.5866,
      "step": 13
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 0.3060862022495338,
      "learning_rate": 2.1e-05,
      "loss": 2.1547,
      "step": 14
    },
    {
      "epoch": 0.02,
      "grad_norm": 0.5028816367161089,
      "learning_rate": 2.25e-05,
      "loss": 1.8957,
      "step": 15
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 0.5034069784636721,
      "learning_rate": 2.4e-05,
      "loss": 2.1151,
      "step": 16
    },
    {
      "epoch": 0.02266666666666667,
      "grad_norm": 1.5564960276262187,
      "learning_rate": 2.55e-05,
      "loss": 2.3041,
      "step": 17
    },
    {
      "epoch": 0.024,
      "grad_norm": 0.4958603020666427,
      "learning_rate": 2.7000000000000002e-05,
      "loss": 2.0962,
      "step": 18
    },
    {
      "epoch": 0.025333333333333333,
      "grad_norm": 1.5362995691059922,
      "learning_rate": 2.8499999999999998e-05,
      "loss": 2.3989,
      "step": 19
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 0.648652241685575,
      "learning_rate": 3e-05,
      "loss": 2.5339,
      "step": 20
    },
    {
      "epoch": 0.028,
      "grad_norm": 0.554470724602306,
      "learning_rate": 2.999996958555301e-05,
      "loss": 2.4793,
      "step": 21
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 1.3508987707917082,
      "learning_rate": 2.999987834234907e-05,
      "loss": 2.3167,
      "step": 22
    },
    {
      "epoch": 0.030666666666666665,
      "grad_norm": 0.4599504691462346,
      "learning_rate": 2.9999726270799325e-05,
      "loss": 2.36,
      "step": 23
    },
    {
      "epoch": 0.032,
      "grad_norm": 1.0007538870075432,
      "learning_rate": 2.999951337158897e-05,
      "loss": 2.2342,
      "step": 24
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 0.8436818785690442,
      "learning_rate": 2.9999239645677304e-05,
      "loss": 2.2803,
      "step": 25
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 0.37337797248642607,
      "learning_rate": 2.9998905094297686e-05,
      "loss": 2.188,
      "step": 26
    },
    {
      "epoch": 0.036,
      "grad_norm": 0.16596641795830927,
      "learning_rate": 2.9998509718957563e-05,
      "loss": 2.105,
      "step": 27
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 0.3163756174860874,
      "learning_rate": 2.9998053521438427e-05,
      "loss": 2.1819,
      "step": 28
    },
    {
      "epoch": 0.03866666666666667,
      "grad_norm": 0.73179742586677,
      "learning_rate": 2.9997536503795834e-05,
      "loss": 2.2281,
      "step": 29
    },
    {
      "epoch": 0.04,
      "grad_norm": 0.18793418314598326,
      "learning_rate": 2.9996958668359386e-05,
      "loss": 2.1174,
      "step": 30
    },
    {
      "epoch": 0.04133333333333333,
      "grad_norm": 0.6403343407451153,
      "learning_rate": 2.999632001773272e-05,
      "loss": 2.3419,
      "step": 31
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 0.2773466547599625,
      "learning_rate": 2.9995620554793495e-05,
      "loss": 1.9779,
      "step": 32
    },
    {
      "epoch": 0.044,
      "grad_norm": 0.42992322954286805,
      "learning_rate": 2.999486028269338e-05,
      "loss": 1.891,
      "step": 33
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 0.3880877285520559,
      "learning_rate": 2.9994039204858043e-05,
      "loss": 1.9488,
      "step": 34
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 0.38995745148913935,
      "learning_rate": 2.999315732498714e-05,
      "loss": 2.5013,
      "step": 35
    },
    {
      "epoch": 0.048,
      "grad_norm": 0.4228621926559084,
      "learning_rate": 2.999221464705427e-05,
      "loss": 2.1356,
      "step": 36
    },
    {
      "epoch": 0.04933333333333333,
      "grad_norm": 0.4663890399818879,
      "learning_rate": 2.9991211175307006e-05,
      "loss": 2.155,
      "step": 37
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 0.5287155786829871,
      "learning_rate": 2.9990146914266826e-05,
      "loss": 1.8496,
      "step": 38
    },
    {
      "epoch": 0.052,
      "grad_norm": 0.33925018851926647,
      "learning_rate": 2.9989021868729135e-05,
      "loss": 2.1315,
      "step": 39
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 0.16522140027488588,
      "learning_rate": 2.99878360437632e-05,
      "loss": 2.0977,
      "step": 40
    },
    {
      "epoch": 0.05466666666666667,
      "grad_norm": 0.6355838754971164,
      "learning_rate": 2.998658944471217e-05,
      "loss": 2.1459,
      "step": 41
    },
    {
      "epoch": 0.056,
      "grad_norm": 0.26447590316147407,
      "learning_rate": 2.9985282077193026e-05,
      "loss": 2.0833,
      "step": 42
    },
    {
      "epoch": 0.05733333333333333,
      "grad_norm": 0.29258668895913753,
      "learning_rate": 2.9983913947096563e-05,
      "loss": 2.2603,
      "step": 43
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 0.2920264557478038,
      "learning_rate": 2.9982485060587357e-05,
      "loss": 1.9828,
      "step": 44
    },
    {
      "epoch": 0.06,
      "grad_norm": 0.3860467745966656,
      "learning_rate": 2.9980995424103748e-05,
      "loss": 2.4214,
      "step": 45
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 0.5757512413804123,
      "learning_rate": 2.9979445044357814e-05,
      "loss": 2.212,
      "step": 46
    },
    {
      "epoch": 0.06266666666666666,
      "grad_norm": 0.21304621427134704,
      "learning_rate": 2.9977833928335316e-05,
      "loss": 1.9271,
      "step": 47
    },
    {
      "epoch": 0.064,
      "grad_norm": 0.3301257012003079,
      "learning_rate": 2.9976162083295694e-05,
      "loss": 2.0472,
      "step": 48
    },
    {
      "epoch": 0.06533333333333333,
      "grad_norm": 0.3008211448973632,
      "learning_rate": 2.9974429516772018e-05,
      "loss": 2.4323,
      "step": 49
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 0.26704445986476444,
      "learning_rate": 2.997263623657097e-05,
      "loss": 2.003,
      "step": 50
    },
    {
      "epoch": 0.068,
      "grad_norm": 0.24343367493238866,
      "learning_rate": 2.9970782250772786e-05,
      "loss": 1.9911,
      "step": 51
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 0.36868774906810614,
      "learning_rate": 2.9968867567731233e-05,
      "loss": 2.3312,
      "step": 52
    },
    {
      "epoch": 0.07066666666666667,
      "grad_norm": 0.4346673091737939,
      "learning_rate": 2.9966892196073583e-05,
      "loss": 2.0461,
      "step": 53
    },
    {
      "epoch": 0.072,
      "grad_norm": 0.27732062938320917,
      "learning_rate": 2.996485614470054e-05,
      "loss": 1.8782,
      "step": 54
    },
    {
      "epoch": 0.07333333333333333,
      "grad_norm": 0.5044098714622329,
      "learning_rate": 2.9962759422786248e-05,
      "loss": 2.3024,
      "step": 55
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 0.35584299953539106,
      "learning_rate": 2.9960602039778196e-05,
      "loss": 1.9019,
      "step": 56
    },
    {
      "epoch": 0.076,
      "grad_norm": 0.25515628575898364,
      "learning_rate": 2.995838400539723e-05,
      "loss": 2.1745,
      "step": 57
    },
    {
      "epoch": 0.07733333333333334,
      "grad_norm": 0.22266755698926835,
      "learning_rate": 2.9956105329637454e-05,
      "loss": 2.3572,
      "step": 58
    },
    {
      "epoch": 0.07866666666666666,
      "grad_norm": 0.23590376658875728,
      "learning_rate": 2.9953766022766228e-05,
      "loss": 2.2639,
      "step": 59
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.19958974114647998,
      "learning_rate": 2.9951366095324108e-05,
      "loss": 2.2983,
      "step": 60
    },
    {
      "epoch": 0.08133333333333333,
      "grad_norm": 0.26170668739549613,
      "learning_rate": 2.994890555812479e-05,
      "loss": 1.7797,
      "step": 61
    },
    {
      "epoch": 0.08266666666666667,
      "grad_norm": 0.1947500638232896,
      "learning_rate": 2.9946384422255074e-05,
      "loss": 2.232,
      "step": 62
    },
    {
      "epoch": 0.084,
      "grad_norm": 0.18048707660964908,
      "learning_rate": 2.9943802699074796e-05,
      "loss": 2.3487,
      "step": 63
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 0.21913225188044025,
      "learning_rate": 2.994116040021681e-05,
      "loss": 2.1964,
      "step": 64
    },
    {
      "epoch": 0.08666666666666667,
      "grad_norm": 0.4242826633242974,
      "learning_rate": 2.9938457537586896e-05,
      "loss": 2.3137,
      "step": 65
    },
    {
      "epoch": 0.088,
      "grad_norm": 0.2557454392806272,
      "learning_rate": 2.9935694123363727e-05,
      "loss": 2.1458,
      "step": 66
    },
    {
      "epoch": 0.08933333333333333,
      "grad_norm": 0.3093808768168103,
      "learning_rate": 2.9932870169998825e-05,
      "loss": 2.1153,
      "step": 67
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 0.33819459397450213,
      "learning_rate": 2.9929985690216478e-05,
      "loss": 2.0772,
      "step": 68
    },
    {
      "epoch": 0.092,
      "grad_norm": 0.21377958208808176,
      "learning_rate": 2.9927040697013705e-05,
      "loss": 2.1949,
      "step": 69
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 0.2652218777029591,
      "learning_rate": 2.9924035203660188e-05,
      "loss": 2.0031,
      "step": 70
    },
    {
      "epoch": 0.09466666666666666,
      "grad_norm": 0.23574741210798578,
      "learning_rate": 2.9920969223698202e-05,
      "loss": 1.9449,
      "step": 71
    },
    {
      "epoch": 0.096,
      "grad_norm": 0.2226926959097067,
      "learning_rate": 2.991784277094258e-05,
      "loss": 2.031,
      "step": 72
    },
    {
      "epoch": 0.09733333333333333,
      "grad_norm": 0.24814250998530846,
      "learning_rate": 2.9914655859480632e-05,
      "loss": 2.0921,
      "step": 73
    },
    {
      "epoch": 0.09866666666666667,
      "grad_norm": 0.33914254917033065,
      "learning_rate": 2.991140850367208e-05,
      "loss": 2.2183,
      "step": 74
    },
    {
      "epoch": 0.1,
      "grad_norm": 0.25867270370266443,
      "learning_rate": 2.990810071814901e-05,
      "loss": 1.6416,
      "step": 75
    },
    {
      "epoch": 0.1,
      "eval_loss": 1.782590389251709,
      "eval_runtime": 98.6583,
      "eval_samples_per_second": 1.014,
      "eval_steps_per_second": 0.253,
      "step": 75
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 0.22920181089355457,
      "learning_rate": 2.990473251781578e-05,
      "loss": 2.1863,
      "step": 76
    },
    {
      "epoch": 0.10266666666666667,
      "grad_norm": 0.18274633553603156,
      "learning_rate": 2.9901303917848977e-05,
      "loss": 2.2399,
      "step": 77
    },
    {
      "epoch": 0.104,
      "grad_norm": 0.18220877055008589,
      "learning_rate": 2.9897814933697335e-05,
      "loss": 1.9149,
      "step": 78
    },
    {
      "epoch": 0.10533333333333333,
      "grad_norm": 0.2021601886002538,
      "learning_rate": 2.9894265581081682e-05,
      "loss": 2.199,
      "step": 79
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 3.7616720925364286,
      "learning_rate": 2.989065587599484e-05,
      "loss": 2.1179,
      "step": 80
    },
    {
      "epoch": 0.108,
      "grad_norm": 0.23407462358542114,
      "learning_rate": 2.9886985834701577e-05,
      "loss": 2.5661,
      "step": 81
    },
    {
      "epoch": 0.10933333333333334,
      "grad_norm": 1.5338568979686038,
      "learning_rate": 2.9883255473738523e-05,
      "loss": 2.2263,
      "step": 82
    },
    {
      "epoch": 0.11066666666666666,
      "grad_norm": 0.24500727274505268,
      "learning_rate": 2.9879464809914113e-05,
      "loss": 2.0621,
      "step": 83
    },
    {
      "epoch": 0.112,
      "grad_norm": 0.21179059127462146,
      "learning_rate": 2.987561386030848e-05,
      "loss": 2.0356,
      "step": 84
    },
    {
      "epoch": 0.11333333333333333,
      "grad_norm": 0.3306008087329227,
      "learning_rate": 2.9871702642273404e-05,
      "loss": 2.0848,
      "step": 85
    },
    {
      "epoch": 0.11466666666666667,
      "grad_norm": 0.15657087812683942,
      "learning_rate": 2.9867731173432215e-05,
      "loss": 2.2127,
      "step": 86
    },
    {
      "epoch": 0.116,
      "grad_norm": 0.1886500437129195,
      "learning_rate": 2.9863699471679743e-05,
      "loss": 1.9854,
      "step": 87
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 0.22974349537556282,
      "learning_rate": 2.9859607555182206e-05,
      "loss": 2.1972,
      "step": 88
    },
    {
      "epoch": 0.11866666666666667,
      "grad_norm": 0.2578002903522265,
      "learning_rate": 2.9855455442377135e-05,
      "loss": 2.1804,
      "step": 89
    },
    {
      "epoch": 0.12,
      "grad_norm": 0.24109737247334548,
      "learning_rate": 2.9851243151973314e-05,
      "loss": 1.9523,
      "step": 90
    },
    {
      "epoch": 0.12133333333333333,
      "grad_norm": 0.34121465203098633,
      "learning_rate": 2.9846970702950653e-05,
      "loss": 1.9493,
      "step": 91
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 0.2069391899522312,
      "learning_rate": 2.9842638114560144e-05,
      "loss": 2.2207,
      "step": 92
    },
    {
      "epoch": 0.124,
      "grad_norm": 0.41038744334249916,
      "learning_rate": 2.9838245406323763e-05,
      "loss": 2.0954,
      "step": 93
    },
    {
      "epoch": 0.12533333333333332,
      "grad_norm": 0.2818876029106677,
      "learning_rate": 2.9833792598034362e-05,
      "loss": 2.063,
      "step": 94
    },
    {
      "epoch": 0.12666666666666668,
      "grad_norm": 0.3963506275688602,
      "learning_rate": 2.9829279709755597e-05,
      "loss": 1.9915,
      "step": 95
    },
    {
      "epoch": 0.128,
      "grad_norm": 0.3357399751778237,
      "learning_rate": 2.9824706761821845e-05,
      "loss": 2.0319,
      "step": 96
    },
    {
      "epoch": 0.12933333333333333,
      "grad_norm": 0.2484694376564558,
      "learning_rate": 2.9820073774838092e-05,
      "loss": 1.9593,
      "step": 97
    },
    {
      "epoch": 0.13066666666666665,
      "grad_norm": 0.28583010649806945,
      "learning_rate": 2.9815380769679853e-05,
      "loss": 2.0876,
      "step": 98
    },
    {
      "epoch": 0.132,
      "grad_norm": 0.2839808516235786,
      "learning_rate": 2.9810627767493083e-05,
      "loss": 2.107,
      "step": 99
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.22309498057469626,
      "learning_rate": 2.9805814789694065e-05,
      "loss": 2.3163,
      "step": 100
    },
    {
      "epoch": 0.13466666666666666,
      "grad_norm": 0.21629704903995522,
      "learning_rate": 2.9800941857969325e-05,
      "loss": 1.9568,
      "step": 101
    },
    {
      "epoch": 0.136,
      "grad_norm": 0.2498232144819958,
      "learning_rate": 2.9796008994275533e-05,
      "loss": 2.2436,
      "step": 102
    },
    {
      "epoch": 0.13733333333333334,
      "grad_norm": 0.23251794806618262,
      "learning_rate": 2.979101622083941e-05,
      "loss": 2.1077,
      "step": 103
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 0.27094215165929786,
      "learning_rate": 2.978596356015761e-05,
      "loss": 2.2429,
      "step": 104
    },
    {
      "epoch": 0.14,
      "grad_norm": 0.23381976958310982,
      "learning_rate": 2.978085103499663e-05,
      "loss": 2.1045,
      "step": 105
    },
    {
      "epoch": 0.14133333333333334,
      "grad_norm": 0.31137413672950875,
      "learning_rate": 2.9775678668392713e-05,
      "loss": 2.2828,
      "step": 106
    },
    {
      "epoch": 0.14266666666666666,
      "grad_norm": 0.2510514954722372,
      "learning_rate": 2.9770446483651735e-05,
      "loss": 2.0488,
      "step": 107
    },
    {
      "epoch": 0.144,
      "grad_norm": 0.20677625084575546,
      "learning_rate": 2.976515450434911e-05,
      "loss": 2.0007,
      "step": 108
    },
    {
      "epoch": 0.14533333333333334,
      "grad_norm": 0.1441931078695141,
      "learning_rate": 2.9759802754329665e-05,
      "loss": 2.2914,
      "step": 109
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 0.2505777324570115,
      "learning_rate": 2.9754391257707555e-05,
      "loss": 2.3766,
      "step": 110
    },
    {
      "epoch": 0.148,
      "grad_norm": 0.15292718959769924,
      "learning_rate": 2.9748920038866134e-05,
      "loss": 2.0941,
      "step": 111
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 0.323283263320876,
      "learning_rate": 2.9743389122457864e-05,
      "loss": 2.249,
      "step": 112
    },
    {
      "epoch": 0.15066666666666667,
      "grad_norm": 0.18122528780601804,
      "learning_rate": 2.9737798533404195e-05,
      "loss": 2.225,
      "step": 113
    },
    {
      "epoch": 0.152,
      "grad_norm": 0.1959413592260722,
      "learning_rate": 2.9732148296895444e-05,
      "loss": 2.2521,
      "step": 114
    },
    {
      "epoch": 0.15333333333333332,
      "grad_norm": 0.3035240193818014,
      "learning_rate": 2.9726438438390702e-05,
      "loss": 1.8693,
      "step": 115
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 0.18185372954938864,
      "learning_rate": 2.9720668983617685e-05,
      "loss": 1.7352,
      "step": 116
    },
    {
      "epoch": 0.156,
      "grad_norm": 0.22324589503263917,
      "learning_rate": 2.9714839958572674e-05,
      "loss": 2.1327,
      "step": 117
    },
    {
      "epoch": 0.15733333333333333,
      "grad_norm": 0.17640470731953065,
      "learning_rate": 2.9708951389520338e-05,
      "loss": 2.3011,
      "step": 118
    },
    {
      "epoch": 0.15866666666666668,
      "grad_norm": 0.22566777150432568,
      "learning_rate": 2.970300330299365e-05,
      "loss": 2.2591,
      "step": 119
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.26753575405847074,
      "learning_rate": 2.9696995725793764e-05,
      "loss": 1.9764,
      "step": 120
    },
    {
      "epoch": 0.16133333333333333,
      "grad_norm": 0.2625838791216609,
      "learning_rate": 2.969092868498988e-05,
      "loss": 2.0906,
      "step": 121
    },
    {
      "epoch": 0.16266666666666665,
      "grad_norm": 0.23542440806071088,
      "learning_rate": 2.9684802207919144e-05,
      "loss": 2.331,
      "step": 122
    },
    {
      "epoch": 0.164,
      "grad_norm": 0.16614596830245607,
      "learning_rate": 2.9678616322186506e-05,
      "loss": 2.0534,
      "step": 123
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 0.2087450409416601,
      "learning_rate": 2.9672371055664598e-05,
      "loss": 2.3241,
      "step": 124
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 0.19314135153093137,
      "learning_rate": 2.9666066436493612e-05,
      "loss": 2.0654,
      "step": 125
    },
    {
      "epoch": 0.168,
      "grad_norm": 0.21431158762567906,
      "learning_rate": 2.9659702493081184e-05,
      "loss": 1.9973,
      "step": 126
    },
    {
      "epoch": 0.16933333333333334,
      "grad_norm": 1.9808549742241428,
      "learning_rate": 2.965327925410226e-05,
      "loss": 2.0077,
      "step": 127
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 0.26139018103307665,
      "learning_rate": 2.9646796748498934e-05,
      "loss": 2.0224,
      "step": 128
    },
    {
      "epoch": 0.172,
      "grad_norm": 0.25005627301032396,
      "learning_rate": 2.9640255005480376e-05,
      "loss": 2.2725,
      "step": 129
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 0.15880416331686953,
      "learning_rate": 2.9633654054522655e-05,
      "loss": 2.2907,
      "step": 130
    },
    {
      "epoch": 0.17466666666666666,
      "grad_norm": 0.33529634494995547,
      "learning_rate": 2.9626993925368635e-05,
      "loss": 2.0113,
      "step": 131
    },
    {
      "epoch": 0.176,
      "grad_norm": 0.28246655756719385,
      "learning_rate": 2.9620274648027805e-05,
      "loss": 1.6602,
      "step": 132
    },
    {
      "epoch": 0.17733333333333334,
      "grad_norm": 0.19752740198982274,
      "learning_rate": 2.96134962527762e-05,
      "loss": 2.4049,
      "step": 133
    },
    {
      "epoch": 0.17866666666666667,
      "grad_norm": 0.24132626803001633,
      "learning_rate": 2.960665877015619e-05,
      "loss": 1.9882,
      "step": 134
    },
    {
      "epoch": 0.18,
      "grad_norm": 0.20387262050547844,
      "learning_rate": 2.959976223097642e-05,
      "loss": 2.1055,
      "step": 135
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 0.1624504592181784,
      "learning_rate": 2.9592806666311612e-05,
      "loss": 2.0519,
      "step": 136
    },
    {
      "epoch": 0.18266666666666667,
      "grad_norm": 0.17429829196685362,
      "learning_rate": 2.958579210750246e-05,
      "loss": 2.2465,
      "step": 137
    },
    {
      "epoch": 0.184,
      "grad_norm": 0.20450521945125338,
      "learning_rate": 2.9578718586155467e-05,
      "loss": 2.0122,
      "step": 138
    },
    {
      "epoch": 0.18533333333333332,
      "grad_norm": 0.25553899821370907,
      "learning_rate": 2.9571586134142824e-05,
      "loss": 1.9806,
      "step": 139
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 0.18251828378522442,
      "learning_rate": 2.956439478360224e-05,
      "loss": 2.0153,
      "step": 140
    },
    {
      "epoch": 0.188,
      "grad_norm": 0.27047669211119385,
      "learning_rate": 2.9557144566936813e-05,
      "loss": 2.3386,
      "step": 141
    },
    {
      "epoch": 0.18933333333333333,
      "grad_norm": 0.25054213266869674,
      "learning_rate": 2.9549835516814905e-05,
      "loss": 1.8871,
      "step": 142
    },
    {
      "epoch": 0.19066666666666668,
      "grad_norm": 0.2177646465341283,
      "learning_rate": 2.9542467666169946e-05,
      "loss": 1.9861,
      "step": 143
    },
    {
      "epoch": 0.192,
      "grad_norm": 0.23131873734472552,
      "learning_rate": 2.953504104820032e-05,
      "loss": 2.2903,
      "step": 144
    },
    {
      "epoch": 0.19333333333333333,
      "grad_norm": 0.19112449587530203,
      "learning_rate": 2.9527555696369217e-05,
      "loss": 2.079,
      "step": 145
    },
    {
      "epoch": 0.19466666666666665,
      "grad_norm": 0.25269202301867255,
      "learning_rate": 2.9520011644404457e-05,
      "loss": 2.0033,
      "step": 146
    },
    {
      "epoch": 0.196,
      "grad_norm": 0.27870777753889076,
      "learning_rate": 2.9512408926298362e-05,
      "loss": 2.0747,
      "step": 147
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 0.2356849572111222,
      "learning_rate": 2.9504747576307594e-05,
      "loss": 1.9859,
      "step": 148
    },
    {
      "epoch": 0.19866666666666666,
      "grad_norm": 0.24802404030831268,
      "learning_rate": 2.9497027628953e-05,
      "loss": 1.9636,
      "step": 149
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.2705817304080749,
      "learning_rate": 2.9489249119019465e-05,
      "loss": 2.3547,
      "step": 150
    },
    {
      "epoch": 0.2,
      "eval_loss": 1.764258623123169,
      "eval_runtime": 98.8204,
      "eval_samples_per_second": 1.012,
      "eval_steps_per_second": 0.253,
      "step": 150
    },
    {
      "epoch": 0.20133333333333334,
      "grad_norm": 0.2582615198348039,
      "learning_rate": 2.948141208155574e-05,
      "loss": 2.0245,
      "step": 151
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 0.4907789285423073,
      "learning_rate": 2.9473516551874283e-05,
      "loss": 2.0994,
      "step": 152
    },
    {
      "epoch": 0.204,
      "grad_norm": 0.18922034328138926,
      "learning_rate": 2.946556256555113e-05,
      "loss": 2.323,
      "step": 153
    },
    {
      "epoch": 0.20533333333333334,
      "grad_norm": 0.2033901054041812,
      "learning_rate": 2.94575501584257e-05,
      "loss": 2.0412,
      "step": 154
    },
    {
      "epoch": 0.20666666666666667,
      "grad_norm": 0.44181703724009636,
      "learning_rate": 2.9449479366600646e-05,
      "loss": 2.0977,
      "step": 155
    },
    {
      "epoch": 0.208,
      "grad_norm": 0.23299679001877052,
      "learning_rate": 2.94413502264417e-05,
      "loss": 2.1351,
      "step": 156
    },
    {
      "epoch": 0.20933333333333334,
      "grad_norm": 0.1826511129435199,
      "learning_rate": 2.94331627745775e-05,
      "loss": 2.23,
      "step": 157
    },
    {
      "epoch": 0.21066666666666667,
      "grad_norm": 0.21212768867139842,
      "learning_rate": 2.9424917047899425e-05,
      "loss": 2.1412,
      "step": 158
    },
    {
      "epoch": 0.212,
      "grad_norm": 0.3826582810934168,
      "learning_rate": 2.9416613083561428e-05,
      "loss": 2.2128,
      "step": 159
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 0.19962942232450726,
      "learning_rate": 2.9408250918979886e-05,
      "loss": 1.9778,
      "step": 160
    },
    {
      "epoch": 0.21466666666666667,
      "grad_norm": 0.1694294631609089,
      "learning_rate": 2.9399830591833407e-05,
      "loss": 2.4602,
      "step": 161
    },
    {
      "epoch": 0.216,
      "grad_norm": 0.2899013004381108,
      "learning_rate": 2.9391352140062668e-05,
      "loss": 1.9118,
      "step": 162
    },
    {
      "epoch": 0.21733333333333332,
      "grad_norm": 0.23107679488781446,
      "learning_rate": 2.9382815601870252e-05,
      "loss": 2.0482,
      "step": 163
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 0.21890406305674734,
      "learning_rate": 2.9374221015720465e-05,
      "loss": 2.041,
      "step": 164
    },
    {
      "epoch": 0.22,
      "grad_norm": 0.23483748269482313,
      "learning_rate": 2.9365568420339173e-05,
      "loss": 2.2775,
      "step": 165
    },
    {
      "epoch": 0.22133333333333333,
      "grad_norm": 0.2872971245253849,
      "learning_rate": 2.9356857854713628e-05,
      "loss": 1.9568,
      "step": 166
    },
    {
      "epoch": 0.22266666666666668,
      "grad_norm": 0.2372348840011155,
      "learning_rate": 2.9348089358092266e-05,
      "loss": 2.262,
      "step": 167
    },
    {
      "epoch": 0.224,
      "grad_norm": 0.36284791627622115,
      "learning_rate": 2.9339262969984575e-05,
      "loss": 2.083,
      "step": 168
    },
    {
      "epoch": 0.22533333333333333,
      "grad_norm": 0.29336818899957795,
      "learning_rate": 2.9330378730160882e-05,
      "loss": 1.9668,
      "step": 169
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 0.2201337837382957,
      "learning_rate": 2.932143667865218e-05,
      "loss": 2.2411,
      "step": 170
    },
    {
      "epoch": 0.228,
      "grad_norm": 0.23312129174527574,
      "learning_rate": 2.931243685574997e-05,
      "loss": 1.7557,
      "step": 171
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 0.2158943628320117,
      "learning_rate": 2.930337930200603e-05,
      "loss": 2.2391,
      "step": 172
    },
    {
      "epoch": 0.23066666666666666,
      "grad_norm": 0.22961082626415702,
      "learning_rate": 2.929426405823231e-05,
      "loss": 1.983,
      "step": 173
    },
    {
      "epoch": 0.232,
      "grad_norm": 0.1589890947108339,
      "learning_rate": 2.9285091165500653e-05,
      "loss": 2.2212,
      "step": 174
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 0.3416891731513133,
      "learning_rate": 2.9275860665142697e-05,
      "loss": 2.151,
      "step": 175
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 0.3116792178273567,
      "learning_rate": 2.9266572598749632e-05,
      "loss": 1.9779,
      "step": 176
    },
    {
      "epoch": 0.236,
      "grad_norm": 0.2507975453340776,
      "learning_rate": 2.925722700817204e-05,
      "loss": 1.8828,
      "step": 177
    },
    {
      "epoch": 0.23733333333333334,
      "grad_norm": 0.2679656189407352,
      "learning_rate": 2.9247823935519685e-05,
      "loss": 2.0387,
      "step": 178
    },
    {
      "epoch": 0.23866666666666667,
      "grad_norm": 0.23989994031916193,
      "learning_rate": 2.9238363423161357e-05,
      "loss": 2.0543,
      "step": 179
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.1858192959656248,
      "learning_rate": 2.9228845513724636e-05,
      "loss": 2.1298,
      "step": 180
    },
    {
      "epoch": 0.24133333333333334,
      "grad_norm": 0.2634790646951208,
      "learning_rate": 2.921927025009575e-05,
      "loss": 1.8913,
      "step": 181
    },
    {
      "epoch": 0.24266666666666667,
      "grad_norm": 0.2022924360136422,
      "learning_rate": 2.920963767541933e-05,
      "loss": 2.125,
      "step": 182
    },
    {
      "epoch": 0.244,
      "grad_norm": 0.2093674676298739,
      "learning_rate": 2.919994783309827e-05,
      "loss": 2.0787,
      "step": 183
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 0.21965402179914853,
      "learning_rate": 2.9190200766793476e-05,
      "loss": 2.2001,
      "step": 184
    },
    {
      "epoch": 0.24666666666666667,
      "grad_norm": 0.1853707607114335,
      "learning_rate": 2.9180396520423712e-05,
      "loss": 2.2625,
      "step": 185
    },
    {
      "epoch": 0.248,
      "grad_norm": 0.16161978911997635,
      "learning_rate": 2.9170535138165386e-05,
      "loss": 2.1841,
      "step": 186
    },
    {
      "epoch": 0.24933333333333332,
      "grad_norm": 0.3229805512119213,
      "learning_rate": 2.9160616664452343e-05,
      "loss": 2.3706,
      "step": 187
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 0.2836753076906196,
      "learning_rate": 2.915064114397568e-05,
      "loss": 1.6237,
      "step": 188
    },
    {
      "epoch": 0.252,
      "grad_norm": 0.2698172260057232,
      "learning_rate": 2.9140608621683537e-05,
      "loss": 1.6731,
      "step": 189
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 0.19227100326585553,
      "learning_rate": 2.913051914278089e-05,
      "loss": 2.3641,
      "step": 190
    },
    {
      "epoch": 0.25466666666666665,
      "grad_norm": 0.17075536856147475,
      "learning_rate": 2.9120372752729364e-05,
      "loss": 2.1405,
      "step": 191
    },
    {
      "epoch": 0.256,
      "grad_norm": 0.18977706986071732,
      "learning_rate": 2.9110169497247005e-05,
      "loss": 2.2104,
      "step": 192
    },
    {
      "epoch": 0.25733333333333336,
      "grad_norm": 0.19137759329665405,
      "learning_rate": 2.909990942230809e-05,
      "loss": 2.0225,
      "step": 193
    },
    {
      "epoch": 0.25866666666666666,
      "grad_norm": 1.565607637042905,
      "learning_rate": 2.9089592574142925e-05,
      "loss": 1.8544,
      "step": 194
    },
    {
      "epoch": 0.26,
      "grad_norm": 0.19540116729751783,
      "learning_rate": 2.9079218999237602e-05,
      "loss": 2.3062,
      "step": 195
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 0.210417328406617,
      "learning_rate": 2.9068788744333847e-05,
      "loss": 2.1931,
      "step": 196
    },
    {
      "epoch": 0.26266666666666666,
      "grad_norm": 0.17528914661443556,
      "learning_rate": 2.905830185642875e-05,
      "loss": 2.213,
      "step": 197
    },
    {
      "epoch": 0.264,
      "grad_norm": 0.19180797982535258,
      "learning_rate": 2.90477583827746e-05,
      "loss": 2.0999,
      "step": 198
    },
    {
      "epoch": 0.2653333333333333,
      "grad_norm": 0.20387611359379645,
      "learning_rate": 2.903715837087864e-05,
      "loss": 2.4077,
      "step": 199
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.37614141580385196,
      "learning_rate": 2.9026501868502878e-05,
      "loss": 2.345,
      "step": 200
    },
    {
      "epoch": 0.268,
      "grad_norm": 0.23854637338124732,
      "learning_rate": 2.901578892366384e-05,
      "loss": 1.9616,
      "step": 201
    },
    {
      "epoch": 0.2693333333333333,
      "grad_norm": 0.360995797147823,
      "learning_rate": 2.9005019584632385e-05,
      "loss": 2.2637,
      "step": 202
    },
    {
      "epoch": 0.27066666666666667,
      "grad_norm": 0.1964827412506095,
      "learning_rate": 2.899419389993348e-05,
      "loss": 2.2153,
      "step": 203
    },
    {
      "epoch": 0.272,
      "grad_norm": 0.2697880949391648,
      "learning_rate": 2.8983311918345973e-05,
      "loss": 1.8934,
      "step": 204
    },
    {
      "epoch": 0.2733333333333333,
      "grad_norm": 0.2583392197903811,
      "learning_rate": 2.8972373688902372e-05,
      "loss": 2.1552,
      "step": 205
    },
    {
      "epoch": 0.27466666666666667,
      "grad_norm": 0.2368677594314249,
      "learning_rate": 2.8961379260888634e-05,
      "loss": 2.1976,
      "step": 206
    },
    {
      "epoch": 0.276,
      "grad_norm": 0.28279002863897235,
      "learning_rate": 2.895032868384393e-05,
      "loss": 2.0461,
      "step": 207
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 0.17431186704640889,
      "learning_rate": 2.8939222007560446e-05,
      "loss": 2.2258,
      "step": 208
    },
    {
      "epoch": 0.2786666666666667,
      "grad_norm": 0.2607071149284682,
      "learning_rate": 2.8928059282083126e-05,
      "loss": 1.8783,
      "step": 209
    },
    {
      "epoch": 0.28,
      "grad_norm": 0.16929508986851496,
      "learning_rate": 2.8916840557709474e-05,
      "loss": 2.21,
      "step": 210
    },
    {
      "epoch": 0.2813333333333333,
      "grad_norm": 0.30196081586191537,
      "learning_rate": 2.8905565884989304e-05,
      "loss": 2.2047,
      "step": 211
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 0.22938305453707358,
      "learning_rate": 2.889423531472455e-05,
      "loss": 2.1314,
      "step": 212
    },
    {
      "epoch": 0.284,
      "grad_norm": 0.24253705098980116,
      "learning_rate": 2.8882848897968974e-05,
      "loss": 1.9166,
      "step": 213
    },
    {
      "epoch": 0.2853333333333333,
      "grad_norm": 0.21184383213391744,
      "learning_rate": 2.8871406686028006e-05,
      "loss": 2.1445,
      "step": 214
    },
    {
      "epoch": 0.2866666666666667,
      "grad_norm": 0.20065002671794552,
      "learning_rate": 2.885990873045846e-05,
      "loss": 2.2053,
      "step": 215
    },
    {
      "epoch": 0.288,
      "grad_norm": 0.20595618063455937,
      "learning_rate": 2.884835508306833e-05,
      "loss": 2.0275,
      "step": 216
    },
    {
      "epoch": 0.28933333333333333,
      "grad_norm": 0.22663216643758846,
      "learning_rate": 2.883674579591656e-05,
      "loss": 2.1399,
      "step": 217
    },
    {
      "epoch": 0.2906666666666667,
      "grad_norm": 0.20459405622917667,
      "learning_rate": 2.8825080921312775e-05,
      "loss": 2.0352,
      "step": 218
    },
    {
      "epoch": 0.292,
      "grad_norm": 0.24151264290319524,
      "learning_rate": 2.8813360511817092e-05,
      "loss": 2.0821,
      "step": 219
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 0.2377001051292377,
      "learning_rate": 2.8801584620239833e-05,
      "loss": 2.0448,
      "step": 220
    },
    {
      "epoch": 0.2946666666666667,
      "grad_norm": 0.3689003556922912,
      "learning_rate": 2.878975329964134e-05,
      "loss": 2.107,
      "step": 221
    },
    {
      "epoch": 0.296,
      "grad_norm": 0.19280049013174935,
      "learning_rate": 2.877786660333169e-05,
      "loss": 2.2571,
      "step": 222
    },
    {
      "epoch": 0.29733333333333334,
      "grad_norm": 0.25684356289858495,
      "learning_rate": 2.876592458487049e-05,
      "loss": 1.9243,
      "step": 223
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 0.2460391604188184,
      "learning_rate": 2.8753927298066608e-05,
      "loss": 2.0996,
      "step": 224
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.2287761563539284,
      "learning_rate": 2.8741874796977947e-05,
      "loss": 1.9114,
      "step": 225
    },
    {
      "epoch": 0.3,
      "eval_loss": 1.7546015977859497,
      "eval_runtime": 98.7181,
      "eval_samples_per_second": 1.013,
      "eval_steps_per_second": 0.253,
      "step": 225
    },
    {
      "epoch": 0.30133333333333334,
      "grad_norm": 0.31900423121867244,
      "learning_rate": 2.8729767135911197e-05,
      "loss": 1.5513,
      "step": 226
    },
    {
      "epoch": 0.30266666666666664,
      "grad_norm": 0.21099907718331903,
      "learning_rate": 2.8717604369421587e-05,
      "loss": 1.8735,
      "step": 227
    },
    {
      "epoch": 0.304,
      "grad_norm": 0.23179334925928516,
      "learning_rate": 2.8705386552312647e-05,
      "loss": 2.0279,
      "step": 228
    },
    {
      "epoch": 0.30533333333333335,
      "grad_norm": 0.2249602605454057,
      "learning_rate": 2.869311373963596e-05,
      "loss": 2.1506,
      "step": 229
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 0.30614551906788895,
      "learning_rate": 2.8680785986690903e-05,
      "loss": 2.0057,
      "step": 230
    },
    {
      "epoch": 0.308,
      "grad_norm": 0.32936171428483624,
      "learning_rate": 2.86684033490244e-05,
      "loss": 1.9719,
      "step": 231
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 0.21095264296363714,
      "learning_rate": 2.8655965882430697e-05,
      "loss": 2.0526,
      "step": 232
    },
    {
      "epoch": 0.31066666666666665,
      "grad_norm": 0.2506508450731689,
      "learning_rate": 2.8643473642951066e-05,
      "loss": 2.034,
      "step": 233
    },
    {
      "epoch": 0.312,
      "grad_norm": 0.16272890488221511,
      "learning_rate": 2.8630926686873598e-05,
      "loss": 2.2394,
      "step": 234
    },
    {
      "epoch": 0.31333333333333335,
      "grad_norm": 0.2636216414291072,
      "learning_rate": 2.8618325070732918e-05,
      "loss": 1.9559,
      "step": 235
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 0.239263175250845,
      "learning_rate": 2.860566885130994e-05,
      "loss": 1.9268,
      "step": 236
    },
    {
      "epoch": 0.316,
      "grad_norm": 0.3034572733475333,
      "learning_rate": 2.8592958085631616e-05,
      "loss": 2.4146,
      "step": 237
    },
    {
      "epoch": 0.31733333333333336,
      "grad_norm": 0.22016199356343413,
      "learning_rate": 2.8580192830970674e-05,
      "loss": 1.901,
      "step": 238
    },
    {
      "epoch": 0.31866666666666665,
      "grad_norm": 0.23102023640647829,
      "learning_rate": 2.856737314484536e-05,
      "loss": 2.1498,
      "step": 239
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.20238380453993177,
      "learning_rate": 2.8554499085019177e-05,
      "loss": 2.0954,
      "step": 240
    },
    {
      "epoch": 0.32133333333333336,
      "grad_norm": 0.20808439458283837,
      "learning_rate": 2.854157070950063e-05,
      "loss": 2.0783,
      "step": 241
    },
    {
      "epoch": 0.32266666666666666,
      "grad_norm": 0.278146848673199,
      "learning_rate": 2.8528588076542966e-05,
      "loss": 1.7518,
      "step": 242
    },
    {
      "epoch": 0.324,
      "grad_norm": 0.20915907784327617,
      "learning_rate": 2.8515551244643903e-05,
      "loss": 1.7229,
      "step": 243
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 0.5420477506537028,
      "learning_rate": 2.850246027254537e-05,
      "loss": 1.758,
      "step": 244
    },
    {
      "epoch": 0.32666666666666666,
      "grad_norm": 0.2800677412041746,
      "learning_rate": 2.8489315219233248e-05,
      "loss": 1.9584,
      "step": 245
    },
    {
      "epoch": 0.328,
      "grad_norm": 0.22569958386724373,
      "learning_rate": 2.847611614393709e-05,
      "loss": 2.1033,
      "step": 246
    },
    {
      "epoch": 0.3293333333333333,
      "grad_norm": 0.28225543933402175,
      "learning_rate": 2.846286310612988e-05,
      "loss": 2.2579,
      "step": 247
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 0.25637825153268795,
      "learning_rate": 2.844955616552773e-05,
      "loss": 1.9495,
      "step": 248
    },
    {
      "epoch": 0.332,
      "grad_norm": 0.3042322338758206,
      "learning_rate": 2.8436195382089644e-05,
      "loss": 2.2247,
      "step": 249
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 0.2110291139150889,
      "learning_rate": 2.8422780816017227e-05,
      "loss": 2.2582,
      "step": 250
    },
    {
      "epoch": 0.33466666666666667,
      "grad_norm": 0.24476057607988286,
      "learning_rate": 2.8409312527754417e-05,
      "loss": 2.1626,
      "step": 251
    },
    {
      "epoch": 0.336,
      "grad_norm": 0.19859582662498323,
      "learning_rate": 2.8395790577987225e-05,
      "loss": 2.0592,
      "step": 252
    },
    {
      "epoch": 0.3373333333333333,
      "grad_norm": 0.2560077569832347,
      "learning_rate": 2.8382215027643447e-05,
      "loss": 1.9116,
      "step": 253
    },
    {
      "epoch": 0.33866666666666667,
      "grad_norm": 0.2325816082873428,
      "learning_rate": 2.836858593789239e-05,
      "loss": 2.1088,
      "step": 254
    },
    {
      "epoch": 0.34,
      "grad_norm": 0.2633745282570676,
      "learning_rate": 2.8354903370144613e-05,
      "loss": 2.3106,
      "step": 255
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 0.25738882949934827,
      "learning_rate": 2.834116738605162e-05,
      "loss": 1.9449,
      "step": 256
    },
    {
      "epoch": 0.3426666666666667,
      "grad_norm": 0.19022713562039067,
      "learning_rate": 2.8327378047505625e-05,
      "loss": 2.0301,
      "step": 257
    },
    {
      "epoch": 0.344,
      "grad_norm": 0.21459535231309906,
      "learning_rate": 2.8313535416639232e-05,
      "loss": 2.3784,
      "step": 258
    },
    {
      "epoch": 0.3453333333333333,
      "grad_norm": 0.2725347155581082,
      "learning_rate": 2.829963955582518e-05,
      "loss": 1.9749,
      "step": 259
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 0.23824574091343387,
      "learning_rate": 2.828569052767604e-05,
      "loss": 2.1253,
      "step": 260
    },
    {
      "epoch": 0.348,
      "grad_norm": 0.30927788905161807,
      "learning_rate": 2.8271688395043965e-05,
      "loss": 1.6379,
      "step": 261
    },
    {
      "epoch": 0.34933333333333333,
      "grad_norm": 0.13916235450047149,
      "learning_rate": 2.8257633221020382e-05,
      "loss": 2.0781,
      "step": 262
    },
    {
      "epoch": 0.3506666666666667,
      "grad_norm": 0.2038351351610376,
      "learning_rate": 2.8243525068935705e-05,
      "loss": 2.1167,
      "step": 263
    },
    {
      "epoch": 0.352,
      "grad_norm": 0.2282060698474947,
      "learning_rate": 2.8229364002359074e-05,
      "loss": 1.9761,
      "step": 264
    },
    {
      "epoch": 0.35333333333333333,
      "grad_norm": 0.19533951565078514,
      "learning_rate": 2.821515008509804e-05,
      "loss": 2.3902,
      "step": 265
    },
    {
      "epoch": 0.3546666666666667,
      "grad_norm": 0.22231788208405978,
      "learning_rate": 2.8200883381198297e-05,
      "loss": 2.2763,
      "step": 266
    },
    {
      "epoch": 0.356,
      "grad_norm": 0.17343255119399525,
      "learning_rate": 2.818656395494339e-05,
      "loss": 2.1964,
      "step": 267
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 0.3190889201723669,
      "learning_rate": 2.817219187085442e-05,
      "loss": 1.8898,
      "step": 268
    },
    {
      "epoch": 0.3586666666666667,
      "grad_norm": 0.25221058014306336,
      "learning_rate": 2.8157767193689753e-05,
      "loss": 2.2137,
      "step": 269
    },
    {
      "epoch": 0.36,
      "grad_norm": 0.25456852526288787,
      "learning_rate": 2.8143289988444737e-05,
      "loss": 2.1055,
      "step": 270
    },
    {
      "epoch": 0.36133333333333334,
      "grad_norm": 0.4387988494124866,
      "learning_rate": 2.8128760320351403e-05,
      "loss": 2.0767,
      "step": 271
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 0.27199878538165156,
      "learning_rate": 2.8114178254878156e-05,
      "loss": 2.1353,
      "step": 272
    },
    {
      "epoch": 0.364,
      "grad_norm": 0.2650737962386425,
      "learning_rate": 2.8099543857729525e-05,
      "loss": 2.037,
      "step": 273
    },
    {
      "epoch": 0.36533333333333334,
      "grad_norm": 0.19178775730316125,
      "learning_rate": 2.808485719484581e-05,
      "loss": 2.2227,
      "step": 274
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 0.2495538747593823,
      "learning_rate": 2.8070118332402827e-05,
      "loss": 2.1111,
      "step": 275
    },
    {
      "epoch": 0.368,
      "grad_norm": 0.23278524231204606,
      "learning_rate": 2.8055327336811585e-05,
      "loss": 2.0269,
      "step": 276
    },
    {
      "epoch": 0.36933333333333335,
      "grad_norm": 0.2909743741626987,
      "learning_rate": 2.804048427471801e-05,
      "loss": 1.9845,
      "step": 277
    },
    {
      "epoch": 0.37066666666666664,
      "grad_norm": 0.5654501769424853,
      "learning_rate": 2.8025589213002624e-05,
      "loss": 1.9375,
      "step": 278
    },
    {
      "epoch": 0.372,
      "grad_norm": 0.24272194924805965,
      "learning_rate": 2.8010642218780246e-05,
      "loss": 1.9151,
      "step": 279
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 0.23044549921686833,
      "learning_rate": 2.7995643359399703e-05,
      "loss": 2.1577,
      "step": 280
    },
    {
      "epoch": 0.37466666666666665,
      "grad_norm": 0.2297518184027699,
      "learning_rate": 2.7980592702443518e-05,
      "loss": 2.2779,
      "step": 281
    },
    {
      "epoch": 0.376,
      "grad_norm": 0.43013668653840365,
      "learning_rate": 2.79654903157276e-05,
      "loss": 1.9419,
      "step": 282
    },
    {
      "epoch": 0.37733333333333335,
      "grad_norm": 0.23835905215528563,
      "learning_rate": 2.795033626730095e-05,
      "loss": 2.1743,
      "step": 283
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 0.2813058642182358,
      "learning_rate": 2.793513062544534e-05,
      "loss": 2.0095,
      "step": 284
    },
    {
      "epoch": 0.38,
      "grad_norm": 0.34406979517562547,
      "learning_rate": 2.7919873458675022e-05,
      "loss": 1.9489,
      "step": 285
    },
    {
      "epoch": 0.38133333333333336,
      "grad_norm": 0.32231785755728004,
      "learning_rate": 2.790456483573642e-05,
      "loss": 1.58,
      "step": 286
    },
    {
      "epoch": 0.38266666666666665,
      "grad_norm": 0.19333385414604146,
      "learning_rate": 2.788920482560779e-05,
      "loss": 1.9752,
      "step": 287
    },
    {
      "epoch": 0.384,
      "grad_norm": 0.1765295794157884,
      "learning_rate": 2.7873793497498945e-05,
      "loss": 2.0614,
      "step": 288
    },
    {
      "epoch": 0.38533333333333336,
      "grad_norm": 0.16114993710297087,
      "learning_rate": 2.7858330920850923e-05,
      "loss": 2.2809,
      "step": 289
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 0.23825781911565472,
      "learning_rate": 2.784281716533568e-05,
      "loss": 2.1522,
      "step": 290
    },
    {
      "epoch": 0.388,
      "grad_norm": 0.17001985217323573,
      "learning_rate": 2.782725230085579e-05,
      "loss": 1.9506,
      "step": 291
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 0.26309455211904453,
      "learning_rate": 2.7811636397544094e-05,
      "loss": 2.2083,
      "step": 292
    },
    {
      "epoch": 0.39066666666666666,
      "grad_norm": 0.20730249929125907,
      "learning_rate": 2.7795969525763418e-05,
      "loss": 2.2347,
      "step": 293
    },
    {
      "epoch": 0.392,
      "grad_norm": 0.24136453807928746,
      "learning_rate": 2.7780251756106242e-05,
      "loss": 2.029,
      "step": 294
    },
    {
      "epoch": 0.3933333333333333,
      "grad_norm": 0.35339039676185235,
      "learning_rate": 2.7764483159394384e-05,
      "loss": 2.211,
      "step": 295
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 0.25636488066657487,
      "learning_rate": 2.7748663806678684e-05,
      "loss": 2.1863,
      "step": 296
    },
    {
      "epoch": 0.396,
      "grad_norm": 0.20584179603071404,
      "learning_rate": 2.7732793769238674e-05,
      "loss": 2.2463,
      "step": 297
    },
    {
      "epoch": 0.3973333333333333,
      "grad_norm": 0.23027068378292892,
      "learning_rate": 2.7716873118582266e-05,
      "loss": 2.2356,
      "step": 298
    },
    {
      "epoch": 0.39866666666666667,
      "grad_norm": 0.192849837559735,
      "learning_rate": 2.770090192644543e-05,
      "loss": 2.2441,
      "step": 299
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.2685272097028798,
      "learning_rate": 2.768488026479187e-05,
      "loss": 2.0004,
      "step": 300
    },
    {
      "epoch": 0.4,
      "eval_loss": 1.7474404573440552,
      "eval_runtime": 98.8253,
      "eval_samples_per_second": 1.012,
      "eval_steps_per_second": 0.253,
      "step": 300
    },
    {
      "epoch": 0.4013333333333333,
      "grad_norm": 0.26520047905722166,
      "learning_rate": 2.766880820581269e-05,
      "loss": 2.0768,
      "step": 301
    },
    {
      "epoch": 0.4026666666666667,
      "grad_norm": 0.31076708165257216,
      "learning_rate": 2.765268582192608e-05,
      "loss": 2.0636,
      "step": 302
    },
    {
      "epoch": 0.404,
      "grad_norm": 0.25216548132506456,
      "learning_rate": 2.763651318577699e-05,
      "loss": 2.0432,
      "step": 303
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 0.2393514712031434,
      "learning_rate": 2.7620290370236786e-05,
      "loss": 2.3461,
      "step": 304
    },
    {
      "epoch": 0.4066666666666667,
      "grad_norm": 0.21599798017132937,
      "learning_rate": 2.7604017448402954e-05,
      "loss": 2.3087,
      "step": 305
    },
    {
      "epoch": 0.408,
      "grad_norm": 0.3082071954730338,
      "learning_rate": 2.7587694493598743e-05,
      "loss": 1.9302,
      "step": 306
    },
    {
      "epoch": 0.4093333333333333,
      "grad_norm": 0.21921446809175332,
      "learning_rate": 2.7571321579372835e-05,
      "loss": 2.1354,
      "step": 307
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 0.2141708374659774,
      "learning_rate": 2.7554898779499025e-05,
      "loss": 2.0915,
      "step": 308
    },
    {
      "epoch": 0.412,
      "grad_norm": 0.2615730026982423,
      "learning_rate": 2.7538426167975895e-05,
      "loss": 1.9005,
      "step": 309
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 0.24746987092185013,
      "learning_rate": 2.7521903819026457e-05,
      "loss": 2.129,
      "step": 310
    },
    {
      "epoch": 0.4146666666666667,
      "grad_norm": 0.23072670442926277,
      "learning_rate": 2.7505331807097845e-05,
      "loss": 2.1061,
      "step": 311
    },
    {
      "epoch": 0.416,
      "grad_norm": 3.0090982638780748,
      "learning_rate": 2.7488710206860944e-05,
      "loss": 2.1382,
      "step": 312
    },
    {
      "epoch": 0.41733333333333333,
      "grad_norm": 0.2705418179646343,
      "learning_rate": 2.7472039093210108e-05,
      "loss": 2.2219,
      "step": 313
    },
    {
      "epoch": 0.4186666666666667,
      "grad_norm": 0.3567890646341258,
      "learning_rate": 2.7455318541262768e-05,
      "loss": 1.6885,
      "step": 314
    },
    {
      "epoch": 0.42,
      "grad_norm": 0.20851488835910675,
      "learning_rate": 2.743854862635912e-05,
      "loss": 1.947,
      "step": 315
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 0.24844212488624198,
      "learning_rate": 2.742172942406179e-05,
      "loss": 2.1564,
      "step": 316
    },
    {
      "epoch": 0.4226666666666667,
      "grad_norm": 0.304277870351501,
      "learning_rate": 2.7404861010155477e-05,
      "loss": 1.8723,
      "step": 317
    },
    {
      "epoch": 0.424,
      "grad_norm": 0.20754447108795832,
      "learning_rate": 2.7387943460646624e-05,
      "loss": 2.4758,
      "step": 318
    },
    {
      "epoch": 0.42533333333333334,
      "grad_norm": 0.24883308801860618,
      "learning_rate": 2.7370976851763068e-05,
      "loss": 1.6462,
      "step": 319
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.23024352142002386,
      "learning_rate": 2.73539612599537e-05,
      "loss": 2.1038,
      "step": 320
    },
    {
      "epoch": 0.428,
      "grad_norm": 0.3139739867715439,
      "learning_rate": 2.7336896761888126e-05,
      "loss": 1.902,
      "step": 321
    },
    {
      "epoch": 0.42933333333333334,
      "grad_norm": 0.21999868040548332,
      "learning_rate": 2.7319783434456306e-05,
      "loss": 2.171,
      "step": 322
    },
    {
      "epoch": 0.43066666666666664,
      "grad_norm": 0.2467001853935637,
      "learning_rate": 2.7302621354768233e-05,
      "loss": 1.9828,
      "step": 323
    },
    {
      "epoch": 0.432,
      "grad_norm": 0.2496730220022523,
      "learning_rate": 2.728541060015356e-05,
      "loss": 2.3413,
      "step": 324
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 0.4056202922850381,
      "learning_rate": 2.7268151248161253e-05,
      "loss": 2.0407,
      "step": 325
    },
    {
      "epoch": 0.43466666666666665,
      "grad_norm": 0.2171839709482431,
      "learning_rate": 2.7250843376559265e-05,
      "loss": 2.0089,
      "step": 326
    },
    {
      "epoch": 0.436,
      "grad_norm": 0.26937671179427725,
      "learning_rate": 2.7233487063334172e-05,
      "loss": 2.2827,
      "step": 327
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 0.20567971005307945,
      "learning_rate": 2.7216082386690804e-05,
      "loss": 2.2386,
      "step": 328
    },
    {
      "epoch": 0.43866666666666665,
      "grad_norm": 0.2027173811893726,
      "learning_rate": 2.7198629425051917e-05,
      "loss": 2.3031,
      "step": 329
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.2980323024473477,
      "learning_rate": 2.7181128257057846e-05,
      "loss": 2.1883,
      "step": 330
    },
    {
      "epoch": 0.44133333333333336,
      "grad_norm": 0.20192851290457803,
      "learning_rate": 2.716357896156611e-05,
      "loss": 1.9459,
      "step": 331
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 0.2871519578556366,
      "learning_rate": 2.7145981617651108e-05,
      "loss": 2.1742,
      "step": 332
    },
    {
      "epoch": 0.444,
      "grad_norm": 0.1949811627760568,
      "learning_rate": 2.712833630460372e-05,
      "loss": 2.2647,
      "step": 333
    },
    {
      "epoch": 0.44533333333333336,
      "grad_norm": 0.2741619826374072,
      "learning_rate": 2.7110643101930978e-05,
      "loss": 1.9767,
      "step": 334
    },
    {
      "epoch": 0.44666666666666666,
      "grad_norm": 0.22305808717890685,
      "learning_rate": 2.7092902089355693e-05,
      "loss": 1.9271,
      "step": 335
    },
    {
      "epoch": 0.448,
      "grad_norm": 0.31086274795948865,
      "learning_rate": 2.7075113346816092e-05,
      "loss": 1.9092,
      "step": 336
    },
    {
      "epoch": 0.4493333333333333,
      "grad_norm": 0.34135122978923976,
      "learning_rate": 2.7057276954465484e-05,
      "loss": 1.9028,
      "step": 337
    },
    {
      "epoch": 0.45066666666666666,
      "grad_norm": 0.2422925649756551,
      "learning_rate": 2.703939299267186e-05,
      "loss": 2.3585,
      "step": 338
    },
    {
      "epoch": 0.452,
      "grad_norm": 0.21763822152397602,
      "learning_rate": 2.702146154201757e-05,
      "loss": 1.9407,
      "step": 339
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 0.26419913958274843,
      "learning_rate": 2.7003482683298935e-05,
      "loss": 2.0248,
      "step": 340
    },
    {
      "epoch": 0.45466666666666666,
      "grad_norm": 0.2463717390301776,
      "learning_rate": 2.698545649752588e-05,
      "loss": 2.0147,
      "step": 341
    },
    {
      "epoch": 0.456,
      "grad_norm": 0.21124149059138703,
      "learning_rate": 2.696738306592159e-05,
      "loss": 1.9508,
      "step": 342
    },
    {
      "epoch": 0.4573333333333333,
      "grad_norm": 0.2758662340977994,
      "learning_rate": 2.694926246992213e-05,
      "loss": 2.1917,
      "step": 343
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 0.30773115319803324,
      "learning_rate": 2.693109479117608e-05,
      "loss": 2.0674,
      "step": 344
    },
    {
      "epoch": 0.46,
      "grad_norm": 0.23761648514026573,
      "learning_rate": 2.6912880111544163e-05,
      "loss": 2.0919,
      "step": 345
    },
    {
      "epoch": 0.4613333333333333,
      "grad_norm": 0.25681238620857727,
      "learning_rate": 2.6894618513098882e-05,
      "loss": 1.9084,
      "step": 346
    },
    {
      "epoch": 0.46266666666666667,
      "grad_norm": 0.22830005506281845,
      "learning_rate": 2.687631007812415e-05,
      "loss": 2.056,
      "step": 347
    },
    {
      "epoch": 0.464,
      "grad_norm": 0.2947866578986673,
      "learning_rate": 2.6857954889114923e-05,
      "loss": 1.7343,
      "step": 348
    },
    {
      "epoch": 0.4653333333333333,
      "grad_norm": 0.24624687251309207,
      "learning_rate": 2.6839553028776817e-05,
      "loss": 2.2644,
      "step": 349
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 0.23775099815354966,
      "learning_rate": 2.682110458002575e-05,
      "loss": 2.0576,
      "step": 350
    },
    {
      "epoch": 0.468,
      "grad_norm": 0.24126580378308465,
      "learning_rate": 2.6802609625987548e-05,
      "loss": 2.1331,
      "step": 351
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 0.26152377053961967,
      "learning_rate": 2.6784068249997586e-05,
      "loss": 2.194,
      "step": 352
    },
    {
      "epoch": 0.4706666666666667,
      "grad_norm": 0.2670202218764803,
      "learning_rate": 2.676548053560042e-05,
      "loss": 1.885,
      "step": 353
    },
    {
      "epoch": 0.472,
      "grad_norm": 0.2227627113395291,
      "learning_rate": 2.674684656654938e-05,
      "loss": 2.2919,
      "step": 354
    },
    {
      "epoch": 0.47333333333333333,
      "grad_norm": 0.5386305755161744,
      "learning_rate": 2.6728166426806237e-05,
      "loss": 2.1106,
      "step": 355
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 0.2713934931123545,
      "learning_rate": 2.6709440200540778e-05,
      "loss": 1.9203,
      "step": 356
    },
    {
      "epoch": 0.476,
      "grad_norm": 0.2687463890320937,
      "learning_rate": 2.669066797213046e-05,
      "loss": 2.0278,
      "step": 357
    },
    {
      "epoch": 0.47733333333333333,
      "grad_norm": 0.2420523080214261,
      "learning_rate": 2.6671849826160018e-05,
      "loss": 1.9393,
      "step": 358
    },
    {
      "epoch": 0.4786666666666667,
      "grad_norm": 0.2400087971667011,
      "learning_rate": 2.6652985847421074e-05,
      "loss": 2.1867,
      "step": 359
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.28320805189191467,
      "learning_rate": 2.663407612091178e-05,
      "loss": 1.8562,
      "step": 360
    },
    {
      "epoch": 0.48133333333333334,
      "grad_norm": 0.20819758118379753,
      "learning_rate": 2.6615120731836412e-05,
      "loss": 2.0647,
      "step": 361
    },
    {
      "epoch": 0.4826666666666667,
      "grad_norm": 0.19756628127478343,
      "learning_rate": 2.6596119765604996e-05,
      "loss": 2.1335,
      "step": 362
    },
    {
      "epoch": 0.484,
      "grad_norm": 0.26928306040248223,
      "learning_rate": 2.6577073307832925e-05,
      "loss": 2.0874,
      "step": 363
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 0.2164920362315045,
      "learning_rate": 2.655798144434056e-05,
      "loss": 2.1714,
      "step": 364
    },
    {
      "epoch": 0.4866666666666667,
      "grad_norm": 0.24919806333780237,
      "learning_rate": 2.6538844261152863e-05,
      "loss": 1.9509,
      "step": 365
    },
    {
      "epoch": 0.488,
      "grad_norm": 0.27032556044133776,
      "learning_rate": 2.6519661844498997e-05,
      "loss": 1.801,
      "step": 366
    },
    {
      "epoch": 0.48933333333333334,
      "grad_norm": 0.26804357878114354,
      "learning_rate": 2.650043428081194e-05,
      "loss": 2.1762,
      "step": 367
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 0.3572135575195324,
      "learning_rate": 2.6481161656728093e-05,
      "loss": 1.9907,
      "step": 368
    },
    {
      "epoch": 0.492,
      "grad_norm": 0.20724767007565056,
      "learning_rate": 2.646184405908689e-05,
      "loss": 2.0845,
      "step": 369
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 0.29461252876218635,
      "learning_rate": 2.6442481574930417e-05,
      "loss": 2.0182,
      "step": 370
    },
    {
      "epoch": 0.49466666666666664,
      "grad_norm": 0.32302958691645034,
      "learning_rate": 2.6423074291503e-05,
      "loss": 1.8637,
      "step": 371
    },
    {
      "epoch": 0.496,
      "grad_norm": 0.21633487662675288,
      "learning_rate": 2.6403622296250843e-05,
      "loss": 2.1181,
      "step": 372
    },
    {
      "epoch": 0.49733333333333335,
      "grad_norm": 0.23982202171517725,
      "learning_rate": 2.6384125676821594e-05,
      "loss": 2.2663,
      "step": 373
    },
    {
      "epoch": 0.49866666666666665,
      "grad_norm": 0.26674040749443334,
      "learning_rate": 2.636458452106398e-05,
      "loss": 1.9904,
      "step": 374
    },
    {
      "epoch": 0.5,
      "grad_norm": 0.20615794890547487,
      "learning_rate": 2.63449989170274e-05,
      "loss": 2.2052,
      "step": 375
    },
    {
      "epoch": 0.5,
      "eval_loss": 1.7428412437438965,
      "eval_runtime": 98.8155,
      "eval_samples_per_second": 1.012,
      "eval_steps_per_second": 0.253,
      "step": 375
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 0.21975919244022424,
      "learning_rate": 2.6325368952961525e-05,
      "loss": 2.2344,
      "step": 376
    },
    {
      "epoch": 0.5026666666666667,
      "grad_norm": 0.3511713966144426,
      "learning_rate": 2.6305694717315924e-05,
      "loss": 1.9296,
      "step": 377
    },
    {
      "epoch": 0.504,
      "grad_norm": 0.2478362671784885,
      "learning_rate": 2.628597629873962e-05,
      "loss": 2.3063,
      "step": 378
    },
    {
      "epoch": 0.5053333333333333,
      "grad_norm": 0.2607115263658857,
      "learning_rate": 2.626621378608074e-05,
      "loss": 2.0627,
      "step": 379
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 0.2164836472576184,
      "learning_rate": 2.624640726838608e-05,
      "loss": 2.2111,
      "step": 380
    },
    {
      "epoch": 0.508,
      "grad_norm": 0.26262335545259213,
      "learning_rate": 2.622655683490072e-05,
      "loss": 2.135,
      "step": 381
    },
    {
      "epoch": 0.5093333333333333,
      "grad_norm": 0.3929953560993829,
      "learning_rate": 2.6206662575067612e-05,
      "loss": 2.0104,
      "step": 382
    },
    {
      "epoch": 0.5106666666666667,
      "grad_norm": 0.34025016050394374,
      "learning_rate": 2.6186724578527196e-05,
      "loss": 2.1592,
      "step": 383
    },
    {
      "epoch": 0.512,
      "grad_norm": 0.23150100757885902,
      "learning_rate": 2.6166742935116967e-05,
      "loss": 2.2252,
      "step": 384
    },
    {
      "epoch": 0.5133333333333333,
      "grad_norm": 0.20480910397432198,
      "learning_rate": 2.6146717734871092e-05,
      "loss": 2.1451,
      "step": 385
    },
    {
      "epoch": 0.5146666666666667,
      "grad_norm": 0.3320045250749023,
      "learning_rate": 2.6126649068020004e-05,
      "loss": 2.094,
      "step": 386
    },
    {
      "epoch": 0.516,
      "grad_norm": 0.21607139651020324,
      "learning_rate": 2.6106537024989985e-05,
      "loss": 2.1313,
      "step": 387
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 0.26417756391106934,
      "learning_rate": 2.6086381696402757e-05,
      "loss": 2.2438,
      "step": 388
    },
    {
      "epoch": 0.5186666666666667,
      "grad_norm": 0.2575227608051382,
      "learning_rate": 2.6066183173075097e-05,
      "loss": 2.071,
      "step": 389
    },
    {
      "epoch": 0.52,
      "grad_norm": 0.33025483593812915,
      "learning_rate": 2.6045941546018393e-05,
      "loss": 1.9,
      "step": 390
    },
    {
      "epoch": 0.5213333333333333,
      "grad_norm": 0.24483598990979227,
      "learning_rate": 2.6025656906438258e-05,
      "loss": 2.1122,
      "step": 391
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 0.2774543445460937,
      "learning_rate": 2.6005329345734118e-05,
      "loss": 1.9011,
      "step": 392
    },
    {
      "epoch": 0.524,
      "grad_norm": 0.23412108680048146,
      "learning_rate": 2.5984958955498787e-05,
      "loss": 2.3201,
      "step": 393
    },
    {
      "epoch": 0.5253333333333333,
      "grad_norm": 0.23961697514306227,
      "learning_rate": 2.5964545827518065e-05,
      "loss": 2.007,
      "step": 394
    },
    {
      "epoch": 0.5266666666666666,
      "grad_norm": 0.31411643954504864,
      "learning_rate": 2.5944090053770323e-05,
      "loss": 1.908,
      "step": 395
    },
    {
      "epoch": 0.528,
      "grad_norm": 0.27669334589294126,
      "learning_rate": 2.592359172642609e-05,
      "loss": 1.8943,
      "step": 396
    },
    {
      "epoch": 0.5293333333333333,
      "grad_norm": 0.30091910007710565,
      "learning_rate": 2.5903050937847625e-05,
      "loss": 2.0184,
      "step": 397
    },
    {
      "epoch": 0.5306666666666666,
      "grad_norm": 0.24400641571971146,
      "learning_rate": 2.5882467780588526e-05,
      "loss": 1.775,
      "step": 398
    },
    {
      "epoch": 0.532,
      "grad_norm": 0.25922993656928794,
      "learning_rate": 2.5861842347393282e-05,
      "loss": 1.9972,
      "step": 399
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.23535227055438726,
      "learning_rate": 2.5841174731196877e-05,
      "loss": 1.7925,
      "step": 400
    },
    {
      "epoch": 0.5346666666666666,
      "grad_norm": 0.2342264521026473,
      "learning_rate": 2.5820465025124365e-05,
      "loss": 2.1403,
      "step": 401
    },
    {
      "epoch": 0.536,
      "grad_norm": 0.2842669876468834,
      "learning_rate": 2.5799713322490453e-05,
      "loss": 2.1425,
      "step": 402
    },
    {
      "epoch": 0.5373333333333333,
      "grad_norm": 0.3204086643789354,
      "learning_rate": 2.5778919716799074e-05,
      "loss": 1.8728,
      "step": 403
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 0.26967796394246557,
      "learning_rate": 2.5758084301742975e-05,
      "loss": 2.2239,
      "step": 404
    },
    {
      "epoch": 0.54,
      "grad_norm": 0.20159105110551168,
      "learning_rate": 2.5737207171203286e-05,
      "loss": 2.1444,
      "step": 405
    },
    {
      "epoch": 0.5413333333333333,
      "grad_norm": 0.2770693985078698,
      "learning_rate": 2.5716288419249098e-05,
      "loss": 2.0661,
      "step": 406
    },
    {
      "epoch": 0.5426666666666666,
      "grad_norm": 0.25565224879402676,
      "learning_rate": 2.569532814013704e-05,
      "loss": 2.2215,
      "step": 407
    },
    {
      "epoch": 0.544,
      "grad_norm": 0.17283251407616515,
      "learning_rate": 2.5674326428310867e-05,
      "loss": 2.0621,
      "step": 408
    },
    {
      "epoch": 0.5453333333333333,
      "grad_norm": 0.280202142213052,
      "learning_rate": 2.5653283378401013e-05,
      "loss": 1.8841,
      "step": 409
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 0.24429132905069922,
      "learning_rate": 2.5632199085224175e-05,
      "loss": 2.2204,
      "step": 410
    },
    {
      "epoch": 0.548,
      "grad_norm": 0.20785440391670923,
      "learning_rate": 2.5611073643782894e-05,
      "loss": 2.0911,
      "step": 411
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 0.24187453202492748,
      "learning_rate": 2.558990714926511e-05,
      "loss": 2.253,
      "step": 412
    },
    {
      "epoch": 0.5506666666666666,
      "grad_norm": 0.2677535149215768,
      "learning_rate": 2.556869969704375e-05,
      "loss": 2.1663,
      "step": 413
    },
    {
      "epoch": 0.552,
      "grad_norm": 0.23967372826331235,
      "learning_rate": 2.554745138267628e-05,
      "loss": 2.1926,
      "step": 414
    },
    {
      "epoch": 0.5533333333333333,
      "grad_norm": 0.23057427777779413,
      "learning_rate": 2.5526162301904293e-05,
      "loss": 2.0412,
      "step": 415
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 0.2885284967638168,
      "learning_rate": 2.5504832550653067e-05,
      "loss": 1.95,
      "step": 416
    },
    {
      "epoch": 0.556,
      "grad_norm": 0.20302927747169716,
      "learning_rate": 2.5483462225031128e-05,
      "loss": 2.1122,
      "step": 417
    },
    {
      "epoch": 0.5573333333333333,
      "grad_norm": 0.24366303363901448,
      "learning_rate": 2.546205142132984e-05,
      "loss": 2.1674,
      "step": 418
    },
    {
      "epoch": 0.5586666666666666,
      "grad_norm": 0.2932552576941417,
      "learning_rate": 2.5440600236022924e-05,
      "loss": 1.7735,
      "step": 419
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.2942369556389563,
      "learning_rate": 2.54191087657661e-05,
      "loss": 1.8327,
      "step": 420
    },
    {
      "epoch": 0.5613333333333334,
      "grad_norm": 0.19743640775814034,
      "learning_rate": 2.5397577107396567e-05,
      "loss": 2.3126,
      "step": 421
    },
    {
      "epoch": 0.5626666666666666,
      "grad_norm": 0.32093382445453417,
      "learning_rate": 2.5376005357932616e-05,
      "loss": 1.9272,
      "step": 422
    },
    {
      "epoch": 0.564,
      "grad_norm": 0.31119702731247945,
      "learning_rate": 2.5354393614573188e-05,
      "loss": 1.8724,
      "step": 423
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 0.2066996097801704,
      "learning_rate": 2.5332741974697432e-05,
      "loss": 2.1157,
      "step": 424
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 0.18988191723765685,
      "learning_rate": 2.5311050535864253e-05,
      "loss": 1.9704,
      "step": 425
    },
    {
      "epoch": 0.568,
      "grad_norm": 0.23278617764031323,
      "learning_rate": 2.5289319395811897e-05,
      "loss": 1.9034,
      "step": 426
    },
    {
      "epoch": 0.5693333333333334,
      "grad_norm": 0.24359667899234191,
      "learning_rate": 2.5267548652457478e-05,
      "loss": 2.1112,
      "step": 427
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 0.2183386421997878,
      "learning_rate": 2.524573840389659e-05,
      "loss": 2.3351,
      "step": 428
    },
    {
      "epoch": 0.572,
      "grad_norm": 0.24623394684092095,
      "learning_rate": 2.5223888748402786e-05,
      "loss": 1.7524,
      "step": 429
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 0.3492801592421858,
      "learning_rate": 2.5201999784427225e-05,
      "loss": 1.9649,
      "step": 430
    },
    {
      "epoch": 0.5746666666666667,
      "grad_norm": 0.23771436444452013,
      "learning_rate": 2.5180071610598164e-05,
      "loss": 1.9788,
      "step": 431
    },
    {
      "epoch": 0.576,
      "grad_norm": 0.28422749390691604,
      "learning_rate": 2.5158104325720513e-05,
      "loss": 1.9749,
      "step": 432
    },
    {
      "epoch": 0.5773333333333334,
      "grad_norm": 0.24035666016422355,
      "learning_rate": 2.513609802877545e-05,
      "loss": 1.8426,
      "step": 433
    },
    {
      "epoch": 0.5786666666666667,
      "grad_norm": 0.22863170510861272,
      "learning_rate": 2.5114052818919913e-05,
      "loss": 1.946,
      "step": 434
    },
    {
      "epoch": 0.58,
      "grad_norm": 0.3080369938822394,
      "learning_rate": 2.5091968795486173e-05,
      "loss": 2.1382,
      "step": 435
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 0.25635562031358045,
      "learning_rate": 2.50698460579814e-05,
      "loss": 1.8564,
      "step": 436
    },
    {
      "epoch": 0.5826666666666667,
      "grad_norm": 0.25131606327010947,
      "learning_rate": 2.504768470608719e-05,
      "loss": 1.8574,
      "step": 437
    },
    {
      "epoch": 0.584,
      "grad_norm": 0.27786273971519304,
      "learning_rate": 2.502548483965914e-05,
      "loss": 1.8203,
      "step": 438
    },
    {
      "epoch": 0.5853333333333334,
      "grad_norm": 0.2537835141335265,
      "learning_rate": 2.50032465587264e-05,
      "loss": 2.1261,
      "step": 439
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 0.2857274434588356,
      "learning_rate": 2.4980969963491174e-05,
      "loss": 1.8283,
      "step": 440
    },
    {
      "epoch": 0.588,
      "grad_norm": 0.2497369750967388,
      "learning_rate": 2.495865515432833e-05,
      "loss": 2.0896,
      "step": 441
    },
    {
      "epoch": 0.5893333333333334,
      "grad_norm": 0.31048709085768267,
      "learning_rate": 2.4936302231784924e-05,
      "loss": 1.8459,
      "step": 442
    },
    {
      "epoch": 0.5906666666666667,
      "grad_norm": 0.37747863954921845,
      "learning_rate": 2.491391129657974e-05,
      "loss": 1.766,
      "step": 443
    },
    {
      "epoch": 0.592,
      "grad_norm": 0.23281230965954086,
      "learning_rate": 2.4891482449602826e-05,
      "loss": 2.1607,
      "step": 444
    },
    {
      "epoch": 0.5933333333333334,
      "grad_norm": 0.23099470118617824,
      "learning_rate": 2.4869015791915073e-05,
      "loss": 2.2428,
      "step": 445
    },
    {
      "epoch": 0.5946666666666667,
      "grad_norm": 0.33283816512680775,
      "learning_rate": 2.4846511424747745e-05,
      "loss": 1.7942,
      "step": 446
    },
    {
      "epoch": 0.596,
      "grad_norm": 0.2610205889529608,
      "learning_rate": 2.4823969449501994e-05,
      "loss": 1.5129,
      "step": 447
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 0.2436971157415235,
      "learning_rate": 2.4801389967748457e-05,
      "loss": 2.1171,
      "step": 448
    },
    {
      "epoch": 0.5986666666666667,
      "grad_norm": 0.40234611756909766,
      "learning_rate": 2.4778773081226746e-05,
      "loss": 2.0152,
      "step": 449
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.3603986684632457,
      "learning_rate": 2.4756118891845033e-05,
      "loss": 1.9314,
      "step": 450
    },
    {
      "epoch": 0.6,
      "eval_loss": 1.7376551628112793,
      "eval_runtime": 98.8777,
      "eval_samples_per_second": 1.011,
      "eval_steps_per_second": 0.253,
      "step": 450
    },
    {
      "epoch": 0.6013333333333334,
      "grad_norm": 0.3047585311557484,
      "learning_rate": 2.4733427501679556e-05,
      "loss": 1.9624,
      "step": 451
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 2.732104288666609,
      "learning_rate": 2.4710699012974184e-05,
      "loss": 2.0594,
      "step": 452
    },
    {
      "epoch": 0.604,
      "grad_norm": 0.5945756171955396,
      "learning_rate": 2.468793352813993e-05,
      "loss": 1.6689,
      "step": 453
    },
    {
      "epoch": 0.6053333333333333,
      "grad_norm": 0.20149493665704768,
      "learning_rate": 2.466513114975453e-05,
      "loss": 2.3389,
      "step": 454
    },
    {
      "epoch": 0.6066666666666667,
      "grad_norm": 0.2884544652315411,
      "learning_rate": 2.4642291980561943e-05,
      "loss": 2.2945,
      "step": 455
    },
    {
      "epoch": 0.608,
      "grad_norm": 0.2716044614101472,
      "learning_rate": 2.4619416123471888e-05,
      "loss": 2.1059,
      "step": 456
    },
    {
      "epoch": 0.6093333333333333,
      "grad_norm": 0.2865353237820169,
      "learning_rate": 2.4596503681559425e-05,
      "loss": 2.0127,
      "step": 457
    },
    {
      "epoch": 0.6106666666666667,
      "grad_norm": 0.2815842392110537,
      "learning_rate": 2.4573554758064437e-05,
      "loss": 2.091,
      "step": 458
    },
    {
      "epoch": 0.612,
      "grad_norm": 0.2367309740017095,
      "learning_rate": 2.455056945639119e-05,
      "loss": 2.1941,
      "step": 459
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 0.22932211795337953,
      "learning_rate": 2.4527547880107873e-05,
      "loss": 1.8939,
      "step": 460
    },
    {
      "epoch": 0.6146666666666667,
      "grad_norm": 0.2886521119304901,
      "learning_rate": 2.450449013294611e-05,
      "loss": 2.1722,
      "step": 461
    },
    {
      "epoch": 0.616,
      "grad_norm": 0.3025792968730659,
      "learning_rate": 2.448139631880052e-05,
      "loss": 1.8465,
      "step": 462
    },
    {
      "epoch": 0.6173333333333333,
      "grad_norm": 0.2741091872887346,
      "learning_rate": 2.4458266541728225e-05,
      "loss": 1.9238,
      "step": 463
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 0.23073611413041367,
      "learning_rate": 2.4435100905948387e-05,
      "loss": 1.6034,
      "step": 464
    },
    {
      "epoch": 0.62,
      "grad_norm": 0.3375731162237492,
      "learning_rate": 2.4411899515841757e-05,
      "loss": 1.8784,
      "step": 465
    },
    {
      "epoch": 0.6213333333333333,
      "grad_norm": 0.22514383343323016,
      "learning_rate": 2.438866247595017e-05,
      "loss": 2.4078,
      "step": 466
    },
    {
      "epoch": 0.6226666666666667,
      "grad_norm": 0.24786673693398917,
      "learning_rate": 2.4365389890976107e-05,
      "loss": 1.9611,
      "step": 467
    },
    {
      "epoch": 0.624,
      "grad_norm": 0.2582820529265001,
      "learning_rate": 2.4342081865782204e-05,
      "loss": 2.2779,
      "step": 468
    },
    {
      "epoch": 0.6253333333333333,
      "grad_norm": 0.30038879993456885,
      "learning_rate": 2.4318738505390792e-05,
      "loss": 1.7008,
      "step": 469
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 0.22093391590717046,
      "learning_rate": 2.42953599149834e-05,
      "loss": 2.1409,
      "step": 470
    },
    {
      "epoch": 0.628,
      "grad_norm": 0.23026854819393244,
      "learning_rate": 2.427194619990032e-05,
      "loss": 1.9212,
      "step": 471
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 0.25457418947477256,
      "learning_rate": 2.424849746564009e-05,
      "loss": 1.9884,
      "step": 472
    },
    {
      "epoch": 0.6306666666666667,
      "grad_norm": 0.2977795754556178,
      "learning_rate": 2.4225013817859064e-05,
      "loss": 1.7479,
      "step": 473
    },
    {
      "epoch": 0.632,
      "grad_norm": 0.22067708037002065,
      "learning_rate": 2.4201495362370878e-05,
      "loss": 2.1299,
      "step": 474
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 0.24519431888409313,
      "learning_rate": 2.4177942205146033e-05,
      "loss": 2.0112,
      "step": 475
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 0.22465817603693417,
      "learning_rate": 2.4154354452311377e-05,
      "loss": 2.1755,
      "step": 476
    },
    {
      "epoch": 0.636,
      "grad_norm": 0.2104795110400901,
      "learning_rate": 2.4130732210149654e-05,
      "loss": 2.0665,
      "step": 477
    },
    {
      "epoch": 0.6373333333333333,
      "grad_norm": 0.254995878899391,
      "learning_rate": 2.4107075585098986e-05,
      "loss": 1.7783,
      "step": 478
    },
    {
      "epoch": 0.6386666666666667,
      "grad_norm": 0.2781731992077847,
      "learning_rate": 2.408338468375245e-05,
      "loss": 1.9261,
      "step": 479
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.2022199410275876,
      "learning_rate": 2.405965961285754e-05,
      "loss": 2.5905,
      "step": 480
    },
    {
      "epoch": 0.6413333333333333,
      "grad_norm": 0.2245533085937808,
      "learning_rate": 2.4035900479315733e-05,
      "loss": 2.0583,
      "step": 481
    },
    {
      "epoch": 0.6426666666666667,
      "grad_norm": 0.2629367372490712,
      "learning_rate": 2.4012107390181972e-05,
      "loss": 2.0899,
      "step": 482
    },
    {
      "epoch": 0.644,
      "grad_norm": 0.2353694715550615,
      "learning_rate": 2.398828045266421e-05,
      "loss": 2.1819,
      "step": 483
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 0.32408275755469357,
      "learning_rate": 2.3964419774122905e-05,
      "loss": 2.1431,
      "step": 484
    },
    {
      "epoch": 0.6466666666666666,
      "grad_norm": 0.22518717197459437,
      "learning_rate": 2.394052546207056e-05,
      "loss": 2.2526,
      "step": 485
    },
    {
      "epoch": 0.648,
      "grad_norm": 0.2539883963098537,
      "learning_rate": 2.3916597624171212e-05,
      "loss": 1.8525,
      "step": 486
    },
    {
      "epoch": 0.6493333333333333,
      "grad_norm": 0.2576069823005604,
      "learning_rate": 2.3892636368239968e-05,
      "loss": 1.8764,
      "step": 487
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 0.2914513416559507,
      "learning_rate": 2.3868641802242505e-05,
      "loss": 1.8907,
      "step": 488
    },
    {
      "epoch": 0.652,
      "grad_norm": 0.2592192101828592,
      "learning_rate": 2.3844614034294603e-05,
      "loss": 1.9931,
      "step": 489
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 0.28662127139059485,
      "learning_rate": 2.3820553172661627e-05,
      "loss": 2.2488,
      "step": 490
    },
    {
      "epoch": 0.6546666666666666,
      "grad_norm": 0.25415789018299234,
      "learning_rate": 2.3796459325758066e-05,
      "loss": 1.9321,
      "step": 491
    },
    {
      "epoch": 0.656,
      "grad_norm": 0.21601669885383726,
      "learning_rate": 2.3772332602147045e-05,
      "loss": 2.1329,
      "step": 492
    },
    {
      "epoch": 0.6573333333333333,
      "grad_norm": 0.3310096689326958,
      "learning_rate": 2.3748173110539806e-05,
      "loss": 1.9672,
      "step": 493
    },
    {
      "epoch": 0.6586666666666666,
      "grad_norm": 0.2681898272326062,
      "learning_rate": 2.3723980959795252e-05,
      "loss": 2.0179,
      "step": 494
    },
    {
      "epoch": 0.66,
      "grad_norm": 0.21937610824327985,
      "learning_rate": 2.369975625891945e-05,
      "loss": 2.3674,
      "step": 495
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 0.26983079477053074,
      "learning_rate": 2.3675499117065104e-05,
      "loss": 2.0192,
      "step": 496
    },
    {
      "epoch": 0.6626666666666666,
      "grad_norm": 0.24516611619277187,
      "learning_rate": 2.3651209643531136e-05,
      "loss": 2.243,
      "step": 497
    },
    {
      "epoch": 0.664,
      "grad_norm": 0.21468400015728048,
      "learning_rate": 2.3626887947762102e-05,
      "loss": 2.1864,
      "step": 498
    },
    {
      "epoch": 0.6653333333333333,
      "grad_norm": 0.287563912757122,
      "learning_rate": 2.3602534139347778e-05,
      "loss": 1.8674,
      "step": 499
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.26726264993942,
      "learning_rate": 2.3578148328022628e-05,
      "loss": 2.0575,
      "step": 500
    },
    {
      "epoch": 0.668,
      "grad_norm": 0.261609977256579,
      "learning_rate": 2.355373062366531e-05,
      "loss": 1.9286,
      "step": 501
    },
    {
      "epoch": 0.6693333333333333,
      "grad_norm": 0.20611671277754134,
      "learning_rate": 2.3529281136298196e-05,
      "loss": 2.2271,
      "step": 502
    },
    {
      "epoch": 0.6706666666666666,
      "grad_norm": 0.2401968161646043,
      "learning_rate": 2.3504799976086846e-05,
      "loss": 2.4382,
      "step": 503
    },
    {
      "epoch": 0.672,
      "grad_norm": 0.28468622521731657,
      "learning_rate": 2.348028725333957e-05,
      "loss": 1.8355,
      "step": 504
    },
    {
      "epoch": 0.6733333333333333,
      "grad_norm": 0.20634787358359907,
      "learning_rate": 2.3455743078506863e-05,
      "loss": 1.9282,
      "step": 505
    },
    {
      "epoch": 0.6746666666666666,
      "grad_norm": 0.3179961211359532,
      "learning_rate": 2.3431167562180944e-05,
      "loss": 1.8643,
      "step": 506
    },
    {
      "epoch": 0.676,
      "grad_norm": 0.299652498085615,
      "learning_rate": 2.3406560815095256e-05,
      "loss": 2.0409,
      "step": 507
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 0.17939940729354284,
      "learning_rate": 2.3381922948123975e-05,
      "loss": 2.3247,
      "step": 508
    },
    {
      "epoch": 0.6786666666666666,
      "grad_norm": 0.31054666764858174,
      "learning_rate": 2.3357254072281474e-05,
      "loss": 2.137,
      "step": 509
    },
    {
      "epoch": 0.68,
      "grad_norm": 0.25051714446023193,
      "learning_rate": 2.333255429872186e-05,
      "loss": 2.1494,
      "step": 510
    },
    {
      "epoch": 0.6813333333333333,
      "grad_norm": 0.33225916062113814,
      "learning_rate": 2.3307823738738464e-05,
      "loss": 2.2757,
      "step": 511
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 0.23832106009922413,
      "learning_rate": 2.3283062503763328e-05,
      "loss": 2.2151,
      "step": 512
    },
    {
      "epoch": 0.684,
      "grad_norm": 0.3584913646272861,
      "learning_rate": 2.325827070536672e-05,
      "loss": 2.116,
      "step": 513
    },
    {
      "epoch": 0.6853333333333333,
      "grad_norm": 0.2380956102079889,
      "learning_rate": 2.3233448455256606e-05,
      "loss": 2.2443,
      "step": 514
    },
    {
      "epoch": 0.6866666666666666,
      "grad_norm": 0.3027209634683966,
      "learning_rate": 2.3208595865278176e-05,
      "loss": 2.2496,
      "step": 515
    },
    {
      "epoch": 0.688,
      "grad_norm": 0.3184372460718996,
      "learning_rate": 2.3183713047413332e-05,
      "loss": 1.8725,
      "step": 516
    },
    {
      "epoch": 0.6893333333333334,
      "grad_norm": 0.2794218076575254,
      "learning_rate": 2.315880011378016e-05,
      "loss": 2.1965,
      "step": 517
    },
    {
      "epoch": 0.6906666666666667,
      "grad_norm": 0.260191670734645,
      "learning_rate": 2.3133857176632456e-05,
      "loss": 1.8554,
      "step": 518
    },
    {
      "epoch": 0.692,
      "grad_norm": 0.21604250961632915,
      "learning_rate": 2.3108884348359204e-05,
      "loss": 2.2134,
      "step": 519
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 0.21227529934542605,
      "learning_rate": 2.308388174148407e-05,
      "loss": 2.0199,
      "step": 520
    },
    {
      "epoch": 0.6946666666666667,
      "grad_norm": 0.24394795721824195,
      "learning_rate": 2.30588494686649e-05,
      "loss": 2.3131,
      "step": 521
    },
    {
      "epoch": 0.696,
      "grad_norm": 0.3792154413621289,
      "learning_rate": 2.3033787642693212e-05,
      "loss": 1.3969,
      "step": 522
    },
    {
      "epoch": 0.6973333333333334,
      "grad_norm": 0.5367777338806384,
      "learning_rate": 2.3008696376493685e-05,
      "loss": 2.1854,
      "step": 523
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 0.2484310681652364,
      "learning_rate": 2.2983575783123654e-05,
      "loss": 1.7635,
      "step": 524
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.19974085366635924,
      "learning_rate": 2.2958425975772582e-05,
      "loss": 2.202,
      "step": 525
    },
    {
      "epoch": 0.7,
      "eval_loss": 1.7349865436553955,
      "eval_runtime": 98.7392,
      "eval_samples_per_second": 1.013,
      "eval_steps_per_second": 0.253,
      "step": 525
    },
    {
      "epoch": 0.7013333333333334,
      "grad_norm": 0.2493667508703462,
      "learning_rate": 2.293324706776159e-05,
      "loss": 1.8884,
      "step": 526
    },
    {
      "epoch": 0.7026666666666667,
      "grad_norm": 0.2196802593462806,
      "learning_rate": 2.2908039172542903e-05,
      "loss": 1.953,
      "step": 527
    },
    {
      "epoch": 0.704,
      "grad_norm": 0.27925364505505185,
      "learning_rate": 2.2882802403699365e-05,
      "loss": 2.0056,
      "step": 528
    },
    {
      "epoch": 0.7053333333333334,
      "grad_norm": 0.3244883574542453,
      "learning_rate": 2.2857536874943924e-05,
      "loss": 1.9776,
      "step": 529
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 0.27740712715023463,
      "learning_rate": 2.28322427001191e-05,
      "loss": 2.0773,
      "step": 530
    },
    {
      "epoch": 0.708,
      "grad_norm": 0.25184080033253003,
      "learning_rate": 2.280691999319651e-05,
      "loss": 2.1259,
      "step": 531
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 0.2247509964017766,
      "learning_rate": 2.2781568868276318e-05,
      "loss": 2.1373,
      "step": 532
    },
    {
      "epoch": 0.7106666666666667,
      "grad_norm": 0.24666405348670045,
      "learning_rate": 2.2756189439586736e-05,
      "loss": 2.2327,
      "step": 533
    },
    {
      "epoch": 0.712,
      "grad_norm": 0.3252286607585267,
      "learning_rate": 2.2730781821483507e-05,
      "loss": 1.5159,
      "step": 534
    },
    {
      "epoch": 0.7133333333333334,
      "grad_norm": 0.2816374654091368,
      "learning_rate": 2.270534612844941e-05,
      "loss": 2.2146,
      "step": 535
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 0.24936235379096205,
      "learning_rate": 2.267988247509369e-05,
      "loss": 2.1009,
      "step": 536
    },
    {
      "epoch": 0.716,
      "grad_norm": 0.2779229582280588,
      "learning_rate": 2.265439097615161e-05,
      "loss": 1.8832,
      "step": 537
    },
    {
      "epoch": 0.7173333333333334,
      "grad_norm": 0.2575943747031005,
      "learning_rate": 2.2628871746483882e-05,
      "loss": 2.0232,
      "step": 538
    },
    {
      "epoch": 0.7186666666666667,
      "grad_norm": 0.23769746040206244,
      "learning_rate": 2.2603324901076177e-05,
      "loss": 2.3063,
      "step": 539
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.21574081196114406,
      "learning_rate": 2.257775055503859e-05,
      "loss": 1.9571,
      "step": 540
    },
    {
      "epoch": 0.7213333333333334,
      "grad_norm": 0.21566738748323505,
      "learning_rate": 2.2552148823605143e-05,
      "loss": 2.1521,
      "step": 541
    },
    {
      "epoch": 0.7226666666666667,
      "grad_norm": 0.26810657886567807,
      "learning_rate": 2.2526519822133232e-05,
      "loss": 2.1191,
      "step": 542
    },
    {
      "epoch": 0.724,
      "grad_norm": 0.2940225959141783,
      "learning_rate": 2.2500863666103148e-05,
      "loss": 2.1898,
      "step": 543
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 0.3378840825082983,
      "learning_rate": 2.247518047111753e-05,
      "loss": 2.1439,
      "step": 544
    },
    {
      "epoch": 0.7266666666666667,
      "grad_norm": 0.22696101000868238,
      "learning_rate": 2.244947035290084e-05,
      "loss": 2.2698,
      "step": 545
    },
    {
      "epoch": 0.728,
      "grad_norm": 0.2162000773529741,
      "learning_rate": 2.2423733427298862e-05,
      "loss": 2.3212,
      "step": 546
    },
    {
      "epoch": 0.7293333333333333,
      "grad_norm": 0.2603830814733624,
      "learning_rate": 2.239796981027817e-05,
      "loss": 2.11,
      "step": 547
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 0.2888938079302091,
      "learning_rate": 2.2372179617925607e-05,
      "loss": 2.1089,
      "step": 548
    },
    {
      "epoch": 0.732,
      "grad_norm": 0.27471645137763273,
      "learning_rate": 2.2346362966447753e-05,
      "loss": 2.0256,
      "step": 549
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 0.21303205293010508,
      "learning_rate": 2.232051997217041e-05,
      "loss": 2.0032,
      "step": 550
    },
    {
      "epoch": 0.7346666666666667,
      "grad_norm": 0.23694268054843318,
      "learning_rate": 2.2294650751538075e-05,
      "loss": 2.2141,
      "step": 551
    },
    {
      "epoch": 0.736,
      "grad_norm": 0.2854078839991537,
      "learning_rate": 2.226875542111343e-05,
      "loss": 2.2259,
      "step": 552
    },
    {
      "epoch": 0.7373333333333333,
      "grad_norm": 0.3404877478094408,
      "learning_rate": 2.224283409757679e-05,
      "loss": 1.7182,
      "step": 553
    },
    {
      "epoch": 0.7386666666666667,
      "grad_norm": 0.27686754126786156,
      "learning_rate": 2.221688689772559e-05,
      "loss": 1.8002,
      "step": 554
    },
    {
      "epoch": 0.74,
      "grad_norm": 0.3073870674820258,
      "learning_rate": 2.219091393847387e-05,
      "loss": 2.0866,
      "step": 555
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 0.2516895248573763,
      "learning_rate": 2.2164915336851738e-05,
      "loss": 2.2784,
      "step": 556
    },
    {
      "epoch": 0.7426666666666667,
      "grad_norm": 0.2870432753981648,
      "learning_rate": 2.2138891210004832e-05,
      "loss": 1.9175,
      "step": 557
    },
    {
      "epoch": 0.744,
      "grad_norm": 0.2057162258455219,
      "learning_rate": 2.21128416751938e-05,
      "loss": 2.2339,
      "step": 558
    },
    {
      "epoch": 0.7453333333333333,
      "grad_norm": 0.20397086012230586,
      "learning_rate": 2.208676684979379e-05,
      "loss": 2.1495,
      "step": 559
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.21163355796403646,
      "learning_rate": 2.2060666851293903e-05,
      "loss": 2.3239,
      "step": 560
    },
    {
      "epoch": 0.748,
      "grad_norm": 0.25078410912535354,
      "learning_rate": 2.2034541797296653e-05,
      "loss": 2.0699,
      "step": 561
    },
    {
      "epoch": 0.7493333333333333,
      "grad_norm": 0.3150772753859901,
      "learning_rate": 2.2008391805517457e-05,
      "loss": 1.8373,
      "step": 562
    },
    {
      "epoch": 0.7506666666666667,
      "grad_norm": 0.30918881784641583,
      "learning_rate": 2.1982216993784094e-05,
      "loss": 1.7701,
      "step": 563
    },
    {
      "epoch": 0.752,
      "grad_norm": 0.30426238371972825,
      "learning_rate": 2.1956017480036195e-05,
      "loss": 1.8156,
      "step": 564
    },
    {
      "epoch": 0.7533333333333333,
      "grad_norm": 0.23392806764627286,
      "learning_rate": 2.1929793382324677e-05,
      "loss": 2.2124,
      "step": 565
    },
    {
      "epoch": 0.7546666666666667,
      "grad_norm": 0.33011610020818255,
      "learning_rate": 2.1903544818811227e-05,
      "loss": 1.7663,
      "step": 566
    },
    {
      "epoch": 0.756,
      "grad_norm": 0.3217080135960756,
      "learning_rate": 2.1877271907767787e-05,
      "loss": 2.1091,
      "step": 567
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 0.21151987176007983,
      "learning_rate": 2.185097476757599e-05,
      "loss": 2.062,
      "step": 568
    },
    {
      "epoch": 0.7586666666666667,
      "grad_norm": 0.2920840438734248,
      "learning_rate": 2.182465351672665e-05,
      "loss": 2.0483,
      "step": 569
    },
    {
      "epoch": 0.76,
      "grad_norm": 0.429241268749088,
      "learning_rate": 2.179830827381921e-05,
      "loss": 1.9552,
      "step": 570
    },
    {
      "epoch": 0.7613333333333333,
      "grad_norm": 0.32692404180047374,
      "learning_rate": 2.1771939157561234e-05,
      "loss": 2.1871,
      "step": 571
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 0.27909922539413456,
      "learning_rate": 2.1745546286767842e-05,
      "loss": 2.0617,
      "step": 572
    },
    {
      "epoch": 0.764,
      "grad_norm": 0.17765953245504265,
      "learning_rate": 2.1719129780361194e-05,
      "loss": 2.0504,
      "step": 573
    },
    {
      "epoch": 0.7653333333333333,
      "grad_norm": 0.19644746211449526,
      "learning_rate": 2.1692689757369942e-05,
      "loss": 2.1727,
      "step": 574
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 0.20383199948615116,
      "learning_rate": 2.166622633692871e-05,
      "loss": 2.2412,
      "step": 575
    },
    {
      "epoch": 0.768,
      "grad_norm": 0.28197953448890994,
      "learning_rate": 2.1639739638277543e-05,
      "loss": 2.0012,
      "step": 576
    },
    {
      "epoch": 0.7693333333333333,
      "grad_norm": 0.22871484857936736,
      "learning_rate": 2.161322978076137e-05,
      "loss": 2.0497,
      "step": 577
    },
    {
      "epoch": 0.7706666666666667,
      "grad_norm": 0.1929053980852746,
      "learning_rate": 2.1586696883829475e-05,
      "loss": 2.1374,
      "step": 578
    },
    {
      "epoch": 0.772,
      "grad_norm": 0.2695936375802587,
      "learning_rate": 2.1560141067034956e-05,
      "loss": 2.1054,
      "step": 579
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 0.21580215410548284,
      "learning_rate": 2.1533562450034168e-05,
      "loss": 2.0746,
      "step": 580
    },
    {
      "epoch": 0.7746666666666666,
      "grad_norm": 0.2969276144088988,
      "learning_rate": 2.1506961152586225e-05,
      "loss": 2.0389,
      "step": 581
    },
    {
      "epoch": 0.776,
      "grad_norm": 0.23286462925068996,
      "learning_rate": 2.1480337294552417e-05,
      "loss": 2.2243,
      "step": 582
    },
    {
      "epoch": 0.7773333333333333,
      "grad_norm": 0.2596140914186509,
      "learning_rate": 2.1453690995895705e-05,
      "loss": 2.0502,
      "step": 583
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 0.30325549702166155,
      "learning_rate": 2.1427022376680143e-05,
      "loss": 2.3072,
      "step": 584
    },
    {
      "epoch": 0.78,
      "grad_norm": 0.2604278177541721,
      "learning_rate": 2.1400331557070368e-05,
      "loss": 2.1556,
      "step": 585
    },
    {
      "epoch": 0.7813333333333333,
      "grad_norm": 0.23424819860644328,
      "learning_rate": 2.137361865733106e-05,
      "loss": 2.1441,
      "step": 586
    },
    {
      "epoch": 0.7826666666666666,
      "grad_norm": 0.30816126734242966,
      "learning_rate": 2.134688379782637e-05,
      "loss": 1.6698,
      "step": 587
    },
    {
      "epoch": 0.784,
      "grad_norm": 0.359821887854185,
      "learning_rate": 2.1320127099019405e-05,
      "loss": 1.7876,
      "step": 588
    },
    {
      "epoch": 0.7853333333333333,
      "grad_norm": 0.20547182722005924,
      "learning_rate": 2.1293348681471677e-05,
      "loss": 2.159,
      "step": 589
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 0.5274152472127392,
      "learning_rate": 2.1266548665842563e-05,
      "loss": 1.7306,
      "step": 590
    },
    {
      "epoch": 0.788,
      "grad_norm": 0.22912094065764754,
      "learning_rate": 2.1239727172888742e-05,
      "loss": 1.907,
      "step": 591
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 0.2183670197225716,
      "learning_rate": 2.1212884323463686e-05,
      "loss": 2.2014,
      "step": 592
    },
    {
      "epoch": 0.7906666666666666,
      "grad_norm": 0.24541116440142172,
      "learning_rate": 2.118602023851708e-05,
      "loss": 2.1607,
      "step": 593
    },
    {
      "epoch": 0.792,
      "grad_norm": 0.292244380734899,
      "learning_rate": 2.1159135039094305e-05,
      "loss": 1.8559,
      "step": 594
    },
    {
      "epoch": 0.7933333333333333,
      "grad_norm": 0.20691929522008307,
      "learning_rate": 2.113222884633588e-05,
      "loss": 2.0957,
      "step": 595
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 0.33216459026134915,
      "learning_rate": 2.11053017814769e-05,
      "loss": 1.8922,
      "step": 596
    },
    {
      "epoch": 0.796,
      "grad_norm": 0.3054293726917442,
      "learning_rate": 2.107835396584652e-05,
      "loss": 2.0519,
      "step": 597
    },
    {
      "epoch": 0.7973333333333333,
      "grad_norm": 0.21992034783736703,
      "learning_rate": 2.1051385520867406e-05,
      "loss": 2.3201,
      "step": 598
    },
    {
      "epoch": 0.7986666666666666,
      "grad_norm": 0.1996741785211574,
      "learning_rate": 2.1024396568055155e-05,
      "loss": 2.1424,
      "step": 599
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.19403340249823747,
      "learning_rate": 2.0997387229017778e-05,
      "loss": 2.2453,
      "step": 600
    },
    {
      "epoch": 0.8,
      "eval_loss": 1.7302900552749634,
      "eval_runtime": 98.6559,
      "eval_samples_per_second": 1.014,
      "eval_steps_per_second": 0.253,
      "step": 600
    },
    {
      "epoch": 0.8013333333333333,
      "grad_norm": 0.29338916525654163,
      "learning_rate": 2.0970357625455146e-05,
      "loss": 2.3107,
      "step": 601
    },
    {
      "epoch": 0.8026666666666666,
      "grad_norm": 0.36246246532567,
      "learning_rate": 2.0943307879158433e-05,
      "loss": 1.8637,
      "step": 602
    },
    {
      "epoch": 0.804,
      "grad_norm": 0.2309918626348626,
      "learning_rate": 2.091623811200958e-05,
      "loss": 2.1067,
      "step": 603
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 0.24887479253735115,
      "learning_rate": 2.0889148445980727e-05,
      "loss": 2.1379,
      "step": 604
    },
    {
      "epoch": 0.8066666666666666,
      "grad_norm": 0.3017961370307994,
      "learning_rate": 2.086203900313369e-05,
      "loss": 2.2075,
      "step": 605
    },
    {
      "epoch": 0.808,
      "grad_norm": 0.23914594068190997,
      "learning_rate": 2.0834909905619388e-05,
      "loss": 2.2573,
      "step": 606
    },
    {
      "epoch": 0.8093333333333333,
      "grad_norm": 2.5154669610980314,
      "learning_rate": 2.0807761275677302e-05,
      "loss": 1.9497,
      "step": 607
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 0.21951821500800203,
      "learning_rate": 2.078059323563493e-05,
      "loss": 2.2041,
      "step": 608
    },
    {
      "epoch": 0.812,
      "grad_norm": 0.233891875491137,
      "learning_rate": 2.0753405907907207e-05,
      "loss": 1.8755,
      "step": 609
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 0.2351112028502108,
      "learning_rate": 2.0726199414996002e-05,
      "loss": 2.0976,
      "step": 610
    },
    {
      "epoch": 0.8146666666666667,
      "grad_norm": 0.20392855722897615,
      "learning_rate": 2.0698973879489528e-05,
      "loss": 2.0269,
      "step": 611
    },
    {
      "epoch": 0.816,
      "grad_norm": 0.20039060399626385,
      "learning_rate": 2.067172942406179e-05,
      "loss": 2.1268,
      "step": 612
    },
    {
      "epoch": 0.8173333333333334,
      "grad_norm": 0.1929728808891894,
      "learning_rate": 2.0644466171472065e-05,
      "loss": 2.3687,
      "step": 613
    },
    {
      "epoch": 0.8186666666666667,
      "grad_norm": 0.23806531555392976,
      "learning_rate": 2.0617184244564313e-05,
      "loss": 2.0828,
      "step": 614
    },
    {
      "epoch": 0.82,
      "grad_norm": 0.34395608943915507,
      "learning_rate": 2.0589883766266642e-05,
      "loss": 1.3991,
      "step": 615
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 0.24686411211608517,
      "learning_rate": 2.056256485959075e-05,
      "loss": 2.2174,
      "step": 616
    },
    {
      "epoch": 0.8226666666666667,
      "grad_norm": 0.20168022695928925,
      "learning_rate": 2.053522764763136e-05,
      "loss": 2.104,
      "step": 617
    },
    {
      "epoch": 0.824,
      "grad_norm": 0.36515476338010855,
      "learning_rate": 2.050787225356569e-05,
      "loss": 1.9741,
      "step": 618
    },
    {
      "epoch": 0.8253333333333334,
      "grad_norm": 0.2701482708801682,
      "learning_rate": 2.048049880065288e-05,
      "loss": 1.7996,
      "step": 619
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 0.30963402853563826,
      "learning_rate": 2.045310741223343e-05,
      "loss": 1.6238,
      "step": 620
    },
    {
      "epoch": 0.828,
      "grad_norm": 0.2558122538846313,
      "learning_rate": 2.0425698211728673e-05,
      "loss": 1.8729,
      "step": 621
    },
    {
      "epoch": 0.8293333333333334,
      "grad_norm": 0.28237819609725434,
      "learning_rate": 2.039827132264019e-05,
      "loss": 1.8797,
      "step": 622
    },
    {
      "epoch": 0.8306666666666667,
      "grad_norm": 0.26926016615015824,
      "learning_rate": 2.037082686854926e-05,
      "loss": 1.9228,
      "step": 623
    },
    {
      "epoch": 0.832,
      "grad_norm": 0.21988753067621333,
      "learning_rate": 2.0343364973116316e-05,
      "loss": 2.2013,
      "step": 624
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 0.27973689401501844,
      "learning_rate": 2.031588576008037e-05,
      "loss": 2.1545,
      "step": 625
    },
    {
      "epoch": 0.8346666666666667,
      "grad_norm": 0.30499363141797753,
      "learning_rate": 2.0288389353258472e-05,
      "loss": 1.5127,
      "step": 626
    },
    {
      "epoch": 0.836,
      "grad_norm": 0.2684417823787493,
      "learning_rate": 2.0260875876545143e-05,
      "loss": 2.0023,
      "step": 627
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 0.2516342787990096,
      "learning_rate": 2.023334545391181e-05,
      "loss": 2.0876,
      "step": 628
    },
    {
      "epoch": 0.8386666666666667,
      "grad_norm": 0.24835524471024745,
      "learning_rate": 2.020579820940627e-05,
      "loss": 2.3338,
      "step": 629
    },
    {
      "epoch": 0.84,
      "grad_norm": 0.2924293489494813,
      "learning_rate": 2.017823426715211e-05,
      "loss": 1.7605,
      "step": 630
    },
    {
      "epoch": 0.8413333333333334,
      "grad_norm": 0.25345366138782366,
      "learning_rate": 2.015065375134815e-05,
      "loss": 1.9219,
      "step": 631
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 0.24060183599375579,
      "learning_rate": 2.012305678626789e-05,
      "loss": 2.3341,
      "step": 632
    },
    {
      "epoch": 0.844,
      "grad_norm": 0.2316800771546595,
      "learning_rate": 2.0095443496258953e-05,
      "loss": 2.0673,
      "step": 633
    },
    {
      "epoch": 0.8453333333333334,
      "grad_norm": 0.3113449745209023,
      "learning_rate": 2.0067814005742517e-05,
      "loss": 1.9076,
      "step": 634
    },
    {
      "epoch": 0.8466666666666667,
      "grad_norm": 0.21679721097416102,
      "learning_rate": 2.0040168439212754e-05,
      "loss": 2.1241,
      "step": 635
    },
    {
      "epoch": 0.848,
      "grad_norm": 0.27840250380366915,
      "learning_rate": 2.0012506921236264e-05,
      "loss": 2.1016,
      "step": 636
    },
    {
      "epoch": 0.8493333333333334,
      "grad_norm": 0.3000281269524226,
      "learning_rate": 1.998482957645155e-05,
      "loss": 1.6949,
      "step": 637
    },
    {
      "epoch": 0.8506666666666667,
      "grad_norm": 0.28890418696627373,
      "learning_rate": 1.9957136529568405e-05,
      "loss": 2.1754,
      "step": 638
    },
    {
      "epoch": 0.852,
      "grad_norm": 0.2163771072442336,
      "learning_rate": 1.9929427905367374e-05,
      "loss": 2.1617,
      "step": 639
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.2904060128108346,
      "learning_rate": 1.990170382869919e-05,
      "loss": 2.2918,
      "step": 640
    },
    {
      "epoch": 0.8546666666666667,
      "grad_norm": 0.20072557669453545,
      "learning_rate": 1.9873964424484227e-05,
      "loss": 2.0668,
      "step": 641
    },
    {
      "epoch": 0.856,
      "grad_norm": 0.3527526034064076,
      "learning_rate": 1.9846209817711914e-05,
      "loss": 1.8876,
      "step": 642
    },
    {
      "epoch": 0.8573333333333333,
      "grad_norm": 0.23763986045736873,
      "learning_rate": 1.981844013344017e-05,
      "loss": 1.781,
      "step": 643
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 0.21489806291743502,
      "learning_rate": 1.9790655496794863e-05,
      "loss": 2.2248,
      "step": 644
    },
    {
      "epoch": 0.86,
      "grad_norm": 0.24292053657186655,
      "learning_rate": 1.9762856032969236e-05,
      "loss": 1.8312,
      "step": 645
    },
    {
      "epoch": 0.8613333333333333,
      "grad_norm": 0.4263248070646629,
      "learning_rate": 1.9735041867223335e-05,
      "loss": 1.7282,
      "step": 646
    },
    {
      "epoch": 0.8626666666666667,
      "grad_norm": 0.28804393148108814,
      "learning_rate": 1.9707213124883447e-05,
      "loss": 1.8168,
      "step": 647
    },
    {
      "epoch": 0.864,
      "grad_norm": 0.21708602786361048,
      "learning_rate": 1.9679369931341543e-05,
      "loss": 2.0466,
      "step": 648
    },
    {
      "epoch": 0.8653333333333333,
      "grad_norm": 0.20885473673865412,
      "learning_rate": 1.9651512412054725e-05,
      "loss": 2.0116,
      "step": 649
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 0.2371365200294707,
      "learning_rate": 1.9623640692544613e-05,
      "loss": 2.1401,
      "step": 650
    },
    {
      "epoch": 0.868,
      "grad_norm": 0.27036686070912347,
      "learning_rate": 1.959575489839683e-05,
      "loss": 2.2254,
      "step": 651
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 0.2656271581073266,
      "learning_rate": 1.9567855155260417e-05,
      "loss": 2.0191,
      "step": 652
    },
    {
      "epoch": 0.8706666666666667,
      "grad_norm": 0.31977088649285085,
      "learning_rate": 1.953994158884726e-05,
      "loss": 1.3226,
      "step": 653
    },
    {
      "epoch": 0.872,
      "grad_norm": 0.23499784965778608,
      "learning_rate": 1.951201432493154e-05,
      "loss": 2.0321,
      "step": 654
    },
    {
      "epoch": 0.8733333333333333,
      "grad_norm": 0.2989037712179273,
      "learning_rate": 1.9484073489349157e-05,
      "loss": 1.8174,
      "step": 655
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 0.1907026135101038,
      "learning_rate": 1.9456119207997136e-05,
      "loss": 2.1994,
      "step": 656
    },
    {
      "epoch": 0.876,
      "grad_norm": 0.24157807527538896,
      "learning_rate": 1.9428151606833134e-05,
      "loss": 2.1192,
      "step": 657
    },
    {
      "epoch": 0.8773333333333333,
      "grad_norm": 0.30146394289080436,
      "learning_rate": 1.940017081187478e-05,
      "loss": 2.1053,
      "step": 658
    },
    {
      "epoch": 0.8786666666666667,
      "grad_norm": 0.2929115666855541,
      "learning_rate": 1.9372176949199183e-05,
      "loss": 1.9694,
      "step": 659
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.297331189682287,
      "learning_rate": 1.9344170144942304e-05,
      "loss": 2.3715,
      "step": 660
    },
    {
      "epoch": 0.8813333333333333,
      "grad_norm": 0.2636717496143045,
      "learning_rate": 1.9316150525298453e-05,
      "loss": 2.1051,
      "step": 661
    },
    {
      "epoch": 0.8826666666666667,
      "grad_norm": 0.20257245897176998,
      "learning_rate": 1.9288118216519658e-05,
      "loss": 2.0737,
      "step": 662
    },
    {
      "epoch": 0.884,
      "grad_norm": 0.25587322034193244,
      "learning_rate": 1.9260073344915128e-05,
      "loss": 2.0938,
      "step": 663
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 0.28792567581429684,
      "learning_rate": 1.9232016036850682e-05,
      "loss": 2.02,
      "step": 664
    },
    {
      "epoch": 0.8866666666666667,
      "grad_norm": 0.22585505321906343,
      "learning_rate": 1.9203946418748173e-05,
      "loss": 2.1266,
      "step": 665
    },
    {
      "epoch": 0.888,
      "grad_norm": 0.27594378692442784,
      "learning_rate": 1.9175864617084917e-05,
      "loss": 1.7154,
      "step": 666
    },
    {
      "epoch": 0.8893333333333333,
      "grad_norm": 0.21841749595708987,
      "learning_rate": 1.9147770758393136e-05,
      "loss": 1.9523,
      "step": 667
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 0.2660228447881722,
      "learning_rate": 1.9119664969259365e-05,
      "loss": 2.1537,
      "step": 668
    },
    {
      "epoch": 0.892,
      "grad_norm": 0.32185520369837134,
      "learning_rate": 1.9091547376323925e-05,
      "loss": 1.8394,
      "step": 669
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 0.276204895027196,
      "learning_rate": 1.9063418106280284e-05,
      "loss": 2.1844,
      "step": 670
    },
    {
      "epoch": 0.8946666666666667,
      "grad_norm": 0.2701444210930779,
      "learning_rate": 1.9035277285874552e-05,
      "loss": 1.9599,
      "step": 671
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.3114461456421439,
      "learning_rate": 1.900712504190488e-05,
      "loss": 1.8502,
      "step": 672
    },
    {
      "epoch": 0.8973333333333333,
      "grad_norm": 0.30217698469471216,
      "learning_rate": 1.897896150122088e-05,
      "loss": 2.0576,
      "step": 673
    },
    {
      "epoch": 0.8986666666666666,
      "grad_norm": 0.2877043601768791,
      "learning_rate": 1.895078679072308e-05,
      "loss": 2.0009,
      "step": 674
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.29018782911949664,
      "learning_rate": 1.8922601037362325e-05,
      "loss": 1.8392,
      "step": 675
    },
    {
      "epoch": 0.9,
      "eval_loss": 1.7283107042312622,
      "eval_runtime": 98.936,
      "eval_samples_per_second": 1.011,
      "eval_steps_per_second": 0.253,
      "step": 675
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 0.2774654866858924,
      "learning_rate": 1.889440436813922e-05,
      "loss": 2.0282,
      "step": 676
    },
    {
      "epoch": 0.9026666666666666,
      "grad_norm": 0.29144370704709627,
      "learning_rate": 1.8866196910103564e-05,
      "loss": 1.9525,
      "step": 677
    },
    {
      "epoch": 0.904,
      "grad_norm": 0.262971024150831,
      "learning_rate": 1.8837978790353763e-05,
      "loss": 1.8053,
      "step": 678
    },
    {
      "epoch": 0.9053333333333333,
      "grad_norm": 0.3499809731358237,
      "learning_rate": 1.8809750136036257e-05,
      "loss": 1.7736,
      "step": 679
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 0.2529410842266655,
      "learning_rate": 1.8781511074344966e-05,
      "loss": 2.0712,
      "step": 680
    },
    {
      "epoch": 0.908,
      "grad_norm": 0.24755888510667792,
      "learning_rate": 1.8753261732520688e-05,
      "loss": 1.9669,
      "step": 681
    },
    {
      "epoch": 0.9093333333333333,
      "grad_norm": 0.2506541249054586,
      "learning_rate": 1.8725002237850555e-05,
      "loss": 2.0211,
      "step": 682
    },
    {
      "epoch": 0.9106666666666666,
      "grad_norm": 0.25295097069732875,
      "learning_rate": 1.869673271766744e-05,
      "loss": 1.9912,
      "step": 683
    },
    {
      "epoch": 0.912,
      "grad_norm": 0.2366413129636617,
      "learning_rate": 1.8668453299349393e-05,
      "loss": 2.249,
      "step": 684
    },
    {
      "epoch": 0.9133333333333333,
      "grad_norm": 0.23066751808553923,
      "learning_rate": 1.864016411031906e-05,
      "loss": 2.0459,
      "step": 685
    },
    {
      "epoch": 0.9146666666666666,
      "grad_norm": 0.25882904111576405,
      "learning_rate": 1.861186527804312e-05,
      "loss": 2.0938,
      "step": 686
    },
    {
      "epoch": 0.916,
      "grad_norm": 0.24168151444542277,
      "learning_rate": 1.8583556930031685e-05,
      "loss": 1.859,
      "step": 687
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 0.33840150667952723,
      "learning_rate": 1.8555239193837755e-05,
      "loss": 1.9705,
      "step": 688
    },
    {
      "epoch": 0.9186666666666666,
      "grad_norm": 0.30896264686320224,
      "learning_rate": 1.8526912197056645e-05,
      "loss": 2.1068,
      "step": 689
    },
    {
      "epoch": 0.92,
      "grad_norm": 0.2665802427661005,
      "learning_rate": 1.8498576067325377e-05,
      "loss": 2.0479,
      "step": 690
    },
    {
      "epoch": 0.9213333333333333,
      "grad_norm": 0.2971360163977456,
      "learning_rate": 1.8470230932322125e-05,
      "loss": 1.9619,
      "step": 691
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 0.3140316296499423,
      "learning_rate": 1.8441876919765645e-05,
      "loss": 1.7834,
      "step": 692
    },
    {
      "epoch": 0.924,
      "grad_norm": 0.2305606363074752,
      "learning_rate": 1.841351415741471e-05,
      "loss": 2.3564,
      "step": 693
    },
    {
      "epoch": 0.9253333333333333,
      "grad_norm": 0.2206539104945154,
      "learning_rate": 1.838514277306749e-05,
      "loss": 2.0796,
      "step": 694
    },
    {
      "epoch": 0.9266666666666666,
      "grad_norm": 0.32447668207860636,
      "learning_rate": 1.835676289456102e-05,
      "loss": 2.2334,
      "step": 695
    },
    {
      "epoch": 0.928,
      "grad_norm": 0.23926117145357859,
      "learning_rate": 1.8328374649770596e-05,
      "loss": 2.3122,
      "step": 696
    },
    {
      "epoch": 0.9293333333333333,
      "grad_norm": 0.2047780984135103,
      "learning_rate": 1.8299978166609237e-05,
      "loss": 2.2805,
      "step": 697
    },
    {
      "epoch": 0.9306666666666666,
      "grad_norm": 0.24587779543837684,
      "learning_rate": 1.8271573573027055e-05,
      "loss": 2.179,
      "step": 698
    },
    {
      "epoch": 0.932,
      "grad_norm": 0.26659663594288746,
      "learning_rate": 1.8243160997010717e-05,
      "loss": 2.1311,
      "step": 699
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.3180460746897731,
      "learning_rate": 1.8214740566582862e-05,
      "loss": 1.7462,
      "step": 700
    },
    {
      "epoch": 0.9346666666666666,
      "grad_norm": 0.3244069800490076,
      "learning_rate": 1.818631240980152e-05,
      "loss": 2.061,
      "step": 701
    },
    {
      "epoch": 0.936,
      "grad_norm": 0.23991437881187513,
      "learning_rate": 1.8157876654759523e-05,
      "loss": 2.2894,
      "step": 702
    },
    {
      "epoch": 0.9373333333333334,
      "grad_norm": 0.25976180285572664,
      "learning_rate": 1.812943342958395e-05,
      "loss": 1.9891,
      "step": 703
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 0.2927786905426986,
      "learning_rate": 1.8100982862435543e-05,
      "loss": 1.6884,
      "step": 704
    },
    {
      "epoch": 0.94,
      "grad_norm": 0.2756703449103029,
      "learning_rate": 1.8072525081508102e-05,
      "loss": 1.8145,
      "step": 705
    },
    {
      "epoch": 0.9413333333333334,
      "grad_norm": 0.2524822863680491,
      "learning_rate": 1.804406021502797e-05,
      "loss": 2.0691,
      "step": 706
    },
    {
      "epoch": 0.9426666666666667,
      "grad_norm": 0.2903981526285958,
      "learning_rate": 1.8015588391253376e-05,
      "loss": 2.0226,
      "step": 707
    },
    {
      "epoch": 0.944,
      "grad_norm": 0.27041828258282025,
      "learning_rate": 1.7987109738473926e-05,
      "loss": 2.0153,
      "step": 708
    },
    {
      "epoch": 0.9453333333333334,
      "grad_norm": 0.22968438052449883,
      "learning_rate": 1.795862438500999e-05,
      "loss": 2.1728,
      "step": 709
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 0.26581445298970097,
      "learning_rate": 1.793013245921212e-05,
      "loss": 2.1602,
      "step": 710
    },
    {
      "epoch": 0.948,
      "grad_norm": 0.22756906936903462,
      "learning_rate": 1.7901634089460487e-05,
      "loss": 2.1154,
      "step": 711
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 0.22711425075649078,
      "learning_rate": 1.7873129404164308e-05,
      "loss": 1.8598,
      "step": 712
    },
    {
      "epoch": 0.9506666666666667,
      "grad_norm": 0.28129424152776866,
      "learning_rate": 1.7844618531761244e-05,
      "loss": 2.1648,
      "step": 713
    },
    {
      "epoch": 0.952,
      "grad_norm": 0.2298281596591105,
      "learning_rate": 1.7816101600716833e-05,
      "loss": 2.1483,
      "step": 714
    },
    {
      "epoch": 0.9533333333333334,
      "grad_norm": 0.3004309245970193,
      "learning_rate": 1.7787578739523923e-05,
      "loss": 2.0662,
      "step": 715
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 0.27654071062372865,
      "learning_rate": 1.775905007670208e-05,
      "loss": 2.1161,
      "step": 716
    },
    {
      "epoch": 0.956,
      "grad_norm": 0.22989967300260372,
      "learning_rate": 1.7730515740797e-05,
      "loss": 2.0016,
      "step": 717
    },
    {
      "epoch": 0.9573333333333334,
      "grad_norm": 0.2778791260401236,
      "learning_rate": 1.770197586037996e-05,
      "loss": 1.9537,
      "step": 718
    },
    {
      "epoch": 0.9586666666666667,
      "grad_norm": 0.2557980442255431,
      "learning_rate": 1.76734305640472e-05,
      "loss": 2.0411,
      "step": 719
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.2505533612029743,
      "learning_rate": 1.7644879980419376e-05,
      "loss": 2.1485,
      "step": 720
    },
    {
      "epoch": 0.9613333333333334,
      "grad_norm": 0.22147869907546439,
      "learning_rate": 1.761632423814096e-05,
      "loss": 2.2138,
      "step": 721
    },
    {
      "epoch": 0.9626666666666667,
      "grad_norm": 0.3947764881731842,
      "learning_rate": 1.758776346587968e-05,
      "loss": 1.6291,
      "step": 722
    },
    {
      "epoch": 0.964,
      "grad_norm": 0.27811070842439584,
      "learning_rate": 1.755919779232591e-05,
      "loss": 2.2304,
      "step": 723
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 0.3593323666511308,
      "learning_rate": 1.753062734619212e-05,
      "loss": 1.8454,
      "step": 724
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 0.2745515781953686,
      "learning_rate": 1.7502052256212296e-05,
      "loss": 2.0281,
      "step": 725
    },
    {
      "epoch": 0.968,
      "grad_norm": 0.2046643868313138,
      "learning_rate": 1.7473472651141323e-05,
      "loss": 2.3229,
      "step": 726
    },
    {
      "epoch": 0.9693333333333334,
      "grad_norm": 0.31886434641532524,
      "learning_rate": 1.7444888659754444e-05,
      "loss": 2.1312,
      "step": 727
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 0.35362183848853807,
      "learning_rate": 1.741630041084667e-05,
      "loss": 1.9622,
      "step": 728
    },
    {
      "epoch": 0.972,
      "grad_norm": 0.3245155267313425,
      "learning_rate": 1.738770803323219e-05,
      "loss": 1.4596,
      "step": 729
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 0.25853346763135837,
      "learning_rate": 1.7359111655743798e-05,
      "loss": 2.1136,
      "step": 730
    },
    {
      "epoch": 0.9746666666666667,
      "grad_norm": 0.3038496321594881,
      "learning_rate": 1.7330511407232302e-05,
      "loss": 1.8634,
      "step": 731
    },
    {
      "epoch": 0.976,
      "grad_norm": 0.23538899482596334,
      "learning_rate": 1.730190741656597e-05,
      "loss": 1.8893,
      "step": 732
    },
    {
      "epoch": 0.9773333333333334,
      "grad_norm": 0.2872056344414096,
      "learning_rate": 1.727329981262991e-05,
      "loss": 1.7375,
      "step": 733
    },
    {
      "epoch": 0.9786666666666667,
      "grad_norm": 0.2642485833575652,
      "learning_rate": 1.7244688724325536e-05,
      "loss": 2.0013,
      "step": 734
    },
    {
      "epoch": 0.98,
      "grad_norm": 0.2838100854362413,
      "learning_rate": 1.7216074280569945e-05,
      "loss": 2.3048,
      "step": 735
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 0.2657031716971977,
      "learning_rate": 1.718745661029535e-05,
      "loss": 1.8112,
      "step": 736
    },
    {
      "epoch": 0.9826666666666667,
      "grad_norm": 0.22906815346533607,
      "learning_rate": 1.7158835842448515e-05,
      "loss": 1.8842,
      "step": 737
    },
    {
      "epoch": 0.984,
      "grad_norm": 0.2499425224075748,
      "learning_rate": 1.713021210599015e-05,
      "loss": 2.1006,
      "step": 738
    },
    {
      "epoch": 0.9853333333333333,
      "grad_norm": 0.2562346799805699,
      "learning_rate": 1.7101585529894354e-05,
      "loss": 2.1199,
      "step": 739
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 0.3278925670543795,
      "learning_rate": 1.7072956243148004e-05,
      "loss": 2.0009,
      "step": 740
    },
    {
      "epoch": 0.988,
      "grad_norm": 0.3486258540168203,
      "learning_rate": 1.7044324374750206e-05,
      "loss": 1.8149,
      "step": 741
    },
    {
      "epoch": 0.9893333333333333,
      "grad_norm": 0.2851088241581159,
      "learning_rate": 1.701569005371169e-05,
      "loss": 2.0202,
      "step": 742
    },
    {
      "epoch": 0.9906666666666667,
      "grad_norm": 0.26526386846134503,
      "learning_rate": 1.6987053409054237e-05,
      "loss": 1.7675,
      "step": 743
    },
    {
      "epoch": 0.992,
      "grad_norm": 0.17202211624510527,
      "learning_rate": 1.6958414569810107e-05,
      "loss": 2.2223,
      "step": 744
    },
    {
      "epoch": 0.9933333333333333,
      "grad_norm": 0.2439839318014851,
      "learning_rate": 1.6929773665021445e-05,
      "loss": 1.7533,
      "step": 745
    },
    {
      "epoch": 0.9946666666666667,
      "grad_norm": 0.26622561219986507,
      "learning_rate": 1.690113082373969e-05,
      "loss": 2.3387,
      "step": 746
    },
    {
      "epoch": 0.996,
      "grad_norm": 0.2913645514245591,
      "learning_rate": 1.6872486175025013e-05,
      "loss": 1.8812,
      "step": 747
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 0.3210554827163261,
      "learning_rate": 1.684383984794574e-05,
      "loss": 1.9714,
      "step": 748
    },
    {
      "epoch": 0.9986666666666667,
      "grad_norm": 0.24511779664842132,
      "learning_rate": 1.6815191971577758e-05,
      "loss": 1.9085,
      "step": 749
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.29198350426636027,
      "learning_rate": 1.6786542675003918e-05,
      "loss": 1.7018,
      "step": 750
    },
    {
      "epoch": 1.0,
      "eval_loss": 1.7271106243133545,
      "eval_runtime": 98.6847,
      "eval_samples_per_second": 1.013,
      "eval_steps_per_second": 0.253,
      "step": 750
    },
    {
      "epoch": 1.0013333333333334,
      "grad_norm": 0.29314548587189315,
      "learning_rate": 1.6757892087313487e-05,
      "loss": 1.9639,
      "step": 751
    },
    {
      "epoch": 1.0013333333333334,
      "grad_norm": 0.2654022033477139,
      "learning_rate": 1.6729240337601544e-05,
      "loss": 2.1472,
      "step": 752
    },
    {
      "epoch": 1.0026666666666666,
      "grad_norm": 0.22112150742327574,
      "learning_rate": 1.67005875549684e-05,
      "loss": 2.0992,
      "step": 753
    },
    {
      "epoch": 1.004,
      "grad_norm": 0.30679558004287094,
      "learning_rate": 1.6671933868519025e-05,
      "loss": 2.2212,
      "step": 754
    },
    {
      "epoch": 1.0053333333333334,
      "grad_norm": 0.19730381106753442,
      "learning_rate": 1.6643279407362464e-05,
      "loss": 2.2968,
      "step": 755
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 0.2590521481067353,
      "learning_rate": 1.6614624300611235e-05,
      "loss": 2.2737,
      "step": 756
    },
    {
      "epoch": 1.008,
      "grad_norm": 0.26295101502619705,
      "learning_rate": 1.65859686773808e-05,
      "loss": 1.9639,
      "step": 757
    },
    {
      "epoch": 1.0093333333333334,
      "grad_norm": 0.302869511797495,
      "learning_rate": 1.6557312666788908e-05,
      "loss": 2.0783,
      "step": 758
    },
    {
      "epoch": 1.0106666666666666,
      "grad_norm": 0.19381704009773099,
      "learning_rate": 1.6528656397955082e-05,
      "loss": 2.2888,
      "step": 759
    },
    {
      "epoch": 1.012,
      "grad_norm": 0.2633771582850863,
      "learning_rate": 1.65e-05,
      "loss": 2.0637,
      "step": 760
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 0.22315333613088192,
      "learning_rate": 1.6471343602044914e-05,
      "loss": 2.3058,
      "step": 761
    },
    {
      "epoch": 1.0146666666666666,
      "grad_norm": 0.2983055962293725,
      "learning_rate": 1.6442687333211095e-05,
      "loss": 1.8604,
      "step": 762
    },
    {
      "epoch": 1.016,
      "grad_norm": 0.22310976398154356,
      "learning_rate": 1.6414031322619204e-05,
      "loss": 1.846,
      "step": 763
    },
    {
      "epoch": 1.0173333333333334,
      "grad_norm": 0.34444133484673906,
      "learning_rate": 1.6385375699388768e-05,
      "loss": 2.1682,
      "step": 764
    },
    {
      "epoch": 1.0186666666666666,
      "grad_norm": 0.29118796102531774,
      "learning_rate": 1.6356720592637545e-05,
      "loss": 1.9338,
      "step": 765
    },
    {
      "epoch": 1.02,
      "grad_norm": 0.31104609690858964,
      "learning_rate": 1.6328066131480978e-05,
      "loss": 1.6356,
      "step": 766
    },
    {
      "epoch": 1.0213333333333334,
      "grad_norm": 0.4066809576837131,
      "learning_rate": 1.6299412445031603e-05,
      "loss": 2.1232,
      "step": 767
    },
    {
      "epoch": 1.0226666666666666,
      "grad_norm": 0.24740837717251093,
      "learning_rate": 1.6270759662398462e-05,
      "loss": 2.1537,
      "step": 768
    },
    {
      "epoch": 1.024,
      "grad_norm": 0.28914447404534616,
      "learning_rate": 1.6242107912686516e-05,
      "loss": 1.9898,
      "step": 769
    },
    {
      "epoch": 1.0253333333333334,
      "grad_norm": 0.39003214759118576,
      "learning_rate": 1.621345732499608e-05,
      "loss": 1.6123,
      "step": 770
    },
    {
      "epoch": 1.0266666666666666,
      "grad_norm": 0.2750093981565428,
      "learning_rate": 1.6184808028422245e-05,
      "loss": 1.911,
      "step": 771
    },
    {
      "epoch": 1.028,
      "grad_norm": 0.3651690621253439,
      "learning_rate": 1.6156160152054262e-05,
      "loss": 2.0382,
      "step": 772
    },
    {
      "epoch": 1.0293333333333334,
      "grad_norm": 0.33034778749977567,
      "learning_rate": 1.6127513824974993e-05,
      "loss": 1.6505,
      "step": 773
    },
    {
      "epoch": 1.0306666666666666,
      "grad_norm": 0.24023546158281583,
      "learning_rate": 1.6098869176260317e-05,
      "loss": 2.126,
      "step": 774
    },
    {
      "epoch": 1.032,
      "grad_norm": 0.3099083986408515,
      "learning_rate": 1.6070226334978564e-05,
      "loss": 2.1278,
      "step": 775
    },
    {
      "epoch": 1.0333333333333334,
      "grad_norm": 0.23633839206355672,
      "learning_rate": 1.6041585430189895e-05,
      "loss": 2.0803,
      "step": 776
    },
    {
      "epoch": 1.0346666666666666,
      "grad_norm": 0.2994921701551886,
      "learning_rate": 1.6012946590945763e-05,
      "loss": 1.9376,
      "step": 777
    },
    {
      "epoch": 1.036,
      "grad_norm": 0.2742234625517111,
      "learning_rate": 1.5984309946288312e-05,
      "loss": 2.0729,
      "step": 778
    },
    {
      "epoch": 1.0373333333333334,
      "grad_norm": 0.2356967493076264,
      "learning_rate": 1.5955675625249796e-05,
      "loss": 1.9702,
      "step": 779
    },
    {
      "epoch": 1.0386666666666666,
      "grad_norm": 0.2675248987834828,
      "learning_rate": 1.5927043756852e-05,
      "loss": 1.9638,
      "step": 780
    },
    {
      "epoch": 1.04,
      "grad_norm": 0.27287485663878314,
      "learning_rate": 1.5898414470105652e-05,
      "loss": 1.916,
      "step": 781
    },
    {
      "epoch": 1.0413333333333332,
      "grad_norm": 2.9298038201189223,
      "learning_rate": 1.586978789400985e-05,
      "loss": 1.7561,
      "step": 782
    },
    {
      "epoch": 1.0426666666666666,
      "grad_norm": 0.2836274262904837,
      "learning_rate": 1.584116415755149e-05,
      "loss": 1.9482,
      "step": 783
    },
    {
      "epoch": 1.044,
      "grad_norm": 0.26121342975391204,
      "learning_rate": 1.5812543389704656e-05,
      "loss": 2.1344,
      "step": 784
    },
    {
      "epoch": 1.0453333333333332,
      "grad_norm": 0.27272775638338237,
      "learning_rate": 1.5783925719430058e-05,
      "loss": 2.1061,
      "step": 785
    },
    {
      "epoch": 1.0466666666666666,
      "grad_norm": 0.2803803409505497,
      "learning_rate": 1.5755311275674464e-05,
      "loss": 2.1899,
      "step": 786
    },
    {
      "epoch": 1.048,
      "grad_norm": 0.24573695707656323,
      "learning_rate": 1.572670018737009e-05,
      "loss": 2.2364,
      "step": 787
    },
    {
      "epoch": 1.0493333333333332,
      "grad_norm": 0.27462618666360705,
      "learning_rate": 1.5698092583434034e-05,
      "loss": 1.9921,
      "step": 788
    },
    {
      "epoch": 1.0506666666666666,
      "grad_norm": 0.23040825764716574,
      "learning_rate": 1.5669488592767704e-05,
      "loss": 2.2539,
      "step": 789
    },
    {
      "epoch": 1.052,
      "grad_norm": 0.27456456401733165,
      "learning_rate": 1.5640888344256204e-05,
      "loss": 2.1869,
      "step": 790
    },
    {
      "epoch": 1.0533333333333332,
      "grad_norm": 0.24623801105945586,
      "learning_rate": 1.5612291966767815e-05,
      "loss": 2.0502,
      "step": 791
    },
    {
      "epoch": 1.0546666666666666,
      "grad_norm": 0.1987428710050837,
      "learning_rate": 1.558369958915333e-05,
      "loss": 2.1769,
      "step": 792
    },
    {
      "epoch": 1.056,
      "grad_norm": 0.34124818351916664,
      "learning_rate": 1.5555111340245555e-05,
      "loss": 1.8273,
      "step": 793
    },
    {
      "epoch": 1.0573333333333332,
      "grad_norm": 0.33034667496938114,
      "learning_rate": 1.552652734885868e-05,
      "loss": 1.8017,
      "step": 794
    },
    {
      "epoch": 1.0586666666666666,
      "grad_norm": 0.2704584795184102,
      "learning_rate": 1.5497947743787706e-05,
      "loss": 2.0741,
      "step": 795
    },
    {
      "epoch": 1.06,
      "grad_norm": 0.2687197860247337,
      "learning_rate": 1.546937265380788e-05,
      "loss": 1.9011,
      "step": 796
    },
    {
      "epoch": 1.0613333333333332,
      "grad_norm": 0.2809331983944747,
      "learning_rate": 1.5440802207674096e-05,
      "loss": 1.7214,
      "step": 797
    },
    {
      "epoch": 1.0626666666666666,
      "grad_norm": 0.28752142884446497,
      "learning_rate": 1.5412236534120328e-05,
      "loss": 2.2099,
      "step": 798
    },
    {
      "epoch": 1.064,
      "grad_norm": 0.3245712934899835,
      "learning_rate": 1.5383675761859042e-05,
      "loss": 1.8972,
      "step": 799
    },
    {
      "epoch": 1.0653333333333332,
      "grad_norm": 0.38524173737742373,
      "learning_rate": 1.5355120019580633e-05,
      "loss": 2.1678,
      "step": 800
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 0.29958116794571543,
      "learning_rate": 1.5326569435952803e-05,
      "loss": 2.0969,
      "step": 801
    },
    {
      "epoch": 1.068,
      "grad_norm": 0.2588483476301596,
      "learning_rate": 1.5298024139620036e-05,
      "loss": 2.1281,
      "step": 802
    },
    {
      "epoch": 1.0693333333333332,
      "grad_norm": 0.27782644113498994,
      "learning_rate": 1.5269484259202998e-05,
      "loss": 2.2909,
      "step": 803
    },
    {
      "epoch": 1.0706666666666667,
      "grad_norm": 0.31008186142773403,
      "learning_rate": 1.5240949923297923e-05,
      "loss": 1.9608,
      "step": 804
    },
    {
      "epoch": 1.072,
      "grad_norm": 0.20652125496483334,
      "learning_rate": 1.521242126047608e-05,
      "loss": 2.2025,
      "step": 805
    },
    {
      "epoch": 1.0733333333333333,
      "grad_norm": 0.3305153056682933,
      "learning_rate": 1.5183898399283168e-05,
      "loss": 1.6804,
      "step": 806
    },
    {
      "epoch": 1.0746666666666667,
      "grad_norm": 0.3285012571245733,
      "learning_rate": 1.5155381468238763e-05,
      "loss": 1.6036,
      "step": 807
    },
    {
      "epoch": 1.076,
      "grad_norm": 0.2801204689153235,
      "learning_rate": 1.5126870595835696e-05,
      "loss": 2.002,
      "step": 808
    },
    {
      "epoch": 1.0773333333333333,
      "grad_norm": 0.27591723883269975,
      "learning_rate": 1.5098365910539514e-05,
      "loss": 2.0056,
      "step": 809
    },
    {
      "epoch": 1.0786666666666667,
      "grad_norm": 0.2822219932113097,
      "learning_rate": 1.5069867540787885e-05,
      "loss": 1.9001,
      "step": 810
    },
    {
      "epoch": 1.08,
      "grad_norm": 0.2888298220969775,
      "learning_rate": 1.504137561499001e-05,
      "loss": 1.8408,
      "step": 811
    },
    {
      "epoch": 1.0813333333333333,
      "grad_norm": 0.22666168669502149,
      "learning_rate": 1.5012890261526077e-05,
      "loss": 1.9996,
      "step": 812
    },
    {
      "epoch": 1.0826666666666667,
      "grad_norm": 0.24342415396543557,
      "learning_rate": 1.4984411608746628e-05,
      "loss": 1.7895,
      "step": 813
    },
    {
      "epoch": 1.084,
      "grad_norm": 0.3176688771877161,
      "learning_rate": 1.4955939784972038e-05,
      "loss": 1.7781,
      "step": 814
    },
    {
      "epoch": 1.0853333333333333,
      "grad_norm": 0.356850483657526,
      "learning_rate": 1.4927474918491897e-05,
      "loss": 2.2755,
      "step": 815
    },
    {
      "epoch": 1.0866666666666667,
      "grad_norm": 0.2961712894598291,
      "learning_rate": 1.4899017137564468e-05,
      "loss": 1.9173,
      "step": 816
    },
    {
      "epoch": 1.088,
      "grad_norm": 0.23483397046388113,
      "learning_rate": 1.4870566570416054e-05,
      "loss": 2.2262,
      "step": 817
    },
    {
      "epoch": 1.0893333333333333,
      "grad_norm": 0.24591094734768637,
      "learning_rate": 1.4842123345240476e-05,
      "loss": 2.2407,
      "step": 818
    },
    {
      "epoch": 1.0906666666666667,
      "grad_norm": 0.3226255634566517,
      "learning_rate": 1.4813687590198486e-05,
      "loss": 1.9161,
      "step": 819
    },
    {
      "epoch": 1.092,
      "grad_norm": 0.31618866419039016,
      "learning_rate": 1.4785259433417137e-05,
      "loss": 2.1224,
      "step": 820
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 0.26406701803190497,
      "learning_rate": 1.4756839002989287e-05,
      "loss": 2.0114,
      "step": 821
    },
    {
      "epoch": 1.0946666666666667,
      "grad_norm": 0.2570505246727361,
      "learning_rate": 1.472842642697295e-05,
      "loss": 2.0337,
      "step": 822
    },
    {
      "epoch": 1.096,
      "grad_norm": 0.24849779653480883,
      "learning_rate": 1.4700021833390772e-05,
      "loss": 1.9448,
      "step": 823
    },
    {
      "epoch": 1.0973333333333333,
      "grad_norm": 0.29803983234714143,
      "learning_rate": 1.4671625350229406e-05,
      "loss": 2.0525,
      "step": 824
    },
    {
      "epoch": 1.0986666666666667,
      "grad_norm": 0.26960983669026084,
      "learning_rate": 1.4643237105438985e-05,
      "loss": 1.9736,
      "step": 825
    },
    {
      "epoch": 1.0986666666666667,
      "eval_loss": 1.7263636589050293,
      "eval_runtime": 98.7852,
      "eval_samples_per_second": 1.012,
      "eval_steps_per_second": 0.253,
      "step": 825
    },
    {
      "epoch": 1.1,
      "grad_norm": 0.33739943860611005,
      "learning_rate": 1.4614857226932514e-05,
      "loss": 1.9295,
      "step": 826
    },
    {
      "epoch": 1.1013333333333333,
      "grad_norm": 0.31583103747112357,
      "learning_rate": 1.4586485842585288e-05,
      "loss": 1.8792,
      "step": 827
    },
    {
      "epoch": 1.1026666666666667,
      "grad_norm": 0.3477216318533689,
      "learning_rate": 1.4558123080234354e-05,
      "loss": 1.8972,
      "step": 828
    },
    {
      "epoch": 1.104,
      "grad_norm": 0.24381298309958485,
      "learning_rate": 1.4529769067677878e-05,
      "loss": 1.8523,
      "step": 829
    },
    {
      "epoch": 1.1053333333333333,
      "grad_norm": 0.36377772901911526,
      "learning_rate": 1.4501423932674627e-05,
      "loss": 1.8789,
      "step": 830
    },
    {
      "epoch": 1.1066666666666667,
      "grad_norm": 0.2411161347666336,
      "learning_rate": 1.4473087802943354e-05,
      "loss": 2.0232,
      "step": 831
    },
    {
      "epoch": 1.108,
      "grad_norm": 0.2827729827360253,
      "learning_rate": 1.4444760806162249e-05,
      "loss": 2.472,
      "step": 832
    },
    {
      "epoch": 1.1093333333333333,
      "grad_norm": 0.2688803709712516,
      "learning_rate": 1.4416443069968319e-05,
      "loss": 2.1379,
      "step": 833
    },
    {
      "epoch": 1.1106666666666667,
      "grad_norm": 0.2763834018064042,
      "learning_rate": 1.438813472195688e-05,
      "loss": 2.1854,
      "step": 834
    },
    {
      "epoch": 1.112,
      "grad_norm": 0.3252822515732837,
      "learning_rate": 1.435983588968094e-05,
      "loss": 1.8315,
      "step": 835
    },
    {
      "epoch": 1.1133333333333333,
      "grad_norm": 0.288360641044998,
      "learning_rate": 1.4331546700650608e-05,
      "loss": 1.822,
      "step": 836
    },
    {
      "epoch": 1.1146666666666667,
      "grad_norm": 0.33567385117245413,
      "learning_rate": 1.430326728233256e-05,
      "loss": 1.9103,
      "step": 837
    },
    {
      "epoch": 1.116,
      "grad_norm": 0.34222016685695766,
      "learning_rate": 1.4274997762149446e-05,
      "loss": 2.0394,
      "step": 838
    },
    {
      "epoch": 1.1173333333333333,
      "grad_norm": 0.33037244516122444,
      "learning_rate": 1.424673826747932e-05,
      "loss": 2.1109,
      "step": 839
    },
    {
      "epoch": 1.1186666666666667,
      "grad_norm": 0.27845613642536654,
      "learning_rate": 1.4218488925655038e-05,
      "loss": 1.8761,
      "step": 840
    },
    {
      "epoch": 1.12,
      "grad_norm": 0.29067916025863894,
      "learning_rate": 1.4190249863963746e-05,
      "loss": 2.0218,
      "step": 841
    },
    {
      "epoch": 1.1213333333333333,
      "grad_norm": 0.2028693513568206,
      "learning_rate": 1.4162021209646242e-05,
      "loss": 2.351,
      "step": 842
    },
    {
      "epoch": 1.1226666666666667,
      "grad_norm": 0.22107038719143224,
      "learning_rate": 1.4133803089896437e-05,
      "loss": 2.0639,
      "step": 843
    },
    {
      "epoch": 1.124,
      "grad_norm": 0.19090428144867044,
      "learning_rate": 1.4105595631860785e-05,
      "loss": 2.0944,
      "step": 844
    },
    {
      "epoch": 1.1253333333333333,
      "grad_norm": 0.2307925623582864,
      "learning_rate": 1.4077398962637679e-05,
      "loss": 2.1235,
      "step": 845
    },
    {
      "epoch": 1.1266666666666667,
      "grad_norm": 0.2773105933942592,
      "learning_rate": 1.4049213209276925e-05,
      "loss": 2.3474,
      "step": 846
    },
    {
      "epoch": 1.1280000000000001,
      "grad_norm": 0.28933871659651195,
      "learning_rate": 1.4021038498779123e-05,
      "loss": 1.6713,
      "step": 847
    },
    {
      "epoch": 1.1293333333333333,
      "grad_norm": 0.24815103673978903,
      "learning_rate": 1.3992874958095125e-05,
      "loss": 2.2942,
      "step": 848
    },
    {
      "epoch": 1.1306666666666667,
      "grad_norm": 0.22407067780211767,
      "learning_rate": 1.396472271412545e-05,
      "loss": 2.0328,
      "step": 849
    },
    {
      "epoch": 1.1320000000000001,
      "grad_norm": 0.19722677720163131,
      "learning_rate": 1.3936581893719717e-05,
      "loss": 2.0957,
      "step": 850
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 0.2732434799353355,
      "learning_rate": 1.3908452623676083e-05,
      "loss": 2.07,
      "step": 851
    },
    {
      "epoch": 1.1346666666666667,
      "grad_norm": 0.3693734960374534,
      "learning_rate": 1.3880335030740634e-05,
      "loss": 1.9537,
      "step": 852
    },
    {
      "epoch": 1.1360000000000001,
      "grad_norm": 0.34582418850189106,
      "learning_rate": 1.385222924160687e-05,
      "loss": 2.3543,
      "step": 853
    },
    {
      "epoch": 1.1373333333333333,
      "grad_norm": 0.34579666129827547,
      "learning_rate": 1.3824135382915085e-05,
      "loss": 1.7169,
      "step": 854
    },
    {
      "epoch": 1.1386666666666667,
      "grad_norm": 0.27912681218848595,
      "learning_rate": 1.3796053581251835e-05,
      "loss": 2.0586,
      "step": 855
    },
    {
      "epoch": 1.1400000000000001,
      "grad_norm": 0.22301389294204216,
      "learning_rate": 1.3767983963149322e-05,
      "loss": 2.0467,
      "step": 856
    },
    {
      "epoch": 1.1413333333333333,
      "grad_norm": 0.35613948380619104,
      "learning_rate": 1.3739926655084871e-05,
      "loss": 2.3776,
      "step": 857
    },
    {
      "epoch": 1.1426666666666667,
      "grad_norm": 0.37935485390184787,
      "learning_rate": 1.3711881783480343e-05,
      "loss": 1.908,
      "step": 858
    },
    {
      "epoch": 1.144,
      "grad_norm": 0.2604125057354825,
      "learning_rate": 1.3683849474701546e-05,
      "loss": 2.1663,
      "step": 859
    },
    {
      "epoch": 1.1453333333333333,
      "grad_norm": 0.20226443257243945,
      "learning_rate": 1.36558298550577e-05,
      "loss": 2.1179,
      "step": 860
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 0.28670416054657116,
      "learning_rate": 1.3627823050800821e-05,
      "loss": 2.3402,
      "step": 861
    },
    {
      "epoch": 1.148,
      "grad_norm": 0.22345952514121253,
      "learning_rate": 1.3599829188125224e-05,
      "loss": 2.0037,
      "step": 862
    },
    {
      "epoch": 1.1493333333333333,
      "grad_norm": 0.24363095543034283,
      "learning_rate": 1.357184839316687e-05,
      "loss": 2.449,
      "step": 863
    },
    {
      "epoch": 1.1506666666666667,
      "grad_norm": 0.35434158328131543,
      "learning_rate": 1.3543880792002864e-05,
      "loss": 1.7194,
      "step": 864
    },
    {
      "epoch": 1.152,
      "grad_norm": 0.27961168317007334,
      "learning_rate": 1.3515926510650848e-05,
      "loss": 2.1084,
      "step": 865
    },
    {
      "epoch": 1.1533333333333333,
      "grad_norm": 0.2851106139542046,
      "learning_rate": 1.3487985675068456e-05,
      "loss": 1.9084,
      "step": 866
    },
    {
      "epoch": 1.1546666666666667,
      "grad_norm": 0.3386904368910706,
      "learning_rate": 1.3460058411152742e-05,
      "loss": 1.6938,
      "step": 867
    },
    {
      "epoch": 1.156,
      "grad_norm": 0.23212252628845687,
      "learning_rate": 1.3432144844739585e-05,
      "loss": 2.0928,
      "step": 868
    },
    {
      "epoch": 1.1573333333333333,
      "grad_norm": 0.269610885122469,
      "learning_rate": 1.3404245101603173e-05,
      "loss": 2.1966,
      "step": 869
    },
    {
      "epoch": 1.1586666666666667,
      "grad_norm": 0.24300942352810392,
      "learning_rate": 1.3376359307455391e-05,
      "loss": 2.1554,
      "step": 870
    },
    {
      "epoch": 1.16,
      "grad_norm": 0.26437919301371793,
      "learning_rate": 1.3348487587945281e-05,
      "loss": 1.7462,
      "step": 871
    },
    {
      "epoch": 1.1613333333333333,
      "grad_norm": 0.2038778141393033,
      "learning_rate": 1.3320630068658456e-05,
      "loss": 2.1588,
      "step": 872
    },
    {
      "epoch": 1.1626666666666667,
      "grad_norm": 0.29610511589262156,
      "learning_rate": 1.3292786875116554e-05,
      "loss": 1.8045,
      "step": 873
    },
    {
      "epoch": 1.164,
      "grad_norm": 0.2083586397413081,
      "learning_rate": 1.326495813277667e-05,
      "loss": 2.1227,
      "step": 874
    },
    {
      "epoch": 1.1653333333333333,
      "grad_norm": 0.3157235681757098,
      "learning_rate": 1.3237143967030768e-05,
      "loss": 1.5903,
      "step": 875
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 0.311903676076516,
      "learning_rate": 1.3209344503205141e-05,
      "loss": 1.8527,
      "step": 876
    },
    {
      "epoch": 1.168,
      "grad_norm": 0.3393466746581136,
      "learning_rate": 1.3181559866559834e-05,
      "loss": 1.8694,
      "step": 877
    },
    {
      "epoch": 1.1693333333333333,
      "grad_norm": 0.28211130910911014,
      "learning_rate": 1.3153790182288096e-05,
      "loss": 2.1516,
      "step": 878
    },
    {
      "epoch": 1.1706666666666667,
      "grad_norm": 0.2799523751154251,
      "learning_rate": 1.3126035575515774e-05,
      "loss": 2.1035,
      "step": 879
    },
    {
      "epoch": 1.172,
      "grad_norm": 0.21511516012771723,
      "learning_rate": 1.3098296171300815e-05,
      "loss": 2.2037,
      "step": 880
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 0.2033152836937396,
      "learning_rate": 1.307057209463263e-05,
      "loss": 2.1185,
      "step": 881
    },
    {
      "epoch": 1.1746666666666667,
      "grad_norm": 0.31602422191043694,
      "learning_rate": 1.3042863470431595e-05,
      "loss": 2.0474,
      "step": 882
    },
    {
      "epoch": 1.176,
      "grad_norm": 0.30289004802802955,
      "learning_rate": 1.3015170423548452e-05,
      "loss": 1.9043,
      "step": 883
    },
    {
      "epoch": 1.1773333333333333,
      "grad_norm": 0.3700889055905809,
      "learning_rate": 1.2987493078763735e-05,
      "loss": 1.6108,
      "step": 884
    },
    {
      "epoch": 1.1786666666666668,
      "grad_norm": 0.28548958638313016,
      "learning_rate": 1.2959831560787254e-05,
      "loss": 2.1398,
      "step": 885
    },
    {
      "epoch": 1.18,
      "grad_norm": 0.25770632580022057,
      "learning_rate": 1.293218599425749e-05,
      "loss": 1.9075,
      "step": 886
    },
    {
      "epoch": 1.1813333333333333,
      "grad_norm": 0.33534449476212286,
      "learning_rate": 1.2904556503741054e-05,
      "loss": 1.9316,
      "step": 887
    },
    {
      "epoch": 1.1826666666666668,
      "grad_norm": 0.3166639011177591,
      "learning_rate": 1.2876943213732113e-05,
      "loss": 1.6889,
      "step": 888
    },
    {
      "epoch": 1.184,
      "grad_norm": 0.25352222922087836,
      "learning_rate": 1.2849346248651851e-05,
      "loss": 1.9141,
      "step": 889
    },
    {
      "epoch": 1.1853333333333333,
      "grad_norm": 0.25768329681012353,
      "learning_rate": 1.2821765732847894e-05,
      "loss": 2.0407,
      "step": 890
    },
    {
      "epoch": 1.1866666666666668,
      "grad_norm": 0.39860000016451574,
      "learning_rate": 1.2794201790593729e-05,
      "loss": 1.9456,
      "step": 891
    },
    {
      "epoch": 1.188,
      "grad_norm": 0.272480193437812,
      "learning_rate": 1.276665454608819e-05,
      "loss": 2.1016,
      "step": 892
    },
    {
      "epoch": 1.1893333333333334,
      "grad_norm": 0.20790740179363376,
      "learning_rate": 1.2739124123454861e-05,
      "loss": 2.2562,
      "step": 893
    },
    {
      "epoch": 1.1906666666666668,
      "grad_norm": 0.33072921666504135,
      "learning_rate": 1.2711610646741535e-05,
      "loss": 2.0387,
      "step": 894
    },
    {
      "epoch": 1.192,
      "grad_norm": 0.23124047936995398,
      "learning_rate": 1.2684114239919634e-05,
      "loss": 2.1793,
      "step": 895
    },
    {
      "epoch": 1.1933333333333334,
      "grad_norm": 0.25553197408913225,
      "learning_rate": 1.265663502688369e-05,
      "loss": 2.0221,
      "step": 896
    },
    {
      "epoch": 1.1946666666666665,
      "grad_norm": 0.24976865846165938,
      "learning_rate": 1.262917313145074e-05,
      "loss": 2.2023,
      "step": 897
    },
    {
      "epoch": 1.196,
      "grad_norm": 0.26189714265274144,
      "learning_rate": 1.260172867735981e-05,
      "loss": 2.1178,
      "step": 898
    },
    {
      "epoch": 1.1973333333333334,
      "grad_norm": 0.2522352567726127,
      "learning_rate": 1.2574301788271328e-05,
      "loss": 2.1716,
      "step": 899
    },
    {
      "epoch": 1.1986666666666665,
      "grad_norm": 0.2944286279158644,
      "learning_rate": 1.2546892587766574e-05,
      "loss": 2.0917,
      "step": 900
    },
    {
      "epoch": 1.1986666666666665,
      "eval_loss": 1.7244901657104492,
      "eval_runtime": 98.7949,
      "eval_samples_per_second": 1.012,
      "eval_steps_per_second": 0.253,
      "step": 900
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.2547330577707196,
      "learning_rate": 1.251950119934713e-05,
      "loss": 2.0067,
      "step": 901
    },
    {
      "epoch": 1.2013333333333334,
      "grad_norm": 0.30117867035434776,
      "learning_rate": 1.2492127746434314e-05,
      "loss": 1.8638,
      "step": 902
    },
    {
      "epoch": 1.2026666666666666,
      "grad_norm": 0.2615895402404071,
      "learning_rate": 1.2464772352368647e-05,
      "loss": 2.2824,
      "step": 903
    },
    {
      "epoch": 1.204,
      "grad_norm": 0.2597748699646768,
      "learning_rate": 1.2437435140409255e-05,
      "loss": 2.1053,
      "step": 904
    },
    {
      "epoch": 1.2053333333333334,
      "grad_norm": 0.3761295047354225,
      "learning_rate": 1.2410116233733357e-05,
      "loss": 1.9672,
      "step": 905
    },
    {
      "epoch": 1.2066666666666666,
      "grad_norm": 0.2913866347705974,
      "learning_rate": 1.2382815755435687e-05,
      "loss": 2.1088,
      "step": 906
    },
    {
      "epoch": 1.208,
      "grad_norm": 0.38291366440673635,
      "learning_rate": 1.2355533828527934e-05,
      "loss": 1.8243,
      "step": 907
    },
    {
      "epoch": 1.2093333333333334,
      "grad_norm": 0.32386717527047804,
      "learning_rate": 1.2328270575938213e-05,
      "loss": 1.8934,
      "step": 908
    },
    {
      "epoch": 1.2106666666666666,
      "grad_norm": 0.1826624959172315,
      "learning_rate": 1.2301026120510475e-05,
      "loss": 2.2003,
      "step": 909
    },
    {
      "epoch": 1.212,
      "grad_norm": 0.3062699668335225,
      "learning_rate": 1.2273800585004e-05,
      "loss": 1.8659,
      "step": 910
    },
    {
      "epoch": 1.2133333333333334,
      "grad_norm": 0.22823325737647399,
      "learning_rate": 1.2246594092092794e-05,
      "loss": 2.2497,
      "step": 911
    },
    {
      "epoch": 1.2146666666666666,
      "grad_norm": 0.3504153910721868,
      "learning_rate": 1.2219406764365078e-05,
      "loss": 1.4905,
      "step": 912
    },
    {
      "epoch": 1.216,
      "grad_norm": 0.2408275469329323,
      "learning_rate": 1.2192238724322697e-05,
      "loss": 2.2068,
      "step": 913
    },
    {
      "epoch": 1.2173333333333334,
      "grad_norm": 0.26442843650072173,
      "learning_rate": 1.2165090094380611e-05,
      "loss": 2.1585,
      "step": 914
    },
    {
      "epoch": 1.2186666666666666,
      "grad_norm": 0.25378084892897107,
      "learning_rate": 1.2137960996866317e-05,
      "loss": 2.2022,
      "step": 915
    },
    {
      "epoch": 1.22,
      "grad_norm": 0.31051625227270396,
      "learning_rate": 1.2110851554019274e-05,
      "loss": 1.9324,
      "step": 916
    },
    {
      "epoch": 1.2213333333333334,
      "grad_norm": 0.3819581351495789,
      "learning_rate": 1.2083761887990429e-05,
      "loss": 1.6774,
      "step": 917
    },
    {
      "epoch": 1.2226666666666666,
      "grad_norm": 0.32058824344227177,
      "learning_rate": 1.205669212084157e-05,
      "loss": 1.909,
      "step": 918
    },
    {
      "epoch": 1.224,
      "grad_norm": 0.3473832906787709,
      "learning_rate": 1.2029642374544858e-05,
      "loss": 1.8806,
      "step": 919
    },
    {
      "epoch": 1.2253333333333334,
      "grad_norm": 0.25003309371333615,
      "learning_rate": 1.2002612770982223e-05,
      "loss": 2.1653,
      "step": 920
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 0.2525675648288993,
      "learning_rate": 1.1975603431944842e-05,
      "loss": 1.9691,
      "step": 921
    },
    {
      "epoch": 1.228,
      "grad_norm": 0.27491762634579053,
      "learning_rate": 1.1948614479132597e-05,
      "loss": 2.3897,
      "step": 922
    },
    {
      "epoch": 1.2293333333333334,
      "grad_norm": 0.22984436322386587,
      "learning_rate": 1.192164603415348e-05,
      "loss": 2.0477,
      "step": 923
    },
    {
      "epoch": 1.2306666666666666,
      "grad_norm": 0.2592965644021112,
      "learning_rate": 1.1894698218523107e-05,
      "loss": 1.8221,
      "step": 924
    },
    {
      "epoch": 1.232,
      "grad_norm": 0.23779567668756016,
      "learning_rate": 1.1867771153664127e-05,
      "loss": 2.147,
      "step": 925
    },
    {
      "epoch": 1.2333333333333334,
      "grad_norm": 0.29708936917555434,
      "learning_rate": 1.1840864960905699e-05,
      "loss": 2.4098,
      "step": 926
    },
    {
      "epoch": 1.2346666666666666,
      "grad_norm": 0.24938414210983972,
      "learning_rate": 1.1813979761482923e-05,
      "loss": 2.3323,
      "step": 927
    },
    {
      "epoch": 1.236,
      "grad_norm": 0.36245195992978585,
      "learning_rate": 1.1787115676536318e-05,
      "loss": 1.9571,
      "step": 928
    },
    {
      "epoch": 1.2373333333333334,
      "grad_norm": 0.25809386922531646,
      "learning_rate": 1.176027282711126e-05,
      "loss": 2.0808,
      "step": 929
    },
    {
      "epoch": 1.2386666666666666,
      "grad_norm": 0.32260400225446856,
      "learning_rate": 1.1733451334157442e-05,
      "loss": 1.523,
      "step": 930
    },
    {
      "epoch": 1.24,
      "grad_norm": 0.2572561777008489,
      "learning_rate": 1.1706651318528324e-05,
      "loss": 2.1503,
      "step": 931
    },
    {
      "epoch": 1.2413333333333334,
      "grad_norm": 0.29182585989734355,
      "learning_rate": 1.1679872900980594e-05,
      "loss": 1.7526,
      "step": 932
    },
    {
      "epoch": 1.2426666666666666,
      "grad_norm": 0.32446496421369664,
      "learning_rate": 1.1653116202173636e-05,
      "loss": 1.936,
      "step": 933
    },
    {
      "epoch": 1.244,
      "grad_norm": 0.19883278658831505,
      "learning_rate": 1.1626381342668941e-05,
      "loss": 2.0101,
      "step": 934
    },
    {
      "epoch": 1.2453333333333334,
      "grad_norm": 0.29576475205827124,
      "learning_rate": 1.1599668442929633e-05,
      "loss": 2.0127,
      "step": 935
    },
    {
      "epoch": 1.2466666666666666,
      "grad_norm": 0.3676829627740954,
      "learning_rate": 1.1572977623319863e-05,
      "loss": 2.438,
      "step": 936
    },
    {
      "epoch": 1.248,
      "grad_norm": 0.22325240280957503,
      "learning_rate": 1.1546309004104298e-05,
      "loss": 2.0717,
      "step": 937
    },
    {
      "epoch": 1.2493333333333334,
      "grad_norm": 0.34005680560575235,
      "learning_rate": 1.1519662705447585e-05,
      "loss": 1.9409,
      "step": 938
    },
    {
      "epoch": 1.2506666666666666,
      "grad_norm": 0.22968940980272243,
      "learning_rate": 1.1493038847413779e-05,
      "loss": 2.191,
      "step": 939
    },
    {
      "epoch": 1.252,
      "grad_norm": 0.24326085626015034,
      "learning_rate": 1.1466437549965835e-05,
      "loss": 1.7475,
      "step": 940
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 0.23046922632524613,
      "learning_rate": 1.143985893296505e-05,
      "loss": 2.0973,
      "step": 941
    },
    {
      "epoch": 1.2546666666666666,
      "grad_norm": 0.28114011768361297,
      "learning_rate": 1.141330311617053e-05,
      "loss": 2.315,
      "step": 942
    },
    {
      "epoch": 1.256,
      "grad_norm": 0.47347586360266986,
      "learning_rate": 1.138677021923863e-05,
      "loss": 1.4803,
      "step": 943
    },
    {
      "epoch": 1.2573333333333334,
      "grad_norm": 0.2508323694375401,
      "learning_rate": 1.136026036172246e-05,
      "loss": 2.1912,
      "step": 944
    },
    {
      "epoch": 1.2586666666666666,
      "grad_norm": 0.2796341142328396,
      "learning_rate": 1.1333773663071288e-05,
      "loss": 2.1389,
      "step": 945
    },
    {
      "epoch": 1.26,
      "grad_norm": 0.3296992563741328,
      "learning_rate": 1.1307310242630057e-05,
      "loss": 1.6939,
      "step": 946
    },
    {
      "epoch": 1.2613333333333334,
      "grad_norm": 0.3083106018198859,
      "learning_rate": 1.128087021963881e-05,
      "loss": 2.3766,
      "step": 947
    },
    {
      "epoch": 1.2626666666666666,
      "grad_norm": 0.31882717197187505,
      "learning_rate": 1.1254453713232159e-05,
      "loss": 1.6688,
      "step": 948
    },
    {
      "epoch": 1.264,
      "grad_norm": 0.29232166517893704,
      "learning_rate": 1.122806084243877e-05,
      "loss": 2.1866,
      "step": 949
    },
    {
      "epoch": 1.2653333333333334,
      "grad_norm": 0.3163610956601867,
      "learning_rate": 1.120169172618079e-05,
      "loss": 1.9031,
      "step": 950
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 0.3120121778039467,
      "learning_rate": 1.1175346483273354e-05,
      "loss": 1.853,
      "step": 951
    },
    {
      "epoch": 1.268,
      "grad_norm": 0.5009025445022389,
      "learning_rate": 1.1149025232424012e-05,
      "loss": 1.6438,
      "step": 952
    },
    {
      "epoch": 1.2693333333333334,
      "grad_norm": 0.23700035332015665,
      "learning_rate": 1.1122728092232216e-05,
      "loss": 2.0785,
      "step": 953
    },
    {
      "epoch": 1.2706666666666666,
      "grad_norm": 0.264436489757347,
      "learning_rate": 1.1096455181188775e-05,
      "loss": 2.0052,
      "step": 954
    },
    {
      "epoch": 1.272,
      "grad_norm": 0.23160525014333155,
      "learning_rate": 1.1070206617675325e-05,
      "loss": 2.1096,
      "step": 955
    },
    {
      "epoch": 1.2733333333333334,
      "grad_norm": 0.32986807056319895,
      "learning_rate": 1.1043982519963808e-05,
      "loss": 1.7779,
      "step": 956
    },
    {
      "epoch": 1.2746666666666666,
      "grad_norm": 0.2579454877027749,
      "learning_rate": 1.1017783006215907e-05,
      "loss": 2.0495,
      "step": 957
    },
    {
      "epoch": 1.276,
      "grad_norm": 0.25162242528179907,
      "learning_rate": 1.0991608194482554e-05,
      "loss": 2.2682,
      "step": 958
    },
    {
      "epoch": 1.2773333333333334,
      "grad_norm": 0.30710812037355206,
      "learning_rate": 1.0965458202703352e-05,
      "loss": 1.7869,
      "step": 959
    },
    {
      "epoch": 1.2786666666666666,
      "grad_norm": 0.2532367005874789,
      "learning_rate": 1.09393331487061e-05,
      "loss": 2.3555,
      "step": 960
    },
    {
      "epoch": 1.28,
      "grad_norm": 0.36484293291028724,
      "learning_rate": 1.0913233150206209e-05,
      "loss": 1.7604,
      "step": 961
    },
    {
      "epoch": 1.2813333333333334,
      "grad_norm": 0.2595141607506986,
      "learning_rate": 1.08871583248062e-05,
      "loss": 1.7623,
      "step": 962
    },
    {
      "epoch": 1.2826666666666666,
      "grad_norm": 0.321469400417862,
      "learning_rate": 1.0861108789995175e-05,
      "loss": 1.9921,
      "step": 963
    },
    {
      "epoch": 1.284,
      "grad_norm": 0.29552580225234487,
      "learning_rate": 1.0835084663148261e-05,
      "loss": 1.9573,
      "step": 964
    },
    {
      "epoch": 1.2853333333333334,
      "grad_norm": 0.41556496862580544,
      "learning_rate": 1.0809086061526128e-05,
      "loss": 1.8884,
      "step": 965
    },
    {
      "epoch": 1.2866666666666666,
      "grad_norm": 0.2822774487477595,
      "learning_rate": 1.0783113102274411e-05,
      "loss": 1.8946,
      "step": 966
    },
    {
      "epoch": 1.288,
      "grad_norm": 0.44031351175790295,
      "learning_rate": 1.0757165902423214e-05,
      "loss": 1.9377,
      "step": 967
    },
    {
      "epoch": 1.2893333333333334,
      "grad_norm": 0.3224023433804108,
      "learning_rate": 1.0731244578886574e-05,
      "loss": 1.9487,
      "step": 968
    },
    {
      "epoch": 1.2906666666666666,
      "grad_norm": 0.2289483081063148,
      "learning_rate": 1.0705349248461927e-05,
      "loss": 2.1853,
      "step": 969
    },
    {
      "epoch": 1.292,
      "grad_norm": 0.20304258698515246,
      "learning_rate": 1.0679480027829593e-05,
      "loss": 2.1007,
      "step": 970
    },
    {
      "epoch": 1.2933333333333334,
      "grad_norm": 0.23337315396307892,
      "learning_rate": 1.0653637033552248e-05,
      "loss": 1.9286,
      "step": 971
    },
    {
      "epoch": 1.2946666666666666,
      "grad_norm": 0.24322683715799448,
      "learning_rate": 1.0627820382074392e-05,
      "loss": 2.2592,
      "step": 972
    },
    {
      "epoch": 1.296,
      "grad_norm": 0.3045623268241354,
      "learning_rate": 1.0602030189721824e-05,
      "loss": 1.8093,
      "step": 973
    },
    {
      "epoch": 1.2973333333333334,
      "grad_norm": 0.2619398899479254,
      "learning_rate": 1.057626657270114e-05,
      "loss": 2.3952,
      "step": 974
    },
    {
      "epoch": 1.2986666666666666,
      "grad_norm": 0.312834788584186,
      "learning_rate": 1.055052964709916e-05,
      "loss": 1.5679,
      "step": 975
    },
    {
      "epoch": 1.2986666666666666,
      "eval_loss": 1.7238746881484985,
      "eval_runtime": 98.6021,
      "eval_samples_per_second": 1.014,
      "eval_steps_per_second": 0.254,
      "step": 975
    },
    {
      "epoch": 1.3,
      "grad_norm": 0.2066841548756775,
      "learning_rate": 1.0524819528882473e-05,
      "loss": 2.0234,
      "step": 976
    },
    {
      "epoch": 1.3013333333333335,
      "grad_norm": 0.23611191495984157,
      "learning_rate": 1.0499136333896853e-05,
      "loss": 2.0812,
      "step": 977
    },
    {
      "epoch": 1.3026666666666666,
      "grad_norm": 0.25854462746138257,
      "learning_rate": 1.0473480177866766e-05,
      "loss": 2.027,
      "step": 978
    },
    {
      "epoch": 1.304,
      "grad_norm": 0.2993196878311568,
      "learning_rate": 1.0447851176394865e-05,
      "loss": 1.4299,
      "step": 979
    },
    {
      "epoch": 1.3053333333333335,
      "grad_norm": 0.3312016639987474,
      "learning_rate": 1.0422249444961409e-05,
      "loss": 2.0316,
      "step": 980
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 0.4123660738002601,
      "learning_rate": 1.0396675098923824e-05,
      "loss": 1.5699,
      "step": 981
    },
    {
      "epoch": 1.308,
      "grad_norm": 0.47523750295511136,
      "learning_rate": 1.0371128253516119e-05,
      "loss": 2.0409,
      "step": 982
    },
    {
      "epoch": 1.3093333333333335,
      "grad_norm": 0.26386017358225666,
      "learning_rate": 1.0345609023848393e-05,
      "loss": 2.0663,
      "step": 983
    },
    {
      "epoch": 1.3106666666666666,
      "grad_norm": 0.23941498875502595,
      "learning_rate": 1.0320117524906314e-05,
      "loss": 1.9465,
      "step": 984
    },
    {
      "epoch": 1.312,
      "grad_norm": 0.3011591825689887,
      "learning_rate": 1.0294653871550597e-05,
      "loss": 2.1965,
      "step": 985
    },
    {
      "epoch": 1.3133333333333335,
      "grad_norm": 0.3886533008639575,
      "learning_rate": 1.026921817851649e-05,
      "loss": 1.9607,
      "step": 986
    },
    {
      "epoch": 1.3146666666666667,
      "grad_norm": 0.46935820996990335,
      "learning_rate": 1.0243810560413267e-05,
      "loss": 2.0066,
      "step": 987
    },
    {
      "epoch": 1.316,
      "grad_norm": 0.3030968762504365,
      "learning_rate": 1.0218431131723686e-05,
      "loss": 2.221,
      "step": 988
    },
    {
      "epoch": 1.3173333333333335,
      "grad_norm": 0.3919982524329497,
      "learning_rate": 1.0193080006803488e-05,
      "loss": 1.7649,
      "step": 989
    },
    {
      "epoch": 1.3186666666666667,
      "grad_norm": 0.4656293894389717,
      "learning_rate": 1.0167757299880904e-05,
      "loss": 2.0147,
      "step": 990
    },
    {
      "epoch": 1.32,
      "grad_norm": 0.29953323462402315,
      "learning_rate": 1.014246312505608e-05,
      "loss": 1.8871,
      "step": 991
    },
    {
      "epoch": 1.3213333333333335,
      "grad_norm": 0.2930865401307731,
      "learning_rate": 1.0117197596300636e-05,
      "loss": 1.8657,
      "step": 992
    },
    {
      "epoch": 1.3226666666666667,
      "grad_norm": 0.390100158479355,
      "learning_rate": 1.00919608274571e-05,
      "loss": 2.0961,
      "step": 993
    },
    {
      "epoch": 1.324,
      "grad_norm": 0.24323933777658324,
      "learning_rate": 1.0066752932238409e-05,
      "loss": 1.9925,
      "step": 994
    },
    {
      "epoch": 1.3253333333333333,
      "grad_norm": 0.20714496547037972,
      "learning_rate": 1.0041574024227422e-05,
      "loss": 2.2419,
      "step": 995
    },
    {
      "epoch": 1.3266666666666667,
      "grad_norm": 0.2501953151896484,
      "learning_rate": 1.0016424216876349e-05,
      "loss": 2.2866,
      "step": 996
    },
    {
      "epoch": 1.328,
      "grad_norm": 0.2919524534618537,
      "learning_rate": 9.991303623506314e-06,
      "loss": 1.963,
      "step": 997
    },
    {
      "epoch": 1.3293333333333333,
      "grad_norm": 0.2510067983950005,
      "learning_rate": 9.966212357306789e-06,
      "loss": 2.0418,
      "step": 998
    },
    {
      "epoch": 1.3306666666666667,
      "grad_norm": 0.2165153318028165,
      "learning_rate": 9.941150531335105e-06,
      "loss": 2.2648,
      "step": 999
    },
    {
      "epoch": 1.332,
      "grad_norm": 0.41720693355902916,
      "learning_rate": 9.916118258515937e-06,
      "loss": 1.5364,
      "step": 1000
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.2570034938354712,
      "learning_rate": 9.891115651640803e-06,
      "loss": 2.2123,
      "step": 1001
    },
    {
      "epoch": 1.3346666666666667,
      "grad_norm": 0.2590986125961775,
      "learning_rate": 9.866142823367548e-06,
      "loss": 2.1989,
      "step": 1002
    },
    {
      "epoch": 1.336,
      "grad_norm": 0.2943508577234797,
      "learning_rate": 9.841199886219841e-06,
      "loss": 1.992,
      "step": 1003
    },
    {
      "epoch": 1.3373333333333333,
      "grad_norm": 0.3452008163216107,
      "learning_rate": 9.816286952586672e-06,
      "loss": 1.8358,
      "step": 1004
    },
    {
      "epoch": 1.3386666666666667,
      "grad_norm": 0.3328936896154838,
      "learning_rate": 9.791404134721822e-06,
      "loss": 2.027,
      "step": 1005
    },
    {
      "epoch": 1.34,
      "grad_norm": 0.4346204940522017,
      "learning_rate": 9.7665515447434e-06,
      "loss": 1.6934,
      "step": 1006
    },
    {
      "epoch": 1.3413333333333333,
      "grad_norm": 0.27369420080493645,
      "learning_rate": 9.741729294633283e-06,
      "loss": 1.9471,
      "step": 1007
    },
    {
      "epoch": 1.3426666666666667,
      "grad_norm": 0.2333434561287913,
      "learning_rate": 9.716937496236674e-06,
      "loss": 2.1179,
      "step": 1008
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 0.25380161045018934,
      "learning_rate": 9.69217626126154e-06,
      "loss": 2.1244,
      "step": 1009
    },
    {
      "epoch": 1.3453333333333333,
      "grad_norm": 0.291324934426026,
      "learning_rate": 9.66744570127814e-06,
      "loss": 1.8656,
      "step": 1010
    },
    {
      "epoch": 1.3466666666666667,
      "grad_norm": 0.23442616886376189,
      "learning_rate": 9.642745927718532e-06,
      "loss": 2.2127,
      "step": 1011
    },
    {
      "epoch": 1.3479999999999999,
      "grad_norm": 0.31306139241755915,
      "learning_rate": 9.618077051876027e-06,
      "loss": 1.7291,
      "step": 1012
    },
    {
      "epoch": 1.3493333333333333,
      "grad_norm": 0.3515339531352735,
      "learning_rate": 9.593439184904743e-06,
      "loss": 1.8207,
      "step": 1013
    },
    {
      "epoch": 1.3506666666666667,
      "grad_norm": 0.8365093850528004,
      "learning_rate": 9.56883243781906e-06,
      "loss": 1.849,
      "step": 1014
    },
    {
      "epoch": 1.3519999999999999,
      "grad_norm": 0.2903696389507148,
      "learning_rate": 9.544256921493143e-06,
      "loss": 2.0304,
      "step": 1015
    },
    {
      "epoch": 1.3533333333333333,
      "grad_norm": 0.21404332035599244,
      "learning_rate": 9.51971274666043e-06,
      "loss": 2.183,
      "step": 1016
    },
    {
      "epoch": 1.3546666666666667,
      "grad_norm": 0.3312096293122618,
      "learning_rate": 9.495200023913157e-06,
      "loss": 1.8786,
      "step": 1017
    },
    {
      "epoch": 1.3559999999999999,
      "grad_norm": 0.2556941819438561,
      "learning_rate": 9.470718863701808e-06,
      "loss": 1.7592,
      "step": 1018
    },
    {
      "epoch": 1.3573333333333333,
      "grad_norm": 0.2922744314300813,
      "learning_rate": 9.44626937633469e-06,
      "loss": 2.0837,
      "step": 1019
    },
    {
      "epoch": 1.3586666666666667,
      "grad_norm": 0.2536880917720249,
      "learning_rate": 9.421851671977374e-06,
      "loss": 2.0308,
      "step": 1020
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 0.2546073712056976,
      "learning_rate": 9.39746586065222e-06,
      "loss": 2.2593,
      "step": 1021
    },
    {
      "epoch": 1.3613333333333333,
      "grad_norm": 0.376826911912088,
      "learning_rate": 9.373112052237904e-06,
      "loss": 2.0858,
      "step": 1022
    },
    {
      "epoch": 1.3626666666666667,
      "grad_norm": 0.2595376039274529,
      "learning_rate": 9.348790356468868e-06,
      "loss": 2.2995,
      "step": 1023
    },
    {
      "epoch": 1.3639999999999999,
      "grad_norm": 0.3147677577616275,
      "learning_rate": 9.324500882934895e-06,
      "loss": 2.1556,
      "step": 1024
    },
    {
      "epoch": 1.3653333333333333,
      "grad_norm": 0.303360172980611,
      "learning_rate": 9.300243741080554e-06,
      "loss": 1.9504,
      "step": 1025
    },
    {
      "epoch": 1.3666666666666667,
      "grad_norm": 0.2821972169086538,
      "learning_rate": 9.276019040204743e-06,
      "loss": 2.1092,
      "step": 1026
    },
    {
      "epoch": 1.3679999999999999,
      "grad_norm": 0.2740770794379087,
      "learning_rate": 9.251826889460199e-06,
      "loss": 2.147,
      "step": 1027
    },
    {
      "epoch": 1.3693333333333333,
      "grad_norm": 0.3078021841106774,
      "learning_rate": 9.227667397852959e-06,
      "loss": 2.0266,
      "step": 1028
    },
    {
      "epoch": 1.3706666666666667,
      "grad_norm": 0.37222702209345876,
      "learning_rate": 9.203540674241935e-06,
      "loss": 1.9022,
      "step": 1029
    },
    {
      "epoch": 1.3719999999999999,
      "grad_norm": 0.30785568428977045,
      "learning_rate": 9.179446827338377e-06,
      "loss": 1.7123,
      "step": 1030
    },
    {
      "epoch": 1.3733333333333333,
      "grad_norm": 0.28177977841447255,
      "learning_rate": 9.155385965705402e-06,
      "loss": 2.015,
      "step": 1031
    },
    {
      "epoch": 1.3746666666666667,
      "grad_norm": 0.3104616836307782,
      "learning_rate": 9.131358197757492e-06,
      "loss": 2.2844,
      "step": 1032
    },
    {
      "epoch": 1.376,
      "grad_norm": 0.35543698525795886,
      "learning_rate": 9.107363631760036e-06,
      "loss": 1.8751,
      "step": 1033
    },
    {
      "epoch": 1.3773333333333333,
      "grad_norm": 0.36928659794302815,
      "learning_rate": 9.083402375828789e-06,
      "loss": 1.6635,
      "step": 1034
    },
    {
      "epoch": 1.3786666666666667,
      "grad_norm": 0.37741926337380055,
      "learning_rate": 9.05947453792944e-06,
      "loss": 1.7479,
      "step": 1035
    },
    {
      "epoch": 1.38,
      "grad_norm": 0.2589917233047938,
      "learning_rate": 9.035580225877096e-06,
      "loss": 2.0759,
      "step": 1036
    },
    {
      "epoch": 1.3813333333333333,
      "grad_norm": 0.2821854410032329,
      "learning_rate": 9.011719547335791e-06,
      "loss": 1.9565,
      "step": 1037
    },
    {
      "epoch": 1.3826666666666667,
      "grad_norm": 0.3962122947364143,
      "learning_rate": 8.987892609818034e-06,
      "loss": 1.8953,
      "step": 1038
    },
    {
      "epoch": 1.384,
      "grad_norm": 0.29350631665799953,
      "learning_rate": 8.964099520684272e-06,
      "loss": 2.184,
      "step": 1039
    },
    {
      "epoch": 1.3853333333333333,
      "grad_norm": 0.23836863300335664,
      "learning_rate": 8.940340387142464e-06,
      "loss": 1.8668,
      "step": 1040
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 0.2878738253620249,
      "learning_rate": 8.916615316247558e-06,
      "loss": 1.8121,
      "step": 1041
    },
    {
      "epoch": 1.388,
      "grad_norm": 0.3429656691098154,
      "learning_rate": 8.892924414901013e-06,
      "loss": 1.9059,
      "step": 1042
    },
    {
      "epoch": 1.3893333333333333,
      "grad_norm": 0.2981209762998983,
      "learning_rate": 8.869267789850354e-06,
      "loss": 1.9906,
      "step": 1043
    },
    {
      "epoch": 1.3906666666666667,
      "grad_norm": 0.4289147133224821,
      "learning_rate": 8.845645547688624e-06,
      "loss": 1.7197,
      "step": 1044
    },
    {
      "epoch": 1.392,
      "grad_norm": 0.2762960970206441,
      "learning_rate": 8.822057794853967e-06,
      "loss": 1.9793,
      "step": 1045
    },
    {
      "epoch": 1.3933333333333333,
      "grad_norm": 0.30228922028611566,
      "learning_rate": 8.798504637629125e-06,
      "loss": 2.068,
      "step": 1046
    },
    {
      "epoch": 1.3946666666666667,
      "grad_norm": 0.22982706385427917,
      "learning_rate": 8.77498618214094e-06,
      "loss": 2.2411,
      "step": 1047
    },
    {
      "epoch": 1.396,
      "grad_norm": 0.34540963566066135,
      "learning_rate": 8.751502534359904e-06,
      "loss": 1.9486,
      "step": 1048
    },
    {
      "epoch": 1.3973333333333333,
      "grad_norm": 0.2949342757497957,
      "learning_rate": 8.728053800099687e-06,
      "loss": 1.961,
      "step": 1049
    },
    {
      "epoch": 1.3986666666666667,
      "grad_norm": 0.29167541494308985,
      "learning_rate": 8.704640085016601e-06,
      "loss": 2.0799,
      "step": 1050
    },
    {
      "epoch": 1.3986666666666667,
      "eval_loss": 1.7225106954574585,
      "eval_runtime": 98.5095,
      "eval_samples_per_second": 1.015,
      "eval_steps_per_second": 0.254,
      "step": 1050
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.2538920596106222,
      "learning_rate": 8.681261494609212e-06,
      "loss": 2.0864,
      "step": 1051
    },
    {
      "epoch": 1.4013333333333333,
      "grad_norm": 0.3604417088892008,
      "learning_rate": 8.6579181342178e-06,
      "loss": 1.9843,
      "step": 1052
    },
    {
      "epoch": 1.4026666666666667,
      "grad_norm": 0.36215496910875805,
      "learning_rate": 8.634610109023892e-06,
      "loss": 1.903,
      "step": 1053
    },
    {
      "epoch": 1.404,
      "grad_norm": 0.2940826006596936,
      "learning_rate": 8.611337524049838e-06,
      "loss": 1.9685,
      "step": 1054
    },
    {
      "epoch": 1.4053333333333333,
      "grad_norm": 0.28109721909340885,
      "learning_rate": 8.588100484158244e-06,
      "loss": 2.1936,
      "step": 1055
    },
    {
      "epoch": 1.4066666666666667,
      "grad_norm": 0.2931046485608371,
      "learning_rate": 8.564899094051615e-06,
      "loss": 1.9512,
      "step": 1056
    },
    {
      "epoch": 1.408,
      "grad_norm": 0.30319191370368687,
      "learning_rate": 8.54173345827178e-06,
      "loss": 2.0051,
      "step": 1057
    },
    {
      "epoch": 1.4093333333333333,
      "grad_norm": 0.32318508775865556,
      "learning_rate": 8.51860368119948e-06,
      "loss": 2.014,
      "step": 1058
    },
    {
      "epoch": 1.4106666666666667,
      "grad_norm": 0.2562896640551883,
      "learning_rate": 8.495509867053894e-06,
      "loss": 1.8368,
      "step": 1059
    },
    {
      "epoch": 1.412,
      "grad_norm": 0.25207827965849544,
      "learning_rate": 8.472452119892131e-06,
      "loss": 2.1172,
      "step": 1060
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 0.28992178254462136,
      "learning_rate": 8.449430543608813e-06,
      "loss": 1.9678,
      "step": 1061
    },
    {
      "epoch": 1.4146666666666667,
      "grad_norm": 0.4380115889335412,
      "learning_rate": 8.426445241935567e-06,
      "loss": 1.7544,
      "step": 1062
    },
    {
      "epoch": 1.416,
      "grad_norm": 0.41106900474426666,
      "learning_rate": 8.403496318440579e-06,
      "loss": 1.8735,
      "step": 1063
    },
    {
      "epoch": 1.4173333333333333,
      "grad_norm": 0.4267500621888804,
      "learning_rate": 8.38058387652811e-06,
      "loss": 1.7465,
      "step": 1064
    },
    {
      "epoch": 1.4186666666666667,
      "grad_norm": 0.38572675777345117,
      "learning_rate": 8.357708019438066e-06,
      "loss": 2.0006,
      "step": 1065
    },
    {
      "epoch": 1.42,
      "grad_norm": 0.24569510153472549,
      "learning_rate": 8.33486885024547e-06,
      "loss": 1.9158,
      "step": 1066
    },
    {
      "epoch": 1.4213333333333333,
      "grad_norm": 0.31163226543192446,
      "learning_rate": 8.312066471860071e-06,
      "loss": 2.0806,
      "step": 1067
    },
    {
      "epoch": 1.4226666666666667,
      "grad_norm": 0.31222665393358956,
      "learning_rate": 8.289300987025822e-06,
      "loss": 1.6629,
      "step": 1068
    },
    {
      "epoch": 1.424,
      "grad_norm": 0.29017746937010225,
      "learning_rate": 8.266572498320442e-06,
      "loss": 2.0028,
      "step": 1069
    },
    {
      "epoch": 1.4253333333333333,
      "grad_norm": 0.31991884152941924,
      "learning_rate": 8.243881108154971e-06,
      "loss": 1.793,
      "step": 1070
    },
    {
      "epoch": 1.4266666666666667,
      "grad_norm": 0.2914832805009305,
      "learning_rate": 8.221226918773254e-06,
      "loss": 2.371,
      "step": 1071
    },
    {
      "epoch": 1.428,
      "grad_norm": 0.41845535588311844,
      "learning_rate": 8.198610032251547e-06,
      "loss": 1.6627,
      "step": 1072
    },
    {
      "epoch": 1.4293333333333333,
      "grad_norm": 0.24466845772563686,
      "learning_rate": 8.17603055049801e-06,
      "loss": 2.1392,
      "step": 1073
    },
    {
      "epoch": 1.4306666666666668,
      "grad_norm": 0.2351306348473946,
      "learning_rate": 8.153488575252256e-06,
      "loss": 2.0445,
      "step": 1074
    },
    {
      "epoch": 1.432,
      "grad_norm": 0.30766467211770576,
      "learning_rate": 8.130984208084926e-06,
      "loss": 2.0487,
      "step": 1075
    },
    {
      "epoch": 1.4333333333333333,
      "grad_norm": 0.2834529482744189,
      "learning_rate": 8.108517550397178e-06,
      "loss": 2.1675,
      "step": 1076
    },
    {
      "epoch": 1.4346666666666668,
      "grad_norm": 0.33712245469368524,
      "learning_rate": 8.086088703420265e-06,
      "loss": 1.812,
      "step": 1077
    },
    {
      "epoch": 1.436,
      "grad_norm": 0.3567695919385937,
      "learning_rate": 8.063697768215075e-06,
      "loss": 2.2049,
      "step": 1078
    },
    {
      "epoch": 1.4373333333333334,
      "grad_norm": 0.35317331947277286,
      "learning_rate": 8.041344845671671e-06,
      "loss": 2.0734,
      "step": 1079
    },
    {
      "epoch": 1.4386666666666668,
      "grad_norm": 0.2556791245018692,
      "learning_rate": 8.019030036508829e-06,
      "loss": 2.0325,
      "step": 1080
    },
    {
      "epoch": 1.44,
      "grad_norm": 0.2652220272830154,
      "learning_rate": 7.99675344127361e-06,
      "loss": 2.0987,
      "step": 1081
    },
    {
      "epoch": 1.4413333333333334,
      "grad_norm": 0.2897541478701596,
      "learning_rate": 7.974515160340857e-06,
      "loss": 2.0477,
      "step": 1082
    },
    {
      "epoch": 1.4426666666666668,
      "grad_norm": 0.2713354231164444,
      "learning_rate": 7.952315293912814e-06,
      "loss": 1.8909,
      "step": 1083
    },
    {
      "epoch": 1.444,
      "grad_norm": 0.27794343473271915,
      "learning_rate": 7.930153942018608e-06,
      "loss": 2.0123,
      "step": 1084
    },
    {
      "epoch": 1.4453333333333334,
      "grad_norm": 0.25586976825414004,
      "learning_rate": 7.908031204513828e-06,
      "loss": 2.093,
      "step": 1085
    },
    {
      "epoch": 1.4466666666666668,
      "grad_norm": 0.26054010693090757,
      "learning_rate": 7.885947181080093e-06,
      "loss": 2.0798,
      "step": 1086
    },
    {
      "epoch": 1.448,
      "grad_norm": 0.27627178506584565,
      "learning_rate": 7.863901971224549e-06,
      "loss": 2.0497,
      "step": 1087
    },
    {
      "epoch": 1.4493333333333334,
      "grad_norm": 0.4793416035194133,
      "learning_rate": 7.841895674279487e-06,
      "loss": 1.9451,
      "step": 1088
    },
    {
      "epoch": 1.4506666666666668,
      "grad_norm": 0.32101733468417615,
      "learning_rate": 7.819928389401843e-06,
      "loss": 1.9822,
      "step": 1089
    },
    {
      "epoch": 1.452,
      "grad_norm": 0.258481297693479,
      "learning_rate": 7.79800021557277e-06,
      "loss": 2.0653,
      "step": 1090
    },
    {
      "epoch": 1.4533333333333334,
      "grad_norm": 0.2182303867271908,
      "learning_rate": 7.776111251597212e-06,
      "loss": 2.1925,
      "step": 1091
    },
    {
      "epoch": 1.4546666666666668,
      "grad_norm": 0.29448801609812375,
      "learning_rate": 7.754261596103416e-06,
      "loss": 2.0005,
      "step": 1092
    },
    {
      "epoch": 1.456,
      "grad_norm": 0.3055651720495297,
      "learning_rate": 7.732451347542521e-06,
      "loss": 1.9711,
      "step": 1093
    },
    {
      "epoch": 1.4573333333333334,
      "grad_norm": 0.3161431648774649,
      "learning_rate": 7.710680604188111e-06,
      "loss": 2.0265,
      "step": 1094
    },
    {
      "epoch": 1.4586666666666668,
      "grad_norm": 0.23619983336210987,
      "learning_rate": 7.688949464135751e-06,
      "loss": 2.0187,
      "step": 1095
    },
    {
      "epoch": 1.46,
      "grad_norm": 0.33855954964966417,
      "learning_rate": 7.667258025302569e-06,
      "loss": 1.8056,
      "step": 1096
    },
    {
      "epoch": 1.4613333333333334,
      "grad_norm": 0.31777962087256434,
      "learning_rate": 7.645606385426815e-06,
      "loss": 2.2153,
      "step": 1097
    },
    {
      "epoch": 1.4626666666666668,
      "grad_norm": 0.31201584629582,
      "learning_rate": 7.623994642067387e-06,
      "loss": 1.9949,
      "step": 1098
    },
    {
      "epoch": 1.464,
      "grad_norm": 0.3372471418090139,
      "learning_rate": 7.602422892603438e-06,
      "loss": 1.5181,
      "step": 1099
    },
    {
      "epoch": 1.4653333333333334,
      "grad_norm": 0.31073176772622507,
      "learning_rate": 7.580891234233905e-06,
      "loss": 1.8531,
      "step": 1100
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 0.3116957138217745,
      "learning_rate": 7.559399763977072e-06,
      "loss": 2.2906,
      "step": 1101
    },
    {
      "epoch": 1.468,
      "grad_norm": 0.229465646917021,
      "learning_rate": 7.537948578670168e-06,
      "loss": 2.2351,
      "step": 1102
    },
    {
      "epoch": 1.4693333333333334,
      "grad_norm": 0.2655142959635673,
      "learning_rate": 7.516537774968873e-06,
      "loss": 1.9468,
      "step": 1103
    },
    {
      "epoch": 1.4706666666666668,
      "grad_norm": 0.24367202750127498,
      "learning_rate": 7.495167449346936e-06,
      "loss": 2.1133,
      "step": 1104
    },
    {
      "epoch": 1.472,
      "grad_norm": 0.25378800244252764,
      "learning_rate": 7.473837698095709e-06,
      "loss": 2.2698,
      "step": 1105
    },
    {
      "epoch": 1.4733333333333334,
      "grad_norm": 0.33368864079460925,
      "learning_rate": 7.452548617323718e-06,
      "loss": 1.956,
      "step": 1106
    },
    {
      "epoch": 1.4746666666666668,
      "grad_norm": 0.2928694785790874,
      "learning_rate": 7.43130030295625e-06,
      "loss": 1.7543,
      "step": 1107
    },
    {
      "epoch": 1.476,
      "grad_norm": 0.2647758594509944,
      "learning_rate": 7.4100928507348906e-06,
      "loss": 2.0156,
      "step": 1108
    },
    {
      "epoch": 1.4773333333333334,
      "grad_norm": 0.26837596843485895,
      "learning_rate": 7.388926356217109e-06,
      "loss": 2.2296,
      "step": 1109
    },
    {
      "epoch": 1.4786666666666668,
      "grad_norm": 0.3089495968101109,
      "learning_rate": 7.367800914775829e-06,
      "loss": 1.8543,
      "step": 1110
    },
    {
      "epoch": 1.48,
      "grad_norm": 0.34419976261823754,
      "learning_rate": 7.346716621598995e-06,
      "loss": 1.7276,
      "step": 1111
    },
    {
      "epoch": 1.4813333333333334,
      "grad_norm": 0.2719524903008768,
      "learning_rate": 7.325673571689135e-06,
      "loss": 1.8498,
      "step": 1112
    },
    {
      "epoch": 1.4826666666666668,
      "grad_norm": 0.32712229005728805,
      "learning_rate": 7.304671859862967e-06,
      "loss": 2.1891,
      "step": 1113
    },
    {
      "epoch": 1.484,
      "grad_norm": 0.229582678490368,
      "learning_rate": 7.283711580750906e-06,
      "loss": 2.0712,
      "step": 1114
    },
    {
      "epoch": 1.4853333333333334,
      "grad_norm": 0.30979881943842,
      "learning_rate": 7.262792828796713e-06,
      "loss": 1.933,
      "step": 1115
    },
    {
      "epoch": 1.4866666666666668,
      "grad_norm": 0.28334481455988325,
      "learning_rate": 7.241915698257026e-06,
      "loss": 2.0879,
      "step": 1116
    },
    {
      "epoch": 1.488,
      "grad_norm": 0.3192973814148057,
      "learning_rate": 7.221080283200925e-06,
      "loss": 2.0687,
      "step": 1117
    },
    {
      "epoch": 1.4893333333333334,
      "grad_norm": 0.2599356671150379,
      "learning_rate": 7.20028667750955e-06,
      "loss": 2.1094,
      "step": 1118
    },
    {
      "epoch": 1.4906666666666666,
      "grad_norm": 0.39128462717815576,
      "learning_rate": 7.179534974875638e-06,
      "loss": 1.9396,
      "step": 1119
    },
    {
      "epoch": 1.492,
      "grad_norm": 0.301840886430008,
      "learning_rate": 7.158825268803128e-06,
      "loss": 1.6469,
      "step": 1120
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 0.275916013821844,
      "learning_rate": 7.138157652606723e-06,
      "loss": 2.0605,
      "step": 1121
    },
    {
      "epoch": 1.4946666666666666,
      "grad_norm": 0.36483675044330716,
      "learning_rate": 7.1175322194114735e-06,
      "loss": 2.1861,
      "step": 1122
    },
    {
      "epoch": 1.496,
      "grad_norm": 0.3981617360945615,
      "learning_rate": 7.096949062152373e-06,
      "loss": 1.8739,
      "step": 1123
    },
    {
      "epoch": 1.4973333333333334,
      "grad_norm": 0.3240169083675091,
      "learning_rate": 7.076408273573911e-06,
      "loss": 2.2206,
      "step": 1124
    },
    {
      "epoch": 1.4986666666666666,
      "grad_norm": 0.33156483025148875,
      "learning_rate": 7.055909946229678e-06,
      "loss": 1.8398,
      "step": 1125
    },
    {
      "epoch": 1.4986666666666666,
      "eval_loss": 1.7219904661178589,
      "eval_runtime": 98.717,
      "eval_samples_per_second": 1.013,
      "eval_steps_per_second": 0.253,
      "step": 1125
    },
    {
      "epoch": 1.5,
      "grad_norm": 0.42576000049828056,
      "learning_rate": 7.035454172481939e-06,
      "loss": 1.7322,
      "step": 1126
    },
    {
      "epoch": 1.5013333333333332,
      "grad_norm": 0.28573267335024055,
      "learning_rate": 7.015041044501218e-06,
      "loss": 1.7831,
      "step": 1127
    },
    {
      "epoch": 1.5026666666666668,
      "grad_norm": 0.3414718515543826,
      "learning_rate": 6.994670654265884e-06,
      "loss": 1.9599,
      "step": 1128
    },
    {
      "epoch": 1.504,
      "grad_norm": 0.335011811713793,
      "learning_rate": 6.974343093561748e-06,
      "loss": 2.1322,
      "step": 1129
    },
    {
      "epoch": 1.5053333333333332,
      "grad_norm": 0.2785072820609695,
      "learning_rate": 6.9540584539816095e-06,
      "loss": 2.1408,
      "step": 1130
    },
    {
      "epoch": 1.5066666666666668,
      "grad_norm": 0.4753219298738204,
      "learning_rate": 6.933816826924901e-06,
      "loss": 1.6006,
      "step": 1131
    },
    {
      "epoch": 1.508,
      "grad_norm": 0.30697348435983324,
      "learning_rate": 6.913618303597243e-06,
      "loss": 2.0235,
      "step": 1132
    },
    {
      "epoch": 1.5093333333333332,
      "grad_norm": 0.4153613742550903,
      "learning_rate": 6.893462975010016e-06,
      "loss": 1.9752,
      "step": 1133
    },
    {
      "epoch": 1.5106666666666668,
      "grad_norm": 0.312643795287048,
      "learning_rate": 6.873350931979997e-06,
      "loss": 2.0373,
      "step": 1134
    },
    {
      "epoch": 1.512,
      "grad_norm": 0.3423064880788558,
      "learning_rate": 6.85328226512891e-06,
      "loss": 2.0516,
      "step": 1135
    },
    {
      "epoch": 1.5133333333333332,
      "grad_norm": 0.28129472173142733,
      "learning_rate": 6.833257064883037e-06,
      "loss": 2.0058,
      "step": 1136
    },
    {
      "epoch": 1.5146666666666668,
      "grad_norm": 0.39771844556945607,
      "learning_rate": 6.813275421472808e-06,
      "loss": 1.9086,
      "step": 1137
    },
    {
      "epoch": 1.516,
      "grad_norm": 0.2633599502144057,
      "learning_rate": 6.79333742493239e-06,
      "loss": 2.3038,
      "step": 1138
    },
    {
      "epoch": 1.5173333333333332,
      "grad_norm": 0.28423486001857656,
      "learning_rate": 6.773443165099282e-06,
      "loss": 1.8284,
      "step": 1139
    },
    {
      "epoch": 1.5186666666666668,
      "grad_norm": 0.28165307326490363,
      "learning_rate": 6.753592731613921e-06,
      "loss": 2.2602,
      "step": 1140
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.38766529400130406,
      "learning_rate": 6.733786213919262e-06,
      "loss": 1.9962,
      "step": 1141
    },
    {
      "epoch": 1.5213333333333332,
      "grad_norm": 0.3851814515054565,
      "learning_rate": 6.714023701260381e-06,
      "loss": 2.0998,
      "step": 1142
    },
    {
      "epoch": 1.5226666666666666,
      "grad_norm": 0.3110523603428367,
      "learning_rate": 6.694305282684082e-06,
      "loss": 2.1082,
      "step": 1143
    },
    {
      "epoch": 1.524,
      "grad_norm": 0.32166222051581345,
      "learning_rate": 6.674631047038474e-06,
      "loss": 2.1549,
      "step": 1144
    },
    {
      "epoch": 1.5253333333333332,
      "grad_norm": 0.3714093568925576,
      "learning_rate": 6.655001082972608e-06,
      "loss": 1.9224,
      "step": 1145
    },
    {
      "epoch": 1.5266666666666666,
      "grad_norm": 0.26990239878423405,
      "learning_rate": 6.6354154789360236e-06,
      "loss": 2.0681,
      "step": 1146
    },
    {
      "epoch": 1.528,
      "grad_norm": 0.29614395951387307,
      "learning_rate": 6.615874323178404e-06,
      "loss": 1.7743,
      "step": 1147
    },
    {
      "epoch": 1.5293333333333332,
      "grad_norm": 0.4238155841943462,
      "learning_rate": 6.596377703749159e-06,
      "loss": 1.8813,
      "step": 1148
    },
    {
      "epoch": 1.5306666666666666,
      "grad_norm": 0.4135280318554394,
      "learning_rate": 6.576925708496998e-06,
      "loss": 2.0044,
      "step": 1149
    },
    {
      "epoch": 1.532,
      "grad_norm": 0.329401143669864,
      "learning_rate": 6.557518425069587e-06,
      "loss": 1.8501,
      "step": 1150
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 0.3870439504201428,
      "learning_rate": 6.5381559409131136e-06,
      "loss": 1.7858,
      "step": 1151
    },
    {
      "epoch": 1.5346666666666666,
      "grad_norm": 0.26424971214395176,
      "learning_rate": 6.518838343271911e-06,
      "loss": 2.1036,
      "step": 1152
    },
    {
      "epoch": 1.536,
      "grad_norm": 0.23377734192735758,
      "learning_rate": 6.499565719188063e-06,
      "loss": 2.1089,
      "step": 1153
    },
    {
      "epoch": 1.5373333333333332,
      "grad_norm": 0.3999481720819934,
      "learning_rate": 6.480338155501005e-06,
      "loss": 1.9927,
      "step": 1154
    },
    {
      "epoch": 1.5386666666666666,
      "grad_norm": 0.19974083688019748,
      "learning_rate": 6.4611557388471365e-06,
      "loss": 2.0864,
      "step": 1155
    },
    {
      "epoch": 1.54,
      "grad_norm": 0.25259444101779316,
      "learning_rate": 6.442018555659441e-06,
      "loss": 2.084,
      "step": 1156
    },
    {
      "epoch": 1.5413333333333332,
      "grad_norm": 0.21928724016616088,
      "learning_rate": 6.422926692167079e-06,
      "loss": 2.1818,
      "step": 1157
    },
    {
      "epoch": 1.5426666666666666,
      "grad_norm": 0.35131986951745753,
      "learning_rate": 6.403880234395003e-06,
      "loss": 1.9622,
      "step": 1158
    },
    {
      "epoch": 1.544,
      "grad_norm": 0.27462669810402573,
      "learning_rate": 6.384879268163591e-06,
      "loss": 2.0306,
      "step": 1159
    },
    {
      "epoch": 1.5453333333333332,
      "grad_norm": 0.2726982319860483,
      "learning_rate": 6.36592387908822e-06,
      "loss": 2.1739,
      "step": 1160
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 0.24442353038894568,
      "learning_rate": 6.3470141525789284e-06,
      "loss": 2.0352,
      "step": 1161
    },
    {
      "epoch": 1.548,
      "grad_norm": 0.3289484254294314,
      "learning_rate": 6.328150173839986e-06,
      "loss": 2.2725,
      "step": 1162
    },
    {
      "epoch": 1.5493333333333332,
      "grad_norm": 0.5359081353824136,
      "learning_rate": 6.309332027869538e-06,
      "loss": 1.8154,
      "step": 1163
    },
    {
      "epoch": 1.5506666666666666,
      "grad_norm": 0.32499853077539437,
      "learning_rate": 6.290559799459224e-06,
      "loss": 1.8606,
      "step": 1164
    },
    {
      "epoch": 1.552,
      "grad_norm": 0.25795131871915045,
      "learning_rate": 6.2718335731937625e-06,
      "loss": 2.0695,
      "step": 1165
    },
    {
      "epoch": 1.5533333333333332,
      "grad_norm": 0.20902979268728233,
      "learning_rate": 6.253153433450618e-06,
      "loss": 2.0694,
      "step": 1166
    },
    {
      "epoch": 1.5546666666666666,
      "grad_norm": 0.3011043461510702,
      "learning_rate": 6.234519464399583e-06,
      "loss": 1.7635,
      "step": 1167
    },
    {
      "epoch": 1.556,
      "grad_norm": 0.4006419574336653,
      "learning_rate": 6.215931750002415e-06,
      "loss": 2.1088,
      "step": 1168
    },
    {
      "epoch": 1.5573333333333332,
      "grad_norm": 0.37180447482244916,
      "learning_rate": 6.1973903740124575e-06,
      "loss": 1.6674,
      "step": 1169
    },
    {
      "epoch": 1.5586666666666666,
      "grad_norm": 0.3360728727629618,
      "learning_rate": 6.178895419974254e-06,
      "loss": 2.0423,
      "step": 1170
    },
    {
      "epoch": 1.56,
      "grad_norm": 0.361105949068196,
      "learning_rate": 6.160446971223181e-06,
      "loss": 1.6858,
      "step": 1171
    },
    {
      "epoch": 1.5613333333333332,
      "grad_norm": 0.3236655148510224,
      "learning_rate": 6.1420451108850785e-06,
      "loss": 1.748,
      "step": 1172
    },
    {
      "epoch": 1.5626666666666666,
      "grad_norm": 0.35681201087694425,
      "learning_rate": 6.123689921875853e-06,
      "loss": 2.0809,
      "step": 1173
    },
    {
      "epoch": 1.564,
      "grad_norm": 0.40575518215116035,
      "learning_rate": 6.105381486901121e-06,
      "loss": 2.0127,
      "step": 1174
    },
    {
      "epoch": 1.5653333333333332,
      "grad_norm": 0.25593553791006374,
      "learning_rate": 6.087119888455844e-06,
      "loss": 2.1518,
      "step": 1175
    },
    {
      "epoch": 1.5666666666666667,
      "grad_norm": 0.2296368548186152,
      "learning_rate": 6.068905208823921e-06,
      "loss": 2.1317,
      "step": 1176
    },
    {
      "epoch": 1.568,
      "grad_norm": 0.3434777137958484,
      "learning_rate": 6.05073753007787e-06,
      "loss": 1.8188,
      "step": 1177
    },
    {
      "epoch": 1.5693333333333332,
      "grad_norm": 0.33383991589680984,
      "learning_rate": 6.0326169340784084e-06,
      "loss": 1.839,
      "step": 1178
    },
    {
      "epoch": 1.5706666666666667,
      "grad_norm": 0.43160059559462266,
      "learning_rate": 6.0145435024741184e-06,
      "loss": 2.0541,
      "step": 1179
    },
    {
      "epoch": 1.572,
      "grad_norm": 0.36449349851382756,
      "learning_rate": 5.9965173167010695e-06,
      "loss": 1.9471,
      "step": 1180
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 0.4291227428881365,
      "learning_rate": 5.97853845798243e-06,
      "loss": 1.9743,
      "step": 1181
    },
    {
      "epoch": 1.5746666666666667,
      "grad_norm": 0.2878891423806459,
      "learning_rate": 5.960607007328141e-06,
      "loss": 2.2311,
      "step": 1182
    },
    {
      "epoch": 1.576,
      "grad_norm": 0.3357531190759765,
      "learning_rate": 5.942723045534522e-06,
      "loss": 2.1003,
      "step": 1183
    },
    {
      "epoch": 1.5773333333333333,
      "grad_norm": 0.3882442251084339,
      "learning_rate": 5.9248866531839124e-06,
      "loss": 2.1157,
      "step": 1184
    },
    {
      "epoch": 1.5786666666666667,
      "grad_norm": 0.3937036421287482,
      "learning_rate": 5.9070979106443125e-06,
      "loss": 1.6975,
      "step": 1185
    },
    {
      "epoch": 1.58,
      "grad_norm": 0.2016309514095066,
      "learning_rate": 5.889356898069026e-06,
      "loss": 1.9626,
      "step": 1186
    },
    {
      "epoch": 1.5813333333333333,
      "grad_norm": 0.3904501377231184,
      "learning_rate": 5.8716636953962794e-06,
      "loss": 1.7024,
      "step": 1187
    },
    {
      "epoch": 1.5826666666666667,
      "grad_norm": 0.27974021539041827,
      "learning_rate": 5.854018382348892e-06,
      "loss": 1.921,
      "step": 1188
    },
    {
      "epoch": 1.584,
      "grad_norm": 0.32973906639357303,
      "learning_rate": 5.836421038433889e-06,
      "loss": 2.117,
      "step": 1189
    },
    {
      "epoch": 1.5853333333333333,
      "grad_norm": 0.43055648917752676,
      "learning_rate": 5.818871742942154e-06,
      "loss": 1.5806,
      "step": 1190
    },
    {
      "epoch": 1.5866666666666667,
      "grad_norm": 0.25886519809876707,
      "learning_rate": 5.801370574948085e-06,
      "loss": 2.2939,
      "step": 1191
    },
    {
      "epoch": 1.588,
      "grad_norm": 0.28145540333720603,
      "learning_rate": 5.7839176133092e-06,
      "loss": 2.0813,
      "step": 1192
    },
    {
      "epoch": 1.5893333333333333,
      "grad_norm": 0.28632563783557285,
      "learning_rate": 5.7665129366658315e-06,
      "loss": 1.9408,
      "step": 1193
    },
    {
      "epoch": 1.5906666666666667,
      "grad_norm": 0.27437120614240146,
      "learning_rate": 5.749156623440735e-06,
      "loss": 2.2994,
      "step": 1194
    },
    {
      "epoch": 1.592,
      "grad_norm": 0.30885075363787373,
      "learning_rate": 5.7318487518387475e-06,
      "loss": 1.8496,
      "step": 1195
    },
    {
      "epoch": 1.5933333333333333,
      "grad_norm": 0.2825117249833234,
      "learning_rate": 5.714589399846446e-06,
      "loss": 2.0572,
      "step": 1196
    },
    {
      "epoch": 1.5946666666666667,
      "grad_norm": 0.2309680936949854,
      "learning_rate": 5.697378645231766e-06,
      "loss": 2.3744,
      "step": 1197
    },
    {
      "epoch": 1.596,
      "grad_norm": 0.28468589341704376,
      "learning_rate": 5.680216565543692e-06,
      "loss": 1.9452,
      "step": 1198
    },
    {
      "epoch": 1.5973333333333333,
      "grad_norm": 0.25386348937660136,
      "learning_rate": 5.663103238111879e-06,
      "loss": 2.0029,
      "step": 1199
    },
    {
      "epoch": 1.5986666666666667,
      "grad_norm": 0.3144161343393115,
      "learning_rate": 5.646038740046305e-06,
      "loss": 1.9806,
      "step": 1200
    },
    {
      "epoch": 1.5986666666666667,
      "eval_loss": 1.7210901975631714,
      "eval_runtime": 98.5249,
      "eval_samples_per_second": 1.015,
      "eval_steps_per_second": 0.254,
      "step": 1200
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.4371715887586266,
      "learning_rate": 5.629023148236933e-06,
      "loss": 2.1646,
      "step": 1201
    },
    {
      "epoch": 1.6013333333333333,
      "grad_norm": 0.23892452169726422,
      "learning_rate": 5.612056539353382e-06,
      "loss": 2.1563,
      "step": 1202
    },
    {
      "epoch": 1.6026666666666667,
      "grad_norm": 0.2582924621551667,
      "learning_rate": 5.595138989844525e-06,
      "loss": 2.0244,
      "step": 1203
    },
    {
      "epoch": 1.604,
      "grad_norm": 0.26469263707775315,
      "learning_rate": 5.578270575938212e-06,
      "loss": 1.9863,
      "step": 1204
    },
    {
      "epoch": 1.6053333333333333,
      "grad_norm": 0.22589909633475763,
      "learning_rate": 5.561451373640881e-06,
      "loss": 2.3636,
      "step": 1205
    },
    {
      "epoch": 1.6066666666666667,
      "grad_norm": 0.2332320387650647,
      "learning_rate": 5.544681458737232e-06,
      "loss": 2.364,
      "step": 1206
    },
    {
      "epoch": 1.608,
      "grad_norm": 0.38644529049130166,
      "learning_rate": 5.527960906789897e-06,
      "loss": 2.1124,
      "step": 1207
    },
    {
      "epoch": 1.6093333333333333,
      "grad_norm": 0.29231869716506653,
      "learning_rate": 5.511289793139056e-06,
      "loss": 2.3048,
      "step": 1208
    },
    {
      "epoch": 1.6106666666666667,
      "grad_norm": 0.29748235562371445,
      "learning_rate": 5.49466819290216e-06,
      "loss": 1.9208,
      "step": 1209
    },
    {
      "epoch": 1.612,
      "grad_norm": 0.2563428678677028,
      "learning_rate": 5.478096180973545e-06,
      "loss": 2.0908,
      "step": 1210
    },
    {
      "epoch": 1.6133333333333333,
      "grad_norm": 0.25695434484834034,
      "learning_rate": 5.461573832024104e-06,
      "loss": 1.7372,
      "step": 1211
    },
    {
      "epoch": 1.6146666666666667,
      "grad_norm": 0.32066980860307925,
      "learning_rate": 5.445101220500978e-06,
      "loss": 1.5646,
      "step": 1212
    },
    {
      "epoch": 1.616,
      "grad_norm": 0.20638361921035556,
      "learning_rate": 5.428678420627167e-06,
      "loss": 2.0322,
      "step": 1213
    },
    {
      "epoch": 1.6173333333333333,
      "grad_norm": 0.31406917055811856,
      "learning_rate": 5.412305506401259e-06,
      "loss": 2.1081,
      "step": 1214
    },
    {
      "epoch": 1.6186666666666667,
      "grad_norm": 0.27554852119459367,
      "learning_rate": 5.395982551597046e-06,
      "loss": 2.262,
      "step": 1215
    },
    {
      "epoch": 1.62,
      "grad_norm": 0.2948250672679284,
      "learning_rate": 5.379709629763217e-06,
      "loss": 2.0061,
      "step": 1216
    },
    {
      "epoch": 1.6213333333333333,
      "grad_norm": 0.3358681012265732,
      "learning_rate": 5.363486814223014e-06,
      "loss": 2.2007,
      "step": 1217
    },
    {
      "epoch": 1.6226666666666667,
      "grad_norm": 0.23984888445535993,
      "learning_rate": 5.3473141780739265e-06,
      "loss": 2.3357,
      "step": 1218
    },
    {
      "epoch": 1.624,
      "grad_norm": 0.34828544271318734,
      "learning_rate": 5.331191794187313e-06,
      "loss": 1.9376,
      "step": 1219
    },
    {
      "epoch": 1.6253333333333333,
      "grad_norm": 0.273699229922252,
      "learning_rate": 5.315119735208132e-06,
      "loss": 2.2085,
      "step": 1220
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 0.47864246879937133,
      "learning_rate": 5.299098073554572e-06,
      "loss": 1.785,
      "step": 1221
    },
    {
      "epoch": 1.6280000000000001,
      "grad_norm": 0.2621316557398187,
      "learning_rate": 5.283126881417735e-06,
      "loss": 2.0424,
      "step": 1222
    },
    {
      "epoch": 1.6293333333333333,
      "grad_norm": 0.2116960698052002,
      "learning_rate": 5.267206230761333e-06,
      "loss": 2.1278,
      "step": 1223
    },
    {
      "epoch": 1.6306666666666667,
      "grad_norm": 0.4403234033158271,
      "learning_rate": 5.251336193321318e-06,
      "loss": 1.8652,
      "step": 1224
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 0.27525919191369097,
      "learning_rate": 5.235516840605618e-06,
      "loss": 2.0803,
      "step": 1225
    },
    {
      "epoch": 1.6333333333333333,
      "grad_norm": 0.2511893464132002,
      "learning_rate": 5.219748243893761e-06,
      "loss": 2.2731,
      "step": 1226
    },
    {
      "epoch": 1.6346666666666667,
      "grad_norm": 0.4045745969111495,
      "learning_rate": 5.204030474236582e-06,
      "loss": 1.5324,
      "step": 1227
    },
    {
      "epoch": 1.6360000000000001,
      "grad_norm": 0.3835811842954616,
      "learning_rate": 5.1883636024559105e-06,
      "loss": 2.1456,
      "step": 1228
    },
    {
      "epoch": 1.6373333333333333,
      "grad_norm": 0.25662424584150384,
      "learning_rate": 5.172747699144211e-06,
      "loss": 1.7314,
      "step": 1229
    },
    {
      "epoch": 1.6386666666666667,
      "grad_norm": 0.2180376087005349,
      "learning_rate": 5.1571828346643175e-06,
      "loss": 2.098,
      "step": 1230
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 0.2887389143996647,
      "learning_rate": 5.141669079149079e-06,
      "loss": 2.1097,
      "step": 1231
    },
    {
      "epoch": 1.6413333333333333,
      "grad_norm": 0.30172765135849566,
      "learning_rate": 5.126206502501059e-06,
      "loss": 2.1942,
      "step": 1232
    },
    {
      "epoch": 1.6426666666666667,
      "grad_norm": 0.24849709673316336,
      "learning_rate": 5.11079517439221e-06,
      "loss": 2.0212,
      "step": 1233
    },
    {
      "epoch": 1.6440000000000001,
      "grad_norm": 0.28982061257617114,
      "learning_rate": 5.0954351642635836e-06,
      "loss": 1.7901,
      "step": 1234
    },
    {
      "epoch": 1.6453333333333333,
      "grad_norm": 0.29764116754937536,
      "learning_rate": 5.080126541324977e-06,
      "loss": 2.2157,
      "step": 1235
    },
    {
      "epoch": 1.6466666666666665,
      "grad_norm": 0.27435051990874026,
      "learning_rate": 5.064869374554665e-06,
      "loss": 2.1656,
      "step": 1236
    },
    {
      "epoch": 1.6480000000000001,
      "grad_norm": 0.35971271131419513,
      "learning_rate": 5.049663732699057e-06,
      "loss": 1.9244,
      "step": 1237
    },
    {
      "epoch": 1.6493333333333333,
      "grad_norm": 0.23762726829003036,
      "learning_rate": 5.034509684272402e-06,
      "loss": 1.9519,
      "step": 1238
    },
    {
      "epoch": 1.6506666666666665,
      "grad_norm": 0.30754457467680885,
      "learning_rate": 5.019407297556488e-06,
      "loss": 2.0071,
      "step": 1239
    },
    {
      "epoch": 1.6520000000000001,
      "grad_norm": 0.33515081194299184,
      "learning_rate": 5.004356640600298e-06,
      "loss": 2.0094,
      "step": 1240
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 0.28690625877431014,
      "learning_rate": 4.989357781219756e-06,
      "loss": 2.178,
      "step": 1241
    },
    {
      "epoch": 1.6546666666666665,
      "grad_norm": 0.2360827998295873,
      "learning_rate": 4.97441078699738e-06,
      "loss": 2.0358,
      "step": 1242
    },
    {
      "epoch": 1.6560000000000001,
      "grad_norm": 0.3022758693721732,
      "learning_rate": 4.959515725281988e-06,
      "loss": 1.9067,
      "step": 1243
    },
    {
      "epoch": 1.6573333333333333,
      "grad_norm": 0.40951236383011924,
      "learning_rate": 4.944672663188418e-06,
      "loss": 2.205,
      "step": 1244
    },
    {
      "epoch": 1.6586666666666665,
      "grad_norm": 0.2545495209566575,
      "learning_rate": 4.929881667597176e-06,
      "loss": 2.1557,
      "step": 1245
    },
    {
      "epoch": 1.6600000000000001,
      "grad_norm": 0.6426035244687833,
      "learning_rate": 4.915142805154192e-06,
      "loss": 1.6094,
      "step": 1246
    },
    {
      "epoch": 1.6613333333333333,
      "grad_norm": 0.4118851012736545,
      "learning_rate": 4.9004561422704765e-06,
      "loss": 1.8651,
      "step": 1247
    },
    {
      "epoch": 1.6626666666666665,
      "grad_norm": 0.4026610151432334,
      "learning_rate": 4.885821745121844e-06,
      "loss": 1.6813,
      "step": 1248
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 0.45446210752485866,
      "learning_rate": 4.8712396796486e-06,
      "loss": 1.6792,
      "step": 1249
    },
    {
      "epoch": 1.6653333333333333,
      "grad_norm": 0.26066837433271034,
      "learning_rate": 4.856710011555266e-06,
      "loss": 1.9612,
      "step": 1250
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.33509223924531384,
      "learning_rate": 4.842232806310248e-06,
      "loss": 2.03,
      "step": 1251
    },
    {
      "epoch": 1.6680000000000001,
      "grad_norm": 0.31556596254717273,
      "learning_rate": 4.827808129145582e-06,
      "loss": 1.7201,
      "step": 1252
    },
    {
      "epoch": 1.6693333333333333,
      "grad_norm": 0.2976310444644808,
      "learning_rate": 4.813436045056614e-06,
      "loss": 1.946,
      "step": 1253
    },
    {
      "epoch": 1.6706666666666665,
      "grad_norm": 0.24931529602945096,
      "learning_rate": 4.799116618801703e-06,
      "loss": 2.1816,
      "step": 1254
    },
    {
      "epoch": 1.6720000000000002,
      "grad_norm": 0.21194020725088808,
      "learning_rate": 4.784849914901966e-06,
      "loss": 2.2876,
      "step": 1255
    },
    {
      "epoch": 1.6733333333333333,
      "grad_norm": 0.32906622219410003,
      "learning_rate": 4.770635997640929e-06,
      "loss": 1.7927,
      "step": 1256
    },
    {
      "epoch": 1.6746666666666665,
      "grad_norm": 0.2716052839263571,
      "learning_rate": 4.756474931064295e-06,
      "loss": 2.2348,
      "step": 1257
    },
    {
      "epoch": 1.6760000000000002,
      "grad_norm": 0.2568173362419867,
      "learning_rate": 4.742366778979622e-06,
      "loss": 1.9504,
      "step": 1258
    },
    {
      "epoch": 1.6773333333333333,
      "grad_norm": 0.30640423212734624,
      "learning_rate": 4.728311604956033e-06,
      "loss": 1.8344,
      "step": 1259
    },
    {
      "epoch": 1.6786666666666665,
      "grad_norm": 0.2529034154376273,
      "learning_rate": 4.71430947232396e-06,
      "loss": 1.9249,
      "step": 1260
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.362249502112461,
      "learning_rate": 4.7003604441748225e-06,
      "loss": 1.6771,
      "step": 1261
    },
    {
      "epoch": 1.6813333333333333,
      "grad_norm": 0.3896769868581684,
      "learning_rate": 4.686464583360769e-06,
      "loss": 1.7712,
      "step": 1262
    },
    {
      "epoch": 1.6826666666666665,
      "grad_norm": 0.329971510777823,
      "learning_rate": 4.672621952494377e-06,
      "loss": 2.1231,
      "step": 1263
    },
    {
      "epoch": 1.6840000000000002,
      "grad_norm": 0.25948170614981964,
      "learning_rate": 4.658832613948383e-06,
      "loss": 2.1486,
      "step": 1264
    },
    {
      "epoch": 1.6853333333333333,
      "grad_norm": 0.34392003626651035,
      "learning_rate": 4.6450966298553925e-06,
      "loss": 1.8969,
      "step": 1265
    },
    {
      "epoch": 1.6866666666666665,
      "grad_norm": 0.43428204260841224,
      "learning_rate": 4.631414062107615e-06,
      "loss": 1.8535,
      "step": 1266
    },
    {
      "epoch": 1.688,
      "grad_norm": 0.35256563724832507,
      "learning_rate": 4.617784972356557e-06,
      "loss": 2.0018,
      "step": 1267
    },
    {
      "epoch": 1.6893333333333334,
      "grad_norm": 0.2379648814842149,
      "learning_rate": 4.604209422012777e-06,
      "loss": 2.5834,
      "step": 1268
    },
    {
      "epoch": 1.6906666666666665,
      "grad_norm": 0.35919378166765675,
      "learning_rate": 4.590687472245585e-06,
      "loss": 2.0653,
      "step": 1269
    },
    {
      "epoch": 1.692,
      "grad_norm": 0.25692360711430434,
      "learning_rate": 4.577219183982774e-06,
      "loss": 2.5026,
      "step": 1270
    },
    {
      "epoch": 1.6933333333333334,
      "grad_norm": 0.25781470375173604,
      "learning_rate": 4.563804617910359e-06,
      "loss": 2.2306,
      "step": 1271
    },
    {
      "epoch": 1.6946666666666665,
      "grad_norm": 0.36663924032841505,
      "learning_rate": 4.550443834472271e-06,
      "loss": 1.9698,
      "step": 1272
    },
    {
      "epoch": 1.696,
      "grad_norm": 0.3157707752046982,
      "learning_rate": 4.537136893870122e-06,
      "loss": 2.1198,
      "step": 1273
    },
    {
      "epoch": 1.6973333333333334,
      "grad_norm": 0.352564419074741,
      "learning_rate": 4.523883856062911e-06,
      "loss": 1.4967,
      "step": 1274
    },
    {
      "epoch": 1.6986666666666665,
      "grad_norm": 0.3555696311671396,
      "learning_rate": 4.510684780766752e-06,
      "loss": 1.7334,
      "step": 1275
    },
    {
      "epoch": 1.6986666666666665,
      "eval_loss": 1.720908522605896,
      "eval_runtime": 98.4932,
      "eval_samples_per_second": 1.015,
      "eval_steps_per_second": 0.254,
      "step": 1275
    },
    {
      "epoch": 1.7,
      "grad_norm": 0.2647663669733098,
      "learning_rate": 4.497539727454629e-06,
      "loss": 1.9449,
      "step": 1276
    },
    {
      "epoch": 1.7013333333333334,
      "grad_norm": 0.28079046695985366,
      "learning_rate": 4.4844487553560975e-06,
      "loss": 1.949,
      "step": 1277
    },
    {
      "epoch": 1.7026666666666666,
      "grad_norm": 0.3207949768978031,
      "learning_rate": 4.471411923457035e-06,
      "loss": 1.8681,
      "step": 1278
    },
    {
      "epoch": 1.704,
      "grad_norm": 0.41540034995570535,
      "learning_rate": 4.458429290499371e-06,
      "loss": 1.7674,
      "step": 1279
    },
    {
      "epoch": 1.7053333333333334,
      "grad_norm": 0.30172835686904464,
      "learning_rate": 4.445500914980827e-06,
      "loss": 2.1768,
      "step": 1280
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 0.3319435537826536,
      "learning_rate": 4.432626855154642e-06,
      "loss": 1.2831,
      "step": 1281
    },
    {
      "epoch": 1.708,
      "grad_norm": 0.26633319300425934,
      "learning_rate": 4.41980716902933e-06,
      "loss": 2.1019,
      "step": 1282
    },
    {
      "epoch": 1.7093333333333334,
      "grad_norm": 0.3197285105084946,
      "learning_rate": 4.4070419143683845e-06,
      "loss": 1.9058,
      "step": 1283
    },
    {
      "epoch": 1.7106666666666666,
      "grad_norm": 0.3589947551615256,
      "learning_rate": 4.394331148690062e-06,
      "loss": 1.881,
      "step": 1284
    },
    {
      "epoch": 1.712,
      "grad_norm": 0.4870075325507255,
      "learning_rate": 4.381674929267084e-06,
      "loss": 2.1517,
      "step": 1285
    },
    {
      "epoch": 1.7133333333333334,
      "grad_norm": 0.2561217194232222,
      "learning_rate": 4.3690733131264e-06,
      "loss": 2.3088,
      "step": 1286
    },
    {
      "epoch": 1.7146666666666666,
      "grad_norm": 0.2541908821483242,
      "learning_rate": 4.356526357048937e-06,
      "loss": 2.1718,
      "step": 1287
    },
    {
      "epoch": 1.716,
      "grad_norm": 0.26352401725253216,
      "learning_rate": 4.344034117569306e-06,
      "loss": 2.1234,
      "step": 1288
    },
    {
      "epoch": 1.7173333333333334,
      "grad_norm": 0.3039438223186964,
      "learning_rate": 4.3315966509756e-06,
      "loss": 2.1743,
      "step": 1289
    },
    {
      "epoch": 1.7186666666666666,
      "grad_norm": 0.3063959147273782,
      "learning_rate": 4.319214013309102e-06,
      "loss": 2.0443,
      "step": 1290
    },
    {
      "epoch": 1.72,
      "grad_norm": 0.35521535441876867,
      "learning_rate": 4.3068862603640394e-06,
      "loss": 2.0214,
      "step": 1291
    },
    {
      "epoch": 1.7213333333333334,
      "grad_norm": 0.26539252116953144,
      "learning_rate": 4.294613447687352e-06,
      "loss": 2.1128,
      "step": 1292
    },
    {
      "epoch": 1.7226666666666666,
      "grad_norm": 0.2554766256016604,
      "learning_rate": 4.282395630578416e-06,
      "loss": 2.2009,
      "step": 1293
    },
    {
      "epoch": 1.724,
      "grad_norm": 0.25357772181287236,
      "learning_rate": 4.270232864088808e-06,
      "loss": 2.0589,
      "step": 1294
    },
    {
      "epoch": 1.7253333333333334,
      "grad_norm": 0.34465614609730916,
      "learning_rate": 4.2581252030220576e-06,
      "loss": 2.1865,
      "step": 1295
    },
    {
      "epoch": 1.7266666666666666,
      "grad_norm": 0.3251587181794359,
      "learning_rate": 4.246072701933396e-06,
      "loss": 1.8652,
      "step": 1296
    },
    {
      "epoch": 1.728,
      "grad_norm": 0.353065349950647,
      "learning_rate": 4.234075415129511e-06,
      "loss": 1.8857,
      "step": 1297
    },
    {
      "epoch": 1.7293333333333334,
      "grad_norm": 0.32609767544133844,
      "learning_rate": 4.222133396668313e-06,
      "loss": 2.0185,
      "step": 1298
    },
    {
      "epoch": 1.7306666666666666,
      "grad_norm": 0.24432219429228524,
      "learning_rate": 4.210246700358664e-06,
      "loss": 1.9452,
      "step": 1299
    },
    {
      "epoch": 1.732,
      "grad_norm": 0.23813946421819004,
      "learning_rate": 4.1984153797601675e-06,
      "loss": 2.2436,
      "step": 1300
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 0.26908394692445414,
      "learning_rate": 4.1866394881829125e-06,
      "loss": 2.1038,
      "step": 1301
    },
    {
      "epoch": 1.7346666666666666,
      "grad_norm": 0.39948760558554003,
      "learning_rate": 4.1749190786872245e-06,
      "loss": 1.9159,
      "step": 1302
    },
    {
      "epoch": 1.736,
      "grad_norm": 0.356463377289541,
      "learning_rate": 4.163254204083441e-06,
      "loss": 1.9374,
      "step": 1303
    },
    {
      "epoch": 1.7373333333333334,
      "grad_norm": 0.2500523156239864,
      "learning_rate": 4.1516449169316686e-06,
      "loss": 2.2311,
      "step": 1304
    },
    {
      "epoch": 1.7386666666666666,
      "grad_norm": 0.2933833359745517,
      "learning_rate": 4.1400912695415445e-06,
      "loss": 1.9497,
      "step": 1305
    },
    {
      "epoch": 1.74,
      "grad_norm": 0.30107525320357237,
      "learning_rate": 4.1285933139719995e-06,
      "loss": 2.1619,
      "step": 1306
    },
    {
      "epoch": 1.7413333333333334,
      "grad_norm": 0.26106074855875105,
      "learning_rate": 4.117151102031027e-06,
      "loss": 2.0516,
      "step": 1307
    },
    {
      "epoch": 1.7426666666666666,
      "grad_norm": 0.22642631743474637,
      "learning_rate": 4.105764685275453e-06,
      "loss": 2.1647,
      "step": 1308
    },
    {
      "epoch": 1.744,
      "grad_norm": 0.23491895501501417,
      "learning_rate": 4.094434115010693e-06,
      "loss": 2.0333,
      "step": 1309
    },
    {
      "epoch": 1.7453333333333334,
      "grad_norm": 0.3224430682730432,
      "learning_rate": 4.083159442290527e-06,
      "loss": 2.1498,
      "step": 1310
    },
    {
      "epoch": 1.7466666666666666,
      "grad_norm": 0.2777521073093129,
      "learning_rate": 4.071940717916875e-06,
      "loss": 2.176,
      "step": 1311
    },
    {
      "epoch": 1.748,
      "grad_norm": 0.3680762983940784,
      "learning_rate": 4.060777992439557e-06,
      "loss": 2.0071,
      "step": 1312
    },
    {
      "epoch": 1.7493333333333334,
      "grad_norm": 0.2870759905631408,
      "learning_rate": 4.04967131615607e-06,
      "loss": 2.1558,
      "step": 1313
    },
    {
      "epoch": 1.7506666666666666,
      "grad_norm": 0.29341206522624436,
      "learning_rate": 4.038620739111371e-06,
      "loss": 2.0554,
      "step": 1314
    },
    {
      "epoch": 1.752,
      "grad_norm": 0.2496875953414441,
      "learning_rate": 4.0276263110976295e-06,
      "loss": 1.9892,
      "step": 1315
    },
    {
      "epoch": 1.7533333333333334,
      "grad_norm": 0.3103508761835982,
      "learning_rate": 4.016688081654026e-06,
      "loss": 1.8776,
      "step": 1316
    },
    {
      "epoch": 1.7546666666666666,
      "grad_norm": 0.30124747039628164,
      "learning_rate": 4.00580610006652e-06,
      "loss": 2.1332,
      "step": 1317
    },
    {
      "epoch": 1.756,
      "grad_norm": 0.2742129800809628,
      "learning_rate": 3.994980415367614e-06,
      "loss": 2.0341,
      "step": 1318
    },
    {
      "epoch": 1.7573333333333334,
      "grad_norm": 0.251935987103533,
      "learning_rate": 3.9842110763361635e-06,
      "loss": 2.207,
      "step": 1319
    },
    {
      "epoch": 1.7586666666666666,
      "grad_norm": 0.26619413887428023,
      "learning_rate": 3.973498131497124e-06,
      "loss": 2.1608,
      "step": 1320
    },
    {
      "epoch": 1.76,
      "grad_norm": 0.2297606788965876,
      "learning_rate": 3.962841629121357e-06,
      "loss": 2.2278,
      "step": 1321
    },
    {
      "epoch": 1.7613333333333334,
      "grad_norm": 0.30061829840650195,
      "learning_rate": 3.9522416172254e-06,
      "loss": 2.0452,
      "step": 1322
    },
    {
      "epoch": 1.7626666666666666,
      "grad_norm": 0.2514412586820187,
      "learning_rate": 3.94169814357125e-06,
      "loss": 1.829,
      "step": 1323
    },
    {
      "epoch": 1.764,
      "grad_norm": 0.3903675977472388,
      "learning_rate": 3.931211255666154e-06,
      "loss": 1.8063,
      "step": 1324
    },
    {
      "epoch": 1.7653333333333334,
      "grad_norm": 0.40224588509242803,
      "learning_rate": 3.920781000762397e-06,
      "loss": 1.6712,
      "step": 1325
    },
    {
      "epoch": 1.7666666666666666,
      "grad_norm": 0.29155171498434274,
      "learning_rate": 3.91040742585708e-06,
      "loss": 1.6962,
      "step": 1326
    },
    {
      "epoch": 1.768,
      "grad_norm": 0.2958400433618456,
      "learning_rate": 3.90009057769191e-06,
      "loss": 2.1896,
      "step": 1327
    },
    {
      "epoch": 1.7693333333333334,
      "grad_norm": 0.25859195940800633,
      "learning_rate": 3.8898305027529965e-06,
      "loss": 2.258,
      "step": 1328
    },
    {
      "epoch": 1.7706666666666666,
      "grad_norm": 0.30480452917159123,
      "learning_rate": 3.879627247270637e-06,
      "loss": 1.9964,
      "step": 1329
    },
    {
      "epoch": 1.772,
      "grad_norm": 0.3262644561189039,
      "learning_rate": 3.8694808572191125e-06,
      "loss": 2.0815,
      "step": 1330
    },
    {
      "epoch": 1.7733333333333334,
      "grad_norm": 0.3126688467197894,
      "learning_rate": 3.859391378316467e-06,
      "loss": 1.9704,
      "step": 1331
    },
    {
      "epoch": 1.7746666666666666,
      "grad_norm": 0.2376144259980439,
      "learning_rate": 3.849358856024321e-06,
      "loss": 2.2969,
      "step": 1332
    },
    {
      "epoch": 1.776,
      "grad_norm": 0.2638097603679803,
      "learning_rate": 3.83938333554766e-06,
      "loss": 2.1721,
      "step": 1333
    },
    {
      "epoch": 1.7773333333333334,
      "grad_norm": 0.24942648560088407,
      "learning_rate": 3.8294648618346144e-06,
      "loss": 2.3936,
      "step": 1334
    },
    {
      "epoch": 1.7786666666666666,
      "grad_norm": 0.3412173704852024,
      "learning_rate": 3.819603479576287e-06,
      "loss": 1.937,
      "step": 1335
    },
    {
      "epoch": 1.78,
      "grad_norm": 0.2885720167535809,
      "learning_rate": 3.8097992332065253e-06,
      "loss": 1.9836,
      "step": 1336
    },
    {
      "epoch": 1.7813333333333334,
      "grad_norm": 0.3268326516484759,
      "learning_rate": 3.800052166901732e-06,
      "loss": 1.796,
      "step": 1337
    },
    {
      "epoch": 1.7826666666666666,
      "grad_norm": 0.36114163611905015,
      "learning_rate": 3.790362324580669e-06,
      "loss": 2.1065,
      "step": 1338
    },
    {
      "epoch": 1.784,
      "grad_norm": 0.37002587915729973,
      "learning_rate": 3.7807297499042533e-06,
      "loss": 2.0555,
      "step": 1339
    },
    {
      "epoch": 1.7853333333333334,
      "grad_norm": 0.2773930085691077,
      "learning_rate": 3.7711544862753635e-06,
      "loss": 2.2033,
      "step": 1340
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 0.3243015331211771,
      "learning_rate": 3.7616365768386476e-06,
      "loss": 2.0037,
      "step": 1341
    },
    {
      "epoch": 1.788,
      "grad_norm": 0.6039057905600634,
      "learning_rate": 3.752176064480316e-06,
      "loss": 1.8361,
      "step": 1342
    },
    {
      "epoch": 1.7893333333333334,
      "grad_norm": 0.36736126860451135,
      "learning_rate": 3.7427729918279615e-06,
      "loss": 2.0363,
      "step": 1343
    },
    {
      "epoch": 1.7906666666666666,
      "grad_norm": 0.259396641345276,
      "learning_rate": 3.733427401250368e-06,
      "loss": 1.9565,
      "step": 1344
    },
    {
      "epoch": 1.792,
      "grad_norm": 0.3039847143535944,
      "learning_rate": 3.7241393348573018e-06,
      "loss": 1.9181,
      "step": 1345
    },
    {
      "epoch": 1.7933333333333334,
      "grad_norm": 0.3214276496318672,
      "learning_rate": 3.714908834499346e-06,
      "loss": 1.9704,
      "step": 1346
    },
    {
      "epoch": 1.7946666666666666,
      "grad_norm": 0.3709769351832857,
      "learning_rate": 3.7057359417676933e-06,
      "loss": 2.3009,
      "step": 1347
    },
    {
      "epoch": 1.796,
      "grad_norm": 0.310425417286126,
      "learning_rate": 3.6966206979939655e-06,
      "loss": 2.1294,
      "step": 1348
    },
    {
      "epoch": 1.7973333333333334,
      "grad_norm": 0.3805431793326589,
      "learning_rate": 3.6875631442500363e-06,
      "loss": 2.0575,
      "step": 1349
    },
    {
      "epoch": 1.7986666666666666,
      "grad_norm": 0.23665759945223905,
      "learning_rate": 3.6785633213478197e-06,
      "loss": 2.1457,
      "step": 1350
    },
    {
      "epoch": 1.7986666666666666,
      "eval_loss": 1.7204666137695312,
      "eval_runtime": 98.5587,
      "eval_samples_per_second": 1.015,
      "eval_steps_per_second": 0.254,
      "step": 1350
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.30371553817079183,
      "learning_rate": 3.6696212698391203e-06,
      "loss": 1.5884,
      "step": 1351
    },
    {
      "epoch": 1.8013333333333335,
      "grad_norm": 0.33768214761776244,
      "learning_rate": 3.6607370300154277e-06,
      "loss": 2.2728,
      "step": 1352
    },
    {
      "epoch": 1.8026666666666666,
      "grad_norm": 0.2898194588145498,
      "learning_rate": 3.651910641907737e-06,
      "loss": 2.1581,
      "step": 1353
    },
    {
      "epoch": 1.804,
      "grad_norm": 0.3739288034719595,
      "learning_rate": 3.6431421452863782e-06,
      "loss": 2.0835,
      "step": 1354
    },
    {
      "epoch": 1.8053333333333335,
      "grad_norm": 0.34900212338565534,
      "learning_rate": 3.6344315796608295e-06,
      "loss": 1.8907,
      "step": 1355
    },
    {
      "epoch": 1.8066666666666666,
      "grad_norm": 0.34597369037639625,
      "learning_rate": 3.6257789842795375e-06,
      "loss": 2.0138,
      "step": 1356
    },
    {
      "epoch": 1.808,
      "grad_norm": 0.31969604854546907,
      "learning_rate": 3.617184398129752e-06,
      "loss": 1.7813,
      "step": 1357
    },
    {
      "epoch": 1.8093333333333335,
      "grad_norm": 0.31705152503803785,
      "learning_rate": 3.608647859937334e-06,
      "loss": 2.1113,
      "step": 1358
    },
    {
      "epoch": 1.8106666666666666,
      "grad_norm": 0.3673608825746238,
      "learning_rate": 3.600169408166593e-06,
      "loss": 1.6153,
      "step": 1359
    },
    {
      "epoch": 1.812,
      "grad_norm": 0.44108143917339965,
      "learning_rate": 3.5917490810201136e-06,
      "loss": 2.2478,
      "step": 1360
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 0.3452891597372353,
      "learning_rate": 3.5833869164385715e-06,
      "loss": 1.5998,
      "step": 1361
    },
    {
      "epoch": 1.8146666666666667,
      "grad_norm": 0.33178614895117803,
      "learning_rate": 3.5750829521005783e-06,
      "loss": 2.0551,
      "step": 1362
    },
    {
      "epoch": 1.8159999999999998,
      "grad_norm": 0.20014076479966472,
      "learning_rate": 3.5668372254225027e-06,
      "loss": 2.1887,
      "step": 1363
    },
    {
      "epoch": 1.8173333333333335,
      "grad_norm": 0.23867608440188545,
      "learning_rate": 3.5586497735583e-06,
      "loss": 2.2793,
      "step": 1364
    },
    {
      "epoch": 1.8186666666666667,
      "grad_norm": 0.23324342515332952,
      "learning_rate": 3.550520633399356e-06,
      "loss": 2.0202,
      "step": 1365
    },
    {
      "epoch": 1.8199999999999998,
      "grad_norm": 0.30458757909263473,
      "learning_rate": 3.542449841574301e-06,
      "loss": 1.7431,
      "step": 1366
    },
    {
      "epoch": 1.8213333333333335,
      "grad_norm": 0.40735652657786403,
      "learning_rate": 3.5344374344488695e-06,
      "loss": 1.7893,
      "step": 1367
    },
    {
      "epoch": 1.8226666666666667,
      "grad_norm": 0.25495693777253076,
      "learning_rate": 3.526483448125716e-06,
      "loss": 2.143,
      "step": 1368
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 0.30656415009393456,
      "learning_rate": 3.5185879184442625e-06,
      "loss": 2.1491,
      "step": 1369
    },
    {
      "epoch": 1.8253333333333335,
      "grad_norm": 0.22702700229483308,
      "learning_rate": 3.5107508809805343e-06,
      "loss": 2.0356,
      "step": 1370
    },
    {
      "epoch": 1.8266666666666667,
      "grad_norm": 0.4162996247309133,
      "learning_rate": 3.5029723710469985e-06,
      "loss": 1.6126,
      "step": 1371
    },
    {
      "epoch": 1.8279999999999998,
      "grad_norm": 0.23413515514321612,
      "learning_rate": 3.4952524236924085e-06,
      "loss": 2.0459,
      "step": 1372
    },
    {
      "epoch": 1.8293333333333335,
      "grad_norm": 0.3831090299922737,
      "learning_rate": 3.4875910737016423e-06,
      "loss": 2.0884,
      "step": 1373
    },
    {
      "epoch": 1.8306666666666667,
      "grad_norm": 0.34224127514964786,
      "learning_rate": 3.4799883555955475e-06,
      "loss": 1.7416,
      "step": 1374
    },
    {
      "epoch": 1.8319999999999999,
      "grad_norm": 0.2860317700338688,
      "learning_rate": 3.472444303630785e-06,
      "loss": 2.1524,
      "step": 1375
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 0.30931742268426854,
      "learning_rate": 3.46495895179968e-06,
      "loss": 2.2165,
      "step": 1376
    },
    {
      "epoch": 1.8346666666666667,
      "grad_norm": 0.2818407989904279,
      "learning_rate": 3.4575323338300552e-06,
      "loss": 2.0513,
      "step": 1377
    },
    {
      "epoch": 1.8359999999999999,
      "grad_norm": 0.29564591530184514,
      "learning_rate": 3.4501644831850962e-06,
      "loss": 1.9257,
      "step": 1378
    },
    {
      "epoch": 1.8373333333333335,
      "grad_norm": 0.3587006636758042,
      "learning_rate": 3.4428554330631862e-06,
      "loss": 2.1157,
      "step": 1379
    },
    {
      "epoch": 1.8386666666666667,
      "grad_norm": 0.2791161036145188,
      "learning_rate": 3.4356052163977655e-06,
      "loss": 2.3346,
      "step": 1380
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 0.39806961023406795,
      "learning_rate": 3.4284138658571824e-06,
      "loss": 2.1242,
      "step": 1381
    },
    {
      "epoch": 1.8413333333333335,
      "grad_norm": 0.26436248898294795,
      "learning_rate": 3.421281413844535e-06,
      "loss": 2.3015,
      "step": 1382
    },
    {
      "epoch": 1.8426666666666667,
      "grad_norm": 0.3166806689794716,
      "learning_rate": 3.414207892497542e-06,
      "loss": 1.8345,
      "step": 1383
    },
    {
      "epoch": 1.8439999999999999,
      "grad_norm": 0.26956107784721944,
      "learning_rate": 3.40719333368839e-06,
      "loss": 2.2532,
      "step": 1384
    },
    {
      "epoch": 1.8453333333333335,
      "grad_norm": 0.2783342076801306,
      "learning_rate": 3.400237769023583e-06,
      "loss": 2.1824,
      "step": 1385
    },
    {
      "epoch": 1.8466666666666667,
      "grad_norm": 0.26037668684180304,
      "learning_rate": 3.393341229843809e-06,
      "loss": 2.0601,
      "step": 1386
    },
    {
      "epoch": 1.8479999999999999,
      "grad_norm": 0.3072302285386089,
      "learning_rate": 3.3865037472238046e-06,
      "loss": 1.8726,
      "step": 1387
    },
    {
      "epoch": 1.8493333333333335,
      "grad_norm": 0.30058104161693117,
      "learning_rate": 3.3797253519721916e-06,
      "loss": 2.1399,
      "step": 1388
    },
    {
      "epoch": 1.8506666666666667,
      "grad_norm": 0.33607942573678407,
      "learning_rate": 3.3730060746313664e-06,
      "loss": 2.182,
      "step": 1389
    },
    {
      "epoch": 1.8519999999999999,
      "grad_norm": 0.3396306896132095,
      "learning_rate": 3.3663459454773437e-06,
      "loss": 1.8973,
      "step": 1390
    },
    {
      "epoch": 1.8533333333333335,
      "grad_norm": 0.2910623206729659,
      "learning_rate": 3.359744994519624e-06,
      "loss": 2.1633,
      "step": 1391
    },
    {
      "epoch": 1.8546666666666667,
      "grad_norm": 0.33486704180110777,
      "learning_rate": 3.3532032515010695e-06,
      "loss": 1.9398,
      "step": 1392
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 0.2834712185152555,
      "learning_rate": 3.346720745897744e-06,
      "loss": 1.6838,
      "step": 1393
    },
    {
      "epoch": 1.8573333333333333,
      "grad_norm": 0.26931153081446685,
      "learning_rate": 3.3402975069188144e-06,
      "loss": 2.1921,
      "step": 1394
    },
    {
      "epoch": 1.8586666666666667,
      "grad_norm": 0.43900699368691015,
      "learning_rate": 3.3339335635063904e-06,
      "loss": 1.5094,
      "step": 1395
    },
    {
      "epoch": 1.8599999999999999,
      "grad_norm": 0.3277026254945064,
      "learning_rate": 3.327628944335406e-06,
      "loss": 1.8246,
      "step": 1396
    },
    {
      "epoch": 1.8613333333333333,
      "grad_norm": 0.2872567580029521,
      "learning_rate": 3.321383677813497e-06,
      "loss": 2.0715,
      "step": 1397
    },
    {
      "epoch": 1.8626666666666667,
      "grad_norm": 0.26675491614315777,
      "learning_rate": 3.3151977920808545e-06,
      "loss": 2.1932,
      "step": 1398
    },
    {
      "epoch": 1.8639999999999999,
      "grad_norm": 0.3767117445335185,
      "learning_rate": 3.309071315010118e-06,
      "loss": 2.0008,
      "step": 1399
    },
    {
      "epoch": 1.8653333333333333,
      "grad_norm": 0.3512765629734198,
      "learning_rate": 3.3030042742062373e-06,
      "loss": 1.7285,
      "step": 1400
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 0.2757267127855709,
      "learning_rate": 3.2969966970063508e-06,
      "loss": 2.143,
      "step": 1401
    },
    {
      "epoch": 1.8679999999999999,
      "grad_norm": 0.377846389279988,
      "learning_rate": 3.291048610479664e-06,
      "loss": 1.8185,
      "step": 1402
    },
    {
      "epoch": 1.8693333333333333,
      "grad_norm": 0.3694928707977526,
      "learning_rate": 3.285160041427329e-06,
      "loss": 2.1124,
      "step": 1403
    },
    {
      "epoch": 1.8706666666666667,
      "grad_norm": 0.2474274357420131,
      "learning_rate": 3.279331016382314e-06,
      "loss": 2.0826,
      "step": 1404
    },
    {
      "epoch": 1.8719999999999999,
      "grad_norm": 0.24164795429181174,
      "learning_rate": 3.273561561609303e-06,
      "loss": 2.0786,
      "step": 1405
    },
    {
      "epoch": 1.8733333333333333,
      "grad_norm": 0.34290079300464915,
      "learning_rate": 3.2678517031045564e-06,
      "loss": 2.0046,
      "step": 1406
    },
    {
      "epoch": 1.8746666666666667,
      "grad_norm": 0.23500240205553166,
      "learning_rate": 3.262201466595805e-06,
      "loss": 1.6755,
      "step": 1407
    },
    {
      "epoch": 1.876,
      "grad_norm": 0.22430851950428798,
      "learning_rate": 3.2566108775421365e-06,
      "loss": 2.1116,
      "step": 1408
    },
    {
      "epoch": 1.8773333333333333,
      "grad_norm": 0.23094437947915372,
      "learning_rate": 3.251079961133866e-06,
      "loss": 2.1618,
      "step": 1409
    },
    {
      "epoch": 1.8786666666666667,
      "grad_norm": 0.2941340690815622,
      "learning_rate": 3.245608742292448e-06,
      "loss": 1.7757,
      "step": 1410
    },
    {
      "epoch": 1.88,
      "grad_norm": 0.31461464962092445,
      "learning_rate": 3.240197245670336e-06,
      "loss": 2.1266,
      "step": 1411
    },
    {
      "epoch": 1.8813333333333333,
      "grad_norm": 0.3095200142118182,
      "learning_rate": 3.2348454956508905e-06,
      "loss": 2.1136,
      "step": 1412
    },
    {
      "epoch": 1.8826666666666667,
      "grad_norm": 0.3160274941809561,
      "learning_rate": 3.2295535163482655e-06,
      "loss": 2.1532,
      "step": 1413
    },
    {
      "epoch": 1.884,
      "grad_norm": 0.2890763563294067,
      "learning_rate": 3.224321331607289e-06,
      "loss": 2.3283,
      "step": 1414
    },
    {
      "epoch": 1.8853333333333333,
      "grad_norm": 0.30975319797018563,
      "learning_rate": 3.219148965003372e-06,
      "loss": 2.1085,
      "step": 1415
    },
    {
      "epoch": 1.8866666666666667,
      "grad_norm": 0.24967041122117917,
      "learning_rate": 3.2140364398423923e-06,
      "loss": 2.0392,
      "step": 1416
    },
    {
      "epoch": 1.888,
      "grad_norm": 0.2444552663515834,
      "learning_rate": 3.2089837791605892e-06,
      "loss": 2.0893,
      "step": 1417
    },
    {
      "epoch": 1.8893333333333333,
      "grad_norm": 0.4656021326010817,
      "learning_rate": 3.203991005724464e-06,
      "loss": 2.2965,
      "step": 1418
    },
    {
      "epoch": 1.8906666666666667,
      "grad_norm": 0.41170676492764274,
      "learning_rate": 3.1990581420306753e-06,
      "loss": 1.9097,
      "step": 1419
    },
    {
      "epoch": 1.892,
      "grad_norm": 0.37439458625206623,
      "learning_rate": 3.194185210305936e-06,
      "loss": 1.8408,
      "step": 1420
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 0.2511808759853141,
      "learning_rate": 3.1893722325069187e-06,
      "loss": 2.2916,
      "step": 1421
    },
    {
      "epoch": 1.8946666666666667,
      "grad_norm": 0.2731100907092534,
      "learning_rate": 3.1846192303201476e-06,
      "loss": 2.046,
      "step": 1422
    },
    {
      "epoch": 1.896,
      "grad_norm": 0.259953363165022,
      "learning_rate": 3.1799262251619116e-06,
      "loss": 1.9172,
      "step": 1423
    },
    {
      "epoch": 1.8973333333333333,
      "grad_norm": 0.3035998968778968,
      "learning_rate": 3.175293238178158e-06,
      "loss": 1.8627,
      "step": 1424
    },
    {
      "epoch": 1.8986666666666667,
      "grad_norm": 0.31740670112203734,
      "learning_rate": 3.1707202902444043e-06,
      "loss": 1.7804,
      "step": 1425
    },
    {
      "epoch": 1.8986666666666667,
      "eval_loss": 1.7201672792434692,
      "eval_runtime": 98.7803,
      "eval_samples_per_second": 1.012,
      "eval_steps_per_second": 0.253,
      "step": 1425
    },
    {
      "epoch": 1.9,
      "grad_norm": 0.38587256680948073,
      "learning_rate": 3.166207401965642e-06,
      "loss": 1.8867,
      "step": 1426
    },
    {
      "epoch": 1.9013333333333333,
      "grad_norm": 0.2970629777465037,
      "learning_rate": 3.1617545936762375e-06,
      "loss": 1.8933,
      "step": 1427
    },
    {
      "epoch": 1.9026666666666667,
      "grad_norm": 0.2551509848697822,
      "learning_rate": 3.1573618854398546e-06,
      "loss": 2.296,
      "step": 1428
    },
    {
      "epoch": 1.904,
      "grad_norm": 0.2743485354891755,
      "learning_rate": 3.15302929704935e-06,
      "loss": 1.8633,
      "step": 1429
    },
    {
      "epoch": 1.9053333333333333,
      "grad_norm": 0.2786606510935604,
      "learning_rate": 3.1487568480266883e-06,
      "loss": 2.1739,
      "step": 1430
    },
    {
      "epoch": 1.9066666666666667,
      "grad_norm": 0.2477435221074629,
      "learning_rate": 3.1445445576228634e-06,
      "loss": 2.1276,
      "step": 1431
    },
    {
      "epoch": 1.908,
      "grad_norm": 0.33869162123227436,
      "learning_rate": 3.1403924448177952e-06,
      "loss": 2.0939,
      "step": 1432
    },
    {
      "epoch": 1.9093333333333333,
      "grad_norm": 0.3009834725639771,
      "learning_rate": 3.1363005283202565e-06,
      "loss": 2.0005,
      "step": 1433
    },
    {
      "epoch": 1.9106666666666667,
      "grad_norm": 0.33829648684481384,
      "learning_rate": 3.1322688265677855e-06,
      "loss": 1.9467,
      "step": 1434
    },
    {
      "epoch": 1.912,
      "grad_norm": 0.3511639060069577,
      "learning_rate": 3.128297357726602e-06,
      "loss": 1.9024,
      "step": 1435
    },
    {
      "epoch": 1.9133333333333333,
      "grad_norm": 0.42318659422754107,
      "learning_rate": 3.1243861396915223e-06,
      "loss": 1.9748,
      "step": 1436
    },
    {
      "epoch": 1.9146666666666667,
      "grad_norm": 0.2600044204614883,
      "learning_rate": 3.120535190085888e-06,
      "loss": 2.3989,
      "step": 1437
    },
    {
      "epoch": 1.916,
      "grad_norm": 0.3280262254366885,
      "learning_rate": 3.1167445262614766e-06,
      "loss": 1.9299,
      "step": 1438
    },
    {
      "epoch": 1.9173333333333333,
      "grad_norm": 0.26376254362927715,
      "learning_rate": 3.1130141652984264e-06,
      "loss": 2.0219,
      "step": 1439
    },
    {
      "epoch": 1.9186666666666667,
      "grad_norm": 0.2845915573897727,
      "learning_rate": 3.109344124005163e-06,
      "loss": 2.183,
      "step": 1440
    },
    {
      "epoch": 1.92,
      "grad_norm": 0.3677194358768651,
      "learning_rate": 3.1057344189183187e-06,
      "loss": 1.9384,
      "step": 1441
    },
    {
      "epoch": 1.9213333333333333,
      "grad_norm": 0.4022930206729524,
      "learning_rate": 3.102185066302664e-06,
      "loss": 1.8612,
      "step": 1442
    },
    {
      "epoch": 1.9226666666666667,
      "grad_norm": 0.27866491305542673,
      "learning_rate": 3.0986960821510256e-06,
      "loss": 2.072,
      "step": 1443
    },
    {
      "epoch": 1.924,
      "grad_norm": 0.35180851932544116,
      "learning_rate": 3.095267482184223e-06,
      "loss": 2.0402,
      "step": 1444
    },
    {
      "epoch": 1.9253333333333333,
      "grad_norm": 0.3437913270101531,
      "learning_rate": 3.0918992818509926e-06,
      "loss": 1.7446,
      "step": 1445
    },
    {
      "epoch": 1.9266666666666667,
      "grad_norm": 0.3427487125861648,
      "learning_rate": 3.0885914963279195e-06,
      "loss": 2.0484,
      "step": 1446
    },
    {
      "epoch": 1.928,
      "grad_norm": 0.32254004490109905,
      "learning_rate": 3.08534414051937e-06,
      "loss": 2.1783,
      "step": 1447
    },
    {
      "epoch": 1.9293333333333333,
      "grad_norm": 0.30448999605691746,
      "learning_rate": 3.0821572290574226e-06,
      "loss": 2.1199,
      "step": 1448
    },
    {
      "epoch": 1.9306666666666668,
      "grad_norm": 0.2640700052818509,
      "learning_rate": 3.0790307763018024e-06,
      "loss": 1.8567,
      "step": 1449
    },
    {
      "epoch": 1.932,
      "grad_norm": 0.3918230590254399,
      "learning_rate": 3.075964796339817e-06,
      "loss": 1.6265,
      "step": 1450
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 0.28702335285320785,
      "learning_rate": 3.0729593029862958e-06,
      "loss": 2.0197,
      "step": 1451
    },
    {
      "epoch": 1.9346666666666668,
      "grad_norm": 0.30089758510960446,
      "learning_rate": 3.0700143097835224e-06,
      "loss": 2.2274,
      "step": 1452
    },
    {
      "epoch": 1.936,
      "grad_norm": 0.32146925392019354,
      "learning_rate": 3.067129830001175e-06,
      "loss": 1.8177,
      "step": 1453
    },
    {
      "epoch": 1.9373333333333334,
      "grad_norm": 0.3615676442362076,
      "learning_rate": 3.0643058766362735e-06,
      "loss": 2.2883,
      "step": 1454
    },
    {
      "epoch": 1.9386666666666668,
      "grad_norm": 0.3890606095872102,
      "learning_rate": 3.061542462413107e-06,
      "loss": 1.6639,
      "step": 1455
    },
    {
      "epoch": 1.94,
      "grad_norm": 0.39083172541997857,
      "learning_rate": 3.0588395997831912e-06,
      "loss": 1.7606,
      "step": 1456
    },
    {
      "epoch": 1.9413333333333334,
      "grad_norm": 0.40477909715574106,
      "learning_rate": 3.0561973009252035e-06,
      "loss": 2.0129,
      "step": 1457
    },
    {
      "epoch": 1.9426666666666668,
      "grad_norm": 0.25315603651912,
      "learning_rate": 3.0536155777449286e-06,
      "loss": 2.0817,
      "step": 1458
    },
    {
      "epoch": 1.944,
      "grad_norm": 0.3262394782523973,
      "learning_rate": 3.0510944418752107e-06,
      "loss": 2.0268,
      "step": 1459
    },
    {
      "epoch": 1.9453333333333334,
      "grad_norm": 0.24583375657010237,
      "learning_rate": 3.0486339046758926e-06,
      "loss": 2.1838,
      "step": 1460
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 0.29652635538435207,
      "learning_rate": 3.0462339772337723e-06,
      "loss": 2.2371,
      "step": 1461
    },
    {
      "epoch": 1.948,
      "grad_norm": 0.2930834603653301,
      "learning_rate": 3.0438946703625493e-06,
      "loss": 1.9095,
      "step": 1462
    },
    {
      "epoch": 1.9493333333333334,
      "grad_norm": 0.2708595435056247,
      "learning_rate": 3.041615994602773e-06,
      "loss": 2.1743,
      "step": 1463
    },
    {
      "epoch": 1.9506666666666668,
      "grad_norm": 0.38078883664592234,
      "learning_rate": 3.0393979602218026e-06,
      "loss": 1.8426,
      "step": 1464
    },
    {
      "epoch": 1.952,
      "grad_norm": 0.36741068078972533,
      "learning_rate": 3.037240577213754e-06,
      "loss": 1.9806,
      "step": 1465
    },
    {
      "epoch": 1.9533333333333334,
      "grad_norm": 0.3034412452420098,
      "learning_rate": 3.03514385529946e-06,
      "loss": 2.0411,
      "step": 1466
    },
    {
      "epoch": 1.9546666666666668,
      "grad_norm": 0.31551480812729643,
      "learning_rate": 3.033107803926422e-06,
      "loss": 1.9182,
      "step": 1467
    },
    {
      "epoch": 1.956,
      "grad_norm": 0.3505442619116313,
      "learning_rate": 3.031132432268769e-06,
      "loss": 2.0734,
      "step": 1468
    },
    {
      "epoch": 1.9573333333333334,
      "grad_norm": 0.3448938979635124,
      "learning_rate": 3.0292177492272175e-06,
      "loss": 1.6531,
      "step": 1469
    },
    {
      "epoch": 1.9586666666666668,
      "grad_norm": 0.29158657476806576,
      "learning_rate": 3.027363763429031e-06,
      "loss": 1.9476,
      "step": 1470
    },
    {
      "epoch": 1.96,
      "grad_norm": 0.27852954726435414,
      "learning_rate": 3.0255704832279807e-06,
      "loss": 1.8429,
      "step": 1471
    },
    {
      "epoch": 1.9613333333333334,
      "grad_norm": 0.31460304629913655,
      "learning_rate": 3.023837916704308e-06,
      "loss": 2.062,
      "step": 1472
    },
    {
      "epoch": 1.9626666666666668,
      "grad_norm": 0.2667233695584214,
      "learning_rate": 3.0221660716646853e-06,
      "loss": 2.0153,
      "step": 1473
    },
    {
      "epoch": 1.964,
      "grad_norm": 0.3146094774355961,
      "learning_rate": 3.0205549556421875e-06,
      "loss": 1.9807,
      "step": 1474
    },
    {
      "epoch": 1.9653333333333334,
      "grad_norm": 0.40073157303912005,
      "learning_rate": 3.0190045758962515e-06,
      "loss": 2.0516,
      "step": 1475
    },
    {
      "epoch": 1.9666666666666668,
      "grad_norm": 0.3291560437675029,
      "learning_rate": 3.0175149394126444e-06,
      "loss": 1.7695,
      "step": 1476
    },
    {
      "epoch": 1.968,
      "grad_norm": 0.34746164945067376,
      "learning_rate": 3.016086052903439e-06,
      "loss": 1.8917,
      "step": 1477
    },
    {
      "epoch": 1.9693333333333334,
      "grad_norm": 0.4132228545820542,
      "learning_rate": 3.0147179228069735e-06,
      "loss": 1.8209,
      "step": 1478
    },
    {
      "epoch": 1.9706666666666668,
      "grad_norm": 0.2625707122745248,
      "learning_rate": 3.0134105552878304e-06,
      "loss": 2.1471,
      "step": 1479
    },
    {
      "epoch": 1.972,
      "grad_norm": 0.517164210893396,
      "learning_rate": 3.012163956236801e-06,
      "loss": 2.0709,
      "step": 1480
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 0.3145002779176351,
      "learning_rate": 3.0109781312708676e-06,
      "loss": 2.06,
      "step": 1481
    },
    {
      "epoch": 1.9746666666666668,
      "grad_norm": 0.3968762390567781,
      "learning_rate": 3.009853085733172e-06,
      "loss": 1.8761,
      "step": 1482
    },
    {
      "epoch": 1.976,
      "grad_norm": 0.30350523368451976,
      "learning_rate": 3.008788824692994e-06,
      "loss": 1.9464,
      "step": 1483
    },
    {
      "epoch": 1.9773333333333334,
      "grad_norm": 0.29526468153444246,
      "learning_rate": 3.0077853529457293e-06,
      "loss": 2.1874,
      "step": 1484
    },
    {
      "epoch": 1.9786666666666668,
      "grad_norm": 0.3192888574254121,
      "learning_rate": 3.0068426750128627e-06,
      "loss": 1.8496,
      "step": 1485
    },
    {
      "epoch": 1.98,
      "grad_norm": 0.24176082497513032,
      "learning_rate": 3.0059607951419562e-06,
      "loss": 2.1863,
      "step": 1486
    },
    {
      "epoch": 1.9813333333333332,
      "grad_norm": 0.2804718411296737,
      "learning_rate": 3.0051397173066202e-06,
      "loss": 2.1876,
      "step": 1487
    },
    {
      "epoch": 1.9826666666666668,
      "grad_norm": 0.252626464360028,
      "learning_rate": 3.004379445206506e-06,
      "loss": 2.3013,
      "step": 1488
    },
    {
      "epoch": 1.984,
      "grad_norm": 0.27921572772978404,
      "learning_rate": 3.00367998226728e-06,
      "loss": 2.0027,
      "step": 1489
    },
    {
      "epoch": 1.9853333333333332,
      "grad_norm": 0.38571714557567593,
      "learning_rate": 3.0030413316406127e-06,
      "loss": 1.6291,
      "step": 1490
    },
    {
      "epoch": 1.9866666666666668,
      "grad_norm": 0.42882385178762716,
      "learning_rate": 3.002463496204165e-06,
      "loss": 1.9582,
      "step": 1491
    },
    {
      "epoch": 1.988,
      "grad_norm": 0.33788948109996964,
      "learning_rate": 3.0019464785615725e-06,
      "loss": 2.0199,
      "step": 1492
    },
    {
      "epoch": 1.9893333333333332,
      "grad_norm": 0.3444792585905819,
      "learning_rate": 3.001490281042437e-06,
      "loss": 2.0115,
      "step": 1493
    },
    {
      "epoch": 1.9906666666666668,
      "grad_norm": 0.35609492323095676,
      "learning_rate": 3.0010949057023123e-06,
      "loss": 1.9811,
      "step": 1494
    },
    {
      "epoch": 1.992,
      "grad_norm": 0.30003868849911497,
      "learning_rate": 3.0007603543226976e-06,
      "loss": 2.1403,
      "step": 1495
    },
    {
      "epoch": 1.9933333333333332,
      "grad_norm": 0.2960682501478522,
      "learning_rate": 3.0004866284110317e-06,
      "loss": 2.0825,
      "step": 1496
    },
    {
      "epoch": 1.9946666666666668,
      "grad_norm": 0.2966433305056246,
      "learning_rate": 3.000273729200678e-06,
      "loss": 2.385,
      "step": 1497
    },
    {
      "epoch": 1.996,
      "grad_norm": 0.2867093174965728,
      "learning_rate": 3.0001216576509283e-06,
      "loss": 1.7812,
      "step": 1498
    },
    {
      "epoch": 1.9973333333333332,
      "grad_norm": 0.3110912131772926,
      "learning_rate": 3.000030414446992e-06,
      "loss": 2.0159,
      "step": 1499
    },
    {
      "epoch": 1.9986666666666668,
      "grad_norm": 0.3051325896596767,
      "learning_rate": 3e-06,
      "loss": 2.1652,
      "step": 1500
    },
    {
      "epoch": 1.9986666666666668,
      "eval_loss": 1.71974778175354,
      "eval_runtime": 98.5502,
      "eval_samples_per_second": 1.015,
      "eval_steps_per_second": 0.254,
      "step": 1500
    }
  ],
  "logging_steps": 1,
  "max_steps": 1500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 2,
  "save_steps": 375,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 349100310528000.0,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}