Applied Liger kernels to Qwen2
You are attempting to use Flash Attention 2.0 with a model not initialized on GPU. Make sure to move the model to GPU after initializing it on CPU with `model.to('cuda')`.
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00,  6.96it/s]
You are using the default legacy behaviour of the <class 'transformers.models.llama.tokenization_llama_fast.LlamaTokenizerFast'>. This is expected, and simply means that the `legacy` (previous) behavior will be used so nothing changes for you. If you want to use the new behaviour, set `legacy=False`. This should only be set if you understand what it means, and thoroughly read the reason why this was added as explained in https://github.com/huggingface/transformers/pull/24565 - if you loaded a llama tokenizer from a GGUF file you can ignore this message.
README.md: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 477/477 [00:00<00:00, 2.08MB/s]
train_t1.parquet: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.44M/2.44M [00:00<00:00, 21.4MB/s]
val_t1.parquet: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 615k/615k [00:00<00:00, 61.5MB/s]
Generating train split: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11622/11622 [00:00<00:00, 377067.85 examples/s]
Generating val split: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2906/2906 [00:00<00:00, 521305.65 examples/s]
Map (num_proc=20): 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11622/11622 [00:05<00:00, 1991.75 examples/s]
Map (num_proc=20): 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2906/2906 [00:04<00:00, 594.36 examples/s]
/usr/local/lib/python3.11/dist-packages/trl/trainer/sft_trainer.py:300: UserWarning: You passed a processing_class with `padding_side` not equal to `right` to the SFTTrainer. This might lead to some unexpected behaviour due to overflow issues when training a model in half-precision. You might consider adding `processing_class.padding_side = 'right'` to your code.
  warnings.warn(
[2025-02-03 10:37:05,565][accelerate.utils.other][WARNING] - Detected kernel version 5.4.0, which is below the recommended minimum of 5.5.0; this can cause the process to hang. It is recommended to upgrade the kernel to the minimum version or higher.
The model is not an instance of PreTrainedModel. No liger kernels will be applied.
wandb: WARNING The `run_name` is currently set to the same value as `TrainingArguments.output_dir`. If this was not intended, please specify a different run name by setting the `TrainingArguments.run_name` parameter.
  0%|                                                                                                                                                                                                                                                                | 0/30 [00:00<?, ?it/s]/usr/local/lib/python3.11/dist-packages/torch/utils/checkpoint.py:295: FutureWarning: `torch.cpu.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cpu', args...)` instead.
  with torch.enable_grad(), device_autocast_ctx, torch.cpu.amp.autocast(**ctx.cpu_autocast_kwargs):  # type: ignore[attr-defined]
/usr/local/lib/python3.11/dist-packages/torch/utils/checkpoint.py:295: FutureWarning: `torch.cpu.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cpu', args...)` instead.
  with torch.enable_grad(), device_autocast_ctx, torch.cpu.amp.autocast(**ctx.cpu_autocast_kwargs):  # type: ignore[attr-defined]
 33%|██████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                    | 10/30 [02:08<03:19, 10.00s/it]/usr/local/lib/python3.11/dist-packages/torch/utils/checkpoint.py:295: FutureWarning: `torch.cpu.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cpu', args...)` instead.
{'loss': 1.7113, 'grad_norm': 197.97731018066406, 'learning_rate': 2.6666666666666667e-05, 'epoch': 0.07}
{'loss': 0.3074, 'grad_norm': 9.49290657043457, 'learning_rate': 3.9864767154838864e-05, 'epoch': 0.13}
{'loss': 0.5192, 'grad_norm': 11.93992805480957, 'learning_rate': 3.879385241571817e-05, 'epoch': 0.2}
{'loss': 0.3522, 'grad_norm': 36.35920715332031, 'learning_rate': 3.6709756228258735e-05, 'epoch': 0.26}
{'loss': 0.3002, 'grad_norm': 2.501967191696167, 'learning_rate': 3.372483275737468e-05, 'epoch': 0.33}
  with torch.enable_grad(), device_autocast_ctx, torch.cpu.amp.autocast(**ctx.cpu_autocast_kwargs):  # type: ignore[attr-defined]                                                                                                                                                           
{'eval_loss': 0.24726153910160065, 'eval_runtime': 22.6795, 'eval_samples_per_second': 128.133, 'eval_steps_per_second': 2.69, 'epoch': 0.33}
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                      | 20/30 [04:14<01:43, 10.39s/it]/usr/local/lib/python3.11/dist-packages/torch/utils/checkpoint.py:295: FutureWarning: `torch.cpu.amp.autocast(args...)` is deprecated. Please use `torch.amp.autocast('cpu', args...)` instead.
{'loss': 0.2376, 'grad_norm': 5.336134433746338, 'learning_rate': 3.0000000000000004e-05, 'epoch': 0.4}
{'loss': 0.2192, 'grad_norm': 2.692228317260742, 'learning_rate': 2.5736064654221808e-05, 'epoch': 0.46}
{'loss': 0.2305, 'grad_norm': 3.7447121143341064, 'learning_rate': 2.1162896578209517e-05, 'epoch': 0.53}
{'loss': 0.1851, 'grad_norm': 1.3211948871612549, 'learning_rate': 1.6527036446661396e-05, 'epoch': 0.59}
{'loss': 0.2143, 'grad_norm': 4.143075942993164, 'learning_rate': 1.2078404679216864e-05, 'epoch': 0.66}
  with torch.enable_grad(), device_autocast_ctx, torch.cpu.amp.autocast(**ctx.cpu_autocast_kwargs):  # type: ignore[attr-defined]                                                                                                                                                                        
{'eval_loss': 0.18873603641986847, 'eval_runtime': 23.0504, 'eval_samples_per_second': 126.071, 'eval_steps_per_second': 2.646, 'epoch': 0.66}
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 30/30 [06:24<00:00, 12.82s/it]
{'loss': 0.1893, 'grad_norm': 1.1092743873596191, 'learning_rate': 8.056828165944282e-06, 'epoch': 0.72}
{'loss': 0.1882, 'grad_norm': 2.4327919483184814, 'learning_rate': 4.679111137620442e-06, 'epoch': 0.79}
{'loss': 0.1693, 'grad_norm': 2.00337553024292, 'learning_rate': 2.127347193531757e-06, 'epoch': 0.86}
{'loss': 0.1865, 'grad_norm': 1.2957417964935303, 'learning_rate': 5.391025884035239e-07, 'epoch': 0.92}
{'loss': 0.1784, 'grad_norm': 1.101898431777954, 'learning_rate': 0.0, 'epoch': 0.99}
                                                                                                                                                                                                                                                                                                         
{'eval_loss': 0.17505289614200592, 'eval_runtime': 22.7261, 'eval_samples_per_second': 127.871, 'eval_steps_per_second': 2.684, 'epoch': 0.99}
{'train_runtime': 383.4688, 'train_samples_per_second': 30.308, 'train_steps_per_second': 0.078, 'train_loss': 0.3459165016810099, 'epoch': 0.99}