swift可视化

一、测试：3.1.0 运行训练

1.1 训练运行命令

python -m torch.distributed.run --nproc_per_node 1 /home/llm/code/framework/swift/swift/cli/sft.py --model Qwen/qwen2.5-7b-instruct --dataset AI-ModelScope/alpaca-gpt4-data-zh --train_type lora --eval_steps 3000 --save_steps 3000 --output_dir /home/data/modelscope/tasks/training/1e1a4b5e-317b-419c-9d78-286b6a808f86/output --logging_dir /home/data/modelscope/tasks/training/1e1a4b5e-317b-419c-9d78-286b6a808f86/runs --add_version False --gradient_checkpointing_kwargs '{"use_reentrant":false}'

swift sft --model Qwen/qwen2.5-7b-instruct --dataset AI-ModelScope/alpaca-gpt4-data-zh --train_type lora --eval_steps 500 --save_steps 500  --add_version False --gradient_checkpointing_kwargs '{"use_reentrant":false}'

1.2 可视化运行命令

tensorboard --bind_all --logdir  /home/data/modelscope/tasks/training/1e1a4b5e-317b-419c-9d78-286b6a808f86/runs
tensorboard --bind_all --logdir  /exports/ec74de53-ff23-450c-b74e-306464ce1833/data/tasks/training/1e1a4b5e-317b-419c-9d78-286b6a808f86/runs

1.3 视图7张