Basé sur les capacités de DevPod, nous fournissons des images spécialement dédiées au fine-tuning de modèles, facilitant l'optimisation de leurs propres modèles par les utilisateurs.

Le processus de création d'un travail de fine-tuning est fondamentalement le même que celui de DevPod. Vous pouvez vous référer au processus de création de DevPod. Voici plusieurs différences :

1. Vous devez entrer le modèle de base pour le fine-tuning sur la page de création, par exemple : Qwen/Qwen3-8B.
2. Si le modèle nécessite un jeton d'accès, vous devez également remplir le jeton Hugging Face (facultatif).
3. Entrez l'identifiant de votre jeu de données choisi dans le champ Dataset, par exemple : tatsu-lab/alpaca.

Après avoir sélectionné la configuration des ressources de tâche, déployez le pod et attendez que le statut de la tâche passe à "running". Cliquez sur Connect et choisissez votre méthode de connexion préférée :

1. Jupyter Notebook : Interface notebook basée sur navigateur (recommandé).
2. Web Terminal : Terminal basé sur navigateur.
3. SSH : Connexion au terminal de la machine locale.

Remarque : Pour utiliser SSH, ajoutez votre clé SSH publique dans les paramètres de votre compte. Le système ajoute automatiquement votre clé au fichier authorized_keys du pod.

Actuellement, nous avons soigneusement préparé deux images d'outils, qui sont développées sur la base d'Axolotl et Torchtune respectivement, visant à fournir une commodité aux utilisateurs pour affiner les modèles. Ensuite, nous présenterons en détail les processus d'utilisation de ces deux images respectivement.

Basé sur Axolotl

Configurez votre environnement

Ouvrez le Jupyter Notebook dans le navigateur. Vous pouvez voir qu'il y a trois fichiers dans le répertoire de travail :

1. examples/ : Exemples de configurations et scripts
2. outputs/ : Résultats d'entraînement et sorties de modèle
3. config.yaml : Paramètres d'entraînement pour votre modèle Le système génère un config.yaml initial basé sur votre modèle de base et jeu de données sélectionnés.

Examinez et modifiez la configuration

Examinez et ajustez les paramètres en fonction de votre cas d'utilisation spécifique. Voici un exemple de configuration avec des paramètres courants :

base_model: Qwen/Qwen3-32B
# Automatically upload checkpoint and final model to HF
# hub_model_id: username/custom_model_name

plugins:
  - axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin
strict: false

chat_template: qwen3
datasets:
  - path: mlabonne/FineTome-100k
    type: chat_template
    split: train[:20%]
    field_messages: conversations
    message_property_mappings:
      role: from
      content: value
val_set_size: 0.0
output_dir: ./outputs/out
dataset_prepared_path: last_run_prepared

sequence_len: 2048
sample_packing: true
eval_sample_packing: true
pad_to_sequence_len: true

load_in_4bit: true
adapter: qlora
lora_r: 16
lora_alpha: 32
lora_target_modules:
  - q_proj
  - k_proj
  - v_proj
  - o_proj
  - down_proj
  - up_proj
lora_mlp_kernel: true
lora_qkv_kernel: true
lora_o_kernel: true

wandb_project:
wandb_entity:
wandb_watch:
wandb_name:
wandb_log_model:

gradient_accumulation_steps: 2
micro_batch_size: 1
num_epochs: 1
optimizer: adamw_torch_4bit
lr_scheduler: cosine
learning_rate: 0.0002

bf16: auto
tf32: true

gradient_checkpointing: offload
gradient_checkpointing_kwargs:
  use_reentrant: false
resume_from_checkpoint:
logging_steps: 1
flash_attention: true

warmup_steps: 10
evals_per_epoch: 4
saves_per_epoch: 1
weight_decay: 0.0
special_tokens:

Pour plus d'exemples de configuration, visitez le dépôt d'exemples Axolotl.

Démarrez le processus de fine-tuning

Une fois votre configuration prête, suivez ces étapes :

1. Lancez le processus d'entraînement :

axolotl train config.yaml

2. Surveillez la progression de l'entraînement dans votre terminal.

Basé sur Torchtune

Configurez votre environnement

Ouvrez le Jupyter Notebook dans le navigateur. Vous pouvez utiliser tune ls pour lister l'ensemble complet de recettes de fine-tuning supportées par torchtune.

Examinez et modifiez la configuration

1. Copiez le fichier de configuration sur l'appareil local, par exemple :

tune cp qwen2_5/3B_lora_single_device config.yaml

2. Modifiez, examinez et ajustez les paramètres en fonction de votre cas d'utilisation spécifique.

Démarrez le processus de fine-tuning

Une fois votre configuration prête, suivez ces étapes :

1. Lancez le processus d'entraînement :

tune run lora_finetune_single_device --config config.yaml

2. Surveillez la progression de l'entraînement dans votre terminal.

Documents connexes

Pour plus d'informations sur le fine-tuning avec Axolotl, voir :

• Documentation Axolotl

Pour plus d'informations sur le fine-tuning avec Torchtune, voir :

• Documentation Torchtune

Pour plus d'informations sur des cours de fine-tuning plus libres et flexibles, voir :

• Cours Huggingface