DevPodの機能をベースに、モデルのファインチューニング専用のイメージを提供しており、ユーザーが独自のモデルを簡単にファインチューニングできます。

ファインチューニングジョブの作成プロセスは基本的にDevPodと同じです。DevPodの作成プロセスを参照してください。以下の相違点があります：

作成ページでファインチューニング用のベースモデルを入力する必要があります。例：Qwen/Qwen3-8B
モデルがアクセストークンを必要とする場合、Hugging Faceトークンも入力する必要があります（オプション）
Datasetフィールドに選択したデータセット識別子を入力します。例：tatsu-lab/alpaca

タスクリソースの設定を選択した後、Podをデプロイし、タスクステータスが「running」に変わるまで待ちます。Connectをクリックして、希望する接続方法を選択します：

Jupyter Notebook: ブラウザベースのノートブックインターフェース（推奨）
Web Terminal: ブラウザベースのターミナル
SSH: ローカルマシンのターミナル接続

注意： SSHを使用するには、アカウント設定で公開SSHキーを追加してください。システムは自動的にPodのauthorized_keysファイルにキーを追加します。

現在、AxolotlとTorchtuneをベースに開発された2つのツールイメージを慎重に準備しており、ユーザーがモデルをファインチューニングするのに便利です。次に、これら2つのイメージの使用プロセスを詳しく紹介します。

Axolotlベース

環境の設定

ブラウザでJupyter Notebookを開きます。作業ディレクトリには3つのファイルがあります：

examples/: サンプル設定とスクリプト
outputs/: トレーニング結果とモデル出力
config.yaml: モデルのトレーニングパラメータシステムは選択したベースモデルとデータセットに基づいて初期config.yamlを生成します。

設定の確認と変更

特定のユースケースに基づいてパラメータを確認し調整します。一般的なパラメータを使用した設定例は次のとおりです：

base_model: Qwen/Qwen3-32B
# Automatically upload checkpoint and final model to HF
# hub_model_id: username/custom_model_name

plugins:
  - axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin
strict: false

chat_template: qwen3
datasets:
  - path: mlabonne/FineTome-100k
    type: chat_template
    split: train[:20%]
    field_messages: conversations
    message_property_mappings:
      role: from
      content: value
val_set_size: 0.0
output_dir: ./outputs/out
dataset_prepared_path: last_run_prepared

sequence_len: 2048
sample_packing: true
eval_sample_packing: true
pad_to_sequence_len: true

load_in_4bit: true
adapter: qlora
lora_r: 16
lora_alpha: 32
lora_target_modules:
  - q_proj
  - k_proj
  - v_proj
  - o_proj
  - down_proj
  - up_proj
lora_mlp_kernel: true
lora_qkv_kernel: true
lora_o_kernel: true

wandb_project:
wandb_entity:
wandb_watch:
wandb_name:
wandb_log_model:

gradient_accumulation_steps: 2
micro_batch_size: 1
num_epochs: 1
optimizer: adamw_torch_4bit
lr_scheduler: cosine
learning_rate: 0.0002

bf16: auto
tf32: true

gradient_checkpointing: offload
gradient_checkpointing_kwargs:
  use_reentrant: false
resume_from_checkpoint:
logging_steps: 1
flash_attention: true

warmup_steps: 10
evals_per_epoch: 4
saves_per_epoch: 1
weight_decay: 0.0
special_tokens:

設定例の詳細については、Axolotl examplesリポジトリをご覧ください。