Dev Pods

快速開始

Deploy 選項允許使用者使用映像範本、儲存磁碟區和相關配置建立 DevPod 實例。

配置 DevPod

規劃適當的 DevPod 實例是部署 DevPod 的關鍵步驟。GPU 和儲存磁碟區的選擇會顯著影響專案的效能和效率。本頁面提供如何配置 DevPod 規格的指導。然而,這些只是一般指南。請記住您的特定需求並相應地進行規劃。

了解模型的特定資源需求至關重要。通常,您可以在 Hugging Face 等平台的模型卡片描述或 config.json 模型檔案中找到詳細資訊。

有些工具可以協助您評估和計算模型的特定資源需求,例如:

使用這些工具和資源應該能讓您更清楚地了解在 DevPod 中需要關注的方面。

建立新的 DevPods

  1. 導覽至 DevPods 並選擇 + Deploy

  2. 選擇部署 DevPod 的區域。

  3. 指定網路磁碟區(選用)。

  4. 選擇實例類型。例如,H100 SXM。

  5. 選擇映像(範本)。

  6. 配置 DevPod 正常運作所需的資源。

  7. 檢視您的配置並選擇 Deploy On-Demand。

費用在 DevPod 建置完成後產生。

存取 DevPod

建立 DevPod 並等待實例正常運作後,點擊實例右側的下拉框以顯示 DevPod 的詳細資訊。然後點擊「Connect」按鈕,將彈出顯示框。根據您的需求,您可以選擇 HTTPS 存取、TCP (SSH) 存取或 Web Terminal。

常見問題

如何上傳 SSH 公開金鑰?

Settings -> SSH Public Key 頁面,貼上您的公開金鑰並點擊 Update Public Key 以上傳或更新 SSH 公開金鑰。

如何透過 SSH 存取?

對於一些支援 SSH 存取的映像,並且在建立 devpod 時啟用 SSH 存取時,您可以在 Connect -> TCP Port Mappings 彈出視窗中取得 SSH 存取位址,並透過 ssh -p {port} root@{host ip} 命令存取,如下圖所示。

如何透過 Jupyter 存取?

對於一些支援 Jupyter 存取的映像,並且在建立 devpod 時啟用 Jupyter 存取時,您可以在 Connect -> Connection Options 彈出視窗中取得 Jupyter 存取位址。點擊「Connect to HTTP Service [Port 8888]」按鈕將重新導向到 Jupyter 網頁,如下圖所示。

如何公開 HTTP 或 TCP 連接埠

建立 devpod 任務時,您可以根據需要填寫要公開的 HTTP 或 TCP 連接埠。多個連接埠應以 , 分隔,如下圖所示。

建立 devpod 時,為什麼 SSH Terminal Access 和 Start Jupyter Notebook 有時被停用?

目前,這兩個選項僅針對特殊映像啟用,並非所有映像。支援的映像如下:

  • docker.io/gpucloud/pytorch:2.4.1-python3.11-cuda12.4.1-devel-ubuntu22.04
  • docker.io/gpucloud/pytorch:2.4.0-python3.11-cuda12.4.1-devel-ubuntu22.04
  • docker.io/gpucloud/tensorflow:2.17.0-python3.11-cuda12.3.1-ubuntu22.04-devel
  • docker.io/gpucloud/tensorflow:2.14.0-python3.11-cuda11.8.0-ubuntu22.04-devel
  • docker.io/gpucloud/finetuning:axolotl-py3.11-torch2.6-cu12.4
  • docker.io/gpucloud/finetuning:torchtune-py3.11-torch2.8-cu12.8

此外,啟用 SSH Terminal Access 需要事先上傳 SSH 公開金鑰。