Erste Schritte

Die Deploy-Option ermöglicht es Benutzern, DevPod-Instanzen mit Image-Vorlagen, Speicher-Volumes und zugehörigen Konfigurationen zu erstellen.

DevPod konfigurieren

Die Planung einer geeigneten DevPod-Instanz ist ein entscheidender Schritt bei der Bereitstellung von DevPod. Die Wahl der GPU und des Speicher-Volumes kann die Leistung und Effizienz Ihres Projekts erheblich beeinflussen. Diese Seite bietet Anleitungen zur Konfiguration der DevPod-Spezifikationen. Dies sind jedoch nur allgemeine Richtlinien. Behalten Sie Ihre spezifischen Anforderungen im Auge und planen Sie entsprechend.

Es ist entscheidend, die spezifischen Ressourcenanforderungen eines Modells zu verstehen. Normalerweise finden Sie detaillierte Informationen in der Beschreibung der Modellkarte auf Plattformen wie Hugging Face oder in der config.json-Modelldatei.

Es gibt einige Tools, die Sie bei der Bewertung und Berechnung der spezifischen Ressourcenanforderungen eines Modells unterstützen können, wie zum Beispiel:

Die Verwendung dieser Tools und Ressourcen sollte Ihnen ein klareres Verständnis davon ermöglichen, auf welche Aspekte Sie sich in einem DevPod konzentrieren müssen.

Einen neuen DevPod erstellen

Navigieren Sie zu DevPods und wählen Sie + Deploy.
Wählen Sie die Region für die Bereitstellung von DevPod aus.
Geben Sie ein Network-Volume an (optional).
Wählen Sie einen Instanztyp aus. Zum Beispiel H100 SXM.
Wählen Sie ein Image (Vorlage) aus.
Konfigurieren Sie die für den normalen Betrieb von DevPod erforderlichen Ressourcen.
Überprüfen Sie Ihre Konfiguration und wählen Sie Deploy On-Demand.

Die Gebühren fallen an, nachdem der DevPod-Build abgeschlossen ist.

Auf DevPod zugreifen

Nachdem Sie einen DevPod erstellt haben und darauf gewartet haben, dass die Instanz normal funktioniert, klicken Sie auf das Dropdown-Feld auf der rechten Seite der Instanz, um die Details des DevPods anzuzeigen. Klicken Sie dann auf die Schaltfläche "Connect", und ein Anzeigefenster wird angezeigt. Je nach Bedarf können Sie entweder HTTPS-Zugriff oder TCP (SSH)-Zugriff oder Web-Terminal wählen.

Häufig gestellte Fragen

Wie lade ich einen öffentlichen SSH-Schlüssel hoch?

Auf der Seite Settings -> SSH Public Key fügen Sie Ihren öffentlichen Schlüssel ein und klicken Sie auf Update Public Key, um den öffentlichen SSH-Schlüssel hochzuladen oder zu aktualisieren.

Wie greife ich über SSH zu?

Für einige Images, die SSH-Zugriff unterstützen, und wenn SSH-Zugriff während der Erstellung von DevPod aktiviert ist, können Sie die SSH-Zugriffsadresse im Pop-up-Fenster Connect -> TCP Port Mappings abrufen und über den Befehl ssh -p {port} root@{host ip} darauf zugreifen, wie in der folgenden Abbildung gezeigt.

Wie greife ich über Jupyter zu?

Für einige Images, die Jupyter-Zugriff unterstützen, und wenn Jupyter-Zugriff während der Erstellung von DevPod aktiviert ist, können Sie die Jupyter-Zugriffsadresse im Pop-up-Fenster Connect -> Connection Options abrufen. Wenn Sie auf die Schaltfläche "Connect to HTTP Service [Port 8888]" klicken, werden Sie zur Jupyter-Webseite weitergeleitet, wie in der folgenden Abbildung gezeigt.

Wie exponiere ich HTTP- oder TCP-Ports?

Beim Erstellen eines DevPod-Jobs können Sie die freizugebenden HTTP- oder TCP-Ports nach Bedarf ausfüllen. Mehrere Ports sollten durch , getrennt werden, wie in der folgenden Abbildung gezeigt.

Warum sind SSH Terminal Access und Start Jupyter Notebook beim Erstellen eines DevPods manchmal deaktiviert?

Derzeit sind diese beiden Optionen nur für spezielle Images aktiviert, nicht für alle Images. Die unterstützten Images sind wie folgt:

docker.io/gpucloud/pytorch:2.4.1-python3.11-cuda12.4.1-devel-ubuntu22.04
docker.io/gpucloud/pytorch:2.4.0-python3.11-cuda12.4.1-devel-ubuntu22.04
docker.io/gpucloud/tensorflow:2.17.0-python3.11-cuda12.3.1-ubuntu22.04-devel
docker.io/gpucloud/tensorflow:2.14.0-python3.11-cuda11.8.0-ubuntu22.04-devel
docker.io/gpucloud/finetuning:axolotl-py3.11-torch2.6-cu12.4
docker.io/gpucloud/finetuning:torchtune-py3.11-torch2.8-cu12.8

Zusätzlich erfordert die Aktivierung von SSH Terminal Access das vorherige Hochladen eines öffentlichen SSH-Schlüssels.

Auf dieser Seite