Serverless
概覽
Atlas Cloud 為 AI 推理、模型訓練、通用運算和 API 服務提供 Serverless 運算，允許使用者按秒付費。平台支援基於請求量的自動擴展。
您可以使用以下方法：
- Endpoint：使用自訂映像進行 AI 推理、模型訓練和其他任務
- Quick Deploy：使用預建映像快速建立 vLLM / SD 推理服務
為什麼選擇 Atlas Cloud Serverless？
您應該選擇 Atlas Cloud Serverless 實例的原因如下：
- 成本效益：僅支付實際使用的運算時間，按秒計費
- 啟動/停止控制：不需要時暫停實例以節省成本，需要時立即恢復
- 高效能：存取最新的 NVIDIA GPU，包括 A100、H100 和 L4
- 自動擴展：根據需求自動從 1 擴展到 100 個工作程序
- 容器支援：支援公開和私有 Docker 映像
- 快速冷啟動：大多數模型的最佳化冷啟動時間為 2-3 秒
- 監控與日誌：GPU、CPU、記憶體使用量的即時指標和全面的日誌記錄
- 儲存整合：將網路儲存掛載到工作程序以在擴展事件中保持資料持久性