使用 GPU Spaces

您可以使用 Space 頂部導航欄中的“設定”按鈕將您的 Space 升級為使用 GPU 加速器。如果您正在為副專案構建一個很酷的演示，您甚至可以申請免費升級！

一旦您的 Space 在 GPU 上執行，您就可以直接透過此徽章檢視它正在哪個硬體上執行

硬體規格

在下表中，您可以檢視不同升級選項的規格。

CPU

GPU

TPU

以程式設計方式配置硬體

您可以使用 huggingface_hub 以程式設計方式配置您的 Space 硬體。這允許您在需要動態分配 GPU 的情況下實現廣泛的用例。有關更多詳細資訊，請檢視本指南。

框架特定要求

大多數 Spaces 在 GPU 升級後應該能立即執行，但有時您需要安裝您使用的機器學習框架的 CUDA 版本。請遵循本指南以確保您的 Space 利用了改進的硬體。

PyTorch

您需要安裝與內建 CUDA 驅動程式相容的 PyTorch 版本。在您的 requirements.txt 檔案中新增以下兩行應該可以

--extra-index-url https://download.pytorch.org/whl/cu113
torch

您可以透過在 app.py 中執行以下程式碼並在 Space 日誌中檢查輸出來驗證安裝是否成功

import torch
print(f"Is CUDA available: {torch.cuda.is_available()}")
# True
print(f"CUDA device: {torch.cuda.get_device_name(torch.cuda.current_device())}")
# Tesla T4

如果 GPU 可用，許多框架會自動使用 GPU。🤗 transformers、fastai 和許多其他框架中的 Pipelines 就是這種情況。在其他情況下，或者如果您直接使用 PyTorch，您可能需要將模型和資料移動到 GPU，以確保計算是在加速器上而不是在 CPU 上完成。您可以使用 PyTorch 的 .to() 語法，例如

model = load_pytorch_model()
model = model.to("cuda")

JAX

如果您使用 JAX，您需要指定包含 CUDA 相容包的 URL。請將以下行新增到您的 requirements.txt 檔案中

-f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
jax[cuda11_pip]
jaxlib

之後，您可以透過列印以下程式碼的輸出來驗證安裝，並在您的 Space 日誌中檢視。

import jax

print(f"JAX devices: {jax.devices()}")
# JAX devices: [StreamExecutorGpuDevice(id=0, process_index=0)]
print(f"JAX device type: {jax.devices()[0].device_kind}")
# JAX device type: Tesla T4

Tensorflow

預設的 tensorflow 安裝應該能夠識別 CUDA 裝置。只需將 tensorflow 新增到您的 requirements.txt 檔案中，並在您的 app.py 中使用以下程式碼進行驗證，然後在您的 Space 日誌中檢視。

import tensorflow as tf
print(tf.config.list_physical_devices('GPU'))
# [PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]

計費

Spaces 的計費基於硬體使用情況，按分鐘計算：Space 在請求的硬體上執行的每一分鐘都會收費，無論 Space 是否被使用。

在 Space 的生命週期中，僅當 Space 實際處於 `Running` 狀態時才會計費。這意味著在構建或啟動期間不產生費用。

如果正在執行的 Space 開始出現故障，它將自動暫停並停止計費。

在免費硬體上執行的 Spaces 如果長時間（例如兩天）未使用，將自動暫停。升級後的 Spaces 預設情況下無限期執行，即使沒有使用。您可以透過在 Space 設定中設定自定義“休眠時間”來更改此行為。要中斷您 Space 的計費，您可以將硬體更改為 CPU basic，或暫停它。

有關計費的更多資訊，請參閱中心範圍內的專用部分。

社群 GPU 補助

您有一個很棒的 Space，但需要幫助支付 GPU 硬體升級費用嗎？我們樂於幫助那些擁有創新 Space 的人，所以請隨時申請社群 GPU 補助，看看您的 Space 是否符合條件！此申請可以在您的 Space 硬體倉庫設定中找到，位於左下角的“休眠時間設定”下

設定自定義休眠時間

如果您的 Space 在預設的 cpu-basic 硬體上執行，如果超過設定的時間（目前為 48 小時）處於非活動狀態，它將進入休眠狀態。任何訪問您 Space 的人都會自動重新啟動它。

如果您希望您的 Space 永不停用，或者您想設定自定義休眠時間，您需要升級到付費硬體。

預設情況下，升級後的 Space 永不休眠。但是，您可以為升級後的 Space 使用此設定，使其在不使用時進入空閒狀態（stopped 階段）😴。在休眠期間，您無需為升級後的硬體付費。Space 將在收到新訪客後“喚醒”或重新啟動。

以下介面將在您的 Spaces 硬體設定中可用

可用的選項如下

暫停 Space

您可以從倉庫設定中暫停 Space。“暫停”的 Space 表示該 Space 處於暫停狀態，在手動重新啟動之前不會使用資源，並且只有暫停的 Space 的所有者才能重新啟動它。暫停時間不計費。