LLM 課程文件

引言

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

簡介

歡迎來到 Hugging Face 課程!本簡介將指導您完成工作環境的設定。如果您剛開始學習本課程,我們建議您先閱讀第 1 章,然後再回來設定您的環境,以便您可以親自嘗試程式碼。

我們在本課程中將要使用的所有庫都可以作為 Python 包使用,因此在這裡我們將向您展示如何設定 Python 環境並安裝您需要的特定庫。

我們將介紹兩種設定工作環境的方法,使用 Colab notebook 或 Python 虛擬環境。請隨意選擇最適合您的方式。對於初學者,我們強烈建議您從使用 Colab notebook 開始。

請注意,我們將不涉及 Windows 系統。如果您在 Windows 上執行,我們建議您使用 Colab notebook 繼續學習。如果您使用的是 Linux 發行版或 macOS,您可以使用此處描述的任何一種方法。

本課程的大部分內容都依賴於您擁有一個 Hugging Face 帳戶。我們建議您現在建立一個:建立一個帳戶

使用 Google Colab notebook

使用 Colab notebook 是最簡單的設定;在瀏覽器中啟動一個 notebook,然後直接開始編碼!

如果您不熟悉 Colab,我們建議您先閱讀介紹。Colab 允許您使用一些加速硬體,如 GPU 或 TPU,並且對於較小的工作負載是免費的。

一旦您習慣了在 Colab 中操作,就可以建立一個新的 notebook 並開始設定了

An empty colab notebook

下一步是安裝我們將在本課程中使用的庫。我們將使用 pip 進行安裝,它是 Python 的包管理器。在 notebook 中,您可以透過在系統命令前加上 ! 字元來執行它們,因此您可以按如下方式安裝 🤗 Transformers 庫

!pip install transformers

您可以透過在 Python 執行時匯入它來確保該包已正確安裝

import transformers
A gif showing the result of the two commands above: installation and import

這將安裝一個非常輕量級的 🤗 Transformers 版本。特別是,沒有安裝特定的機器學習框架(如 PyTorch 或 TensorFlow)。由於我們將使用該庫的許多不同功能,我們建議安裝開發版本,它附帶了幾乎任何可以想象的用例所需的所有依賴項

!pip install transformers[sentencepiece]

這會花費一些時間,但之後您就可以為課程的其餘部分做好準備了!

使用 Python 虛擬環境

如果您更喜歡使用 Python 虛擬環境,第一步是在您的系統上安裝 Python。我們建議您按照本指南開始。

一旦您安裝了 Python,您應該能夠在終端中執行 Python 命令。您可以先執行以下命令以確保它已正確安裝,然後再繼續下一步:python --version。這應該會打印出您系統上現在可用的 Python 版本。

在終端中執行 Python 命令時,例如 python --version,您應該將執行命令的程式視為系統上的“主” Python。我們建議保持此主安裝沒有任何包,並使用它為您工作的每個應用程式建立獨立的環境——這樣,每個應用程式都可以有自己的依賴項和包,您就不需要擔心與其他應用程式的潛在相容性問題。

在 Python 中,這是透過虛擬環境完成的,它們是獨立的目錄樹,每個目錄樹都包含一個具有特定 Python 版本的 Python 安裝以及應用程式需要的所有包。建立這樣的虛擬環境可以使用多種不同的工具,但我們將使用官方的 Python 包,它叫做 venv

首先,建立您希望應用程式所在的目錄——例如,您可能想在主目錄的根目錄下建立一個名為 transformers-course 的新目錄

mkdir ~/transformers-course
cd ~/transformers-course

在此目錄中,使用 Python venv 模組建立一個虛擬環境

python -m venv .env

您現在應該在原本為空的資料夾中有一個名為 .env 的目錄

ls -a
.      ..    .env

您可以使用 activatedeactivate 指令碼進入和退出虛擬環境

# Activate the virtual environment
source .env/bin/activate

# Deactivate the virtual environment
deactivate

您可以透過執行 which python 命令來確保環境已啟用:如果它指向虛擬環境,那麼您已經成功激活了它!

which python
/home/<user>/transformers-course/.env/bin/python

安裝依賴項

與上一節使用 Google Colab 例項一樣,您現在需要安裝繼續所需的包。同樣,您可以使用 pip 包管理器安裝 🤗 Transformers 的開發版本

pip install "transformers[sentencepiece]"

現在您已經全部設定好了,準備開始吧!

< > 在 GitHub 上更新

© . This site is unofficial and not affiliated with Hugging Face, Inc.