建立自定義推理處理程式

Hugging Face 端點支援所有 Transformers 和 Sentence-Transformers 任務，並可支援自定義任務，包括自定義預處理和後處理。自定義可透過 Hugging Face Hub 上模型儲存庫中的 handler.py 檔案完成。

該 handler.py 需要實現 EndpointHandler 類，其中包含 __init__ 和 __call__ 方法。

如果要使用自定義依賴項，例如 optimum，則必須在 requirements.txt 中列出這些依賴項，如上文“新增自定義依賴項”中所述。

自定義處理程式示例

Hugging Face Hub 上已有多個公開示例，您可以從中汲取靈感或直接使用。這些儲存庫標有 endpoints-template 標籤，可透過此連結找到。

包含的示例包括：

教程

在建立自定義處理程式之前，您需要一個包含模型權重的 Hugging Face 模型儲存庫和一個具有 *寫入* 訪問許可權的訪問令牌。要查詢、建立和管理訪問令牌，請點選此處。

如果您想為社群中的現有模型編寫自定義處理程式，可以使用 repo_duplicator 建立儲存庫分支。

程式碼也可以在此 Notebook 中找到。

您也可以在此處搜尋已有的自定義處理程式：https://huggingface.co/models?other=endpoints-template

1. 設定開發環境

開發自定義處理程式最簡單的方法是設定一個本地開發環境，在那裡實現、測試和迭代，然後將其部署為推理端點。第一步是安裝所有所需的開發依賴項。*建立自定義處理程式所需，推理不需要*

# install git-lfs to interact with the repository
sudo apt-get update
sudo apt-get install git-lfs
# install transformers (not needed since it is installed by default in the container)
pip install transformers[sklearn,sentencepiece,audio,vision]

安裝完庫後，我們將把儲存庫克隆到我們的開發環境。

在本教程中，我們將使用 philschmid/distilbert-base-uncased-emotion。

git lfs install
git clone https://huggingface.co/philschmid/distilbert-base-uncased-emotion

為了能夠稍後推送我們的模型倉庫，您需要登入到我們的 HF 賬戶。這可以透過使用 huggingface-cli 完成。

注意：請務必也配置 git config。

# setup cli with token
huggingface-cli login
git config --global credential.helper store

2. 建立 EndpointHandler

設定好環境後，我們可以開始建立自定義處理程式。自定義處理程式是一個 Python 類 (EndpointHandler)，位於儲存庫中的 handler.py 檔案內。EndpointHandler 需要實現 __init__ 和 __call__ 方法。

__init__ 方法將在端點啟動時呼叫，並將接收 1 個引數，即模型權重路徑的字串。這允許您正確載入模型。
__call__ 方法將在每次請求時被呼叫，並接收一個字典，其中包含您的請求正文作為 Python 字典。它將始終包含 inputs 鍵。

第一步是在我們儲存庫的本地克隆中建立 handler.py。

!cd distilbert-base-uncased-emotion && touch handler.py

在其中，您將使用 __init__ 和 __call__ 方法定義您的 EndpointHandler 類。

from typing import Dict, List, Any

class EndpointHandler():
    def __init__(self, path=""):
        # Preload all the elements you are going to need at inference.
        # pseudo:
        # self.model= load_model(path)

    def __call__(self, data: Dict[str, Any]) -> List[Dict[str, Any]]:
        """
       data args:
            inputs (:obj: `str` | `PIL.Image` | `np.array`)
            kwargs
      Return:
            A :obj:`list` | `dict`: will be serialized and returned
        """

        # pseudo
        # self.model(input)

3. 自定義 EndpointHandler

現在，您可以將您想要在初始化或推理期間使用的所有自定義邏輯新增到您的自定義端點。如果您需要一些靈感，可以在 Hub 上找到多個自定義處理程式。在我們的示例中，我們將根據額外的負載資訊新增一個自定義條件。

我們在教程中使用的模型經過微調，可以檢測情緒。我們將為日期新增一個額外的負載欄位，並將使用一個外部包來檢查它是否是假期，從而新增一個條件：當輸入日期是假期時，模型返回“happy”——因為假期時每個人都很開心 🌴🎉😆

首先，我們需要建立一個新的 requirements.txt 並新增我們的假期檢測包，並確保我們也在開發環境中安裝了它。

!echo "holidays" >> requirements.txt
!pip install -r requirements.txt

接下來，我們必須調整我們的 handler.py 和 EndpointHandler 以符合我們的條件。

from typing import Dict, List, Any
from transformers import pipeline
import holidays

class EndpointHandler():
    def __init__(self, path=""):
        self.pipeline = pipeline("text-classification",model=path)
        self.holidays = holidays.US()

    def __call__(self, data: Dict[str, Any]) -> List[Dict[str, Any]]:
        """
       data args:
            inputs (:obj: `str`)
            date (:obj: `str`)
      Return:
            A :obj:`list` | `dict`: will be serialized and returned
        """
        # get inputs
        inputs = data.pop("inputs",data)
        date = data.pop("date", None)

        # check if date exists and if it is a holiday
        if date is not None and date in self.holidays:
          return [{"label": "happy", "score": 1}]


        # run normal prediction
        prediction = self.pipeline(inputs)
        return prediction

4. 測試 EndpointHandler

為了測試我們的 EndpointHandler，我們可以簡單地匯入、初始化和測試它。因此，我們只需要準備一個示例負載。

from handler import EndpointHandler

# init handler
my_handler = EndpointHandler(path=".")

# prepare sample payload
non_holiday_payload = {"inputs": "I am quite excited how this will turn out", "date": "2022-08-08"}
holiday_payload = {"inputs": "Today is a though day", "date": "2022-07-04"}

# test the handler
non_holiday_pred=my_handler(non_holiday_payload)
holiday_payload=my_handler(holiday_payload)

# show results
print("non_holiday_pred", non_holiday_pred)
print("holiday_payload", holiday_payload)

# non_holiday_pred [{'label': 'joy', 'score': 0.9985942244529724}]
# holiday_payload [{'label': 'happy', 'score': 1}]

它奏效了！🎉

注意：如果您使用的是 Notebook，當您更改 handler.py 時，可能需要重新啟動核心，因為它不會自動重新匯入。

5. 將自定義處理程式推送到您的儲存庫

成功在本地測試處理程式後，您可以使用基本 git 命令將其推送到您的儲存庫。

# add all our new files
!git add *
# commit our files
!git commit -m "add custom handler"
# push the files to the hub
!git push

現在，您應該在“檔案和版本”選項卡中看到您的儲存庫中的 handler.py 和 requirements.txt。

6. 將您的自定義處理程式部署為推理端點

最後一步是將您的自定義處理程式部署為推理端點。您可以像部署常規推理端點一樣部署您的自定義處理程式。新增您的儲存庫，選擇您的雲和區域，您的例項和安全設定，然後部署。

建立端點時，推理端點服務將檢查是否有可用且有效的 handler.py，並將其用於處理請求，無論您選擇哪個“任務”。

注意：在您的推理端點儀表板中，此端點的任務現在應設定為“自定義”

< > 在 GitHub 上更新

推理端點（專用）