自動語音識別

自動語音識別（ASR）將語音訊號轉換為文字，將一系列音訊輸入對映到文字輸出。像 Siri 和 Alexa 這樣的虛擬助手每天都使用 ASR 模型來幫助使用者，還有許多其他有用的面向使用者的應用程式，如會議期間的即時字幕和筆記。

本指南將向您展示如何：

在 MInDS-14 資料集上微調 Wav2Vec2，將音訊轉錄為文字。
使用您的微調模型進行推理。

要檢視與此任務相容的所有架構和檢查點，我們建議檢視任務頁面

在開始之前，請確保您已安裝所有必要的庫

pip install transformers datasets evaluate jiwer

我們鼓勵您登入 Hugging Face 賬戶，以便您可以上傳並與社群分享您的模型。出現提示時，輸入您的令牌進行登入

>>> from huggingface_hub import notebook_login

>>> notebook_login()

載入 MInDS-14 資料集

首先從 🤗 Datasets 庫中載入 MInDS-14 資料集的一個較小子集。這將讓你有機會進行實驗並確保一切正常，然後再花更多時間在完整資料集上進行訓練。

>>> from datasets import load_dataset, Audio

>>> minds = load_dataset("PolyAI/minds14", name="en-US", split="train[:100]")

使用 ~Dataset.train_test_split 方法將資料集的 train 拆分為訓練集和測試集。

>>> minds = minds.train_test_split(test_size=0.2)

然後檢視資料集。

>>> minds
DatasetDict({
    train: Dataset({
        features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
        num_rows: 16
    })
    test: Dataset({
        features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
        num_rows: 4
    })
})

雖然資料集包含許多有用的資訊，例如 lang_id 和 english_transcription，但本指南重點關注 audio 和 transcription。使用 remove_columns 方法刪除其他列。

>>> minds = minds.remove_columns(["english_transcription", "intent_class", "lang_id"])

再次回顧示例。

>>> minds["train"][0]
{'audio': {'array': array([-0.00024414,  0.        ,  0.        , ...,  0.00024414,
          0.00024414,  0.00024414], dtype=float32),
  'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602ba9e2963e11ccd901cd4f.wav',
  'sampling_rate': 8000},
 'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602ba9e2963e11ccd901cd4f.wav',
 'transcription': "hi I'm trying to use the banking app on my phone and currently my checking and savings account balance is not refreshing"}

有兩個欄位：

audio：一個用於載入和重新取樣音訊檔案的1維 array。
transcription：目標文字。

預處理

下一步是載入 Wav2Vec2 處理器來處理音訊訊號。

>>> from transformers import AutoProcessor

>>> processor = AutoProcessor.from_pretrained("facebook/wav2vec2-base")

MInDS-14 資料集的取樣率為 8000Hz（你可以在其資料集卡片中找到此資訊），這意味著你需要將資料集重新取樣到 16000Hz 才能使用預訓練的 Wav2Vec2 模型。

>>> minds = minds.cast_column("audio", Audio(sampling_rate=16_000))
>>> minds["train"][0]
{'audio': {'array': array([-2.38064706e-04, -1.58618059e-04, -5.43987835e-06, ...,
          2.78103951e-04,  2.38446111e-04,  1.18740834e-04], dtype=float32),
  'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602ba9e2963e11ccd901cd4f.wav',
  'sampling_rate': 16000},
 'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602ba9e2963e11ccd901cd4f.wav',
 'transcription': "hi I'm trying to use the banking app on my phone and currently my checking and savings account balance is not refreshing"}

正如你在上面的 transcription 中看到的，文字包含大小寫混合的字元。Wav2Vec2 分詞器僅使用大寫字元進行訓練，因此你需要確保文字與分詞器的詞彙表匹配。

>>> def uppercase(example):
...     return {"transcription": example["transcription"].upper()}


>>> minds = minds.map(uppercase)

現在建立一個預處理函式，它將：

呼叫 audio 列以載入和重新取樣音訊檔案。
從音訊檔案中提取 input_values 並使用處理器對 transcription 列進行分詞。

>>> def prepare_dataset(batch):
...     audio = batch["audio"]
...     batch = processor(audio["array"], sampling_rate=audio["sampling_rate"], text=batch["transcription"])
...     batch["input_length"] = len(batch["input_values"][0])
...     return batch

要將預處理函式應用於整個資料集，請使用 🤗 Datasets 的 map 函式。你可以透過增加 num_proc 引數的程序數來加快 map 的速度。使用 remove_columns 方法刪除不需要的列。

>>> encoded_minds = minds.map(prepare_dataset, remove_columns=minds.column_names["train"], num_proc=4)

🤗 Transformers 沒有 ASR 的資料整理器，因此你需要調整 DataCollatorWithPadding 來建立一批示例。它還將動態地將你的文字和標籤填充到其批次中最長元素的長度（而不是整個資料集），使它們具有統一的長度。雖然可以在 tokenizer 函式中透過設定 padding=True 來填充文字，但動態填充效率更高。

與其他資料整理器不同，這個特定的資料整理器需要對 input_values 和 labels 應用不同的填充方法。

>>> import torch

>>> from dataclasses import dataclass, field
>>> from typing import Any, Dict, List, Optional, Union


>>> @dataclass
... class DataCollatorCTCWithPadding:
...     processor: AutoProcessor
...     padding: Union[bool, str] = "longest"

...     def __call__(self, features: list[dict[str, Union[list[int], torch.Tensor]]]) -> dict[str, torch.Tensor]:
...         # split inputs and labels since they have to be of different lengths and need
...         # different padding methods
...         input_features = [{"input_values": feature["input_values"][0]} for feature in features]
...         label_features = [{"input_ids": feature["labels"]} for feature in features]

...         batch = self.processor.pad(input_features, padding=self.padding, return_tensors="pt")

...         labels_batch = self.processor.pad(labels=label_features, padding=self.padding, return_tensors="pt")

...         # replace padding with -100 to ignore loss correctly
...         labels = labels_batch["input_ids"].masked_fill(labels_batch.attention_mask.ne(1), -100)

...         batch["labels"] = labels

...         return batch

現在例項化你的 DataCollatorForCTCWithPadding

>>> data_collator = DataCollatorCTCWithPadding(processor=processor, padding="longest")

評估

在訓練期間包含一個指標通常有助於評估模型的效能。你可以使用 🤗 Evaluate 庫快速載入一個評估方法。對於此任務，載入詞錯誤率 (WER) 指標（有關載入和計算指標的更多資訊，請參閱 🤗 Evaluate 快速入門）

>>> import evaluate

>>> wer = evaluate.load("wer")

然後建立一個函式，將您的預測和標籤傳遞給 compute 以計算 WER。

>>> import numpy as np


>>> def compute_metrics(pred):
...     pred_logits = pred.predictions
...     pred_ids = np.argmax(pred_logits, axis=-1)

...     pred.label_ids[pred.label_ids == -100] = processor.tokenizer.pad_token_id

...     pred_str = processor.batch_decode(pred_ids)
...     label_str = processor.batch_decode(pred.label_ids, group_tokens=False)

...     wer = wer.compute(predictions=pred_str, references=label_str)

...     return {"wer": wer}

您的 compute_metrics 函式現在可以使用了，您將在設定訓練時再次用到它。

訓練

Pytorch

隱藏 Pytorch 內容

如果您不熟悉如何使用 Trainer 對模型進行微調，請參閱此處的基本教程！

現在你已準備好開始訓練模型！使用 AutoModelForCTC 載入 Wav2Vec2。使用 ctc_loss_reduction 引數指定要應用的縮減方法。通常，使用平均值而不是預設求和會更好。

>>> from transformers import AutoModelForCTC, TrainingArguments, Trainer

>>> model = AutoModelForCTC.from_pretrained(
...     "facebook/wav2vec2-base",
...     ctc_loss_reduction="mean",
...     pad_token_id=processor.tokenizer.pad_token_id,
... )

此時，只剩下三個步驟

在 TrainingArguments 中定義你的訓練超引數。唯一必需的引數是 output_dir，它指定了模型儲存的位置。透過設定 push_to_hub=True，你將把這個模型推送到 Hub（你需要登入 Hugging Face 才能上傳你的模型）。在每個 epoch 結束時，Trainer 將評估 WER 並儲存訓練檢查點。
將訓練引數與模型、資料集、分詞器、資料整理器和 compute_metrics 函式一起傳遞給 Trainer。
呼叫 train() 來微調你的模型。

>>> training_args = TrainingArguments(
...     output_dir="my_awesome_asr_mind_model",
...     per_device_train_batch_size=8,
...     gradient_accumulation_steps=2,
...     learning_rate=1e-5,
...     warmup_steps=500,
...     max_steps=2000,
...     gradient_checkpointing=True,
...     fp16=True,
...     group_by_length=True,
...     eval_strategy="steps",
...     per_device_eval_batch_size=8,
...     save_steps=1000,
...     eval_steps=1000,
...     logging_steps=25,
...     load_best_model_at_end=True,
...     metric_for_best_model="wer",
...     greater_is_better=False,
...     push_to_hub=True,
... )

>>> trainer = Trainer(
...     model=model,
...     args=training_args,
...     train_dataset=encoded_minds["train"],
...     eval_dataset=encoded_minds["test"],
...     processing_class=processor,
...     data_collator=data_collator,
...     compute_metrics=compute_metrics,
... )

>>> trainer.train()

訓練完成後，使用 push_to_hub() 方法將您的模型分享到 Hub，以便所有人都可以訪問。

>>> trainer.push_to_hub()

有關如何微調自動語音識別模型的更深入示例，請參閱這篇關於英語 ASR 的部落格文章，以及這篇關於多語言 ASR 的文章。

推理

太棒了，現在您已經微調了一個模型，您可以將其用於推理了！

載入要進行推理的音訊檔案。如果需要，請記住重新取樣音訊檔案的取樣率以匹配模型的取樣率！

>>> from datasets import load_dataset, Audio

>>> dataset = load_dataset("PolyAI/minds14", "en-US", split="train")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> audio_file = dataset[0]["audio"]["path"]

嘗試使用微調模型進行推理的最簡單方法是在 pipeline() 中使用它。例項化一個用於自動語音識別的 pipeline，並將您的音訊檔案傳遞給它。

>>> from transformers import pipeline

>>> transcriber = pipeline("automatic-speech-recognition", model="stevhliu/my_awesome_asr_minds_model")
>>> transcriber(audio_file)
{'text': 'I WOUD LIKE O SET UP JOINT ACOUNT WTH Y PARTNER'}

轉錄效果不錯，但還可以更好！嘗試在更多示例上微調模型以獲得更好的結果！

如果需要，您也可以手動複製 pipeline 的結果

Pytorch

隱藏 Pytorch 內容

載入一個處理器來預處理音訊檔案和轉錄，並以 PyTorch 張量形式返回 input。

>>> from transformers import AutoProcessor

>>> processor = AutoProcessor.from_pretrained("stevhliu/my_awesome_asr_mind_model")
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

將您的輸入傳遞給模型並返回 logits

>>> from transformers import AutoModelForCTC

>>> model = AutoModelForCTC.from_pretrained("stevhliu/my_awesome_asr_mind_model")
>>> with torch.no_grad():
...     logits = model(**inputs).logits

獲取機率最高的預測 input_ids，並使用處理器將預測的 input_ids 解碼迴文本。

>>> import torch

>>> predicted_ids = torch.argmax(logits, dim=-1)
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription
['I WOUL LIKE O SET UP JOINT ACOUNT WTH Y PARTNER']

< > 在 GitHub 上更新