Transformers 文件

BARThez

Transformers

加入 Hugging Face 社群

並獲得增強的文件體驗

在模型、資料集和 Spaces 上進行協作

透過加速推理獲得更快的示例

切換文件主題

開始使用

BARThez

概述

BARThez 模型由 Moussa Kamal Eddine、Antoine J.-P. Tixier、Michalis Vazirgiannis 在 2020 年 10 月 23 日發表的論文 BARThez: a Skilled Pretrained French Sequence-to-Sequence Model 中提出。

論文摘要：

自監督學習驅動的歸納式遷移學習已經席捲了整個自然語言處理（NLP）領域，像 BERT 和 BART 這樣的模型在無數自然語言理解任務上創造了新的技術水平。儘管有一些顯著的例外，但現有的大多數模型和研究都是針對英語的。在這項工作中，我們介紹了 BARThez，這是（據我們所知）第一個針對法語的 BART 模型。BARThez 是在一個非常大的法語單語語料庫上預訓練的，該語料庫來自我們調整過的以往研究，以適應 BART 的擾動方案。與現有的基於 BERT 的法語模型（如 CamemBERT 和 FlauBERT）不同，BARThez 特別適合生成式任務，因為它不僅編碼器，而且解碼器也都經過了預訓練。除了 FLUE 基準測試中的判別性任務外，我們還在一個新的摘要資料集 OrangeSum 上評估了 BARThez，這個資料集是我們隨本文一同釋出的。我們還繼續在一個已經預訓練過的多語言 BART 上使用 BARThez 的語料庫進行預訓練，結果表明，由此產生的模型（我們稱之為 mBARTHez）相比原始的 BARThez 有顯著提升，並且與 CamemBERT 和 FlauBERT 相當或更優。

該模型由 moussakam 貢獻。作者的程式碼可以在這裡找到。

BARThez 的實現與 BART 相同，除了分詞部分。有關配置類及其引數的資訊，請參閱 BART 文件。BARThez 特定的分詞器文件如下。

資源

BARThez 可以在序列到序列任務上進行微調，方式與 BART 類似，請檢視：examples/pytorch/summarization/。

BarthezTokenizer

class transformers.BarthezTokenizer

< 來源 >

( vocab_file bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' sp_model_kwargs: typing.Optional[dict[str, typing.Any]] = None **kwargs )

引數

vocab_file (str) — SentencePiece 檔案（通常副檔名為 .spm），其中包含例項化分詞器所需的詞彙表。
bos_token (str, 可選, 預設為 "<s>") — 在預訓練期間使用的序列開始標記。可用作序列分類器標記。

使用特殊標記構建序列時，這不是用於序列開頭的標記。使用的標記是 cls_token。
eos_token (str, 可選, 預設為 "</s>") — 序列結束標記。

使用特殊標記構建序列時，這不是用於序列結尾的標記。使用的標記是 sep_token。
sep_token (str, 可選, 預設為 "</s>") — 分隔符標記，用於從多個序列構建一個序列，例如用於序列分類的兩個序列，或用於問答任務的文字和問題。它也用作使用特殊標記構建的序列的最後一個標記。
cls_token (str, 可選, 預設為 "<s>") — 分類器標記，用於進行序列分類（對整個序列進行分類，而不是逐個標記分類）。當使用特殊標記構建序列時，它是序列的第一個標記。
unk_token (str, 可選, 預設為 "<unk>") — 未知標記。不在詞彙表中的標記無法轉換為 ID，將被設定為此標記。
pad_token (str, 可選, 預設為 "<pad>") — 用於填充的標記，例如在批處理不同長度的序列時使用。
mask_token (str, 可選, 預設為 "<mask>") — 用於掩蓋值的標記。在使用掩碼語言建模訓練此模型時使用此標記。模型將嘗試預測此標記。
sp_model_kwargs (dict, 可選) — 將傳遞給 SentencePieceProcessor.__init__() 方法。SentencePiece 的 Python 包裝器可用於設定以下內容等：
- enable_sampling：啟用子詞正則化。
- nbest_size：unigram 的取樣引數。對 BPE-Dropout 無效。
  - nbest_size = {0,1}：不執行取樣。
  - nbest_size > 1：從 nbest_size 個結果中取樣。
  - nbest_size < 0：假設 nbest_size 是無限的，並使用前向過濾和後向取樣演算法從所有假設（格）中取樣。
- alpha：unigram 取樣的平滑引數，以及 BPE-dropout 合併操作的丟棄機率。
sp_model (SentencePieceProcessor) — 用於每次轉換（字串、標記和 ID）的 SentencePiece 處理器。

改編自 CamembertTokenizer 和 BartTokenizer。構建一個 BARThez 分詞器。基於 SentencePiece。

此分詞器繼承自 PreTrainedTokenizer，其中包含大部分主要方法。使用者應參考此超類以獲取有關這些方法的更多資訊。

build_inputs_with_special_tokens

< 來源 >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]

引數

token_ids_0 (list[int]) — 將新增特殊標記的 ID 列表。
token_ids_1 (list[int], 可選) — 可選的第二個 ID 列表，用於序列對。

list[int]

帶有適當特殊標記的輸入ID列表。

透過連線和新增特殊標記，從一個序列或一對序列為序列分類任務構建模型輸入。BARThez 序列具有以下格式：

單個序列：<s> X </s>
序列對：<s> A </s></s> B </s>

convert_tokens_to_string

< 來源 >

( tokens )

將標記序列（字串）轉換為單個字串。

create_token_type_ids_from_sequences

< 來源 >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]

引數

token_ids_0 (list[int]) — ID 列表。
token_ids_1 (list[int], 可選) — 可選的第二個 ID 列表，用於序列對。

list[int]

零列表。

從傳入的兩個序列建立一個掩碼，用於序列對分類任務。

get_special_tokens_mask

< 來源 >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) → list[int]

引數

token_ids_0 (list[int]) — ID 列表。
token_ids_1 (list[int], 可選) — 可選的第二個 ID 列表，用於序列對。
already_has_special_tokens (bool, 可選, 預設為 False) — 標記列表是否已經為模型格式化了特殊標記。

list[int]

一個範圍為 [0, 1] 的整數列表：1 表示特殊標記，0 表示序列標記。

從沒有新增特殊標記的標記列表中檢索序列ID。此方法在使用分詞器prepare_for_model方法新增特殊標記時呼叫。

BarthezTokenizerFast

class transformers.BarthezTokenizerFast

< 來源 >

( vocab_file = None tokenizer_file = None bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' **kwargs )

引數

vocab_file (str) — SentencePiece 檔案（通常副檔名為 .spm），其中包含例項化分詞器所需的詞彙表。
bos_token (str, 可選, 預設為 "<s>") — 在預訓練期間使用的序列開始標記。可用作序列分類器標記。

使用特殊標記構建序列時，這不是用於序列開頭的標記。使用的標記是 cls_token。
eos_token (str, 可選, 預設為 "</s>") — 序列結束標記。

使用特殊標記構建序列時，這不是用於序列結尾的標記。使用的標記是 sep_token。
sep_token (str, 可選, 預設為 "</s>") — 分隔符標記，用於從多個序列構建一個序列時，例如，在序列分類任務中的兩個序列，或在問答任務中的文字和問題。它也用作帶有特殊標記構建的序列的最後一個標記。
cls_token (str, 可選, 預設為 "<s>") — 分類符標記，用於進行序列分類（對整個序列進行分類，而不是按標記進行分類）。當使用特殊標記構建序列時，它是序列的第一個標記。
unk_token (str, 可選, 預設為 "<unk>") — 未知標記。詞彙表中不存在的標記無法轉換為 ID，將被設定為此標記。
pad_token (str, 可選, 預設為 "<pad>") — 用於填充的標記，例如在批處理不同長度的序列時使用。
mask_token (str, 可選, 預設為 "<mask>") — 用於掩蓋值的標記。在使用掩碼語言建模訓練此模型時使用此標記。這是模型將嘗試預測的標記。
additional_special_tokens (list[str], 可選, 預設為 ["<s>NOTUSED", "</s>NOTUSED"]) — 分詞器使用的附加特殊標記。