Transformers

加入 Hugging Face 社群

並獲得增強的文件體驗

在模型、資料集和 Spaces 上進行協作

透過加速推理獲得更快的示例

切換文件主題

開始使用

BARTpho

概述

BARTpho 模型由 Nguyen Luong Tran、Duong Minh Le 和 Dat Quoc Nguyen 在論文 BARTpho: Pre-trained Sequence-to-Sequence Models for Vietnamese 中提出。

論文摘要如下：

我們提出了 BARTpho 的兩個版本——BARTpho_word 和 BARTpho_syllable——這是首個為越南語預訓練的公開大規模單語序列到序列模型。我們的 BARTpho 使用了序列到序列去噪模型 BART 的“大型”架構和預訓練方案，因此特別適用於生成式自然語言處理（NLP）任務。在越南語文字摘要的下游任務上的實驗表明，在自動和人工評估中，我們的 BARTpho 均優於強基線模型 mBART，並提升了當前最佳水平。我們釋出 BARTpho 是為了促進越南語生成式 NLP 任務的未來研究和應用。

此模型由 dqnguyen 貢獻。原始程式碼可以在這裡找到。

使用示例

>>> import torch
>>> from transformers import AutoModel, AutoTokenizer

>>> bartpho = AutoModel.from_pretrained("vinai/bartpho-syllable")

>>> tokenizer = AutoTokenizer.from_pretrained("vinai/bartpho-syllable")

>>> line = "Chúng tôi là những nghiên cứu viên."

>>> input_ids = tokenizer(line, return_tensors="pt")

>>> with torch.no_grad():
...     features = bartpho(**input_ids)  # Models outputs are now tuples

>>> # With TensorFlow 2.0+:
>>> from transformers import TFAutoModel

>>> bartpho = TFAutoModel.from_pretrained("vinai/bartpho-syllable")
>>> input_ids = tokenizer(line, return_tensors="tf")
>>> features = bartpho(**input_ids)

使用技巧

BARTpho 遵循 mBART，使用了 BART 的“大型”架構，並在編碼器和解碼器的頂部增加了一個層歸一化層。因此，在將 BART 文件中的使用示例應用於 BARTpho 時，應將 BART 專用的類替換為 mBART 專用的對應類。例如：

>>> from transformers import MBartForConditionalGeneration

>>> bartpho = MBartForConditionalGeneration.from_pretrained("vinai/bartpho-syllable")
>>> TXT = "Chúng tôi là <mask> nghiên cứu viên."
>>> input_ids = tokenizer([TXT], return_tensors="pt")["input_ids"]
>>> logits = bartpho(input_ids).logits
>>> masked_index = (input_ids[0] == tokenizer.mask_token_id).nonzero().item()
>>> probs = logits[0, masked_index].softmax(dim=0)
>>> values, predictions = probs.topk(5)
>>> print(tokenizer.decode(predictions).split())

此實現僅用於分詞：“monolingual_vocab_file” 包含從預訓練的 SentencePiece 模型 “vocab_file”（可從多語言 XLM-RoBERTa 獲取）中提取的越南語專用型別。其他語言如果也使用這個預訓練的多語言 SentencePiece 模型 “vocab_file” 進行子詞分割，可以重用 BartphoTokenizer，並提供其自己語言專用的 “monolingual_vocab_file”。

BartphoTokenizer

class transformers.BartphoTokenizer

< 源 >

( vocab_file monolingual_vocab_file bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' sp_model_kwargs: typing.Optional[dict[str, typing.Any]] = None **kwargs )

引數

vocab_file (str) — 詞彙表文件的路徑。該詞彙表是可從多語言 XLM-RoBERTa 獲取的預訓練 SentencePiece 模型，也在 mBART 中使用，包含 25 萬種型別。
monolingual_vocab_file (str) — 單語詞彙表文件的路徑。該單語詞彙表包含從包含 25 萬種型別的多語言詞彙表 vocab_file 中提取的越南語專用型別。
bos_token (str, 可選, 預設為 "<s>") — 預訓練期間使用的序列開始標記。可用作序列分類器標記。

在使用特殊標記構建序列時，這不是用於序列開始的標記。使用的標記是 `cls_token`。
eos_token (str, 可選, 預設為 "</s>") — 序列結束標記。

在使用特殊標記構建序列時，這不是用於序列結束的標記。使用的標記是 `sep_token`。
sep_token (str, 可選, 預設為 "</s>") — 分隔符標記，用於從多個序列構建一個序列時，例如用於序列分類的兩個序列，或用於問答的文字和問題。它也用作使用特殊標記構建的序列的最後一個標記。
cls_token (str, 可選, 預設為 "<s>") — 分類器標記，用於進行序列分類（對整個序列進行分類，而不是逐個標記分類）。當使用特殊標記構建序列時，它是序列的第一個標記。
unk_token (str, 可選, 預設為 "<unk>") — 未知標記。不在詞彙表中的標記無法轉換為 ID，將被設定為此標記。
pad_token (str, 可選, 預設為 "<pad>") — 用於填充的標記，例如在批處理不同長度的序列時使用。
mask_token (str, 可選, 預設為 "<mask>") — 用於掩蓋值的標記。這是使用掩碼語言建模訓練此模型時使用的標記。這是模型將嘗試預測的標記。
sp_model_kwargs (dict, 可選) — 將傳遞給 `SentencePieceProcessor.__init__()` 方法。可使用 SentencePiece 的 Python 包裝器來設定以下內容：
- `enable_sampling`: 啟用子詞正則化。
- `nbest_size`: unigram 的取樣引數。對 BPE-Dropout 無效。
  - `nbest_size = {0,1}`：不執行取樣。
  - `nbest_size > 1`：從 nbest_size 個結果中取樣。
  - `nbest_size < 0`：假設 nbest_size 是無限的，並使用前向過濾和後向取樣演算法從所有假設（格）中取樣。
- `alpha`: unigram 取樣的平滑引數，以及 BPE-dropout 的合併操作的丟棄機率。
sp_model (SentencePieceProcessor) — 用於每次轉換（字串、標記和 ID）的 *SentencePiece* 處理器。