Transformers 文件
BERTweet
並獲得增強的文件體驗
開始使用
BERTweet
BERTweet
BERTweet 與 BERT-base 共享相同的架構，但它像 RoBERTa 一樣在英文推文上進行預訓練。它在與推文相關的任務上表現非常好，例如詞性標註、命名實體識別和文字分類。
你可以在 VinAI Research 組織下找到所有原始的 BERTweet 檢查點。
有關如何將 BERTweet 應用於不同語言任務的更多示例，請參閱 BERT 文件。
以下示例演示瞭如何使用 Pipeline、AutoModel 和命令列預測 <mask> 標記。
import torch
from transformers import pipeline
pipeline = pipeline(
task="fill-mask",
model="vinai/bertweet-base",
torch_dtype=torch.float16,
device=0
)
pipeline("Plants create <mask> through a process known as photosynthesis.")注意
- 使用 AutoTokenizer 或 BertweetTokenizer，因為它預載入了一個適應推文特定標記（如主題標籤 (#)、提及 (@)、表情符號和常用縮寫）的自定義詞彙表。請確保同時安裝 emoji 庫。
- 輸入應在右側進行填充 (
padding="max_length")，因為 BERT 使用絕對位置嵌入。
BertweetTokenizer
class transformers.BertweetTokenizer
< 來源 >( vocab_file merges_file normalization = False bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' **kwargs )
引數
- vocab_file (
str) — 詞彙表文件的路徑。 - merges_file (
str) — 合併檔案的路徑。 - normalization (
bool, *可選*, 預設為 `False`) — 是否應用規範化預處理。 - bos_token (
str, *可選*, 預設為 `"<s>"`) — 序列開始標記，在預訓練期間使用。可用作序列分類器標記。使用特殊標記構建序列時，這不是用於序列開始的標記。使用的標記是
cls_token。 - eos_token (
str, *可選*, 預設為 `"</s>"`) — 序列結束標記。使用特殊標記構建序列時，這不是用於序列結束的標記。使用的標記是
sep_token。 - sep_token (
str, *可選*, 預設為 `"</s>"`) — 分隔符標記，用於從多個序列構建一個序列時，例如用於序列分類的兩個序列，或用於問答的文字和問題。它也用作使用特殊標記構建的序列的最後一個標記。 - cls_token (
str, *可選*, 預設為 `"<s>"`) — 分類器標記，用於進行序列分類（對整個序列進行分類，而不是逐個標記分類）。當使用特殊標記構建時，它是序列的第一個標記。 - unk_token (
str, *可選*, 預設為 `"<unk>"`) — 未知標記。不在詞彙表中的標記無法轉換為 ID，而是設定為此標記。 - pad_token (
str, *可選*, 預設為 `"<pad>"`) — 用於填充的標記，例如在批處理不同長度的序列時。 - mask_token (
str, *可選*, 預設為 `"<mask>"`) — 用於掩碼值的標記。這是使用掩碼語言建模訓練此模型時使用的標記。這是模型將嘗試預測的標記。
構建一個 BERTweet 分詞器，使用位元組對編碼 (Byte-Pair-Encoding)。
此分詞器繼承自 PreTrainedTokenizer，其中包含大部分主要方法。使用者應參考此超類以獲取有關這些方法的更多資訊。
從文字檔案中載入一個預先存在的字典，並將其符號新增到此例項中。
build_inputs_with_special_tokens
< 來源 >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
透過連線和新增特殊標記，從一個序列或一對序列為序列分類任務構建模型輸入。BERTweet 序列具有以下格式：
- 單個序列：
<s> X </s> - 序列對：
<s> A </s></s> B </s>
將標記序列（字串）轉換為單個字串。
create_token_type_ids_from_sequences
< 來源 >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
從傳入的兩個序列中建立一個掩碼，用於序列對分類任務。BERTweet 不使用標記型別 ID，因此返回一個零列表。
get_special_tokens_mask
< 來源 >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) → list[int]
從沒有新增特殊標記的標記列表中檢索序列ID。此方法在使用分詞器prepare_for_model方法新增特殊標記時呼叫。
規範化 Tweet 中的標記
規範化原始 Tweet