Hugging Face 的 LOGO

Transformers 文件

CPMAnt

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

CPMAnt

PyTorch

概述

CPM-Ant 是一個開源的中文預訓練語言模型（PLM），擁有 100 億引數。它也是 CPM-Live 即時訓練過程的第一個里程碑。其訓練過程具有成本效益和環境友好性。CPM-Ant 在 CUGE 基準測試上透過增量微調也取得了可喜的成果。除了完整的模型，我們還提供了各種壓縮版本，以滿足不同硬體配置的需求。檢視更多

此模型由 OpenBMB 貢獻。原始程式碼可以在這裡找到。

資源

CpmAntConfig

class transformers.CpmAntConfig

< >

( vocab_size: int = 30720 hidden_size: int = 4096 num_attention_heads: int = 32 dim_head: int = 128 dim_ff: int = 10240 num_hidden_layers: int = 48 dropout_p: int = 0.0 position_bias_num_buckets: int = 512 position_bias_max_distance: int = 2048 eps: int = 1e-06 init_std: float = 1.0 prompt_types: int = 32 prompt_length: int = 32 segment_types: int = 32 use_cache: bool = True **kwargs )

引數

  • vocab_size (int, 可選, 預設為 30720) — CPMAnt 模型的詞彙表大小。定義了在呼叫 CpmAntModel 時傳遞的 `input` 可以表示的不同標記的數量。
  • hidden_size (int, 可選, 預設為 4096) — 編碼器層的維度。
  • num_attention_heads (int, 可選, 預設為 32) — Transformer 編碼器中的注意力頭數量。
  • dim_head (int, 可選, 預設為 128) — Transformer 編碼器中每個注意力層的注意力頭維度。
  • dim_ff (int, 可選, 預設為 10240) — Transformer 編碼器中“中間層”（即前饋層）的維度。
  • num_hidden_layers (int, 可選, 預設為 48) — Transformer 編碼器的層數。
  • dropout_p (float, 可選, 預設為 0.0) — 嵌入層和編碼器中所有全連線層的丟棄機率。
  • position_bias_num_buckets (int, 可選, 預設為 512) — 位置偏置桶的數量。
  • position_bias_max_distance (int, 可選, 預設為 2048) — 該模型可能使用的最大序列長度。通常設定為一個較大的值以備不時之需（例如 512、1024 或 2048）。
  • eps (float, 可選, 預設為 1e-06) — 層歸一化層使用的 epsilon 值。
  • init_std (float, 可選, 預設為 1.0) — 使用標準差為 init_std 初始化引數。
  • prompt_types (int, 可選, 預設為 32) — 提示的型別。
  • prompt_length (int, 可選, 預設為 32) — 提示的長度。
  • segment_types (int, 可選, 預設為 32) — 段落的型別。
  • use_cache (bool, 可選, 預設為 True) — 是否使用快取。

這是一個配置類，用於儲存 CpmAntModel 的配置。它用於根據指定的引數例項化一個 CPMAnt 模型，定義模型架構。使用預設值例項化配置將產生與 CPMAnt openbmb/cpm-ant-10b 架構類似的配置。

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。

示例

>>> from transformers import CpmAntModel, CpmAntConfig

>>> # Initializing a CPMAnt cpm-ant-10b style configuration
>>> configuration = CpmAntConfig()

>>> # Initializing a model from the cpm-ant-10b style configuration
>>> model = CpmAntModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

CpmAntTokenizer

class transformers.CpmAntTokenizer

< >

( vocab_file bod_token = '<d>' eod_token = '</d>' bos_token = '<s>' eos_token = '</s>' pad_token = '<pad>' unk_token = '<unk>' line_token = '</n>' space_token = '</_>' padding_side = 'left' **kwargs )

引數

  • vocab_file (str) — 詞彙表文件的路徑。
  • bod_token (str, 可選, 預設為 "<d>") — 文件開始標記。
  • eod_token (str, 可選, 預設為 "</d>") — 文件結束標記。
  • bos_token (str, 可選, 預設為 "<s>") — 序列開始標記。
  • eos_token (str, 可選, 預設為 "</s>") — 序列結束標記。
  • pad_token (str, 可選, 預設為 "<pad>") — 用於填充的標記。
  • unk_token (str, 可選, 預設為 "<unk>") — 未知標記。
  • line_token (str, 可選, 預設為 "</n>") — 換行符標記。
  • space_token (str, 可選, 預設為 "</_>") — 空格標記。

構建一個 CPMAnt 分詞器。基於位元組級位元組對編碼（Byte-Pair-Encoding）。

build_inputs_with_special_tokens

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]

引數

  • token_ids_0 (list[int]) — 將要新增特殊標記的第一個分詞序列。
  • token_ids_1 (list[int]) — 將要新增特殊標記的可選的第二個分詞序列。

返回

list[int]

帶有特殊標記的模型輸入。

透過拼接和新增特殊標記，從單個序列或序列對為序列分類任務構建模型輸入。CPMAnt 序列具有以下格式：

  • 單個序列：[BOS] Sequence。

get_special_tokens_mask

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) → list[int]

引數

  • token_ids_0 (list[int]) — ID 列表。
  • token_ids_1 (list[int], 可選) — 用於序列對的可選的第二個 ID 列表。
  • already_has_special_tokens (bool, 可選, 預設為 False) — 標記列表是否已經為模型格式化了特殊標記。

返回

list[int]

一個範圍為 [0, 1] 的整數列表：1 表示特殊標記，0 表示序列標記。

從沒有新增特殊標記的標記列表中檢索序列ID。此方法在使用分詞器prepare_for_model方法新增特殊標記時呼叫。

CpmAntModel

class transformers.CpmAntModel

< >

( config: CpmAntConfig )

引數

  • config (CpmAntConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請查閱 from_pretrained() 方法來載入模型權重。

基礎 Cpmant 模型，輸出原始的隱藏狀態，頂部沒有任何特定的頭部。

此模型繼承自 PreTrainedModel。請查閱超類文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。

forward

< >

( input_ids: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None past_key_values: typing.Optional[tuple[tuple[torch.Tensor]]] = None use_cache: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None **kwargs ) → transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)

引數

  • input_ids (torch.Tensor，形狀為 (batch_size, seq_len)) — 詞彙表中輸入序列標記的索引。

    可以使用 CPMAntTokenizer 獲取索引。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多細節請參閱返回張量下的 attentions。
  • output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多細節請參閱返回張量下的 hidden_states。
  • past_key_values (tuple[tuple[torch.Tensor]], 可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包含在 use_cache=True 或 config.use_cache=True 時由模型在解碼的先前階段返回的 past_key_values。

    允許兩種格式：

    • 一個 Cache 例項，請參閱我們的 kv 快取指南；
    • 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含2個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量。這也稱為傳統快取格式。

    模型將輸出與輸入相同的快取格式。如果沒有傳遞 past_key_values，將返回傳統快取格式。

    如果使用 past_key_values，使用者可以選擇只輸入形狀為 (batch_size, 1) 的最後一個 input_ids（那些沒有提供過去鍵值狀態給該模型的），而不是形狀為 (batch_size, sequence_length) 的所有 input_ids。

  • use_cache (bool, 可選) — 如果設定為 True，將返回 past_key_values 鍵值狀態，可用於加速解碼（參見 past_key_values）。
  • return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

返回

transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.BaseModelOutputWithPast 或一個 `torch.FloatTensor` 的元組（如果傳遞 `return_dict=False` 或 `config.return_dict=False`），根據配置（CpmAntConfig）和輸入，包含不同的元素。

  • last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。

    如果使用了 past_key_values，則只輸出形狀為 (batch_size, 1, hidden_size) 的序列的最後一個隱藏狀態。

  • past_key_values (Cache, 可選, 在傳遞 `use_cache=True` 或 `config.use_cache=True` 時返回) — 這是一個 Cache 例項。更多詳情，請參閱我們的 kv 快取指南。

    包含預計算的隱藏狀態（自注意力塊中的鍵和值，如果 `config.is_encoder_decoder=True`，則還包括交叉注意力塊中的鍵和值），可用於（參見 `past_key_values` 輸入）加速序列解碼。

  • hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

CpmAntModel 的 forward 方法，重寫了 `__call__` 特殊方法。

儘管前向傳播的流程需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會默默地忽略它們。

CpmAntForCausalLM

class transformers.CpmAntForCausalLM

< >

( config: CpmAntConfig )

引數

  • config (CpmAntConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請查閱 from_pretrained() 方法來載入模型權重。

帶有語言模型頭部的 CPMAnt 模型（一個與輸入嵌入權重繫結的線性層）。

此模型繼承自 PreTrainedModel。請查閱超類文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。

forward

< >

( input_ids: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[list[tuple[torch.Tensor, torch.Tensor]]] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None labels: typing.Optional[torch.Tensor] = None return_dict: typing.Optional[bool] = None attention_mask: typing.Optional[torch.Tensor] = None **kwargs ) → transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)

引數

  • input_ids (torch.Tensor，形狀為 (batch_size, seq_len)) — 詞彙表中輸入序列標記的索引。

    可以使用 CPMAntTokenizer 獲取索引。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • past_key_values (list[tuple[torch.Tensor, torch.Tensor]], 可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包含在 use_cache=True 或 config.use_cache=True 時由模型在解碼的先前階段返回的 past_key_values。

    允許兩種格式：

    • 一個 Cache 例項，請參閱我們的 kv 快取指南；
    • 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含2個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量。這也稱為傳統快取格式。

    模型將輸出與輸入相同的快取格式。如果沒有傳遞 past_key_values，將返回傳統快取格式。

    如果使用 past_key_values，使用者可以選擇只輸入形狀為 (batch_size, 1) 的最後一個 input_ids（那些沒有提供過去鍵值狀態給該模型的），而不是形狀為 (batch_size, sequence_length) 的所有 input_ids。

  • use_cache (bool, 可選) — 如果設定為 True，將返回 past_key_values 鍵值狀態，可用於加速解碼（參見 past_key_values）。
  • output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多細節請參閱返回張量下的 attentions。
  • output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多細節請參閱返回張量下的 hidden_states。
  • labels (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。
  • return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
  • attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免在填充標記索引上執行注意力的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示**未被遮蔽**的標記，
    • 0 表示**被遮蔽**的標記。

    什麼是注意力掩碼？

返回

transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.CausalLMOutputWithPast 或一個 `torch.FloatTensor` 的元組（如果傳遞 `return_dict=False` 或 `config.return_dict=False`），根據配置（CpmAntConfig）和輸入，包含不同的元素。

  • loss (torch.FloatTensor 形狀為 (1,)，可選，當提供 labels 時返回) — 語言建模損失（用於下一個 token 預測）。

  • logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。

  • past_key_values (Cache, 可選, 在傳遞 `use_cache=True` 或 `config.use_cache=True` 時返回) — 這是一個 Cache 例項。更多詳情，請參閱我們的 kv 快取指南。

    包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

  • hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

CpmAntForCausalLM 的 forward 方法，重寫了 `__call__` 特殊方法。

儘管前向傳播的流程需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會默默地忽略它們。

示例

使用 CpmAntForCausalLM 進行文字生成。

>>> from transformers import CPMAntTokenizer, CpmAntForCausalLM

>>> texts = "今天天氣不錯，"
>>> model = CpmAntForCausalLM.from_pretrained("openbmb/cpm-ant-10b")
>>> tokenizer = CPMAntTokenizer.from_pretrained("openbmb/cpm-ant-10b")
>>> input_ids = tokenizer(texts, return_tensors="pt")
>>> outputs = model.generate(**input_ids)
>>> output_texts = tokenizer.batch_decode(outputs)
>>> print(output_texts)
['今天天氣不錯，陽光明媚，我和媽媽一起去超市買東西。\n在超市裡，我看到了一個很好玩的玩具，它的名字叫“機器人”。它有一個圓圓的腦袋，兩隻圓圓的眼睛，還有一個圓圓的']
< > 在 GitHub 上更新

←CPM CTRL→
© . This site is unofficial and not affiliated with Hugging Face, Inc.