Transformers 文件
SwitchTransformers
並獲得增強的文件體驗
開始使用
SwitchTransformers
概述
SwitchTransformers 模型由 William Fedus、Barret Zoph 和 Noam Shazeer 在Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity中提出。
Switch Transformer 模型採用稀疏 T5 編碼器-解碼器架構，其中 MLP 被專家混合 (MoE) 取代。路由機制（在本例中為 top 1）將每個 token 與其中一個專家關聯起來，每個專家都是一個密集 MLP。雖然 Switch Transformer 比其等效的密集模型擁有更多的權重，但稀疏性允許在規模上實現更好的擴充套件和更好的微調效能。在前向傳播期間，只使用一小部分權重。路由機制允許模型即時選擇相關權重，從而在不增加運算元量的情況下增加模型容量。
論文摘要如下：
在深度學習中，模型通常對所有輸入重用相同的引數。專家混合 (MoE) 違反了這一原則，而是為每個傳入示例選擇不同的引數。結果是一個稀疏啟用模型——擁有驚人數量的引數——但計算成本恆定。然而，儘管 MoE 取得了多項顯著成功，但其廣泛採用一直受到複雜性、通訊成本和訓練不穩定性的阻礙——我們透過 Switch Transformer 解決了這些問題。我們簡化了 MoE 路由演算法，並設計了直觀的改進模型，降低了通訊和計算成本。我們提出的訓練技術有助於控制不穩定性，我們首次展示了可以使用較低精度 (bfloat16) 格式訓練大型稀疏模型。我們基於 T5-Base 和 T5-Large 設計模型，以在相同計算資源下實現高達 7 倍的預訓練速度提升。這些改進也適用於多語言環境，我們在所有 101 種語言的 mT5-Base 版本上測量了增益。最後，我們透過在“海量乾淨爬取語料庫”上預訓練萬億引數模型，將當前語言模型的規模向前推進，並比 T5-XXL 模型實現了 4 倍的加速。
此模型由Younes Belkada和Arthur Zucker貢獻。原始程式碼可以在這裡找到。
使用技巧
- SwitchTransformers 使用 T5Tokenizer，可以直接從每個模型的倉庫載入。
- 釋出的權重在英語掩碼語言建模任務上進行預訓練，應進行微調。
資源
SwitchTransformersConfig
class transformers.SwitchTransformersConfig
< 源 >( 詞彙表大小 = 32128 d_model = 768 d_kv = 64 d_ff = 2048 專家容量 = 64 層數 = 12 稀疏編碼器層數 = 3 解碼器層數 = 12 稀疏解碼器層數 = 3 頭數 = 12 專家數 = 8 路由器偏差 = False 路由器抖動噪聲 = 0.01 路由器資料型別 = 'float32' 路由器忽略填充標記 = False 相對注意力桶數 = 32 相對注意力最大距離 = 128 dropout_rate = 0.1 layer_norm_epsilon = 1e-06 router_z_loss_coef = 0.001 router_aux_loss_coef = 0.001 初始化因子 = 1.0 dense_act_fn = 'relu' is_encoder_decoder = True 新增路由器機率 = False 使用快取 = True pad_token_id = 0 eos_token_id = 1 **kwargs )
引數
- vocab_size (
int, 可選, 預設為 32128) — SwitchTransformers 模型的詞彙表大小。定義了呼叫 SwitchTransformersModel 時傳遞的inputs_ids可以表示的不同標記的數量。 - d_model (
int, 可選, 預設為 768) — 編碼器層和池化層的維度。 - d_kv (
int, 可選, 預設為 64) — 每個注意力頭鍵、查詢、值投影的維度。d_kv必須等於d_model // num_heads。 - d_ff (
int, 可選, 預設為 2048) — 每個SwitchTransformersBlock中間前饋層的維度。 - expert_capacity (
int, 可選, 預設為 64) — 每個專家可以儲存的 token 數量。如果設定為 1，模型將表現得像一個常規 Transformer。 - num_layers (
int, 可選, 預設為 12) — Transformer 編碼器層中的密集隱藏層數。 - num_sparse_encoder_layers (
int, 可選, 預設為 3) — Transformer 編碼器層中的稀疏（MoE）密集隱藏層數。 - num_decoder_layers (
int, 可選, 預設為 12) — Transformer 解碼器中的隱藏層數。如果未設定，將使用與num_layers相同的值。 - num_sparse_decoder_layers (
int, 可選, 預設為 3) — Transformer 解碼器層中的稀疏（MoE）密集隱藏層數。 - num_heads (
int, 可選, 預設為 12) — Transformer 編碼器中每個注意力層的注意力頭數。 - num_experts (
int, 可選, 預設為 8) — 每個 SwitchTransformer 層的專家數量。 - router_bias (
bool, 可選, 預設為False) — 是否為路由器新增偏差。 - router_jitter_noise (
float, 可選, 預設為 0.01) — 新增到路由器中的噪聲量。 - router_dtype (
str, 可選, 預設為"float32") — 路由器使用的資料型別。根據論文中的“選擇性精度”討論，最好將資料型別保持為"float32"。 - router_ignore_padding_tokens (
bool, 可選, 預設為False) — 路由時是否忽略填充標記。 - relative_attention_num_buckets (
int, 可選, 預設為 32) — 每個注意力層使用的桶的數量。 - relative_attention_max_distance (
int, 可選, 預設為 128) — 用於桶分離的較長序列的最大距離。 - dropout_rate (
float, 可選, 預設為 0.1) — 所有 dropout 層的比率。 - layer_norm_eps (
float, 可選, 預設為 1e-6) — 層歸一化層使用的 epsilon 值。 - router_z_loss_coef (
float, 可選, 預設為 0.001) — 總損失的 z 損失因子。 - router_aux_loss_coef (
float, 可選, 預設為 0.001) — 總損失的輔助損失因子。 - initializer_factor (
float, 可選, 預設為 1.0) — 用於初始化所有權重矩陣的因子（應保持為 1，內部用於初始化測試）。 - dense_act_fn (
string, 可選, 預設為"relu") — 要使用的前饋層型別。應為"relu"或"gated-gelu"之一。SwitchTransformersv1.1 使用"gated-gelu"前饋投影。原始 SwitchTransformers 使用"relu"。 - add_router_probs (
bool, 可選, 預設為False) — 是否輸出路由器機率以計算路由器輔助損失。 - use_cache (
bool, 可選, 預設為True) — 模型是否應返回最後的鍵/值注意力（並非所有模型都使用）。
這是一個配置類，用於儲存 SwitchTransformersModel 的配置。它用於根據指定的引數例項化 SwitchTransformers 模型，定義模型架構。使用預設值例項化配置將生成與 SwitchTransformers google/switch-base-8 架構類似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。
SwitchTransformersTop1Router
使用 token 選擇 top-1 專家分配的路由。
該路由器使用與 Switch Transformer (https://huggingface.co/papers/2101.03961) 和 V-MoE (https://huggingface.co/papers/2106.05974) 中相同的機制：token 選擇它們的最佳專家。專案按 router_probs 排序，然後路由到它們選擇的專家，直到達到專家的 expert_capacity。不保證每個 token 都由一個專家處理，也不保證每個專家至少接收一個 token。
_compute_router_probabilities
< 來源 >( hidden_states: Tensor ) → router_probabilities (torch.Tensor)
引數
- hidden_states (
torch.Tensor) — (batch_size, sequence_length, hidden_dim)，從中計算路由器機率。
返回
router_probabilities (torch.Tensor)
形狀為 (batch_size, sequence_length, num_experts) 的張量，對應每個 token 和專家的機率。用於將 token 路由到專家。router_logits (torch.Tensor): 形狀為 (batch_size, sequence_length, num_experts) 的對數張量，對應原始路由器 logits。這在後面用於計算路由器 z-loss。
從輸入隱藏狀態計算路由器機率。
forward
< 來源 >( hidden_states: Tensor )
引數
- hidden_states (
torch.Tensor) — [num_groups, tokens_per_group, hidden_dim] 輸入到專家。
每個路由器類的通用 forward 函式。每個路由器都期望具有相同的輸入隱藏狀態 (hidden_states)，對應於每個 token 的隱藏狀態，expert_capacity 對應於路由器將傳送到每個 token 的 token 數量，一些路由器可以向每個專家傳送少量 token。
每個路由器的工作方式如下：它期望每個 token 的隱藏狀態，從 router_weights 獲取 router_probs 和 router_logits。這將為每個 token 分配分配給專家的原始機率。然後，每個路由器類必須定義自己的 _compute_routing_instructions。
SwitchTransformersSparseMLP
類 transformers.SwitchTransformersSparseMLP
< 來源 >( config: SwitchTransformersConfig expert_class: Module = <class 'transformers.models.switch_transformers.modeling_switch_transformers.SwitchTransformersDenseActDense'> )
Switch Transformers 稀疏 MLP 模組的實現。
請注意，這會有點難以理解。按照正確的順序，MoE 層執行以下操作：
1- 從路由器獲取 router_mask。掩碼的形狀為 (batch_size, sequence_length, num_expert)，對應於 router_probs 的 argmax。在隱藏狀態的計算中需要這些機率：它們被廣播到隱藏狀態值（可以解釋為縮放因子）。
2- 將 token 分派到其關聯的專家。我們對專家進行經典的 for 迴圈，併為每個專家分配相應的隱藏狀態。
SwitchTransformersModel
類 transformers.SwitchTransformersModel
< 來源 >( config: SwitchTransformersConfig )
引數
- config (SwitchTransformersConfig) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型關聯的權重，只會載入配置。要載入模型權重，請檢視 from_pretrained() 方法。
裸的 Switch Transformers 模型，輸出原始隱藏狀態，沒有頂部的任何特定頭部。
此模型繼承自 PreTrainedModel。有關庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）的更多詳細資訊，請檢視超類文件。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< 來源 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.BoolTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None decoder_head_mask: typing.Optional[torch.FloatTensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None past_key_values: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None inputs_embeds: typing.Optional[torch.Tensor] = None decoder_inputs_embeds: typing.Optional[torch.Tensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None output_router_logits: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.Seq2SeqMoEModelOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor) — 詞彙表中輸入序列 token 的索引。SWITCH_TRANSFORMERS 是一個帶有相對位置嵌入的模型，因此您應該能夠在輸入的右側和左側都進行填充。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
要了解有關如何準備
input_ids以進行預訓練的更多資訊，請參閱 SWITCH_TRANSFORMERS 訓練。 - attention_mask (形狀為
(batch_size, sequence_length)的torch.FloatTensor, 可選) — 遮罩以避免在填充 token 索引上執行注意力。遮罩值在[0, 1]中選擇：- 1 表示 token 未被遮罩，
- 0 表示 token 被遮罩。
- decoder_input_ids (形狀為
(batch_size, target_sequence_length)的torch.LongTensor, 可選) — 詞彙表中解碼器輸入序列 token 的索引。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
SWITCH_TRANSFORMERS 使用
pad_token_id作為decoder_input_ids生成的起始 token。如果使用past_key_values，可以選擇只輸入最後一個decoder_input_ids（那些沒有將其過去的鍵值狀態提供給此模型的）（請參閱past_key_values）。要了解有關如何準備
decoder_input_ids以進行預訓練的更多資訊，請參閱 SWITCH_TRANSFORMERS 訓練。 - decoder_attention_mask (形狀為
(batch_size, target_sequence_length)的torch.BoolTensor, 可選) — 預設行為：生成一個忽略decoder_input_ids中填充 token 的張量。因果遮罩也將預設使用。 - head_mask (形狀為
(num_heads,)或(num_layers, num_heads)的torch.FloatTensor, 可選) — 遮罩以使自注意力模組的選定頭部無效。遮罩值在[0, 1]中選擇：- 1 表示頭部未被遮罩，
- 0 表示頭部被遮罩。
- decoder_head_mask (形狀為
(num_heads,)或(num_layers, num_heads)的torch.FloatTensor, 可選) — 遮罩以使解碼器中自注意力模組的選定頭部無效。遮罩值在[0, 1]中選擇：- 1 表示頭部未被遮罩，
- 0 表示頭部被遮罩。
- cross_attn_head_mask (形狀為
(num_heads,)或(num_layers, num_heads)的torch.Tensor, 可選) — 遮罩以使解碼器中交叉注意力模組的選定頭部無效。遮罩值在[0, 1]中選擇：- 1 表示頭部未被遮罩，
- 0 表示頭部被遮罩。
- encoder_outputs (
tuple[tuple[torch.FloatTensor]], 可選) — 元組由 (last_hidden_state, 可選:hidden_states, 可選:attentions) 組成，last_hidden_state的形狀為(batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的隱藏狀態序列。在解碼器的交叉注意力中使用。 - past_key_values (
tuple[tuple[torch.FloatTensor]], 可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼上一階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- Cache 例項，請參閱我們的 kv 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也被稱為舊版快取格式。
模型將輸出與輸入相同的快取格式。如果未傳遞
past_key_values，將返回舊版快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後一個input_ids（那些沒有將其過去的鍵值狀態提供給此模型的），形狀為(batch_size, 1)，而不是所有input_ids的形狀(batch_size, sequence_length)。 - inputs_embeds (形狀為
(batch_size, sequence_length, hidden_size)的torch.Tensor, 可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果您想對如何將input_ids索引轉換為關聯向量（而不是模型的內部嵌入查詢矩陣）進行更多控制，這會很有用。 - decoder_inputs_embeds (形狀為
(batch_size, target_sequence_length, hidden_size)的torch.Tensor, 可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞decoder_input_ids。如果使用past_key_values，可以選擇只輸入最後一個decoder_inputs_embeds（請參閱past_key_values）。如果您想對如何將decoder_input_ids索引轉換為關聯向量（而不是模型的內部嵌入查詢矩陣）進行更多控制，這會很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，則decoder_inputs_embeds取inputs_embeds的值。 - use_cache (
bool, 可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼（請參閱past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - output_router_logits (
bool, 可選) — 是否返回所有路由器的 logits。它們對於計算路由器損失很有用，但在推理時不應返回。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - cache_position (形狀為
(sequence_length)的torch.LongTensor, 可選) — 描繪輸入序列 token 在序列中位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.Seq2SeqMoEModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqMoEModelOutput 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），根據配置 (SwitchTransformersConfig) 和輸入包含各種元素。
-
last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
past_key_values (
EncoderDecoderCache, 可選, 當傳遞use_cache=True或當config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（如果模型有嵌入層，則一個用於嵌入輸出，加上一個用於每個層的輸出），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
decoder_router_logits (
tuple(torch.FloatTensor), 可選, 當傳遞output_router_logits=True或當config.add_router_probs=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, sequence_length, num_experts)。解碼器模型的路由器 logits，用於計算專家混合模型的輔助損失。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（如果模型有嵌入層，則一個用於嵌入輸出，加上一個用於每個層的輸出），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
encoder_router_logits (
tuple(torch.FloatTensor), 可選, 當傳遞output_router_logits=True或當config.add_router_probs=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, sequence_length, num_experts)。編碼器模型的路由器 logits，用於計算稀疏模組的輔助損失和 z_loss。
SwitchTransformersModel 的 forward 方法，覆蓋了 __call__ 特殊方法。
儘管 forward pass 的配方需要在此函式中定義，但此後應該呼叫 Module 例項，而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, SwitchTransformersModel
>>> tokenizer = AutoTokenizer.from_pretrained("google/switch-base-8")
>>> model = SwitchTransformersModel.from_pretrained("google/switch-base-8")
>>> input_ids = tokenizer(
... "Studies have been shown that owning a dog is good for you", return_tensors="pt"
... ).input_ids # Batch size 1
>>> decoder_input_ids = tokenizer("Studies show that", return_tensors="pt").input_ids # Batch size 1
>>> # preprocess: Prepend decoder_input_ids with start token which is pad token for SwitchTransformersModel.
>>> # This is not needed for torch's SwitchTransformersForConditionalGeneration as it does this internally using labels arg.
>>> decoder_input_ids = model._shift_right(decoder_input_ids)
>>> # forward pass
>>> outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids)
>>> last_hidden_states = outputs.last_hidden_stateSwitchTransformersForConditionalGeneration
類 transformers.SwitchTransformersForConditionalGeneration
< 來源 >( config: SwitchTransformersConfig )
引數
- config (SwitchTransformersConfig) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型關聯的權重，只會載入配置。要載入模型權重，請檢視 from_pretrained() 方法。
帶有 語言建模 頭部的 SWITCH_TRANSFORMERS 模型。
此模型繼承自 PreTrainedModel。有關庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）的更多詳細資訊，請檢視超類文件。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< 來源 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.BoolTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None decoder_head_mask: typing.Optional[torch.FloatTensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Optional[tuple[tuple[torch.Tensor]]] = None past_key_values: typing.Optional[tuple[tuple[torch.Tensor]]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None output_router_logits: typing.Optional[bool] = True return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.Seq2SeqMoEOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor) — 詞彙表中輸入序列 token 的索引。SWITCH_TRANSFORMERS 是一個帶有相對位置嵌入的模型，因此您應該能夠在輸入的右側和左側都進行填充。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
要了解有關如何準備
input_ids以進行預訓練的更多資訊，請參閱 SWITCH_TRANSFORMERS 訓練。 - attention_mask (形狀為
(batch_size, sequence_length)的torch.FloatTensor, 可選) — 遮罩以避免在填充 token 索引上執行注意力。遮罩值在[0, 1]中選擇：- 1 表示 token 未被遮罩，
- 0 表示 token 被遮罩。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 解碼器輸入序列詞彙表中標記的索引。索引可以透過 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
SWITCH_TRANSFORMERS 使用
pad_token_id作為decoder_input_ids生成的起始標記。如果使用past_key_values，可以選擇只輸入最後一個decoder_input_ids（參見past_key_values）。要了解如何為預訓練準備
decoder_input_ids，請參閱 SWITCH_TRANSFORMERS 訓練。 - decoder_attention_mask (
torch.BoolTensor，形狀為(batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略decoder_input_ids中填充標記的張量。預設情況下也會使用因果掩碼。 - head_mask (
torch.FloatTensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩蓋，
- 0 表示頭部被掩蓋。
- decoder_head_mask (
torch.FloatTensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使解碼器中自注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩蓋，
- 0 表示頭部被掩蓋。
- cross_attn_head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使解碼器中交叉注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩蓋，
- 0 表示頭部被掩蓋。
- encoder_outputs (
tuple[tuple[torch.Tensor]], 可選) — 元組包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)last_hidden_state的形狀為(batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的隱藏狀態序列。在解碼器的交叉注意力中使用。 - past_key_values (
tuple[tuple[torch.Tensor]], 可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常由模型在解碼的先前階段返回的past_key_values組成，當use_cache=True或config.use_cache=True時。允許兩種格式：
- Cache 例項，請參閱我們的 kv 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也稱為舊式快取格式。
模型將輸出與作為輸入提供的快取格式相同的快取格式。如果沒有傳入
past_key_values，則將返回舊式快取格式。如果使用
past_key_values，使用者可以選擇只輸入形狀為(batch_size, 1)的最後一個input_ids（那些沒有將其過去鍵值狀態提供給此模型的）而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，您可以選擇直接傳入嵌入表示，而不是傳入input_ids。如果您希望對如何將input_ids索引轉換為關聯向量有比模型內部嵌入查詢矩陣更多的控制權，這將很有用。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — 可選地，您可以選擇直接傳入嵌入表示，而不是傳入decoder_input_ids。如果使用past_key_values，可以選擇只輸入最後一個decoder_inputs_embeds（參見past_key_values）。如果您希望對如何將decoder_input_ids索引轉換為關聯向量有比模型內部嵌入查詢矩陣更多的控制權，這將很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，則decoder_inputs_embeds取inputs_embeds的值。 - labels (
torch.LongTensor，形狀為(batch_size,)，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在[-100, 0, ..., config.vocab_size - 1]範圍內。所有設定為-100的標籤將被忽略（掩蓋），損失僅針對[0, ..., config.vocab_size]範圍內的標籤計算。 - use_cache (
bool, 可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳情請參見返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。更多詳情請參見返回張量下的hidden_states。 - output_router_logits (
bool, 可選, 預設為True) — 是否返回所有路由器的 logits。它們對於計算路由器損失很有用，不應在推理期間返回。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 表示輸入序列標記在序列中位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.Seq2SeqMoEOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqMoEOutput 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或 config.return_dict=False），包含根據配置 (SwitchTransformersConfig) 和輸入而變化的各種元素。
-
loss (
torch.FloatTensor，形狀為(1,)，可選，當提供labels時返回) — 語言建模損失。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
past_key_values (
EncoderDecoderCache, 可選, 當傳遞use_cache=True或當config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（如果模型有嵌入層，則一個用於嵌入輸出，加上一個用於每個層的輸出），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
decoder_router_logits (
tuple(torch.FloatTensor), 可選, 當傳遞output_router_logits=True或當config.add_router_probs=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, sequence_length, num_experts)。解碼器模型的路由器 logits，用於計算專家混合模型的輔助損失。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（如果模型有嵌入層，則一個用於嵌入輸出，加上一個用於每個層的輸出），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
encoder_router_logits (
tuple(torch.FloatTensor), 可選, 當傳遞output_router_logits=True或當config.add_router_probs=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, sequence_length, num_experts)。編碼器模型的路由器 logits，用於計算專家混合模型的輔助損失和 z_loss。
SwitchTransformersForConditionalGeneration 前向方法，覆蓋了 __call__ 特殊方法。
儘管 forward pass 的配方需要在此函式中定義，但此後應該呼叫 Module 例項，而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, SwitchTransformersForConditionalGeneration
>>> tokenizer = AutoTokenizer.from_pretrained("google/switch-base-8")
>>> model = SwitchTransformersForConditionalGeneration.from_pretrained("google/switch-base-8")
>>> # training
>>> input_ids = tokenizer("The <extra_id_0> walks in <extra_id_1> park", return_tensors="pt").input_ids
>>> labels = tokenizer("<extra_id_0> cute dog <extra_id_1> the <extra_id_2>", return_tensors="pt").input_ids
>>> outputs = model(input_ids=input_ids, labels=labels)
>>> loss = outputs.loss
>>> logits = outputs.logits
>>> # inference
>>> input_ids = tokenizer(
... "summarize: studies have shown that owning a dog is good for you", return_tensors="pt"
... ).input_ids # Batch size 1
>>> outputs = model.generate(input_ids)
>>> # . To, let’s say you have a dog. To summarize:
>>> # Since the model has been trained on MLM, this will output gibberishSwitchTransformersEncoderModel
class transformers.SwitchTransformersEncoderModel
< 原始碼 >( config: SwitchTransformersConfig )
引數
- config (SwitchTransformersConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不載入與模型關聯的權重，只加載配置。請檢視 from_pretrained() 方法載入模型權重。
裸 SwitchTransformers 模型，輸出編碼器的原始隱藏狀態，不帶任何特定頭部
此模型繼承自 PreTrainedModel。有關庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）的更多詳細資訊，請檢視超類文件。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< 原始碼 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None output_router_logits: typing.Optional[bool] = True return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.MoEModelOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。SWITCH_TRANSFORMERS 是一個帶有相對位置嵌入的模型，因此您應該能夠在左右兩側都進行填充。索引可以透過 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
要了解如何為預訓練準備
input_ids，請參閱 SWITCH_TRANSFORMERS 訓練。 - attention_mask (
torch.FloatTensor，形狀為(batch_size, sequence_length)，可選) — 避免對填充標記索引執行注意力的掩碼。掩碼值在[0, 1]中選擇：- 1 表示標記未被掩蓋，
- 0 表示標記被掩蓋。
- head_mask (
torch.FloatTensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在[0, 1]中選擇：- 1 表示頭部未被掩蓋，
- 0 表示頭部被掩蓋。
- inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，您可以選擇直接傳入嵌入表示，而不是傳入input_ids。如果您希望對如何將input_ids索引轉換為關聯向量有比模型內部嵌入查詢矩陣更多的控制權，這將很有用。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳情請參見返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。更多詳情請參見返回張量下的hidden_states。 - output_router_logits (
bool, 可選, 預設為True) — 是否返回所有路由器的 logits。它們對於計算路由器損失很有用，不應在推理期間返回。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
返回
transformers.modeling_outputs.MoEModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.MoEModelOutput 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或 config.return_dict=False），包含根據配置 (SwitchTransformersConfig) 和輸入而變化的各種元素。
-
last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。 -
hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，如果模型有嵌入層，則再加上每個層的輸出），形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
-
router_probs (
tuple(torch.FloatTensor), 可選, 當傳入output_router_probs=True和config.add_router_probs=True或config.output_router_probs=True時返回) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, sequence_length, num_experts)。由 MoE 路由器計算的原始路由器機率，這些項用於計算專家混合模型的輔助損失和 z_loss。
SwitchTransformersEncoderModel 前向方法，覆蓋了 __call__ 特殊方法。
儘管 forward pass 的配方需要在此函式中定義，但此後應該呼叫 Module 例項，而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> from transformers import AutoTokenizer, SwitchTransformersEncoderModel
>>> tokenizer = AutoTokenizer.from_pretrained("google/switch-base-8")
>>> model = SwitchTransformersEncoderModel.from_pretrained("google/switch-base-8")
>>> input_ids = tokenizer(
... "Studies have been shown that owning a dog is good for you", return_tensors="pt"
... ).input_ids # Batch size 1
>>> outputs = model(input_ids=input_ids)
>>> last_hidden_states = outputs.last_hidden_state