Transformers 文件
Blenderbot Small
並獲得增強的文件體驗
開始使用
Blenderbot Small
請注意，BlenderbotSmallModel 和 BlenderbotSmallForConditionalGeneration 僅與檢查點 facebook/blenderbot-90M 結合使用。較大的 Blenderbot 檢查點應改用 BlenderbotModel 和 BlenderbotForConditionalGeneration。
概述
Blender 聊天機器人模型由 Stephen Roller、Emily Dinan、Naman Goyal、Da Ju、Mary Williamson、Yinhan Liu、Jing Xu、Myle Ott、Kurt Shuster、Eric M. Smith、Y-Lan Boureau、Jason Weston 於 2020 年 4 月 30 日在論文 《構建開放域聊天機器人的秘訣》 中提出。
論文摘要如下：
構建開放域聊天機器人是機器學習研究領域中一個具有挑戰性的方向。雖然先前的工作表明，擴大神經網路模型的引數數量和訓練資料規模可以改善結果，但我們發現其他因素對於高效能聊天機器人同樣重要。良好的對話需要專家級對話者無縫融合多項技能：提供引人入勝的談話要點並傾聽夥伴的意見，適當地展示知識、同理心和個性，同時保持一致的形象。我們證明，當給予適當的訓練資料和選擇合適的生成策略時，大規模模型可以學習這些技能。我們基於這些秘訣構建了引數量分別為 90M、2.7B 和 9.4B 的模型變體，並公開了我們的模型和程式碼。人類評估表明，在多輪對話中，我們的最佳模型在吸引力和人性化方面優於現有方法。然後，我們透過分析模型的失敗案例來討論這項工作的侷限性。
該模型由 patrickvonplaten 貢獻。作者的程式碼可以在 這裡 找到。
使用技巧
Blenderbot Small 是一個使用絕對位置嵌入的模型，因此通常建議在輸入的右側而不是左側進行填充。
資源
BlenderbotSmallConfig
class transformers.BlenderbotSmallConfig
< 源 >( vocab_size = 50265 max_position_embeddings = 512 encoder_layers = 8 encoder_ffn_dim = 2048 encoder_attention_heads = 16 decoder_layers = 8 decoder_ffn_dim = 2048 decoder_attention_heads = 16 encoder_layerdrop = 0.0 decoder_layerdrop = 0.0 use_cache = True is_encoder_decoder = True activation_function = 'gelu' d_model = 512 dropout = 0.1 attention_dropout = 0.0 activation_dropout = 0.0 init_std = 0.02 decoder_start_token_id = 1 scale_embedding = False pad_token_id = 0 bos_token_id = 1 eos_token_id = 2 forced_eos_token_id = 2 **kwargs )
引數
- vocab_size (
int, 可選, 預設為 50265) — BlenderbotSmall 模型的詞彙表大小。定義了在呼叫 BlenderbotSmallModel 或 TFBlenderbotSmallModel 時，可以透過inputs_ids表示的不同標記的數量。 - d_model (
int, 可選, 預設為 512) — 層和池化層的維度。 - encoder_layers (
int, 可選, 預設為 8) — 編碼器的層數。 - decoder_layers (
int, 可選, 預設為 8) — 解碼器的層數。 - encoder_attention_heads (
int, 可選, 預設為 16) — Transformer 編碼器中每個注意力層的注意力頭數量。 - decoder_attention_heads (
int, 可選, 預設為 16) — Transformer 解碼器中每個注意力層的注意力頭數量。 - decoder_ffn_dim (
int, 可選, 預設為 2048) — 解碼器中“中間”層（通常稱為前饋層）的維度。 - encoder_ffn_dim (
int, 可選, 預設為 2048) — 編碼器中“中間”層（通常稱為前饋層）的維度。 - activation_function (
str或function, 可選, 預設為"gelu") — 編碼器和池化器中的非線性啟用函式（函式或字串）。如果為字串，支援"gelu"、"relu"、"silu"和"gelu_new"。 - dropout (
float, 可選, 預設為 0.1) — 嵌入、編碼器和池化器中所有全連線層的丟棄機率。 - attention_dropout (
float, 可選, 預設為 0.0) — 注意力機率的丟棄率。 - activation_dropout (
float, 可選, 預設為 0.0) — 全連線層內部啟用函式的丟棄率。 - max_position_embeddings (
int, 可選, 預設為 512) — 此模型可能使用的最大序列長度。通常將其設定為一個較大的值以備不時之需（例如，512、1024 或 2048）。 - init_std (
float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。 - encoder_layerdrop (
float, 可選, 預設為 0.0) — 編碼器的 LayerDrop 機率。有關更多詳細資訊，請參閱 [LayerDrop 論文](參見 https://huggingface.co/papers/1909.11556)。 - decoder_layerdrop (
float, 可選, 預設為 0.0) — 解碼器的 LayerDrop 機率。有關更多詳細資訊，請參閱 [LayerDrop 論文](參見 https://huggingface.co/papers/1909.11556)。 - scale_embedding (
bool, 可選, 預設為False) — 透過除以 sqrt(d_model) 來縮放嵌入。 - use_cache (
bool, 可選, 預設為True) — 模型是否應返回最後一個鍵/值注意力（並非所有模型都使用）。 - forced_eos_token_id (
int, 可選, 預設為 2) — 當達到max_length時，強制作為最後生成標記的 ID。通常設定為eos_token_id。
這是一個用於儲存 BlenderbotSmallModel 配置的配置類。它用於根據指定的引數例項化一個 BlenderbotSmall 模型，定義模型架構。使用預設值例項化配置將產生與 BlenderbotSmall facebook/blenderbot_small-90M 架構類似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。
示例
>>> from transformers import BlenderbotSmallConfig, BlenderbotSmallModel
>>> # Initializing a BlenderbotSmall facebook/blenderbot_small-90M style configuration
>>> configuration = BlenderbotSmallConfig()
>>> # Initializing a model (with random weights) from the facebook/blenderbot_small-90M style configuration
>>> model = BlenderbotSmallModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configBlenderbotSmallTokenizer
class transformers.BlenderbotSmallTokenizer
< 源 >( vocab_file merges_file bos_token = '__start__' eos_token = '__end__' unk_token = '__unk__' pad_token = '__null__' **kwargs )
引數
- vocab_file (
str) — 包含詞彙表的檔案。 - merges_file (
str) — 合併檔案的路徑。 - bos_token (
str, 可選, 預設為"__start__") — 句子開始標記。 - eos_token (
str, 可選, 預設為"__end__") — 句子結束標記。 - unk_token (
str, 可選, 預設為"__unk__") — 未知詞元（token）。詞彙表中不存在的詞元無法轉換為 ID，將被設定為此詞元。 - pad_token (
str, 可選, 預設為"__null__") — 用於填充的詞元，例如在批處理不同長度的序列時使用。 - kwargs (可選) — 傳遞給 PreTrainedTokenizer 的其他關鍵字引數。
構建一個基於 BPE (Byte-Pair-Encoding) 的 Blenderbot-90M 分詞器。
該分詞器繼承自 PreTrainedTokenizer，其中包含了大部分主要方法。使用者應參考父類以獲取有關方法的更多資訊。
build_inputs_with_special_tokens
< 原始碼 >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
透過拼接和新增特殊詞元，從一個序列或一對序列為序列分類任務構建模型輸入。
此實現不新增特殊詞元，該方法應在子類中被重寫。
get_special_tokens_mask
< 原始碼 >( token_ids_0: list token_ids_1: typing.Optional[list] = None already_has_special_tokens: bool = False ) → 一個範圍在 [0, 1] 之間的整數列表
從未新增特殊令牌的令牌列表中檢索序列 ID。使用分詞器 prepare_for_model 或 encode_plus 方法新增特殊令牌時會呼叫此方法。
create_token_type_ids_from_sequences
< 原始碼 >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
建立與傳入序列對應的標記型別 ID。什麼是標記型別 ID？
如果模型有特殊的構建方式，應在子類中重寫此方法。
BlenderbotSmallTokenizerFast
class transformers.BlenderbotSmallTokenizerFast
< 原始碼 >( vocab_file = None merges_file = None unk_token = '<|endoftext|>' bos_token = '<|endoftext|>' eos_token = '<|endoftext|>' add_prefix_space = False trim_offsets = True **kwargs )
構建一個“快速”的 BlenderbotSmall 分詞器（由 HuggingFace 的 tokenizers 庫支援）。
create_token_type_ids_from_sequences
< 原始碼 >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
根據傳入的兩個序列建立一個掩碼，用於序列對分類任務。BlenderbotSmall 不使用詞元型別 ID，因此返回一個全零列表。
BlenderbotSmallModel
class transformers.BlenderbotSmallModel
< 原始碼 >( config: BlenderbotSmallConfig )
引數
- config (BlenderbotSmallConfig) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法以載入模型權重。
裸的 Blenderbot Small 模型，輸出原始的隱藏狀態，沒有任何特定的頭部。
該模型繼承自 PreTrainedModel。請檢視父類的文件，瞭解該庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
該模型也是一個 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< 原始碼 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Union[tuple, transformers.modeling_outputs.BaseModelOutput, NoneType] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.Tensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.Tensor] = None ) → transformers.modeling_outputs.Seq2SeqModelOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列詞元的索引。預設情況下會忽略填充。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對填充詞元索引執行注意力機制的掩碼。掩碼值選自[0, 1]：- 1 表示詞元未被遮蔽，
- 0 表示詞元被遮蔽。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列詞元的索引。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
BlenderbotSmall 使用
bos_token_id作為生成decoder_input_ids的起始詞元。如果使用past_key_values，可以選擇只輸入最後的decoder_input_ids（參見past_key_values）。 - decoder_attention_mask (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略decoder_input_ids中填充詞元的張量。預設情況下也會使用因果掩碼。 - head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於置零自注意力模組中選定頭部的掩碼。掩碼值選自[0, 1]：- 1 表示頭部未被遮蔽，
- 0 表示頭部被遮蔽。
- decoder_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於置零解碼器中注意力模組選定頭部的掩碼。掩碼值選自[0, 1]：- 1 表示頭部未被遮蔽，
- 0 表示頭部被遮蔽。
- cross_attn_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於置零解碼器中交叉注意力模組選定頭部的掩碼。掩碼值選自[0, 1]：- 1 表示頭部未被遮蔽，
- 0 表示頭部被遮蔽。
- encoder_outputs (
Union[tuple, ~modeling_outputs.BaseModelOutput, NoneType]) — 元組，包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)last_hidden_state的形狀為(batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。 - past_key_values (
list[torch.FloatTensor], 可選) — 預先計算的隱藏狀態（自注意力和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包括模型在先前解碼階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 一個長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量。這也被稱為傳統快取格式。
模型將輸出與輸入相同的快取格式。如果未傳遞
past_key_values，將返回傳統快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後的input_ids（那些沒有提供其過去鍵值狀態給此模型的詞元），形狀為(batch_size, 1)，而不是所有形狀為(batch_size, sequence_length)的input_ids。 - inputs_embeds (
torch.Tensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果您想比模型內部的嵌入查詢矩陣更能控制如何將input_ids索引轉換為關聯向量，這將非常有用。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞decoder_input_ids。如果使用past_key_values，可以選擇只輸入最後的decoder_inputs_embeds（參見past_key_values）。如果您想比模型內部的嵌入查詢矩陣更能控制如何將decoder_input_ids索引轉換為關聯向量，這將非常有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，decoder_inputs_embeds將取inputs_embeds的值。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，並可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。 - cache_position (
torch.Tensor，形狀為(sequence_length)，可選) — 描述輸入序列詞元在序列中位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.Seq2SeqModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqModelOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False），根據配置 (BlenderbotSmallConfig) 和輸入包含各種元素。
-
last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
past_key_values (
EncoderDecoderCache, 可選, 當傳遞use_cache=True或config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
BlenderbotSmallModel 的前向方法，重寫了 __call__ 特殊方法。
雖然前向傳遞的邏輯需要在此函式內定義，但之後應該呼叫 Module 例項而不是這個函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
示例
>>> from transformers import AutoTokenizer, BlenderbotSmallModel
>>> model = BlenderbotSmallModel.from_pretrained("facebook/blenderbot_small-90M")
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/blenderbot_small-90M")
>>> inputs = tokenizer("Studies have been shown that owning a dog is good for you", return_tensors="pt")
>>> decoder_inputs = tokenizer("Studies show that", return_tensors="pt") # Batch size 1
>>> outputs = model(input_ids=inputs.input_ids, decoder_input_ids=decoder_inputs.input_ids)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 3, 512]BlenderbotSmallForConditionalGeneration
class transformers.BlenderbotSmallForConditionalGeneration
< 原始碼 >( config: BlenderbotSmallConfig )
引數
- config (BlenderbotSmallConfig) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法以載入模型權重。
帶有語言建模頭的 BlenderbotSmall 模型。可用於摘要生成。
該模型繼承自 PreTrainedModel。請檢視父類的文件，瞭解該庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
該模型也是一個 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< 原始碼 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.Tensor] = None decoder_head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None encoder_outputs: typing.Union[tuple, transformers.modeling_outputs.BaseModelOutput, NoneType] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.Tensor] = None decoder_inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.Tensor] = None ) → transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列標記的索引。預設情況下，填充將被忽略。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力的掩碼。掩碼值選自[0, 1]：- 1 表示標記未被遮蔽，
- 0 表示標記已被遮蔽。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列標記的索引。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
BlenderbotSmall 使用
bos_token_id作為生成decoder_input_ids的起始標記。如果使用past_key_values，則可以選擇只輸入最後一個decoder_input_ids（請參閱past_key_values）。 - decoder_attention_mask (
torch.LongTensor，形狀為(batch_size, target_sequence_length)，可選) — 預設行為：生成一個忽略decoder_input_ids中填充標記的張量。預設情況下也會使用因果掩碼。 - head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於置零自注意力模組中選定頭的掩碼。掩碼值選自[0, 1]：- 1 表示頭未被遮蔽，
- 0 表示頭已被遮蔽。
- decoder_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於置零解碼器中注意力模組選定頭的掩碼。掩碼值選自[0, 1]：- 1 表示頭未被遮蔽，
- 0 表示頭已被遮蔽。
- cross_attn_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於置零解碼器中交叉注意力模組選定頭的掩碼。掩碼值選自[0, 1]：- 1 表示頭未被遮蔽，
- 0 表示頭已被遮蔽。
- encoder_outputs (
Union[tuple, ~modeling_outputs.BaseModelOutput, NoneType]) — 元組包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)last_hidden_state的形狀為(batch_size, sequence_length, hidden_size)，可選) 是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力。 - past_key_values (
list[torch.FloatTensor]，可選) — 預計算的隱藏狀態（自注意力和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包括模型在解碼的前一階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 一個長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量。這也稱為舊版快取格式。
模型將輸出與輸入相同的快取格式。如果沒有傳遞
past_key_values，將返回舊版快取格式。如果使用
past_key_values，使用者可以選擇只輸入形狀為(batch_size, 1)的最後一個input_ids（那些沒有將其過去鍵值狀態提供給此模型的 ID），而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (
torch.Tensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — （可選）您可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果您希望對如何將input_ids索引轉換為關聯向量進行更多控制，而不是使用模型的內部嵌入查詢矩陣，這會很有用。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, target_sequence_length, hidden_size)，可選) — （可選）您可以選擇直接傳遞嵌入表示，而不是傳遞decoder_input_ids。如果使用past_key_values，則可以選擇只輸入最後一個decoder_inputs_embeds（請參閱past_key_values）。如果您希望對如何將decoder_input_ids索引轉換為關聯向量進行更多控制，而不是使用模型的內部嵌入查詢矩陣，這會很有用。如果
decoder_input_ids和decoder_inputs_embeds都未設定，decoder_inputs_embeds的值將取自inputs_embeds。 - labels (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在[0, ..., config.vocab_size]或 -100 之間（請參閱input_ids文件字串）。索引設定為-100的標記將被忽略（遮蔽），損失僅對標籤在[0, ..., config.vocab_size]範圍內的標記計算。 - use_cache (
bool，可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼（請參閱past_key_values）。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。 - cache_position (
torch.Tensor，形狀為(sequence_length)，可選) — 描述輸入序列標記在序列中位置的索引。與position_ids相反，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqLMOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），根據配置 (BlenderbotSmallConfig) 和輸入包含不同的元素。
-
loss (
torch.FloatTensor，形狀為(1,)，可選，當提供labels時返回) — 語言建模損失。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
past_key_values (
EncoderDecoderCache, 可選, 當傳遞use_cache=True或config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
BlenderbotSmallForConditionalGeneration 的 forward 方法會覆蓋 __call__ 特殊方法。
雖然前向傳遞的邏輯需要在此函式內定義，但之後應該呼叫 Module 例項而不是這個函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
對話示例
>>> from transformers import AutoTokenizer, BlenderbotSmallForConditionalGeneration
>>> mname = "facebook/blenderbot_small-90M"
>>> model = BlenderbotSmallForConditionalGeneration.from_pretrained(mname)
>>> tokenizer = AutoTokenizer.from_pretrained(mname)
>>> UTTERANCE = "My friends are cool but they eat too many carbs."
>>> print("Human: ", UTTERANCE)
Human: My friends are cool but they eat too many carbs.
>>> inputs = tokenizer([UTTERANCE], return_tensors="pt")
>>> reply_ids = model.generate(**inputs)
>>> print("Bot: ", tokenizer.batch_decode(reply_ids, skip_special_tokens=True)[0])
Bot: what kind of carbs do they eat? i don't know much about carbs.
>>> REPLY = "I'm not sure"
>>> print("Human: ", REPLY)
Human: I'm not sure
>>> NEXT_UTTERANCE = (
... "My friends are cool but they eat too many carbs.__end__ __start__what kind of carbs do they eat? "
... "i don't know much about carbs__end__ "
... "__start__ I'm not sure."
... )
>>> inputs = tokenizer([NEXT_UTTERANCE], return_tensors="pt")
>>> next_reply_ids = model.generate(**inputs)
>>> print("Bot: ", tokenizer.batch_decode(next_reply_ids, skip_special_tokens=True)[0])
Bot: they eat a lot of carbs. carbs are high in fat, protein, and fats.BlenderbotSmallForCausalLM
forward
< 原始碼 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None encoder_hidden_states: typing.Optional[torch.FloatTensor] = None encoder_attention_mask: typing.Optional[torch.FloatTensor] = None head_mask: typing.Optional[torch.Tensor] = None cross_attn_head_mask: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列標記的索引。預設情況下，填充將被忽略。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力的掩碼。掩碼值選自[0, 1]：- 1 表示標記未被遮蔽，
- 0 表示標記已被遮蔽。
- encoder_hidden_states (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 編碼器最後一層輸出的隱藏狀態序列。如果模型配置為解碼器，則在交叉注意力中使用。 - encoder_attention_mask (
torch.FloatTensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對編碼器輸入的填充標記索引執行注意力的掩碼。如果模型配置為解碼器，則此掩碼用於交叉注意力。掩碼值選自[0, 1]：- 1 表示標記未被遮蔽，
- 0 表示標記已被遮蔽。
- head_mask (
torch.Tensor，形狀為(num_heads,)或(num_layers, num_heads)，可選) — 用於置零自注意力模組中選定頭的掩碼。掩碼值選自[0, 1]：- 1 表示頭未被遮蔽，
- 0 表示頭已被遮蔽。
- cross_attn_head_mask (
torch.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於置零交叉注意力模組中選定頭的掩碼。掩碼值選自[0, 1]：- 1 表示頭未被遮蔽，
- 0 表示頭已被遮蔽。
- past_key_values (
list[torch.FloatTensor]，可選) — 預計算的隱藏狀態（自注意力和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包括模型在解碼的前一階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 一個長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量。這也稱為舊版快取格式。
模型將輸出與輸入相同的快取格式。如果沒有傳遞
past_key_values，將返回舊版快取格式。如果使用
past_key_values，使用者可以選擇只輸入形狀為(batch_size, 1)的最後一個input_ids（那些沒有將其過去鍵值狀態提供給此模型的 ID），而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — （可選）您可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果您希望對如何將input_ids索引轉換為關聯向量進行更多控制，而不是使用模型的內部嵌入查詢矩陣，這會很有用。 - labels (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在[0, ..., config.vocab_size]或 -100 之間（請參閱input_ids文件字串）。索引設定為-100的標記將被忽略（遮蔽），損失僅對標籤在[0, ..., config.vocab_size]範圍內的標記計算。 - use_cache (
bool，可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼（請參閱past_key_values）。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。 - cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 描述輸入序列標記在序列中位置的索引。與position_ids相反，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），根據配置 (BlenderbotSmallConfig) 和輸入包含不同的元素。
-
loss (
torch.FloatTensor形狀為(1,)，可選，當提供labels時返回) — 語言建模損失（用於下一個 token 預測）。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
hidden_states (
tuple(torch.FloatTensor)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，+ 每個層一個輸出），形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的交叉注意力權重，用於計算交叉注意力頭中的加權平均。
-
past_key_values (
Cache，可選，在傳遞use_cache=True或config.use_cache=True時返回) — 這是一個 Cache 例項。更多詳情，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。
BlenderbotSmallForCausalLM 的 forward 方法會覆蓋 __call__ 特殊方法。
雖然前向傳遞的邏輯需要在此函式內定義，但之後應該呼叫 Module 例項而不是這個函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
示例
>>> from transformers import AutoTokenizer, BlenderbotSmallForCausalLM
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/blenderbot_small-90M")
>>> model = BlenderbotSmallForCausalLM.from_pretrained("facebook/blenderbot_small-90M", add_cross_attention=False)
>>> assert model.config.is_decoder, f"{model.__class__} has to be configured as a decoder."
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs)
>>> logits = outputs.logits
>>> expected_shape = [1, inputs.input_ids.shape[-1], model.config.vocab_size]
>>> list(logits.shape) == expected_shape
TrueTFBlenderbotSmallModel
class transformers.TFBlenderbotSmallModel
< 原始碼 >( config: BlenderbotSmallConfig *inputs **kwargs )
引數
- config (BlenderbotSmallConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請查閱 from_pretrained() 方法來載入模型權重。
裸 BLENDERBOT_SMALL 模型，輸出原始隱藏狀態，頂部沒有任何特定的頭。此模型繼承自 TFPreTrainedModel。請查閱超類文件，瞭解庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭等）。
此模型也是一個 keras.Model 子類。可以像常規 TF 2.0 Keras 模型一樣使用它，並參考 TF 2.0 文件瞭解所有與一般用法和行為相關的事項。
transformers 中的 TensorFlow 模型和層接受兩種輸入格式
- 所有輸入作為關鍵字引數（如 PyTorch 模型），或
- 所有輸入作為第一個位置引數中的列表、元組或字典。
支援第二種格式的原因是 Keras 方法在向模型和層傳遞輸入時更喜歡這種格式。由於這種支援，當使用像 `model.fit()` 這樣的方法時，事情應該對您“開箱即用”——只需以 `model.fit()` 支援的任何格式傳遞您的輸入和標籤！但是，如果您想在 Keras 方法（如 `fit()` 和 `predict()`）之外使用第二種格式，例如在使用 Keras `Functional` API 建立自己的層或模型時，有三種可能性可以用來將所有輸入張量收集到第一個位置引數中
- 只有一個
input_ids的單個張量，沒有其他：model(input_ids) - 長度可變的列表，包含一個或多個輸入張量，按文件字串中給出的順序：
model([input_ids, attention_mask])或model([input_ids, attention_mask, token_type_ids]) - 一個字典，其中包含一個或多個與文件字串中給出的輸入名稱關聯的輸入張量：
model({"input_ids": input_ids, "token_type_ids": token_type_ids})
請注意，當使用子類化建立模型和層時，您無需擔心任何這些問題，因為您可以像呼叫任何其他 Python 函式一樣傳遞輸入！
呼叫
< 原始碼 >( input_ids: tf.Tensor | None = None attention_mask: tf.Tensor | None = None decoder_input_ids: tf.Tensor | None = None decoder_attention_mask: tf.Tensor | None = None decoder_position_ids: tf.Tensor | None = None head_mask: tf.Tensor | None = None decoder_head_mask: tf.Tensor | None = None cross_attn_head_mask: tf.Tensor | None = None encoder_outputs: Optional[Union[tuple, TFBaseModelOutput]] = None past_key_values: list[tf.Tensor] | None = None inputs_embeds: tf.Tensor | None = None decoder_inputs_embeds: tf.Tensor | None = None use_cache: Optional[bool] = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: Optional[bool] = False **kwargs ) → transformers.modeling_tf_outputs.TFSeq2SeqModelOutput 或 tuple(tf.Tensor)
引數
- input_ids (
tf.Tensor，形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
tf.Tensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力的掩碼。掩碼值選自[0, 1]：- 1 表示標記未被遮蔽，
- 0 表示標記已被遮蔽。
- decoder_input_ids (
tf.Tensor，形狀為(batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列標記的索引。索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
BlenderbotSmall 使用
bos_token_id作為生成decoder_input_ids的起始標記。如果使用past_key_values，則可以選擇只輸入最後一個decoder_input_ids（請參閱past_key_values）。 - decoder_attention_mask (
tf.Tensor，形狀為(batch_size, target_sequence_length)，可選) — 預設情況下會建立並忽略填充標記（pad token）。對於大多數用例，不建議設定此項。 - decoder_position_ids (
tf.Tensor，形狀為(batch_size, sequence_length)，可選) — 解碼器每個輸入序列標記在位置嵌入中的位置索引。取值範圍為[0, config.max_position_embeddings - 1]。 - head_mask (
tf.Tensor，形狀為(encoder_layers, encoder_attention_heads)，可選) — 用於置零編碼器中注意力模組選定頭的掩碼。掩碼值選自[0, 1]：- 1 表示頭未被遮蓋，
- 0 表示頭被遮蓋。
- decoder_head_mask (
tf.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於置零解碼器中注意力模組選定頭的掩碼。掩碼值選自[0, 1]：- 1 表示頭未被遮蓋，
- 0 表示頭被遮蓋。
- cross_attn_head_mask (
tf.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於置零交叉注意力模組選定頭的掩碼。掩碼值選自[0, 1]：- 1 表示頭未被遮蓋，
- 0 表示頭被遮蓋。
- encoder_outputs (
tf.FloatTensor，可選) — 編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。形狀為(batch_size, sequence_length, hidden_size)。 - past_key_values (長度為
config.n_layers的tuple[tuple[tf.Tensor]]) — 包含預計算的注意力塊的鍵和值隱藏狀態。可用於加速解碼。如果使用past_key_values，使用者可以選擇只輸入最後一個decoder_input_ids（那些尚未為其提供過去鍵值狀態的標記），其形狀為(batch_size, 1)，而不是所有形狀為(batch_size, sequence_length)的decoder_input_ids。 - use_cache (
bool，可選，預設為True) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。訓練時設定為False，生成時設定為True。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。此引數只能在 Eager 模式下使用，在圖模式下將使用配置中的值。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。此引數只能在 Eager 模式下使用，在圖模式下將使用配置中的值。 - return_dict (
bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。此引數可以在 Eager 模式下使用，在圖模式下該值將始終設定為 True。 - training (
bool，可選，預設為False) — 是否在訓練模式下使用模型（某些模組如 dropout 在訓練和評估之間有不同的行為）。
返回
transformers.modeling_tf_outputs.TFSeq2SeqModelOutput 或 tuple(tf.Tensor)
一個 transformers.modeling_tf_outputs.TFSeq2SeqModelOutput 或一個 tf.Tensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），包含根據配置 (BlenderbotSmallConfig) 和輸入而定的各種元素。
-
last_hidden_state (形狀為
(batch_size, sequence_length, hidden_size)的tf.Tensor) — 模型解碼器最後一層輸出的隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
past_key_values (
list[tf.Tensor]，可選，在傳遞use_cache=True或config.use_cache=True時返回) — 長度為config.n_layers的tf.Tensor列表，其中每個張量的形狀為(2, batch_size, num_heads, sequence_length, embed_size_per_head))。包含解碼器注意力塊的預計算隱藏狀態（鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(tf.Tensor)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —tf.Tensor的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(tf.Tensor)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) —tf.Tensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(tf.Tensor)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) —tf.Tensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (形狀為
(batch_size, sequence_length, hidden_size)的tf.Tensor, 可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(tf.Tensor)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —tf.Tensor的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(tf.Tensor)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) —tf.Tensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
TFBlenderbotSmallModel 的前向方法，重寫了 __call__ 特殊方法。
雖然前向傳遞的邏輯需要在此函式內定義，但之後應該呼叫 Module 例項而不是這個函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
示例
>>> from transformers import AutoTokenizer, TFBlenderbotSmallModel
>>> import tensorflow as tf
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/blenderbot_small-90M")
>>> model = TFBlenderbotSmallModel.from_pretrained("facebook/blenderbot_small-90M")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="tf")
>>> outputs = model(inputs)
>>> last_hidden_states = outputs.last_hidden_stateTFBlenderbotSmallForConditionalGeneration
class transformers.TFBlenderbotSmallForConditionalGeneration
< source >( config *inputs **kwargs )
引數
- config (BlenderbotSmallConfig) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
帶語言建模頭的 BLENDERBOT_SMALL 模型。可用於摘要任務。該模型繼承自 TFPreTrainedModel。請檢視超類文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪注意力頭等）。
此模型也是一個 keras.Model 子類。可以像常規 TF 2.0 Keras 模型一樣使用它，並參考 TF 2.0 文件瞭解所有與一般用法和行為相關的事項。
transformers 中的 TensorFlow 模型和層接受兩種輸入格式
- 所有輸入作為關鍵字引數（如 PyTorch 模型），或
- 所有輸入作為第一個位置引數中的列表、元組或字典。
支援第二種格式的原因是 Keras 方法在向模型和層傳遞輸入時更喜歡這種格式。由於這種支援，當使用像 `model.fit()` 這樣的方法時，事情應該對您“開箱即用”——只需以 `model.fit()` 支援的任何格式傳遞您的輸入和標籤！但是，如果您想在 Keras 方法（如 `fit()` 和 `predict()`）之外使用第二種格式，例如在使用 Keras `Functional` API 建立自己的層或模型時，有三種可能性可以用來將所有輸入張量收集到第一個位置引數中
- 只有一個
input_ids的單個張量，沒有其他：model(input_ids) - 長度可變的列表，包含一個或多個輸入張量，按文件字串中給出的順序：
model([input_ids, attention_mask])或model([input_ids, attention_mask, token_type_ids]) - 一個字典，其中包含一個或多個與文件字串中給出的輸入名稱關聯的輸入張量：
model({"input_ids": input_ids, "token_type_ids": token_type_ids})
請注意，當使用子類化建立模型和層時，您無需擔心任何這些問題，因為您可以像呼叫任何其他 Python 函式一樣傳遞輸入！
呼叫
< source >( input_ids: tf.Tensor | None = None attention_mask: tf.Tensor | None = None decoder_input_ids: tf.Tensor | None = None decoder_attention_mask: tf.Tensor | None = None decoder_position_ids: tf.Tensor | None = None head_mask: tf.Tensor | None = None decoder_head_mask: tf.Tensor | None = None cross_attn_head_mask: tf.Tensor | None = None encoder_outputs: Optional[TFBaseModelOutput] = None past_key_values: list[tf.Tensor] | None = None inputs_embeds: tf.Tensor | None = None decoder_inputs_embeds: tf.Tensor | None = None use_cache: Optional[bool] = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None labels: tf.Tensor | None = None training: Optional[bool] = False ) → transformers.modeling_tf_outputs.TFSeq2SeqLMOutput or tuple(tf.Tensor)
引數
- input_ids (
tf.Tensor，形狀為({0})) — 詞彙表中輸入序列標記的索引。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
tf.Tensor，形狀為({0})，可選) — 用於避免在填充標記索引上執行注意力的掩碼。掩碼值選自[0, 1]：- 1 表示標記未被遮蓋，
- 0 表示標記被遮蓋。
- decoder_input_ids (
tf.Tensor，形狀為(batch_size, target_sequence_length)，可選) — 詞彙表中解碼器輸入序列標記的索引。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
BlenderbotSmall 使用
bos_token_id作為生成decoder_input_ids的起始標記。如果使用past_key_values，可以選擇只輸入最後的decoder_input_ids（參見past_key_values）。 - decoder_attention_mask (
tf.Tensor，形狀為(batch_size, target_sequence_length)，可選) — 預設情況下會建立並忽略填充標記（pad token）。對於大多數用例，不建議設定此項。 - decoder_position_ids (
tf.Tensor，形狀為(batch_size, sequence_length)，可選) — 解碼器每個輸入序列標記在位置嵌入中的位置索引。取值範圍為[0, config.max_position_embeddings - 1]。 - head_mask (
tf.Tensor，形狀為(encoder_layers, encoder_attention_heads)，可選) — 用於置零編碼器中注意力模組選定頭的掩碼。掩碼值選自[0, 1]：- 1 表示頭未被遮蓋，
- 0 表示頭被遮蓋。
- decoder_head_mask (
tf.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於置零解碼器中注意力模組選定頭的掩碼。掩碼值選自[0, 1]：- 1 表示頭未被遮蓋，
- 0 表示頭被遮蓋。
- cross_attn_head_mask (
tf.Tensor，形狀為(decoder_layers, decoder_attention_heads)，可選) — 用於置零交叉注意力模組選定頭的掩碼。掩碼值選自[0, 1]：- 1 表示頭未被遮蓋，
- 0 表示頭被遮蓋。
- encoder_outputs (
tf.FloatTensor，可選) — 編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。形狀為(batch_size, sequence_length, hidden_size)。 - past_key_values (長度為
config.n_layers的tuple[tuple[tf.Tensor]]) — 包含預計算的注意力塊的鍵和值隱藏狀態。可用於加速解碼。如果使用past_key_values，使用者可以選擇只輸入最後一個decoder_input_ids（那些尚未為其提供過去鍵值狀態的標記），其形狀為(batch_size, 1)，而不是所有形狀為(batch_size, sequence_length)的decoder_input_ids。 - use_cache (
bool，可選，預設為True) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。訓練時設定為False，生成時設定為True。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。此引數只能在 Eager 模式下使用，在圖模式下將使用配置中的值。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。此引數只能在 Eager 模式下使用，在圖模式下將使用配置中的值。 - return_dict (
bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。此引數可以在 Eager 模式下使用，在圖模式下該值將始終設定為 True。 - training (
bool，可選，預設為False) — 是否在訓練模式下使用模型（某些模組如 dropout 在訓練和評估之間有不同的行為）。 - labels (
tf.tensor，形狀為(batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在[0, ..., config.vocab_size]或 -100 之間（參見input_ids文件字串）。索引設定為-100的標記將被忽略（遮蓋），損失僅對標籤在[0, ..., config.vocab_size]內的標記計算。
返回
transformers.modeling_tf_outputs.TFSeq2SeqLMOutput 或 tuple(tf.Tensor)
一個 transformers.modeling_tf_outputs.TFSeq2SeqLMOutput 或一個 tf.Tensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），包含根據配置 (BlenderbotSmallConfig) 和輸入而定的各種元素。
-
loss (形狀為
(n,)的tf.Tensor, 可選, 其中 n 是非掩碼標籤的數量，當提供labels時返回) — 語言建模損失。 -
logits (
tf.Tensorof shape(batch_size, sequence_length, config.vocab_size)) — 語言模型頭部的預測分數（SoftMax 之前每個詞彙標記的分數）。 -
past_key_values (
list[tf.Tensor]，可選，在傳遞use_cache=True或config.use_cache=True時返回) — 長度為config.n_layers的tf.Tensor列表，其中每個張量的形狀為(2, batch_size, num_heads, sequence_length, embed_size_per_head))。包含解碼器注意力塊的預計算隱藏狀態（鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(tf.Tensor)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —tf.Tensor的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(tf.Tensor)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) —tf.Tensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(tf.Tensor)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) —tf.Tensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (形狀為
(batch_size, sequence_length, hidden_size)的tf.Tensor, 可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(tf.Tensor)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —tf.Tensor的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(tf.Tensor)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) —tf.Tensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
TFBlenderbotSmallForConditionalGeneration 的前向方法，重寫了 __call__ 特殊方法。
雖然前向傳遞的邏輯需要在此函式內定義，但之後應該呼叫 Module 例項而不是這個函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
對話示例：
>>> from transformers import AutoTokenizer, TFBlenderbotSmallForConditionalGeneration
>>> mname = "facebook/blenderbot_small-90M"
>>> model = BlenderbotSmallForConditionalGeneration.from_pretrained(mname)
>>> tokenizer = AutoTokenizer.from_pretrained(mname)
>>> UTTERANCE = "My friends are cool but they eat too many carbs."
>>> print("Human: ", UTTERANCE)
>>> inputs = tokenizer([UTTERANCE], return_tensors="tf")
>>> reply_ids = model.generate(**inputs)
>>> print("Bot: ", tokenizer.batch_decode(reply_ids, skip_special_tokens=True)[0])
what kind of carbs do they eat? i don't know much about carbs.
>>> REPLY = "I'm not sure"
>>> print("Human: ", REPLY)
>>> NEXT_UTTERANCE = (
... "My friends are cool but they eat too many carbs.</s> "
... "<s>what kind of carbs do they eat? i don't know much about carbs.</s> "
... "<s>I'm not sure."
... )
>>> inputs = tokenizer([NEXT_UTTERANCE], return_tensors="tf")
>>> inputs.pop("token_type_ids")
>>> next_reply_ids = model.generate(**inputs)
>>> print("Bot: ", tokenizer.batch_decode(next_reply_ids, skip_special_tokens=True)[0])FlaxBlenderbotSmallModel
class transformers.FlaxBlenderbotSmallModel
< source >( config: BlenderbotSmallConfig input_shape: tuple = (1, 1) seed: int = 0 dtype: dtype = <class 'jax.numpy.float32'> _do_init: bool = True **kwargs )
引數
- config (BlenderbotSmallConfig) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
- dtype (
jax.numpy.dtype，可選，預設為jax.numpy.float32) — 計算的資料型別。可以是jax.numpy.float32、jax.numpy.float16（在 GPU 上）和jax.numpy.bfloat16（在 TPU 上）。這可用於在 GPU 或 TPU 上啟用混合精度訓練或半精度推理。如果指定，所有計算都將使用給定的
dtype進行。請注意，這僅指定計算的 dtype，不影響模型引數的 dtype。
基礎的 BlenderbotSmall Transformer 模型，輸出原始的隱藏狀態，頂部沒有任何特定的頭。該模型繼承自 FlaxPreTrainedModel。請檢視超類文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪注意力頭等）。
該模型也是 Flax Linen flax.nn.Module 的子類。可以像常規 Flax 模組一樣使用它，並參考 Flax 文件瞭解所有與通用用法和行為相關的事項。
最後，此模型支援固有的 JAX 功能，例如
__call__
< source >( input_ids: Array attention_mask: typing.Optional[jax.Array] = None decoder_input_ids: typing.Optional[jax.Array] = None decoder_attention_mask: typing.Optional[jax.Array] = None position_ids: typing.Optional[jax.Array] = None decoder_position_ids: typing.Optional[jax.Array] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None train: bool = False params: typing.Optional[dict] = None dropout_rng: <function PRNGKey at 0x7effc7ad3a30> = None ) → transformers.modeling_flax_outputs.FlaxSeq2SeqModelOutput or tuple(torch.FloatTensor)
返回
transformers.modeling_flax_outputs.FlaxSeq2SeqModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_flax_outputs.FlaxSeq2SeqModelOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），包含根據配置 (BlenderbotSmallConfig) 和輸入而定的各種元素。
-
last_hidden_state (形狀為
(batch_size, sequence_length, hidden_size)的jnp.ndarray) — 模型解碼器最後一層輸出的隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
past_key_values (
tuple(tuple(jnp.ndarray))，可選，在傳遞use_cache=True或config.use_cache=True時返回) — 長度為config.n_layers的 `tuple(tuple(jnp.ndarray))`，每個元組包含兩個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量，以及兩個額外的形狀為 `(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)` 的張量。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(jnp.ndarray)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) — `jnp.ndarray` 的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(jnp.ndarray)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) — `jnp.ndarray` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(jnp.ndarray)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) — `jnp.ndarray` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (形狀為
(batch_size, sequence_length, hidden_size)的jnp.ndarray，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(jnp.ndarray)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) — `jnp.ndarray` 的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(jnp.ndarray)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) — `jnp.ndarray` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
示例
>>> from transformers import AutoTokenizer, FlaxBlenderbotSmallModel
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/blenderbot_small-90M")
>>> model = FlaxBlenderbotSmallModel.from_pretrained("facebook/blenderbot_small-90M")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="jax")
>>> outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state編碼
< source >( input_ids: Array attention_mask: typing.Optional[jax.Array] = None position_ids: typing.Optional[jax.Array] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None train: bool = False params: typing.Optional[dict] = None dropout_rng: <function PRNGKey at 0x7effc7ad3a30> = None ) → transformers.modeling_flax_outputs.FlaxBaseModelOutput or tuple(torch.FloatTensor)
引數
- input_ids (
jnp.ndarray，形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。如果您提供了填充，預設情況下將被忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
jnp.ndarray，形狀為(batch_size, sequence_length)，可選) — 用於避免在填充標記索引上執行注意力的掩碼。掩碼值選自[0, 1]：- 1 表示標記未被遮蓋，
- 0 表示標記被遮蓋。
- position_ids (
numpy.ndarray，形狀為(batch_size, sequence_length)，可選) — 每個輸入序列標記在位置嵌入中的位置索引。取值範圍為[0, config.max_position_embeddings - 1]。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_flax_outputs.FlaxBaseModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_flax_outputs.FlaxBaseModelOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），包含根據配置 (<class 'transformers.models.blenderbot_small.configuration_blenderbot_small.BlenderbotSmallConfig'>) 和輸入而定的各種元素。
-
last_hidden_state (形狀為
(batch_size, sequence_length, hidden_size)的jnp.ndarray) — 模型最後一層輸出的隱藏狀態序列。 -
hidden_states (
tuple(jnp.ndarray)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) — `jnp.ndarray` 的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。模型在每個層輸出的隱藏狀態加上初始嵌入輸出。
-
attentions (
tuple(jnp.ndarray)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) — `jnp.ndarray` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
示例
>>> from transformers import AutoTokenizer, FlaxBlenderbotSmallForConditionalGeneration
>>> model = FlaxBlenderbotSmallForConditionalGeneration.from_pretrained("facebook/blenderbot_small-90M")
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/blenderbot_small-90M")
>>> text = "My friends are cool but they eat too many carbs."
>>> inputs = tokenizer(text, max_length=1024, return_tensors="np")
>>> encoder_outputs = model.encode(**inputs)decode
< source >( decoder_input_ids encoder_outputs encoder_attention_mask: typing.Optional[jax.Array] = None decoder_attention_mask: typing.Optional[jax.Array] = None decoder_position_ids: typing.Optional[jax.Array] = None past_key_values: typing.Optional[dict] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None train: bool = False params: typing.Optional[dict] = None dropout_rng: <function PRNGKey at 0x7effc7ad3a30> = None ) → transformers.modeling_flax_outputs.FlaxBaseModelOutputWithPastAndCrossAttentions 或 tuple(torch.FloatTensor)
引數
- decoder_input_ids (
jnp.ndarray，形狀為(batch_size, target_sequence_length)) — 解碼器輸入序列中詞元在詞彙表中的索引。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
對於翻譯和摘要訓練，應提供 `decoder_input_ids`。如果未提供 `decoder_input_ids`，模型將按照論文中的去噪預訓練方法，透過將 `input_ids` 右移來建立此張量。
- encoder_outputs (
tuple(tuple(jnp.ndarray))) — 元組包含 (last_hidden_state, *可選*:hidden_states, *可選*:attentions)。形狀為 `(batch_size, sequence_length, hidden_size)` 的 `last_hidden_state`，*可選*）是編碼器最後一層輸出的一系列隱藏狀態。用於解碼器的交叉注意力機制。 - encoder_attention_mask (
jnp.ndarray，形狀為(batch_size, sequence_length)，*可選*) — 用於避免對填充詞元索引執行注意力的掩碼。掩碼值選自 `[0, 1]`：- 1 表示**未被遮蔽**的詞元，
- 0 表示**被遮蔽**的詞元。
- decoder_attention_mask (
jnp.ndarray，形狀為 `(batch_size, target_sequence_length)`，*可選*) — 預設行為：生成一個忽略 `decoder_input_ids` 中填充詞元的張量。預設情況下也會使用因果掩碼。如果你想改變填充行為，應根據需要進行修改。有關預設策略的更多資訊，請參閱論文中的圖1。
- decoder_position_ids (
numpy.ndarray，形狀為(batch_size, sequence_length)，*可選*) — 位置嵌入中每個解碼器輸入序列詞元的位置索引。選自 `[0, config.max_position_embeddings - 1]` 範圍。 - past_key_values (
dict[str, np.ndarray]，*可選*，由 `init_cache` 返回或在傳遞先前的 `past_key_values` 時返回) — 預計算的隱藏狀態（注意力塊中的鍵和值）字典，可用於快速自迴歸解碼。預計算的鍵和值隱藏狀態的形狀為 *[batch_size, max_length]*。 - output_attentions (
bool, *可選*) — 是否返回所有注意力層的注意力張量。更多細節請參見返回張量下的 `attentions`。 - output_hidden_states (
bool, *可選*) — 是否返回所有層的隱藏狀態。更多細節請參見返回張量下的 `hidden_states`。 - return_dict (
bool, *可選*) — 是返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_flax_outputs.FlaxBaseModelOutputWithPastAndCrossAttentions 或 tuple(torch.FloatTensor)
一個 transformers.modeling_flax_outputs.FlaxBaseModelOutputWithPastAndCrossAttentions 或一個 torch.FloatTensor 元組（如果傳遞了 `return_dict=False` 或當 `config.return_dict=False` 時），根據配置（`<class 'transformers.models.blenderbot_small.configuration_blenderbot_small.BlenderbotSmallConfig'>`）和輸入包含各種元素。
-
last_hidden_state (形狀為
(batch_size, sequence_length, hidden_size)的jnp.ndarray) — 模型最後一層輸出的隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
past_key_values (
tuple(tuple(jnp.ndarray)), *可選*，當傳遞 `use_cache=True` 或 `config.use_cache=True` 時返回) — 長度為 `config.n_layers` 的 `tuple(jnp.ndarray)` 元組，其中每個元組包含2個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量，如果 `config.is_encoder_decoder=True`，則還可選地包含2個額外的形狀為 `(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)` 的張量。包含預計算的隱藏狀態（自注意力塊中的鍵和值，以及如果 `config.is_encoder_decoder=True` 時在交叉注意力塊中的鍵和值），可用於（參見 `past_key_values` 輸入）加速序列解碼。
-
hidden_states (
tuple(jnp.ndarray)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) — `jnp.ndarray` 的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。模型在每個層輸出的隱藏狀態加上初始嵌入輸出。
-
attentions (
tuple(jnp.ndarray)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) — `jnp.ndarray` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
-
cross_attentions (
tuple(jnp.ndarray), *可選*，當 `output_attentions=True` 和 `config.add_cross_attention=True` 被傳遞或當 `config.output_attentions=True` 時返回) — `jnp.ndarray` 元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
示例
>>> import jax.numpy as jnp
>>> from transformers import AutoTokenizer, FlaxBlenderbotSmallForConditionalGeneration
>>> model = FlaxBlenderbotSmallForConditionalGeneration.from_pretrained("facebook/blenderbot_small-90M")
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/blenderbot_small-90M")
>>> text = "My friends are cool but they eat too many carbs."
>>> inputs = tokenizer(text, max_length=1024, return_tensors="np")
>>> encoder_outputs = model.encode(**inputs)
>>> decoder_start_token_id = model.config.decoder_start_token_id
>>> decoder_input_ids = jnp.ones((inputs.input_ids.shape[0], 1), dtype="i4") * decoder_start_token_id
>>> outputs = model.decode(decoder_input_ids, encoder_outputs)
>>> last_decoder_hidden_states = outputs.last_hidden_stateFlaxBlenderbotForConditionalGeneration
class transformers.FlaxBlenderbotSmallForConditionalGeneration
< 原始碼 >( config: BlenderbotSmallConfig input_shape: tuple = (1, 1) seed: int = 0 dtype: dtype = <class 'jax.numpy.float32'> _do_init: bool = True **kwargs )
引數
- config (BlenderbotSmallConfig) — 包含模型所有引數的模型配置類。用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。
- dtype (`jax.numpy.dtype`, *可選*, 預設為 `jax.numpy.float32`) — 計算的資料型別。可以是 `jax.numpy.float32`、`jax.numpy.float16`（在GPU上）和 `jax.numpy.bfloat16`（在TPU上）。
這可以用於在GPU或TPU上啟用混合精度訓練或半精度推理。如果指定，所有計算都將使用給定的 `dtype` 執行。
請注意，這僅指定計算的資料型別，不影響模型引數的資料型別。
帶有語言模型頭的BLENDERBOT_SMALL模型。可用於摘要任務。該模型繼承自FlaxPreTrainedModel。請檢視超類文件，瞭解庫為所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
該模型也是 Flax Linen flax.nn.Module 的子類。可以像常規 Flax 模組一樣使用它，並參考 Flax 文件瞭解所有與通用用法和行為相關的事項。
最後，此模型支援固有的 JAX 功能，例如
__call__
< 原始碼 >( input_ids: Array attention_mask: typing.Optional[jax.Array] = None decoder_input_ids: typing.Optional[jax.Array] = None decoder_attention_mask: typing.Optional[jax.Array] = None position_ids: typing.Optional[jax.Array] = None decoder_position_ids: typing.Optional[jax.Array] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None train: bool = False params: typing.Optional[dict] = None dropout_rng: <function PRNGKey at 0x7effc7ad3a30> = None ) → transformers.modeling_flax_outputs.FlaxSeq2SeqLMOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
jnp.ndarray，形狀為(batch_size, sequence_length)) — 輸入序列中詞元在詞彙表中的索引。如果提供，填充部分預設將被忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
jnp.ndarray，形狀為(batch_size, sequence_length)，*可選*) — 用於避免對填充詞元索引執行注意力的掩碼。掩碼值選自 `[0, 1]`：- 1 表示**未被遮蔽**的詞元，
- 0 表示**被遮蔽**的詞元。
- decoder_input_ids (
jnp.ndarray，形狀為(batch_size, target_sequence_length)，*可選*) — 解碼器輸入序列中詞元在詞彙表中的索引。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
對於翻譯和摘要訓練，應提供 `decoder_input_ids`。如果未提供 `decoder_input_ids`，模型將按照論文中的去噪預訓練方法，透過將 `input_ids` 右移來建立此張量。
- decoder_attention_mask (
jnp.ndarray，形狀為 `(batch_size, target_sequence_length)`，*可選*) — 預設行為：生成一個忽略 `decoder_input_ids` 中填充詞元的張量。預設情況下也會使用因果掩碼。如果你想改變填充行為，應根據需要進行修改。有關預設策略的更多資訊，請參閱論文中的圖1。
- position_ids (
numpy.ndarray，形狀為(batch_size, sequence_length)，*可選*) — 位置嵌入中每個輸入序列詞元的位置索引。選自 `[0, config.max_position_embeddings - 1]` 範圍。 - decoder_position_ids (
numpy.ndarray，形狀為(batch_size, sequence_length)，*可選*) — 位置嵌入中每個解碼器輸入序列詞元的位置索引。選自 `[0, config.max_position_embeddings - 1]` 範圍。 - output_attentions (
bool, *可選*) — 是否返回所有注意力層的注意力張量。更多細節請參見返回張量下的 `attentions`。 - output_hidden_states (
bool, *可選*) — 是否返回所有層的隱藏狀態。更多細節請參見返回張量下的 `hidden_states`。 - return_dict (
bool, *可選*) — 是返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_flax_outputs.FlaxSeq2SeqLMOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_flax_outputs.FlaxSeq2SeqLMOutput 或一個 torch.FloatTensor 元組（如果傳遞了 `return_dict=False` 或當 `config.return_dict=False` 時），根據配置（BlenderbotSmallConfig）和輸入包含各種元素。
-
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的jnp.ndarray) — 語言建模頭的預測分數（SoftMax 之前每個詞彙 token 的分數）。 -
past_key_values (
tuple(tuple(jnp.ndarray))，可選，在傳遞use_cache=True或config.use_cache=True時返回) — 長度為config.n_layers的 `tuple(tuple(jnp.ndarray))`，每個元組包含兩個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量，以及兩個額外的形狀為 `(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)` 的張量。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(jnp.ndarray)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) — `jnp.ndarray` 的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(jnp.ndarray)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) — `jnp.ndarray` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(jnp.ndarray)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) — `jnp.ndarray` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (形狀為
(batch_size, sequence_length, hidden_size)的jnp.ndarray，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(jnp.ndarray)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) — `jnp.ndarray` 的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(jnp.ndarray)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) — `jnp.ndarray` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
`FlaxBlenderbotSmallPreTrainedModel` 的前向方法，重寫了 `__call__` 特殊方法。
雖然前向傳遞的邏輯需要在此函式內定義，但之後應該呼叫 Module 例項而不是這個函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
摘要示例
>>> from transformers import AutoTokenizer, FlaxBlenderbotSmallForConditionalGeneration
>>> model = FlaxBlenderbotSmallForConditionalGeneration.from_pretrained("facebook/blenderbot_small-90M")
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/blenderbot_small-90M")
>>> ARTICLE_TO_SUMMARIZE = "My friends are cool but they eat too many carbs."
>>> inputs = tokenizer([ARTICLE_TO_SUMMARIZE], max_length=1024, return_tensors="np")
>>> # Generate Summary
>>> summary_ids = model.generate(inputs["input_ids"]).sequences
>>> print(tokenizer.batch_decode(summary_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False))掩碼填充示例
>>> from transformers import AutoTokenizer, FlaxBlenderbotSmallForConditionalGeneration
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/blenderbot_small-90M")
>>> TXT = "My friends are <mask> but they eat too many carbs."
>>> model = FlaxBlenderbotSmallForConditionalGeneration.from_pretrained("facebook/blenderbot_small-90M")
>>> input_ids = tokenizer([TXT], return_tensors="np")["input_ids"]
>>> logits = model(input_ids).logits
>>> masked_index = (input_ids[0] == tokenizer.mask_token_id).nonzero().item()
>>> probs = jax.nn.softmax(logits[0, masked_index], axis=0)
>>> values, predictions = jax.lax.top_k(probs)
>>> tokenizer.decode(predictions).split()編碼
< 原始碼 >( input_ids: Array attention_mask: typing.Optional[jax.Array] = None position_ids: typing.Optional[jax.Array] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None train: bool = False params: typing.Optional[dict] = None dropout_rng: <function PRNGKey at 0x7effc7ad3a30> = None ) → transformers.modeling_flax_outputs.FlaxBaseModelOutput or tuple(torch.FloatTensor)
引數
- input_ids (
jnp.ndarray，形狀為(batch_size, sequence_length)) — 輸入序列中詞元在詞彙表中的索引。如果提供，填充部分預設將被忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
jnp.ndarray，形狀為(batch_size, sequence_length)，*可選*) — 用於避免對填充詞元索引執行注意力的掩碼。掩碼值選自 `[0, 1]`：- 1 表示**未被遮蔽**的詞元，
- 0 表示**被遮蔽**的詞元。
- position_ids (
numpy.ndarray，形狀為(batch_size, sequence_length)，*可選*) — 位置嵌入中每個輸入序列詞元的位置索引。選自 `[0, config.max_position_embeddings - 1]` 範圍。 - output_attentions (
bool, *可選*) — 是否返回所有注意力層的注意力張量。更多細節請參見返回張量下的 `attentions`。 - output_hidden_states (
bool, *可選*) — 是否返回所有層的隱藏狀態。更多細節請參見返回張量下的 `hidden_states`。 - return_dict (
bool, *可選*) — 是返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_flax_outputs.FlaxBaseModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_flax_outputs.FlaxBaseModelOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），包含根據配置 (<class 'transformers.models.blenderbot_small.configuration_blenderbot_small.BlenderbotSmallConfig'>) 和輸入而定的各種元素。
-
last_hidden_state (形狀為
(batch_size, sequence_length, hidden_size)的jnp.ndarray) — 模型最後一層輸出的隱藏狀態序列。 -
hidden_states (
tuple(jnp.ndarray)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) — `jnp.ndarray` 的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。模型在每個層輸出的隱藏狀態加上初始嵌入輸出。
-
attentions (
tuple(jnp.ndarray)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) — `jnp.ndarray` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
示例
>>> from transformers import AutoTokenizer, FlaxBlenderbotSmallForConditionalGeneration
>>> model = FlaxBlenderbotSmallForConditionalGeneration.from_pretrained("facebook/blenderbot_small-90M")
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/blenderbot_small-90M")
>>> text = "My friends are cool but they eat too many carbs."
>>> inputs = tokenizer(text, max_length=1024, return_tensors="np")
>>> encoder_outputs = model.encode(**inputs)decode
< 原始碼 >( decoder_input_ids encoder_outputs encoder_attention_mask: typing.Optional[jax.Array] = None decoder_attention_mask: typing.Optional[jax.Array] = None decoder_position_ids: typing.Optional[jax.Array] = None past_key_values: typing.Optional[dict] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None deterministic: bool = True params: typing.Optional[dict] = None dropout_rng: <function PRNGKey at 0x7effc7ad3a30> = None ) → transformers.modeling_flax_outputs.FlaxCausalLMOutputWithCrossAttentions 或 tuple(torch.FloatTensor)
引數
- decoder_input_ids (
jnp.ndarray，形狀為(batch_size, target_sequence_length)) — 解碼器輸入序列中詞元在詞彙表中的索引。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
對於翻譯和摘要訓練，應提供 `decoder_input_ids`。如果未提供 `decoder_input_ids`，模型將按照論文中的去噪預訓練方法，透過將 `input_ids` 右移來建立此張量。
- encoder_outputs (
tuple(tuple(jnp.ndarray)) — 元組包含 (last_hidden_state, *可選*:hidden_states, *可選*:attentions)。形狀為 `(batch_size, sequence_length, hidden_size)` 的 `last_hidden_state`，*可選*）是編碼器最後一層輸出的一系列隱藏狀態。用於解碼器的交叉注意力機制。 - encoder_attention_mask (
jnp.ndarray，形狀為(batch_size, sequence_length)，*可選*) — 用於避免對填充詞元索引執行注意力的掩碼。掩碼值選自 `[0, 1]`：- 1 表示**未被遮蔽**的詞元，
- 0 表示**被遮蔽**的詞元。
- decoder_attention_mask (
jnp.ndarray，形狀為 `(batch_size, target_sequence_length)`，*可選*) — 預設行為：生成一個忽略 `decoder_input_ids` 中填充詞元的張量。預設情況下也會使用因果掩碼。如果你想改變填充行為，應根據需要進行修改。有關預設策略的更多資訊，請參閱論文中的圖1。
- decoder_position_ids (
numpy.ndarray，形狀為(batch_size, sequence_length)，*可選*) — 位置嵌入中每個解碼器輸入序列詞元的位置索引。選自 `[0, config.max_position_embeddings - 1]` 範圍。 - past_key_values (
dict[str, np.ndarray]，*可選*，由 `init_cache` 返回或在傳遞先前的 `past_key_values` 時返回) — 預計算的隱藏狀態（注意力塊中的鍵和值）字典，可用於快速自迴歸解碼。預計算的鍵和值隱藏狀態的形狀為 *[batch_size, max_length]*。 - output_attentions (
bool, *可選*) — 是否返回所有注意力層的注意力張量。更多細節請參見返回張量下的 `attentions`。 - output_hidden_states (
bool, *可選*) — 是否返回所有層的隱藏狀態。更多細節請參見返回張量下的 `hidden_states`。 - return_dict (
bool, *可選*) — 是返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_flax_outputs.FlaxCausalLMOutputWithCrossAttentions 或 tuple(torch.FloatTensor)
一個 transformers.modeling_flax_outputs.FlaxCausalLMOutputWithCrossAttentions 或一個 torch.FloatTensor 元組（如果傳遞了 `return_dict=False` 或當 `config.return_dict=False` 時），根據配置（`<class 'transformers.models.blenderbot_small.configuration_blenderbot_small.BlenderbotSmallConfig'>`）和輸入包含各種元素。
-
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的jnp.ndarray) — 語言建模頭的預測分數（SoftMax 之前每個詞彙 token 的分數）。 -
hidden_states (
tuple(jnp.ndarray)，可選，在傳遞output_hidden_states=True或config.output_hidden_states=True時返回) — `jnp.ndarray` 的元組（一個用於嵌入層的輸出 + 一個用於每層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。模型在每個層輸出的隱藏狀態加上初始嵌入輸出。
-
attentions (
tuple(jnp.ndarray)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) — `jnp.ndarray` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
-
cross_attentions (
tuple(jnp.ndarray)，可選，在傳遞output_attentions=True或config.output_attentions=True時返回) — `jnp.ndarray` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。注意力 softmax 後的交叉注意力權重，用於計算交叉注意力頭中的加權平均。
-
past_key_values (
tuple(tuple(jnp.ndarray)), *可選*，當傳遞 `use_cache=True` 或 `config.use_cache=True` 時返回) — 長度為 `config.n_layers` 的 `jnp.ndarray` 元組的元組，每個元組包含自注意力和交叉注意力層的快取鍵、值狀態（如果模型用於編碼器-解碼器設定）。僅在 `config.is_decoder = True` 時相關。包含預先計算的隱藏狀態（注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。
示例
>>> import jax.numpy as jnp
>>> from transformers import AutoTokenizer, FlaxBlenderbotSmallForConditionalGeneration
>>> model = FlaxBlenderbotSmallForConditionalGeneration.from_pretrained("facebook/blenderbot_small-90M")
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/blenderbot_small-90M")
>>> text = "My friends are cool but they eat too many carbs."
>>> inputs = tokenizer(text, max_length=1024, return_tensors="np")
>>> encoder_outputs = model.encode(**inputs)
>>> decoder_start_token_id = model.config.decoder_start_token_id
>>> decoder_input_ids = jnp.ones((inputs.input_ids.shape[0], 1), dtype="i4") * decoder_start_token_id
>>> outputs = model.decode(decoder_input_ids, encoder_outputs)
>>> logits = outputs.logits