引數

• sequences (Union[list[int], list[list[int]], np.ndarray, torch.Tensor, tf.Tensor]) — 標記化輸入 ID 列表。可以使用 __call__ 方法獲取。
• skip_special_tokens (bool, 可選, 預設值為 False) — 是否在解碼中移除特殊標記。
• clean_up_tokenization_spaces (bool, 可選) — 是否清理分詞空間。如果為 None，將預設為 self.clean_up_tokenization_spaces。
• kwargs (附加關鍵字引數，可選) — 將傳遞給底層模型特定解碼方法。

解碼後的句子列表。

引數

• token_ids (Union[int, list[int], np.ndarray, torch.Tensor, tf.Tensor]) — 標記化輸入 ID 列表。可以使用 __call__ 方法獲取。
• skip_special_tokens (bool, 可選, 預設值為 False) — 是否在解碼中移除特殊標記。
• clean_up_tokenization_spaces (bool, 可選) — 是否清理分詞空間。如果為 None，將預設為 self.clean_up_tokenization_spaces。
• kwargs (附加關鍵字引數，可選) — 將傳遞給底層模型特定解碼方法。

解碼後的句子。

引數

• pretrained_model_name_or_path (str 或 os.PathLike) — 這可以是以下之一：
  • 一個字串，託管在 huggingface.co 模型倉庫中的預訓練 feature_extractor 的模型 ID。
  • 一個目錄路徑，包含使用 save_pretrained() 方法儲存的特徵提取器檔案，例如 ./my_model_directory/。
  • 一個儲存的特徵提取器 JSON 檔案的路徑或 URL，例如 ./my_model_directory/preprocessor_config.json。
• **kwargs — 額外關鍵字引數，傳遞給 from_pretrained() 和 ~tokenization_utils_base.PreTrainedTokenizer.from_pretrained。

引數

• save_directory (str 或 os.PathLike) — 特徵提取器 JSON 檔案和分詞器檔案將儲存的目錄（如果目錄不存在則會建立）。
• push_to_hub (bool, 可選, 預設為 False) — 是否在儲存模型後將其推送到 Hugging Face 模型中心。你可以使用 repo_id 指定要推送到的倉庫（預設為你名稱空間中 save_directory 的名稱）。
• kwargs (dict[str, Any], 可選) — 傳遞給 push_to_hub() 方法的額外關鍵字引數。

引數

• input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)) — 詞彙表中輸入序列 token 的索引。如果提供了填充，預設情況下將被忽略。

  索引可以使用 Speech2Text2Tokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什麼是輸入 ID？

• attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 遮罩，用於避免在填充 token 索引上執行注意力。遮罩值在 [0, 1] 中選擇：
  • 1 表示 token 未被遮罩，
  • 0 表示 token 被遮罩。

  什麼是注意力遮罩？

• encoder_hidden_states (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 編碼器最後一層輸出的隱藏狀態序列。如果模型被配置為解碼器，則用於交叉注意力。
• encoder_attention_mask (torch.FloatTensor，形狀為 (batch_size, sequence_length)，可選) — 遮罩，用於避免在編碼器輸入填充 token 索引上執行注意力。如果模型被配置為解碼器，則此遮罩用於交叉注意力。遮罩值在 [0, 1] 中選擇：
• head_mask (torch.Tensor，形狀為 (decoder_layers, decoder_attention_heads)，可選) — 遮罩，用於將注意力模組中選定的頭部置空。遮罩值在 [0, 1] 中選擇：
  • 1 表示頭部未被遮罩，
  • 0 表示頭部被遮罩。
• cross_attn_head_mask (torch.Tensor，形狀為 (decoder_layers, decoder_attention_heads)，可選) — 遮罩，用於將交叉注意力模組中選定的頭部置空。遮罩值在 [0, 1] 中選擇：
  • 1 表示頭部未被遮罩，
  • 0 表示頭部被遮罩。
• past_key_values (tuple(tuple(torch.FloatTensor))，可選，當傳遞 use_cache=True 或 config.use_cache=True 時返回) — 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量，以及 2 個額外的形狀為 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的張量。只有當模型在序列到序列模型中用作解碼器時，才需要這兩個額外的張量。

  包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

  如果使用 past_key_values，使用者可以選擇僅輸入最後一個 decoder_input_ids（那些沒有將其過去鍵值狀態提供給此模型的）形狀為 (batch_size, 1)，而不是所有 decoder_input_ids 形狀為 (batch_size, sequence_length)。

• labels (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於計算遮罩語言建模損失的標籤。索引應在 [0, ..., config.vocab_size] 或 -100 中（參見 input_ids 文件字串）。索引設定為 -100 的 token 將被忽略（遮罩），損失僅針對標籤在 [0, ..., config.vocab_size] 中的 token 計算。
• use_cache (bool，可選) — 如果設定為 True，則返回 past_key_values 鍵值狀態，可用於加速解碼（參見 past_key_values）。
  • 1 表示 token 未被遮罩，
  • 0 表示 token 被遮罩。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通元組。

一個 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或 config.return_dict=False），包含根據配置 (Speech2Text2Config) 和輸入而定的各種元素。

• loss (torch.FloatTensor 形狀為 (1,)，可選，當提供 labels 時返回) — 語言建模損失（用於下一個 token 預測）。

• logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。

• hidden_states (tuple(torch.FloatTensor)，可選，當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 元組（一個用於嵌入層輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple(torch.FloatTensor)，可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

• cross_attentions (tuple(torch.FloatTensor)，可選，當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的交叉注意力權重，用於計算交叉注意力頭中的加權平均。

• past_key_values (Cache，可選，當傳遞 use_cache=True 或 config.use_cache=True 時返回) — 它是 Cache 例項。有關更多詳細資訊，請參閱我們的 kv cache 指南。

  包含預先計算的隱藏狀態（注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。