引數

• pixel_values (`torch.Tensor`，形狀為 `(batch_size, num_channels, image_size, image_size)`) — 對應輸入影像的張量。畫素值可以透過 `{image_processor_class}` 獲得。詳見 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 處理影像）。
• bool_masked_pos (`torch.BoolTensor`，形狀為 `(batch_size, num_patches)`，可選) — 布林掩碼位置。指示哪些補丁被掩碼（1），哪些沒有（0）。
• head_mask (`torch.Tensor`，形狀為 `(num_heads,)` 或 `(num_layers, num_heads)`，可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示頭未被掩碼，
  • 0 表示頭被掩碼。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。詳見返回張量下的 `attentions`。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。詳見返回張量下的 `hidden_states`。
• interpolate_pos_encoding (bool, 預設為 `False`) — 是否對預訓練的位置編碼進行插值。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

一個 transformers.models.beit.modeling_beit.BeitModelOutputWithPooling 或一個 `torch.FloatTensor` 的元組（如果傳遞了 `return_dict=False` 或 `config.return_dict=False`），根據配置 (BeitConfig) 和輸入包含不同的元素。

• last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選) — 模型最後一層輸出的隱藏狀態序列。

• pooler_output (`torch.FloatTensor`，形狀為 `(batch_size, hidden_size)`) — 如果 *config.use_mean_pooling* 設定為 True，則為補丁標記的最後一層隱藏狀態的平均值（不包括 *[CLS]* 標記）。如果設定為 False，則返回 *[CLS]* 標記的最終隱藏狀態。

• hidden_states (`tuple[torch.FloatTensor, ...]`，可選，當傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出（如果模型有嵌入層），+ 每個層的輸出一個），形狀為 `(batch_size, sequence_length, hidden_size)`。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (`tuple[torch.FloatTensor, ...]`，可選，當傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (`torch.Tensor`，形狀為 `(batch_size, num_channels, image_size, image_size)`，可選) — 對應輸入影像的張量。畫素值可以透過 `{image_processor_class}` 獲得。詳見 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 處理影像）。
• bool_masked_pos (`torch.BoolTensor`，形狀為 `(batch_size, num_patches)`) — 布林掩碼位置。指示哪些補丁被掩碼（1），哪些沒有（0）。
• head_mask (`torch.Tensor`，形狀為 `(num_heads,)` 或 `(num_layers, num_heads)`，可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值在 `[0, 1]` 中選擇：
  • 1 表示頭未被掩碼，
  • 0 表示頭被掩碼。
• labels (`torch.LongTensor`，形狀為 `(batch_size,)`，可選) — 用於計算影像分類/迴歸損失的標籤。索引應在 `[0, ..., config.num_labels - 1]` 範圍內。如果 `config.num_labels == 1`，則計算迴歸損失（均方損失），如果 `config.num_labels > 1`，則計算分類損失（交叉熵）。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。詳見返回張量下的 `attentions`。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。詳見返回張量下的 `hidden_states`。
• interpolate_pos_encoding (bool, 預設為 `False`) — 是否對預訓練的位置編碼進行插值。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

一個 transformers.modeling_outputs.MaskedLMOutput 或一個 `torch.FloatTensor` 的元組（如果傳遞了 `return_dict=False` 或 `config.return_dict=False`），根據配置 (BeitConfig) 和輸入包含不同的元素。

• loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 掩碼語言建模 (MLM) 損失。

• logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。

• hidden_states (`tuple(torch.FloatTensor)`，可選，當傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出（如果模型有嵌入層），+ 每個層的輸出一個），形狀為 `(batch_size, sequence_length, hidden_size)`。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (`tuple(torch.FloatTensor)`，可選，當傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
• head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭未被遮蔽，
  • 0 表示頭已被遮蔽。
• labels (torch.LongTensor，形狀為 (batch_size,)，可選) — 用於計算影像分類/迴歸損失的標籤。索引應在 [0, ..., config.num_labels - 1] 範圍內。如果 config.num_labels == 1，則計算迴歸損失 (均方損失)；如果 config.num_labels > 1，則計算分類損失 (交叉熵)。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• interpolate_pos_encoding (bool，預設為 False) — 是否對預訓練的位置編碼進行插值。
• return_dict (bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

一個 transformers.modeling_outputs.ImageClassifierOutput 或一個 torch.FloatTensor 的元組（如果傳遞 return_dict=False 或 config.return_dict=False），根據配置 (BeitConfig) 和輸入包含不同的元素。

• loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 分類損失（如果 config.num_labels==1，則為迴歸損失）。

• logits (形狀為 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor)，可選，在傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組 (如果模型有嵌入層，則一個用於嵌入層的輸出，+ 一個用於每個階段的輸出)，形狀為 (batch_size, sequence_length, hidden_size)。模型在每個階段輸出的隱藏狀態 (也稱為特徵圖)。

• attentions (tuple(torch.FloatTensor)，可選，在傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組 (每層一個)，形狀為 (batch_size, num_heads, patch_size, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
• head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭未被遮蔽，
  • 0 表示頭已被遮蔽。
• labels (torch.LongTensor，形狀為 (batch_size, height, width)，可選) — 用於計算損失的真實語義分割圖。索引應在 [0, ..., config.num_labels - 1] 範圍內。如果 config.num_labels > 1，則計算分類損失 (交叉熵)。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• interpolate_pos_encoding (bool，預設為 False) — 是否對預訓練的位置編碼進行插值。
• return_dict (bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

一個 transformers.modeling_outputs.SemanticSegmenterOutput 或一個 torch.FloatTensor 的元組（如果傳遞 return_dict=False 或 config.return_dict=False），根據配置 (BeitConfig) 和輸入包含不同的元素。

• loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 分類損失（如果 config.num_labels==1，則為迴歸損失）。

• logits (形狀為 (batch_size, config.num_labels, logits_height, logits_width) 的 torch.FloatTensor) — 每個畫素的分類分數。

  返回的 logits 的大小不一定與作為輸入的 pixel_values 相同。這是為了避免當用戶需要將 logits 調整到原始影像大小作為後處理時進行兩次插值而損失一些質量。您應該始終檢查 logits 的形狀並根據需要進行調整。

• hidden_states (tuple(torch.FloatTensor)，可選，在傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組 (如果模型有嵌入層，則一個用於嵌入層的輸出，+ 一個用於每層的輸出)，形狀為 (batch_size, patch_size, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple(torch.FloatTensor)，可選，在傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組 (每層一個)，形狀為 (batch_size, num_heads, patch_size, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

一個 transformers.models.beit.modeling_flax_beit.FlaxBeitModelOutputWithPooling 或一個 torch.FloatTensor 的元組（如果傳遞 return_dict=False 或 config.return_dict=False），根據配置 (<class 'transformers.models.beit.configuration_beit.BeitConfig'>) 和輸入包含不同的元素。

• last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray) — 模型最後一層輸出的隱藏狀態序列。
• pooler_output (jnp.ndarray，形狀為 (batch_size, hidden_size)) — 如果 config.use_mean_pooling 設定為 True，則為 patch tokens 的最後一層隱藏狀態的平均值 (不包括 [CLS] token)。如果設定為 False，則將返回 [CLS] token 的最終隱藏狀態。
• hidden_states (tuple(jnp.ndarray)，可選，在傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — jnp.ndarray 的元組 (一個用於嵌入層的輸出 + 一個用於每層的輸出)，形狀為 (batch_size, sequence_length, hidden_size)。模型在每層輸出的隱藏狀態以及初始嵌入輸出。
• attentions (tuple(jnp.ndarray)，可選，在傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — jnp.ndarray 的元組 (每層一個)，形狀為 (batch_size, num_heads, sequence_length, sequence_length)。在注意力 softmax 之後的注意力權重，用於在自注意力頭中計算加權平均值。

一個 transformers.modeling_flax_outputs.FlaxMaskedLMOutput 或一個 torch.FloatTensor 的元組（如果傳遞 return_dict=False 或 config.return_dict=False），根據配置 (<class 'transformers.models.beit.configuration_beit.BeitConfig'>) 和輸入包含不同的元素。

• logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 jnp.ndarray) — 語言建模頭的預測分數（SoftMax 之前每個詞彙 token 的分數）。

• hidden_states (tuple(jnp.ndarray)，可選，在傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — jnp.ndarray 的元組 (一個用於嵌入層的輸出 + 一個用於每層的輸出)，形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態加上初始嵌入輸出。

• attentions (tuple(jnp.ndarray)，可選，在傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — jnp.ndarray 的元組 (每層一個)，形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

一個 transformers.modeling_flax_outputs.FlaxSequenceClassifierOutput 或一個 torch.FloatTensor 的元組（如果傳遞 return_dict=False 或 config.return_dict=False），根據配置 (<class 'transformers.models.beit.configuration_beit.BeitConfig'>) 和輸入包含不同的元素。

• logits (形狀為 (batch_size, config.num_labels) 的 jnp.ndarray) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。

• hidden_states (tuple(jnp.ndarray)，可選，在傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — jnp.ndarray 的元組 (一個用於嵌入層的輸出 + 一個用於每層的輸出)，形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態加上初始嵌入輸出。

• attentions (tuple(jnp.ndarray)，可選，在傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — jnp.ndarray 的元組 (每層一個)，形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。