引數

• pixel_values (torch.Tensor of shape (batch_size, num_channels, image_size, image_size), optional) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲得。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• bool_masked_pos (torch.BoolTensor of shape (batch_size, num_patches), optional) — 布林型別的掩碼位置。指示哪些影像塊被掩蓋（1），哪些沒有被掩蓋（0）。
• head_mask (torch.Tensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭部未被掩蓋，
  • 0 表示頭部被掩蓋。
• output_attentions (bool, optional) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
• interpolate_pos_encoding (bool, 預設為 False) — 是否對預訓練的位置編碼進行插值。

一個 transformers.modeling_outputs.BaseModelOutputWithPooling 或一個 torch.FloatTensor 的元組 (如果傳遞了 return_dict=False 或 config.return_dict=False)，它包含根據配置 (DeiTConfig) 和輸入而定的各種元素。

• last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。

• pooler_output (torch.FloatTensor，形狀為 (batch_size, hidden_size)) — 序列第一個標記（分類標記）的最後一層隱藏狀態，經過用於輔助預訓練任務的層進一步處理後的結果。例如，對於BERT系列模型，這將返回經過線性層和tanh啟用函式處理後的分類標記。線性層的權重是在預訓練期間從下一句預測（分類）目標中訓練得到的。

• hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組 (如果模型有嵌入層，則一個用於嵌入層的輸出，另外每個層都有一個輸出)，形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組 (每層一個)，形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size), 可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
• bool_masked_pos (torch.BoolTensor，形狀為 (batch_size, num_patches)) — 布林掩碼位置。指示哪些影像塊被掩碼 (1)，哪些沒有 (0)。
• head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads), 可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭未被掩碼,
  • 0 表示頭被掩碼。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是普通的元組。
• interpolate_pos_encoding (bool, 預設為 False) — 是否對預訓練的位置編碼進行插值。

一個 transformers.modeling_outputs.MaskedImageModelingOutput 或一個 torch.FloatTensor 的元組 (如果傳遞了 return_dict=False 或 config.return_dict=False)，它包含根據配置 (DeiTConfig) 和輸入而定的各種元素。

• loss (torch.FloatTensor，形狀為 (1,), 可選, 當提供了 bool_masked_pos 時返回) — 重建損失。
• reconstruction (torch.FloatTensor，形狀為 (batch_size, num_channels, height, width)) — 重建/補全的影像。
• hidden_states (tuple(torch.FloatTensor)，可選，當傳入 output_hidden_states=True 時返回，或者
• 當 config.output_hidden_states=True) — torch.FloatTensor 的元組 (如果模型有嵌入層，則一個用於嵌入層的輸出，另外每個階段都有一個輸出)，形狀為 (batch_size, sequence_length, hidden_size)。模型在每個階段輸出的隱藏狀態（也稱為特徵圖）。
• attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或當
• config.output_attentions=True): torch.FloatTensor 的元組 (每層一個)，形狀為 (batch_size, num_heads, patch_size, sequence_length)。經過注意力 softmax 後的注意力權重，用於在自注意力頭中計算加權平均。

引數

• pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size), 可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
• head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads), 可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭未被掩碼,
  • 0 表示頭被掩碼。
• labels (torch.LongTensor，形狀為 (batch_size,), 可選) — 用於計算影像分類/迴歸損失的標籤。索引應在 [0, ..., config.num_labels - 1] 範圍內。如果 config.num_labels == 1，則計算迴歸損失 (均方損失)，如果 config.num_labels > 1，則計算分類損失 (交叉熵)。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是普通的元組。
• interpolate_pos_encoding (bool, 預設為 False) — 是否對預訓練的位置編碼進行插值。

一個 transformers.modeling_outputs.ImageClassifierOutput 或一個 torch.FloatTensor 的元組 (如果傳遞了 return_dict=False 或 config.return_dict=False)，它包含根據配置 (DeiTConfig) 和輸入而定的各種元素。

• loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 分類損失（如果 config.num_labels==1，則為迴歸損失）。

• logits (形狀為 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組 (如果模型有嵌入層，則一個用於嵌入層的輸出，另外每個階段都有一個輸出)，形狀為 (batch_size, sequence_length, hidden_size)。模型在每個階段輸出的隱藏狀態（也稱為特徵圖）。

• attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組 (每層一個)，形狀為 (batch_size, num_heads, patch_size, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (torch.Tensor，形狀為 (batch_size, num_channels, image_size, image_size), 可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 處理影像)。
• head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads), 可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭未被掩碼,
  • 0 表示頭被掩碼。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是普通的元組。
• interpolate_pos_encoding (bool, 預設為 False) — 是否對預訓練的位置編碼進行插值。

一個 transformers.models.deit.modeling_deit.DeiTForImageClassificationWithTeacherOutput 或一個 torch.FloatTensor 的元組 (如果傳遞了 return_dict=False 或 config.return_dict=False)，它包含根據配置 (DeiTConfig) 和輸入而定的各種元素。

• logits (torch.FloatTensor，形狀為 (batch_size, config.num_labels)) — 作為 cls_logits 和 distillation logits 平均值的預測分數。

• cls_logits (形狀為 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分類頭部（即類標記最終隱藏狀態頂部線性層）的預測分數。

• distillation_logits (形狀為 (batch_size, config.num_labels) 的 torch.FloatTensor) — 蒸餾頭部（即蒸餾標記最終隱藏狀態頂部線性層）的預測分數。

• hidden_states (tuple[torch.FloatTensor], 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組 (如果模型有嵌入層，則一個用於嵌入層的輸出，另外每個層都有一個輸出)，形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple[torch.FloatTensor], 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組 (每層一個)，形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (tf.Tensor，形狀為 (batch_size, num_channels, height, width)) — 畫素值。畫素值可以使用 AutoImageProcessor 獲取。有關詳細資訊，請參閱 DeiTImageProcessor.call()。
• head_mask (tf.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads), 可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值在 [0, 1] 中選擇：
  • 1 表示頭未被掩碼,
  • 0 表示頭被掩碼。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• interpolate_pos_encoding (bool, 可選, 預設為 False) — 是否對預訓練的位置編碼進行插值。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是普通的元組。

一個 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或一個 tf.Tensor 的元組 (如果傳遞了 return_dict=False 或 config.return_dict=False)，它包含根據配置 (DeiTConfig) 和輸入而定的各種元素。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。

• pooler_output (tf.Tensor，形狀為 (batch_size, hidden_size)) — 序列第一個標記（分類標記）的最後一層隱藏狀態，經過線性層和 Tanh 啟用函式進一步處理後的結果。線性層的權重是在預訓練期間從下一句預測（分類）目標中訓練得到的。

  此輸出通常不是輸入語義內容的良好摘要，通常最好對整個輸入序列的隱藏狀態進行平均或池化。

• hidden_states (tuple(tf.Tensor), 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — tf.Tensor 的元組 (一個用於嵌入層的輸出 + 每層一個輸出)，形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態加上初始嵌入輸出。

• attentions (tuple(tf.Tensor), 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — tf.Tensor 的元組 (每層一個)，形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (tf.Tensor，形狀為 (batch_size, num_channels, height, width)) — 畫素值。畫素值可以透過 AutoImageProcessor 獲取。詳見 DeiTImageProcessor.call()。
• head_mask (tf.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效的掩碼。掩碼值選自 [0, 1]：
  • 1 表示頭未被遮蔽，
  • 0 表示頭被遮蔽。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
• interpolate_pos_encoding (bool, 可選, 預設為 False) — 是否對預訓練的位置編碼進行插值。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
• bool_masked_pos (tf.Tensor，型別為 bool，形狀為 (batch_size, num_patches)) — 布林型別的掩碼位置。指示哪些影像塊被掩碼 (1)，哪些沒有 (0)。

一個 transformers.modeling_tf_outputs.TFMaskedImageModelingOutput 或一個 tf.Tensor 元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含各種元素，具體取決於配置（DeiTConfig）和輸入。

• loss (tf.Tensor，形狀為 (1,)，可選，在提供 bool_masked_pos 時返回) — 重建損失。
• reconstruction (tf.Tensor，形狀為 (batch_size, num_channels, height, width)) — 重建/完成的影像。
• hidden_states (tuple(tf.Tensor)，可選，當傳遞 output_hidden_states=True 或當
• config.output_hidden_states=True): tf.Tensor 的元組（如果模型有嵌入層，則一個是嵌入層的輸出，另外每個階段的輸出各一個），形狀為 (batch_size, sequence_length, hidden_size)。模型在每個階段輸出的隱藏狀態（也稱為特徵圖）。
• attentions (tuple(tf.Tensor)，可選，當傳遞 output_attentions=True 或當
• config.output_attentions=True): tf.Tensor 的元組（每層一個），形狀為 (batch_size, num_heads, patch_size, sequence_length)。在注意力 softmax 之後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (tf.Tensor，形狀為 (batch_size, num_channels, height, width)) — 畫素值。畫素值可以透過 AutoImageProcessor 獲取。詳見 DeiTImageProcessor.call()。
• head_mask (tf.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效的掩碼。掩碼值選自 [0, 1]：
  • 1 表示頭未被遮蔽，
  • 0 表示頭被遮蔽。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
• interpolate_pos_encoding (bool, 可選, 預設為 False) — 是否對預訓練的位置編碼進行插值。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
• labels (tf.Tensor，形狀為 (batch_size,)，可選) — 用於計算影像分類/迴歸損失的標籤。索引應在 [0, ..., config.num_labels - 1] 範圍內。如果 config.num_labels == 1，則計算迴歸損失（均方損失），如果 config.num_labels > 1，則計算分類損失（交叉熵）。

一個 transformers.modeling_tf_outputs.TFImageClassifierOutput 或一個 tf.Tensor 元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含各種元素，具體取決於配置（DeiTConfig）和輸入。

• loss (形狀為 (1,) 的 tf.Tensor，可選，當提供 labels 時返回) — 分類（如果 config.num_labels==1，則為迴歸）損失。

• logits (tf.Tensor，形狀為 (batch_size, config.num_labels)) — 分類（或迴歸，如果 config.num_labels==1）分數（SoftMax 之前）。

• hidden_states (tuple(tf.Tensor)，可選，當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — tf.Tensor 的元組（如果模型有嵌入層，則一個是嵌入層的輸出，另外每個階段的輸出各一個），形狀為 (batch_size, sequence_length, hidden_size)。模型在每個階段輸出的隱藏狀態（也稱為特徵圖）。

• attentions (tuple(tf.Tensor)，可選，當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — tf.Tensor 的元組（每層一個），形狀為 (batch_size, num_heads, patch_size, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (tf.Tensor，形狀為 (batch_size, num_channels, height, width)) — 畫素值。畫素值可以透過 AutoImageProcessor 獲取。詳見 DeiTImageProcessor.call()。
• head_mask (tf.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組中選定的頭無效的掩碼。掩碼值選自 [0, 1]：
  • 1 表示頭未被遮蔽，
  • 0 表示頭被遮蔽。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
• interpolate_pos_encoding (bool, 可選, 預設為 False) — 是否對預訓練的位置編碼進行插值。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

一個 transformers.models.deit.modeling_tf_deit.TFDeiTForImageClassificationWithTeacherOutput 或一個 tf.Tensor 元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含各種元素，具體取決於配置（DeiTConfig）和輸入。

• logits (tf.Tensor，形狀為 (batch_size, config.num_labels)) — 作為 cls_logits 和 distillation logits 平均值的預測分數。
• cls_logits (tf.Tensor，形狀為 (batch_size, config.num_labels)) — 分類頭的預測分數（即類標記最終隱藏狀態之上的線性層）。
• distillation_logits (tf.Tensor，形狀為 (batch_size, config.num_labels)) — 蒸餾頭的預測分數（即蒸餾標記最終隱藏狀態之上的線性層）。
• hidden_states (tuple(tf.Tensor)，可選，當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — tf.Tensor 的元組（一個是嵌入層的輸出 + 另一個是每層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。模型在每層輸出的隱藏狀態以及初始嵌入輸出。
• attentions (tuple(tf.Tensor)，可選，當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — tf.Tensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。在注意力 softmax 之後的注意力權重，用於計算自注意力頭中的加權平均值。