Transformers 文件

DPT

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

DPT

PyTorch FlashAttention SDPA

概述

DPT 模型由 René Ranftl、Alexey Bochkovskiy 和 Vladlen Koltun 在 Vision Transformers for Dense Prediction 中提出。DPT 是一個利用 Vision Transformer (ViT) 作為骨幹進行密集預測任務(如語義分割和深度估計)的模型。

論文摘要如下:

我們引入了密集視覺 Transformer,這是一種以視覺 Transformer 代替卷積網路作為骨幹進行密集預測任務的架構。我們將來自視覺 Transformer 不同階段的 tokens 組合成不同解析度的影像狀表示,並使用卷積解碼器逐步將它們組合成全解析度預測。Transformer 骨幹以恆定且相對較高的解析度處理表示,並在每個階段都具有全域性感受野。這些特性使得密集視覺 Transformer 能夠提供比全卷積網路更細粒度、更全域性一致的預測。我們的實驗表明,這種架構在密集預測任務上產生了顯著的改進,特別是在有大量訓練資料可用時。對於單目深度估計,與最先進的全卷積網路相比,我們觀察到相對效能提高了多達 28%。當應用於語義分割時,密集視覺 Transformer 在 ADE20K 上以 49.02% 的 mIoU 創造了新的 SOTA。我們進一步表明,該架構可以在 NYUv2、KITTI 和 Pascal Context 等較小資料集上進行微調,並在這些資料集上也創造了新的 SOTA。

drawing DPT 架構。摘自原論文

此模型由 nielsr 貢獻。原始程式碼可在 此處 找到。

使用技巧

DPT 與 AutoBackbone 類相容。這允許使用 DPT 框架與庫中提供的各種計算機視覺骨幹,例如 VitDetBackboneDinov2Backbone。可以按如下方式建立它:

from transformers import Dinov2Config, DPTConfig, DPTForDepthEstimation

# initialize with a Transformer-based backbone such as DINOv2
# in that case, we also specify `reshape_hidden_states=False` to get feature maps of shape (batch_size, num_channels, height, width)
backbone_config = Dinov2Config.from_pretrained("facebook/dinov2-base", out_features=["stage1", "stage2", "stage3", "stage4"], reshape_hidden_states=False)

config = DPTConfig(backbone_config=backbone_config)
model = DPTForDepthEstimation(config=config)

資源

Hugging Face 官方和社群(以🌎表示)資源列表,幫助您開始使用 DPT。

如果您有興趣在此處提交資源,請隨時開啟 Pull Request,我們將對其進行審查!該資源最好能展示一些新內容,而不是重複現有資源。

DPTConfig

class transformers.DPTConfig

< >

( hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-12 image_size = 384 patch_size = 16 num_channels = 3 is_hybrid = False qkv_bias = True backbone_out_indices = [2, 5, 8, 11] readout_type = 'project' reassemble_factors = [4, 2, 1, 0.5] neck_hidden_sizes = [96, 192, 384, 768] fusion_hidden_size = 256 head_in_index = -1 use_batch_norm_in_fusion_residual = False use_bias_in_fusion_residual = None add_projection = False use_auxiliary_head = True auxiliary_loss_weight = 0.4 semantic_loss_ignore_index = 255 semantic_classifier_dropout = 0.1 backbone_featmap_shape = [1, 1024, 24, 24] neck_ignore_stages = [0, 1] backbone_config = None backbone = None use_pretrained_backbone = False use_timm_backbone = False backbone_kwargs = None pooler_output_size = None pooler_act = 'tanh' **kwargs )

引數

  • hidden_size (int, 可選, 預設為 768) — 編碼器層和池化層維度。
  • num_hidden_layers (int, 可選, 預設為 12) — Transformer 編碼器中隱藏層的數量。
  • num_attention_heads (int, 可選, 預設為 12) — Transformer 編碼器中每個注意力層的注意力頭數量。
  • intermediate_size (int, 可選, 預設為 3072) — Transformer 編碼器中“中間”(即,前饋)層的維度。
  • hidden_act (strfunction, 可選, 預設為 "gelu") — 編碼器和池化器中的非線性啟用函式(函式或字串)。如果為字串,支援 "gelu""relu""selu""gelu_new"
  • hidden_dropout_prob (float, 可選, 預設為 0.0) — 嵌入、編碼器和池化器中所有全連線層的 dropout 機率。
  • attention_probs_dropout_prob (float, 可選, 預設為 0.0) — 注意力機率的 dropout 比率。
  • initializer_range (float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的截斷正態初始化器的標準差。
  • layer_norm_eps (float, 可選, 預設為 1e-12) — 層歸一化層使用的 epsilon。
  • image_size (int, 可選, 預設為 384) — 每張影像的大小(解析度)。
  • patch_size (int, 可選, 預設為 16) — 每個補丁的大小(解析度)。
  • num_channels (int, 可選, 預設為 3) — 輸入通道的數量。
  • is_hybrid (bool, 可選, 預設為 False) — 是否使用混合骨幹。在載入 DPT-Hybrid 模型時有用。
  • qkv_bias (bool, 可選, 預設為 True) — 是否在 queries、keys 和 values 中新增偏置。
  • backbone_out_indices (list[int], 可選, 預設為 [2, 5, 8, 11]) — 要從骨幹使用的中間隱藏狀態的索引。
  • readout_type (str, 可選, 預設為 "project") — 處理 ViT 骨幹中間隱藏狀態的讀取標記(CLS 標記)時使用的讀取型別。可以是 ["ignore", "add", "project"] 之一。

    • “ignore”:直接忽略 CLS 標記。
    • “add”:透過新增表示將 CLS 標記的資訊傳遞給所有其他標記。
    • “project”:透過將讀取標記連線到所有其他標記,然後使用線性層後接 GELU 非線性啟用將表示投影到原始特徵維度 D,從而將資訊傳遞給其他標記。
  • reassemble_factors (list[int], 可選, 預設為 [4, 2, 1, 0.5]) — 重組層的上/下采樣因子。
  • neck_hidden_sizes (list[str], 可選, 預設為 [96, 192, 384, 768]) — 骨幹特徵圖投影的隱藏大小。
  • fusion_hidden_size (int, 可選, 預設為 256) — 融合前的通道數。
  • head_in_index (int, 可選, 預設為 -1) — 在頭中使用特徵的索引。
  • use_batch_norm_in_fusion_residual (bool, 可選, 預設為 False) — 是否在融合塊的預啟用殘差單元中使用批歸一化。
  • use_bias_in_fusion_residual (bool, 可選, 預設為 True) — 是否在融合塊的預啟用殘差單元中使用偏置。
  • add_projection (bool, 可選, 預設為 False) — 是否在深度估計頭之前新增投影層。
  • use_auxiliary_head (bool, 可選, 預設為 True) — 訓練期間是否使用輔助頭。
  • auxiliary_loss_weight (float, 可選, 預設為 0.4) — 輔助頭的交叉熵損失權重。
  • semantic_loss_ignore_index (int, 可選, 預設為 255) — 語義分割模型的損失函式忽略的索引。
  • semantic_classifier_dropout (float, 可選, 預設為 0.1) — 語義分類頭的 dropout 比率。
  • backbone_featmap_shape (list[int], 可選, 預設為 [1, 1024, 24, 24]) — 僅用於 hybrid 嵌入型別。骨幹特徵圖的形狀。
  • neck_ignore_stages (list[int], 可選, 預設為 [0, 1]) — 僅用於 hybrid 嵌入型別。要忽略的讀取層的階段。
  • backbone_config (Union[dict[str, Any], PretrainedConfig], 可選) — 骨幹模型的配置。僅在 is_hybridTrue 或您想利用 AutoBackbone API 時使用。
  • backbone (str, 可選) — 當 backbone_configNone 時使用的骨幹名稱。如果 use_pretrained_backboneTrue,這將從 timm 或 transformers 庫載入相應的預訓練權重。如果 use_pretrained_backboneFalse,這將載入骨幹的配置並使用該配置初始化隨機權重的骨幹。
  • use_pretrained_backbone (bool, 可選, 預設為 False) — 是否使用骨幹的預訓練權重。
  • use_timm_backbone (bool, 可選, 預設為 False) — 是否從 timm 庫載入 backbone。如果為 False,則從 transformers 庫載入骨幹。
  • backbone_kwargs (dict, 可選) — 從檢查點載入時要傳遞給 AutoBackbone 的關鍵字引數,例如 {'out_indices': (0, 1, 2, 3)}。如果設定了 backbone_config,則不能指定。
  • pooler_output_size (int, 可選) — 池化層維度。如果為 None,則預設為 hidden_size
  • pooler_act (str, 可選, 預設為 "tanh") — 池化層使用的啟用函式。Flax 和 Pytorch 支援 ACT2FN 的鍵,Tensorflow 支援 https://www.tensorflow.org/api_docs/python/tf/keras/activations 的元素。

這是用於儲存 DPTModel 配置的配置類。它用於根據指定引數例項化 DPT 模型,定義模型架構。使用預設值例項化配置將產生與 DPT Intel/dpt-large 架構類似的配置。

配置物件繼承自 PretrainedConfig,可用於控制模型輸出。有關更多資訊,請閱讀 PretrainedConfig 的文件。

示例

>>> from transformers import DPTModel, DPTConfig

>>> # Initializing a DPT dpt-large style configuration
>>> configuration = DPTConfig()

>>> # Initializing a model from the dpt-large style configuration
>>> model = DPTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

to_dict

< >

( )

將此例項序列化為 Python 字典。覆蓋預設的 to_dict()。返回: dict[str, any]:構成此配置例項的所有屬性的字典,

DPTFeatureExtractor

class transformers.DPTFeatureExtractor

< >

( *args **kwargs )

__call__

< >

( images segmentation_maps = None **kwargs )

post_process_semantic_segmentation

< >

( outputs target_sizes: typing.Optional[list[tuple]] = None ) semantic_segmentation

引數

  • outputs (DPTForSemanticSegmentation) — 模型的原始輸出。
  • target_sizes (list[Tuple],長度為 batch_size可選) — 對應於每個預測的請求最終大小(高度,寬度)的元組列表。如果未設定,則預測將不會被調整大小。

返回

語義分割

list[torch.Tensor],長度為 batch_size,其中每個專案是形狀為 (height, width) 的語義分割圖,對應於 target_sizes 條目(如果指定了 target_sizes)。每個 torch.Tensor 的每個條目對應一個語義類別 ID。

DPTForSemanticSegmentation 的輸出轉換為語義分割圖。僅支援 PyTorch。

DPTImageProcessor

class transformers.DPTImageProcessor

< >

( do_resize: bool = True size: typing.Optional[dict[str, int]] = None resample: Resampling = <Resampling.BICUBIC: 3> keep_aspect_ratio: bool = False ensure_multiple_of: int = 1 do_rescale: bool = True rescale_factor: typing.Union[int, float] = 0.00392156862745098 do_normalize: bool = True image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_pad: bool = False size_divisor: typing.Optional[int] = None do_reduce_labels: bool = False **kwargs )

引數

  • do_resize (bool, 可選, 預設為 True) — 是否調整影像的(高度,寬度)尺寸。可以透過 preprocess 中的 do_resize 覆蓋。
  • size (dict[str, int] 可選, 預設為 {"height" -- 384, "width": 384}): 調整大小後的影像尺寸。可以透過 preprocess 中的 size 覆蓋。
  • resample (PILImageResampling, 可選, 預設為 Resampling.BICUBIC) — 定義調整影像大小時使用的重取樣濾波器。可以透過 preprocess 中的 resample 覆蓋。
  • keep_aspect_ratio (bool, 可選, 預設為 False) — 如果為 True,則影像將調整為儘可能大的尺寸,同時保持縱橫比。可以透過 preprocess 中的 keep_aspect_ratio 覆蓋。
  • ensure_multiple_of (int, 可選, 預設為 1) — 如果 do_resizeTrue,則影像將調整為該值的倍數。可以透過 preprocess 中的 ensure_multiple_of 覆蓋。
  • do_rescale (bool, 可選, 預設為 True) — 是否透過指定的縮放因子 rescale_factor 重新縮放影像。可以透過 preprocess 中的 do_rescale 覆蓋。
  • rescale_factor (intfloat, 可選, 預設為 1/255) — 如果重新縮放影像,則使用的縮放因子。可以透過 preprocess 中的 rescale_factor 覆蓋。
  • do_normalize (bool, 可選, 預設為 True) — 是否對影像進行歸一化。可以透過 preprocess 方法中的 do_normalize 引數覆蓋。
  • image_mean (floatlist[float], 可選, 預設為 IMAGENET_STANDARD_MEAN) — 影像歸一化時使用的均值。這是一個浮點數或浮點數列表,長度與影像中的通道數相同。可以透過 preprocess 方法中的 image_mean 引數覆蓋。
  • image_std (floatlist[float], 可選, 預設為 IMAGENET_STANDARD_STD) — 影像歸一化時使用的標準差。這是一個浮點數或浮點數列表,長度與影像中的通道數相同。可以透過 preprocess 方法中的 image_std 引數覆蓋。
  • do_pad (bool, 可選, 預設為 False) — 是否應用中心填充。這是在 DINOv2 論文中引入的,該論文將模型與 DPT 結合使用。
  • size_divisor (int, 可選) — 如果 do_padTrue,則將影像尺寸填充為可被此值整除。這是在 DINOv2 論文中引入的,該論文將模型與 DPT 結合使用。
  • do_reduce_labels (bool, 可選, 預設為 False) — 是否將分割圖的所有標籤值減 1。通常用於 0 表示背景,且背景本身不包含在資料集所有類別中的資料集(例如 ADE20k)。背景標籤將替換為 255。可以透過 preprocess 方法中的 do_reduce_labels 引數覆蓋。

構造 DPT 影像處理器。

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None do_resize: typing.Optional[bool] = None size: typing.Optional[int] = None keep_aspect_ratio: typing.Optional[bool] = None ensure_multiple_of: typing.Optional[int] = None resample: Resampling = None do_rescale: typing.Optional[bool] = None rescale_factor: typing.Optional[float] = None do_normalize: typing.Optional[bool] = None image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_pad: typing.Optional[bool] = None size_divisor: typing.Optional[int] = None do_reduce_labels: typing.Optional[bool] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: ChannelDimension = <ChannelDimension.FIRST: 'channels_first'> input_data_format: typing.Union[str, transformers.image_utils.ChannelDimension, NoneType] = None )

引數

  • images (ImageInput) — 待預處理的影像。期望單個或批次影像的畫素值範圍為 0 到 255。如果傳入的影像畫素值在 0 到 1 之間,請設定 do_rescale=False
  • segmentation_maps (ImageInput, 可選) — 待預處理的分割圖。
  • do_resize (bool, 可選, 預設為 self.do_resize) — 是否調整影像大小。
  • size (dict[str, int], 可選, 預設為 self.size) — 調整大小後的影像尺寸。如果 keep_aspect_ratioTrue,則影像將調整為儘可能大的尺寸,同時保持縱橫比。如果設定了 ensure_multiple_of,則影像將調整為該值的倍數。
  • keep_aspect_ratio (bool, 可選, 預設為 self.keep_aspect_ratio) — 是否保持影像的縱橫比。如果為 False,影像將調整為 (size, size)。如果為 True,影像將調整大小以保持縱橫比,並且大小將是最大可能值。
  • ensure_multiple_of (int, 可選, 預設為 self.ensure_multiple_of) — 確保影像尺寸是此值的倍數。
  • resample (int, 可選, 預設為 self.resample) — 調整影像大小時使用的重取樣濾波器。可以是 PILImageResampling 列舉之一。僅當 do_resize 設定為 True 時有效。
  • do_rescale (bool, 可選, 預設為 self.do_rescale) — 是否將影像值重新縮放到 [0 - 1] 之間。
  • rescale_factor (float, 可選, 預設為 self.rescale_factor) — 如果 do_rescale 設定為 True,則用於重新縮放影像的縮放因子。
  • do_normalize (bool, 可選, 預設為 self.do_normalize) — 是否對影像進行歸一化。
  • image_mean (floatlist[float], 可選, 預設為 self.image_mean) — 影像均值。
  • image_std (floatlist[float], 可選, 預設為 self.image_std) — 影像標準差。
  • do_reduce_labels (bool, 可選, 預設為 self.do_reduce_labels) — 是否將分割圖的所有標籤值減 1。通常用於 0 表示背景,且背景本身不包含在資料集所有類別中的資料集(例如 ADE20k)。背景標籤將替換為 255。
  • return_tensors (strTensorType, 可選) — 返回張量的型別。可以是以下之一:
    • 未設定:返回 np.ndarray 列表。
    • TensorType.TENSORFLOW'tf':返回 tf.Tensor 型別的批次資料。
    • TensorType.PYTORCH'pt':返回 torch.Tensor 型別的批次資料。
    • TensorType.NUMPY'np':返回 np.ndarray 型別的批次資料。
    • TensorType.JAX'jax':返回 jax.numpy.ndarray 型別的批次資料。
  • data_format (ChannelDimensionstr, 可選, 預設為 ChannelDimension.FIRST) — 輸出影像的通道維度格式。可以是以下之一:
    • ChannelDimension.FIRST:影像格式為 (num_channels, height, width)。
    • ChannelDimension.LAST:影像格式為 (height, width, num_channels)。
  • input_data_format (ChannelDimensionstr, 可選) — 輸入影像的通道維度格式。如果未設定,則從輸入影像推斷通道維度格式。可以是以下之一:
    • "channels_first"ChannelDimension.FIRST:影像格式為 (num_channels, height, width)。
    • "channels_last"ChannelDimension.LAST:影像格式為 (height, width, num_channels)。
    • "none"ChannelDimension.NONE:影像格式為 (height, width)。

預處理一張或一批影像。

DPTImageProcessorFast

class transformers.DPTImageProcessorFast

< >

( **kwargs: typing_extensions.Unpack[transformers.models.dpt.image_processing_dpt_fast.DPTFastImageProcessorKwargs] )

構造一個快速 Dpt 影像處理器。

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None **kwargs: typing_extensions.Unpack[transformers.models.dpt.image_processing_dpt_fast.DPTFastImageProcessorKwargs] ) <class 'transformers.image_processing_base.BatchFeature'>

引數

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]) — 待預處理的影像。期望單個或批次影像的畫素值範圍為 0 到 255。如果傳入的影像畫素值在 0 到 1 之間,請設定 do_rescale=False
  • segmentation_maps (ImageInput, 可選) — 待預處理的分割圖。
  • do_resize (bool, 可選) — 是否調整影像大小。
  • size (dict[str, int], 可選) — 描述模型的最大輸入尺寸。
  • default_to_square (bool, 可選) — 如果 size 為整數,是否預設將影像調整為正方形。
  • resample (Union[PILImageResampling, F.InterpolationMode, NoneType]) — 調整影像大小時使用的重取樣濾波器。可以是 PILImageResampling 列舉之一。僅當 do_resize 設定為 True 時有效。
  • do_center_crop (bool, 可選) — 是否對影像進行中心裁剪。
  • crop_size (dict[str, int], 可選) — 應用center_crop後輸出影像的大小。
  • do_rescale (bool, 可選) — 是否縮放影像。
  • rescale_factor (Union[int, float, NoneType]) — 如果do_rescale設定為True,則用於縮放影像的縮放因子。
  • do_normalize (bool, 可選) — 是否對影像進行歸一化。
  • image_mean (Union[float, list[float], NoneType]) — 用於歸一化的影像平均值。僅當do_normalize設定為True時有效。
  • image_std (Union[float, list[float], NoneType]) — 用於歸一化的影像標準差。僅當do_normalize設定為True時有效。
  • do_convert_rgb (bool, 可選) — 是否將影像轉換為RGB。
  • return_tensors (Union[str, ~utils.generic.TensorType, NoneType]) — 如果設定為“pt”,則返回堆疊張量,否則返回張量列表。
  • data_format (~image_utils.ChannelDimension, 可選) — 僅支援ChannelDimension.FIRST。為與慢速處理器相容而新增。
  • input_data_format (Union[str, ~image_utils.ChannelDimension, NoneType]) — 輸入影像的通道維度格式。如果未設定,則從輸入影像推斷通道維度格式。可以是以下之一:
    • "channels_first"ChannelDimension.FIRST:影像格式為(通道數, 高度, 寬度)。
    • "channels_last"ChannelDimension.LAST:影像格式為(高度, 寬度, 通道數)。
    • "none"ChannelDimension.NONE:影像格式為(高度, 寬度)。
  • device (torch.device, 可選) — 處理影像的裝置。如果未設定,則從輸入影像推斷裝置。
  • disable_grouping (bool, 可選) — 是否停用按大小對影像進行分組以單獨處理而不是分批處理。如果為 None,則如果影像在 CPU 上,則設定為 True,否則設定為 False。此選擇基於經驗觀察,詳見:https://github.com/huggingface/transformers/pull/38157
  • ensure_multiple_of (int, 可選, 預設為 1) — 如果do_resizeTrue,則影像將調整大小為該值的倍數。可以透過preprocess中的ensure_multiple_of覆蓋。
  • size_divisor (int, 可選) — 如果do_padTrue,則將影像尺寸填充為該值的倍數。這是在DINOv2論文中引入的,DINOv2使用該模型與DPT結合。
  • do_pad (bool, 可選, 預設為False) — 是否應用中心填充。這是在DINOv2論文中引入的,DINOv2使用該模型與DPT結合。
  • keep_aspect_ratio (bool, 可選, 預設為False) — 如果為True,影像將調整為儘可能大的尺寸,同時保持縱橫比。可以透過preprocess中的keep_aspect_ratio覆蓋。
  • do_reduce_labels (bool, 可選, 預設為self.do_reduce_labels) — 是否將分割圖的所有標籤值減1。通常用於背景標籤為0,且背景本身不包含在資料集所有類別中的資料集(例如ADE20k)。背景標籤將被替換為255。

返回

<class 'transformers.image_processing_base.BatchFeature'>

  • data (dict) — 由 call 方法返回的列表/陣列/張量字典(“pixel_values”等)。
  • tensor_type (Union[None, str, TensorType], 可選) — 您可以在此處提供一個`tensor_type`,以便在初始化時將整數列表轉換為PyTorch/TensorFlow/Numpy張量。

post_process_semantic_segmentation

< >

( outputs target_sizes: typing.Optional[list[tuple]] = None ) semantic_segmentation

引數

  • outputs (DPTForSemanticSegmentation) — 模型的原始輸出。
  • target_sizes (list[Tuple],長度為batch_size可選) — 對應於每個預測的請求最終大小(高度,寬度)的元組列表。如果未設定,預測將不會調整大小。

返回

語義分割

list[torch.Tensor],長度為 batch_size,其中每個專案是形狀為 (height, width) 的語義分割圖,對應於 target_sizes 條目(如果指定了 target_sizes)。每個 torch.Tensor 的每個條目對應一個語義類別 ID。

DPTForSemanticSegmentation 的輸出轉換為語義分割圖。僅支援 PyTorch。

後處理深度估計

< >

( outputs: DepthEstimatorOutput target_sizes: typing.Union[transformers.utils.generic.TensorType, list[tuple[int, int]], NoneType] = None ) List[Dict[str, TensorType]]

引數

  • outputs (DepthEstimatorOutput) — 模型的原始輸出。
  • target_sizes (TensorTypeList[Tuple[int, int]], 可選) — 形狀為(batch_size, 2)的張量或包含批次中每張影像的目標大小(高度,寬度)的元組列表(Tuple[int, int])。如果留空,則預測將不會調整大小。

返回

List[Dict[str, TensorType]]

表示處理後的深度預測的張量字典列表。

DepthEstimatorOutput的原始輸出轉換為最終深度預測和深度PIL影像。僅支援PyTorch。

DPTModel

transformers.DPTModel

< >

( config add_pooling_layer = True )

引數

  • config (DPTModel) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重,只加載配置。檢視from_pretrained()方法以載入模型權重。
  • add_pooling_layer (bool, 可選, 預設為True) — 是否新增池化層

裸Dpt模型,輸出原始隱藏狀態,頂部沒有任何特定頭。

此模型繼承自PreTrainedModel。檢視超類文件,瞭解庫為其所有模型實現的一般方法(例如下載或儲存、調整輸入嵌入大小、修剪頭部等)。

此模型也是一個PyTorch torch.nn.Module子類。將其用作常規PyTorch模組,並參考PyTorch文件中與一般用法和行為相關的所有事項。

向前

< >

( pixel_values: FloatTensor head_mask: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivationstuple(torch.FloatTensor)

引數

  • pixel_values (torch.FloatTensor,形狀為 (batch_size, num_channels, image_size, image_size)) — 對應於輸入影像的張量。畫素值可以使用{image_processor_class}獲取。有關詳細資訊,請參見{image_processor_class}.__call__{processor_class}使用{image_processor_class}處理影像)。
  • head_mask (torch.FloatTensor,形狀為 (num_heads,)(num_layers, num_heads), 可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇在[0, 1]

    • 1 表示頭部未被遮蔽
    • 0 表示頭部被遮蔽
  • output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊,請參見返回張量下的attentions
  • output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊,請參見返回張量下的hidden_states
  • return_dict (bool, 可選) — 是否返回ModelOutput而不是普通的元組。

返回

transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivationstuple(torch.FloatTensor)

一個transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivations或一個torch.FloatTensor元組(如果傳遞了return_dict=False或當config.return_dict=False時),包含取決於配置(DPTConfig)和輸入的各種元素。

  • last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size)torch.FloatTensor, 可選,預設為 None) — 模型最後一層輸出的隱藏狀態序列。

  • pooler_output (torch.FloatTensor,形狀為 (batch_size, hidden_size)) — 序列中第一個令牌(分類令牌)的最後一層隱藏狀態,經過用於輔助預訓練任務的層進一步處理。例如,對於BERT家族的模型,這返回經過線性層和tanh啟用函式處理後的分類令牌。線性層權重在預訓練期間透過下一個句子預測(分類)目標進行訓練。

  • hidden_states (tuple[torch.FloatTensor, ...], 可選, 當傳入output_hidden_states=Trueconfig.output_hidden_states=True時返回) — torch.FloatTensor的元組(如果模型有嵌入層,則為嵌入層輸出一個,每個層輸出一個)形狀為(batch_size, sequence_length, hidden_size)

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple[torch.FloatTensor, ...], 可選, 當傳入output_attentions=Trueconfig.output_attentions=True時返回) — torch.FloatTensor的元組(每個層一個)形狀為(batch_size, num_heads, sequence_length, sequence_length)

    注意力 softmax 後的注意力權重,用於計算自注意力頭中的加權平均值。

  • intermediate_activations (tuple(torch.FloatTensor), 可選) — 可用於計算模型在各個層的隱藏狀態的中間啟用。

DPTModel forward方法,覆蓋了__call__特殊方法。

儘管前向傳遞的實現需要在該函式中定義,但之後應該呼叫Module例項而不是該函式,因為前者負責執行預處理和後處理步驟,而後者會靜默忽略它們。

示例

DPTForDepthEstimation

transformers.DPTForDepthEstimation

< >

( config )

引數

  • config (DPTForDepthEstimation) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重,只加載配置。檢視from_pretrained()方法以載入模型權重。

DPT模型,頂部帶有深度估計頭(由3個卷積層組成),例如用於KITTI、NYUv2。

此模型繼承自PreTrainedModel。檢視超類文件,瞭解庫為其所有模型實現的一般方法(例如下載或儲存、調整輸入嵌入大小、修剪頭部等)。

此模型也是一個PyTorch torch.nn.Module子類。將其用作常規PyTorch模組,並參考PyTorch文件中與一般用法和行為相關的所有事項。

向前

< >

( pixel_values: FloatTensor head_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) transformers.modeling_outputs.DepthEstimatorOutputtuple(torch.FloatTensor)

引數

  • pixel_values (torch.FloatTensor,形狀為 (batch_size, num_channels, image_size, image_size)) — 對應於輸入影像的張量。畫素值可以使用{image_processor_class}獲取。有關詳細資訊,請參見{image_processor_class}.__call__{processor_class}使用{image_processor_class}處理影像)。
  • head_mask (torch.FloatTensor,形狀為 (num_heads,)(num_layers, num_heads), 可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇在[0, 1]

    • 1 表示頭部未被遮蔽
    • 0 表示頭部被遮蔽
  • labels (torch.LongTensor,形狀為 (batch_size, height, width), 可選) — 用於計算損失的真實深度估計圖。
  • output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊,請參見返回張量下的attentions
  • output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊,請參見返回張量下的hidden_states
  • return_dict (bool, 可選) — 是否返回ModelOutput而不是普通的元組。

返回

transformers.modeling_outputs.DepthEstimatorOutputtuple(torch.FloatTensor)

一個transformers.modeling_outputs.DepthEstimatorOutput或一個torch.FloatTensor元組(如果傳遞了return_dict=False或當config.return_dict=False時),包含取決於配置(DPTConfig)和輸入的各種元素。

  • loss (形狀為 (1,)torch.FloatTensor可選,當提供 labels 時返回) — 分類損失(如果 config.num_labels==1,則為迴歸損失)。

  • predicted_depth (torch.FloatTensor,形狀為 (batch_size, height, width)) — 每個畫素的預測深度。

  • hidden_states (tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=Trueconfig.output_hidden_states=True時返回) — torch.FloatTensor的元組(如果模型有嵌入層,則為嵌入層輸出一個,每個層輸出一個)形狀為(batch_size, num_channels, height, width)

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor), 可選, 當傳入output_attentions=Trueconfig.output_attentions=True時返回) — torch.FloatTensor的元組(每個層一個)形狀為(batch_size, num_heads, patch_size, sequence_length)

    注意力 softmax 後的注意力權重,用於計算自注意力頭中的加權平均值。

DPTForDepthEstimation forward方法,覆蓋了__call__特殊方法。

儘管前向傳遞的實現需要在該函式中定義,但之後應該呼叫Module例項而不是該函式,因為前者負責執行預處理和後處理步驟,而後者會靜默忽略它們。

示例

>>> from transformers import AutoImageProcessor, DPTForDepthEstimation
>>> import torch
>>> import numpy as np
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("Intel/dpt-large")
>>> model = DPTForDepthEstimation.from_pretrained("Intel/dpt-large")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # interpolate to original size
>>> post_processed_output = image_processor.post_process_depth_estimation(
...     outputs,
...     target_sizes=[(image.height, image.width)],
... )

>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))

DPTForSemanticSegmentation

transformers.DPTForSemanticSegmentation

< >

( config )

引數

  • config (DPTForSemanticSegmentation) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重,只加載配置。檢視from_pretrained()方法以載入模型權重。

DPT模型,頂部帶有語義分割頭,例如用於ADE20K、CityScapes。

此模型繼承自PreTrainedModel。檢視超類文件,瞭解庫為其所有模型實現的一般方法(例如下載或儲存、調整輸入嵌入大小、修剪頭部等)。

此模型也是一個PyTorch torch.nn.Module子類。將其用作常規PyTorch模組,並參考PyTorch文件中與一般用法和行為相關的所有事項。

向前

< >

( pixel_values: typing.Optional[torch.FloatTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) transformers.modeling_outputs.SemanticSegmenterOutputtuple(torch.FloatTensor)

引數

  • pixel_values (torch.FloatTensor,形狀為 (batch_size, num_channels, image_size, image_size), 可選) — 對應於輸入影像的張量。畫素值可以使用{image_processor_class}獲取。有關詳細資訊,請參見{image_processor_class}.__call__{processor_class}使用{image_processor_class}處理影像)。
  • head_mask (torch.FloatTensor,形狀為 (num_heads,)(num_layers, num_heads), 可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇在[0, 1]

    • 1 表示頭部未被遮蔽
    • 0 表示頭部被遮蔽
  • labels (torch.LongTensor,形狀為 (batch_size, height, width), 可選) — 用於計算損失的真實語義分割圖。索引應在[0, ..., config.num_labels - 1]範圍內。如果config.num_labels > 1,則計算分類損失(交叉熵)。
  • output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊,請參見返回張量下的attentions
  • output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊,請參見返回張量下的hidden_states
  • return_dict (bool, 可選) — 是否返回ModelOutput而不是普通的元組。

返回

transformers.modeling_outputs.SemanticSegmenterOutputtuple(torch.FloatTensor)

一個transformers.modeling_outputs.SemanticSegmenterOutput或一個torch.FloatTensor元組(如果傳遞了return_dict=False或當config.return_dict=False時),包含取決於配置(DPTConfig)和輸入的各種元素。

  • loss (形狀為 (1,)torch.FloatTensor可選,當提供 labels 時返回) — 分類損失(如果 config.num_labels==1,則為迴歸損失)。

  • logits (形狀為 (batch_size, config.num_labels, logits_height, logits_width)torch.FloatTensor) — 每個畫素的分類分數。

    返回的logits不一定與作為輸入傳遞的pixel_values具有相同的大小。這是為了避免兩次插值,並在使用者需要將logits調整到原始影像大小時,在後處理中損失一些質量。您應該始終檢查logits的形狀並根據需要進行調整。

  • hidden_states (tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=Trueconfig.output_hidden_states=True時返回) — torch.FloatTensor的元組(一個用於嵌入層的輸出,如果模型有嵌入層,+ 每個層的輸出一個),形狀為(batch_size, patch_size, hidden_size)

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor), 可選, 當傳入output_attentions=Trueconfig.output_attentions=True時返回) — torch.FloatTensor的元組(每個層一個)形狀為(batch_size, num_heads, patch_size, sequence_length)

    注意力 softmax 後的注意力權重,用於計算自注意力頭中的加權平均值。

DPTForSemanticSegmentation的forward方法,重寫了__call__特殊方法。

儘管前向傳遞的實現需要在該函式中定義,但之後應該呼叫Module例項而不是該函式,因為前者負責執行預處理和後處理步驟,而後者會靜默忽略它們。

示例

>>> from transformers import AutoImageProcessor, DPTForSemanticSegmentation
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("Intel/dpt-large-ade")
>>> model = DPTForSemanticSegmentation.from_pretrained("Intel/dpt-large-ade")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> logits = outputs.logits
< > 在 GitHub 上更新

© . This site is unofficial and not affiliated with Hugging Face, Inc.