Transformers 文件
DPT
並獲得增強的文件體驗
開始使用
DPT
概述
DPT 模型由 René Ranftl、Alexey Bochkovskiy 和 Vladlen Koltun 在 Vision Transformers for Dense Prediction 中提出。DPT 是一個利用 Vision Transformer (ViT) 作為骨幹進行密集預測任務(如語義分割和深度估計)的模型。
論文摘要如下:
我們引入了密集視覺 Transformer,這是一種以視覺 Transformer 代替卷積網路作為骨幹進行密集預測任務的架構。我們將來自視覺 Transformer 不同階段的 tokens 組合成不同解析度的影像狀表示,並使用卷積解碼器逐步將它們組合成全解析度預測。Transformer 骨幹以恆定且相對較高的解析度處理表示,並在每個階段都具有全域性感受野。這些特性使得密集視覺 Transformer 能夠提供比全卷積網路更細粒度、更全域性一致的預測。我們的實驗表明,這種架構在密集預測任務上產生了顯著的改進,特別是在有大量訓練資料可用時。對於單目深度估計,與最先進的全卷積網路相比,我們觀察到相對效能提高了多達 28%。當應用於語義分割時,密集視覺 Transformer 在 ADE20K 上以 49.02% 的 mIoU 創造了新的 SOTA。我們進一步表明,該架構可以在 NYUv2、KITTI 和 Pascal Context 等較小資料集上進行微調,並在這些資料集上也創造了新的 SOTA。

使用技巧
DPT 與 AutoBackbone 類相容。這允許使用 DPT 框架與庫中提供的各種計算機視覺骨幹,例如 VitDetBackbone
或 Dinov2Backbone
。可以按如下方式建立它:
from transformers import Dinov2Config, DPTConfig, DPTForDepthEstimation
# initialize with a Transformer-based backbone such as DINOv2
# in that case, we also specify `reshape_hidden_states=False` to get feature maps of shape (batch_size, num_channels, height, width)
backbone_config = Dinov2Config.from_pretrained("facebook/dinov2-base", out_features=["stage1", "stage2", "stage3", "stage4"], reshape_hidden_states=False)
config = DPTConfig(backbone_config=backbone_config)
model = DPTForDepthEstimation(config=config)
資源
Hugging Face 官方和社群(以🌎表示)資源列表,幫助您開始使用 DPT。
DPTForDepthEstimation 的演示筆記本可以在此處找到。
如果您有興趣在此處提交資源,請隨時開啟 Pull Request,我們將對其進行審查!該資源最好能展示一些新內容,而不是重複現有資源。
DPTConfig
class transformers.DPTConfig
< 源 >( hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-12 image_size = 384 patch_size = 16 num_channels = 3 is_hybrid = False qkv_bias = True backbone_out_indices = [2, 5, 8, 11] readout_type = 'project' reassemble_factors = [4, 2, 1, 0.5] neck_hidden_sizes = [96, 192, 384, 768] fusion_hidden_size = 256 head_in_index = -1 use_batch_norm_in_fusion_residual = False use_bias_in_fusion_residual = None add_projection = False use_auxiliary_head = True auxiliary_loss_weight = 0.4 semantic_loss_ignore_index = 255 semantic_classifier_dropout = 0.1 backbone_featmap_shape = [1, 1024, 24, 24] neck_ignore_stages = [0, 1] backbone_config = None backbone = None use_pretrained_backbone = False use_timm_backbone = False backbone_kwargs = None pooler_output_size = None pooler_act = 'tanh' **kwargs )
引數
- hidden_size (
int
, 可選, 預設為 768) — 編碼器層和池化層維度。 - num_hidden_layers (
int
, 可選, 預設為 12) — Transformer 編碼器中隱藏層的數量。 - num_attention_heads (
int
, 可選, 預設為 12) — Transformer 編碼器中每個注意力層的注意力頭數量。 - intermediate_size (
int
, 可選, 預設為 3072) — Transformer 編碼器中“中間”(即,前饋)層的維度。 - hidden_act (
str
或function
, 可選, 預設為"gelu"
) — 編碼器和池化器中的非線性啟用函式(函式或字串)。如果為字串,支援"gelu"
、"relu"
、"selu"
和"gelu_new"
。 - hidden_dropout_prob (
float
, 可選, 預設為 0.0) — 嵌入、編碼器和池化器中所有全連線層的 dropout 機率。 - attention_probs_dropout_prob (
float
, 可選, 預設為 0.0) — 注意力機率的 dropout 比率。 - initializer_range (
float
, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的截斷正態初始化器的標準差。 - layer_norm_eps (
float
, 可選, 預設為 1e-12) — 層歸一化層使用的 epsilon。 - image_size (
int
, 可選, 預設為 384) — 每張影像的大小(解析度)。 - patch_size (
int
, 可選, 預設為 16) — 每個補丁的大小(解析度)。 - num_channels (
int
, 可選, 預設為 3) — 輸入通道的數量。 - is_hybrid (
bool
, 可選, 預設為False
) — 是否使用混合骨幹。在載入 DPT-Hybrid 模型時有用。 - qkv_bias (
bool
, 可選, 預設為True
) — 是否在 queries、keys 和 values 中新增偏置。 - backbone_out_indices (
list[int]
, 可選, 預設為[2, 5, 8, 11]
) — 要從骨幹使用的中間隱藏狀態的索引。 - readout_type (
str
, 可選, 預設為"project"
) — 處理 ViT 骨幹中間隱藏狀態的讀取標記(CLS 標記)時使用的讀取型別。可以是 ["ignore"
,"add"
,"project"
] 之一。- “ignore”:直接忽略 CLS 標記。
- “add”:透過新增表示將 CLS 標記的資訊傳遞給所有其他標記。
- “project”:透過將讀取標記連線到所有其他標記,然後使用線性層後接 GELU 非線性啟用將表示投影到原始特徵維度 D,從而將資訊傳遞給其他標記。
- reassemble_factors (
list[int]
, 可選, 預設為[4, 2, 1, 0.5]
) — 重組層的上/下采樣因子。 - neck_hidden_sizes (
list[str]
, 可選, 預設為[96, 192, 384, 768]
) — 骨幹特徵圖投影的隱藏大小。 - fusion_hidden_size (
int
, 可選, 預設為 256) — 融合前的通道數。 - head_in_index (
int
, 可選, 預設為 -1) — 在頭中使用特徵的索引。 - use_batch_norm_in_fusion_residual (
bool
, 可選, 預設為False
) — 是否在融合塊的預啟用殘差單元中使用批歸一化。 - use_bias_in_fusion_residual (
bool
, 可選, 預設為True
) — 是否在融合塊的預啟用殘差單元中使用偏置。 - add_projection (
bool
, 可選, 預設為False
) — 是否在深度估計頭之前新增投影層。 - use_auxiliary_head (
bool
, 可選, 預設為True
) — 訓練期間是否使用輔助頭。 - auxiliary_loss_weight (
float
, 可選, 預設為 0.4) — 輔助頭的交叉熵損失權重。 - semantic_loss_ignore_index (
int
, 可選, 預設為 255) — 語義分割模型的損失函式忽略的索引。 - semantic_classifier_dropout (
float
, 可選, 預設為 0.1) — 語義分類頭的 dropout 比率。 - backbone_featmap_shape (
list[int]
, 可選, 預設為[1, 1024, 24, 24]
) — 僅用於hybrid
嵌入型別。骨幹特徵圖的形狀。 - neck_ignore_stages (
list[int]
, 可選, 預設為[0, 1]
) — 僅用於hybrid
嵌入型別。要忽略的讀取層的階段。 - backbone_config (
Union[dict[str, Any], PretrainedConfig]
, 可選) — 骨幹模型的配置。僅在is_hybrid
為True
或您想利用 AutoBackbone API 時使用。 - backbone (
str
, 可選) — 當backbone_config
為None
時使用的骨幹名稱。如果use_pretrained_backbone
為True
,這將從 timm 或 transformers 庫載入相應的預訓練權重。如果use_pretrained_backbone
為False
,這將載入骨幹的配置並使用該配置初始化隨機權重的骨幹。 - use_pretrained_backbone (
bool
, 可選, 預設為False
) — 是否使用骨幹的預訓練權重。 - use_timm_backbone (
bool
, 可選, 預設為False
) — 是否從 timm 庫載入backbone
。如果為False
,則從 transformers 庫載入骨幹。 - backbone_kwargs (
dict
, 可選) — 從檢查點載入時要傳遞給 AutoBackbone 的關鍵字引數,例如{'out_indices': (0, 1, 2, 3)}
。如果設定了backbone_config
,則不能指定。 - pooler_output_size (
int
, 可選) — 池化層維度。如果為 None,則預設為hidden_size
。 - pooler_act (
str
, 可選, 預設為"tanh"
) — 池化層使用的啟用函式。Flax 和 Pytorch 支援 ACT2FN 的鍵,Tensorflow 支援 https://www.tensorflow.org/api_docs/python/tf/keras/activations 的元素。
這是用於儲存 DPTModel 配置的配置類。它用於根據指定引數例項化 DPT 模型,定義模型架構。使用預設值例項化配置將產生與 DPT Intel/dpt-large 架構類似的配置。
配置物件繼承自 PretrainedConfig,可用於控制模型輸出。有關更多資訊,請閱讀 PretrainedConfig 的文件。
示例
>>> from transformers import DPTModel, DPTConfig
>>> # Initializing a DPT dpt-large style configuration
>>> configuration = DPTConfig()
>>> # Initializing a model from the dpt-large style configuration
>>> model = DPTModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
將此例項序列化為 Python 字典。覆蓋預設的 to_dict()。返回: dict[str, any]
:構成此配置例項的所有屬性的字典,
DPTFeatureExtractor
post_process_semantic_segmentation
< source >( outputs target_sizes: typing.Optional[list[tuple]] = None ) → semantic_segmentation
引數
- outputs (DPTForSemanticSegmentation) — 模型的原始輸出。
- target_sizes (
list[Tuple]
,長度為batch_size
,可選) — 對應於每個預測的請求最終大小(高度,寬度)的元組列表。如果未設定,則預測將不會被調整大小。
返回
語義分割
list[torch.Tensor]
,長度為 batch_size
,其中每個專案是形狀為 (height, width) 的語義分割圖,對應於 target_sizes 條目(如果指定了 target_sizes
)。每個 torch.Tensor
的每個條目對應一個語義類別 ID。
將 DPTForSemanticSegmentation 的輸出轉換為語義分割圖。僅支援 PyTorch。
DPTImageProcessor
class transformers.DPTImageProcessor
< source >( do_resize: bool = True size: typing.Optional[dict[str, int]] = None resample: Resampling = <Resampling.BICUBIC: 3> keep_aspect_ratio: bool = False ensure_multiple_of: int = 1 do_rescale: bool = True rescale_factor: typing.Union[int, float] = 0.00392156862745098 do_normalize: bool = True image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_pad: bool = False size_divisor: typing.Optional[int] = None do_reduce_labels: bool = False **kwargs )
引數
- do_resize (
bool
, 可選, 預設為True
) — 是否調整影像的(高度,寬度)尺寸。可以透過preprocess
中的do_resize
覆蓋。 - size (
dict[str, int]
可選, 預設為{"height" -- 384, "width": 384}
): 調整大小後的影像尺寸。可以透過preprocess
中的size
覆蓋。 - resample (
PILImageResampling
, 可選, 預設為Resampling.BICUBIC
) — 定義調整影像大小時使用的重取樣濾波器。可以透過preprocess
中的resample
覆蓋。 - keep_aspect_ratio (
bool
, 可選, 預設為False
) — 如果為True
,則影像將調整為儘可能大的尺寸,同時保持縱橫比。可以透過preprocess
中的keep_aspect_ratio
覆蓋。 - ensure_multiple_of (
int
, 可選, 預設為 1) — 如果do_resize
為True
,則影像將調整為該值的倍數。可以透過preprocess
中的ensure_multiple_of
覆蓋。 - do_rescale (
bool
, 可選, 預設為True
) — 是否透過指定的縮放因子rescale_factor
重新縮放影像。可以透過preprocess
中的do_rescale
覆蓋。 - rescale_factor (
int
或float
, 可選, 預設為1/255
) — 如果重新縮放影像,則使用的縮放因子。可以透過preprocess
中的rescale_factor
覆蓋。 - do_normalize (
bool
, 可選, 預設為True
) — 是否對影像進行歸一化。可以透過preprocess
方法中的do_normalize
引數覆蓋。 - image_mean (
float
或list[float]
, 可選, 預設為IMAGENET_STANDARD_MEAN
) — 影像歸一化時使用的均值。這是一個浮點數或浮點數列表,長度與影像中的通道數相同。可以透過preprocess
方法中的image_mean
引數覆蓋。 - image_std (
float
或list[float]
, 可選, 預設為IMAGENET_STANDARD_STD
) — 影像歸一化時使用的標準差。這是一個浮點數或浮點數列表,長度與影像中的通道數相同。可以透過preprocess
方法中的image_std
引數覆蓋。 - do_pad (
bool
, 可選, 預設為False
) — 是否應用中心填充。這是在 DINOv2 論文中引入的,該論文將模型與 DPT 結合使用。 - size_divisor (
int
, 可選) — 如果do_pad
為True
,則將影像尺寸填充為可被此值整除。這是在 DINOv2 論文中引入的,該論文將模型與 DPT 結合使用。 - do_reduce_labels (
bool
, 可選, 預設為False
) — 是否將分割圖的所有標籤值減 1。通常用於 0 表示背景,且背景本身不包含在資料集所有類別中的資料集(例如 ADE20k)。背景標籤將替換為 255。可以透過preprocess
方法中的do_reduce_labels
引數覆蓋。
構造 DPT 影像處理器。
preprocess
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None do_resize: typing.Optional[bool] = None size: typing.Optional[int] = None keep_aspect_ratio: typing.Optional[bool] = None ensure_multiple_of: typing.Optional[int] = None resample: Resampling = None do_rescale: typing.Optional[bool] = None rescale_factor: typing.Optional[float] = None do_normalize: typing.Optional[bool] = None image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None do_pad: typing.Optional[bool] = None size_divisor: typing.Optional[int] = None do_reduce_labels: typing.Optional[bool] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: ChannelDimension = <ChannelDimension.FIRST: 'channels_first'> input_data_format: typing.Union[str, transformers.image_utils.ChannelDimension, NoneType] = None )
引數
- images (
ImageInput
) — 待預處理的影像。期望單個或批次影像的畫素值範圍為 0 到 255。如果傳入的影像畫素值在 0 到 1 之間,請設定do_rescale=False
。 - segmentation_maps (
ImageInput
, 可選) — 待預處理的分割圖。 - do_resize (
bool
, 可選, 預設為self.do_resize
) — 是否調整影像大小。 - size (
dict[str, int]
, 可選, 預設為self.size
) — 調整大小後的影像尺寸。如果keep_aspect_ratio
為True
,則影像將調整為儘可能大的尺寸,同時保持縱橫比。如果設定了ensure_multiple_of
,則影像將調整為該值的倍數。 - keep_aspect_ratio (
bool
, 可選, 預設為self.keep_aspect_ratio
) — 是否保持影像的縱橫比。如果為 False,影像將調整為 (size, size)。如果為 True,影像將調整大小以保持縱橫比,並且大小將是最大可能值。 - ensure_multiple_of (
int
, 可選, 預設為self.ensure_multiple_of
) — 確保影像尺寸是此值的倍數。 - resample (
int
, 可選, 預設為self.resample
) — 調整影像大小時使用的重取樣濾波器。可以是PILImageResampling
列舉之一。僅當do_resize
設定為True
時有效。 - do_rescale (
bool
, 可選, 預設為self.do_rescale
) — 是否將影像值重新縮放到 [0 - 1] 之間。 - rescale_factor (
float
, 可選, 預設為self.rescale_factor
) — 如果do_rescale
設定為True
,則用於重新縮放影像的縮放因子。 - do_normalize (
bool
, 可選, 預設為self.do_normalize
) — 是否對影像進行歸一化。 - image_mean (
float
或list[float]
, 可選, 預設為self.image_mean
) — 影像均值。 - image_std (
float
或list[float]
, 可選, 預設為self.image_std
) — 影像標準差。 - do_reduce_labels (
bool
, 可選, 預設為self.do_reduce_labels
) — 是否將分割圖的所有標籤值減 1。通常用於 0 表示背景,且背景本身不包含在資料集所有類別中的資料集(例如 ADE20k)。背景標籤將替換為 255。 - return_tensors (
str
或TensorType
, 可選) — 返回張量的型別。可以是以下之一:- 未設定:返回
np.ndarray
列表。 TensorType.TENSORFLOW
或'tf'
:返回tf.Tensor
型別的批次資料。TensorType.PYTORCH
或'pt'
:返回torch.Tensor
型別的批次資料。TensorType.NUMPY
或'np'
:返回np.ndarray
型別的批次資料。TensorType.JAX
或'jax'
:返回jax.numpy.ndarray
型別的批次資料。
- 未設定:返回
- data_format (
ChannelDimension
或str
, 可選, 預設為ChannelDimension.FIRST
) — 輸出影像的通道維度格式。可以是以下之一:ChannelDimension.FIRST
:影像格式為 (num_channels, height, width)。ChannelDimension.LAST
:影像格式為 (height, width, num_channels)。
- input_data_format (
ChannelDimension
或str
, 可選) — 輸入影像的通道維度格式。如果未設定,則從輸入影像推斷通道維度格式。可以是以下之一:"channels_first"
或ChannelDimension.FIRST
:影像格式為 (num_channels, height, width)。"channels_last"
或ChannelDimension.LAST
:影像格式為 (height, width, num_channels)。"none"
或ChannelDimension.NONE
:影像格式為 (height, width)。
預處理一張或一批影像。
DPTImageProcessorFast
class transformers.DPTImageProcessorFast
< source >( **kwargs: typing_extensions.Unpack[transformers.models.dpt.image_processing_dpt_fast.DPTFastImageProcessorKwargs] )
構造一個快速 Dpt 影像處理器。
preprocess
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None **kwargs: typing_extensions.Unpack[transformers.models.dpt.image_processing_dpt_fast.DPTFastImageProcessorKwargs] ) → <class 'transformers.image_processing_base.BatchFeature'>
引數
- images (
Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]
) — 待預處理的影像。期望單個或批次影像的畫素值範圍為 0 到 255。如果傳入的影像畫素值在 0 到 1 之間,請設定do_rescale=False
。 - segmentation_maps (
ImageInput
, 可選) — 待預處理的分割圖。 - do_resize (
bool
, 可選) — 是否調整影像大小。 - size (
dict[str, int]
, 可選) — 描述模型的最大輸入尺寸。 - default_to_square (
bool
, 可選) — 如果 size 為整數,是否預設將影像調整為正方形。 - resample (
Union[PILImageResampling, F.InterpolationMode, NoneType]
) — 調整影像大小時使用的重取樣濾波器。可以是PILImageResampling
列舉之一。僅當do_resize
設定為True
時有效。 - do_center_crop (
bool
, 可選) — 是否對影像進行中心裁剪。 - crop_size (
dict[str, int]
, 可選) — 應用center_crop
後輸出影像的大小。 - do_rescale (
bool
, 可選) — 是否縮放影像。 - rescale_factor (
Union[int, float, NoneType]
) — 如果do_rescale
設定為True
,則用於縮放影像的縮放因子。 - do_normalize (
bool
, 可選) — 是否對影像進行歸一化。 - image_mean (
Union[float, list[float], NoneType]
) — 用於歸一化的影像平均值。僅當do_normalize
設定為True
時有效。 - image_std (
Union[float, list[float], NoneType]
) — 用於歸一化的影像標準差。僅當do_normalize
設定為True
時有效。 - do_convert_rgb (
bool
, 可選) — 是否將影像轉換為RGB。 - return_tensors (
Union[str, ~utils.generic.TensorType, NoneType]
) — 如果設定為“pt”,則返回堆疊張量,否則返回張量列表。 - data_format (
~image_utils.ChannelDimension
, 可選) — 僅支援ChannelDimension.FIRST
。為與慢速處理器相容而新增。 - input_data_format (
Union[str, ~image_utils.ChannelDimension, NoneType]
) — 輸入影像的通道維度格式。如果未設定,則從輸入影像推斷通道維度格式。可以是以下之一:"channels_first"
或ChannelDimension.FIRST
:影像格式為(通道數, 高度, 寬度)。"channels_last"
或ChannelDimension.LAST
:影像格式為(高度, 寬度, 通道數)。"none"
或ChannelDimension.NONE
:影像格式為(高度, 寬度)。
- device (
torch.device
, 可選) — 處理影像的裝置。如果未設定,則從輸入影像推斷裝置。 - disable_grouping (
bool
, 可選) — 是否停用按大小對影像進行分組以單獨處理而不是分批處理。如果為 None,則如果影像在 CPU 上,則設定為 True,否則設定為 False。此選擇基於經驗觀察,詳見:https://github.com/huggingface/transformers/pull/38157 - ensure_multiple_of (
int
, 可選, 預設為 1) — 如果do_resize
為True
,則影像將調整大小為該值的倍數。可以透過preprocess
中的ensure_multiple_of
覆蓋。 - size_divisor (
int
, 可選) — 如果do_pad
為True
,則將影像尺寸填充為該值的倍數。這是在DINOv2論文中引入的,DINOv2使用該模型與DPT結合。 - do_pad (
bool
, 可選, 預設為False
) — 是否應用中心填充。這是在DINOv2論文中引入的,DINOv2使用該模型與DPT結合。 - keep_aspect_ratio (
bool
, 可選, 預設為False
) — 如果為True
,影像將調整為儘可能大的尺寸,同時保持縱橫比。可以透過preprocess
中的keep_aspect_ratio
覆蓋。 - do_reduce_labels (
bool
, 可選, 預設為self.do_reduce_labels
) — 是否將分割圖的所有標籤值減1。通常用於背景標籤為0,且背景本身不包含在資料集所有類別中的資料集(例如ADE20k)。背景標籤將被替換為255。
返回
<class 'transformers.image_processing_base.BatchFeature'>
- data (
dict
) — 由 call 方法返回的列表/陣列/張量字典(“pixel_values”等)。 - tensor_type (
Union[None, str, TensorType]
, 可選) — 您可以在此處提供一個`tensor_type`,以便在初始化時將整數列表轉換為PyTorch/TensorFlow/Numpy張量。
post_process_semantic_segmentation
< 來源 >( outputs target_sizes: typing.Optional[list[tuple]] = None ) → semantic_segmentation
引數
- outputs (DPTForSemanticSegmentation) — 模型的原始輸出。
- target_sizes (
list[Tuple]
,長度為batch_size
,可選) — 對應於每個預測的請求最終大小(高度,寬度)的元組列表。如果未設定,預測將不會調整大小。
返回
語義分割
list[torch.Tensor]
,長度為 batch_size
,其中每個專案是形狀為 (height, width) 的語義分割圖,對應於 target_sizes 條目(如果指定了 target_sizes
)。每個 torch.Tensor
的每個條目對應一個語義類別 ID。
將 DPTForSemanticSegmentation 的輸出轉換為語義分割圖。僅支援 PyTorch。
後處理深度估計
< 來源 >( outputs: DepthEstimatorOutput target_sizes: typing.Union[transformers.utils.generic.TensorType, list[tuple[int, int]], NoneType] = None ) → List[Dict[str, TensorType]]
將DepthEstimatorOutput
的原始輸出轉換為最終深度預測和深度PIL影像。僅支援PyTorch。
DPTModel
類 transformers.DPTModel
< 來源 >( config add_pooling_layer = True )
引數
- config (DPTModel) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重,只加載配置。檢視from_pretrained()方法以載入模型權重。
- add_pooling_layer (
bool
, 可選, 預設為True
) — 是否新增池化層
裸Dpt模型,輸出原始隱藏狀態,頂部沒有任何特定頭。
此模型繼承自PreTrainedModel。檢視超類文件,瞭解庫為其所有模型實現的一般方法(例如下載或儲存、調整輸入嵌入大小、修剪頭部等)。
此模型也是一個PyTorch torch.nn.Module子類。將其用作常規PyTorch模組,並參考PyTorch文件中與一般用法和行為相關的所有事項。
向前
< 來源 >( pixel_values: FloatTensor head_mask: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivations
或 tuple(torch.FloatTensor)
引數
- pixel_values (
torch.FloatTensor
,形狀為(batch_size, num_channels, image_size, image_size)
) — 對應於輸入影像的張量。畫素值可以使用{image_processor_class}
獲取。有關詳細資訊,請參見{image_processor_class}.__call__
({processor_class}
使用{image_processor_class}
處理影像)。 - head_mask (
torch.FloatTensor
,形狀為(num_heads,)
或(num_layers, num_heads)
, 可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇在[0, 1]
:- 1 表示頭部未被遮蔽,
- 0 表示頭部被遮蔽。
- output_attentions (
bool
, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊,請參見返回張量下的attentions
。 - output_hidden_states (
bool
, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊,請參見返回張量下的hidden_states
。 - return_dict (
bool
, 可選) — 是否返回ModelOutput而不是普通的元組。
返回
transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivations
或 tuple(torch.FloatTensor)
一個transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivations
或一個torch.FloatTensor
元組(如果傳遞了return_dict=False
或當config.return_dict=False
時),包含取決於配置(DPTConfig)和輸入的各種元素。
-
last_hidden_state (形狀為
(batch_size, sequence_length, hidden_size)
的torch.FloatTensor
, 可選,預設為None
) — 模型最後一層輸出的隱藏狀態序列。 -
pooler_output (
torch.FloatTensor
,形狀為(batch_size, hidden_size)
) — 序列中第一個令牌(分類令牌)的最後一層隱藏狀態,經過用於輔助預訓練任務的層進一步處理。例如,對於BERT家族的模型,這返回經過線性層和tanh啟用函式處理後的分類令牌。線性層權重在預訓練期間透過下一個句子預測(分類)目標進行訓練。 -
hidden_states (
tuple[torch.FloatTensor, ...]
, 可選, 當傳入output_hidden_states=True
或config.output_hidden_states=True
時返回) —torch.FloatTensor
的元組(如果模型有嵌入層,則為嵌入層輸出一個,每個層輸出一個)形狀為(batch_size, sequence_length, hidden_size)
。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple[torch.FloatTensor, ...]
, 可選, 當傳入output_attentions=True
或config.output_attentions=True
時返回) —torch.FloatTensor
的元組(每個層一個)形狀為(batch_size, num_heads, sequence_length, sequence_length)
。注意力 softmax 後的注意力權重,用於計算自注意力頭中的加權平均值。
-
intermediate_activations (
tuple(torch.FloatTensor)
, 可選) — 可用於計算模型在各個層的隱藏狀態的中間啟用。
DPTModel
forward方法,覆蓋了__call__
特殊方法。
儘管前向傳遞的實現需要在該函式中定義,但之後應該呼叫Module
例項而不是該函式,因為前者負責執行預處理和後處理步驟,而後者會靜默忽略它們。
DPTForDepthEstimation
類 transformers.DPTForDepthEstimation
< 來源 >( config )
引數
- config (DPTForDepthEstimation) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重,只加載配置。檢視from_pretrained()方法以載入模型權重。
DPT模型,頂部帶有深度估計頭(由3個卷積層組成),例如用於KITTI、NYUv2。
此模型繼承自PreTrainedModel。檢視超類文件,瞭解庫為其所有模型實現的一般方法(例如下載或儲存、調整輸入嵌入大小、修剪頭部等)。
此模型也是一個PyTorch torch.nn.Module子類。將其用作常規PyTorch模組,並參考PyTorch文件中與一般用法和行為相關的所有事項。
向前
< 來源 >( pixel_values: FloatTensor head_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.DepthEstimatorOutput 或 tuple(torch.FloatTensor)
引數
- pixel_values (
torch.FloatTensor
,形狀為(batch_size, num_channels, image_size, image_size)
) — 對應於輸入影像的張量。畫素值可以使用{image_processor_class}
獲取。有關詳細資訊,請參見{image_processor_class}.__call__
({processor_class}
使用{image_processor_class}
處理影像)。 - head_mask (
torch.FloatTensor
,形狀為(num_heads,)
或(num_layers, num_heads)
, 可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇在[0, 1]
:- 1 表示頭部未被遮蔽,
- 0 表示頭部被遮蔽。
- labels (
torch.LongTensor
,形狀為(batch_size, height, width)
, 可選) — 用於計算損失的真實深度估計圖。 - output_attentions (
bool
, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊,請參見返回張量下的attentions
。 - output_hidden_states (
bool
, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊,請參見返回張量下的hidden_states
。 - return_dict (
bool
, 可選) — 是否返回ModelOutput而不是普通的元組。
返回
transformers.modeling_outputs.DepthEstimatorOutput 或 tuple(torch.FloatTensor)
一個transformers.modeling_outputs.DepthEstimatorOutput或一個torch.FloatTensor
元組(如果傳遞了return_dict=False
或當config.return_dict=False
時),包含取決於配置(DPTConfig)和輸入的各種元素。
-
loss (形狀為
(1,)
的torch.FloatTensor
,可選,當提供labels
時返回) — 分類損失(如果 config.num_labels==1,則為迴歸損失)。 -
predicted_depth (
torch.FloatTensor
,形狀為(batch_size, height, width)
) — 每個畫素的預測深度。 -
hidden_states (
tuple(torch.FloatTensor)
, 可選, 當傳入output_hidden_states=True
或config.output_hidden_states=True
時返回) —torch.FloatTensor
的元組(如果模型有嵌入層,則為嵌入層輸出一個,每個層輸出一個)形狀為(batch_size, num_channels, height, width)
。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)
, 可選, 當傳入output_attentions=True
或config.output_attentions=True
時返回) —torch.FloatTensor
的元組(每個層一個)形狀為(batch_size, num_heads, patch_size, sequence_length)
。注意力 softmax 後的注意力權重,用於計算自注意力頭中的加權平均值。
DPTForDepthEstimation
forward方法,覆蓋了__call__
特殊方法。
儘管前向傳遞的實現需要在該函式中定義,但之後應該呼叫Module
例項而不是該函式,因為前者負責執行預處理和後處理步驟,而後者會靜默忽略它們。
示例
>>> from transformers import AutoImageProcessor, DPTForDepthEstimation
>>> import torch
>>> import numpy as np
>>> from PIL import Image
>>> import requests
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> image_processor = AutoImageProcessor.from_pretrained("Intel/dpt-large")
>>> model = DPTForDepthEstimation.from_pretrained("Intel/dpt-large")
>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> # interpolate to original size
>>> post_processed_output = image_processor.post_process_depth_estimation(
... outputs,
... target_sizes=[(image.height, image.width)],
... )
>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))
DPTForSemanticSegmentation
類 transformers.DPTForSemanticSegmentation
< 來源 >( config )
引數
- config (DPTForSemanticSegmentation) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重,只加載配置。檢視from_pretrained()方法以載入模型權重。
DPT模型,頂部帶有語義分割頭,例如用於ADE20K、CityScapes。
此模型繼承自PreTrainedModel。檢視超類文件,瞭解庫為其所有模型實現的一般方法(例如下載或儲存、調整輸入嵌入大小、修剪頭部等)。
此模型也是一個PyTorch torch.nn.Module子類。將其用作常規PyTorch模組,並參考PyTorch文件中與一般用法和行為相關的所有事項。
向前
< 來源 >( pixel_values: typing.Optional[torch.FloatTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)
引數
- pixel_values (
torch.FloatTensor
,形狀為(batch_size, num_channels, image_size, image_size)
, 可選) — 對應於輸入影像的張量。畫素值可以使用{image_processor_class}
獲取。有關詳細資訊,請參見{image_processor_class}.__call__
({processor_class}
使用{image_processor_class}
處理影像)。 - head_mask (
torch.FloatTensor
,形狀為(num_heads,)
或(num_layers, num_heads)
, 可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇在[0, 1]
:- 1 表示頭部未被遮蔽,
- 0 表示頭部被遮蔽。
- labels (
torch.LongTensor
,形狀為(batch_size, height, width)
, 可選) — 用於計算損失的真實語義分割圖。索引應在[0, ..., config.num_labels - 1]
範圍內。如果config.num_labels > 1
,則計算分類損失(交叉熵)。 - output_attentions (
bool
, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊,請參見返回張量下的attentions
。 - output_hidden_states (
bool
, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊,請參見返回張量下的hidden_states
。 - return_dict (
bool
, 可選) — 是否返回ModelOutput而不是普通的元組。
返回
transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)
一個transformers.modeling_outputs.SemanticSegmenterOutput或一個torch.FloatTensor
元組(如果傳遞了return_dict=False
或當config.return_dict=False
時),包含取決於配置(DPTConfig)和輸入的各種元素。
-
loss (形狀為
(1,)
的torch.FloatTensor
,可選,當提供labels
時返回) — 分類損失(如果 config.num_labels==1,則為迴歸損失)。 -
logits (形狀為
(batch_size, config.num_labels, logits_height, logits_width)
的torch.FloatTensor
) — 每個畫素的分類分數。返回的logits不一定與作為輸入傳遞的
pixel_values
具有相同的大小。這是為了避免兩次插值,並在使用者需要將logits調整到原始影像大小時,在後處理中損失一些質量。您應該始終檢查logits的形狀並根據需要進行調整。 -
hidden_states (
tuple(torch.FloatTensor)
, 可選, 當傳入output_hidden_states=True
或config.output_hidden_states=True
時返回) —torch.FloatTensor
的元組(一個用於嵌入層的輸出,如果模型有嵌入層,+ 每個層的輸出一個),形狀為(batch_size, patch_size, hidden_size)
。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)
, 可選, 當傳入output_attentions=True
或config.output_attentions=True
時返回) —torch.FloatTensor
的元組(每個層一個)形狀為(batch_size, num_heads, patch_size, sequence_length)
。注意力 softmax 後的注意力權重,用於計算自注意力頭中的加權平均值。
DPTForSemanticSegmentation的forward方法,重寫了__call__
特殊方法。
儘管前向傳遞的實現需要在該函式中定義,但之後應該呼叫Module
例項而不是該函式,因為前者負責執行預處理和後處理步驟,而後者會靜默忽略它們。
示例
>>> from transformers import AutoImageProcessor, DPTForSemanticSegmentation
>>> from PIL import Image
>>> import requests
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> image_processor = AutoImageProcessor.from_pretrained("Intel/dpt-large-ade")
>>> model = DPTForSemanticSegmentation.from_pretrained("Intel/dpt-large-ade")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> outputs = model(**inputs)
>>> logits = outputs.logits