Transformers 文件
MobileNet V2
並獲得增強的文件體驗
開始使用
MobileNet V2
MobileNet V2 透過更高效的架構提升了在移動裝置上的效能。它使用倒置殘差塊(inverted residual blocks)和線性瓶頸(linear bottlenecks)來處理資料,首先將資料壓縮到一個較小的表示,然後擴充套件進行處理,最後再次收縮以減少計算量。該模型還移除了非線性啟用函式,以在簡化設計的同時保持準確性。與 MobileNet V1 類似,它也使用深度可分離卷積(depthwise separable convolutions)來提高效率。
你可以在 Google 組織下找到所有原始的 MobileNet checkpoints。
點選右側邊欄中的 MobileNet V2 模型,檢視更多關於如何將 MobileNet 應用於不同視覺任務的示例。
以下示例演示瞭如何使用 Pipeline 或 AutoModel 類對影像進行分類。
import torch
from transformers import pipeline
pipeline = pipeline(
task="image-classification",
model="google/mobilenet_v2_1.4_224",
torch_dtype=torch.float16,
device=0
)
pipeline(images="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg")注意
分類 checkpoint 的名稱遵循 `mobilenet_v2_{depth_multiplier}_{resolution}` 的模式,例如 `mobilenet_v2_1.4_224`。其中 `1.4` 是深度乘數,`224` 是影像解析度。分割 checkpoint 的名稱遵循 `deeplabv3_mobilenet_v2_{depth_multiplier}_{resolution}` 的模式。
雖然模型是在特定尺寸的影像上訓練的,但其架構也適用於不同尺寸的影像(最小 32x32)。MobileNetV2ImageProcessor 會處理必要的預處理工作。
MobileNet 在 ImageNet-1k 資料集上進行了預訓練,該資料集包含 1000 個類別。然而,模型實際上會預測 1001 個類別。多出的一個類別是額外的“背景”類(索引為 0)。
分割模型使用 DeepLabV3+ 頭,該頭通常在 PASCAL VOC 等資料集上進行預訓練。
原始的 TensorFlow checkpoints 在推理時確定填充量,因為這取決於輸入影像的大小。要使用原生的 PyTorch 填充行為,請在 MobileNetV2Config 中設定 `tf_padding=False`。
from transformers import MobileNetV2Config config = MobileNetV2Config.from_pretrained("google/mobilenet_v2_1.4_224", tf_padding=True)Transformers 的實現不支援以下功能。
- 使用全域性平均池化,而不是可選的步長為 2 的 7x7 平均池化。對於較大的輸入,這會產生一個大於 1x1 畫素的池化輸出。
- 設定 `output_hidden_states=True` 會返回*所有*中間隱藏狀態。無法從特定層提取輸出用於其他下游目的。
- 不包括來自原始 checkpoints 的量化模型,因為它們包含“FakeQuantization”操作來反量化權重。
- 對於分割模型,即使 DeepLabV3+ 頭不使用它,主幹網路的最後一個卷積層也會被計算。
MobileNetV2Config
class transformers.MobileNetV2Config
< 原始碼 >( num_channels = 3 image_size = 224 depth_multiplier = 1.0 depth_divisible_by = 8 min_depth = 8 expand_ratio = 6.0 output_stride = 32 first_layer_is_expansion = True finegrained_output = True hidden_act = 'relu6' tf_padding = True classifier_dropout_prob = 0.8 initializer_range = 0.02 layer_norm_eps = 0.001 semantic_loss_ignore_index = 255 **kwargs )
引數
- num_channels (
int, 可選, 預設為 3) — 輸入通道的數量。 - image_size (
int, 可選, 預設為 224) — 每張影像的大小(解析度)。 - depth_multiplier (
float, 可選, 預設為 1.0) — 縮小或擴充套件每層通道的數量。預設為 1.0,此時網路以 32 個通道開始。這有時也被稱為“alpha”或“寬度乘數”。 - depth_divisible_by (
int, 可選, 預設為 8) — 每層通道數將始終是該數字的倍數。 - min_depth (
int, 可選, 預設為 8) — 所有層將至少有這麼多通道。 - expand_ratio (
float, 可選, 預設為 6.0) — 每個塊中第一層的輸出通道數是輸入通道數乘以擴充套件比率。 - output_stride (
int, 可選, 預設為 32) — 輸入和輸出特徵圖的空間解析度之比。預設情況下,模型將輸入維度縮小 32 倍。如果 `output_stride` 為 8 或 16,模型將在深度卷積層上使用空洞卷積(dilated convolutions)而不是常規卷積,這樣特徵圖的大小不會超過輸入影像的 8 倍或 16 倍。 - first_layer_is_expansion (
bool, 可選, 預設為 `True`) — 如果為 True,則第一個卷積層也是第一個擴充套件塊的擴充套件層。 - finegrained_output (
bool, 可選, 預設為 `True`) — 如果為 true,即使 `depth_multiplier` 小於 1,最後一個卷積層的輸出通道數也將保持較大值(1280)。 - hidden_act (
str或function, 可選, 預設為 `"relu6"`) — Transformer 編碼器和卷積層中的非線性啟用函式(函式或字串)。 - tf_padding (
bool, 可選, 預設為 `True`) — 是否在卷積層上使用 TensorFlow 的填充規則。 - classifier_dropout_prob (
float, 可選, 預設為 0.8) — 附加分類器的 dropout 比率。 - initializer_range (
float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。 - layer_norm_eps (
float, 可選, 預設為 0.001) — 層歸一化層使用的 epsilon 值。 - semantic_loss_ignore_index (
int, 可選, 預設為 255) — 語義分割模型的損失函式忽略的索引。
這是用於儲存 MobileNetV2Model 配置的配置類。它用於根據指定的引數例項化 MobileNetV2 模型,定義模型架構。使用預設值例項化配置將產生與 MobileNetV2 google/mobilenet_v2_1.0_224 架構類似的配置。
配置物件繼承自 PretrainedConfig,可用於控制模型輸出。有關更多資訊,請閱讀 PretrainedConfig 的文件。
示例
>>> from transformers import MobileNetV2Config, MobileNetV2Model
>>> # Initializing a "mobilenet_v2_1.0_224" style configuration
>>> configuration = MobileNetV2Config()
>>> # Initializing a model from the "mobilenet_v2_1.0_224" style configuration
>>> model = MobileNetV2Model(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configMobileNetV2FeatureExtractor
preprocess
< 原始碼 >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] do_resize: typing.Optional[bool] = None size: typing.Optional[dict[str, int]] = None resample: Resampling = None do_center_crop: typing.Optional[bool] = None crop_size: typing.Optional[dict[str, int]] = None do_rescale: typing.Optional[bool] = None rescale_factor: typing.Optional[float] = None do_normalize: typing.Optional[bool] = None image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: typing.Union[str, transformers.image_utils.ChannelDimension] = <ChannelDimension.FIRST: 'channels_first'> input_data_format: typing.Union[str, transformers.image_utils.ChannelDimension, NoneType] = None )
引數
- images (
ImageInput) — 待預處理的影像。需要單張或一批畫素值在 0 到 255 範圍內的影像。如果傳入的影像畫素值在 0 到 1 之間,請設定 `do_rescale=False`。 - do_resize (
bool, 可選, 預設為 `self.do_resize`) — 是否調整影像大小。 - size (
dict[str, int], 可選, 預設為 `self.size`) — 調整大小後的影像尺寸。影像的最短邊將被調整為 size[“shortest_edge”],最長邊則按比例調整以保持輸入影像的寬高比。 - resample (
PILImageResamplingfilter, 可選, 預設為 `self.resample`) — 用於調整影像大小的 `PILImageResampling` 過濾器,例如 `PILImageResampling.BILINEAR`。僅在 `do_resize` 設定為 `True` 時有效。 - do_center_crop (
bool, 可選, 預設為 `self.do_center_crop`) — 是否對影像進行中心裁剪。 - crop_size (
dict[str, int], 可選, 預設為 `self.crop_size`) — 中心裁剪的大小。僅在 `do_center_crop` 設定為 `True` 時有效。 - do_rescale (
bool, 可選, 預設為 `self.do_rescale`) — 是否將影像值重新縮放到 [0 - 1] 之間。 - rescale_factor (
float, 可選, 預設為 `self.rescale_factor`) — 如果 `do_rescale` 設定為 `True`,用於重新縮放影像的縮放因子。 - do_normalize (
bool, 可選, 預設為 `self.do_normalize`) — 是否對影像進行歸一化。 - image_mean (
float或list[float], 可選, 預設為 `self.image_mean`) — 如果 `do_normalize` 設定為 `True`,則使用的影像均值。 - image_std (
float或list[float], 可選, 預設為 `self.image_std`) — 如果 `do_normalize` 設定為 `True`,則使用的影像標準差。 - return_tensors (
str或TensorType, 可選) — 返回張量的型別。可以是以下之一:- 未設定:返回一個 `np.ndarray` 列表。
- `TensorType.TENSORFLOW` 或 `'tf'`:返回一個型別為 `tf.Tensor` 的批次。
- `TensorType.PYTORCH` 或 `'pt'`:返回一個型別為 `torch.Tensor` 的批次。
- `TensorType.NUMPY` 或 `'np'`:返回一個型別為 `np.ndarray` 的批次。
- `TensorType.JAX` 或 `'jax'`:返回一個型別為 `jax.numpy.ndarray` 的批次。
- data_format (
ChannelDimension或str, 可選, 預設為 `ChannelDimension.FIRST`) — 輸出影像的通道維度格式。可以是以下之一:- `"channels_first"` 或 `ChannelDimension.FIRST`:影像格式為 (num_channels, height, width)。
- `"channels_last"` 或 `ChannelDimension.LAST`:影像格式為 (height, width, num_channels)。
- 未設定:使用輸入影像的通道維度格式。
- input_data_format (
ChannelDimension或str, 可選) — 輸入影像的通道維度格式。如果未設定,則從輸入影像中推斷通道維度格式。可以是以下之一:- `"channels_first"` 或 `ChannelDimension.FIRST`:影像格式為 (num_channels, height, width)。
- `"channels_last"` 或 `ChannelDimension.LAST`:影像格式為 (height, width, num_channels)。
- `"none"` 或 `ChannelDimension.NONE`:影像格式為 (height, width)。
預處理一張或一批影像。
post_process_semantic_segmentation
< 原始碼 >( outputs target_sizes: typing.Optional[list[tuple]] = None ) → semantic_segmentation
引數
- outputs (MobileNetV2ForSemanticSegmentation) — 模型的原始輸出。
- target_sizes (長度為 `batch_size` 的 `list[Tuple]`, 可選) — 對應每個預測請求的最終尺寸(高,寬)的元組列表。如果未設定,預測將不會被調整大小。
返回
語義分割
長度為 `batch_size` 的 `list[torch.Tensor]`,其中每個元素是一個形狀為 (height, width) 的語義分割圖,對應於 target_sizes 中的條目(如果指定了 `target_sizes`)。每個 `torch.Tensor` 的每個條目對應一個語義類別 ID。
將 MobileNetV2ForSemanticSegmentation 的輸出轉換為語義分割圖。僅支援 PyTorch。
MobileNetV2ImageProcessor
class transformers.MobileNetV2ImageProcessor
< 原始碼 >( do_resize: bool = True size: typing.Optional[dict[str, int]] = None resample: Resampling = <Resampling.BILINEAR: 2> do_center_crop: bool = True crop_size: typing.Optional[dict[str, int]] = None do_rescale: bool = True rescale_factor: typing.Union[int, float] = 0.00392156862745098 do_normalize: bool = True image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None **kwargs )
引數
- do_resize (
bool, optional, defaults toTrue) — 是否將影像的(高度、寬度)尺寸調整為指定的size。可在preprocess方法中透過 `do_resize` 引數覆蓋。 - size (
dict[str, int]optional, defaults to{"shortest_edge": 256}): 調整大小後的影像尺寸。影像的最短邊將調整為 size["shortest_edge"],最長邊則按比例調整以保持輸入影像的寬高比。可在preprocess方法中透過size引數覆蓋。 - resample (
PILImageResampling, optional, defaults toPILImageResampling.BILINEAR) — 調整影像大小時使用的重取樣過濾器。可在preprocess方法中透過resample引數覆蓋。 - do_center_crop (
bool, optional, defaults toTrue) — 是否對影像進行中心裁剪。如果輸入尺寸的任何一邊小於crop_size,影像將用 0 填充,然後進行中心裁剪。可在preprocess方法中透過do_center_crop引數覆蓋。 - crop_size (
dict[str, int], optional, defaults to{"height": 224, "width": 224}): 應用中心裁剪時期望的輸出尺寸。僅當do_center_crop設定為True時生效。可在preprocess方法中透過crop_size引數覆蓋。 - do_rescale (
bool, optional, defaults toTrue) — 是否按指定的縮放比例rescale_factor對影像進行縮放。可在preprocess方法中透過do_rescale引數覆蓋。 - rescale_factor (
intorfloat, optional, defaults to1/255) — 縮放影像時使用的縮放因子。可在preprocess方法中透過rescale_factor引數覆蓋。 - do_normalize — 是否對影像進行歸一化。可在
preprocess方法中透過do_normalize引數覆蓋。 - image_mean (
floatorlist[float], optional, defaults toIMAGENET_STANDARD_MEAN) — 對影像進行歸一化時使用的均值。這是一個浮點數或浮點數列表,其長度等於影像中的通道數。可在preprocess方法中透過image_mean引數覆蓋。 - image_std (
floatorlist[float], optional, defaults toIMAGENET_STANDARD_STD) — 對影像進行歸一化時使用的標準差。這是一個浮點數或浮點數列表,其長度等於影像中的通道數。可在preprocess方法中透過image_std引數覆蓋。
構建一個 MobileNetV2 影像處理器。
preprocess
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] do_resize: typing.Optional[bool] = None size: typing.Optional[dict[str, int]] = None resample: Resampling = None do_center_crop: typing.Optional[bool] = None crop_size: typing.Optional[dict[str, int]] = None do_rescale: typing.Optional[bool] = None rescale_factor: typing.Optional[float] = None do_normalize: typing.Optional[bool] = None image_mean: typing.Union[float, list[float], NoneType] = None image_std: typing.Union[float, list[float], NoneType] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: typing.Union[str, transformers.image_utils.ChannelDimension] = <ChannelDimension.FIRST: 'channels_first'> input_data_format: typing.Union[str, transformers.image_utils.ChannelDimension, NoneType] = None )
引數
- images (
ImageInput) — 需要預處理的影像。接受單個或一批畫素值在 0 到 255 範圍內的影像。如果傳入的影像畫素值在 0 到 1 之間,請設定do_rescale=False。 - do_resize (
bool, optional, defaults toself.do_resize) — 是否調整影像大小。 - size (
dict[str, int], optional, defaults toself.size) — 調整大小後的影像尺寸。影像的最短邊調整為 size["shortest_edge"],最長邊則按比例調整以保持輸入影像的寬高比。 - resample (
PILImageResamplingfilter, optional, defaults toself.resample) — 如果要調整影像大小,使用的PILImageResampling過濾器,例如PILImageResampling.BILINEAR。僅當do_resize設定為True時生效。 - do_center_crop (
bool, optional, defaults toself.do_center_crop) — 是否對影像進行中心裁剪。 - crop_size (
dict[str, int], optional, defaults toself.crop_size) — 中心裁剪的尺寸。僅當do_center_crop設定為True時生效。 - do_rescale (
bool, optional, defaults toself.do_rescale) — 是否將影像畫素值縮放到 [0 - 1] 之間。 - rescale_factor (
float, optional, defaults toself.rescale_factor) — 當do_rescale設定為True時,用於縮放影像的因子。 - do_normalize (
bool, optional, defaults toself.do_normalize) — 是否對影像進行歸一化。 - image_mean (
floatorlist[float], optional, defaults toself.image_mean) — 當do_normalize設定為True時,用於歸一化的影像均值。 - image_std (
floatorlist[float], optional, defaults toself.image_std) — 當do_normalize設定為True時,用於歸一化的影像標準差。 - return_tensors (
strorTensorType, optional) — 返回的張量型別。可以是以下之一:- 未設定:返回一個
np.ndarray列表。 TensorType.TENSORFLOW或'tf':返回一個tf.Tensor型別的批次。TensorType.PYTORCH或'pt':返回一個torch.Tensor型別的批次。TensorType.NUMPY或'np':返回一個np.ndarray型別的批次。TensorType.JAX或'jax':返回一個jax.numpy.ndarray型別的批次。
- 未設定:返回一個
- data_format (
ChannelDimensionorstr, optional, defaults toChannelDimension.FIRST) — 輸出影像的通道維度格式。可以是以下之一:"channels_first"或ChannelDimension.FIRST:影像格式為 (num_channels, height, width)。"channels_last"或ChannelDimension.LAST:影像格式為 (height, width, num_channels)。- 未設定:使用輸入影像的通道維度格式。
- input_data_format (
ChannelDimensionorstr, optional) — 輸入影像的通道維度格式。如果未設定,則從輸入影像中推斷通道維度格式。可以是以下之一:"channels_first"或ChannelDimension.FIRST:影像格式為 (num_channels, height, width)。"channels_last"或ChannelDimension.LAST:影像格式為 (height, width, num_channels)。"none"或ChannelDimension.NONE:影像格式為 (height, width)。
預處理一張或一批影像。
MobileNetV2ImageProcessorFast
class transformers.MobileNetV2ImageProcessorFast
< source >( **kwargs: typing_extensions.Unpack[transformers.image_processing_utils_fast.DefaultFastImageProcessorKwargs] )
構建一個快速的 Mobilenet V2 影像處理器。
preprocess
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] *args **kwargs: typing_extensions.Unpack[transformers.image_processing_utils_fast.DefaultFastImageProcessorKwargs] ) → <class 'transformers.image_processing_base.BatchFeature'>
引數
- images (
Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]) — 需要預處理的影像。接受單個或一批畫素值在 0 到 255 範圍內的影像。如果傳入的影像畫素值在 0 到 1 之間,請設定do_rescale=False。 - do_resize (
bool, optional) — 是否調整影像大小。 - size (
dict[str, int], optional) — 描述模型的最大輸入尺寸。 - default_to_square (
bool, optional) — 如果 size 是一個整數,在調整大小時是否預設為方形影像。 - resample (
Union[PILImageResampling, F.InterpolationMode, NoneType]) — 調整影像大小時使用的重取樣過濾器。可以是PILImageResampling列舉之一。僅當do_resize設定為True時生效。 - do_center_crop (
bool, optional) — 是否對影像進行中心裁剪。 - crop_size (
dict[str, int], optional) — 應用center_crop後輸出影像的尺寸。 - do_rescale (
bool, optional) — 是否對影像進行縮放。 - rescale_factor (
Union[int, float, NoneType]) — 當do_rescale設定為True時,用於縮放影像的因子。 - do_normalize (
bool, optional) — 是否對影像進行歸一化。 - image_mean (
Union[float, list[float], NoneType]) — 用於歸一化的影像均值。僅當do_normalize設定為True時生效。 - image_std (
Union[float, list[float], NoneType]) — 用於歸一化的影像標準差。僅當do_normalize設定為True時生效。 - do_convert_rgb (
bool, optional) — 是否將影像轉換為 RGB 格式。 - return_tensors (
Union[str, ~utils.generic.TensorType, NoneType]) — 如果設定為 `pt`,則返回堆疊的張量,否則返回張量列表。 - data_format (
~image_utils.ChannelDimension, optional) — 僅支援ChannelDimension.FIRST。為與慢速處理器相容而新增。 - input_data_format (
Union[str, ~image_utils.ChannelDimension, NoneType]) — 輸入影像的通道維度格式。如果未設定,則從輸入影像中推斷通道維度格式。可以是以下之一:"channels_first"或ChannelDimension.FIRST:影像格式為 (num_channels, height, width)。"channels_last"或ChannelDimension.LAST:影像格式為 (height, width, num_channels)。"none"或ChannelDimension.NONE:影像格式為 (height, width)。
- device (
torch.device, optional) — 處理影像的裝置。如果未設定,則從輸入影像中推斷裝置。 - disable_grouping (
bool, optional) — 是否停用按尺寸對影像進行分組,以便單獨處理而不是分批處理。如果為 None,則當影像在 CPU 上時將設定為 True,否則為 False。此選擇基於經驗觀察,詳情請見:https://github.com/huggingface/transformers/pull/38157
返回
<class 'transformers.image_processing_base.BatchFeature'>
- data (
dict) — 由 call 方法返回的列表/陣列/張量字典(“pixel_values”等)。 - tensor_type (
Union[None, str, TensorType], 可選) — 您可以在此處提供一個`tensor_type`,以便在初始化時將整數列表轉換為PyTorch/TensorFlow/Numpy張量。
post_process_semantic_segmentation
< source >( outputs target_sizes: typing.Optional[list[tuple]] = None ) → semantic_segmentation
引數
- outputs (MobileNetV2ForSemanticSegmentation) — 模型的原始輸出。
- target_sizes (長度為
batch_size的list[Tuple],optional) — 與每個預測請求的最終尺寸(高度,寬度)相對應的元組列表。如果未設定,則不會調整預測大小。
返回
語義分割
長度為 `batch_size` 的 `list[torch.Tensor]`,其中每個元素是一個形狀為 (height, width) 的語義分割圖,對應於 target_sizes 中的條目(如果指定了 `target_sizes`)。每個 `torch.Tensor` 的每個條目對應一個語義類別 ID。
將 MobileNetV2ForSemanticSegmentation 的輸出轉換為語義分割圖。僅支援 PyTorch。
MobileNetV2Model
class transformers.MobileNetV2Model
< source >( config: MobileNetV2Config add_pooling_layer: bool = True )
引數
- config (MobileNetV2Config) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重,只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
- add_pooling_layer (
bool, optional, defaults toTrue) — 是否新增池化層
基礎的 Mobilenet V2 模型,輸出原始的隱藏狀態,頂部沒有任何特定的頭。
該模型繼承自 PreTrainedModel。請檢視超類文件,瞭解庫為所有模型實現的通用方法(例如下載或儲存、調整輸入嵌入大小、修剪頭部等)。
該模型也是一個 PyTorch torch.nn.Module 子類。可以像常規 PyTorch 模組一樣使用它,並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)
引數
- pixel_values (
torch.Tensor,形狀為(batch_size, num_channels, image_size, image_size),可選) — 與輸入影像對應的張量。畫素值可以使用{image_processor_class}獲取。有關詳細資訊,請參閱{image_processor_class}.__call__({processor_class}使用{image_processor_class}處理影像)。 - output_hidden_states (
bool,可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊,請參閱返回張量下的hidden_states。 - return_dict (
bool,可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.BaseModelOutputWithPoolingAndNoAttention 或一個 torch.FloatTensor 的元組(如果傳遞了 return_dict=False 或當 config.return_dict=False 時),根據配置(MobileNetV2Config)和輸入包含不同的元素。
-
last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, num_channels, height, width)) — 模型最後一層輸出的隱藏狀態序列。 -
pooler_output (
torch.FloatTensor, 形狀為(batch_size, hidden_size)) — 經過空間維度池化操作後的最後一層隱藏狀態。 -
hidden_states (
tuple(torch.FloatTensor),可選,當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組(一個用於嵌入層的輸出(如果模型有嵌入層),+ 一個用於每層的輸出),形狀為(batch_size, num_channels, height, width)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
MobileNetV2Model 的前向方法,重寫了 __call__ 特殊方法。
雖然前向傳播的流程需要在此函式內定義,但之後應呼叫 Module 例項而不是此函式,因為前者會處理執行前處理和後處理步驟,而後者會靜默地忽略它們。
MobileNetV2ForImageClassification
class transformers.MobileNetV2ForImageClassification
< source >( config: MobileNetV2Config )
引數
- config (MobileNetV2Config) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型關聯的權重,只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
帶有一個影像分類頭的 MobileNetV2 模型(在池化特徵之上加一個線性層),例如用於 ImageNet。
該模型繼承自 PreTrainedModel。請檢視超類文件,瞭解庫為所有模型實現的通用方法(例如下載或儲存、調整輸入嵌入大小、修剪頭部等)。
該模型也是一個 PyTorch torch.nn.Module 子類。可以像常規 PyTorch 模組一樣使用它,並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = None output_hidden_states: typing.Optional[bool] = None labels: typing.Optional[torch.Tensor] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)
引數
- pixel_values (
torch.Tensor,形狀為(batch_size, num_channels, image_size, image_size),可選) — 與輸入影像對應的張量。畫素值可以使用{image_processor_class}獲取。有關詳細資訊,請參閱{image_processor_class}.__call__({processor_class}使用{image_processor_class}處理影像)。 - output_hidden_states (
bool,可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊,請參閱返回張量下的hidden_states。 - labels (
torch.LongTensor,形狀為(batch_size,),可選) — 用於計算影像分類/迴歸損失的標籤。索引應在[0, ..., config.num_labels - 1]範圍內。如果config.num_labels == 1,則計算迴歸損失(均方損失)。如果config.num_labels > 1,則計算分類損失(交叉熵)。 - return_dict (
bool,可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.ImageClassifierOutputWithNoAttention 或一個 torch.FloatTensor 的元組(如果傳遞了 return_dict=False 或當 config.return_dict=False 時),根據配置(MobileNetV2Config)和輸入包含不同的元素。
- loss (形狀為
(1,)的torch.FloatTensor,可選,當提供labels時返回) — 分類損失(如果 config.num_labels==1,則為迴歸損失)。 - logits (形狀為
(batch_size, config.num_labels)的torch.FloatTensor) — 分類(如果 config.num_labels==1,則為迴歸)分數(SoftMax 之前)。 - hidden_states (
tuple(torch.FloatTensor),可選,當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組(一個用於嵌入層的輸出(如果模型有嵌入層),+ 一個用於每個階段的輸出),形狀為(batch_size, num_channels, height, width)。模型在每個階段輸出的隱藏狀態(也稱為特徵圖)。
MobileNetV2ForImageClassification 的前向方法,重寫了 __call__ 特殊方法。
雖然前向傳播的流程需要在此函式內定義,但之後應呼叫 Module 例項而不是此函式,因為前者會處理執行前處理和後處理步驟,而後者會靜默地忽略它們。
示例
>>> from transformers import AutoImageProcessor, MobileNetV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("google/mobilenet_v2_1.0_224")
>>> model = MobileNetV2ForImageClassification.from_pretrained("google/mobilenet_v2_1.0_224")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...MobileNetV2ForSemanticSegmentation
class transformers.MobileNetV2ForSemanticSegmentation
< source >( config: MobileNetV2Config )
引數
- config (MobileNetV2Config) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型關聯的權重,只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
帶有一個語義分割頭的 MobileNetV2 模型,例如用於 Pascal VOC。
該模型繼承自 PreTrainedModel。請檢視超類文件,瞭解庫為所有模型實現的通用方法(例如下載或儲存、調整輸入嵌入大小、修剪頭部等)。
該模型也是一個 PyTorch torch.nn.Module 子類。可以像常規 PyTorch 模組一樣使用它,並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)
引數
- pixel_values (
torch.Tensor,形狀為(batch_size, num_channels, image_size, image_size),可選) — 與輸入影像對應的張量。畫素值可以使用{image_processor_class}獲取。有關詳細資訊,請參閱{image_processor_class}.__call__({processor_class}使用{image_processor_class}處理影像)。 - labels (
torch.LongTensor,形狀為(batch_size, height, width),可選) — 用於計算損失的真實語義分割圖。索引應在[0, ..., config.num_labels - 1]範圍內。如果config.num_labels > 1,則計算分類損失(交叉熵)。 - output_hidden_states (
bool,可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊,請參閱返回張量下的hidden_states。 - return_dict (
bool,可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。
返回
transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.SemanticSegmenterOutput 或一個 torch.FloatTensor 的元組(如果傳遞了 return_dict=False 或當 config.return_dict=False 時),根據配置(MobileNetV2Config)和輸入包含不同的元素。
-
loss (形狀為
(1,)的torch.FloatTensor,可選,當提供labels時返回) — 分類損失(如果 config.num_labels==1,則為迴歸損失)。 -
logits (形狀為
(batch_size, config.num_labels, logits_height, logits_width)的torch.FloatTensor) — 每個畫素的分類分數。返回的 logits 的尺寸不一定與作為輸入傳遞的
pixel_values相同。這是為了避免進行兩次插值並在使用者需要將 logits 調整到原始影像尺寸作為後處理時損失一些質量。您應始終檢查 logits 的形狀並根據需要進行調整。 -
hidden_states (
tuple(torch.FloatTensor),可選,當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組(一個用於嵌入層的輸出(如果模型有嵌入層),+ 一個用於每層的輸出),形狀為(batch_size, patch_size, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor),可選,當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組(每層一個),形狀為(batch_size, num_heads, patch_size, sequence_length)。注意力 softmax 後的注意力權重,用於計算自注意力頭中的加權平均值。
MobileNetV2ForSemanticSegmentation 的前向方法,重寫了 __call__ 特殊方法。
雖然前向傳播的流程需要在此函式內定義,但之後應呼叫 Module 例項而不是此函式,因為前者會處理執行前處理和後處理步驟,而後者會靜默地忽略它們。
示例
>>> from transformers import AutoImageProcessor, MobileNetV2ForSemanticSegmentation
>>> from PIL import Image
>>> import requests
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> image_processor = AutoImageProcessor.from_pretrained("google/deeplabv3_mobilenet_v2_1.0_513")
>>> model = MobileNetV2ForSemanticSegmentation.from_pretrained("google/deeplabv3_mobilenet_v2_1.0_513")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> # logits are of shape (batch_size, num_labels, height, width)
>>> logits = outputs.logits