引數

• masks (Union[torch.Tensor, tf.Tensor]) — 輸入掩碼。
• iou_scores (Union[torch.Tensor, tf.Tensor]) — IoU 分數列表。
• original_size (tuple[int,int]) — 原始影像的尺寸。
• cropped_box_image (np.array) — 裁剪後的影像。
• pred_iou_thresh (float, 可選, 預設為 0.88) — iou 分數的閾值。
• stability_score_thresh (float, 可選, 預設為 0.95) — 穩定性分數的閾值。
• mask_threshold (float, 可選, 預設為 0) — 預測掩碼的閾值。
• stability_score_offset (float, 可選, 預設為 1) — 在 _compute_stability_score 方法中使用的穩定性分數偏移量。
• return_tensors (str, 可選, 預設為 pt) — 如果是 pt，則返回 torch.Tensor。如果是 tf，則返回 tf.Tensor。

引數

• image (np.array) — 輸入的原始影像
• target_size (int) — 調整大小後圖像的目標尺寸
• crop_n_layers (int, 可選, 預設為 0) — 如果 >0，掩碼預測將在影像的裁剪塊上再次執行。設定要執行的層數，其中每一層有 2**i_layer 個影像裁剪塊。
• overlap_ratio (float, 可選, 預設為 512/1500) — 設定裁剪塊重疊的程度。在第一個裁剪層中，裁剪塊將按此影像長度比例重疊。後續層中裁剪塊數量更多，重疊比例會相應縮小。
• points_per_crop (int, 可選, 預設為 32) — 從每個裁剪塊中取樣的點數。
• crop_n_points_downscale_factor (list[int], 可選, 預設為 1) — 在第 n 層中每邊取樣的點數將按 crop_n_points_downscale_factor**n 縮小。
• device (torch.device, 可選, 預設為 None) — 用於計算的裝置。如果為 None，將使用 cpu。
• input_data_format (str 或 ChannelDimension, 可選) — 輸入影像的通道維度格式。如果未提供，將自動推斷。
• return_tensors (str, 可選, 預設為 pt) — 如果是 pt，則返回 torch.Tensor。如果是 tf，則返回 tf.Tensor。

引數

• image (np.ndarray) — 需要填充的影像。
• pad_size (dict[str, int]) — 填充後輸出影像的尺寸。
• data_format (str 或 ChannelDimension, 可選) — 影像的資料格式。可以是 “channels_first” 或 “channels_last”。如果為 None，則使用 image 的 data_format。
• input_data_format (str 或 ChannelDimension, 可選) — 輸入影像的通道維度格式。如果未提供，將自動推斷。

引數

• all_masks (Union[list[torch.Tensor], list[tf.Tensor]]) — 所有預測的分割掩碼列表
• all_scores (Union[list[torch.Tensor], list[tf.Tensor]]) — 所有預測的iou分數列表
• all_boxes (Union[list[torch.Tensor], list[tf.Tensor]]) — 所有預測掩碼的邊界框列表
• crops_nms_thresh (float) — NMS（非極大值抑制）演算法的閾值。
• return_tensors (str, 可選, 預設為 pt) — 如果是 pt，返回 torch.Tensor。如果是 tf，返回 tf.Tensor。

引數

• masks (Union[list[torch.Tensor], list[np.ndarray], list[tf.Tensor]]) — 來自 mask_decoder 的批處理掩碼，格式為 (batch_size, num_channels, height, width)。
• original_sizes (Union[torch.Tensor, tf.Tensor, list[tuple[int,int]]]) — 每張影像在調整為模型期望的輸入形狀之前的原始尺寸，格式為 (height, width)。
• reshaped_input_sizes (Union[torch.Tensor, tf.Tensor, list[tuple[int,int]]]) — 每張影像輸入模型時的尺寸，格式為 (height, width)，用於移除填充。
• mask_threshold (float, 可選, 預設為 0.0) — 用於二值化掩碼的閾值。
• binarize (bool, 可選, 預設為 True) — 是否二值化掩碼。
• pad_size (int, 可選, 預設為 self.pad_size) — 影像在傳遞給模型前被填充到的目標尺寸。如果為 None，則假定目標尺寸為處理器的 pad_size。
• return_tensors (str, 可選, 預設為 "pt") — 如果是 "pt"，返回 PyTorch 張量。如果是 "tf"，返回 TensorFlow 張量。

批處理掩碼，格式為 (batch_size, num_channels, height, width)，其中 (height, width) 由 original_size 給出。

引數

• images (ImageInput) — 需要預處理的影像。期望單個或一批影像，畫素值範圍為 0 到 255。如果傳入的影像畫素值在 0 到 1 之間，請設定 do_rescale=False。
• segmentation_maps (ImageInput, 可選) — 需要預處理的分割圖。
• do_resize (bool, 可選, 預設為 self.do_resize) — 是否調整影像大小。
• size (dict[str, int], 可選, 預設為 self.size) — 控制 resize 後圖像的尺寸。影像的最長邊將被調整為 size["longest_edge"]，同時保持寬高比。
• mask_size (dict[str, int], 可選, 預設為 self.mask_size) — 控制 resize 後分割圖的尺寸。影像的最長邊將被調整為 size["longest_edge"]，同時保持寬高比。
• resample (PILImageResampling, 可選, 預設為 self.resample) — 調整影像大小時使用的 PILImageResampling 濾波器，例如 PILImageResampling.BILINEAR。
• do_rescale (bool, 可選, 預設為 self.do_rescale) — 是否透過縮放因子重新縮放影像畫素值。
• rescale_factor (int 或 float, 可選, 預設為 self.rescale_factor) — 應用於影像畫素值的縮放因子。
• do_normalize (bool, 可選, 預設為 self.do_normalize) — 是否對影像進行歸一化。
• image_mean (float 或 list[float], 可選, 預設為 self.image_mean) — 當 do_normalize 設定為 True 時，用於歸一化影像的均值。
• image_std (float 或 list[float], 可選, 預設為 self.image_std) — 當 do_normalize 設定為 True 時，用於歸一化影像的標準差。
• do_pad (bool, 可選, 預設為 self.do_pad) — 是否對影像進行填充。
• pad_size (dict[str, int], 可選, 預設為 self.pad_size) — 控制應用於影像的填充大小。當 do_pad 設定為 True 時，影像將被填充到 pad_size["height"] 和 pad_size["width"]。
• mask_pad_size (dict[str, int], 可選, 預設為 self.mask_pad_size) — 控制應用於分割圖的填充大小。當 do_pad 設定為 True 時，影像將被填充到 mask_pad_size["height"] 和 mask_pad_size["width"]。
• do_convert_rgb (bool, 可選, 預設為 self.do_convert_rgb) — 是否將影像轉換為 RGB。
• return_tensors (str 或 TensorType, 可選) — 返回張量的型別。可以是以下之一：
  • 未設定：返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回 tf.Tensor 批次。
  • TensorType.PYTORCH 或 'pt'：返回 torch.Tensor 批次。
  • TensorType.NUMPY 或 'np'：返回 np.ndarray 批次。
  • TensorType.JAX 或 'jax'：返回 jax.numpy.ndarray 批次。
• data_format (ChannelDimension 或 str, 可選, 預設為 ChannelDimension.FIRST) — 輸出影像的通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像格式為 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：影像格式為 (height, width, num_channels)。
  • 未設定：使用輸入影像的通道維度格式。
• input_data_format (ChannelDimension 或 str, 可選) — 輸入影像的通道維度格式。如果未設定，則從輸入影像中推斷通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像格式為 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：影像格式為 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：影像格式為 (height, width)。

引數

• image (np.ndarray) — 需要調整大小的影像。
• size (dict[str, int]) — 格式為 {"longest_edge": int} 的字典，指定輸出影像的尺寸。影像的最長邊將被調整為指定的大小，而另一邊則會相應調整以保持寬高比。
• resample — 調整影像大小時使用的 PILImageResampling 濾波器，例如 PILImageResampling.BILINEAR。
• data_format (ChannelDimension 或 str, 可選) — 輸出影像的通道維度格式。如果未設定，則使用輸入影像的通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像格式為 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：影像格式為 (height, width, num_channels)。
• input_data_format (ChannelDimension 或 str, 可選) — 輸入影像的通道維度格式。如果未設定，則從輸入影像中推斷通道維度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：影像格式為 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：影像格式為 (height, width, num_channels)。

調整大小後的影像。

引數

• pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, image_size, image_size), 可選) — 對應於輸入影像的張量。畫素值可以使用 {image_processor_class} 獲得。詳情請參見 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多細節請參見返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多細節請參見返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

一個 transformers.models.sam.modeling_sam.SamVisionEncoderOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），包含各種元素，具體取決於配置（SamConfig）和輸入。

• image_embeds (torch.FloatTensor，形狀為 (batch_size, output_dim)，可選，當模型以 with_projection=True 初始化時返回) — 透過將投影層應用於 pooler_output 獲得的影像嵌入。

• last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選，預設為 None) — 模型最後一層輸出的隱藏狀態序列。

• hidden_states (tuple[torch.FloatTensor, ...], 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — 形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出）。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple[torch.FloatTensor, ...], 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每層一個）。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 與輸入影像對應的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• input_points (torch.FloatTensor，形狀為 (batch_size, num_points, 2)) — 輸入的二維空間點，用於提示編碼器對提示進行編碼。通常能產生更好的結果。可以透過向處理器傳遞一個列表的列表的列表來獲得這些點，處理器將建立相應的維度為 4 的 torch 張量。第一個維度是影像批次大小，第二個維度是點批次大小（即我們希望模型為每個輸入點預測多少個分割掩碼），第三個維度是每個分割掩碼的點數（可以為單個掩碼傳遞多個點），最後一個維度是點的 x（垂直）和 y（水平）座標。如果為每個影像或每個掩碼傳遞了不同數量的點，處理器將建立對應於 (0, 0) 座標的“PAD”點，並且將使用標籤跳過這些點的嵌入計算。
• input_labels (torch.LongTensor，形狀為 (batch_size, point_batch_size, num_points)) — 點的輸入標籤，用於提示編碼器對提示進行編碼。根據官方實現，有 3 種類型的標籤
  • 1：該點是包含感興趣物件的點
  • 0：該點是不包含感興趣物件的點
  • -1：該點對應於背景

  我們添加了標籤：

  • -10：該點是填充點，因此應被提示編碼器忽略

  填充標籤應由處理器自動完成。

• input_boxes (torch.FloatTensor，形狀為 (batch_size, num_boxes, 4)) — 點的輸入框，用於提示編碼器對提示進行編碼。通常能生成更好的掩碼。可以透過向處理器傳遞一個列表的列表的列表來獲得這些框，處理器將生成一個 torch 張量，每個維度分別對應於影像批次大小、每張影像的框數以及框的左上角和右下角點的座標。順序為 (x1, y1, x2, y2):
  • x1：輸入框左上角的 x 座標
  • y1：輸入框左上角的 y 座標
  • x2：輸入框右下角的 x 座標
  • y2：輸入框右下角的 y 座標
• input_masks (torch.FloatTensor，形狀為 (batch_size, image_size, image_size)) — SAM 模型也接受分割掩碼作為輸入。掩碼將被提示編碼器嵌入以生成相應的嵌入，然後將其饋送到掩碼解碼器。這些掩碼需要由使用者手動提供，並且形狀必須為 (batch_size, image_size, image_size)。
• image_embeddings (torch.FloatTensor，形狀為 (batch_size, output_channels, window_size, window_size)) — 影像嵌入，用於掩碼解碼器生成掩碼和 iou 分數。為了進行更節省記憶體的計算，使用者可以首先使用 get_image_embeddings 方法檢索影像嵌入，然後將它們饋送到 forward 方法，而不是饋送 pixel_values。
• multimask_output (bool，可選) — 在原始實現和論文中，模型總是為每張影像輸出 3 個掩碼（如果相關，則為每個點/每個邊界框）。但是，透過指定 multimask_output=False，可以只輸出一個掩碼，該掩碼對應於“最佳”掩碼。
• attention_similarity (torch.FloatTensor，可選) — 注意力相似性張量，在模型用於個性化時提供給掩碼解碼器以進行目標導向的注意力，如 PerSAM 中所述。
• target_embedding (torch.FloatTensor，可選) — 目標概念的嵌入，在模型用於個性化時提供給掩碼解碼器以進行目標語義提示，如 PerSAM 中所述。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。

一個 transformers.models.sam.modeling_sam.SamImageSegmentationOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），根據配置（SamConfig）和輸入，包含各種元素。

• iou_scores (torch.FloatTensor，形狀為 (batch_size, num_masks)) — 預測掩碼的 iou 分數。

• pred_masks (torch.FloatTensor，形狀為 (batch_size, num_masks, height, width)) — 預測的低解析度掩碼。需要由處理器進行後處理。

• vision_hidden_states (tuple(torch.FloatTensor)，可選，在傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  視覺模型在每層輸出處的隱藏狀態，以及可選的初始嵌入輸出。

• vision_attentions (tuple(torch.FloatTensor)，可選，在傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

• mask_decoder_attentions (tuple(torch.FloatTensor)，可選，在傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (tf.Tensor，形狀為 (batch_size, num_channels, height, width)) — 畫素值。畫素值可以使用 SamProcessor 獲取。有關詳細資訊，請參閱 SamProcessor.__call__()。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。

一個 transformers.models.sam.modeling_tf_sam.TFSamVisionEncoderOutput 或一個 tf.Tensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），根據配置（<class 'transformers.models.sam.configuration_sam.SamVisionConfig'>）和輸入，包含各種元素。

• image_embeds (tf.Tensor，形狀為 (batch_size, output_dim)，可選，當模型以 with_projection=True 初始化時返回) — 透過將投影層應用於 pooler_output 獲得的影像嵌入。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。

• hidden_states (tuple(tf.Tensor)，可選，在傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — tf.Tensor 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出），形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple(tf.Tensor)，可選，在傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — tf.Tensor 的元組（每層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

引數

• pixel_values (tf.Tensor，形狀為 (batch_size, num_channels, height, width)) — 畫素值。畫素值可以使用 SamProcessor 獲取。有關詳細資訊，請參閱 SamProcessor.__call__()。
• input_points (tf.Tensor，形狀為 (batch_size, num_points, 2)) — 輸入的二維空間點，用於提示編碼器對提示進行編碼。通常能產生更好的結果。可以透過向處理器傳遞一個列表的列表的列表來獲得這些點，處理器將建立相應的維度為 4 的 tf 張量。第一個維度是影像批次大小，第二個維度是點批次大小（即我們希望模型為每個輸入點預測多少個分割掩碼），第三個維度是每個分割掩碼的點數（可以為單個掩碼傳遞多個點），最後一個維度是點的 x（垂直）和 y（水平）座標。如果為每個影像或每個掩碼傳遞了不同數量的點，處理器將建立對應於 (0, 0) 座標的“PAD”點，並且將使用標籤跳過這些點的嵌入計算。
• input_labels (tf.Tensor，形狀為 (batch_size, point_batch_size, num_points)) — 點的輸入標籤，用於提示編碼器對提示進行編碼。根據官方實現，有 3 種類型的標籤
  • 1：該點是包含感興趣物件的點
  • 0：該點是不包含感興趣物件的點
  • -1：該點對應於背景

  我們添加了標籤：

  • -10：該點是填充點，因此應被提示編碼器忽略

  填充標籤應由處理器自動完成。

• input_boxes (tf.Tensor，形狀為 (batch_size, num_boxes, 4)) — 點的輸入框，用於提示編碼器對提示進行編碼。通常能生成更好的掩碼。可以透過向處理器傳遞一個列表的列表的列表來獲得這些框，處理器將生成一個 tf 張量，每個維度分別對應於影像批次大小、每張影像的框數以及框的左上角和右下角點的座標。順序為 (x1, y1, x2, y2):
  • x1：輸入框左上角的 x 座標
  • y1：輸入框左上角的 y 座標
  • x2：輸入框右下角的 x 座標
  • y2：輸入框右下角的 y 座標
• input_masks (tf.Tensor，形狀為 (batch_size, image_size, image_size)) — SAM 模型也接受分割掩碼作為輸入。掩碼將被提示編碼器嵌入以生成相應的嵌入，然後將其饋送到掩碼解碼器。這些掩碼需要由使用者手動提供，並且形狀必須為 (batch_size, image_size, image_size)。
• image_embeddings (tf.Tensor，形狀為 (batch_size, output_channels, window_size, window_size)) — 影像嵌入，用於掩碼解碼器生成掩碼和 iou 分數。為了進行更節省記憶體的計算，使用者可以首先使用 get_image_embeddings 方法檢索影像嵌入，然後將它們饋送到 call 方法，而不是饋送 pixel_values。
• multimask_output (bool，可選) — 在原始實現和論文中，模型總是為每張影像輸出 3 個掩碼（如果相關，則為每個點/每個邊界框）。但是，透過指定 multimask_output=False，可以只輸出一個掩碼，該掩碼對應於“最佳”掩碼。
• output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool，可選) — 是否返回一個 ModelOutput 而不是一個普通的元組。