引數

• pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。

一個 transformers.models.sam_hq.modeling_sam_hq.SamHQVisionEncoderOutput 或 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或 config.return_dict=False），根據配置 (SamHQConfig) 和輸入包含各種元素。

• image_embeds (torch.FloatTensor，形狀為 (batch_size, output_dim)，可選，當模型用 with_projection=True 初始化時返回) — 透過將投影層應用於池化器輸出獲得的影像嵌入。

• last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可選，預設為 None) — 模型最後一層輸出的隱藏狀態序列。

• hidden_states (tuple[torch.FloatTensor, ...], 可選, 當傳遞 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組（如果模型有嵌入層，則一個用於嵌入輸出，加上每個層的輸出）形狀為 (batch_size, sequence_length, hidden_size)。

  模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

• attentions (tuple[torch.FloatTensor, ...], 可選, 當傳遞 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組（每個層一個）形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

• intermediate_embeddings (list(torch.FloatTensor), 可選) — 從模型中某些塊（通常是沒有視窗注意力）收集的中間嵌入列表。列表中每個元素的形狀均為 (batch_size, sequence_length, hidden_size)。這是 SAM-HQ 特有的，在基礎 SAM 中不存在。

引數

• pixel_values (torch.FloatTensor，形狀為 (batch_size, num_channels, image_size, image_size)，可選) — 對應輸入影像的張量。畫素值可以使用 {image_processor_class} 獲取。有關詳細資訊，請參閱 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 處理影像）。
• input_points (torch.FloatTensor，形狀為 (batch_size, num_points, 2)) — 輸入的 2D 空間點，提示編碼器使用它來編碼提示。通常會產生更好的結果。點可以透過將列表的列表傳遞給處理器來獲取，該處理器將建立相應的 4 維 torch 張量。第一個維度是影像批次大小，第二個維度是點批次大小（即我們希望模型每個輸入點預測多少個分割掩碼），第三個維度是每個分割掩碼的點數（可以為單個掩碼傳遞多個點），最後一個維度是點的 x（垂直）和 y（水平）座標。如果為每個影像或每個掩碼傳遞的點數不同，處理器將建立“PAD”點，它們將對應 (0, 0) 座標，並且將使用標籤跳過這些點的嵌入計算。
• input_labels (torch.LongTensor，形狀為 (batch_size, point_batch_size, num_points)) — 輸入點的標籤，提示編碼器使用它來編碼提示。根據官方實現，有 3 種類型的標籤：
  • 1: 該點包含感興趣的物件
  • 0: 該點不包含感興趣的物件
  • -1: 該點對應背景

  我們添加了標籤：

  • -10: 該點是填充點，因此應被提示編碼器忽略

  填充標籤應由處理器自動完成。

• input_boxes (torch.FloatTensor，形狀為 (batch_size, num_boxes, 4)) — 輸入框，提示編碼器使用它來編碼提示。通常會產生更好的生成掩碼。框可以透過將列表的列表傳遞給處理器來獲取，該處理器將生成一個 torch 張量，每個維度分別對應影像批次大小、每張影像的框數以及框的左上角和右下角的座標。順序為 (x1, y1, x2, y2)：
  • x1: 輸入框左上角的 x 座標
  • y1: 輸入框左上角的 y 座標
  • x2: 輸入框右下角的 x 座標
  • y2: 輸入框右下角的 y 座標
• input_masks (torch.FloatTensor，形狀為 (batch_size, image_size, image_size)) — SAM_HQ 模型還接受分割掩碼作為輸入。掩碼將由提示編碼器嵌入以生成相應的嵌入，該嵌入稍後將饋送到掩碼解碼器。這些掩碼需要使用者手動饋送，並且它們需要是 (batch_size, image_size, image_size) 的形狀。
• image_embeddings (torch.FloatTensor，形狀為 (batch_size, output_channels, window_size, window_size)) — 影像嵌入，掩碼解碼器使用它來生成掩碼和 IoU 分數。為了提高記憶體效率，使用者可以首先使用 get_image_embeddings 方法檢索影像嵌入，然後將其饋送到 forward 方法，而不是饋送 pixel_values。
• multimask_output (bool, 可選) — 在原始實現和論文中，模型始終為每張影像（或每個點/每個邊界框，如果相關）輸出 3 個掩碼。但是，可以透過指定 multimask_output=False 只輸出一個掩碼，該掩碼對應於“最佳”掩碼。
• hq_token_only (bool, 可選, 預設為 False) — 是否僅使用 HQ 令牌路徑生成掩碼。當為 False 時，結合標準路徑和 HQ 路徑。這是 SAM-HQ 架構特有的。
• attention_similarity (torch.FloatTensor, 可選) — 注意力相似度張量，用於在模型用於個性化時提供給掩碼解碼器以進行目標引導注意力，如 PerSAM 中介紹的那樣。
• target_embedding (torch.FloatTensor, 可選) — 目標概念的嵌入，用於在模型用於個性化時提供給掩碼解碼器以進行目標語義提示，如 PerSAM 中介紹的那樣。
• output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 attentions。
• output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 hidden_states。
• return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通元組。
• intermediate_embeddings (List[torch.FloatTensor], 可選) — 視覺編碼器無視窗塊的中間嵌入，由 SAM-HQ 用於增強掩碼質量。當提供預計算的 image_embeddings 而不是 pixel_values 時，此引數為必需。