Hugging Face 的 LOGO

Transformers 文件

LiLT

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

LiLT

PyTorch

概述

LiLT 模型由 Jiapeng Wang、Lianwen Jin 和 Kai Ding 在 LiLT: A Simple yet Effective Language-Independent Layout Transformer for Structured Document Understanding 中提出。LiLT 允許將任何預訓練的 RoBERTa 文字編碼器與輕量級佈局 Transformer 相結合，從而實現對多種語言的 LayoutLM 樣式的文件理解。

論文摘要如下：

結構化文件理解因其在智慧文件處理中的關鍵作用，最近引起了廣泛關注並取得了顯著進展。然而，大多數現有相關模型只能處理預訓練集中包含的特定語言（通常是英語）的文件資料，這極大地限制了其應用範圍。為了解決這個問題，我們提出了一個簡單而有效的獨立於語言的佈局 Transformer (LiLT)，用於結構化文件理解。LiLT 可以在單一語言的結構化文件上進行預訓練，然後直接在其他語言上使用相應的現成的單語/多語預訓練文字模型進行微調。在八種語言上的實驗結果表明，LiLT 可以在各種廣泛使用的下游基準測試中實現具有競爭力甚至更優的效能，這使得文件佈局結構的預訓練能夠實現語言獨立的優勢。

drawing LiLT 架構。取自 原始論文。

該模型由 nielsr 貢獻。原始程式碼可以在 這裡 找到。

使用技巧

  • 要將語言無關佈局 Transformer 與來自 hub 的新 RoBERTa 檢查點結合，請參考 此指南。該指令碼將導致 config.json 和 pytorch_model.bin 檔案儲存在本地。完成此操作後，您可以執行以下操作（假設您已使用 HuggingFace 帳戶登入）
from transformers import LiltModel

model = LiltModel.from_pretrained("path_to_your_files")
model.push_to_hub("name_of_repo_on_the_hub")

資源

Hugging Face 官方和社群 (🌎 表示) 資源列表，可幫助您開始使用 LiLT。

  • LiLT 的演示筆記本可以在 這裡 找到。

文件資源

如果您有興趣在此處提交資源，請隨時開啟 Pull Request，我們將對其進行審查！該資源最好能展示一些新內容，而不是重複現有資源。

LiltConfig

class transformers.LiltConfig

< >

( vocab_size = 30522 hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.1 attention_probs_dropout_prob = 0.1 max_position_embeddings = 512 type_vocab_size = 2 initializer_range = 0.02 layer_norm_eps = 1e-12 pad_token_id = 0 position_embedding_type = 'absolute' classifier_dropout = None channel_shrink_ratio = 4 max_2d_position_embeddings = 1024 **kwargs )

引數

  • vocab_size (int, 可選, 預設為 30522) — LiLT 模型的詞彙表大小。定義了呼叫 LiltModel 時傳入的 inputs_ids 可以表示的不同 token 的數量。
  • hidden_size (int, 可選, 預設為 768) — 編碼器層和池化層的維度。應為 24 的倍數。
  • num_hidden_layers (int, 可選, 預設為 12) — Transformer 編碼器中的隱藏層數量。
  • num_attention_heads (int, 可選, 預設為 12) — Transformer 編碼器中每個注意力層的注意力頭數量。
  • intermediate_size (int, 可選, 預設為 3072) — Transformer 編碼器中“中間”（通常稱為前饋）層的維度。
  • hidden_act (str 或 Callable, 可選, 預設為 "gelu") — 編碼器和池化器中的非線性啟用函式（函式或字串）。如果是字串，支援 "gelu", "relu", "silu" 和 "gelu_new"。
  • hidden_dropout_prob (float, 可選, 預設為 0.1) — 嵌入、編碼器和池化器中所有全連線層的 dropout 機率。
  • attention_probs_dropout_prob (float, 可選, 預設為 0.1) — 注意力機率的 dropout 比率。
  • max_position_embeddings (int, 可選, 預設為 512) — 該模型可能使用的最大序列長度。通常情況下，為了以防萬一，將其設定為一個較大的值（例如 512 或 1024 或 2048）。
  • type_vocab_size (int, 可選, 預設為 2) — 呼叫 LiltModel 時傳入的 token_type_ids 的詞彙表大小。
  • initializer_range (float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。
  • layer_norm_eps (float, 可選, 預設為 1e-12) — 層歸一化層使用的 epsilon。
  • position_embedding_type (str, 可選, 預設為 "absolute") — 位置嵌入的型別。選擇 "absolute", "relative_key", "relative_key_query" 中的一個。對於位置嵌入，使用 "absolute"。有關 "relative_key" 的更多資訊，請參考 Self-Attention with Relative Position Representations (Shaw et al.)。有關 "relative_key_query" 的更多資訊，請參考 Improve Transformer Models with Better Relative Position Embeddings (Huang et al.) 中的方法 4。
  • classifier_dropout (float, 可選) — 分類頭的 dropout 比率。
  • channel_shrink_ratio (int, 可選, 預設為 4) — 佈局嵌入的通道維度相對於 hidden_size 的收縮比。
  • max_2d_position_embeddings (int, 可選, 預設為 1024) — 2D 位置嵌入可能使用的最大值。通常情況下，為了以防萬一，將其設定為一個較大的值（例如 1024）。

這是一個配置類，用於儲存 LiltModel 的配置。它用於根據指定的引數例項化 LiLT 模型，定義模型架構。使用預設值例項化配置將產生與 LiLT SCUT-DLVCLab/lilt-roberta-en-base 架構相似的配置。配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。

示例

>>> from transformers import LiltConfig, LiltModel

>>> # Initializing a LiLT SCUT-DLVCLab/lilt-roberta-en-base style configuration
>>> configuration = LiltConfig()
>>> # Randomly initializing a model from the SCUT-DLVCLab/lilt-roberta-en-base style configuration
>>> model = LiltModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

LiltModel

class transformers.LiltModel

< >

( config add_pooling_layer = True )

引數

  • config (LiltModel) — 包含模型所有引數的模型配置類。使用配置檔案初始化並不會載入與模型相關的權重，只加載配置。要載入模型權重，請檢視 from_pretrained() 方法。
  • add_pooling_layer (bool, 可選, 預設為 True) — 是否新增池化層。

Lilt 模型輸出原始隱藏狀態，頂部沒有特定頭部。

該模型繼承自 PreTrainedModel。查閱超類文件以瞭解庫為其所有模型實現的一般方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件以瞭解所有與一般用法和行為相關的事項。

forward

< >

( input_ids: typing.Optional[torch.Tensor] = None bbox: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None token_type_ids: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

引數

  • input_ids (torch.Tensor, 形狀為 (batch_size, sequence_length), 可選) — 詞彙表中輸入序列 token 的索引。預設情況下會忽略填充。

    索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是 input ID？

  • bbox (torch.LongTensor, 形狀為 (batch_size, sequence_length, 4), 可選) — 每個輸入序列 token 的邊界框。選擇範圍為 [0, config.max_2d_position_embeddings-1]。每個邊界框應為 (x0, y0, x1, y1) 格式的標準化版本，其中 (x0, y0) 對應於邊界框左上角的位置，(x1, y1) 表示右下角的位置。有關標準化，請參見 概述。
  • attention_mask (torch.Tensor, 形狀為 (batch_size, sequence_length), 可選) — 避免對填充 token 索引執行注意力操作的掩碼。掩碼值選擇在 [0, 1]：

    • 1 表示 未被掩蓋 的 token，
    • 0 表示 被掩蓋 的 token。

    什麼是注意力掩碼？

  • token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor，可選) — 片段 token 索引，用於指示輸入的第一個和第二個部分。索引值在 [0, 1] 之間選擇：

    • 0 對應於 *句子 A* token，
    • 1 對應於 *句子 B* token。

    什麼是 token 型別 ID？

  • position_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor，可選) — 輸入序列中每個 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

    什麼是位置 ID？

  • head_mask (形狀為 (num_heads,) 或 (num_layers, num_heads) 的 torch.Tensor，可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值在 [0, 1] 之間選擇：

    • 1 表示頭 未被掩蓋，
    • 0 表示頭 被掩蓋。
  • inputs_embeds (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可選) — 可選地，你可以選擇直接傳入嵌入表示而不是 input_ids。如果你想比模型的內部嵌入查詢矩陣更精細地控制如何將 input_ids 索引轉換為關聯向量，這會很有用。
  • output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的 attentions。
  • output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的 hidden_states。
  • return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通的元組。

返回

transformers.modeling_outputs.BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.BaseModelOutputWithPooling 或一個 torch.FloatTensor 的元組 (如果傳入了 return_dict=False 或 config.return_dict=False)，其中包含根據配置 (LiltConfig) 和輸入而定的各種元素。

  • last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。

  • pooler_output (形狀為 (batch_size, hidden_size) 的 torch.FloatTensor) — 序列的第一個 token（分類 token）經過用於輔助預訓練任務的層進一步處理後的最後一層隱藏狀態。例如，對於 BERT 家族模型，這返回分類 token 經過線性層和 tanh 啟用函式處理後的結果。線性層權重在預訓練期間透過下一個句子預測（分類）目標進行訓練。

  • hidden_states (tuple(torch.FloatTensor)，可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組 (如果模型有嵌入層，則一個用於嵌入層的輸出，加上每個層的輸出) ，形狀為 (batch_size, sequence_length, hidden_size)。

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組 (每個層一個) ，形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

LiltModel` 的 forward 方法，重寫了 `__call__` 特殊方法。

儘管前向傳播的實現需要在該函式中定義，但之後應該呼叫 `Module` 例項而不是該函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。

示例

>>> from transformers import AutoTokenizer, AutoModel
>>> from datasets import load_dataset

>>> tokenizer = AutoTokenizer.from_pretrained("SCUT-DLVCLab/lilt-roberta-en-base")
>>> model = AutoModel.from_pretrained("SCUT-DLVCLab/lilt-roberta-en-base")

>>> dataset = load_dataset("nielsr/funsd-layoutlmv3", split="train")
>>> example = dataset[0]
>>> words = example["tokens"]
>>> boxes = example["bboxes"]

>>> encoding = tokenizer(words, boxes=boxes, return_tensors="pt")

>>> outputs = model(**encoding)
>>> last_hidden_states = outputs.last_hidden_state

LiltForSequenceClassification

class transformers.LiltForSequenceClassification

< >

( config )

引數

  • config (LiltForSequenceClassification) — 包含模型所有引數的模型配置類。使用配置檔案初始化並不會載入與模型相關的權重，僅載入配置。請檢視 from_pretrained() 方法以載入模型權重。

LiLT 模型變壓器，頂部帶有序列分類/迴歸頭（在池化輸出之上有一個線性層），例如用於 GLUE 任務。

該模型繼承自 PreTrainedModel。查閱超類文件以瞭解庫為其所有模型實現的一般方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件以瞭解所有與一般用法和行為相關的事項。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = None bbox: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None token_type_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)

引數

  • input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 詞表中輸入序列 token 的索引。預設情況下會忽略填充。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • bbox (形狀為 (batch_size, sequence_length, 4) 的 torch.LongTensor，可選) — 每個輸入序列 token 的邊界框。選擇範圍為 [0, config.max_2d_position_embeddings-1]。每個邊界框應為 (x0, y0, x1, y1) 格式的歸一化版本，其中 (x0, y0) 對應於邊界框左上角的位置，(x1, y1) 表示右下角的位置。有關歸一化，請參見 Overview。
  • attention_mask (形狀為 (batch_size, sequence_length) 的 torch.FloatTensor，可選) — 用於避免對填充 token 索引執行注意力的掩碼。掩碼值在 [0, 1] 之間選擇：

    • 1 表示 token 未被掩蓋，
    • 0 表示 token 被掩蓋。

    什麼是注意力掩碼？

  • token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 片段 token 索引，用於指示輸入的第一個和第二個部分。索引值在 [0, 1] 之間選擇：

    • 0 對應於 *句子 A* token，
    • 1 對應於 *句子 B* token。

    什麼是 token 型別 ID？

  • position_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 輸入序列中每個 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

    什麼是位置 ID？

  • head_mask (形狀為 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor，可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值在 [0, 1] 之間選擇：

    • 1 表示頭 未被掩蓋，
    • 0 表示頭 被掩蓋。
  • inputs_embeds (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可選) — 可選地，你可以選擇直接傳入嵌入表示而不是 input_ids。如果你想比模型的內部嵌入查詢矩陣更精細地控制如何將 input_ids 索引轉換為關聯向量，這會很有用。
  • labels (形狀為 (batch_size,) 的 torch.LongTensor，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在 [0, ..., config.num_labels - 1] 之間。如果 config.num_labels == 1，則計算迴歸損失 (均方損失)；如果 config.num_labels > 1，則計算分類損失 (交叉熵)。
  • output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的 attentions。
  • output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的 hidden_states。
  • return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通的元組。

返回

transformers.modeling_outputs.SequenceClassifierOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.SequenceClassifierOutput 或一個 torch.FloatTensor 的元組 (如果傳入了 return_dict=False 或 config.return_dict=False)，其中包含根據配置 (LiltConfig) 和輸入而定的各種元素。

  • loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 分類損失（如果 config.num_labels==1，則為迴歸損失）。

  • logits (形狀為 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。

  • hidden_states (tuple(torch.FloatTensor)，可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組 (如果模型有嵌入層，則一個用於嵌入層的輸出，加上每個層的輸出) ，形狀為 (batch_size, sequence_length, hidden_size)。

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組 (每個層一個) ，形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

LiltForSequenceClassification` 的 forward 方法，重寫了 `__call__` 特殊方法。

儘管前向傳播的實現需要在該函式中定義，但之後應該呼叫 `Module` 例項而不是該函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。

示例

>>> from transformers import AutoTokenizer, AutoModelForSequenceClassification
>>> from datasets import load_dataset

>>> tokenizer = AutoTokenizer.from_pretrained("SCUT-DLVCLab/lilt-roberta-en-base")
>>> model = AutoModelForSequenceClassification.from_pretrained("SCUT-DLVCLab/lilt-roberta-en-base")

>>> dataset = load_dataset("nielsr/funsd-layoutlmv3", split="train")
>>> example = dataset[0]
>>> words = example["tokens"]
>>> boxes = example["bboxes"]

>>> encoding = tokenizer(words, boxes=boxes, return_tensors="pt")

>>> outputs = model(**encoding)
>>> predicted_class_idx = outputs.logits.argmax(-1).item()
>>> predicted_class = model.config.id2label[predicted_class_idx]

LiltForTokenClassification

class transformers.LiltForTokenClassification

< >

( config )

引數

  • config (LiltForTokenClassification) — 包含模型所有引數的模型配置類。使用配置檔案初始化並不會載入與模型相關的權重，僅載入配置。請檢視 from_pretrained() 方法以載入模型權重。

Lilt 變壓器，頂部帶有 token 分類頭（在隱藏狀態輸出之上有一個線性層），例如用於命名實體識別 (NER) 任務。

該模型繼承自 PreTrainedModel。查閱超類文件以瞭解庫為其所有模型實現的一般方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件以瞭解所有與一般用法和行為相關的事項。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = None bbox: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None token_type_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)

引數

  • input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 詞表中輸入序列 token 的索引。預設情況下會忽略填充。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • bbox (形狀為 (batch_size, sequence_length, 4) 的 torch.LongTensor，可選) — 每個輸入序列 token 的邊界框。選擇範圍為 [0, config.max_2d_position_embeddings-1]。每個邊界框應為 (x0, y0, x1, y1) 格式的歸一化版本，其中 (x0, y0) 對應於邊界框左上角的位置，(x1, y1) 表示右下角的位置。有關歸一化，請參見 Overview。
  • attention_mask (形狀為 (batch_size, sequence_length) 的 torch.FloatTensor，可選) — 用於避免對填充 token 索引執行注意力的掩碼。掩碼值在 [0, 1] 之間選擇：

    • 1 表示 token 未被掩蓋，
    • 0 表示 token 被掩蓋。

    什麼是注意力掩碼？

  • token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 片段 token 索引，用於指示輸入的第一個和第二個部分。索引值在 [0, 1] 之間選擇：

    • 0 對應於 *句子 A* token，
    • 1 對應於 *句子 B* token。

    什麼是 token 型別 ID？

  • position_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 輸入序列中每個 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

    什麼是位置 ID？

  • head_mask (形狀為 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor，可選) — 用於使自注意力模組的選定頭無效的掩碼。掩碼值在 [0, 1] 之間選擇：

    • 1 表示頭 未被掩蓋，
    • 0 表示頭 被掩蓋。
  • inputs_embeds (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可選) — 可選地，你可以選擇直接傳入嵌入表示而不是 input_ids。如果你想比模型的內部嵌入查詢矩陣更精細地控制如何將 input_ids 索引轉換為關聯向量，這會很有用。
  • labels (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 用於計算 token 分類損失的標籤。索引應在 [0, ..., config.num_labels - 1] 之間。
  • output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的 attentions。
  • output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的 hidden_states。
  • return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通的元組。

返回

transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.TokenClassifierOutput 或一個 torch.FloatTensor 的元組 (如果傳入了 return_dict=False 或 config.return_dict=False)，其中包含根據配置 (LiltConfig) 和輸入而定的各種元素。

  • loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 分類損失。

  • logits (形狀為 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor) — 分類分數（SoftMax 之前）。

  • hidden_states (tuple(torch.FloatTensor)，可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組 (如果模型有嵌入層，則一個用於嵌入層的輸出，加上每個層的輸出) ，形狀為 (batch_size, sequence_length, hidden_size)。

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組 (每個層一個) ，形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

LiltForTokenClassification` 的 forward 方法，重寫了 `__call__` 特殊方法。

儘管前向傳播的實現需要在該函式中定義，但之後應該呼叫 `Module` 例項而不是該函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。

示例

>>> from transformers import AutoTokenizer, AutoModelForTokenClassification
>>> from datasets import load_dataset

>>> tokenizer = AutoTokenizer.from_pretrained("SCUT-DLVCLab/lilt-roberta-en-base")
>>> model = AutoModelForTokenClassification.from_pretrained("SCUT-DLVCLab/lilt-roberta-en-base")

>>> dataset = load_dataset("nielsr/funsd-layoutlmv3", split="train")
>>> example = dataset[0]
>>> words = example["tokens"]
>>> boxes = example["bboxes"]

>>> encoding = tokenizer(words, boxes=boxes, return_tensors="pt")

>>> outputs = model(**encoding)
>>> predicted_class_indices = outputs.logits.argmax(-1)

LiltForQuestionAnswering

class transformers.LiltForQuestionAnswering

< >

( config )

引數

  • config (LiltForQuestionAnswering) — 包含模型所有引數的模型配置類。使用配置檔案初始化並不會載入與模型相關的權重，僅載入配置。請檢視 from_pretrained() 方法以載入模型權重。

Lilt 變壓器，頂部帶有用於 SQuAD 等抽取式問答任務的跨度分類頭（在隱藏狀態輸出之上有一個線性層，用於計算 span start logits 和 span end logits）。

該模型繼承自 PreTrainedModel。查閱超類文件以瞭解庫為其所有模型實現的一般方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件以瞭解所有與一般用法和行為相關的事項。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = None bbox: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None token_type_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None start_positions: typing.Optional[torch.LongTensor] = None end_positions: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.QuestionAnsweringModelOutput 或 tuple(torch.FloatTensor)

引數

  • input_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 詞表中輸入序列 token 的索引。預設情況下會忽略填充。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • bbox (形狀為 (batch_size, sequence_length, 4) 的 torch.LongTensor，可選) — 每個輸入序列 token 的邊界框。選擇範圍為 [0, config.max_2d_position_embeddings-1]。每個邊界框應為 (x0, y0, x1, y1) 格式的歸一化版本，其中 (x0, y0) 對應於邊界框左上角的位置，(x1, y1) 表示右下角的位置。有關歸一化，請參見 Overview。
  • attention_mask (形狀為 (batch_size, sequence_length) 的 torch.FloatTensor，可選) — 用於避免對填充 token 索引執行注意力的掩碼。掩碼值在 [0, 1] 之間選擇：

    • 1 表示 token 未被掩蓋，
    • 0 表示 token 被掩蓋。

    什麼是注意力掩碼？

  • token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 片段 token 索引，用於指示輸入的第一個和第二個部分。索引值在 [0, 1] 之間選擇：

    • 0 對應於 *句子 A* token，
    • 1 對應於 *句子 B* token。

    什麼是 token 型別 ID？

  • position_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 輸入序列中每個 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

    什麼是位置 ID？

  • head_mask (torch.FloatTensor of shape (num_heads,) 或 (num_layers, num_heads), 可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示頭部未被掩碼,
    • 0 表示頭部被掩碼。
  • inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), 可選) — 可選地，您可以直接傳遞嵌入表示而不是傳遞 input_ids。如果您希望對如何將 input_ids 索引轉換為關聯向量有比模型內部嵌入查詢矩陣更多的控制，這會很有用。
  • start_positions (torch.LongTensor of shape (batch_size,), 可選) — 用於計算令牌分類損失的標註跨度開始位置（索引）的標籤。位置被限制在序列的長度（sequence_length）內。序列外的位置不計入損失計算。
  • end_positions (torch.LongTensor of shape (batch_size,), 可選) — 用於計算令牌分類損失的標註跨度結束位置（索引）的標籤。位置被限制在序列的長度（sequence_length）內。序列外的位置不計入損失計算。
  • output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量中的 attentions。
  • output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量中的 hidden_states。
  • return_dict (bool, 可選) — 是否返回 ModelOutput 而不是普通的元組。

返回

transformers.modeling_outputs.QuestionAnsweringModelOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.QuestionAnsweringModelOutput 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或 config.return_dict=False），包含取決於配置 (LiltConfig) 和輸入的不同元素。

  • loss (torch.FloatTensor of shape (1,), 可選, 當提供 labels 時返回) — 總範圍提取損失是起始位置和結束位置的交叉熵之和。

  • start_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 範圍起始分數（SoftMax 之前）。

  • end_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 範圍結束分數（SoftMax 之前）。

  • hidden_states (tuple(torch.FloatTensor)，可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — torch.FloatTensor 的元組 (如果模型有嵌入層，則一個用於嵌入層的輸出，加上每個層的輸出) ，形狀為 (batch_size, sequence_length, hidden_size)。

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — torch.FloatTensor 的元組 (每個層一個) ，形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

LiltForQuestionAnswering 的 forward 方法，它覆蓋了 __call__ 特殊方法。

儘管前向傳播的實現需要在該函式中定義，但之後應該呼叫 `Module` 例項而不是該函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。

示例

>>> from transformers import AutoTokenizer, AutoModelForQuestionAnswering
>>> from datasets import load_dataset

>>> tokenizer = AutoTokenizer.from_pretrained("SCUT-DLVCLab/lilt-roberta-en-base")
>>> model = AutoModelForQuestionAnswering.from_pretrained("SCUT-DLVCLab/lilt-roberta-en-base")

>>> dataset = load_dataset("nielsr/funsd-layoutlmv3", split="train")
>>> example = dataset[0]
>>> words = example["tokens"]
>>> boxes = example["bboxes"]

>>> encoding = tokenizer(words, boxes=boxes, return_tensors="pt")

>>> outputs = model(**encoding)

>>> answer_start_index = outputs.start_logits.argmax()
>>> answer_end_index = outputs.end_logits.argmax()

>>> predict_answer_tokens = encoding.input_ids[0, answer_start_index : answer_end_index + 1]
>>> predicted_answer = tokenizer.decode(predict_answer_tokens)
< > 在 GitHub 上更新

←LayoutXLM Llama4→
© . This site is unofficial and not affiliated with Hugging Face, Inc.