Transformers 文件

GPT-Neo

Transformers

加入 Hugging Face 社群

並獲得增強的文件體驗

在模型、資料集和 Spaces 上進行協作

透過加速推理獲得更快的示例

切換文件主題

開始使用

GPT-Neo

GPT-Neo 是 GPT-2 和 GPT-3 模型的開源替代品，使用 Mesh TensorFlow 為 TPU 構建。GPT-Neo 在每隔一層中使用區域性注意力以提高效率。它在 Pile 上進行訓練，Pile 是一個包含 22 個高質量小型資料集的多元資料集。

您可以在 EleutherAI 組織下找到所有原始 GPT-Neo 檢查點。

單擊右側邊欄中的 GPT-Neo 模型，瞭解如何將 GPT Neo 應用於不同語言任務的更多示例。

下面的示例演示瞭如何使用 Pipeline 或 AutoModel，以及從命令列生成文字。

流水線

自動模型

Transformers CLI

量化透過以較低精度表示權重來減少大型模型的記憶體負擔。有關更多可用量化後端，請參閱量化概述。

以下示例使用 bitsandbytes 僅將權重量化為 4 位。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype="float16",
    bnb_4bit_use_double_quant=True
)

model = AutoModelForCausalLM.from_pretrained(
    "EleutherAI/gpt-neo-2.7B",
    quantization_config=quantization_config,
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-2.7B")
inputs = tokenizer("Hello, I'm a language model", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

注意事項

在右側填充輸入，因為 GPT-Neo 使用絕對位置嵌入。

GPTNeoConfig

class transformers.GPTNeoConfig

( vocab_size = 50257 max_position_embeddings = 2048 hidden_size = 2048 num_layers = 24 attention_types = [[['global', 'local'], 12]] num_heads = 16 intermediate_size = None window_size = 256 activation_function = 'gelu_new' resid_dropout = 0.0 embed_dropout = 0.0 attention_dropout = 0.0 classifier_dropout = 0.1 layer_norm_epsilon = 1e-05 initializer_range = 0.02 use_cache = True bos_token_id = 50256 eos_token_id = 50256 **kwargs )

引數

vocab_size (int, 可選, 預設為 50257) — GPT Neo 模型的詞彙表大小。定義了呼叫 GPTNeoModel 時傳入的 inputs_ids 可以表示的不同詞元數量。模型的詞彙表大小。定義了傳入 GPTNeoModel 的前向方法的 inputs_ids 可以表示的不同詞元。
max_position_embeddings (int, 可選, 預設為 2048) — 該模型可能使用的最大序列長度。通常設定為一個較大的值以備不時之需（例如，512、1024 或 2048）。
hidden_size (int, 可選, 預設為 2048) — 編碼器層和池化層的維度。
num_layers (int, 可選, 預設為 24) — Transformer 編碼器中的隱藏層數量。
attention_types (List, 可選, 預設為 [[['global', 'local'], 12]]) — Transformer 編碼器中每層的注意力型別，格式如下：[[["attention_type"], num_layerss]]，例如，對於一個 24 層的模型，可以是 [[["global"], 24]] 或 [[["global", "local"], 12]]。attention_type 的值可從 ["global", "local"] 中選擇。
num_heads (int, 可選, 預設為 16) — Transformer 編碼器中每個注意力層的注意力頭數量。
intermediate_size (int, 可選, 預設為 8192) — Transformer 編碼器中“中間”（即，前饋）層的維度。
window_size (int, 可選, 預設為 256) — 用於區域性注意力的滑動視窗大小。
activation_function (str 或 function, 可選, 預設為 "gelu_new") — 編碼器和池化器中的非線性啟用函式（函式或字串）。如果是字串，支援 "gelu"、"relu"、"selu" 和 "gelu_new"。
resid_dropout (float, 可選, 預設為 0.0) — 注意力模式中使用的殘差 dropout。
embed_dropout (float, 可選, 預設為 0.0) — 嵌入、編碼器和池化器中所有全連線層的 dropout 機率。
attention_dropout (float, 可選, 預設為 0.0) — 注意力機率的 dropout 比率。
classifier_dropout (float, 可選, 預設為 0.1) — 在進行詞元分類時使用的引數，用於模型 GPTNeoForTokenClassification。隱藏層的 dropout 比率。
layer_norm_epsilon (float, 可選, 預設為 1e-05) — 層歸一化層使用的 epsilon 值。
initializer_range (float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。
use_cache (bool, 可選, 預設為 True) — 模型是否應返回最後的鍵/值注意力（並非所有模型都使用）。僅當 config.is_decoder=True 時相關。
bos_token_id (int, 可選, 預設為 50256) — 詞彙表中句子開頭詞元的 ID。
eos_token_id (int, 可選, 預設為 50256) — 詞彙表中句子結束詞元的 ID。

這是用於儲存 GPTNeoModel 配置的配置類。它用於根據指定引數例項化 GPT Neo 模型，定義模型架構。使用預設值例項化配置將生成與 GPTNeo EleutherAI/gpt-neo-1.3B 架構類似的配置。

配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。

示例

>>> from transformers import GPTNeoConfig, GPTNeoModel

>>> # Initializing a GPTNeo EleutherAI/gpt-neo-1.3B style configuration
>>> configuration = GPTNeoConfig()

>>> # Initializing a model (with random weights) from the EleutherAI/gpt-neo-1.3B style configuration
>>> model = GPTNeoModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Pytorch

隱藏 Pytorch 內容

GPTNeoModel

class transformers.GPTNeoModel

( config )

引數

config (GPTNeoModel) — 包含模型所有引數的模型配置類。使用配置檔案初始化並不會載入與模型相關的權重，只加載配置。請查閱 from_pretrained() 方法以載入模型權重。

GPT Neo 模型僅輸出原始隱藏狀態，不帶任何特定頭部。

此模型繼承自 PreTrainedModel。查閱超類文件以獲取庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件以獲取所有與一般使用和行為相關的事項。

前向傳播

( input_ids: typing.Optional[torch.Tensor] = None past_key_values: typing.Union[transformers.cache_utils.Cache, tuple[torch.FloatTensor], NoneType] = None attention_mask: typing.Optional[torch.Tensor] = None token_type_ids: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.BaseModelOutputWithPastAndCrossAttentions 或 tuple(torch.FloatTensor)

引數

input_ids (形狀為 (batch_size, input_ids_length) 的 torch.LongTensor) — input_ids_length = 如果 past_key_values 為 None 則為 sequence_length，否則為 past_key_values[0][0].shape[-2]（輸入 past 鍵值狀態的 sequence_length）。詞彙表中輸入序列詞元的索引。

如果使用了 past_key_values，則只有那些未計算 past 的 input_ids 才應作為 input_ids 傳入。

索引可以透過 AutoTokenizer 獲取。詳細資訊請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是輸入 ID？
past_key_values (Union[~cache_utils.Cache, tuple[torch.FloatTensor], NoneType]) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼前期返回的 past_key_values，當 use_cache=True 或 config.use_cache=True 時。

允許兩種格式：
- Cache 例項，請參閱我們的 kv 快取指南；
- 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量）。這也被稱為傳統快取格式。
模型將輸出與輸入相同的快取格式。如果沒有傳入 past_key_values，將返回傳統快取格式。

如果使用 past_key_values，使用者可以選擇只輸入最後一個 input_ids（那些沒有將它們的 past 鍵值狀態提供給該模型的輸入），形狀為 (batch_size, 1)，而不是所有形狀為 (batch_size, sequence_length) 的 input_ids。
attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor, 可選) — 掩碼，用於避免在填充詞元索引上執行注意力。掩碼值在 [0, 1] 中選擇：
- 1 表示 未被掩碼 的詞元，
- 0 表示 被掩碼 的詞元。
什麼是注意力掩碼？
token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor，可選) — 片段 token 索引，用於指示輸入的第一個和第二個部分。索引值在 [0, 1] 範圍內選擇：
- 0 對應於 句子 A token，
- 1 對應於 句子 B token。
什麼是 token type ID？
position_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor，可選) — 輸入序列中每個 token 在位置嵌入中的位置索引。在 [0, config.n_positions - 1] 範圍內選擇。

什麼是 position ID？
head_mask (形狀為 (num_heads,) 或 (num_layers, num_heads) 的 torch.Tensor，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在 [0, 1] 範圍內選擇：
- 1 表示頭部未被遮蔽，
- 0 表示頭部被遮蔽。
inputs_embeds (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.Tensor，可選) — 可選地，你可以選擇直接傳入嵌入表示，而不是傳入 input_ids。如果你想對如何將 input_ids 索引轉換為關聯向量有比模型內部嵌入查詢矩陣更多的控制，這會很有用。
use_cache (bool，可選) — 如果設定為 True，將返回 past_key_values 鍵值狀態，可用於加速解碼 (參見 past_key_values)。
output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的 attentions。
output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的 hidden_states。
return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通的元組。
cache_position (形狀為 (sequence_length) 的 torch.LongTensor，可選) — 指示輸入序列 token 在序列中的位置的索引。與 position_ids 不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。

返回

transformers.modeling_outputs.BaseModelOutputWithPastAndCrossAttentions 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.BaseModelOutputWithPastAndCrossAttentions 或一個 torch.FloatTensor 元組 (如果傳入 return_dict=False 或 config.return_dict=False)，包含根據配置 (GPTNeoConfig) 和輸入而變化的各種元素。

last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。

如果使用了 past_key_values，則只輸出形狀為 (batch_size, 1, hidden_size) 的序列的最後一個隱藏狀態。
past_key_values (Cache，可選，當傳入 use_cache=True 或 config.use_cache=True 時返回) — 這是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

包含預先計算的隱藏狀態（自注意力塊中的鍵和值，如果 config.is_encoder_decoder=True，則可選地包含交叉注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。
hidden_states (tuple(torch.FloatTensor)，可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — 形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元組（如果模型有嵌入層，則一個用於嵌入層的輸出，加上每個層的一個輸出）。

模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每層一個）。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
cross_attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 和 config.add_cross_attention=True 或 config.output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每層一個）。

解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。

GPTNeoModel 的 forward 方法，重寫了 __call__ 特殊方法。

儘管前向傳播的實現需要在該函式中定義，但在此之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則靜默忽略它們。

GPTNeoForCausalLM

class transformers.GPTNeoForCausalLM

( config )

引數

config (GPTNeoForCausalLM) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。

GPT Neo 模型 transformer，頂部帶有一個語言建模頭（權重與輸入嵌入繫結的線性層）。

此模型繼承自 PreTrainedModel。查閱超類文件以獲取庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件以獲取所有與一般使用和行為相關的事項。

前向傳播

( input_ids: typing.Optional[torch.Tensor] = None past_key_values: typing.Union[transformers.cache_utils.Cache, tuple[torch.FloatTensor], NoneType] = None attention_mask: typing.Optional[torch.Tensor] = None token_type_ids: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None **kwargs ) → transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或 tuple(torch.FloatTensor)

引數

input_ids (形狀為 (batch_size, input_ids_length) 的 torch.LongTensor) — input_ids_length = 如果 past_key_values 為 None，則為 sequence_length，否則為 past_key_values[0][0].shape[-2]（輸入 past key value 狀態的 sequence_length）。詞彙表中輸入序列 token 的索引。

如果使用了 past_key_values，則只有那些尚未計算過 past 的 input_ids 應作為 input_ids 傳入。

索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是 input ID？
past_key_values (Union[~cache_utils.Cache, tuple[torch.FloatTensor], NoneType]) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼上一階段返回的 past_key_values，當 use_cache=True 或 config.use_cache=True 時。

允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv cache 指南；
- 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量）。這也被稱為傳統快取格式。
模型將輸出與輸入相同的快取格式。如果未傳入 past_key_values，將返回傳統快取格式。

如果使用 past_key_values，使用者可以選擇只輸入形狀為 (batch_size, 1) 的最後一個 input_ids（那些沒有將其 past key value 狀態提供給此模型的 input_ids），而不是形狀為 (batch_size, sequence_length) 的所有 input_ids。
attention_mask (形狀為 (batch_size, sequence_length) 的 torch.Tensor，可選) — 用於避免對填充 token 索引執行注意力的掩碼。掩碼值在 [0, 1] 範圍內選擇：
- 1 表示 token 未被遮蔽，
- 0 表示 token 被遮蔽。
什麼是 attention mask？
token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor，可選) — 片段 token 索引，用於指示輸入的第一個和第二個部分。索引值在 [0, 1] 範圍內選擇：
- 0 對應於 句子 A token，
- 1 對應於 句子 B token。
什麼是 token type ID？
position_ids (形狀為 (batch_size, sequence_length) 的 torch.Tensor，可選) — 輸入序列中每個 token 在位置嵌入中的位置索引。在 [0, config.n_positions - 1] 範圍內選擇。

什麼是 position ID？
head_mask (形狀為 (num_heads,) 或 (num_layers, num_heads) 的 torch.Tensor，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在 [0, 1] 範圍內選擇：
- 1 表示頭部未被遮蔽，
- 0 表示頭部被遮蔽。
inputs_embeds (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.Tensor，可選) — 可選地，你可以選擇直接傳入嵌入表示，而不是傳入 input_ids。如果你想對如何將 input_ids 索引轉換為關聯向量有比模型內部嵌入查詢矩陣更多的控制，這會很有用。
labels (形狀為 (batch_size, input_ids_length) 的 torch.LongTensor，可選) — 用於語言建模的標籤。請注意，標籤在模型內部會進行偏移，即您可以設定 labels = input_ids。索引值在 [-100, 0, ..., config.vocab_size] 範圍內選擇。所有設定為 -100 的標籤將被忽略（遮蔽），損失只針對 [0, ..., config.vocab_size] 範圍內的標籤進行計算。
use_cache (bool，可選) — 如果設定為 True，將返回 past_key_values 鍵值狀態，可用於加速解碼 (參見 past_key_values)。
output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的 attentions。
output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的 hidden_states。
return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通的元組。
cache_position (形狀為 (sequence_length) 的 torch.LongTensor，可選) — 指示輸入序列 token 在序列中的位置的索引。與 position_ids 不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。

返回

transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一個 torch.FloatTensor 元組 (如果傳入 return_dict=False 或 config.return_dict=False)，包含根據配置 (GPTNeoConfig) 和輸入而變化的各種元素。

loss (torch.FloatTensor 形狀為 (1,)，可選，當提供 labels 時返回) — 語言建模損失（用於下一個 token 預測）。
logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。
hidden_states (tuple(torch.FloatTensor)，可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — 形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元組（如果模型有嵌入層，則一個用於嵌入層的輸出，加上每個層的一個輸出）。

模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每層一個）。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
cross_attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每層一個）。

注意力 softmax 後的交叉注意力權重，用於計算交叉注意力頭中的加權平均。
past_key_values (Cache，可選，當傳入 use_cache=True 或 config.use_cache=True 時返回) — 這是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

包含預先計算的隱藏狀態（注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

GPTNeoForCausalLM 的 forward 方法，重寫了 __call__ 特殊方法。

儘管前向傳播的實現需要在該函式中定義，但在此之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則靜默忽略它們。

示例

GPTNeoForQuestionAnswering

class transformers.GPTNeoForQuestionAnswering

( config )

引數

config (GPTNeoForQuestionAnswering) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。

Gpt Neo transformer，頂部帶有一個用於抽取式問答任務（如 SQuAD）的 span 分類頭（在隱藏狀態輸出之上有一個線性層，用於計算 span start logits 和 span end logits）。

此模型繼承自 PreTrainedModel。查閱超類文件以獲取庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件以獲取所有與一般使用和行為相關的事項。

前向傳播

( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None token_type_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None start_positions: typing.Optional[torch.LongTensor] = None end_positions: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.QuestionAnsweringModelOutput 或 tuple(torch.FloatTensor)

引數

input_ids (形狀為 (batch_size, input_ids_length) 的 torch.LongTensor) — input_ids_length = 如果 past_key_values 為 None，則為 sequence_length，否則為 past_key_values[0][0].shape[-2]（輸入 past key value 狀態的 sequence_length）。詞彙表中輸入序列 token 的索引。

如果使用了 past_key_values，則只有那些尚未計算過 past 的 input_ids 應作為 input_ids 傳入。

索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是 input ID？
attention_mask (形狀為 (batch_size, sequence_length) 的 torch.FloatTensor，可選) — 用於避免對填充 token 索引執行注意力的掩碼。掩碼值在 [0, 1] 範圍內選擇：
- 1 表示 token 未被遮蔽，
- 0 表示 token 被遮蔽。
什麼是 attention mask？
token_type_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 片段 token 索引，用於指示輸入的第一個和第二個部分。索引值在 [0, 1] 範圍內選擇：
- 0 對應於 句子 A token，
- 1 對應於 句子 B token。
什麼是 token type ID？
position_ids (形狀為 (batch_size, sequence_length) 的 torch.LongTensor，可選) — 輸入序列中每個 token 在位置嵌入中的位置索引。在 [0, config.n_positions - 1] 範圍內選擇。

什麼是 position ID？
head_mask (形狀為 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值在 [0, 1] 範圍內選擇：
- 1 表示頭部未被遮蔽，
- 0 表示頭部被遮蔽。
inputs_embeds (形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可選) — 可選地，你可以選擇直接傳入嵌入表示，而不是傳入 input_ids。如果你想對如何將 input_ids 索引轉換為關聯向量有比模型內部嵌入查詢矩陣更多的控制，這會很有用。
start_positions (形狀為 (batch_size,) 的 torch.LongTensor，可選) — 用於計算 token 分類損失的標註 span 起始位置（索引）的標籤。位置被限制在序列長度 (sequence_length) 內。序列之外的位置不計入損失計算。
end_positions (形狀為 (batch_size,) 的 torch.LongTensor，可選) — 用於計算 token 分類損失的標註 span 結束位置（索引）的標籤。位置被限制在序列長度 (sequence_length) 內。序列之外的位置不計入損失計算。
output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量下的 attentions。
output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量下的 hidden_states。
return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通的元組。

返回

transformers.modeling_outputs.QuestionAnsweringModelOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.QuestionAnsweringModelOutput 或一個 torch.FloatTensor 元組 (如果傳入 return_dict=False 或 config.return_dict=False)，包含根據配置 (GPTNeoConfig) 和輸入而變化的各種元素。

loss (torch.FloatTensor of shape (1,), 可選, 當提供 labels 時返回) — 總範圍提取損失是起始位置和結束位置的交叉熵之和。
start_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 範圍起始分數（SoftMax 之前）。
end_logits (torch.FloatTensor of shape (batch_size, sequence_length)) — 範圍結束分數（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor)，可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — 形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元組（如果模型有嵌入層，則一個用於嵌入層的輸出，加上每個層的一個輸出）。

模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每層一個）。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

GPTNeoForQuestionAnswering 的 forward 方法，它會覆蓋 __call__ 特殊方法。

儘管前向傳播的實現需要在該函式中定義，但在此之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則靜默忽略它們。

示例

>>> from transformers import AutoTokenizer, GPTNeoForQuestionAnswering
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B")
>>> model = GPTNeoForQuestionAnswering.from_pretrained("EleutherAI/gpt-neo-1.3B")

>>> question, text = "Who was Jim Henson?", "Jim Henson was a nice puppet"

>>> inputs = tokenizer(question, text, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> answer_start_index = outputs.start_logits.argmax()
>>> answer_end_index = outputs.end_logits.argmax()

>>> predict_answer_tokens = inputs.input_ids[0, answer_start_index : answer_end_index + 1]
>>> tokenizer.decode(predict_answer_tokens, skip_special_tokens=True)
...

>>> # target is "nice puppet"
>>> target_start_index = torch.tensor([14])
>>> target_end_index = torch.tensor([15])

>>> outputs = model(**inputs, start_positions=target_start_index, end_positions=target_end_index)
>>> loss = outputs.loss
>>> round(loss.item(), 2)
...

GPTNeoForSequenceClassification

class transformers.GPTNeoForSequenceClassification

( config )

引數

config (GPTNeoForSequenceClassification) — 模型的配置類，包含模型的所有引數。使用配置檔案初始化並不會載入與模型相關的權重，只會載入配置。要載入模型權重，請檢視 from_pretrained() 方法。

GPTNeo 模型 Transformer，頂部帶有一個序列分類頭（線性層）。

GPTNeoForSequenceClassification 使用最後一個 token 進行分類，與其他因果模型（如 GPT-1）相同。

由於它對最後一個 token 進行分類，因此需要知道最後一個 token 的位置。如果在配置中定義了 pad_token_id，它會在每一行中找到不是填充 token 的最後一個 token。如果沒有定義 pad_token_id，它會簡單地取批次中每一行的最後一個值。由於在傳入 inputs_embeds 而不是 input_ids 時無法猜測填充 token，因此它會執行相同的操作（取批次中每一行的最後一個值）。

此模型繼承自 PreTrainedModel。查閱超類文件以獲取庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件以獲取所有與一般使用和行為相關的事項。

前向傳播

( input_ids: typing.Optional[torch.Tensor] = None past_key_values: typing.Union[transformers.cache_utils.Cache, tuple[torch.FloatTensor], NoneType] = None attention_mask: typing.Optional[torch.Tensor] = None token_type_ids: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.Tensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.SequenceClassifierOutputWithPast 或 tuple(torch.FloatTensor)

引數

input_ids (torch.LongTensor，形狀為 (batch_size, input_ids_length)) — 如果 past_key_values 為 None，則 input_ids_length = sequence_length；否則為 past_key_values[0][0].shape[-2]（輸入過去鍵值狀態的 sequence_length）。詞彙表中輸入序列 token 的索引。

如果使用了 past_key_values，則只有未計算過過去值的 input_ids 應作為 input_ids 傳入。

索引可以透過 AutoTokenizer 獲取。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是 input IDs？
past_key_values (Union[~cache_utils.Cache, tuple[torch.FloatTensor], NoneType]) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼上一階段返回的 past_key_values，當 use_cache=True 或 config.use_cache=True 時。

允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量。這也稱為舊式快取格式。
模型將輸出與輸入相同的快取格式。如果沒有傳入 past_key_values，將返回舊式快取格式。

如果使用 past_key_values，使用者可以選擇只輸入形狀為 (batch_size, 1) 的最後一個 input_ids（那些沒有將其過去的鍵值狀態提供給此模型的）而不是形狀為 (batch_size, sequence_length) 的所有 input_ids。
attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充 token 索引執行注意力操作的掩碼。掩碼值選擇在 [0, 1] 之間：
- 1 表示 未被掩蓋 的 token，
- 0 表示 被掩蓋 的 token。
什麼是注意力掩碼？
token_type_ids (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於指示輸入的第一部分和第二部分的段 token 索引。索引選擇範圍為 [0, 1]：
- 0 對應於 句子 A 的 token，
- 1 對應於 句子 B 的 token。
什麼是 token 型別 ID？
position_ids (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 輸入序列中每個 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

什麼是位置 ID？
head_mask (torch.Tensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為 [0, 1]：
- 1 表示頭部 未被掩蓋，
- 0 表示頭部 被掩蓋。
inputs_embeds (torch.Tensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 此外，您可以選擇直接傳入嵌入表示，而不是傳入 input_ids。如果您希望對如何將 input_ids 索引轉換為相關向量有更多控制，而不是使用模型的內部嵌入查詢矩陣，這將很有用。
labels (torch.LongTensor，形狀為 (batch_size,)，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在 [0, ..., config.num_labels - 1] 之間。如果 config.num_labels == 1，則計算迴歸損失（均方誤差損失）；如果 config.num_labels > 1，則計算分類損失（交叉熵損失）。
use_cache (bool, 可選) — 如果設定為 True，則返回 past_key_values 鍵值狀態，可用於加速解碼（請參閱 past_key_values）。
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。詳情請參閱返回張量中的 attentions。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。詳情請參閱返回張量中的 hidden_states。
return_dict (bool, 可選) — 是否返回 ModelOutput 而不是純元組。

返回

transformers.modeling_outputs.SequenceClassifierOutputWithPast 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.SequenceClassifierOutputWithPast 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），根據配置（GPTNeoConfig）和輸入包含各種元素。

loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 分類損失（如果 config.num_labels==1，則為迴歸損失）。
logits (形狀為 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。
past_key_values (Cache，可選，當傳入 use_cache=True 或 config.use_cache=True 時返回) — 這是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。
hidden_states (tuple(torch.FloatTensor)，可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — 形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元組（如果模型有嵌入層，則一個用於嵌入層的輸出，加上每個層的一個輸出）。

模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每層一個）。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

GPTNeoForSequenceClassification 的 forward 方法，它會覆蓋 __call__ 特殊方法。

儘管前向傳播的實現需要在該函式中定義，但在此之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則靜默忽略它們。

單標籤分類示例

>>> import torch
>>> from transformers import AutoTokenizer, GPTNeoForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B")
>>> model = GPTNeoForSequenceClassification.from_pretrained("EleutherAI/gpt-neo-1.3B")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = GPTNeoForSequenceClassification.from_pretrained("EleutherAI/gpt-neo-1.3B", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...

多標籤分類示例

>>> import torch
>>> from transformers import AutoTokenizer, GPTNeoForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B")
>>> model = GPTNeoForSequenceClassification.from_pretrained("EleutherAI/gpt-neo-1.3B", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = GPTNeoForSequenceClassification.from_pretrained(
...     "EleutherAI/gpt-neo-1.3B", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss

GPTNeoForTokenClassification

class transformers.GPTNeoForTokenClassification

( config )

引數

config (GPTNeoForTokenClassification) — 模型的配置類，包含模型的所有引數。使用配置檔案初始化並不會載入與模型相關的權重，只會載入配置。要載入模型權重，請檢視 from_pretrained() 方法。

Gpt Neo Transformer，頂部帶有一個 token 分類頭（隱藏狀態輸出頂部的線性層），例如用於命名實體識別（NER）任務。

此模型繼承自 PreTrainedModel。查閱超類文件以獲取庫為所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件以獲取所有與一般使用和行為相關的事項。

前向傳播

( input_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Union[transformers.cache_utils.Cache, tuple[tuple[torch.Tensor]], NoneType] = None attention_mask: typing.Optional[torch.FloatTensor] = None token_type_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)

引數

input_ids (torch.LongTensor，形狀為 (batch_size, input_ids_length)) — 如果 past_key_values 為 None，則 input_ids_length = sequence_length；否則為 past_key_values[0][0].shape[-2]（輸入過去鍵值狀態的 sequence_length）。詞彙表中輸入序列 token 的索引。

如果使用了 past_key_values，則只有未計算過過去值的 input_ids 應作為 input_ids 傳入。

索引可以透過 AutoTokenizer 獲取。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是 input IDs？
past_key_values (Union[~cache_utils.Cache, tuple[tuple[torch.Tensor]], NoneType]) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼上一階段返回的 past_key_values，當 use_cache=True 或 config.use_cache=True 時。

允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 長度為 config.n_layers 的 tuple(torch.FloatTensor) 元組，每個元組包含 2 個形狀為 (batch_size, num_heads, sequence_length, embed_size_per_head) 的張量。這也稱為舊式快取格式。
模型將輸出與輸入相同的快取格式。如果沒有傳入 past_key_values，將返回舊式快取格式。

如果使用 past_key_values，使用者可以選擇只輸入形狀為 (batch_size, 1) 的最後一個 input_ids（那些沒有將其過去的鍵值狀態提供給此模型的）而不是形狀為 (batch_size, sequence_length) 的所有 input_ids。
attention_mask (torch.FloatTensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充 token 索引執行注意力操作的掩碼。掩碼值選擇在 [0, 1] 之間：
- 1 表示 未被掩蓋 的 token，
- 0 表示 被掩蓋 的 token。
什麼是注意力掩碼？
token_type_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於指示輸入的第一部分和第二部分的段 token 索引。索引選擇範圍為 [0, 1]：
- 0 對應於 句子 A 的 token，
- 1 對應於 句子 B 的 token。
什麼是 token 型別 ID？
position_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 輸入序列中每個 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.n_positions - 1]。

什麼是位置 ID？
head_mask (torch.FloatTensor，形狀為 (num_heads,) 或 (num_layers, num_heads)，可選) — 用於使自注意力模組的選定頭部無效的掩碼。掩碼值選擇範圍為 [0, 1]：
- 1 表示頭部 未被掩蓋，
- 0 表示頭部 被掩蓋。
inputs_embeds (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 此外，您可以選擇直接傳入嵌入表示，而不是傳入 input_ids。如果您希望對如何將 input_ids 索引轉換為相關向量有更多控制，而不是使用模型的內部嵌入查詢矩陣，這將很有用。
labels (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在 [0, ..., config.num_labels - 1] 之間。如果 config.num_labels == 1，則計算迴歸損失（均方誤差損失）；如果 config.num_labels > 1，則計算分類損失（交叉熵損失）。
use_cache (bool, 可選) — 如果設定為 True，則返回 past_key_values 鍵值狀態，可用於加速解碼（請參閱 past_key_values）。
output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。詳情請參閱返回張量中的 attentions。
output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。詳情請參閱返回張量中的 hidden_states。
return_dict (bool, 可選) — 是否返回 ModelOutput 而不是純元組。

返回

transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.TokenClassifierOutput 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），根據配置（GPTNeoConfig）和輸入包含各種元素。

loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 分類損失。
logits (形狀為 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor) — 分類分數（SoftMax 之前）。
hidden_states (tuple(torch.FloatTensor)，可選，當傳入 output_hidden_states=True 或 config.output_hidden_states=True 時返回) — 形狀為 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元組（如果模型有嵌入層，則一個用於嵌入層的輸出，加上每個層的一個輸出）。

模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
attentions (tuple(torch.FloatTensor)，可選，當傳入 output_attentions=True 或 config.output_attentions=True 時返回) — 形狀為 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元組（每層一個）。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

GPTNeoForTokenClassification 的 forward 方法，它會覆蓋 __call__ 特殊方法。

儘管前向傳播的實現需要在該函式中定義，但在此之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則靜默忽略它們。

示例

>>> from transformers import AutoTokenizer, GPTNeoForTokenClassification
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B")
>>> model = GPTNeoForTokenClassification.from_pretrained("EleutherAI/gpt-neo-1.3B")

>>> inputs = tokenizer(
...     "HuggingFace is a company based in Paris and New York", add_special_tokens=False, return_tensors="pt"
... )

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_token_class_ids = logits.argmax(-1)

>>> # Note that tokens are classified rather then input words which means that
>>> # there might be more predicted token classes than words.
>>> # Multiple token classes might account for the same word
>>> predicted_tokens_classes = [model.config.id2label[t.item()] for t in predicted_token_class_ids[0]]
>>> predicted_tokens_classes
...

>>> labels = predicted_token_class_ids
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...

JAX

隱藏 JAX 內容

FlaxGPTNeoModel

class transformers.FlaxGPTNeoModel

( config: GPTNeoConfig input_shape: tuple = (1, 1) seed: int = 0 dtype: dtype = <class 'jax.numpy.float32'> _do_init: bool = True **kwargs )

引數

config (GPTNeoConfig) — 模型的配置類，包含模型的所有引數。使用配置檔案初始化並不會載入與模型相關的權重，只會載入配置。要載入模型權重，請檢視 from_pretrained() 方法。
dtype (jax.numpy.dtype, 可選, 預設為 jax.numpy.float32) — 計算的資料型別。可以是 jax.numpy.float32、jax.numpy.float16（在 GPU 上）和 jax.numpy.bfloat16（在 TPU 上）之一。

這可用於在 GPU 或 TPU 上啟用混合精度訓練或半精度推理。如果指定，所有計算都將以給定的 dtype 執行。

請注意，這僅指定了計算的資料型別，不影響模型引數的資料型別。

如果您希望更改模型引數的資料型別，請參閱 to_fp16() 和 to_bf16()。

裸 GPTNeo 模型 Transformer，輸出原始隱藏狀態，頂部沒有任何特定頭部。

此模型繼承自 FlaxPreTrainedModel。有關庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等），請檢視超類文件。

此模型也是 Flax Linen flax.nn.Module 子類。將其作為常規 Flax 模組使用，並參考 Flax 文件中所有與通用用法和行為相關的事項。

最後，此模型支援固有的 JAX 功能，例如

call

( input_ids attention_mask = None position_ids = None params: typing.Optional[dict] = None past_key_values: typing.Optional[dict] = None dropout_rng: <function PRNGKey at 0x7effc7ad3a30> = None train: bool = False output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_flax_outputs.FlaxBaseModelOutput 或 tuple(torch.FloatTensor)

引數

input_ids (numpy.ndarray，形狀為 (batch_size, input_ids_length)) — input_ids_length = sequence_length。詞彙表中輸入序列 token 的索引。

索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是輸入 ID？
attention_mask (numpy.ndarray，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充 token 索引執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
- 1 表示未被掩蓋的 token，
- 0 表示被掩蓋的 token。
什麼是注意力掩碼？
position_ids (numpy.ndarray，形狀為 (batch_size, input_ids_length)，可選) — 每個輸入序列 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.max_position_embeddings - 1]。
past_key_values (dict[str, np.ndarray]，可選，由 init_cache 返回或在傳遞先前的 past_key_values 時返回) — 預計算的隱藏狀態（注意力塊中的鍵和值）字典，可用於快速自迴歸解碼。預計算的鍵和值隱藏狀態的形狀為 [batch_size, max_length]。
output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參見返回張量下的 attentions。
output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參見返回張量下的 hidden_states。
return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通的元組。

返回

transformers.modeling_flax_outputs.FlaxBaseModelOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_flax_outputs.FlaxBaseModelOutput 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含根據配置 (GPTNeoConfig) 和輸入而變化的各種元素。

last_hidden_state (形狀為 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray) — 模型最後一層輸出的隱藏狀態序列。
hidden_states (tuple(jnp.ndarray)，可選，當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — jnp.ndarray 元組（一個用於嵌入輸出 + 每個層的一個輸出），形狀為 (batch_size, sequence_length, hidden_size)。

模型在每個層輸出的隱藏狀態加上初始嵌入輸出。
attentions (tuple(jnp.ndarray)，可選，當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — jnp.ndarray 元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

FlaxGPTNeoPreTrainedModel 前向方法，覆蓋 __call__ 特殊方法。

儘管前向傳播的實現需要在該函式中定義，但在此之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則靜默忽略它們。

示例

>>> from transformers import AutoTokenizer, FlaxGPTNeoModel

>>> tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B")
>>> model = FlaxGPTNeoModel.from_pretrained("EleutherAI/gpt-neo-1.3B")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="jax")
>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state

FlaxGPTNeoForCausalLM

class transformers.FlaxGPTNeoForCausalLM

( config: GPTNeoConfig input_shape: tuple = (1, 1) seed: int = 0 dtype: dtype = <class 'jax.numpy.float32'> _do_init: bool = True **kwargs )

引數

config (GPTNeoConfig) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法以載入模型權重。
dtype (jax.numpy.dtype，可選，預設為 jax.numpy.float32) — 計算的資料型別。可以是 jax.numpy.float32、jax.numpy.float16（在 GPU 上）和 jax.numpy.bfloat16（在 TPU 上）之一。

這可用於在 GPU 或 TPU 上啟用混合精度訓練或半精度推理。如果指定，所有計算將使用給定的 dtype 執行。

請注意，這僅指定計算的資料型別，不影響模型引數的資料型別。

如果您希望更改模型引數的資料型別，請參見 to_fp16() 和 to_bf16()。

GPTNeo 模型 Transformer，頂部帶有一個語言建模頭（權重與輸入嵌入繫結的線性層）。

此模型繼承自 FlaxPreTrainedModel。有關庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等），請檢視超類文件。

此模型也是 Flax Linen flax.nn.Module 子類。將其作為常規 Flax 模組使用，並參考 Flax 文件中所有與通用用法和行為相關的事項。

最後，此模型支援固有的 JAX 功能，例如

call

( input_ids attention_mask = None position_ids = None params: typing.Optional[dict] = None past_key_values: typing.Optional[dict] = None dropout_rng: <function PRNGKey at 0x7effc7ad3a30> = None train: bool = False output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_flax_outputs.FlaxMaskedLMOutput 或 tuple(torch.FloatTensor)

引數

input_ids (numpy.ndarray，形狀為 (batch_size, input_ids_length)) — input_ids_length = sequence_length。詞彙表中輸入序列 token 的索引。

索引可以使用 AutoTokenizer 獲取。有關詳細資訊，請參見 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什麼是輸入 ID？
attention_mask (numpy.ndarray，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充 token 索引執行注意力操作的掩碼。掩碼值選擇範圍為 [0, 1]：
- 1 表示未被掩蓋的 token，
- 0 表示被掩蓋的 token。
什麼是注意力掩碼？
position_ids (numpy.ndarray，形狀為 (batch_size, input_ids_length)，可選) — 每個輸入序列 token 在位置嵌入中的位置索引。選擇範圍為 [0, config.max_position_embeddings - 1]。
past_key_values (dict[str, np.ndarray]，可選，由 init_cache 返回或在傳遞先前的 past_key_values 時返回) — 預計算的隱藏狀態（注意力塊中的鍵和值）字典，可用於快速自迴歸解碼。預計算的鍵和值隱藏狀態的形狀為 [batch_size, max_length]。
output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參見返回張量下的 attentions。
output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。更多詳細資訊請參見返回張量下的 hidden_states。
return_dict (bool，可選) — 是否返回 ModelOutput 而不是普通的元組。

返回

transformers.modeling_flax_outputs.FlaxMaskedLMOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_flax_outputs.FlaxMaskedLMOutput 或一個 torch.FloatTensor 元組（如果傳遞 return_dict=False 或當 config.return_dict=False 時），包含根據配置 (GPTNeoConfig) 和輸入而變化的各種元素。

logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 jnp.ndarray) — 語言建模頭的預測分數（SoftMax 之前每個詞彙 token 的分數）。
hidden_states (tuple(jnp.ndarray)，可選，當傳遞 output_hidden_states=True 或當 config.output_hidden_states=True 時返回) — jnp.ndarray 元組（一個用於嵌入輸出 + 每個層的一個輸出），形狀為 (batch_size, sequence_length, hidden_size)。

模型在每個層輸出的隱藏狀態加上初始嵌入輸出。
attentions (tuple(jnp.ndarray)，可選，當傳遞 output_attentions=True 或當 config.output_attentions=True 時返回) — jnp.ndarray 元組（每個層一個），形狀為 (batch_size, num_heads, sequence_length, sequence_length)。

注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

FlaxGPTNeoPreTrainedModel 前向方法，覆蓋 __call__ 特殊方法。

儘管前向傳播的實現需要在該函式中定義，但在此之後應呼叫 Module 例項而不是此函式，因為前者負責執行預處理和後處理步驟，而後者則靜默忽略它們。

示例

>>> from transformers import AutoTokenizer, FlaxGPTNeoForCausalLM

>>> tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-1.3B")
>>> model = FlaxGPTNeoForCausalLM.from_pretrained("EleutherAI/gpt-neo-1.3B")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="np")
>>> outputs = model(**inputs)

>>> # retrieve logts for next token
>>> next_token_logits = outputs.logits[:, -1]

< > 在 GitHub 上更新

←GPT GPT NeoX→

© . This site is unofficial and not affiliated with Hugging Face, Inc.