Transformers 文件
RecurrentGemma
並獲得增強的文件體驗
開始使用
RecurrentGemma
概述
Recurrent Gemma 模型是由 Google 的 Griffin、RLHF 和 Gemma 團隊在 RecurrentGemma: Moving Past Transformers for Efficient Open Language Models 中提出的。
論文摘要如下：
我們引入了 RecurrentGemma，這是一種使用 Google 創新的 Griffin 架構的開放語言模型。Griffin 結合了線性遞迴和區域性注意力機制，在語言任務上實現了卓越的效能。它具有固定大小的狀態，可減少記憶體使用並實現對長序列的高效推理。我們提供了一個預訓練模型（20 億非嵌入引數）和一個指令微調變體。儘管這些模型在較少的 tokens 上進行訓練，但其效能與 Gemma-2B 相當。
技巧
- 原始檢查點可以使用轉換指令碼
src/transformers/models/recurrent_gemma/convert_recurrent_gemma_weights_to_hf.py進行轉換。
該模型由 Arthur Zucker 貢獻。原始程式碼可在 此處 找到。
RecurrentGemmaConfig
class transformers.RecurrentGemmaConfig
< source >( num_hidden_layers = 26 vocab_size = 256000 hidden_size = 2560 intermediate_size = 7680 num_attention_heads = 10 lru_width = None attention_window_size = 2048 conv1d_width = 4 logits_soft_cap = 30.0 rms_norm_eps = 1e-06 use_cache = True pad_token_id = 0 eos_token_id = 1 bos_token_id = 2 hidden_activation = 'gelu_pytorch_tanh' partial_rotary_factor = 0.5 rope_theta = 10000.0 block_types = ('recurrent', 'recurrent', 'attention') attention_dropout = 0.0 num_key_value_heads = None attention_bias = False w_init_variance_scale = 0.01 **kwargs )
引數
- num_hidden_layers (
int, 可選, 預設值為 26) — 模型中的隱藏層數量。 - vocab_size (
int, 可選, 預設值為 256000) — RecurrentGemma 模型的詞彙表大小。定義了呼叫 RecurrentGemmaModel 時傳入的inputs_ids可以表示的不同 token 的數量。 - hidden_size (
int, 可選, 預設值為 2560) — 隱藏表示的維度。 - intermediate_size (
int, 可選, 預設值為 7680) — MLP 表示的維度。 - num_attention_heads (
int, 可選, 預設值為 10) — 注意力塊中的頭數量以及 RG-LRU 門中使用的塊對角層中的頭/塊數量。此數字必須能整除hidden_size和lru_width。 - lru_width (
int或None, 可選) — RG-LRU 隱藏表示的維度。如果為None，則設定為hidden_size。是否透過sqrt(hidden_size)對嵌入的輸出進行縮放。 - attention_window_size (
int, 可選, 預設值為 2048) — 注意力塊中使用的注意力視窗大小。 - conv1d_width (
int, 可選, 預設值為 4) — 迴圈塊中使用的 conv1d 層的核大小。 - logits_soft_cap (
float, 可選, 預設值為 30.0) — 在 Causal LM 架構中，變壓器和 LM-head 計算後，logits 應該軟上限的值。 - rms_norm_eps (
float, 可選, 預設值為 1e-06) — rms 歸一化層使用的 epsilon 值。 - use_cache (
bool, 可選, 預設值為True) — 模型是否應返回最後一個鍵/值注意力（並非所有模型都使用）。僅當config.is_decoder=True時才相關。 - pad_token_id (
int, 可選, 預設值為 0) — 填充 token ID。 - eos_token_id (
int, 可選, 預設值為 1) — 流結束 token ID。 - bos_token_id (
int, 可選, 預設值為 2) — 流開始 token ID。 - hidden_activation (
str` 或 `function, 可選, 預設值為"gelu_pytorch_tanh") — 迴圈塊和解碼器層 MLP 中使用的隱藏啟用函式。 - partial_rotary_factor (
float, 可選, 預設值為 0.5) — 旋轉嵌入初始化中使用的部分旋轉因子。 - rope_theta (
float, 可選, 預設值為 10000.0) — RoPE 嵌入的基週期。 - block_types (
list[str], 可選, 預設值為('recurrent', 'recurrent', 'attention')) — 將重複以初始化temporal_block層的交替塊列表。 - attention_dropout (
float, 可選, 預設值為 0.0) — 注意力 softmax 之後使用的 dropout 值。 - num_key_value_heads (
16, 可選, 預設值為 16) — 用於 GQA 的鍵值頭數量。 - attention_bias (
bool, 可選, 預設值為False) — 注意力層的線性 q、k、v 是否應具有偏置。 - w_init_variance_scale (
float, 可選, 預設值為 0.01) — 權重初始化方差。
這是一個用於儲存 RecurrentGemmaModel 配置的配置類。它用於根據指定的引數例項化 RecurrentGemma 模型，定義模型架構。使用預設值例項化配置將產生與 RecurrentGemma-7B 類似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 的文件。
>>> from transformers import RecurrentGemmaModel, RecurrentGemmaConfig
>>> # Initializing a RecurrentGemma recurrentgemma-2b style configuration
>>> configuration = RecurrentGemmaConfig()
>>> # Initializing a model from the recurrentgemma-2b style configuration
>>> model = RecurrentGemmaModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configRecurrentGemmaModel
class transformers.RecurrentGemmaModel
< source >( config: RecurrentGemmaConfig )
引數
- config (RecurrentGemmaConfig) — 模型配置類，包含模型的所有引數。用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請查閱 from_pretrained() 方法來載入模型權重。
裸露的 Recurrent Gemma 模型，直接輸出原始隱藏狀態，頂部沒有任何特定頭部。
此模型繼承自 PreTrainedModel。查閱超類文件以瞭解庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None cache_position: typing.Optional[torch.LongTensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.BaseModelOutputWithNoAttention 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列 token 的索引。預設情況下會忽略填充。索引可以透過 AutoTokenizer 獲取。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- position_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 每個輸入序列 token 在位置嵌入中的位置索引。選擇範圍為[0, config.n_positions - 1]。 - attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 遮罩，用於避免對填充 token 索引執行注意力操作。遮罩值選擇範圍為[0, 1]：- 1 表示未遮罩的 token，
- 0 表示已遮罩的 token。
- cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 序列中輸入序列 token 位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — （可選）不傳入input_ids，而是直接傳入嵌入表示。如果你想更精細地控制如何將input_ids索引轉換為關聯向量，而不是使用模型內部的嵌入查詢矩陣，這將非常有用。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。更多詳情請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通的元組。
返回
transformers.modeling_outputs.BaseModelOutputWithNoAttention 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.BaseModelOutputWithNoAttention 或一個 torch.FloatTensor 的元組（如果傳入了 return_dict=False 或 config.return_dict=False），包含根據配置 (RecurrentGemmaConfig) 和輸入的不同元素。
-
last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, num_channels, height, width)) — 模型最後一層輸出的隱藏狀態序列。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出（如果模型有嵌入層），加上每個層的輸出），形狀為(batch_size, num_channels, height, width)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
RecurrentGemmaModel 的 forward 方法，覆蓋了 __call__ 特殊方法。
儘管前向傳播的實現需要在該函式中定義，但之後應呼叫 Module 例項而不是該函式，因為前者會處理預處理和後處理步驟，而後者會默默忽略它們。
RecurrentGemmaForCausalLM
class transformers.RecurrentGemmaForCausalLM
< source >( config )
引數
- config (RecurrentGemmaForCausalLM) — 模型配置類，包含模型的所有引數。用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請查閱 from_pretrained() 方法來載入模型權重。
用於因果語言建模的 Recurrent Gemma 模型。
此模型繼承自 PreTrainedModel。查閱超類文件以瞭解庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None position_ids: typing.Optional[torch.LongTensor] = None cache_position: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None use_cache: typing.Optional[bool] = None **kwargs ) → transformers.modeling_outputs.CausalLMOutput 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列 token 的索引。預設情況下會忽略填充。索引可以透過 AutoTokenizer 獲取。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- position_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 每個輸入序列 token 在位置嵌入中的位置索引。選擇範圍為[0, config.n_positions - 1]。 - cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 序列中輸入序列 token 位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。 - attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 遮罩，用於避免對填充 token 索引執行注意力操作。遮罩值選擇範圍為[0, 1]：- 1 表示未遮罩的 token，
- 0 表示已遮罩的 token。
- inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — （可選）不傳入input_ids，而是直接傳入嵌入表示。如果你想更精細地控制如何將input_ids索引轉換為關聯向量，而不是使用模型內部的嵌入查詢矩陣，這將非常有用。 - labels (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 用於計算遮罩語言建模損失的標籤。索引應在[0, ..., config.vocab_size]或 -100 之間（參見input_ids文件字串）。索引設定為-100的 token 將被忽略（遮罩），損失僅針對標籤在[0, ..., config.vocab_size]中的 token 計算。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。更多詳情請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通的元組。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。
返回
transformers.modeling_outputs.CausalLMOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.CausalLMOutput 或一個 torch.FloatTensor 的元組（如果傳入了 return_dict=False 或 config.return_dict=False），包含根據配置 (RecurrentGemmaConfig) 和輸入的不同元素。
-
loss (
torch.FloatTensor形狀為(1,)，可選，當提供labels時返回) — 語言建模損失（用於下一個 token 預測）。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出（如果模型有嵌入層），加上每個層的輸出），形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
RecurrentGemmaForCausalLM 的 forward 方法，覆蓋了 __call__ 特殊方法。
儘管前向傳播的實現需要在該函式中定義，但之後應呼叫 Module 例項而不是該函式，因為前者會處理預處理和後處理步驟，而後者會默默忽略它們。
示例
>>> from transformers import AutoTokenizer, RecurrentGemmaForCausalLM
>>> model = RecurrentGemmaForCausalLM.from_pretrained("google/recurrentgemma-2b")
>>> tokenizer = AutoTokenizer.from_pretrained("google/recurrentgemma-2b")
>>> prompt = "What is your favorite condiment?"
>>> inputs = tokenizer(prompt, return_tensors="pt")
>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"What is your favorite condiment?"