Hugging Face 的 LOGO

Transformers 文件

FalconH1

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

FalconH1

概述

FalconH1 模型由 TII 預訓練團隊開發。一篇涵蓋架構、預訓練動態、實驗結果和結論的綜合研究論文即將發表。您可以在此網站上閱讀有關該系列的更多資訊。

貢獻者

此模型由 DhiyaEddine、ybelkada、JingweiZuo、IlyasChahed 和 MaksimVelikanov 貢獻。原始程式碼可以在這裡找到。

FalconH1Config

模型 深度 維度 注意力頭 KV Mamba 頭 d_head d_state 上下文長度
H1 0.5B 36 1024 8 2 24 64 / 64 128 4K, 16K-SFT
H1 1.5B 24 2048 8 2 48 128 / 64 256 128K
H1 1.5B-d 66 1280 6 2 24 128 / 64 256 128K
H1 3B 32 2560 10 2 32 128 / 128 256 128K
H1 7B 44 3072 12 2 24 128 / 128 256 256K
H1 34B 72 5120 20 4 32 128 / 128 256 256K

class transformers.FalconH1Config

< >

( vocab_size = 128000 tie_word_embeddings = False hidden_size = 4096 intermediate_size = 14336 num_hidden_layers = 32 num_attention_heads = 32 num_key_value_heads = 8 hidden_act = 'silu' initializer_range = 0.02 rms_norm_eps = 1e-05 use_cache = True num_logits_to_keep = 1 pad_token_id = 0 bos_token_id = 1 eos_token_id = 2 max_position_embeddings = 8192 attention_dropout = 0.0 mamba_d_ssm = 1024 mamba_n_heads = 128 mamba_d_head = 'auto' mamba_n_groups = 1 mamba_d_state = 256 mamba_d_conv = 4 mamba_expand = 2 mamba_chunk_size = 256 mamba_conv_bias = True mamba_proj_bias = False mamba_norm_before_gate = True mamba_rms_norm = False projectors_bias = False rope_theta = 100000.0 rope_scaling = None lm_head_multiplier = 1.0 embedding_multiplier = 1.0 mlp_multipliers = None key_multiplier = None attention_out_multiplier = None attention_in_multiplier = None ssm_multipliers = None ssm_in_multiplier = None ssm_out_multiplier = None **kwargs )

引數

  • vocab_size (int，可選，預設為 128000) — FalconH1 模型的詞彙表大小。定義了在呼叫 FalconH1Model 時傳遞的 inputs_ids 可以表示的不同標記的數量。
  • tie_word_embeddings (bool，可選，預設為 False) — 是否應將模型的輸入和輸出詞嵌入繫結。請注意，這僅在模型具有輸出詞嵌入層時才相關。
  • hidden_size (int，可選，預設為 4096) — 隱藏表示的維度。
  • intermediate_size (int，可選，預設為 14336) — MLP 表示的維度。
  • num_hidden_layers (int，可選，預設為 32) — Transformer 編碼器中的隱藏層數量。
  • num_attention_heads (int，可選，預設為 32) — Transformer 編碼器中每個注意力層的注意力頭數量。
  • num_key_value_heads (int，可選，預設為 8) — 這是用於實現分組查詢注意力 (Grouped Query Attention) 的鍵值頭 (key_value heads) 的數量。如果 num_key_value_heads=num_attention_heads，模型將使用多頭注意力 (MHA)；如果 num_key_value_heads=1，模型將使用多查詢注意力 (MQA)；否則將使用 GQA。將多頭檢查點轉換為 GQA 檢查點時，每個組的鍵和值頭應透過對該組內所有原始頭進行均值池化來構建。更多詳情，請檢視這篇論文。如果未指定，將預設為 8。
  • hidden_act (str 或 function，可選，預設為 "silu") — 解碼器中的非線性啟用函式（函式或字串）。
  • initializer_range (float，可選，預設為 0.02) — 用於初始化所有權重矩陣的截斷正態分佈初始化器的標準差。
  • rms_norm_eps (float，可選，預設為 1e-05) — RMS 歸一化層使用的 epsilon 值。
  • use_cache (bool，可選，預設為 True) — 模型是否應返回最後一個鍵/值注意力（並非所有模型都使用）。僅在 config.is_decoder=True 時相關。
  • num_logits_to_keep (int 或 None，可選，預設為 1) — 在生成過程中要計算的提示 logits 的數量。如果為 None，則計算所有 logits。如果為整數值，則只計算最後 num_logits_to_keep 個 logits。預設為 1，因為生成時只需要最後一個提示標記的 logits。對於長序列，整個序列的 logits 可能會佔用大量記憶體，因此將 num_logits_to_keep=1 可以顯著減少記憶體佔用。
  • pad_token_id (int，可選，預設為 0) — 填充標記的 ID。
  • bos_token_id (int，可選，預設為 1) — “序列開始”標記的 ID。
  • eos_token_id (int，可選，預設為 2) — “序列結束”標記的 ID。
  • max_position_embeddings (int，可選，預設為 8192) — 模型的最大快取序列長度
  • attention_dropout (float，可選，預設為 0.0) — 注意力機率的丟棄率。
  • mamba_d_ssm (int，可選，預設為 1024) — SSM 狀態空間潛變數的維度。
  • mamba_n_heads (int, 可選, 預設為 128) — 在 v2 實現中使用的 mamba頭的數量。
  • mamba_d_head (int, 可選, 預設為 "auto") — 頭嵌入維度大小
  • mamba_n_groups (int, 可選, 預設為 1) — 在 v2 實現中使用的 mamba 組的數量。
  • mamba_d_state (int, 可選, 預設為 256) — mamba 狀態空間潛變數的維度
  • mamba_d_conv (int, 可選, 預設為 4) — mamba 卷積核的大小
  • mamba_expand (int, 可選, 預設為 2) — 用於確定 mamba 中間大小的擴充套件因子（相對於 hidden_size）
  • mamba_chunk_size (int, 可選, 預設為 256) — 在進行預填充/訓練時，將序列拆分成的塊大小
  • mamba_conv_bias (bool, 可選, 預設為 True) — 指示是否在 mamba 混合塊的卷積層中使用偏置的標誌。
  • mamba_proj_bias (bool, 可選, 預設為 False) — 指示是否在 mamba 混合塊的輸入和輸出投影（[“in_proj”, “out_proj”]）中使用偏置的標誌
  • mamba_norm_before_gate (bool, 可選, 預設為 True) — 是否在 Mamba 塊的門控之前使用 RMSNorm
  • mamba_rms_norm (bool, 可選, 預設為 False) — 是否在 Mamba 塊中使用 RMSNorm 而不是 LayerNorm
  • projectors_bias (bool, 可選, 預設為 False) — 指示是否在注意力塊的輸入和輸出投影（[“in_proj”, “out_proj”]）中使用偏置的標誌
  • rope_theta (float, 可選, 預設為 100000.0) — 用於 RoPE 嵌入的 theta 值。
  • rope_scaling (float, 可選) — 用於 RoPE 嵌入的縮放值。如果為 `None`，則不應用縮放。
  • lm_head_multiplier (float, 可選, 預設為 1.0) — LM 頭的乘數。用於縮放 LM 頭的輸出。
  • embedding_multiplier (float, 可選, 預設為 1.0) — 嵌入層的乘數。用於縮放嵌入層的輸出。
  • mlp_multipliers (list[float], 可選) — MLP 層的乘數。用於縮放 MLP 層的輸出。第一個值是門控層的乘數，第二個值是 down_proj 層的乘數。
  • key_multiplier (float, 可選) — 鍵層的乘數。用於縮放鍵層的輸出。
  • attention_out_multiplier (float, 可選) — 注意力輸出層的乘數。用於縮放注意力輸出。
  • attention_in_multiplier (float, 可選) — 注意力輸入層的乘數。用於縮放注意力輸入層的輸出。
  • ssm_multipliers (list[float], 可選) — SSM 層的乘數。用於縮放 SSM 層的輸出。
  • ssm_in_multiplier (float, 可選) — SSM 輸入層的乘數。用於縮放 SSM 輸入層的輸出。
  • ssm_out_multiplier (float, 可選) — SSM 輸出層的乘數。用於縮放 SSM 輸出層的輸出。

這是用於儲存 FalconH1Model 配置的配置類。它用於根據指定的引數例項化 FalconH1Model 模型，定義模型架構。使用從 ibm-fms/FalconH1-9.8b-2.2T-hf 獲取的預設值例項化配置。FalconH1Model 是一種混合了 SwiGLU 的 mamba2 架構。這些檢查點由 IBM、普林斯頓大學和伊利諾伊大學厄巴納-香檳分校聯合訓練。配置物件繼承自 PretrainedConfig，可用於控制模型輸出。請閱讀 PretrainedConfig 的文件以獲取更多資訊。

FalconH1ForCausalLM

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("tiiuae/Falcon-H1-7B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("tiiuae/Falcon-H1-7B-Instruct")

message = ["Mamba is a snake with following properties  "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
response = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

class transformers.FalconH1ForCausalLM

< >

( config )

引數

  • config (FalconH1ForCausalLM) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。

用於因果語言建模的 Falcon H1 模型。

此模型繼承自 PreTrainedModel。請檢視超類文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪注意力頭等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。

forward

< >

( input_ids: LongTensor = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[transformers.models.falcon_h1.modeling_falcon_h1.FalconHybridMambaAttentionDynamicCache] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None logits_to_keep: typing.Union[int, torch.Tensor] = 0 **kwargs ) → transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)

引數

  • input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)) — 詞彙表中輸入序列詞元的索引。預設情況下將忽略填充。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length), 可選) — 用於避免對填充詞元索引執行注意力的掩碼。掩碼值選自 [0, 1]：

    • 1 表示**未被掩碼**的詞元，
    • 0 表示**被掩碼**的詞元。

    什麼是注意力掩碼？

  • position_ids (torch.LongTensor，形狀為 (batch_size, sequence_length), 可選) — 每個輸入序列詞元在位置嵌入中的位置索引。選定範圍為 [0, config.n_positions - 1]。

    什麼是位置 ID？

  • past_key_values (~models.falcon_h1.modeling_falcon_h1.FalconHybridMambaAttentionDynamicCache, 可選) — 預計算的隱藏狀態（自注意力和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包括在解碼的先前階段由模型返回的 `past_key_values`，當 `use_cache=True` 或 `config.use_cache=True` 時。

    允許兩種格式：

    • 一個 Cache 例項，請參閱我們的 kv 快取指南；
    • 長度為 config.n_layers 的 `tuple(torch.FloatTensor)` 元組，每個元組包含 2 個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量）。這也被稱為舊版快取格式。

    模型將輸出與輸入相同的快取格式。如果沒有傳入 `past_key_values`，將返回舊版快取格式。

    如果使用 `past_key_values`，使用者可以選擇只輸入最後一個 `input_ids`（那些沒有為其提供過去鍵值狀態的 `input_ids`），形狀為 `(batch_size, 1)`，而不是所有形狀為 `(batch_size, sequence_length)` 的 `input_ids`。

  • inputs_embeds (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size), 可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞 input_ids。如果您希望比模型內部的嵌入查詢矩陣更能控制如何將 input_ids 索引轉換為關聯向量，這將非常有用。
  • labels (torch.LongTensor，形狀為 (batch_size, sequence_length), 可選) — 用於計算掩碼語言建模損失的標籤。索引應在 [0, ..., config.vocab_size] 或 -100 之間（請參閱 input_ids 文件字串）。索引設定為 -100 的詞元將被忽略（掩碼），損失僅對標籤在 [0, ..., config.vocab_size] 內的詞元計算。
  • use_cache (bool, 可選) — 如果設定為 True，則返回 past_key_values 鍵值狀態，可用於加速解碼（請參閱 past_key_values）。
  • output_attentions (bool, 可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
  • output_hidden_states (bool, 可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
  • cache_position (torch.LongTensor，形狀為 (sequence_length), 可選) — 描繪輸入序列詞元在序列中位置的索引。與 `position_ids` 不同，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。
  • logits_to_keep (Union[int, torch.Tensor], 預設為 0) — 如果是 `int`，則計算最後 `logits_to_keep` 個詞元的 logits。如果是 `0`，則計算所有 `input_ids` 的 logits（特殊情況）。生成時只需要最後一個詞元的 logits，僅為該詞元計算 logits 可以節省記憶體，這對於長序列或大詞彙表來說非常重要。如果是 `torch.Tensor`，則必須是 1D，對應於序列長度維度中要保留的索引。當使用打包張量格式（批處理和序列長度使用單個維度）時，這非常有用。

返回

transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.CausalLMOutputWithPast 或一個 `torch.FloatTensor` 元組（如果傳遞了 `return_dict=False` 或當 `config.return_dict=False` 時），根據配置（FalconH1Config）和輸入，包含各種元素。

  • loss (torch.FloatTensor 形狀為 (1,)，可選，當提供 labels 時返回) — 語言建模損失（用於下一個 token 預測）。

  • logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。

  • past_key_values (Cache, 可選, 當傳遞 `use_cache=True` 或 `config.use_cache=True` 時返回) — 這是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

    包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

  • hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — 形狀為 `(batch_size, sequence_length, hidden_size)` 的 `torch.FloatTensor` 元組（如果模型有嵌入層，則第一個是嵌入層的輸出，然後是每個層的輸出）。

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor), 可選, 當傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — 形狀為 `(batch_size, num_heads, sequence_length, sequence_length)` 的 `torch.FloatTensor` 元組（每層一個）。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

FalconH1ForCausalLM 的 forward 方法覆蓋了 `__call__` 特殊方法。

雖然前向傳播的流程需要在此函式中定義，但之後應該呼叫 `Module` 例項而不是這個函式，因為前者會處理前處理和後處理步驟，而後者會靜默地忽略它們。

示例

>>> from transformers import AutoTokenizer, FalconH1ForCausalLM

>>> model = FalconH1ForCausalLM.from_pretrained("...")
>>> tokenizer = AutoTokenizer.from_pretrained("...")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."

此 HF 實現由 younesbelkada 和 DhiaEddineRhaiem 貢獻。

< > 在 GitHub 上更新

←Falcon3 FalconMamba→
© . This site is unofficial and not affiliated with Hugging Face, Inc.