Hugging Face 的 LOGO

Transformers 文件

Glm4

Hugging Face's logo
加入 Hugging Face 社群

並獲得增強的文件體驗

開始使用

Glm4

概述

將與官方模型釋出一同推出。

Glm4Config

class transformers.Glm4Config

< >

( vocab_size = 151552 hidden_size = 4096 intermediate_size = 13696 num_hidden_layers = 40 num_attention_heads = 32 num_key_value_heads = 2 partial_rotary_factor = 0.5 head_dim = 128 hidden_act = 'silu' attention_dropout = 0.0 max_position_embeddings = 131072 initializer_range = 0.02 rms_norm_eps = 1.5625e-07 use_cache = True tie_word_embeddings = False rope_theta = 10000.0 pad_token_id = 151329 eos_token_id = [151329, 151336, 151338] bos_token_id = None attention_bias = True **kwargs )

引數

  • vocab_size (int, optional, 預設為 151552) — Glm4 模型的詞彙表大小。定義了在呼叫 Glm4Model 時傳入的 `inputs_ids` 可以表示的不同標記的數量。
  • hidden_size (int, optional, 預設為 4096) — 隱藏表示的維度。
  • intermediate_size (int, optional, 預設為 13696) — MLP 表示的維度。
  • num_hidden_layers (int, optional, 預設為 40) — Transformer 解碼器中的隱藏層數量。
  • num_attention_heads (int, optional, 預設為 32) — Transformer 解碼器中每個注意力層的注意力頭數量。
  • num_key_value_heads (int, optional, 預設為 2) — 這是實現分組查詢注意力 (Grouped Query Attention) 時應使用的鍵值頭 (key_value heads) 的數量。如果 `num_key_value_heads=num_attention_heads`，模型將使用多頭注意力 (MHA)，如果 `num_key_value_heads=1`，模型將使用多查詢注意力 (MQA)，否則使用 GQA。當將一個多頭檢查點轉換為 GQA 檢查點時，每個分組的鍵和值頭應透過對該組內所有原始頭進行均值池化來構建。更多細節，請檢視 這篇論文。如果未指定，將預設為 `num_attention_heads`。
  • partial_rotary_factor (float, optional, 預設為 0.5) — 部分旋轉位置編碼的因子。
  • head_dim (int, optional, 預設為 128) — 注意力頭的維度。
  • hidden_act (str or function, optional, 預設為 "silu") — 傳統的啟用函式。它被 `hidden_activation` 所覆蓋。
  • attention_dropout (float, optional, 預設為 0.0) — 注意力機率的丟棄率。
  • max_position_embeddings (int, optional, 預設為 131072) — 該模型可能使用的最大序列長度。
  • initializer_range (float, optional, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。
  • rms_norm_eps (float, optional, 預設為 1.5625e-07) — rms 歸一化層使用的 epsilon 值。
  • use_cache (bool, optional, 預設為 True) — 模型是否應返回最後一個鍵/值注意力（並非所有模型都使用）。僅在 `config.is_decoder=True` 時相關。
  • tie_word_embeddings (bool, optional, 預設為 False) — 是否繫結詞嵌入權重。
  • rope_theta (float, optional, 預設為 10000.0) — RoPE 嵌入的基礎週期。
  • pad_token_id (int, optional, 預設為 151329) — 填充標記的 ID。
  • eos_token_id (int | list, optional, 預設為 [151329, 151336, 151338]) — 流結束標記的 ID。
  • bos_token_id (int, optional) — 流開始標記的 ID。
  • attention_bias (bool, 預設為 False, optional, 預設為 True) — 在自注意力機制中，是否在查詢、鍵、值和輸出投影層中使用偏置。

這是用於儲存 Glm4Model 配置的配置類。它用於根據指定的引數例項化 Glm4 模型，定義模型架構。使用預設值例項化配置將產生與 Glm4-4-9b-chat 類似的配置。例如 THUDM/GLM-4-9B-0414 配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。

>>> from transformers import Glm4Model, Glm4Config
>>> # Initializing a Glm4 glm4-4-9b-chat style configuration
>>> configuration = Glm4Config()
>>> # Initializing a model from the glm4-4-9b-chat style configuration
>>> model = Glm4Model(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

Glm4Model

class transformers.Glm4Model

< >

( config: Glm4Config )

引數

  • config (Glm4Config) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。

基礎的 Glm4 模型，輸出原始的隱藏狀態，頂部沒有任何特定的頭。

該模型繼承自 PreTrainedModel。請檢視超類文件，瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規的 PyTorch Module 一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[transformers.cache_utils.Cache] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None **flash_attn_kwargs: typing_extensions.Unpack[transformers.modeling_flash_attention_utils.FlashAttentionKwargs] ) → transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)

引數

  • input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 詞彙表中輸入序列標記的索引。預設情況下，填充將被忽略。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力計算的掩碼。掩碼值選自 [0, 1]：

    • 1 表示標記未被掩碼，
    • 0 表示標記已被掩碼。

    什麼是注意力掩碼？

  • position_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 位置嵌入中每個輸入序列標記的位置索引。選自範圍 [0, config.n_positions - 1]。

    什麼是位置 ID？

  • past_key_values (~cache_utils.Cache, 可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括在解碼的前一個階段，當 `use_cache=True` 或 `config.use_cache=True` 時，模型返回的 `past_key_values`。

    允許兩種格式：

    • Cache 例項，請參閱我們的 kv 快取指南；
    • 長度為 `config.n_layers` 的 `tuple(torch.FloatTensor)` 元組，每個元組包含 2 個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量。這也稱為舊版快取格式。

    模型將輸出與輸入相同的快取格式。如果未傳遞 `past_key_values`，則將返回舊版快取格式。

    如果使用 `past_key_values`，使用者可以選擇只輸入最後一個 `input_ids`（那些沒有為其提供過去鍵值狀態的標記），形狀為 `(batch_size, 1)`，而不是所有形狀為 `(batch_size, sequence_length)` 的 `input_ids`。

  • inputs_embeds (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞 `input_ids`。如果你希望比模型內部的嵌入查詢矩陣更能控制如何將 `input_ids` 索引轉換為關聯向量，這會很有用。
  • use_cache (bool，可選) — 如果設定為 `True`，則返回 `past_key_values` 鍵值狀態，可用於加速解碼（請參閱 `past_key_values`）。
  • output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
  • output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
  • cache_position (torch.LongTensor，形狀為 (sequence_length)，可選) — 描述輸入序列標記在序列中位置的索引。與 `position_ids` 不同，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。

返回

transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.BaseModelOutputWithPast 或一個 `torch.FloatTensor` 元組（如果傳遞了 `return_dict=False` 或 `config.return_dict=False`），根據配置 (Glm4Config) 和輸入包含各種元素。

  • last_hidden_state (torch.FloatTensor, 形狀為 (batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。

    如果使用了 past_key_values，則只輸出形狀為 (batch_size, 1, hidden_size) 的序列的最後一個隱藏狀態。

  • past_key_values (Cache, 可選, 當傳遞 use_cache=True 或 `config.use_cache=True` 時返回) — 這是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

    包含預先計算的隱藏狀態（自注意力塊中的鍵和值，以及當 `config.is_encoder_decoder=True` 時，交叉注意力塊中的鍵和值），可用於（請參閱 `past_key_values` 輸入）加速順序解碼。

  • hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，外加每個層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

Glm4Model 的 forward 方法覆蓋了 `__call__` 特殊方法。

雖然前向傳播的流程需要在此函式中定義，但之後應該呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會默默地忽略它們。

Glm4ForCausalLM

class transformers.Glm4ForCausalLM

< >

( config )

引數

  • config (Glm4ForCausalLM) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型關聯的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。

用於因果語言建模的 Glm4 模型。

該模型繼承自 PreTrainedModel。請檢視超類文件，瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規的 PyTorch Module 一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[transformers.cache_utils.Cache] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None logits_to_keep: typing.Union[int, torch.Tensor] = 0 **kwargs: typing_extensions.Unpack[transformers.models.glm4.modeling_glm4.KwargsForCausalLM] ) → transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)

引數

  • input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 詞彙表中輸入序列標記的索引。預設情況下，填充將被忽略。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力計算的掩碼。掩碼值選自 [0, 1]：

    • 1 表示標記未被掩碼，
    • 0 表示標記已被掩碼。

    什麼是注意力掩碼？

  • position_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 位置嵌入中每個輸入序列標記的位置索引。選自範圍 [0, config.n_positions - 1]。

    什麼是位置 ID？

  • past_key_values (~cache_utils.Cache, 可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括在解碼的前一個階段，當 `use_cache=True` 或 `config.use_cache=True` 時，模型返回的 `past_key_values`。

    允許兩種格式：

    • Cache 例項，請參閱我們的 kv 快取指南；
    • 長度為 `config.n_layers` 的 `tuple(torch.FloatTensor)` 元組，每個元組包含 2 個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量。這也稱為舊版快取格式。

    模型將輸出與輸入相同的快取格式。如果未傳遞 `past_key_values`，則將返回舊版快取格式。

    如果使用 `past_key_values`，使用者可以選擇只輸入最後一個 `input_ids`（那些沒有為其提供過去鍵值狀態的標記），形狀為 `(batch_size, 1)`，而不是所有形狀為 `(batch_size, sequence_length)` 的 `input_ids`。

  • inputs_embeds (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞 `input_ids`。如果你希望比模型內部的嵌入查詢矩陣更能控制如何將 `input_ids` 索引轉換為關聯向量，這會很有用。
  • labels (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在 [0, ..., config.vocab_size] 或 -100 之間（參見 `input_ids` 文件字串）。索引設定為 `-100` 的標記將被忽略（掩碼），損失僅針對標籤在 [0, ..., config.vocab_size] 之間的標記進行計算。
  • use_cache (bool，可選) — 如果設定為 `True`，則返回 `past_key_values` 鍵值狀態，可用於加速解碼（請參閱 `past_key_values`）。
  • output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
  • output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。
  • cache_position (torch.LongTensor，形狀為 (sequence_length)，可選) — 描述輸入序列標記在序列中位置的索引。與 `position_ids` 不同，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。
  • logits_to_keep (Union[int, torch.Tensor], 預設為 0) — 如果是 `int`，則為最後 `logits_to_keep` 個標記計算 logits。如果是 `0`，則為所有 `input_ids` 計算 logits（特殊情況）。生成時只需要最後一個標記的 logits，僅為該標記計算它們可以節省記憶體，這對於長序列或大詞彙表來說非常重要。如果是 `torch.Tensor`，則必須是一維的，對應於序列長度維度中要保留的索引。這在使用打包張量格式（批處理和序列長度使用單一維度）時很有用。

返回

transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.CausalLMOutputWithPast 或一個 `torch.FloatTensor` 元組（如果傳遞了 `return_dict=False` 或 `config.return_dict=False`），根據配置 (Glm4Config) 和輸入包含各種元素。

  • loss (torch.FloatTensor 形狀為 (1,)，可選，當提供 labels 時返回) — 語言建模損失（用於下一個 token 預測）。

  • logits (形狀為 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。

  • past_key_values (Cache, 可選, 當傳遞 use_cache=True 或 `config.use_cache=True` 時返回) — 這是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

    包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

  • hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，外加每個層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

Glm4ForCausalLM 的 forward 方法覆蓋了 `__call__` 特殊方法。

雖然前向傳播的流程需要在此函式中定義，但之後應該呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會默默地忽略它們。

示例

>>> from transformers import AutoTokenizer, Glm4ForCausalLM

>>> model = Glm4ForCausalLM.from_pretrained("THUDM/GLM-4-9B-0414")
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/GLM-4-9B-0414")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."

Glm4ForSequenceClassification

class transformers.Glm4ForSequenceClassification

< >

( config )

引數

  • config (Glm4ForSequenceClassification) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型關聯的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。

Glm4 Transformer 模型，頂部帶有一個序列分類頭（線性層）。

Glm4ForSequenceClassification 使用最後一個標記進行分類，與其他因果模型（如 GPT-2）一樣。

由於它對最後一個標記進行分類，因此需要知道最後一個標記的位置。如果在配置中定義了 `pad_token_id`，它會找到每行中不是填充標記的最後一個標記。如果未定義 `pad_token_id`，它會簡單地取批處理中每行的最後一個值。由於當傳遞 `inputs_embeds` 而不是 `input_ids` 時它無法猜測填充標記，因此它會做同樣的事情（取批處理中每行的最後一個值）。

該模型繼承自 PreTrainedModel。請檢視超類文件，瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規的 PyTorch Module 一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[transformers.cache_utils.Cache] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None ) → transformers.modeling_outputs.SequenceClassifierOutputWithPast 或 tuple(torch.FloatTensor)

引數

  • input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 詞彙表中輸入序列標記的索引。預設情況下，填充將被忽略。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力計算的掩碼。掩碼值選自 [0, 1]：

    • 1 表示標記未被掩碼，
    • 0 表示標記已被掩碼。

    什麼是注意力掩碼？

  • position_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 位置嵌入中每個輸入序列標記的位置索引。選自範圍 [0, config.n_positions - 1]。

    什麼是位置 ID？

  • past_key_values (~cache_utils.Cache, 可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括在解碼的前一個階段，當 `use_cache=True` 或 `config.use_cache=True` 時，模型返回的 `past_key_values`。

    允許兩種格式：

    • Cache 例項，請參閱我們的 kv 快取指南；
    • 長度為 `config.n_layers` 的 `tuple(torch.FloatTensor)` 元組，每個元組包含 2 個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量。這也稱為舊版快取格式。

    模型將輸出與輸入相同的快取格式。如果未傳遞 `past_key_values`，則將返回舊版快取格式。

    如果使用 `past_key_values`，使用者可以選擇只輸入最後一個 `input_ids`（那些沒有為其提供過去鍵值狀態的標記），形狀為 `(batch_size, 1)`，而不是所有形狀為 `(batch_size, sequence_length)` 的 `input_ids`。

  • inputs_embeds (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞 `input_ids`。如果你希望比模型內部的嵌入查詢矩陣更能控制如何將 `input_ids` 索引轉換為關聯向量，這會很有用。
  • labels (torch.LongTensor，形狀為 (batch_size,)，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在 [0, ..., config.num_labels - 1] 之間。如果 `config.num_labels == 1`，則計算迴歸損失（均方損失），如果 `config.num_labels > 1`，則計算分類損失（交叉熵）。
  • use_cache (bool，可選) — 如果設定為 `True`，則返回 `past_key_values` 鍵值狀態，可用於加速解碼（請參閱 `past_key_values`）。
  • output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
  • output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。

返回

transformers.modeling_outputs.SequenceClassifierOutputWithPast 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.SequenceClassifierOutputWithPast 或一個 `torch.FloatTensor` 元組（如果傳遞了 `return_dict=False` 或 `config.return_dict=False`），根據配置 (Glm4Config) 和輸入包含各種元素。

  • loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 分類損失（如果 config.num_labels==1，則為迴歸損失）。

  • logits (形狀為 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。

  • past_key_values (Cache, 可選, 當傳遞 use_cache=True 或 `config.use_cache=True` 時返回) — 這是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。

    包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見 past_key_values 輸入）加速順序解碼。

  • hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，外加每個層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

Glm4ForSequenceClassification 的 forward 方法覆蓋了 `__call__` 特殊方法。

雖然前向傳播的流程需要在此函式中定義，但之後應該呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會默默地忽略它們。

單標籤分類示例

>>> import torch
>>> from transformers import AutoTokenizer, Glm4ForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/GLM-4-9B-0414")
>>> model = Glm4ForSequenceClassification.from_pretrained("THUDM/GLM-4-9B-0414")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Glm4ForSequenceClassification.from_pretrained("THUDM/GLM-4-9B-0414", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...

多標籤分類示例

>>> import torch
>>> from transformers import AutoTokenizer, Glm4ForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/GLM-4-9B-0414")
>>> model = Glm4ForSequenceClassification.from_pretrained("THUDM/GLM-4-9B-0414", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Glm4ForSequenceClassification.from_pretrained(
...     "THUDM/GLM-4-9B-0414", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss

Glm4ForTokenClassification

class transformers.Glm4ForTokenClassification

< >

( config )

引數

  • config (Glm4ForTokenClassification) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型關聯的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。

Glm4 Transformer 模型，頂部帶有一個標記分類頭（一個在隱藏狀態輸出之上的線性層），例如用於命名實體識別（NER）任務。

該模型繼承自 PreTrainedModel。請檢視超類文件，瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。

該模型也是 PyTorch torch.nn.Module 的子類。可以像常規的 PyTorch Module 一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[transformers.cache_utils.Cache] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None ) → transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)

引數

  • input_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 詞彙表中輸入序列標記的索引。預設情況下，填充將被忽略。

    可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什麼是輸入 ID？

  • attention_mask (torch.Tensor，形狀為 (batch_size, sequence_length)，可選) — 用於避免在填充標記索引上執行注意力操作的掩碼。掩碼值在 [0, 1] 中選擇：

    • 1 表示標記未被掩碼，
    • 0 表示標記已被掩碼。

    什麼是注意力掩碼？

  • position_ids (torch.LongTensor，形狀為 (batch_size, sequence_length)，可選) — 位置嵌入中每個輸入序列標記的位置索引。在 [0, config.n_positions - 1] 範圍內選擇。

    什麼是位置 ID？

  • past_key_values (~cache_utils.Cache，可選) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包括模型在解碼的前一階段返回的 `past_key_values`，當 `use_cache=True` 或 `config.use_cache=True` 時。

    允許兩種格式：

    • 一個 Cache 例項，請參閱我們的 kv 快取指南；
    • 一個長度為 `config.n_layers` 的 `tuple(torch.FloatTensor)` 元組，每個元組包含 2 個形狀為 `(batch_size, num_heads, sequence_length, embed_size_per_head)` 的張量。這也稱為傳統快取格式。

    模型將輸出與輸入相同的快取格式。如果未傳遞 `past_key_values`，將返回傳統快取格式。

    如果使用 `past_key_values`，使用者可以選擇只輸入最後的 `input_ids`（那些沒有為其提供過去鍵值狀態的 `input_ids`），其形狀為 `(batch_size, 1)`，而不是形狀為 `(batch_size, sequence_length)` 的所有 `input_ids`。

  • inputs_embeds (torch.FloatTensor，形狀為 (batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞 `input_ids`。如果你想比模型內部的嵌入查詢矩陣更能控制如何將 `input_ids` 索引轉換為相關聯的向量，這會很有用。
  • labels (torch.LongTensor，形狀為 (batch_size,)，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在 `[0, ..., config.num_labels - 1]` 範圍內。如果 `config.num_labels == 1`，則計算迴歸損失（均方損失），如果 `config.num_labels > 1`，則計算分類損失（交叉熵）。
  • use_cache (bool，可選) — 如果設定為 `True`，將返回 `past_key_values` 鍵值狀態，可用於加速解碼（參見 `past_key_values`）。
  • output_attentions (bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的 `attentions`。
  • output_hidden_states (bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的 `hidden_states`。

返回

transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)

一個 transformers.modeling_outputs.TokenClassifierOutput 或一個 `torch.FloatTensor` 元組（如果傳遞了 `return_dict=False` 或 `config.return_dict=False`），包含各種元素，具體取決於配置（Glm4Config）和輸入。

  • loss (形狀為 (1,) 的 torch.FloatTensor，可選，當提供 labels 時返回) — 分類損失。

  • logits (形狀為 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor) — 分類分數（SoftMax 之前）。

  • hidden_states (tuple(torch.FloatTensor), 可選, 當傳遞 output_hidden_states=True 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（如果模型有嵌入層，則一個用於嵌入層的輸出，外加每個層的輸出），形狀為 `(batch_size, sequence_length, hidden_size)`。

    模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。

  • attentions (tuple(torch.FloatTensor), 可選, 當傳遞 output_attentions=True 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。

    注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。

Glm4ForTokenClassification 的 forward 方法重寫了 `__call__` 特殊方法。

雖然前向傳播的流程需要在此函式中定義，但之後應該呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會默默地忽略它們。

示例

>>> from transformers import AutoTokenizer, Glm4ForTokenClassification
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/GLM-4-9B-0414")
>>> model = Glm4ForTokenClassification.from_pretrained("THUDM/GLM-4-9B-0414")

>>> inputs = tokenizer(
...     "HuggingFace is a company based in Paris and New York", add_special_tokens=False, return_tensors="pt"
... )

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_token_class_ids = logits.argmax(-1)

>>> # Note that tokens are classified rather then input words which means that
>>> # there might be more predicted token classes than words.
>>> # Multiple token classes might account for the same word
>>> predicted_tokens_classes = [model.config.id2label[t.item()] for t in predicted_token_class_ids[0]]
>>> predicted_tokens_classes
...

>>> labels = predicted_token_class_ids
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
< > 在 GitHub 上更新

←GLM GPT→
© . This site is unofficial and not affiliated with Hugging Face, Inc.