Transformers 文件
GLM
並獲得增強的文件體驗
開始使用
GLM
概述
GLM 模型由 GLM 團隊、THUDM 和 ZhipuAI 在論文 ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools 中提出。
論文摘要如下：
我們介紹 ChatGLM，這是我們一直在開發的一個不斷演進的大型語言模型家族。本報告主要關注 GLM-4 語言系列，包括 GLM-4、GLM-4-Air 和 GLM-4-9B。它們代表了我們最強大的模型，這些模型融合了前三代 ChatGLM 中獲得的所有見解和經驗教訓。迄今為止，GLM-4 模型已在十萬億個主要為中文和英文的 token 上進行了預訓練，同時還包含來自 24 種語言的小部分語料庫，並主要針對中文和英文使用進行了對齊。高質量的對齊是透過一個多階段的後訓練過程實現的，該過程涉及監督微調和從人類反饋中學習。評估表明，GLM-4 1) 在 MMLU、GSM8K、MATH、BBH、GPQA 和 HumanEval 等通用指標方面與 GPT-4 相當或優於 GPT-4，2) 在 IFEval 測量的指令遵循方面接近 GPT-4-Turbo，3) 在長上下文任務上與 GPT-4 Turbo (128K) 和 Claude 3 相當，以及 4) 在 AlignBench 測量的中文對齊方面優於 GPT-4。GLM-4 All Tools 模型進一步對齊，以理解使用者意圖並自主決定何時以及使用何種工具——包括網路瀏覽器、Python 直譯器、文字到影像模型和使用者自定義函式——來有效完成複雜任務。在實際應用中，它在透過網頁瀏覽訪問線上資訊和使用 Python 直譯器解決數學問題等任務中，與 GPT-4 All Tools 相當甚至超越。在此過程中，我們開源了一系列模型，包括 ChatGLM-6B (三代)、GLM-4-9B (128K, 1M)、GLM-4V-9B、WebGLM 和 CodeGeeX，僅在 2023 年就在 Hugging Face 上吸引了超過 1000 萬次下載。
技巧
使用技巧
GLM-4 可以在 Huggingface Hub 上找到。
下面，我們將演示如何使用 glm-4-9b-chat 進行推理。請注意，我們對話使用了 ChatML 格式，在此演示中，我們將展示如何利用 apply_chat_template 來實現這一點。
>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> device = "cuda" # the device to load the model onto
>>> model = AutoModelForCausalLM.from_pretrained("THUDM/glm-4-9b-chat", device_map="auto", trust_remote_code=True)
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat")
>>> prompt = "Give me a short introduction to large language model."
>>> messages = [{"role": "user", "content": prompt}]
>>> text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
>>> model_inputs = tokenizer([text], return_tensors="pt").to(device)
>>> generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512, do_sample=True)
>>> generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
>>> response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]GlmConfig
class transformers.GlmConfig
< 來源 >( vocab_size = 151552 hidden_size = 4096 intermediate_size = 13696 num_hidden_layers = 40 num_attention_heads = 32 num_key_value_heads = 2 partial_rotary_factor = 0.5 head_dim = 128 hidden_act = 'silu' attention_dropout = 0.0 max_position_embeddings = 131072 initializer_range = 0.02 rms_norm_eps = 1.5625e-07 use_cache = True tie_word_embeddings = False rope_theta = 10000.0 pad_token_id = 151329 eos_token_id = [151329, 151336, 151338] bos_token_id = None attention_bias = True **kwargs )
引數
- vocab_size (
int，可選，預設為 151552) — Glm 模型的詞彙表大小。定義了在呼叫 GlmModel 時傳遞的inputs_ids可以表示的不同 token 的數量。 - hidden_size (
int，可選，預設為 4096) — 隱藏表示的維度。 - intermediate_size (
int，可選，預設為 13696) — MLP 表示的維度。 - num_hidden_layers (
int，可選，預設為 40) — Transformer 解碼器中的隱藏層數量。 - num_attention_heads (
int，可選，預設為 32) — Transformer 解碼器中每個注意力層的注意力頭數量。 - num_key_value_heads (
int，可選，預設為 2) — 這是用於實現分組查詢注意力 (Grouped Query Attention) 的鍵值頭 (key_value heads) 的數量。如果num_key_value_heads=num_attention_heads，模型將使用多頭注意力 (MHA)；如果num_key_value_heads=1，模型將使用多查詢注意力 (MQA)；否則使用 GQA。將多頭檢查點轉換為 GQA 檢查點時，每個組的鍵和值頭應透過對該組內所有原始頭進行均值池化來構建。更多詳情，請參閱這篇論文。如果未指定，將預設為num_attention_heads。 - partial_rotary_factor (
float，可選，預設為 0.5) — 部分旋轉位置的因子。 - head_dim (
int，可選，預設為 128) — 注意力頭的維度。 - hidden_act (
str或function，可選，預設為"silu") — 傳統的啟用函式。它被hidden_activation覆蓋。 - attention_dropout (
float，可選，預設為 0.0) — 注意力機率的 dropout 比率。 - max_position_embeddings (
int，可選，預設為 131072) — 該模型可能使用的最大序列長度。 - initializer_range (
float，可選，預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。 - rms_norm_eps (
float，可選，預設為 1.5625e-07) — rms 歸一化層使用的 epsilon。 - use_cache (
bool，可選，預設為True) — 模型是否應返回最後一個鍵/值注意力（並非所有模型都使用）。僅在config.is_decoder=True時相關。 - tie_word_embeddings (
bool，可選，預設為False) — 是否繫結詞嵌入權重 - rope_theta (
float，可選，預設為 10000.0) — RoPE 嵌入的基週期。 - pad_token_id (
int，可選，預設為 151329) — 填充 token 的 ID。 - eos_token_id (
int|list，可選，預設為[151329, 151336, 151338]) — 流結束 token 的 ID。 - bos_token_id (
int，可選) — 流開始 token 的 ID。 - attention_bias (
bool，預設為False，可選，預設為True) — 在自注意力期間是否在查詢、鍵、值和輸出投影層中使用偏置。
這是用於儲存 GlmModel 配置的配置類。它用於根據指定的引數例項化 Glm 模型，定義模型架構。使用預設值例項化配置將產生與 Glm-4-9b-chat 類似的配置。例如 THUDM/glm-4-9b-chat 配置物件繼承自 PretrainedConfig，可用於控制模型輸出。請閱讀 PretrainedConfig 的文件以獲取更多資訊。
>>> from transformers import GlmModel, GlmConfig
>>> # Initializing a Glm glm-4-9b-chat style configuration
>>> configuration = GlmConfig()
>>> # Initializing a model from the glm-4-9b-chat style configuration
>>> model = GlmModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configGlmModel
class transformers.GlmModel
< 來源 >( config: GlmConfig )
引數
- config (GlmConfig) — 模型配置類，包含模型的所有引數。使用配置檔案進行初始化不會載入與模型相關的權重，僅載入配置。請檢視 from_pretrained() 方法來載入模型權重。
基礎 Glm 模型，輸出原始的隱藏狀態，沒有任何特定的頭部。
該模型繼承自 PreTrainedModel。請檢視超類的文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
該模型也是一個 PyTorch torch.nn.Module 的子類。可以像使用常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。
forward
< 原始碼 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[transformers.cache_utils.Cache] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None **flash_attn_kwargs: typing_extensions.Unpack[transformers.modeling_flash_attention_utils.FlashAttentionKwargs] ) → transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)
引數
- input_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor，可選) — 詞彙表中輸入序列標記的索引。預設情況下，填充將被忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (形狀為
(batch_size, sequence_length)的torch.Tensor，可選) — 用於避免對填充標記索引執行注意力的掩碼。掩碼值選自[0, 1]：- 1 表示標記未被遮蓋，
- 0 表示標記被遮蓋。
- position_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor，可選) — 每個輸入序列標記在位置嵌入中的位置索引。選自範圍[0, config.n_positions - 1]。 - past_key_values (
~cache_utils.Cache，可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包括在解碼的先前階段，當use_cache=True或config.use_cache=True時，由模型返回的past_key_values。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 KV 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)的元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也稱為舊版快取格式。
模型將輸出與輸入相同的快取格式。如果未傳遞
past_key_values，則將返回舊版快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後的input_ids（那些沒有為其提供過去鍵值狀態的標記），形狀為(batch_size, 1)，而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (形狀為
(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果您想比模型內部的嵌入查詢矩陣更好地控制如何將input_ids索引轉換為關聯向量，這會很有用。 - use_cache (
bool，可選) — 如果設定為True，則會返回past_key_values鍵值狀態，可用於加速解碼（請參閱past_key_values）。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回的張量下的 `attentions`。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回的張量下的 `hidden_states`。 - cache_position (形狀為
(sequence_length)的torch.LongTensor，可選) — 描述輸入序列標記在序列中位置的索引。與 `position_ids` 不同，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.BaseModelOutputWithPast 或一個 `torch.FloatTensor` 的元組（如果傳遞了 `return_dict=False` 或當 `config.return_dict=False` 時），根據配置（GlmConfig）和輸入包含各種元素。
-
last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
past_key_values (
Cache，可選，當傳遞 `use_cache=True` 或 `config.use_cache=True` 時返回) — 這是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 KV 快取指南。包含預計算的隱藏狀態（自注意力塊中的鍵和值，如果 `config.is_encoder_decoder=True`，則還包括交叉注意力塊中的鍵和值），可用於（參見 `past_key_values` 輸入）加速序列解碼。
-
hidden_states (
tuple(torch.FloatTensor)，可選，當傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為 `(batch_size, sequence_length, hidden_size)`。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
GlmModel 的前向方法，覆蓋了 `__call__` 特殊方法。
雖然前向傳遞的流程需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
GlmForCausalLM
class transformers.GlmForCausalLM
< 原始碼 >( config )
引數
- config (GlmForCausalLM) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
用於因果語言建模的 Glm 模型。
該模型繼承自 PreTrainedModel。請檢視超類的文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
該模型也是一個 PyTorch torch.nn.Module 的子類。可以像使用常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。
forward
< 原始碼 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[transformers.cache_utils.Cache] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None logits_to_keep: typing.Union[int, torch.Tensor] = 0 **kwargs: typing_extensions.Unpack[transformers.models.glm.modeling_glm.KwargsForCausalLM] ) → transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)
引數
- input_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor，可選) — 詞彙表中輸入序列標記的索引。預設情況下，填充將被忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (形狀為
(batch_size, sequence_length)的torch.Tensor，可選) — 用於避免對填充標記索引執行注意力的掩碼。掩碼值選自[0, 1]：- 1 表示標記未被遮蓋，
- 0 表示標記被遮蓋。
- position_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor，可選) — 每個輸入序列標記在位置嵌入中的位置索引。選自範圍[0, config.n_positions - 1]。 - past_key_values (
~cache_utils.Cache，可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包括在解碼的先前階段，當use_cache=True或config.use_cache=True時，由模型返回的past_key_values。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 KV 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)的元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也稱為舊版快取格式。
模型將輸出與輸入相同的快取格式。如果未傳遞
past_key_values，則將返回舊版快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後的input_ids（那些沒有為其提供過去鍵值狀態的標記），形狀為(batch_size, 1)，而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (形狀為
(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果您想比模型內部的嵌入查詢矩陣更好地控制如何將input_ids索引轉換為關聯向量，這會很有用。 - labels (形狀為
(batch_size, sequence_length)的torch.LongTensor，可選) — 用於計算掩碼語言建模損失的標籤。索引應在[0, ..., config.vocab_size]或 -100 之間（請參閱input_ids文件字串）。索引設定為 `-100` 的標記將被忽略（遮蓋），損失僅對標籤在[0, ..., config.vocab_size]之間的標記計算。 - use_cache (
bool，可選) — 如果設定為True，則會返回past_key_values鍵值狀態，可用於加速解碼（請參閱past_key_values）。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回的張量下的 `attentions`。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回的張量下的 `hidden_states`。 - cache_position (形狀為
(sequence_length)的torch.LongTensor，可選) — 描述輸入序列標記在序列中位置的索引。與 `position_ids` 不同，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。 - logits_to_keep (
Union[int, torch.Tensor]，預設為0) — 如果是 `int`，則計算最後 `logits_to_keep` 個標記的 logits。如果是 `0`，則為所有 `input_ids` 計算 logits（特殊情況）。生成時只需要最後一個標記的 logits，僅為該標記計算可以節省記憶體，這對於長序列或大詞彙表來說非常重要。如果是 `torch.Tensor`，則必須是 1D 的，對應於序列長度維度中要保留的索引。這在使用打包張量格式（批處理和序列長度使用單一維度）時很有用。
返回
transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.CausalLMOutputWithPast 或一個 `torch.FloatTensor` 的元組（如果傳遞了 `return_dict=False` 或當 `config.return_dict=False` 時），根據配置（GlmConfig）和輸入包含各種元素。
-
loss (
torch.FloatTensor形狀為(1,)，可選，當提供labels時返回) — 語言建模損失（用於下一個 token 預測）。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
past_key_values (
Cache，可選，當傳遞 `use_cache=True` 或 `config.use_cache=True` 時返回) — 這是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 KV 快取指南。包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為 `(batch_size, sequence_length, hidden_size)`。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
GlmForCausalLM 的前向方法，覆蓋了 `__call__` 特殊方法。
雖然前向傳遞的流程需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
示例
>>> from transformers import AutoTokenizer, GlmForCausalLM
>>> model = GlmForCausalLM.from_pretrained("meta-glm/Glm-2-7b-hf")
>>> tokenizer = AutoTokenizer.from_pretrained("meta-glm/Glm-2-7b-hf")
>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")
>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."GlmForSequenceClassification
class transformers.GlmForSequenceClassification
< 原始碼 >( config )
引數
- config (GlmForSequenceClassification) — 模型配置類，包含模型的所有引數。使用配置檔案初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
帶有一個序列分類頭（線性層）的 Glm 模型 Transformer。
GlmForSequenceClassification 使用最後一個標記來進行分類，就像其他因果模型（例如 GPT-2）一樣。
由於它對最後一個標記進行分類，因此需要知道最後一個標記的位置。如果在配置中定義了 `pad_token_id`，它會找到每行中不是填充標記的最後一個標記。如果未定義 `pad_token_id`，它會簡單地取批處理中每行的最後一個值。由於當傳遞 `inputs_embeds` 而不是 `input_ids` 時它無法猜測填充標記，因此它會做同樣的事情（取批處理中每行的最後一個值）。
該模型繼承自 PreTrainedModel。請檢視超類的文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
該模型也是一個 PyTorch torch.nn.Module 的子類。可以像使用常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。
forward
< 原始碼 >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[transformers.cache_utils.Cache] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None ) → transformers.modeling_outputs.SequenceClassifierOutputWithPast 或 tuple(torch.FloatTensor)
引數
- input_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor，可選) — 詞彙表中輸入序列標記的索引。預設情況下，填充將被忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (形狀為
(batch_size, sequence_length)的torch.Tensor，可選) — 用於避免對填充標記索引執行注意力的掩碼。掩碼值選自[0, 1]：- 1 表示標記未被遮蓋，
- 0 表示標記被遮蓋。
- position_ids (形狀為
(batch_size, sequence_length)的torch.LongTensor，可選) — 每個輸入序列標記在位置嵌入中的位置索引。選自範圍[0, config.n_positions - 1]。 - past_key_values (
~cache_utils.Cache，可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包括在解碼的先前階段，當use_cache=True或config.use_cache=True時，由模型返回的past_key_values。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 KV 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)的元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也稱為舊版快取格式。
模型將輸出與輸入相同的快取格式。如果未傳遞
past_key_values，則將返回舊版快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後的input_ids（那些沒有為其提供過去鍵值狀態的標記），形狀為(batch_size, 1)，而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (形狀為
(batch_size, sequence_length, hidden_size)的torch.FloatTensor，可選) — 可選地，您可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果您想比模型內部的嵌入查詢矩陣更好地控制如何將input_ids索引轉換為關聯向量，這會很有用。 - labels (形狀為
(batch_size,)的torch.LongTensor，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在[0, ..., config.num_labels - 1]之間。如果config.num_labels == 1，則計算迴歸損失（均方損失），如果config.num_labels > 1，則計算分類損失（交叉熵）。 - use_cache (
bool，可選) — 如果設定為True，則會返回past_key_values鍵值狀態，可用於加速解碼（請參閱past_key_values）。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回的張量下的 `attentions`。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回的張量下的 `hidden_states`。
返回
transformers.modeling_outputs.SequenceClassifierOutputWithPast 或 tuple(torch.FloatTensor)
一個 `transformers.modeling_outputs.SequenceClassifierOutputWithPast` 或一個 `torch.FloatTensor` 的元組（如果傳遞了 `return_dict=False` 或當 `config.return_dict=False` 時），根據配置（GlmConfig）和輸入包含各種元素。
-
loss (形狀為
(1,)的torch.FloatTensor，可選，當提供labels時返回) — 分類損失（如果 config.num_labels==1，則為迴歸損失）。 -
logits (形狀為
(batch_size, config.num_labels)的torch.FloatTensor) — 分類（如果 config.num_labels==1，則為迴歸）分數（SoftMax 之前）。 -
past_key_values (
Cache，可選，當傳遞 `use_cache=True` 或 `config.use_cache=True` 時返回) — 這是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 KV 快取指南。包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為 `(batch_size, sequence_length, hidden_size)`。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
GlmForSequenceClassification 的前向方法，覆蓋了 `__call__` 特殊方法。
雖然前向傳遞的流程需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
單標籤分類示例
>>> import torch
>>> from transformers import AutoTokenizer, GlmForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat")
>>> model = GlmForSequenceClassification.from_pretrained("THUDM/glm-4-9b-chat")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = GlmForSequenceClassification.from_pretrained("THUDM/glm-4-9b-chat", num_labels=num_labels)
>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...多標籤分類示例
>>> import torch
>>> from transformers import AutoTokenizer, GlmForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat")
>>> model = GlmForSequenceClassification.from_pretrained("THUDM/glm-4-9b-chat", problem_type="multi_label_classification")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]
>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = GlmForSequenceClassification.from_pretrained(
... "THUDM/glm-4-9b-chat", num_labels=num_labels, problem_type="multi_label_classification"
... )
>>> labels = torch.sum(
... torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).lossGlmForTokenClassification
class transformers.GlmForTokenClassification
< source >( config )
引數
- config (GlmForTokenClassification) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
Glm transformer 模型，其頂部帶有一個 token 分類頭（即在 hidden-states 輸出之上新增一個線性層），例如用於命名實體識別（NER）任務。
該模型繼承自 PreTrainedModel。請檢視超類的文件以瞭解該庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
該模型也是一個 PyTorch torch.nn.Module 的子類。可以像使用常規 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與常規用法和行為相關的事項。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[transformers.cache_utils.Cache] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None ) → transformers.modeling_outputs.TokenClassifierOutput or tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 詞彙表中輸入序列 token 的索引。預設情況下，填充將被忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對填充 token 索引執行注意力操作的掩碼。掩碼值在[0, 1]中選擇：- 1 表示 token 未被掩碼，
- 0 表示 token 被掩碼。
- position_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 每個輸入序列 token 在位置嵌入中的位置索引。在[0, config.n_positions - 1]範圍內選擇。 - past_key_values (
~cache_utils.Cache，可選) — 預先計算的隱藏狀態（自注意力和交叉注意力塊中的鍵和值），可用於加速序列解碼。這通常包括在解碼的前一階段，當use_cache=True或config.use_cache=True時，由模型返回的past_key_values。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 一個長度為
config.n_layers的tuple(torch.FloatTensor)元組，其中每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量。這也稱為舊版快取格式。
模型將輸出與輸入相同的快取格式。如果沒有傳入
past_key_values，將返回舊版快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後一個形狀為(batch_size, 1)的input_ids（那些沒有為其提供過去鍵值狀態的 ID），而不是所有形狀為(batch_size, sequence_length)的input_ids。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞input_ids。如果你想比模型內部的嵌入查詢矩陣更好地控制如何將input_ids索引轉換為相關向量，這會非常有用。 - labels (
torch.LongTensor，形狀為(batch_size,)，可選) — 用於計算序列分類/迴歸損失的標籤。索引應在[0, ..., config.num_labels - 1]範圍內。如果config.num_labels == 1，則計算迴歸損失（均方損失）；如果config.num_labels > 1，則計算分類損失（交叉熵）。 - use_cache (
bool，可選) — 如果設定為True，則返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool，可選) — 是否返回所有注意力層的注意力張量。有關更多詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool，可選) — 是否返回所有層的隱藏狀態。有關更多詳細資訊，請參閱返回張量下的hidden_states。
返回
transformers.modeling_outputs.TokenClassifierOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.TokenClassifierOutput 或一個 torch.FloatTensor 元組（如果傳遞了 return_dict=False 或 config.return_dict=False），根據配置 (GlmConfig) 和輸入包含各種元素。
-
loss (形狀為
(1,)的torch.FloatTensor，可選，當提供labels時返回) — 分類損失。 -
logits (形狀為
(batch_size, sequence_length, config.num_labels)的torch.FloatTensor) — 分類分數（SoftMax 之前）。 -
hidden_states (
tuple(torch.FloatTensor)，可選，當傳遞 `output_hidden_states=True` 或 `config.output_hidden_states=True` 時返回) — `torch.FloatTensor` 的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 每個層的輸出一個），形狀為 `(batch_size, sequence_length, hidden_size)`。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor)，可選，當傳遞 `output_attentions=True` 或 `config.output_attentions=True` 時返回) — `torch.FloatTensor` 的元組（每層一個），形狀為 `(batch_size, num_heads, sequence_length, sequence_length)`。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
GlmForTokenClassification 的 forward 方法會覆蓋 __call__ 特殊方法。
雖然前向傳遞的流程需要在此函式內定義，但之後應呼叫 `Module` 例項而不是此函式，因為前者會處理執行前處理和後處理步驟，而後者會靜默地忽略它們。
示例
>>> from transformers import AutoTokenizer, GlmForTokenClassification
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat")
>>> model = GlmForTokenClassification.from_pretrained("THUDM/glm-4-9b-chat")
>>> inputs = tokenizer(
... "HuggingFace is a company based in Paris and New York", add_special_tokens=False, return_tensors="pt"
... )
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_token_class_ids = logits.argmax(-1)
>>> # Note that tokens are classified rather then input words which means that
>>> # there might be more predicted token classes than words.
>>> # Multiple token classes might account for the same word
>>> predicted_tokens_classes = [model.config.id2label[t.item()] for t in predicted_token_class_ids[0]]
>>> predicted_tokens_classes
...
>>> labels = predicted_token_class_ids
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...