Transformers 文件
Granite 語音模型
並獲得增強的文件體驗
開始使用
Granite 語音模型
概述
Granite 語音模型是一個多模態語言模型，由語音編碼器、語音投影器、大型語言模型和 LoRA 介面卡組成。關於當前（Granite 3.2 Speech）模型架構中每個元件的更多細節，請參見下文。
語音編碼器：一個 Conformer 編碼器，使用連線主義時間分類 (CTC) 在 ASR 語料庫上對字元級目標進行訓練。編碼器使用塊注意力（block-attention）和中間層的自條件 CTC。
語音投影器：一個對最後一個編碼器塊的輸出進行操作的查詢轉換器（q-former）。編碼器和投影器對音訊特徵進行時間下采樣，以便合併到由 llm 處理的多模態嵌入中。
大型語言模型：Granite 語音模型利用 Granite LLM，該模型最初在 這篇論文 中提出。
LoRA 介面卡：Granite 語音模型包含一個特定於模態的 LoRA，當提供音訊特徵時將啟用，否則停用。
請注意，上述大多陣列件都是通用實現的，以實現與 transformers 中其他模型架構的相容性和潛在整合。
此模型由 Alexander Brooks、Avihu Dekel 和 George Saon 貢獻。
使用提示
- 此模型捆綁了自己的 LoRA 介面卡，將在推理呼叫期間根據需要自動載入和啟用/停用。請務必安裝 PEFT 以確保 LoRA 正確應用！
GraniteSpeechConfig
class transformers.GraniteSpeechConfig
< 原始檔 >( text_config = None encoder_config = None projector_config = None audio_token_index = 49155 initializer_range = 0.02 has_lora_adapter = True downsample_rate = 5 window_size = 15 **kwargs )
引數
- text_config (
Union[AutoConfig, dict], 可選, 預設為GraniteConfig) — 文字骨幹的配置物件或字典。 - encoder_config (
GraniteSpeechEncoderConfig, 可選) — Granite Speech CTC 編碼器的配置物件或字典。 - projector_config (
Union[AutoConfig, dict], 可選, 預設為Blip2QFormerConfig) — 音訊投影器的配置物件或字典。 - audio_token_index (
int, 可選, 預設為 49155) — 用於編碼音訊提示的音訊標記索引。 - initializer_range (
float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。 - has_lora_adapter (
bool, 可選, 預設為True) — 指示模型是否具有 LoRA 介面卡，該介面卡應僅在處理音訊輸入時啟用，否則停用。 - downsample_rate (
int, 可選, 預設為 5) — 音訊特徵提取器的下采樣率。 - window_size (
int, 可選, 預設為 15) — 音訊特徵投影器的視窗大小。
這是用於儲存 GraniteSpeechForConditionalGeneration 配置的配置類。它用於根據指定引數例項化 Granite 語音模型，定義模型架構。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 的文件。
示例
>>> from transformers import GraniteSpeechConfig, GraniteSpeechForConditionalGeneration
>>> # Initializing a GraniteSpeechConfig
>>> configuration = GraniteSpeechConfig()
>>> # Initializing a GraniteSpeechForConditionalGeneration (with random weights)
>>> model = GraniteSpeechForConditionalGeneration(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configGraniteSpeechEncoderConfig
class transformers.GraniteSpeechEncoderConfig
< 原始檔 >( input_dim = 160 num_layers = 10 hidden_dim = 1024 feedforward_mult = 4 num_heads = 8 dim_head = 128 output_dim = 42 context_size = 200 max_pos_emb = 512 dropout = 0.1 conv_kernel_size = 15 conv_expansion_factor = 2 **kwargs )
引數
- input_dim (
int, 可選, 預設為 160) — 編碼器第一個隱藏層的維度。 - num_layers (
int, 可選, 預設為 10) — 編碼器塊的數量。 - hidden_dim (
int, 可選, 預設為 1024) — Conformer 編碼器中間層的大小。 - feedforward_mult (
int, 可選, 預設為 4) — 編碼器前饋層中上/下投影的乘數；投影的中間維度大小為hidden_dim * feedforward_mult。 - num_heads (
int, 可選, 預設為 8) — Transformer 編碼器中每個注意力層的注意力頭數量。 - dim_head (
int, 可選, 預設為 128) — Transformer 編碼器中每個注意力層的注意力頭維度。 - output_dim (
int, 可選, 預設為 42) — Conformer 中間層的輸出維度，將被新增到每個其他編碼器塊的輸出中。 - context_size (
int, 可選, 預設為 200) — Conformer 注意力中使用的上下文大小。 - max_pos_emb (
int, 可選, 預設為 512) — 注意力中使用的最大位置嵌入（Shaw 的相對位置編碼）。 - dropout (
float, 可選, 預設為 0.1) — 編碼器中全連線層的 dropout 機率。 - conv_kernel_size (
int, 可選, 預設為 15) — 每個 Conformer 塊中用於 1D 卷積的核大小。 - conv_expansion_factor (
int, 可選, 預設為 2) — Conformer 卷積中使用的中間維度。
這是用於儲存 GraniteSpeechCTCEncoder 配置的配置類。它用於根據指定引數例項化 Granite 語音音訊編碼器，定義模型架構。使用預設值例項化配置將生成與 Granite 語音架構音訊編碼器類似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 的文件。
示例
>>> from transformers import GraniteSpeechEncoderConfig, GraniteSpeechCTCEncoder
>>> # Initializing a GraniteSpeechEncoderConfig
>>> configuration = GraniteSpeechEncoderConfig()
>>> # Initializing a GraniteSpeechCTCEncoder (with random weights)
>>> model = GraniteSpeechCTCEncoder(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configGraniteSpeechProcessor
class transformers.GraniteSpeechProcessor
< 原始檔 >( audio_processor tokenizer audio_token = '<|audio|>' chat_template = None )
GraniteSpeechFeatureExtractor
class transformers.GraniteSpeechFeatureExtractor
< 原始檔 >( sampling_rate: int = 16000 n_fft: int = 512 win_length: int = 400 hop_length: int = 160 n_mels: int = 80 projector_window_size: int = 15 projector_downsample_rate: int = 5 **kwargs )
GraniteSpeechForConditionalGeneration
class transformers.GraniteSpeechForConditionalGeneration
< 原始檔 >( config: GraniteSpeechConfig )
引數
- config (GraniteSpeechConfig) — 包含模型所有引數的模型配置類。用配置檔案初始化並不會載入與模型相關的權重，只加載配置。請查閱 from_pretrained() 方法來載入模型權重。
Granite 語音模型，由音訊編碼器、投影器和語言模型組成。
此模型繼承自 PreTrainedModel。請查閱超類文件，瞭解庫為所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其作為常規 PyTorch 模組使用，並參閱 PyTorch 文件以瞭解所有與一般用法和行為相關的事項。
forward
< 原始檔 >( input_ids: LongTensor = None input_features: FloatTensor = None input_features_mask: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None logits_to_keep: typing.Union[int, torch.Tensor] = 0 **lm_kwargs ) → transformers.models.granite_speech.modeling_granite_speech.GraniteSpeechCausalLMOutputWithPast 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。預設情況下會忽略填充。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- input_features (
torch.FloatTensor形狀為(batch_size, audio seq len, mel feat dim)) -- 對應輸入音訊的張量。可以使用 [AutoFeatureExtractor](/docs/transformers/v4.53.3/en/model_doc/auto#transformers.AutoFeatureExtractor) 獲取輸入特徵。有關詳細資訊，請參閱GraniteSpeechFeatureExtractor.call()`。GraniteSpeechProcessor 使用 GraniteSpeechFeatureExtractor 進行音訊處理。 - input_features_mask (
torch.Tensor, 可選) — 在分散到語言嵌入之前應用於音訊特徵的掩碼。 - attention_mask (
torch.Tensor形狀為(batch_size, sequence_length), 可選) — 避免對填充標記索引執行注意力操作的掩碼。掩碼值選擇在[0, 1]之間：- 1 表示**未被遮蔽**的標記，
- 0 表示**被遮蔽**的標記。
- position_ids (
torch.LongTensor形狀為(batch_size, sequence_length), 可選) — 每個輸入序列標記在位置嵌入中的位置索引。選擇範圍為[0, config.n_positions - 1]。 - past_key_values (
list[torch.FloatTensor], 可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼前一階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- Cache 例項，請參閱我們的 kv 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也被稱為傳統快取格式。
模型將輸出與輸入相同的快取格式。如果未傳遞
past_key_values，將返回傳統快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後一個input_ids（那些沒有將其過去鍵值狀態提供給此模型的）形狀為(batch_size, 1)，而不是所有input_ids形狀為(batch_size, sequence_length)。 - inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選引數，可以直接傳入嵌入表示而不是input_ids。如果你想對如何將input_ids索引轉換為相關向量擁有比模型內部嵌入查詢矩陣更強的控制，這會很有用。 - labels (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 用於計算掩碼語言建模損失的標籤。索引應在[0, ..., config.vocab_size]範圍內或為 -100（參閱input_ids文件字串）。索引設定為-100的標記將被忽略（掩碼），損失僅針對標籤在[0, ..., config.vocab_size]範圍內的標記計算。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參閱past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。更多詳情請參閱返回張量中的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。更多詳情請參閱返回張量中的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通的元組。 - cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 描述輸入序列標記在序列中位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。 - logits_to_keep (
Union[int, torch.Tensor]，預設為0) — 如果是int，則計算最後logits_to_keep個標記的 logits。如果是0，則計算所有input_ids的 logits（特殊情況）。生成時只需要最後一個標記的 logits，只計算該標記的 logits 可以節省記憶體，這對於長序列或大詞彙量來說非常重要。如果是torch.Tensor，則必須是與序列長度維度中要保留的索引對應的 1D 張量。這在使用打包張量格式（批次和序列長度的單維度）時很有用。
返回
transformers.models.granite_speech.modeling_granite_speech.GraniteSpeechCausalLMOutputWithPast 或 tuple(torch.FloatTensor)
一個 transformers.models.granite_speech.modeling_granite_speech.GraniteSpeechCausalLMOutputWithPast 物件或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或當 config.return_dict=False 時），其中包含根據配置 (GraniteSpeechConfig) 和輸入的不同元素。
-
loss (
torch.FloatTensor形狀為(1,)，可選，當提供labels時返回) — 語言建模損失（用於下一個 token 預測）。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
past_key_values (
tuple(tuple(torch.FloatTensor)), 可選, 當傳入use_cache=True或當config.use_cache=True時返回) — 長度為config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含兩個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量。包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
hidden_states (
tuple[torch.FloatTensor], 可選, 當傳入output_hidden_states=True或當config.output_hidden_states=True時返回) —torch.FloatTensor元組（如果模型有嵌入層，則一個用於嵌入輸出，加上一個用於每個層輸出），形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple[torch.FloatTensor], 可選, 當傳入output_attentions=True或當config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
GraniteSpeechForConditionalGeneration 的 forward 方法，覆蓋了 __call__ 特殊方法。
雖然前向傳播的實現需要在該函式內部定義，但之後應該呼叫 Module 例項而不是直接呼叫此函式，因為前者會處理預處理和後處理步驟，而後者會默默忽略它們。
示例
>>> from transformers import AutoProcessor, GraniteSpeechForConditionalGeneration
>>> from datasets import load_dataset
>>> import torch
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> processor = AutoProcessor.from_pretrained("None")
>>> model = GraniteSpeechForConditionalGeneration.from_pretrained("None")
>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)
>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...
>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids
>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...