Transformers 文件
Kyutai 語音轉文字
並獲得增強的文件體驗
開始使用
Kyutai 語音轉文字
概述
Kyutai STT 是一種基於 Mimi 編解碼器的語音轉文字模型架構，它以流式方式將音訊編碼為離散的詞元，並使用 Moshi 類似的自迴歸解碼器。Kyutai 實驗室已釋出兩個模型檢查點
- kyutai/stt-1b-en_fr：一個 10 億引數模型，能夠轉錄英語和法語
- kyutai/stt-2.6b-en：一個 26 億引數模型，僅專注於英語，針對最大轉錄準確性進行了最佳化
使用技巧
推理
import torch
from datasets import load_dataset, Audio
from transformers import KyutaiSpeechToTextProcessor, KyutaiSpeechToTextForConditionalGeneration
# 1. load the model and the processor
torch_device = "cuda" if torch.cuda.is_available() else "cpu"
model_id = "kyutai/stt-2.6b-en-trfs"
processor = KyutaiSpeechToTextProcessor.from_pretrained(model_id)
model = KyutaiSpeechToTextForConditionalGeneration.from_pretrained(model_id, device_map=torch_device, torch_dtype="auto")
# 2. load audio samples
ds = load_dataset(
"hf-internal-testing/librispeech_asr_dummy", "clean", split="validation"
)
ds = ds.cast_column("audio", Audio(sampling_rate=24000))
# 3. prepare the model inputs
inputs = processor(
ds[0]["audio"]["array"],
)
inputs.to(torch_device)
# 4. infer the model
output_tokens = model.generate(**inputs)
# 5. decode the generated tokens
print(processor.batch_decode(output_tokens, skip_special_tokens=True))批次推理
import torch
from datasets import load_dataset, Audio
from transformers import KyutaiSpeechToTextProcessor, KyutaiSpeechToTextForConditionalGeneration
# 1. load the model and the processor
torch_device = "cuda" if torch.cuda.is_available() else "cpu"
model_id = "kyutai/stt-2.6b-en-trfs"
processor = KyutaiSpeechToTextProcessor.from_pretrained(model_id)
model = KyutaiSpeechToTextForConditionalGeneration.from_pretrained(model_id, device_map=torch_device, torch_dtype="auto")
# 2. load audio samples
ds = load_dataset(
"hf-internal-testing/librispeech_asr_dummy", "clean", split="validation"
)
ds = ds.cast_column("audio", Audio(sampling_rate=24000))
# 3. prepare the model inputs
audio_arrays = [ds[i]["audio"]["array"] for i in range(4)]
inputs = processor(audio_arrays, return_tensors="pt", padding=True)
inputs = inputs.to(torch_device)
# 4. infer the model
output_tokens = model.generate(**inputs)
# 5. decode the generated tokens
decoded_outputs = processor.batch_decode(output_tokens, skip_special_tokens=True)
for output in decoded_outputs:
print(output)此模型由 Eustache Le Bihan 貢獻。原始程式碼可以在 此處 找到。
KyutaiSpeechToTextConfig
class transformers.KyutaiSpeechToTextConfig
< 來源 >( codebook_vocab_size = 2049 vocab_size = 4001 hidden_size = 2048 num_hidden_layers = 48 num_attention_heads = 32 num_key_value_heads = None max_position_embeddings = 750 rope_theta = 100000.0 hidden_act = 'silu' head_dim = None initializer_range = 0.02 use_cache = True sliding_window = 375 attention_dropout = 0.0 ffn_dim = 11264 rms_norm_eps = 1e-08 num_codebooks = 32 audio_bos_token_id = 2048 audio_pad_token_id = 69569 tie_word_embeddings = False pad_token_id = 3 bos_token_id = 48000 codec_config = None **kwargs )
引數
- codebook_vocab_size (
int, 可選, 預設為 2049) — 編碼本的詞彙大小。定義了每個編碼本可以表示的不同音訊詞元的數量。 - vocab_size (
int, 可選, 預設為 4001) — 模型的詞彙大小。定義了呼叫模型時傳入的input_ids可以表示的不同詞元的數量。 - hidden_size (
int, 可選, 預設為 2048) — 主解碼器層和池化層的維度。 - num_hidden_layers (
int, 可選, 預設為 48) — 解碼器層的數量。 - num_attention_heads (
int, 可選, 預設為 32) — 主解碼器塊中每個注意力層的注意力頭數量。 - num_key_value_heads (
int, 可選) — 用於實現分組查詢注意力 (Grouped Query Attention) 的鍵值頭數量。如果num_key_value_heads=num_attention_heads，模型將使用多頭注意力 (MHA)；如果num_key_value_heads=1，模型將使用多查詢注意力 (MQA)，否則使用 GQA。將多頭檢查點轉換為 GQA 檢查點時，每個分組鍵和值頭應透過對其組內的所有原始頭進行平均池化來構建。更多詳情請參閱 這篇論文。如果未指定，預設為num_attention_heads。 - max_position_embeddings (
int, 可選, 預設為 750) — 此模型可能使用的最大序列長度。通常，為以防萬一設定為一個較大的值（例如 512 或 1024 或 2048）。 - rope_theta (
float, 可選, 預設為 100000.0) — RoPE 嵌入的基週期。 - hidden_act (
str或function, 可選, 預設為"silu") — 解碼器中的非線性啟用函式（函式或字串）。 - head_dim (
int, 可選, 預設為hidden_size // num_attention_heads) — 注意力頭維度。 - initializer_range (
float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的截斷正態初始化器的標準差。 - use_cache (
bool, 可選, 預設為True) — 模型是否應返回最後一個鍵/值注意力（並非所有模型都使用）。僅當config.is_decoder=True時相關。 - sliding_window (
int, 可選, 預設為 375) — 滑動視窗注意力視窗大小。如果未指定，預設為3000。 - attention_dropout (
float, 可選, 預設為 0.0) — 注意力機率的 dropout 比率。 - ffn_dim (
int, 可選, 預設為 11264) — 主解碼器塊中“中間”（通常稱為前饋）層的維度。必須為偶數。 - rms_norm_eps (
float, 可選, 預設為 1e-08) — rms 歸一化層使用的 epsilon 值。 - num_codebooks (
int, 可選, 預設為 32) — 每個音訊通道的音訊編碼本數量。 - audio_bos_token_id (
int, 可選, 預設為 2048) — 編碼本詞元的流起始詞元 ID。 - audio_pad_token_id (
int, 可選, 預設為 69569) — 編碼本詞元的填充詞元 ID。 - tie_word_embeddings (
bool, 可選, 預設為False) — 是否繫結詞嵌入。 - pad_token_id (
int, 可選, 預設為 3) — 填充詞元 ID。 - bos_token_id (
int, 可選, 預設為 48000) — 文字詞元的流起始詞元 ID。 - codec_config (PretrainedConfig, 可選) — 編解碼器的配置。
- kwargs (可選) — 關鍵字引數字典。主要包括：
- audio_encoder_config (PretrainedConfig, 可選) — 定義音訊編碼器配置的配置物件例項。
- depth__config (PretrainedConfig, 可選) — 定義深度解碼器配置的配置物件例項。
這是用於儲存 KyutaiSpeechToTextForConditionalGeneration 配置的配置類。它用於根據指定引數例項化 Kyutai 語音轉文字模型，定義模型架構。使用預設值例項化配置將生成與 2.6b-en 模型類似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請參閱 PretrainedConfig 的文件。
示例
>>> from transformers import KyutaiSpeechToTextConfig, KyutaiSpeechToTextForConditionalGeneration
>>> # Initializing a KyutaiSpeechToTextConfig
>>> configuration = KyutaiSpeechToTextConfig()
>>> # Initializing a model
>>> model = KyutaiSpeechToTextForConditionalGeneration(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configKyutaiSpeechToTextProcessor
構建一個 Moshi ASR 處理器，它將 EncodecFeatureExtractor 和 PreTrainedTokenizerFast 包裝成一個繼承了音訊特徵提取和分詞器功能的單一處理器。有關更多資訊，請參閱 call() 的文件字串。
__call__
< 來源 >( audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], tuple[numpy.ndarray], list['torch.Tensor'], tuple['torch.Tensor'], NoneType] = None **kwargs: typing_extensions.Unpack[transformers.models.kyutai_speech_to_text.processing_kyutai_speech_to_text.KyutaiSpeechToTextProcessorKwargs] ) → BatchFeature
引數
- audio (
np.ndarray,torch.Tensor,list[np.ndarray],list[torch.Tensor]) — 要準備的音訊或批次音訊。每個音訊可以是 NumPy 陣列或 PyTorch 張量。 - return_tensors (
str或 TensorType, 可選) — 如果設定，將返回特定框架的張量。可接受的值有：'tf': 返回 TensorFlowtf.constant物件。'pt': 返回 PyTorchtorch.Tensor物件。'np': 返回 NumPynp.ndarray物件。'jax': 返回 JAXjnp.ndarray物件。
返回
一個具有以下欄位的 BatchFeature
- input_values — 要輸入到模型的音訊值列表。當
audio不為None時返回。 - padding_mask — 指定模型應忽略哪些輸入值的索引列表。
準備要作為輸入提供給模型的主要方法。此方法將 audio 引數轉發給 KyutaiSpeechToTextFeatureExtractor 的 __call__()。請參閱上述方法的文件字串以獲取更多資訊。
KyutaiSpeechToTextFeatureExtractor
class transformers.KyutaiSpeechToTextFeatureExtractor
< 來源 >( feature_size: int = 1 sampling_rate: int = 24000 padding_value: float = 0.0 chunk_length_s: typing.Optional[float] = None overlap: typing.Optional[float] = None audio_delay_seconds: typing.Optional[float] = 0.0 audio_silence_prefix_seconds: typing.Optional[float] = 0.0 **kwargs )
引數
- feature_size (
int, 可選, 預設為 1) — 提取特徵的特徵維度。單聲道使用 1，立體聲使用 2。 - sampling_rate (
int, 可選, 預設為 24000) — 音訊波形應數字化赫茲 (Hz) 表示的取樣率。 - padding_value (
float, optional, 預設為 0.0) — 用於填充的值。 - chunk_length_s (
float, optional) — 如果定義，音訊將被預處理為chunk_length_s長度的塊，然後進行編碼。 - overlap (
float, optional) — 定義每個塊之間的重疊。它用於使用以下公式計算chunk_stride：int((1.0 - self.overlap) * self.chunk_length)。 - audio_delay_seconds (
float, optional, 預設為 0.0) — 在音訊之後（右填充）新增的延遲秒數。 - audio_silence_prefix_seconds (
float, optional, 預設為 0.0) — 在音訊之前（左填充）新增的靜音字首秒數。
構建 KyutaiSpeechToText 特徵提取器。
此特徵提取器繼承自 SequenceFeatureExtractor，其中包含大部分主要方法。使用者應參閱此超類以獲取有關這些方法的更多資訊。
KyutaiSpeechToTextForConditionalGeneration
class transformers.KyutaiSpeechToTextForConditionalGeneration
< source >( config )
引數
- config (KyutaiSpeechToTextForConditionalGeneration) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型關聯的權重，只會載入配置。請檢視 from_pretrained() 方法以載入模型權重。
用於生成基於其他模態（例如影像-文字到文字生成）的 token 的 Kyutai 語音到文字模型。
此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其用作常規 PyTorch Module，並參閱 PyTorch 文件中有關一般使用和行為的所有內容。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[transformers.cache_utils.Cache] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None logits_to_keep: typing.Union[int, torch.Tensor] = 0 **kwargs: typing_extensions.Unpack[transformers.models.kyutai_speech_to_text.modeling_kyutai_speech_to_text.KwargsForCausalLM] ) → transformers.modeling_outputs.CausalLMOutputWithPast or tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor形狀為(batch_size, sequence_length), 可選) — 詞彙表中輸入序列 token 的索引。預設情況下將忽略填充。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor形狀為(batch_size, sequence_length), 可選) — 避免對填充 token 索引執行注意力操作的掩碼。掩碼值選擇在[0, 1]之間：- 1 表示未被掩碼的 token，
- 0 表示被掩碼的 token。
- position_ids (
torch.LongTensor形狀為(batch_size, sequence_length), 可選) — 每個輸入序列 token 在位置嵌入中的位置索引。選擇範圍為[0, config.n_positions - 1]。 - past_key_values (
~cache_utils.Cache, 可選) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼上一階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- Cache 例項，請參閱我們的 kv 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也被稱為傳統快取格式。
模型將輸出與輸入相同的快取格式。如果沒有傳入
past_key_values，則將返回傳統快取格式。如果使用
past_key_values，使用者可以選擇只輸入形狀為(batch_size, 1)的最後一個input_ids（那些沒有將其過去的鍵值狀態提供給此模型的 token），而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (
torch.FloatTensor形狀為(batch_size, sequence_length, hidden_size), 可選) — 可選地，您可以選擇直接傳入嵌入表示，而不是傳入input_ids。如果您希望對input_ids索引如何轉換為關聯向量有比模型內部嵌入查詢矩陣更多的控制，這會很有用。 - labels (
torch.LongTensor形狀為(batch_size, sequence_length), 可選) — 用於計算掩碼語言建模損失的標籤。索引應在[0, ..., config.vocab_size]或 -100 之間（參見input_ids文件字串）。索引設定為-100的 token 將被忽略（掩碼），損失僅針對標籤在[0, ..., config.vocab_size]中的 token 計算。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的hidden_states。 - cache_position (
torch.LongTensor形狀為(sequence_length), 可選) — 描繪輸入序列 token 在序列中位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。 - logits_to_keep (
Union[int, torch.Tensor], 預設為0) — 如果是int，則計算最後logits_to_keep個 token 的 logits。如果是0，則計算所有input_ids的 logits（特殊情況）。生成時只需要最後一個 token 的 logits，只計算該 token 可以節省記憶體，這對於長序列或大詞彙量來說非常重要。如果是torch.Tensor，則必須是 1D，對應於序列長度維度中要保留的索引。這在使用打包張量格式（批次和序列長度的單個維度）時很有用。
返回
transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.CausalLMOutputWithPast 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或 config.return_dict=False）包含各種元素，具體取決於配置（KyutaiSpeechToTextConfig）和輸入。
-
loss (
torch.FloatTensor形狀為(1,)，可選，當提供labels時返回) — 語言建模損失（用於下一個 token 預測）。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
past_key_values (
Cache, 可選, 當傳入use_cache=True或config.use_cache=True時返回) — 它是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預計算的隱藏狀態（自注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（如果模型具有嵌入層，則其中一個用於嵌入輸出，加上每個層的一個輸出）形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個）形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
KyutaiSpeechToTextForConditionalGeneration 的 forward 方法，覆蓋了 __call__ 特殊方法。
雖然前向傳播的配方需要在該函式中定義，但之後應該呼叫 Module 例項而不是這個函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。
示例
>>> import torch
>>> from datasets import load_dataset, Audio
>>> from transformers import KyutaiSpeechToTextProcessor, KyutaiSpeechToTextForConditionalGeneration
>>> torch_device = "cuda" if torch.cuda.is_available() else "cpu"
>>> model_id = "kyutai/stt-2.6b-en-trfs"
>>> processor = KyutaiSpeechToTextProcessor.from_pretrained(model_id)
>>> model = KyutaiSpeechToTextForConditionalGeneration.from_pretrained(model_id, device_map=torch_device)
>>> ds = load_dataset(
... "hf-internal-testing/librispeech_asr_dummy", "clean", split="validation"
... )
>>> ds = ds.cast_column("audio", Audio(sampling_rate=24000))
>>> inputs = processor(
... ds[0]["audio"]["array"],
... )
>>> inputs.to(torch_device)
>>> output_tokens = model.generate(**inputs)
>>> print(processor.batch_decode(output_tokens, skip_special_tokens=True))此方法將其所有引數轉發到 GenerationMixin 的 generate() 方法。請參閱此方法的文件字串以獲取更多資訊。
KyutaiSpeechToTextModel
class transformers.KyutaiSpeechToTextModel
< source >( config )
引數
- config (KyutaiSpeechToTextModel) — 包含模型所有引數的模型配置類。使用配置檔案初始化不會載入與模型關聯的權重，只會載入配置。請檢視 from_pretrained() 方法以載入模型權重。
裸 Kyutai 語音轉文字模型輸出原始隱藏狀態，不帶任何特定頭部。
此模型繼承自 PreTrainedModel。請檢視超類文件，瞭解庫為其所有模型實現的通用方法（例如下載或儲存、調整輸入嵌入大小、修剪頭部等）。
此模型也是 PyTorch torch.nn.Module 子類。將其用作常規 PyTorch Module，並參閱 PyTorch 文件中有關一般使用和行為的所有內容。
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Union[list[torch.FloatTensor], transformers.cache_utils.Cache, NoneType] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)
引數
- input_ids (
torch.LongTensor形狀為(batch_size, sequence_length), 可選) — 詞彙表中輸入序列 token 的索引。預設情況下將忽略填充。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor形狀為(batch_size, sequence_length), 可選) — 避免對填充 token 索引執行注意力操作的掩碼。掩碼值選擇在[0, 1]之間：- 1 表示未被掩碼的 token，
- 0 表示被掩碼的 token。
- position_ids (
torch.LongTensor形狀為(batch_size, sequence_length), 可選) — 每個輸入序列 token 在位置嵌入中的位置索引。選擇範圍為[0, config.n_positions - 1]。 - past_key_values (
Union[list[torch.FloatTensor], ~cache_utils.Cache, NoneType]) — 預計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包括模型在解碼上一階段返回的past_key_values，當use_cache=True或config.use_cache=True時。允許兩種格式：
- Cache 例項，請參閱我們的 kv 快取指南；
- 長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量）。這也被稱為傳統快取格式。
模型將輸出與輸入相同的快取格式。如果沒有傳入
past_key_values，則將返回傳統快取格式。如果使用
past_key_values，使用者可以選擇只輸入形狀為(batch_size, 1)的最後一個input_ids（那些沒有將其過去的鍵值狀態提供給此模型的 token），而不是形狀為(batch_size, sequence_length)的所有input_ids。 - inputs_embeds (
torch.FloatTensor形狀為(batch_size, sequence_length, hidden_size), 可選) — 可選地，您可以選擇直接傳入嵌入表示，而不是傳入input_ids。如果您希望對input_ids索引如何轉換為關聯向量有比模型內部嵌入查詢矩陣更多的控制，這會很有用。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。有關詳細資訊，請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。有關詳細資訊，請參閱返回張量下的hidden_states。 - return_dict (
bool, 可選) — 是否返回 ModelOutput 而不是普通元組。 - cache_position (
torch.LongTensor形狀為(sequence_length), 可選) — 描繪輸入序列 token 在序列中位置的索引。與position_ids不同，此張量不受填充影響。它用於在正確位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.BaseModelOutputWithPast 或一個 torch.FloatTensor 元組（如果傳入 return_dict=False 或 config.return_dict=False）包含各種元素，具體取決於配置（KyutaiSpeechToTextConfig）和輸入。
-
last_hidden_state (
torch.FloatTensor, 形狀為(batch_size, sequence_length, hidden_size)) — 模型最後一層輸出的隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
past_key_values (
Cache, 可選, 當傳入use_cache=True或config.use_cache=True時返回) — 它是一個 Cache 例項。有關更多詳細資訊，請參閱我們的 kv 快取指南。包含預計算的隱藏狀態（自注意力塊中的鍵和值，如果
config.is_encoder_decoder=True則可選地包含交叉注意力塊中的鍵和值），可用於加速順序解碼（參見past_key_values輸入）。 -
hidden_states (
tuple(torch.FloatTensor), 可選, 當傳入output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor元組（如果模型具有嵌入層，則其中一個用於嵌入輸出，加上每個層的一個輸出）形狀為(batch_size, sequence_length, hidden_size)。模型在每個層輸出的隱藏狀態以及可選的初始嵌入輸出。
-
attentions (
tuple(torch.FloatTensor), 可選, 當傳入output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor元組（每個層一個）形狀為(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 後的注意力權重，用於計算自注意力頭中的加權平均值。
KyutaiSpeechToTextModel 的 forward 方法，覆蓋了 __call__ 特殊方法。
雖然前向傳播的配方需要在該函式中定義，但之後應該呼叫 Module 例項而不是這個函式，因為前者負責執行預處理和後處理步驟，而後者則默默地忽略它們。