Transformers 文件
Moonshine
並獲得增強的文件體驗
開始使用
Moonshine
Moonshine 是一個編碼器-解碼器語音識別模型，專為即時轉錄和識別語音命令而最佳化。Moonshine 沒有使用傳統的絕對位置嵌入，而是使用旋轉位置嵌入 (RoPE) 來處理不同長度的語音，無需填充。這提高了推理效率，使其非常適合資源受限的裝置。
你可以在 Useful Sensors 組織下找到所有原始的 Moonshine 檢查點。
點選右側邊欄中的 Moonshine 模型，檢視更多關於如何將 Moonshine 應用於不同語音識別任務的示例。
下面的示例演示瞭如何使用 Pipeline 或 AutoModel 類將語音轉錄為文字。
import torch
from transformers import pipeline
pipeline = pipeline(
task="automatic-speech-recognition",
model="UsefulSensors/moonshine-base",
torch_dtype=torch.float16,
device=0
)
pipeline("https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac")MoonshineConfig
class transformers.MoonshineConfig
< 來源 >( vocab_size = 32768 hidden_size = 288 intermediate_size = 1152 encoder_num_hidden_layers = 6 decoder_num_hidden_layers = 6 encoder_num_attention_heads = 8 decoder_num_attention_heads = 8 encoder_num_key_value_heads = None decoder_num_key_value_heads = None pad_head_dim_to_multiple_of = None encoder_hidden_act = 'gelu' decoder_hidden_act = 'silu' max_position_embeddings = 512 initializer_range = 0.02 decoder_start_token_id = 1 use_cache = True rope_theta = 10000.0 rope_scaling = None partial_rotary_factor = 0.9 is_encoder_decoder = True attention_bias = False attention_dropout = 0.0 bos_token_id = 1 eos_token_id = 2 **kwargs )
引數
- vocab_size (
int, 可選, 預設為 32768) — Moonshine 模型的詞彙表大小。定義了在呼叫 MoonshineModel 時傳入的inputs_ids可以表示的不同詞元的數量。 - hidden_size (
int, 可選, 預設為 288) — 隱藏表示的維度。 - intermediate_size (
int, 可選, 預設為 1152) — MLP 表示的維度。 - encoder_num_hidden_layers (
int, 可選, 預設為 6) — Transformer 編碼器中的隱藏層數量。 - decoder_num_hidden_layers (
int, 可選, 預設為 6) — Transformer 解碼器中的隱藏層數量。 - encoder_num_attention_heads (
int, 可選, 預設為 8) — Transformer 編碼器中每個注意力層的注意力頭數量。 - decoder_num_attention_heads (
int, 可選, 預設為 8) — Transformer 解碼器中每個注意力層的注意力頭數量。 - encoder_num_key_value_heads (
int, 可選) — 這是用於實現分組查詢注意力（Grouped Query Attention）的鍵值頭數量。如果encoder_num_key_value_heads=encoder_num_attention_heads，模型將使用多頭注意力（MHA）；如果encoder_num_key_value_heads=1，模型將使用多查詢注意力（MQA）；否則將使用 GQA。將多頭檢查點轉換為 GQA 檢查點時，每個分組的鍵和值頭應透過對該組內所有原始頭進行均值池化來構建。更多詳情，請查閱這篇論文。如果未指定，將預設為num_attention_heads。 - decoder_num_key_value_heads (
int, 可選) — 這是用於實現分組查詢注意力（Grouped Query Attention）的鍵值頭數量。如果decoder_num_key_value_heads=decoder_num_attention_heads，模型將使用多頭注意力（MHA）；如果decoder_num_key_value_heads=1，模型將使用多查詢注意力（MQA）；否則將使用 GQA。將多頭檢查點轉換為 GQA 檢查點時，每個分組的鍵和值頭應透過對該組內所有原始頭進行均值池化來構建。更多詳情，請查閱這篇論文。如果未指定，將預設為decoder_num_attention_heads。 - pad_head_dim_to_multiple_of (
int, 可選) — 將編碼器和解碼器中的頭維度填充到該值的下一個倍數。對於使用某些最佳化的注意力實現是必需的。 - encoder_hidden_act (
strorfunction, 可選, 預設為"gelu") — 編碼器中的非線性啟用函式（函式或字串）。 - decoder_hidden_act (
strorfunction, 可選, 預設為"silu") — 解碼器中的非線性啟用函式（函式或字串）。 - max_position_embeddings (
int, 可選, 預設為 512) — 該模型可能使用的最大序列長度。 - initializer_range (
float, 可選, 預設為 0.02) — 用於初始化所有權重矩陣的 truncated_normal_initializer 的標準差。 - decoder_start_token_id (
int, 可選, 預設為 1) — 對應於“<|startoftranscript|>”詞元，當未向generate函式提供decoder_input_ids時會自動使用。它用於根據任務指導模型的生成過程。 - use_cache (
bool, 可選, 預設為True) — 模型是否應返回最後一個鍵/值注意力（並非所有模型都使用）。 - rope_theta (
float, 可選, 預設為 10000.0) — RoPE 嵌入的基礎週期。 - rope_scaling (
Dict, 可選) — 包含 RoPE 嵌入縮放配置的字典。注意：如果你應用了新的 RoPE 型別並期望模型能在更長的max_position_embeddings上工作，我們建議你相應地更新此值。預期內容：rope_type(str)：要使用的 RoPE 子變體。可以是 [‘default’, ‘linear’, ‘dynamic’, ‘yarn’, ‘longrope’, ‘llama3’] 之一，其中 ‘default’ 是原始的 RoPE 實現。factor(float, 可選)：除 ‘default’ 外的所有 RoPE 型別都使用。應用於 RoPE 嵌入的縮放因子。在大多數縮放型別中，factor為 x 將使模型能夠處理長度為 x * 原始最大預訓練長度的序列。original_max_position_embeddings(int, 可選)：與 ‘dynamic’、‘longrope’ 和 ‘llama3’ 一起使用。預訓練期間使用的原始最大位置嵌入。attention_factor(float, 可選)：與 ‘yarn’ 和 ‘longrope’ 一起使用。應用於注意力計算的縮放因子。如果未指定，則預設為實現推薦的值，使用factor欄位推斷建議值。beta_fast(float, 可選)：僅與 ‘yarn’ 一起使用。用於設定線性斜坡函式中外推（僅限）邊界的引數。如果未指定，預設為 32。beta_slow(float, 可選)：僅與 ‘yarn’ 一起使用。用於設定線性斜坡函式中內插（僅限）邊界的引數。如果未指定，預設為 1。short_factor(list[float], 可選)：僅與 ‘longrope’ 一起使用。應用於短上下文（<original_max_position_embeddings）的縮放因子。必須是一個數字列表，其長度與隱藏大小除以注意力頭數再除以 2 相同。long_factor(list[float], 可選)：僅與 ‘longrope’ 一起使用。應用於長上下文（>original_max_position_embeddings）的縮放因子。必須是一個數字列表，其長度與隱藏大小除以注意力頭數再除以 2 相同。low_freq_factor(float, 可選)：僅與 ‘llama3’ 一起使用。應用於 RoPE 低頻分量的縮放因子。high_freq_factor(float, 可選)：僅與 ‘llama3’ 一起使用。應用於 RoPE 高頻分量的縮放因子。 - partial_rotary_factor (
float, 可選, 預設為 0.9) — 將應用旋轉嵌入的查詢和鍵的百分比。 - is_encoder_decoder (
bool, 可選, 預設為True) — 模型是否用作編碼器/解碼器。 - attention_bias (
bool, 可選, 預設為False) — 在自注意力期間是否在查詢、鍵、值和輸出投影層中使用偏置。 - attention_dropout (
float, 可選, 預設為 0.0) — 注意力機率的丟棄率。 - bos_token_id (
int, 可選, 預設為 1) — 表示序列開始的詞元 ID。 - eos_token_id (
int, 可選, 預設為 2) — 表示序列結束的詞元 ID。
這是用於儲存 MoonshineModel 配置的配置類。它用於根據指定的引數例項化 Moonshine 模型，定義模型架構。使用預設值例項化配置將產生與 Moonshine UsefulSensors/moonshine-tiny 類似的配置。
配置物件繼承自 PretrainedConfig，可用於控制模型輸出。有關更多資訊，請閱讀 PretrainedConfig 的文件。
示例
>>> from transformers import MoonshineModel, MoonshineConfig
>>> # Initializing a Moonshine style configuration
>>> configuration = MoonshineConfig().from_pretrained("UsefulSensors/moonshine-tiny")
>>> # Initializing a model from the configuration
>>> model = MoonshineModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configMoonshineModel
class transformers.MoonshineModel
< 來源 >( config: MoonshineConfig )
引數
- config (MoonshineConfig) — 包含模型所有引數的模型配置類。用配置檔案初始化不會載入與模型相關的權重，只加載配置。請檢視 from_pretrained() 方法來載入模型權重。
基礎的 Moonshine 模型，輸出原始的隱藏狀態，頂部沒有任何特定的頭。
該模型繼承自 PreTrainedModel。請查閱超類文件以瞭解該庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭等）。
該模型也是一個 PyTorch torch.nn.Module 子類。可以像常規的 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< 來源 >( input_values: typing.Optional[torch.FloatTensor] = None attention_mask: typing.Optional[torch.LongTensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None encoder_outputs: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None past_key_values: typing.Union[transformers.cache_utils.EncoderDecoderCache, tuple[torch.FloatTensor], NoneType] = None decoder_inputs_embeds: typing.Optional[tuple[torch.FloatTensor]] = None decoder_position_ids: typing.Optional[tuple[torch.LongTensor]] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.Seq2SeqModelOutput or tuple(torch.FloatTensor)
引數
- input_values (
torch.FloatTensor，形狀為(batch_size, audio_length)) — 原始語音波形的浮點值。原始語音波形可以透過將.flac或.wav音訊檔案載入到list[float]型別的陣列或numpy.ndarray中獲得，例如透過 soundfile 庫（pip install soundfile）。為了將陣列準備成input_values，應使用 AutoFeatureExtractor 進行填充並轉換為torch.FloatTensor型別的張量。 - attention_mask (
torch.LongTensor，形狀為(batch_size, sequence_length), 可選) — 用於避免對填充詞元索引執行注意力的掩碼。掩碼值在[0, 1]中選擇：- 1 表示詞元未被掩碼，
- 0 表示詞元已被掩碼。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列詞元的索引。如果您提供填充，預設情況下將被忽略。可以使用 AutoTokenizer 獲取索引。有關詳細資訊，請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- decoder_attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力計算的掩碼。掩碼值的選擇範圍是[0, 1]：- 1 表示標記未被掩碼，
- 0 表示標記已被掩碼。
索引可以使用 AutoTokenizer 獲取。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
如果使用
past_key_values，可以選擇只輸入最後的decoder_input_ids（參見past_key_values）。如果你想改變填充行為，你應該閱讀
modeling_opt._prepare_decoder_attention_mask並根據你的需要進行修改。有關預設策略的更多資訊，請參閱論文中的圖 1。- 1 表示注意力頭未被掩碼，
- 0 表示注意力頭已被掩碼。
- encoder_outputs (
tuple[tuple[torch.FloatTensor]], 可選) — 元組，包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)。last_hidden_state的形狀為(batch_size, sequence_length, hidden_size)，可選）是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。 - past_key_values (
Union[~cache_utils.EncoderDecoderCache, tuple[torch.FloatTensor], NoneType]) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包含在解碼的前一個階段，當use_cache=True或config.use_cache=True時，由模型返回的past_key_values。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 一個長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量。這也被稱為傳統快取格式。
模型將輸出與輸入相同的快取格式。如果沒有傳遞
past_key_values，將返回傳統快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後的input_ids（那些沒有提供其過去鍵值狀態給此模型的 `input_ids`），形狀為(batch_size, 1)，而不是所有形狀為(batch_size, sequence_length)的input_ids。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞decoder_input_ids。如果你希望對如何將decoder_input_ids索引轉換為相關向量有比模型內部嵌入查詢矩陣更多的控制，這會非常有用。 - decoder_position_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 每個輸入序列標記在位置嵌入中的位置索引。選擇範圍在[0, config.n_positions - 1]。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。更多細節請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。更多細節請參閱返回張量下的hidden_states。 - cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 表示輸入序列標記在序列中的位置的索引。與position_ids相反，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。
返回
transformers.modeling_outputs.Seq2SeqModelOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqModelOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），根據配置 (MoonshineConfig) 和輸入包含各種元素。
-
last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)) — 模型解碼器最後一層輸出的隱藏狀態序列。如果使用了
past_key_values，則只輸出形狀為(batch_size, 1, hidden_size)的序列的最後一個隱藏狀態。 -
past_key_values (
EncoderDecoderCache, 可選, 當傳遞use_cache=True或config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。更多細節，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每個層輸出的隱藏狀態，加上可選的初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
MoonshineModel 的前向方法，重寫了 __call__ 特殊方法。
雖然前向傳播的流程需要在此函式中定義，但之後應該呼叫 Module 例項而不是此函式，因為前者會負責執行預處理和後處理步驟，而後者會靜默地忽略它們。
示例
>>> import torch
>>> from transformers import AutoFeatureExtractor, MoonshineModel
>>> from datasets import load_dataset
>>> model = MoonshineModel.from_pretrained("UsefulSensors/moonshine-tiny")
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("UsefulSensors/moonshine-tiny")
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> inputs = feature_extractor(ds[0]["audio"]["array"], return_tensors="pt")
>>> input_values = inputs.input_values
>>> decoder_input_ids = torch.tensor([[1, 1]]) * model.config.decoder_start_token_id
>>> last_hidden_state = model(input_values, decoder_input_ids=decoder_input_ids).last_hidden_state
>>> list(last_hidden_state.shape)
[1, 2, 288]_mask_input_features
< 原始碼 >( input_features: FloatTensor attention_mask: typing.Optional[torch.LongTensor] = None )
根據 SpecAugment 沿時間軸和/或特徵軸對提取的特徵進行掩碼。
MoonshineForConditionalGeneration
class transformers.MoonshineForConditionalGeneration
< 原始碼 >( config: MoonshineConfig )
引數
- config (MoonshineConfig) — 包含模型所有引數的模型配置類。使用配置檔案進行初始化不會載入與模型相關的權重，只會載入配置。請檢視 from_pretrained() 方法來載入模型權重。
帶有語言模型頭的 Moonshine 模型。可用於自動語音識別。
該模型繼承自 PreTrainedModel。請查閱超類文件以瞭解該庫為其所有模型實現的通用方法（如下載或儲存、調整輸入嵌入大小、修剪頭等）。
該模型也是一個 PyTorch torch.nn.Module 子類。可以像常規的 PyTorch 模組一樣使用它，並參考 PyTorch 文件瞭解所有與通用用法和行為相關的事項。
forward
< 原始碼 >( input_values: typing.Optional[torch.FloatTensor] = None attention_mask: typing.Optional[torch.LongTensor] = None decoder_input_ids: typing.Optional[torch.LongTensor] = None decoder_attention_mask: typing.Optional[torch.LongTensor] = None encoder_outputs: typing.Optional[tuple[tuple[torch.FloatTensor]]] = None past_key_values: typing.Union[transformers.cache_utils.EncoderDecoderCache, tuple[torch.FloatTensor], NoneType] = None decoder_inputs_embeds: typing.Optional[tuple[torch.FloatTensor]] = None decoder_position_ids: typing.Optional[tuple[torch.LongTensor]] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None labels: typing.Optional[torch.LongTensor] = None ) → transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
引數
- input_values (
torch.FloatTensor，形狀為(batch_size, audio_length)) — 原始語音波形的浮點數值。可以透過將.flac或.wav音訊檔案載入到list[float]或numpy.ndarray型別的陣列中來獲取原始語音波形，例如透過 soundfile 庫（pip install soundfile）。為了將陣列準備成input_values，應使用 AutoFeatureExtractor 進行填充並轉換為torch.FloatTensor型別的張量。 - attention_mask (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力計算的掩碼。掩碼值的選擇範圍是[0, 1]：- 1 表示標記未被掩碼，
- 0 表示標記已被掩碼。
- decoder_input_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)) — 詞彙表中輸入序列標記的索引。如果你提供了填充，預設情況下將被忽略。索引可以使用 AutoTokenizer 獲取。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
- decoder_attention_mask (
torch.Tensor，形狀為(batch_size, sequence_length)，可選) — 用於避免對填充標記索引執行注意力計算的掩碼。掩碼值的選擇範圍是[0, 1]：- 1 表示標記未被掩碼，
- 0 表示標記已被掩碼。
索引可以使用 AutoTokenizer 獲取。詳情請參閱 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。
如果使用
past_key_values，可以選擇只輸入最後的decoder_input_ids（參見past_key_values）。如果你想改變填充行為，你應該閱讀
modeling_opt._prepare_decoder_attention_mask並根據你的需要進行修改。有關預設策略的更多資訊，請參閱論文中的圖 1。- 1 表示注意力頭未被掩碼，
- 0 表示注意力頭已被掩碼。
- encoder_outputs (
tuple[tuple[torch.FloatTensor]], 可選) — 元組，包含 (last_hidden_state, 可選:hidden_states, 可選:attentions)。last_hidden_state的形狀為(batch_size, sequence_length, hidden_size)，可選）是編碼器最後一層輸出的隱藏狀態序列。用於解碼器的交叉注意力機制。 - past_key_values (
Union[~cache_utils.EncoderDecoderCache, tuple[torch.FloatTensor], NoneType]) — 預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於加速順序解碼。這通常包含在解碼的前一個階段，當use_cache=True或config.use_cache=True時，由模型返回的past_key_values。允許兩種格式：
- 一個 Cache 例項，請參閱我們的 kv 快取指南；
- 一個長度為
config.n_layers的tuple(torch.FloatTensor)元組，每個元組包含 2 個形狀為(batch_size, num_heads, sequence_length, embed_size_per_head)的張量。這也被稱為傳統快取格式。
模型將輸出與輸入相同的快取格式。如果沒有傳遞
past_key_values，將返回傳統快取格式。如果使用
past_key_values，使用者可以選擇只輸入最後的input_ids（那些沒有提供其過去鍵值狀態給此模型的 `input_ids`），形狀為(batch_size, 1)，而不是所有形狀為(batch_size, sequence_length)的input_ids。 - decoder_inputs_embeds (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 可選地，你可以選擇直接傳遞嵌入表示，而不是傳遞decoder_input_ids。如果你希望對如何將decoder_input_ids索引轉換為相關向量有比模型內部嵌入查詢矩陣更多的控制，這會非常有用。 - decoder_position_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 每個輸入序列標記在位置嵌入中的位置索引。選擇範圍在[0, config.n_positions - 1]。 - use_cache (
bool, 可選) — 如果設定為True，將返回past_key_values鍵值狀態，可用於加速解碼（參見past_key_values）。 - output_attentions (
bool, 可選) — 是否返回所有注意力層的注意力張量。更多細節請參閱返回張量下的attentions。 - output_hidden_states (
bool, 可選) — 是否返回所有層的隱藏狀態。更多細節請參閱返回張量下的hidden_states。 - cache_position (
torch.LongTensor，形狀為(sequence_length)，可選) — 表示輸入序列標記在序列中的位置的索引。與position_ids相反，此張量不受填充影響。它用於在正確的位置更新快取並推斷完整的序列長度。 - labels (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 用於計算語言模型損失的標籤。索引應在[0, ..., config.vocab_size]或 -100 之間（參見input_ids文件字串）。索引設定為-100的標記將被忽略（掩碼），損失僅對標籤在[0, ..., config.vocab_size]範圍內的標記計算。
返回
transformers.modeling_outputs.Seq2SeqLMOutput 或 tuple(torch.FloatTensor)
一個 transformers.modeling_outputs.Seq2SeqLMOutput 或一個 torch.FloatTensor 的元組（如果傳遞了 return_dict=False 或當 config.return_dict=False 時），根據配置 (MoonshineConfig) 和輸入包含各種元素。
-
loss (
torch.FloatTensor，形狀為(1,)，可選，當提供labels時返回) — 語言建模損失。 -
logits (形狀為
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 語言建模頭部的預測分數（SoftMax 之前的每個詞彙標記的分數）。 -
past_key_values (
EncoderDecoderCache, 可選, 當傳遞use_cache=True或config.use_cache=True時返回) — 這是一個 EncoderDecoderCache 例項。更多細節，請參閱我們的 kv 快取指南。包含預先計算的隱藏狀態（自注意力塊和交叉注意力塊中的鍵和值），可用於（參見
past_key_values輸入）加速順序解碼。 -
decoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。解碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
decoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
-
cross_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。解碼器交叉注意力層的注意力權重，在注意力 softmax 之後，用於計算交叉注意力頭中的加權平均。
-
encoder_last_hidden_state (
torch.FloatTensor，形狀為(batch_size, sequence_length, hidden_size)，可選) — 模型編碼器最後一層輸出的隱藏狀態序列。 -
encoder_hidden_states (
tuple(torch.FloatTensor), 可選, 當傳遞output_hidden_states=True或config.output_hidden_states=True時返回) —torch.FloatTensor的元組（一個用於嵌入層的輸出，如果模型有嵌入層，+ 一個用於每層的輸出），形狀為(batch_size, sequence_length, hidden_size)。編碼器在每一層輸出時的隱藏狀態以及初始嵌入輸出。
-
encoder_attentions (
tuple(torch.FloatTensor), 可選, 當傳遞output_attentions=True或config.output_attentions=True時返回) —torch.FloatTensor的元組（每層一個），形狀為(batch_size, num_heads, sequence_length, sequence_length)。編碼器的注意力權重，在注意力 softmax 之後，用於計算自注意力頭中的加權平均。
MoonshineForConditionalGeneration 的前向方法，重寫了 __call__ 特殊方法。
雖然前向傳播的流程需要在此函式中定義，但之後應該呼叫 Module 例項而不是此函式，因為前者會負責執行預處理和後處理步驟，而後者會靜默地忽略它們。
示例
>>> import torch
>>> from transformers import AutoProcessor, MoonshineForConditionalGeneration
>>> from datasets import load_dataset
>>> processor = AutoProcessor.from_pretrained("UsefulSensors/moonshine-tiny")
>>> model = MoonshineForConditionalGeneration.from_pretrained("UsefulSensors/moonshine-tiny")
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> inputs = processor(ds[0]["audio"]["array"], return_tensors="pt")
>>> input_values = inputs.input_values
>>> generated_ids = model.generate(input_values, max_new_tokens=100)
>>> transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
>>> transcription
'Mr. Quilter is the apostle of the middle classes, and we are glad to welcome his gospel.'生成
< 原始碼 >( inputs: typing.Optional[torch.Tensor] = None generation_config: typing.Optional[transformers.generation.configuration_utils.GenerationConfig] = None logits_processor: typing.Optional[transformers.generation.logits_process.LogitsProcessorList] = None stopping_criteria: typing.Optional[transformers.generation.stopping_criteria.StoppingCriteriaList] = None prefix_allowed_tokens_fn: typing.Optional[typing.Callable[[int, torch.Tensor], list[int]]] = None synced_gpus: typing.Optional[bool] = None assistant_model: typing.Optional[ForwardRef('PreTrainedModel')] = None streamer: typing.Optional[ForwardRef('BaseStreamer')] = None negative_prompt_ids: typing.Optional[torch.Tensor] = None negative_prompt_attention_mask: typing.Optional[torch.Tensor] = None use_model_defaults: typing.Optional[bool] = None custom_generate: typing.Optional[str] = None **kwargs ) → ModelOutput 或 torch.LongTensor
引數
- inputs (
torch.Tensor，形狀因模態而異，可選) — 用作生成提示或編碼器模型輸入的序列。如果為None，該方法會用bos_token_id和批大小為 1 來初始化它。對於僅解碼器模型，inputs應為input_ids格式。對於編碼器-解碼器模型，inputs 可以表示input_ids、input_values、input_features或pixel_values中的任何一種。 - generation_config (GenerationConfig, 可選) — 用於生成呼叫的基礎引數化的生成配置。傳遞給 generate 的與
generation_config屬性匹配的**kwargs將覆蓋它們。如果未提供generation_config，將使用預設配置，其載入優先順序如下：1) 從generation_config.json模型檔案（如果存在）；2) 從模型配置。請注意，未指定的引數將繼承 GenerationConfig 的預設值，應查閱其文件以引數化生成過程。 - logits_processor (
LogitsProcessorList, 可選) — 自定義 logits 處理器，補充從引數和生成配置中構建的預設 logits 處理器。如果傳遞的 logit 處理器已經透過引數或生成配置建立，則會丟擲錯誤。此功能適用於高階使用者。 - stopping_criteria (
StoppingCriteriaList, 可選) — 自定義停止標準，補充從引數和生成配置中構建的預設停止標準。如果傳遞的停止標準已經透過引數或生成配置建立，則會丟擲錯誤。如果你的停止標準依賴於scores輸入，請確保向generate傳遞return_dict_in_generate=True, output_scores=True。此功能適用於高階使用者。 - prefix_allowed_tokens_fn (
Callable[[int, torch.Tensor], list[int]], 可選) — 如果提供，此函式將在每一步將束搜尋限制為僅允許的標記。如果未提供，則不應用任何約束。此函式接受 2 個引數：批次 IDbatch_id和input_ids。它必須返回一個列表，其中包含根據批次 IDbatch_id和先前生成的標記inputs_ids條件下的下一個生成步驟允許的標記。此引數對於基於字首的約束生成非常有用，如 Autoregressive Entity Retrieval 中所述。 - synced_gpus (
bool, 可選) — 是否繼續執行 while 迴圈直到達到 max_length。除非被覆蓋，否則在使用具有多個 GPU 的FullyShardedDataParallel或 DeepSpeed ZeRO Stage 3 時，此標誌將設定為True，以避免在一個 GPU 完成生成而其他 GPU 未完成時發生死鎖。否則，預設為False。 - assistant_model (
PreTrainedModel, 可選) — 可用於加速生成的輔助模型。輔助模型必須具有完全相同的分詞器。當使用輔助模型預測候選標記比使用你正在呼叫 generate 的模型進行生成快得多時，可以實現加速。因此，輔助模型應該小得多。 - streamer (
BaseStreamer, 可選) — 用於流式傳輸生成序列的 Streamer 物件。生成的標記透過streamer.put(token_ids)傳遞，streamer 負責任何進一步的處理。 - negative_prompt_ids (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) — 某些處理器（如 CFG）所需的負面提示。批次大小必須與輸入批次大小匹配。這是一個實驗性功能，未來版本中可能會有破壞性的 API 變更。 - negative_prompt_attention_mask (
torch.LongTensor，形狀為(batch_size, sequence_length)，可選) —negative_prompt_ids的注意力掩碼。 - use_model_defaults (
bool, 可選) — 當為True時，generation_config中未設定的引數將被設定為模型特定的預設生成配置 (model.generation_config)，而不是全域性預設值 (GenerationConfig())。如果未設定，從v4.50開始儲存的模型將認為此標誌為True。 - custom_generate (
str, 可選) — 包含 huggingface.co 倉庫名稱的字串。如果提供，將執行該倉庫的custom_generate/generate.py檔案中定義的自定義generate函式，而不是標準的generate方法。請注意，生成邏輯完全在該倉庫中定義，返回型別可能與標準的generate方法不同。 - kwargs (
dict[str, Any], 可選) —generation_config的臨時引數化和/或將轉發到模型forward函式的其他模型特定 kwargs。如果模型是編碼器-解碼器模型，編碼器特定的 kwargs 不應有字首，解碼器特定的 kwargs 應以 decoder_ 為字首。
返回
ModelOutput 或 torch.LongTensor
一個 ModelOutput（如果 return_dict_in_generate=True 或 config.return_dict_in_generate=True）或一個 torch.LongTensor。
如果模型不是編碼器-解碼器模型（model.config.is_encoder_decoder=False），則可能的 ModelOutput 型別為
如果模型是編碼器-解碼器模型（model.config.is_encoder_decoder=True），則可能的 ModelOutput 型別為
為具有語言建模頭的模型生成詞元 ID 序列。
大多數控制生成的引數都在 generation_config 中設定，如果未傳遞，將設定為模型的預設生成配置。你可以透過將相應引數傳遞給 generate() 來覆蓋任何 generation_config，例如 .generate(inputs, num_beams=4, do_sample=True)。
有關生成策略和程式碼示例的概述，請查閱以下指南。