控制輸出長度的引數

• max_length (int, 可選, 預設為 20) — 生成的標記的最大長度。對應於輸入提示的長度 + max_new_tokens。如果也設定了 max_new_tokens，則其效果將被覆蓋。
• max_new_tokens (int, 可選) — 要生成的最大標記數，忽略提示中的標記數。
• min_length (int, 可選, 預設為 0) — 要生成的序列的最小長度。對應於輸入提示的長度 + min_new_tokens。如果也設定了 min_new_tokens，則其效果將被覆蓋。
• min_new_tokens (int, 可選) — 要生成的最小標記數，忽略提示中的標記數。
• early_stopping (bool 或 str, 可選, 預設為 False) — 控制基於束的方法（如束搜尋）的停止條件。它接受以下值：True，生成在有 num_beams 個完整候選時立即停止；False，應用啟發式方法，當找到更好候選的可能性很小時停止生成；"never"，束搜尋過程僅在無法找到更好候選時停止（規範束搜尋演算法）。
• max_time (float, 可選) — 您允許計算執行的最長時間（秒）。生成仍將在分配時間過後完成當前傳遞。
• stop_strings (str 或 list[str], 可選) — 如果模型輸出這些字串，則應終止生成的字串或字串列表。

控制所用生成策略的引數

• do_sample (bool, 可選, 預設為 False) — 是否使用取樣；否則使用貪婪解碼。
• num_beams (int, 可選, 預設為 1) — 束搜尋的束數。1 表示沒有束搜尋。
• num_beam_groups (int, 可選, 預設為 1) — 將 num_beams 分成組的數量，以確保不同束組之間的多樣性。有關更多詳細資訊，請參閱這篇論文。
• penalty_alpha (float, 可選) — 對比搜尋解碼中用於平衡模型置信度和退化懲罰的值。
• dola_layers (str 或 list[int], 可選) — 用於DoLa解碼的層。如果為 None，則不使用DoLa解碼。如果為字串，則必須是“low”或“high”之一，分別表示使用模型層的前半部分或後半部分。“low”表示前20層的前半部分，而“high”表示後20層的後半部分。如果為整數列表，則必須包含用於DoLa中候選過早層的層索引。第0層是模型的詞嵌入層。設定為 'low' 可改善長答案推理任務，設定為 'high' 可改善短答案任務。有關更多詳細資訊，請檢視文件或論文。

控制快取的引數

• use_cache (bool, 可選, 預設為 True) — 模型是否應使用過去的鍵/值注意力（如果適用於模型）來加快解碼速度。
• cache_implementation (str, 可選, 預設為 None) — 在 generate 中例項化的快取類的名稱，用於加快解碼速度。可能的值有：
  • "dynamic": DynamicCache
  • "static": StaticCache
  • "offloaded_static": OffloadedStaticCache
  • "sliding_window": SlidingWindowCache
  • "hybrid": HybridCache
  • "mamba": MambaCache
  • "quantized": QuantizedCache

  如果未指定，我們將使用模型的預設快取（通常是 DynamicCache）。有關更多資訊，請參閱我們的快取文件。

• cache_config (CacheConfig 或 dict, 可選, 預設為 None) — 用於鍵值快取類的引數可以透過 cache_config 傳入。可以作為 Dict 傳入，它將在內部轉換為相應的 CacheConfig。否則，可以作為與指定 cache_implementation 匹配的 CacheConfig 類傳入。
• return_legacy_cache (bool, 可選, 預設為 True) — 預設使用 DynamicCache 時是否返回舊版或新格式的快取。

模型輸出 logits 操作引數

• temperature (float, 可選, 預設為 1.0) — 用於調整下一個標記機率的值。此值在模型的 generation_config.json 檔案中設定。如果未設定，預設值為 1.0。
• top_k (int, 可選, 預設為 50) — 為 top-k 過濾保留的最高機率詞彙標記數。此值在模型的 generation_config.json 檔案中設定。如果未設定，預設值為 50。
• top_p (float, 可選, 預設為 1.0) — 如果設定為浮點數 < 1，則僅保留機率之和為 top_p 或更高的最小機率詞彙標記集用於生成。此值在模型的 generation_config.json 檔案中設定。如果未設定，預設值為 1.0。
• min_p (float, 可選) — 最小標記機率，將按最可能標記的機率進行縮放。它必須是 0 到 1 之間的值。典型值在 0.01-0.2 範圍內，與將 top_p 設定在 0.99-0.8 範圍內具有可比的選擇性（使用與正常 top_p 值相反的值）。
• typical_p (float, 可選, 預設為 1.0) — 區域性典型性衡量了給定已生成的部分文字，預測下一個目標標記的條件機率與預測下一個隨機標記的預期條件機率的相似程度。如果設定為浮點數 < 1，則保留最小的區域性典型標記集，其機率之和為 typical_p 或更高，用於生成。有關更多詳細資訊，請參閱這篇論文。
• epsilon_cutoff (float, 可選, 預設為 0.0) — 如果設定為嚴格介於 0 和 1 之間的浮點數，則僅對條件機率大於 epsilon_cutoff 的標記進行取樣。在論文中，建議的值範圍為 3e-4 到 9e-4，具體取決於模型的大小。有關更多詳細資訊，請參閱截斷取樣作為語言模型去平滑化。
• eta_cutoff (float, 可選, 預設為 0.0) — Eta 取樣是區域性典型取樣和 epsilon 取樣的混合。如果設定為嚴格介於 0 和 1 之間的浮點數，則僅當標記大於 eta_cutoff 或 sqrt(eta_cutoff) * exp(-entropy(softmax(next_token_logits))) 時才考慮該標記。後一項直觀地表示預期下一個標記機率，按 sqrt(eta_cutoff) 縮放。在論文中，建議的值範圍為 3e-4 到 2e-3，具體取決於模型的大小。有關更多詳細資訊，請參閱截斷取樣作為語言模型去平滑化。
• diversity_penalty (float, 可選, 預設為 0.0) — 如果光束在某個特定時間生成與其他組中的任何光束相同的標記，則從該光束的分數中減去此值。請注意，diversity_penalty 僅在啟用 group beam search 時有效。
• repetition_penalty (float, 可選, 預設為 1.0) — 重複懲罰的引數。1.0 表示無懲罰。有關更多詳細資訊，請參閱這篇論文。
• encoder_repetition_penalty (float, 可選, 預設為 1.0) — 編碼器重複懲罰的引數。對不在原始輸入中的序列進行指數懲罰。1.0 表示無懲罰。
• length_penalty (float, 可選, 預設為 1.0) — 對基於束的生成使用的長度進行指數懲罰。它以序列長度的指數形式應用，然後用於除以序列的分數。由於分數是序列的對數似然（即負值），因此 length_penalty > 0.0 促進較長序列，而 length_penalty < 0.0 鼓勵較短序列。
• no_repeat_ngram_size (int, 可選, 預設為 0) — 如果設定為大於 0 的整數，則該大小的所有 n-gram 只能出現一次。
• bad_words_ids (list[list[int]], 可選) — 不允許生成的標記 ID 列表的列表。有關更多文件和示例，請檢視NoBadWordsLogitsProcessor。
• force_words_ids (list[list[int]] 或 list[list[list[int]]], 可選) — 必須生成的標記 ID 列表。如果給定 list[list[int]]，則將其視為必須包含的單詞的簡單列表，與 bad_words_ids 相反。如果給定 list[list[list[int]]]，則會觸發不相交約束，其中可以允許每個單詞的不同形式。
• renormalize_logits (bool, 可選, 預設為 False) — 是否在應用所有 logits 處理器（包括自定義處理器）後重新規範化 logits。強烈建議將此標誌設定為 True，因為搜尋演算法假設分數 logits 已規範化，但某些 logits 處理器會破壞規範化。
• constraints (list[Constraint], 可選) — 可以新增到生成中的自定義約束，以確保輸出將以最合理的方式包含 Constraint 物件定義的某些標記的使用。
• forced_bos_token_id (int, 可選, 預設為 model.config.forced_bos_token_id) — 在 decoder_start_token_id 之後強制作為第一個生成標記的標記 ID。對於像 mBART 這樣的多語言模型很有用，其中第一個生成的標記需要是目標語言標記。
• forced_eos_token_id (int 或 list[int], *可選*, 預設為 model.config.forced_eos_token_id) -- 達到 max_length` 時強制作為最後一個生成標記的標記 ID。可選地，使用列表來設定多個序列結束標記。
• remove_invalid_values (bool, 可選, 預設為 model.config.remove_invalid_values) — 是否移除模型可能存在的 nan 和 inf 輸出，以防止生成方法崩潰。請注意，使用 remove_invalid_values 可能會減慢生成速度。
• exponential_decay_length_penalty (tuple(int, float), 可選) — 此元組在生成一定數量的標記後新增指數遞增的長度懲罰。元組應包含：(start_index, decay_factor)，其中 start_index 指示懲罰開始的位置，decay_factor 表示指數衰減的因子。
• suppress_tokens (list[int], 可選) — 在生成時將被抑制的標記列表。SupressTokens logit 處理器將它們的對數機率設定為 -inf，以便它們不被取樣。
• begin_suppress_tokens (list[int], 可選) — 在生成開始時將被抑制的標記列表。SupressBeginTokens logit 處理器將它們的對數機率設定為 -inf，以便它們不被取樣。
• sequence_bias (dict[tuple[int], float], 可選)) — 將標記序列對映到其偏差項的字典。正偏差會增加序列被選擇的機率，而負偏差則相反。有關更多文件和示例，請檢視SequenceBiasLogitsProcessor。
• token_healing (bool, 可選, 預設為 False) — 透過將提示的尾部標記替換為其適當的擴充套件來修復提示的尾部標記。這可以提高受貪婪分詞偏差影響的提示的完成質量。
• guidance_scale (float, 可選) — 用於無分類器引導 (CFG) 的引導比例。透過設定 guidance_scale > 1 啟用 CFG。更高的引導比例會鼓勵模型生成與輸入提示更緊密相關的樣本，通常以犧牲較差質量為代價。
• low_memory (bool, 可選) — 切換到順序束搜尋和順序 topk，用於對比搜尋以減少峰值記憶體。與束搜尋和對比搜尋一起使用。
• watermarking_config (BaseWatermarkingConfig 或 dict, 可選) — 透過對隨機選擇的“綠色”標記集新增少量偏差來為模型輸出加水印的引數。有關更多詳細資訊，請參閱 SynthIDTextWatermarkingConfig 和 WatermarkingConfig 的文件。如果作為 Dict 傳入，它將在內部轉換為 WatermarkingConfig。

定義生成輸出變數的引數

• num_return_sequences (int, optional, 預設為 1) — 批次中每個元素獨立計算的返回序列的數量。
• output_attentions (bool, optional, 預設為 False) — 是否返回所有注意力層的注意力張量。更多詳細資訊請參閱返回張量中的 attentions。
• output_hidden_states (bool, optional, 預設為 False) — 是否返回所有層的隱藏狀態。更多詳細資訊請參閱返回張量中的 hidden_states。
• output_scores (bool, optional, 預設為 False) — 是否返回預測分數。更多詳細資訊請參閱返回張量中的 scores。
• output_logits (bool, optional) — 是否返回未經處理的預測對數分數。更多詳細資訊請參閱返回張量中的 logits。
• return_dict_in_generate (bool, optional, 預設為 False) — 是否返回 ModelOutput 物件，而不是僅返回生成的序列。要返回生成快取（當 use_cache 為 True 時）或可選輸出（請參閱以 output_ 開頭的標誌），此標誌必須設定為 True。

生成時可以使用的特殊標記

• pad_token_id (int, optional) — 填充標記的 ID。
• bos_token_id (int, optional) — 序列開始標記的 ID。
• eos_token_id (Union[int, list[int]], optional) — 序列結束標記的 ID。可選地，可以使用列表來設定多個序列結束標記。

編碼器-解碼器模型獨有的生成引數

• encoder_no_repeat_ngram_size (int, optional, 預設為 0) — 如果設定為大於 0 的整數，則 encoder_input_ids 中出現的所有該大小的 n-gram 都不能出現在 decoder_input_ids 中。
• decoder_start_token_id (int or list[int], optional) — 如果編碼器-解碼器模型以與 bos 不同的標記開始解碼，則此標記的 ID 或長度為 batch_size 的列表。指定列表可以為批次中的每個元素設定不同的起始 ID（例如，在一個批次中使用不同目標語言的多語言模型）。

與輔助生成相關的引數

• is_assistant (bool, optional, 預設為 False) — 模型是否為輔助（草稿）模型。
• num_assistant_tokens (int, optional, 預設為 20) — 定義了輔助模型在每次迭代中被目標模型檢查之前應生成的推測性標記的數量。num_assistant_tokens 的值越高，生成越具有推測性：如果輔助模型效能良好，可以實現更大的加速；如果輔助模型需要大量校正，則加速較小。
• num_assistant_tokens_schedule (str, optional, 預設為 "constant") — 定義了在推理過程中最大輔助標記將如何變化的排程。
  • "heuristic"：當所有推測性標記都正確時，將 num_assistant_tokens 增加 2，否則減少 1。num_assistant_tokens 的值在多次使用相同輔助模型的生成呼叫中保持不變。
  • "heuristic_transient"：與 "heuristic" 相同，但每次生成呼叫後，num_assistant_tokens 會重置為其初始值。
  • "constant"：在生成過程中 num_assistant_tokens 保持不變。
• assistant_confidence_threshold (float, optional, 預設為 0.4) — 輔助模型的置信度閾值。如果輔助模型對其當前標記的預測置信度低於此閾值，則輔助模型將停止當前標記生成迭代，即使尚未達到推測性標記的數量（由 num_assistant_tokens 定義）。輔助模型的置信度閾值在整個推測迭代過程中進行調整，以減少不必要的草稿和目標前向傳播次數，偏向於避免假陰性。assistant_confidence_threshold 的值在多次使用相同輔助模型的生成呼叫中保持不變。它是《動態推測提前加速大型語言模型推測性解碼》https://huggingface.co/papers/2405.04304 中動態推測提前的無監督版本。
• prompt_lookup_num_tokens (int, optional) — 要作為候選標記輸出的標記數量。
• max_matching_ngram_size (int, optional) — 用於在提示中匹配的最大 n-gram 大小。如果未提供，預設為 2。
• assistant_early_exit(int, optional) — 如果設定為正整數，模型將用作輔助模型時將使用提前退出。只能與支援提前退出（即中間層 logits 可以由 LM head 解釋的模型）的模型一起使用。
• assistant_lookbehind(int, optional, 預設為 10) — 如果設定為正整數，重新編碼過程將額外考慮最後 assistant_lookbehind 個輔助標記以正確對齊標記。只能與推測性解碼中不同的分詞器一起使用。有關更多詳細資訊，請參閱此部落格。
• target_lookbehind(int, optional, 預設為 10) — 如果設定為正整數，重新編碼過程將額外考慮最後 target_lookbehind 個目標標記以正確對齊標記。只能與推測性解碼中不同的分詞器一起使用。有關更多詳細資訊，請參閱此部落格。

與效能和編譯相關的引數

• compile_config (CompileConfig, optional) — 如果使用可編譯快取，這將控制 generate 如何編譯前向傳播以實現更快推理。
• disable_compile (bool, optional) — 是否停用前向傳播的自動編譯。當滿足特定條件（包括使用可編譯快取）時，會發生自動編譯。如果您發現需要使用此標誌，請提出問題。