處理器

處理器用於為模型準備輸入（例如文字、影像或音訊）。

示例： 使用 WhisperProcessor 為模型準備音訊輸入。

import { AutoProcessor, read_audio } from '@huggingface/transformers';

const processor = await AutoProcessor.from_pretrained('openai/whisper-tiny.en');
const audio = await read_audio('https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac', 16000);
const { input_features } = await processor(audio);
// Tensor {
//   data: Float32Array(240000) [0.4752984642982483, 0.5597258806228638, 0.56434166431427, ...],
//   dims: [1, 80, 3000],
//   type: 'float32',
//   size: 240000,
// }

• 處理器
  • 靜態
    • .Processor
      • new Processor(config, components, chat_template)
      • 例項
        • .image_processor ⇒ *
        • .tokenizer ⇒ PreTrainedTokenizer | undefined
        • .feature_extractor ⇒ *
        • .apply_chat_template(messages, options) ⇒ *
        • .batch_decode(...args) ⇒ *
        • .decode(...args) ⇒ *
        • ._call(input, ...args) ⇒ Promise.<any>
      • 靜態
        • .from_pretrained(pretrained_model_name_or_path, options) ⇒ Promise.<Processor>
  • 內部
    • ~PreTrainedTokenizer : Object

processors.Processor

表示一個從輸入中提取特徵的處理器。

型別：processors 的靜態類

• .Processor
  • new Processor(config, components, chat_template)
  • 例項
    • .image_processor ⇒ *
    • .tokenizer ⇒ PreTrainedTokenizer | undefined
    • .feature_extractor ⇒ *
    • .apply_chat_template(messages, options) ⇒ *
    • .batch_decode(...args) ⇒ *
    • .decode(...args) ⇒ *
    • ._call(input, ...args) ⇒ Promise.<any>
  • 靜態
    • .from_pretrained(pretrained_model_name_or_path, options) ⇒ Promise.<Processor>

new Processor(config, components, chat_template)

使用給定的元件建立一個新的處理器

processor.image_processor ⇒ <code> * </code>

型別：Processor 的例項屬性
返回：* - 處理器的影像處理器（如果存在）。

processor.tokenizer ⇒ <code> PreTrainedTokenizer </code> | <code> undefined </code>

型別：Processor 的例項屬性
返回：PreTrainedTokenizer | undefined - 處理器的分詞器（如果存在）。

processor.feature_extractor ⇒ <code> * </code>

型別：Processor 的例項屬性
返回：* - 處理器的特徵提取器（如果存在）。

processor.apply_chat_template(messages, options) ⇒ <code> * </code>

型別：Processor 的例項方法

processor.batch_decode(...args) ⇒ <code> * </code>

型別：Processor 的例項方法

processor.decode(...args) ⇒ <code> * </code>

型別：Processor 的例項方法

processor._call(input, ...args) ⇒ <code> Promise. < any > </code>

使用給定的輸入呼叫 feature_extractor 函式。

型別：Processor 的例項方法
返回：Promise.<any> - 一個解析為提取的特徵的 Promise。

Processor.from_pretrained(pretrained_model_name_or_path, options) ⇒ <code> Promise. < Processor > </code>

從預訓練模型中例項化庫中的一個處理器類。

要例項化的處理器類是根據配置物件的 image_processor_type（或舊版的 feature_extractor_type）屬性選擇的（既可以作為引數傳入，也可以在可能的情況下從 pretrained_model_name_or_path 載入）

型別：Processor 的靜態方法
返回：Promise.<Processor> - Processor 類的新例項。

processors~PreTrainedTokenizer : <code> Object </code>

附加的特定於處理器的屬性。

型別：processors 的內部型別定義