Transformers.js v3：WebGPU 支援、新模型和任務，以及更多…

import {
  Florence2ForConditionalGeneration,
  AutoProcessor,
  AutoTokenizer,
  RawImage,
} from "@huggingface/transformers";

// Load model, processor, and tokenizer
const model_id = "onnx-community/Florence-2-base-ft";
const model = await Florence2ForConditionalGeneration.from_pretrained(
  model_id,
  {
    dtype: {
      embed_tokens: "fp16",
      vision_encoder: "fp16",
      encoder_model: "q4",
      decoder_model_merged: "q4",
    },
    device: "webgpu",
  },
);
const processor = await AutoProcessor.from_pretrained(model_id);
const tokenizer = await AutoTokenizer.from_pretrained(model_id);

// Load image and prepare vision inputs
const url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg";
const image = await RawImage.fromURL(url);
const vision_inputs = await processor(image);

// Specify task and prepare text inputs
const task = "<MORE_DETAILED_CAPTION>";
const prompts = processor.construct_prompts(task);
const text_inputs = tokenizer(prompts);

// Generate text
const generated_ids = await model.generate({
  ...text_inputs,
  ...vision_inputs,
  max_new_tokens: 100,
});

// Decode generated text
const generated_text = tokenizer.batch_decode(generated_ids, {
  skip_special_tokens: false,
})[0];

// Post-process the generated text
const result = processor.post_process_generation(
  generated_text,
  task,
  image.size,
);
console.log(result);
// { '<MORE_DETAILED_CAPTION>': 'A green car is parked in front of a tan building. The building has a brown door and two brown windows. The car is a two door and the door is closed. The green car has black tires.' }

1. Cohere（來自 Cohere），隨 Cohere 釋出的論文 Command-R: Retrieval Augmented Generation at Production Scale 一同釋出。
2. Decision Transformer（來自 Berkeley/Facebook/Google），隨 Lili Chen、Kevin Lu、Aravind Rajeswaran、Kimin Lee、Aditya Grover、Michael Laskin、Pieter Abbeel、Aravind Srinivas、Igor Mordatch 釋出的論文 Decision Transformer: Reinforcement Learning via Sequence Modeling 一同釋出。
3. Depth Pro（來自 Apple），隨 Aleksei Bochkovskii、Amaël Delaunoy、Hugo Germain、Marcel Santos、Yichao Zhou、Stephan R. Richter、Vladlen Koltun 釋出的論文 Depth Pro: Sharp Monocular Metric Depth in Less Than a Second 一同釋出。
4. Florence2（來自 Microsoft），隨 Bin Xiao、Haiping Wu、Weijian Xu、Xiyang Dai、Houdong Hu、Yumao Lu、Michael Zeng、Ce Liu、Lu Yuan 釋出的論文 Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks 一同釋出。
5. Gemma（來自 Google），隨 Gemma Google 團隊釋出的論文 Gemma: Open Models Based on Gemini Technology and Research 一同釋出。
6. Gemma2（來自 Google），隨 Gemma Google 團隊釋出的論文 Gemma2: Open Models Based on Gemini Technology and Research 一同釋出。
7. Granite（來自 IBM），隨 Yikang Shen、Matthew Stallone、Mayank Mishra、Gaoyuan Zhang、Shawn Tan、Aditya Prasad、Adriana Meza Soria、David D. Cox、Rameswar Panda 釋出的論文 Power Scheduler: A Batch Size and Token Number Agnostic Learning Rate Scheduler 一同釋出。
8. GroupViT（來自 UCSD、NVIDIA），隨 Jiarui Xu、Shalini De Mello、Sifei Liu、Wonmin Byeon、Thomas Breuel、Jan Kautz、Xiaolong Wang 釋出的論文 GroupViT: Semantic Segmentation Emerges from Text Supervision 一同釋出。
9. Hiera（來自 Meta），隨 Chaitanya Ryali、Yuan-Ting Hu、Daniel Bolya、Chen Wei、Haoqi Fan、Po-Yao Huang、Vaibhav Aggarwal、Arkabandhu Chowdhury、Omid Poursaeed、Judy Hoffman、Jitendra Malik、Yanghao Li、Christoph Feichtenhofer 釋出的論文 Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles 一同釋出。
10. JAIS（來自 Core42），隨 Neha Sengupta、Sunil Kumar Sahu、Bokang Jia、Satheesh Katipomu、Haonan Li、Fajri Koto、William Marshall、Gurpreet Gosal、Cynthia Liu、Zhiming Chen、Osama Mohammed Afzal、Samta Kamboj、Onkar Pandit、Rahul Pal、Lalit Pradhan、Zain Muhammad Mujahid、Massa Baali、Xudong Han、Sondos Mahmoud Bsharat、Alham Fikri Aji、Zhiqiang Shen、Zhengzhong Liu、Natalia Vassilieva、Joel Hestness、Andy Hock、Andrew Feldman、Jonathan Lee、Andrew Jackson、Hector Xuguang Ren、Preslav Nakov、Timothy Baldwin、Eric Xing 釋出的論文 Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models 一同釋出。
11. LLaVa（來自 Microsoft Research & University of Wisconsin-Madison），隨 Haotian Liu、Chunyuan Li、Yuheng Li 和 Yong Jae Lee 釋出的論文 Visual Instruction Tuning 一同釋出。
12. MaskFormer（來自 Meta 和 UIUC），隨 Bowen Cheng、Alexander G. Schwing、Alexander Kirillov 釋出的論文 Per-Pixel Classification is Not All You Need for Semantic Segmentation 一同釋出。
13. MusicGen（來自 Meta），隨 Jade Copet、Felix Kreuk、Itai Gat、Tal Remez、David Kant、Gabriel Synnaeve、Yossi Adi 和 Alexandre Défossez 釋出的論文 Simple and Controllable Music Generation 一同釋出。
14. MobileCLIP（來自 Apple），隨 Pavan Kumar Anasosalu Vasu、Hadi Pouransari、Fartash Faghri、Raviteja Vemulapalli、Oncel Tuzel 釋出的論文 MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training 一同釋出。
15. MobileNetV1（來自 Google Inc.），隨 Andrew G. Howard、Menglong Zhu、Bo Chen、Dmitry Kalenichenko、Weijun Wang、Tobias Weyand、Marco Andreetto、Hartwig Adam 釋出的論文 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 一同釋出。
16. MobileNetV2（來自 Google Inc.），隨 Mark Sandler、Andrew Howard、Menglong Zhu、Andrey Zhmoginov、Liang-Chieh Chen 釋出的論文 MobileNetV2: Inverted Residuals and Linear Bottlenecks 一同釋出。
17. MobileNetV3（來自 Google Inc.），隨 Andrew Howard、Mark Sandler、Grace Chu、Liang-Chieh Chen、Bo Chen、Mingxing Tan、Weijun Wang、Yukun Zhu、Ruoming Pang、Vijay Vasudevan、Quoc V. Le、Hartwig Adam 釋出的論文 Searching for MobileNetV3 一同釋出。
18. MobileNetV4（來自 Google Inc.），隨 Danfeng Qin、Chas Leichner、Manolis Delakis、Marco Fornoni、Shixin Luo、Fan Yang、Weijun Wang、Colby Banbury、Chengxi Ye、Berkin Akin、Vaibhav Aggarwal、Tenghui Zhu、Daniele Moro、Andrew Howard 釋出的論文 MobileNetV4 - Universal Models for the Mobile Ecosystem 一同釋出。
19. Moondream1 在 vikhyat 的倉庫 moondream 中釋出。
20. OpenELM（來自 Apple），隨 Sachin Mehta、Mohammad Hossein Sekhavat、Qingqing Cao、Maxwell Horton、Yanzi Jin、Chenfan Sun、Iman Mirzadeh、Mahyar Najibi、Dmitry Belenko、Peter Zatloukal、Mohammad Rastegari 釋出的論文 OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework 一同釋出。
21. Phi3（來自 Microsoft），隨 Marah Abdin、Sam Ade Jacobs、Ammar Ahmad Awan、Jyoti Aneja、Ahmed Awadallah、Hany Awadalla、Nguyen Bach、Amit Bahree、Arash Bakhtiari、Harkirat Behl、Alon Benhaim、Misha Bilenko、Johan Bjorck、Sébastien Bubeck、Martin Cai、Caio César Teodoro Mendes、Weizhu Chen、Vishrav Chaudhary、Parul Chopra、Allie Del Giorno、Gustavo de Rosa、Matthew Dixon、Ronen Eldan、Dan Iter、Amit Garg、Abhishek Goswami、Suriya Gunasekar、Emman Haider、Junheng Hao、Russell J. Hewett、Jamie Huynh、Mojan Javaheripi、Xin Jin、Piero Kauffmann、Nikos Karampatziakis、Dongwoo Kim、Mahoud Khademi、Lev Kurilenko、James R. Lee、Yin Tat Lee、Yuanzhi Li、Chen Liang、Weishung Liu、Eric Lin、Zeqi Lin、Piyush Madan、Arindam Mitra、Hardik Modi、Anh Nguyen、Brandon Norick、Barun Patra、Daniel Perez-Becker、Thomas Portet、Reid Pryzant、Heyang Qin、Marko Radmilac、Corby Rosset、Sambudha Roy、Olatunji Ruwase、Olli Saarikivi、Amin Saied、Adil Salim、Michael Santacroce、Shital Shah、Ning Shang、Hiteshi Sharma、Xia Song、Masahiro Tanaka、Xin Wang、Rachel Ward、Guanhua Wang、Philipp Witte、Michael Wyatt、Can Xu、Jiahang Xu、Sonali Yadav、Fan Yang、Ziyi Yang、Donghan Yu、Chengruidong Zhang、Cyril Zhang、Jianwen Zhang、Li Lyna Zhang、Yi Zhang、Yue Zhang、Yunan Zhang、Xiren Zhou 釋出的論文 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone 一同釋出。
22. PVT（來自南京大學、香港大學等），隨 Wenhai Wang、Enze Xie、Xiang Li、Deng-Ping Fan、Kaitao Song、Ding Liang、Tong Lu、Ping Luo、Ling Shao 釋出的論文 Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 一同釋出。
23. PyAnnote 在 Hervé Bredin 的倉庫 pyannote/pyannote-audio 中釋出。
24. RT-DETR（來自百度），隨 Yian Zhao、Wenyu Lv、Shangliang Xu、Jinman Wei、Guanzhong Wang、Qingqing Dang、Yi Liu、Jie Chen 釋出的論文 DETRs Beat YOLOs on Real-time Object Detection 一同釋出。
25. Sapiens（來自 Meta AI），隨 Rawal Khirodkar、Timur Bagautdinov、Julieta Martinez、Su Zhaoen、Austin James、Peter Selednik、Stuart Anderson、Shunsuke Saito 釋出的論文 Sapiens: Foundation for Human Vision Models 一同釋出。
26. ViTMAE（來自 Meta AI），隨 Kaiming He、Xinlei Chen、Saining Xie、Yanghao Li、Piotr Dollár、Ross Girshick 釋出的論文 Masked Autoencoders Are Scalable Vision Learners 一同釋出。
27. ViTMSN（來自 Meta AI），隨 Mahmoud Assran、Mathilde Caron、Ishan Misra、Piotr Bojanowski、Florian Bordes、Pascal Vincent、Armand Joulin、Michael Rabbat、Nicolas Ballas 釋出的論文 Masked Siamese Networks for Label-Efficient Learning 一同釋出。