Falcon 2：一個11B引數的預訓練語言模型和VLM，在超過5000B個tokens和11種語言上進行訓練

Falcon 2 模型

TII正在推出新一代模型 Falcon 2，旨在為開源社群提供一系列效能增強且支援多模態的小型模型。我們的目標是降低推理成本，並鼓勵開發更多具有更高可用性的下游應用程式。

第一代Falcon模型，包括Falcon-40B和Falcon-180B，為開源社群做出了重要貢獻，推動了具有寬鬆許可的高階大型語言模型的釋出。有關前一代Falcon模型的更詳細資訊，請參見RefinedWeb, Penedo et al., 2023和The Falcon Series of Open Language Models, Almazrouei et al., 2023論文，以及Falcon和Falcon-180B部落格文章。

第二代模型專注於提高可用性和整合性，構建多模態生態系統。我們不僅釋出了基礎11B LLM，還發布了包含影像理解能力的11B VLM模型，開啟了這一旅程。視覺語言模型（VLM）將允許使用者透過文字與視覺內容進行交流。

與我們之前的工作一樣，這些模型主要支援英語，但在其他十種語言（包括西班牙語、法語和德語）中也表現出色。

目錄

• Falcon 2 模型
• Falcon 2 11B LLM
  • 11B LLM 訓練細節
  • 11B LLM 評估
  • 11B LLM 模型使用
• Falcon 2 11B VLM
  • 11B VLM 訓練
  • 11B VLM 評估
  • 11B VLM 模型使用
• 許可資訊

Falcon2-11B LLM

訓練資料

Falcon2-11B 在超過 5000 億 (GT) 的 RefinedWeb（一個高質量過濾和去重後的網路資料集）上進行了訓練，並輔以精選語料庫。它遵循四階段訓練策略。前三個階段側重於增加上下文長度，從 2048 增加到 4096，最後增加到 8192 個 tokens。最後一個階段旨在僅使用高質量資料進一步提高效能。

總的來說，資料來源包括 RefinedWeb-English、RefinedWeb-Europe (cs、de、es、fr、it、nl、pl、pt、ro、sv)、高質量技術資料、程式碼資料以及從公共來源提取的對話資料。

訓練階段如下：

資料使用Falcon2-11B 分詞器進行分詞，該分詞器與之前的 Falcon 模型相同。

模型架構

下表總結了模型架構的一些關鍵細節：

訓練過程

Falcon2-11B 的大部分訓練在 1024 個 A100 40GB GPU 上進行，使用 3D 並行策略（TP=8, PP=1, DP=128），並結合 ZeRO 和 Flash-Attention 2。

訓練超引數

Falcon2-11B 評估

英語效能

在 Open LLM Leaderboard 任務上的表現

Hugging Face Leaderboard 團隊對我們的模型在 Open LLM Leaderboard 任務上進行了官方評估。該模型表現優於 Llama3-8B（訓練資料是其三倍）和 Mistral-7B 等模型，與 Gemma-7b 持平。

零樣本表現

評估結果顯示，Falcon2-11B 在模型尺寸小四倍的情況下，展現出與 Falcon-40B 相似的效能！

多語言能力

使用多語言LLM排行榜，我們將Falcon2-11B模型與Llama-7B和Bloom-7B進行了比較。作為參考，我們還包括了Falcon-40B（支援相同語言）、Falcon-7B（支援法語）和Mistral-7B。

秉承初代 Falcon 模型的精神，Falcon2-11B 不僅在英語資料上進行了訓練，還在其他十種語言上進行了訓練。我們的多語言評估結果顯示，該模型在多語言 LLM 排行榜上的六種語言（德語、西班牙語、法語、義大利語、荷蘭語、羅馬尼亞語）中表現出色，並且在所有提到的語言上，其效能均高於 Falcon-40B 和其他幾個多語言模型。

我們很快將在Falcon2-11B 模型卡中釋出更全面的多語言能力評估結果！

程式碼生成能力

我們在 HumanEval 基準測試中，針對 Python 語言，參照 BigCode 排行榜評估了模型的程式碼生成效能，獲得了 29.59% 的 pass@1 分數。

使用 Falcon2-11B

from transformers import AutoTokenizer
import transformers
import torch

model = "tiiuae/falcon-11B"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

然後，您可以使用如下程式碼進行文字生成：

sequences = pipeline(
   "Can you explain the concept of Quantum Computing?",
    max_length=200,
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

Falcon2-11B VLM

Falcon2-11B VLM 是一種基於大型語言模型（LLM）構建的視覺語言模型（VLM），它還可以處理影像輸入並能夠回答有關影像的查詢。為了實現這一目標，我們將預訓練的 CLIP ViT-L/14 視覺編碼器與我們的 Falcon2-11B 聊天微調模型整合，並使用影像-文字資料進行訓練。

為了增強 VLM 對影像中小物體的細粒度細節感知能力，我們採用類似於 LLaVA-Next 的高解析度動態編碼機制來處理影像輸入。

訓練

訓練分為兩個階段：預訓練和微調。在這兩個階段，視覺編碼器權重保持凍結。在預訓練階段，LLM 保持凍結，僅在 558K 張影像-字幕對上訓練多模態投影器。這使得多模態投影器能夠學習從視覺到文字嵌入空間的對映。在微調期間，投影器和 LLM 權重都在包含多輪對話的公共資料集中，在 1.2M 影像-文字指令語料庫上進行訓練。

Falcon2-11B VLM 評估

使用 Falcon2-11B-FalconVLM

from transformers import LlavaNextForConditionalGeneration, LlavaNextProcessor
from PIL import Image
import requests
import torch

processor = LlavaNextProcessor.from_pretrained("tiiuae/falcon-11B-vlm")
model = LlavaNextForConditionalGeneration.from_pretrained("tiiuae/falcon-11B-vlm", torch_dtype=torch.bfloat16)

url = "https://merzougabirding.com/wp-content/uploads/2023/09/falcon-size.jpg"
falcon_image = Image.open(requests.get(url, stream=True).raw)
prompt = "User: <image>\nWhat's special about this bird's vision?"

inputs = processor(prompt, images=falcon_image, return_tensors="pt", padding=True).to('cuda:0')

model.to('cuda:0')
output = model.generate(**inputs, max_new_tokens=256)


prompt_length = inputs['input_ids'].shape[1]
generated_captions = processor.decode(output[0], skip_special_tokens=True).strip()

print(generated_captions)

許可資訊

Falcon 2 模型根據 TII Falcon 2 許可協議提供，這是一個基於 Apache 2.0 的寬鬆軟體許可，其中包含一個可接受使用政策，旨在促進 AI 的負責任使用。此許可協議的制定符合 TII 對開源社群的承諾精神。