用於 AWS inferentia2 的 NeuronX 文字生成推理

文字生成推理（TGI）是用於部署和提供大型語言模型（LLMs）服務的工具包。

neuron 後端允許為 Trainium 和 Inferentia 晶片部署 TGI。