Fournisseurs d’inférence

Dans certains cas, vous pouvez manquer de matériel pour exécuter localement des modèles Hugging Face. Les LLM avec un grand nombre de paramètres, ainsi que les modèles de génération d’images et de vidéos, nécessitent souvent des unités de traitement graphique (GPU) pour paralléliser les calculs. Hugging Face propose des fournisseurs d’inférence afin d’externaliser ce matériel auprès de partenaires tiers.