North Mini Code home pagelight logo
  1. Déploiement
  2. AWS Inferentia & Trainium

L’interface de déploiement Hugging Face liste AWS Inferentia & Trainium comme option de déploiement pour North Mini Code.

Les étapes concrètes ici sont inférées des docs Optimum Neuron et SageMaker de Hugging Face plutôt que d’un snippet propre à North dans la fiche du modèle. Hugging Face documente Optimum Neuron comme l’interface entre Transformers et AWS Inferentia / Trainium.

1

Validez que ce chemin matériel correspond à votre cible de déploiement

Choisissez cette route quand vous voulez une inférence ou un entraînement spécifique aux accélérateurs AWS sur Inferentia2 ou Trainium1, plutôt qu’un endpoint CPU ou GPU générique.

2

Commencez par Optimum Neuron ou un DLC compatible Neuron

python -m pip install --upgrade-strategy eager "optimum[neuronx]"
3

Compilez ou exportez le modèle pour Neuron

Les docs Optimum Neuron de Hugging Face couvrent l’export, les pipelines et les flux de déploiement SageMaker pour le matériel Neuron.

4

Déployez via SageMaker ou directement sur une infrastructure compatible Neuron

Les docs AWS de Hugging Face documentent aussi des DLC compatibles Neuron pour SageMaker, EC2, ECS et EKS.

Validez la prise en charge de l’architecture du modèle avant de vous engager dans cette route. Hugging Face documente la toolchain Neuron de manière générique, mais ne publie pas actuellement de commande de lancement spécifique à North Mini Code comme pour vLLM et SGLang.

Vue d'ensemble Optimum Neuron

Point d’entrée de haut niveau pour le support des accélérateurs AWS dans l’écosystème Hugging Face.

Optimum Neuron sur SageMaker

Chemin SageMaker pour les déploiements Inferentia2 et Trainium.

Guide d'export Neuron

Comment exporter des modèles vers des artefacts sérialisés optimisés pour Neuron.

Guide des pipelines Neuron

Usage au niveau pipeline sur Inf2 et Trn1.

DLC AWS disponibles

Vue d’ensemble des conteneurs AWS, y compris les chemins liés à Neuron.

Vue d'ensemble HF sur AWS

Options de déploiement Hugging Face plus larges sur SageMaker, EC2, ECS et EKS.