Amazon SageMaker - North Mini Code

Utilisez ce chemin si vous voulez un endpoint AWS géré avec le SDK Hugging Face SageMaker.

Le snippet de déploiement Hugging Face avertit actuellement qu’il n’est pas encore compatible avec sagemaker >= 3.0.0. Si vous suivez exactement cet exemple, épinglez sagemaker<3.0.0.

Installez un SDK compatible

pip install "sagemaker<3.0.0"

Déployez le modèle

import boto3
import sagemaker
from sagemaker.huggingface import HuggingFaceModel

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

hub = {
    "HF_MODEL_ID": "CohereLabs/North-Mini-Code-1.0",
    "HF_TASK": "text-generation",
}

huggingface_model = HuggingFaceModel(
    transformers_version="4.51.3",
    pytorch_version="2.6.0",
    py_version="py312",
    env=hub,
    role=role,
)

predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.m5.xlarge",
)

response = predictor.predict(
    {
        "inputs": "Write a Python function that removes duplicates from a list while preserving order."
    }
)

print(response)

Dimensionnez correctement l'instance

Commencez par une instance de développement pour la mise en route, puis dimensionnez pour le trafic réel et la mémoire du modèle après benchmarking.

Docs HF SageMaker inference

Guide officiel Hugging Face pour déployer des modèles sur SageMaker.

Docs HF SageMaker training

Documentation complémentaire pour les workflows d’entraînement et de packaging avec SageMaker.

Guide de dimensionnement des instances

Conseils AWS pour choisir les types d’instances pour l’inférence de grands modèles.

Exemples de notebooks HF

Notebooks d’exemple pour les workflows SageMaker et Hugging Face.

Utilisez SageMaker quand vous voulez des endpoints gérés par AWS et des opérations centrées sur IAM. Si votre matériel cible est Inferentia2 ou Trainium, consultez aussi /fr/deployment/aws-neuron.