North Mini Code home pagelight logo
  1. Démarrage
  2. Démarrage rapide

Cette page est optimisée pour obtenir une première sortie, pas pour définir l’architecture finale. Si vous connaissez déjà votre runtime cible, allez directement à la section de déploiement.

Transformers

Le meilleur premier essai Python natif.

vLLM

Le meilleur serveur local pour les agents et les clients compatibles OpenAI.

SGLang

Serveur local alternatif avec des flux pip et Docker.

Amazon SageMaker

Endpoint AWS géré à partir du snippet de déploiement Hugging Face.

Si votre objectif est le codage agentique plutôt que la simple génération de texte, préférez vLLM ou SGLang à un script Transformers minimal en un fichier. Ces runtimes se mappent plus proprement à l’utilisation d’outils et aux workflows en plusieurs étapes.

​
Exemple Python minimal

Utilisez ceci quand vous voulez le chemin le plus court entre le téléchargement du modèle et la génération de code.

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereLabs/North-Mini-Code-1.0"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)

messages = [
    {
        "role": "user",
        "content": "Write a Python function that checks whether a string is a palindrome.",
    }
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    do_sample=True,
    temperature=1.0,
    top_p=0.95,
)

print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Réglages d’échantillonnage recommandés par la fiche Hugging Face : temperature=1.0, top_p=0.95.

  • Que faire ensuite

  • Vérifications du premier lancement

  • Vous voulez un serveur local plus riche ? Passez à /fr/deployment/vllm.
  • Vous voulez un chemin container-first plus simple ? Passez à /fr/deployment/docker-model-runner.
  • Vous voulez un déploiement AWS géré ? Passez à /fr/deployment/sagemaker.
  • Vous voulez une variante à plus faible mémoire ? Passez à /fr/deployment/quantized-local-apps.