- Déploiement
- Transformers
Déploiement
Transformers
Chargez North Mini Code directement depuis Hugging Face avec la bibliothèque Transformers.
Utilisez ce chemin si vous voulez une intégration Python directe sans lancer un serveur d’inférence séparé.
La fiche Hugging Face actuelle indique d’utiliser un build Transformers qui inclut déjà la prise en charge nécessaire de North Mini Code. Si votre version installée ne reconnaît pas le modèle de chat ou le comportement du tokenizer, mettez à jour vers une version plus récente ou installez depuis la source.
Hugging Face recommande temperature=1.0 et top_p=0.95 pour la génération avec North Mini Code.
Chargement direct
Pipeline
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "CohereLabs/North-Mini-Code-1.0"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype="auto",
device_map="auto",
)
messages = [
{"role": "user", "content": "Write a Python function that merges two sorted lists."}
]
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=512,
do_sample=True,
temperature=1.0,
top_p=0.95,
)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))
Pourquoi utiliser ce chemin
Simple
Aucun serveur séparé n’est requis.
Python natif
Bon choix pour les notebooks, scripts et applications personnalisées.
Accès complet au template de chat
Vous pouvez formater les prompts exactement comme North Mini Code s’y attend.
Étape suivante facile
Passez à vLLM si l’inférence locale mono-processus devient insuffisante.
Gardez les prompts au format structuré de messages de chat et utilisez apply_chat_template(...) plutôt que de construire la chaîne finale à la main.