- Guides
- Détails du modèle
Guides
Détails du modèle
Comprenez l'architecture, le contexte, l'approche d'entraînement et le comportement orienté agent derrière North Mini Code.
Taille du modèle
30B paramètres au total avec 3B actifs au moment de l’inférence.
Contexte
Fenêtre de contexte 256K avec jusqu’à 64K tokens de sortie.
Licence
Poids ouverts sous Apache 2.0.
Usage principal
Codage agentique, tâches de terminal et génération de code.
Architecture
North Mini Code est un modèle sparse Mixture-of-Experts, decoder-only.
- Le bloc feed-forward utilise
128experts. 8experts sont activés par token.- Le modèle alterne l’attention à fenêtre glissante avec RoPE et l’attention globale sans embeddings positionnels dans un ratio
3:1. - Le routeur MoE applique une activation sigmoid avant la sélection top-k des experts.
Approche d’entraînement
North Mini Code a été post-entraîné en deux étapes :
- Fine-tuning supervisé (SFT)
- Apprentissage par renforcement avec récompenses vérifiables (RLVR)
Le pipeline de post-entraînement s’est concentré sur l’ingénierie logicielle agentique, les tâches de terminal et un comportement robuste sur plusieurs harnais d’évaluation, plutôt que sur l’optimisation excessive pour un seul framework d’agent.
Le blog de lancement Hugging Face indique que le pipeline d’entraînement a utilisé plus de 70k tâches vérifiables sur environ 5k dépôts.
Pourquoi il fonctionne pour les agents
Utilisation d'outils
Le modèle a été entraîné pour les appels d’outils dans des boucles d’agents de codage.
Raisonnement intercalé
La fiche du modèle recommande explicitement de préserver le contenu de raisonnement généré entre les tours.
Robustesse des harnais
Cohere l’a entraîné avec plusieurs harnais d’évaluation plutôt qu’un seul échafaudage.
Adapté au local
L’empreinte active de 3B paramètres rend l’inférence locale pratique par rapport à des modèles ouverts de force comparable.