North Mini Code home pagelight logo
  1. Déploiement
  2. vLLM

Utilisez vLLM quand vous voulez un vrai serveur local pour les agents de codage, l’utilisation d’outils ou l’accès multi-clients.

La fiche Hugging Face indique d’utiliser vLLM main pour North Mini Code jusqu’à ce qu’une version packagée plus récente inclue le support requis. Une analyse correcte des réponses nécessite aussi cohere_melody>=0.9.0.

1

Installez vLLM et Cohere Melody

uv pip install "git+https://github.com/vllm-project/vllm.git"
uv pip install "cohere_melody>=0.9.0"
2

Servez le modèle

vllm serve CohereLabs/North-Mini-Code-1.0 \
  -tp 2 \
  --max-model-len 320000 \
  --tool-call-parser cohere_command4 \
  --reasoning-parser cohere_command4 \
  --enable-auto-tool-choice
3

Envoyez une requête de chat

curl -X POST "http://127.0.0.1:8000/v1/chat/completions" \
  -H "Content-Type: application/json" \
  --data '{
    "model": "CohereLabs/North-Mini-Code-1.0",
    "messages": [
      {
        "role": "user",
        "content": "Write a Python function that returns the longest common prefix of a list of strings."
      }
    ],
    "temperature": 1.0,
    "top_p": 0.95
  }'

North Mini Code prend en charge le raisonnement intercalé. La fiche du modèle recommande fortement de transmettre le contenu de raisonnement généré par le modèle aux tours d’agent suivants, avec les résultats d’outils, pour les meilleures performances en plusieurs étapes.

  • Utiliser avec OpenCode

  • Pourquoi ce chemin

{
  "$schema": "https://opencode.ai/config.json",
  "model": "vllm/CohereLabs/North-Mini-Code-1.0",
  "provider": {
    "vllm": {
      "name": "Local vLLM server",
      "options": {
        "baseURL": "http://127.0.0.1:8000/v1",
        "apiKey": "EMPTY"
      }
    }
  }
}

Guide de codage agentique

Apprenez à définir des outils avec JSON Schema et à réinjecter les résultats d’outils dans l’historique du chat.

Alternative SGLang

Utilisez SGLang s’il s’intègre déjà mieux au reste de votre stack d’inférence.