Applications locales quantifiées

Si vous voulez une empreinte locale plus petite ou un workflow centré sur une interface graphique, commencez par le navigateur de quantification Hugging Face plutôt que par les poids de base complets.

La liste de quantification Hugging Face change rapidement. Traitez la page filtrée du navigateur comme la source de vérité, et utilisez les exemples ci-dessous comme points de départ plutôt que comme catalogue fixe.

Navigateur de quantification

Liste filtrée des variantes quantifiées de North Mini Code sur Hugging Face.

Guide des applications locales

Vue d’ensemble Hugging Face pour exécuter des modèles du Hub via des applications locales.

Guide GGUF

Contexte sur les runtimes locaux basés sur GGUF comme llama.cpp.

Guide Ollama

Exécutez des checkpoints GGUF directement depuis Hugging Face avec Ollama.

Guide MLX

Chemin Apple silicon pour les workflows locaux basés sur MLX.

Vue filtrée llama.cpp

Variantes quantifiées déjà taguées pour les flux compatibles llama.cpp.

Exemples de variantes actuellement listées

FP8

Variante FP8 maintenue par Cohere pour les déploiements à mémoire réduite.

GGUF

Route GGUF communautaire pour les runtimes locaux de type llama.cpp.

AWQ INT4

Quantification INT4 communautaire pour des empreintes GPU plus petites.

MLX 4-bit

Chemin quantifié orienté Apple silicon.

Inférence à partir des pages d’applications et de quantification de Hugging Face : les variantes GGUF sont le meilleur point de départ pour llama.cpp, Ollama, LM Studio et les applications locales similaires ; les variantes FP8/AWQ conviennent davantage aux runtimes orientés GPU comme vLLM ; les variantes MLX sont le chemin naturel sur Apple silicon.