llama.cpp

par ggml-org (Georgi Gerganov)

Le moteur d'inférence en C/C++ qui fait tourner les LLM partout ; la base de nombreux outils locaux.

130,9 k étoiles GitHub MIT Gratuit en localLocalOpen sourcePoids ouverts

Voir sur GitHub →

Ce que ça fait

Format GGUF et quantification de 1,5 à 8 bits
Serveur compatible OpenAI avec interface web intégrée
Optimisé pour Apple Silicon, CUDA, AMD, Vulkan et CPU

L'installer

Prérequis : Aucun prérequis : binaires prêts à l'emploi.

Installer (macOS / Linux)

curl -LsSf https://llama.app/install.sh | sh

Installer (Windows PowerShell)

irm https://llama.app/install.ps1 | iex

Lancer un serveur avec un modèle Hugging Face

llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Le prompt pour ton agent

Colle-le dans ton agent de code : il vérifie les prérequis et installe pour toi.

Claude CodeCodexCursorGemini CLIopencode

Prompt

Installe llama.cpp (https://llama.app) sur ma machine.
1. Vérifie les prérequis : Aucun prérequis : binaires prêts à l'emploi. S'il manque quelque chose, dis-le-moi avant d'installer quoi que ce soit.
2. Suis la méthode officielle :
- Installer (macOS / Linux) : curl -LsSf https://llama.app/install.sh | sh
- Installer (Windows PowerShell) : irm https://llama.app/install.ps1 | iex
- Lancer un serveur avec un modèle Hugging Face : llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF
3. Vérifie que ça fonctionne, puis explique-moi comment le lancer et par quoi commencer.

Relis toujours ce que ton agent s'apprête à exécuter, surtout les commandes d'installation.