Faire tourner Llama sur son propre serveur : guide complet

Faire tourner Llama sur son propre serveur : guide complet

Faire tourner Llama sur son propre serveur donne à votre organisation une infrastructure IA entièrement sous votre contrôle. Les données restent dans votre périmètre, les coûts sont prévisibles, et vous n'êtes plus dépendant d'un fournisseur externe. Ce guide vous montre comment déployer Llama sur un serveur Linux, que ce soit un VPS, un serveur dédié, ou une machine physique dans vos locaux à Ouagadougou ou ailleurs en Afrique de l'Ouest.

Choisir son environnement pour faire tourner Llama sur son propre serveur

Avant de commencer, évaluez votre matériel disponible. Les modèles Llama existent en plusieurs tailles :

• Llama 3.2 3B : 8 Go de RAM suffisent. Idéal pour démarrer sur du matériel modeste.
• Llama 3.1 8B : 16 Go de RAM nécessaires. Bon équilibre performances/ressources pour des usages quotidiens.
• Llama 3.1 70B : 48 Go de RAM minimum. Nécessite un GPU performant ou un cluster de machines.

Pour un premier déploiement, un serveur avec 16 Go de RAM et un CPU récent est un point de départ raisonnable. Un GPU NVIDIA n'est pas obligatoire mais réduit les temps de réponse de façon significative.

Préparer le serveur Linux

1. Mettez à jour le système :

   sudo apt update && sudo apt upgrade -y

2. Installez les dépendances de base :

   sudo apt install -y git curl build-essential python3-pip python3-venv htop

3. Vérifiez la RAM disponible et l'espace disque avant de continuer :

   free -h
   df -h /

4. Si vous avez un GPU NVIDIA, vérifiez sa détection :

   nvidia-smi

   Si la commande échoue, installez les drivers NVIDIA appropriés à votre distribution et à votre modèle de carte.

Installer Ollama et déployer Llama

Ollama est la méthode la plus directe pour faire tourner Llama sur son propre serveur. Elle gère le téléchargement des modèles, le chargement en mémoire, et l'exposition d'une API REST prête à l'emploi.

1. Installer Ollama :

   curl -fsSL https://ollama.com/install.sh | sh

2. Configurer Ollama pour écouter sur toutes les interfaces réseau. Éditez le service systemd :

   sudo systemctl edit ollama

   Ajoutez dans le fichier qui s'ouvre :

   [Service]
   Environment="OLLAMA_HOST=0.0.0.0:11434"

   Sauvegardez puis rechargez :

   sudo systemctl daemon-reload
   sudo systemctl restart ollama

3. Téléchargez le modèle Llama choisi :

   ollama pull llama3.1:8b

   Pour du matériel contraint, préférez la version quantifiée :

   ollama pull llama3.1:8b-instruct-q4_0

4. Vérifiez que le modèle répond correctement :

   ollama run llama3.1:8b "Bonjour, présente-toi en deux phrases."

Sécuriser l'accès avec nginx

Un service accessible sur le réseau sans protection est une faille de sécurité. Mettez en place nginx comme proxy avec authentification basique et HTTPS.

1. Installer nginx et les outils d'authentification :

   sudo apt install -y nginx apache2-utils

2. Créer un fichier de mots de passe :

   sudo htpasswd -c /etc/nginx/.htpasswd votre_utilisateur

3. Créer la configuration nginx dans /etc/nginx/sites-available/ollama :

   server {
       listen 80;
       server_name votre-domaine.com;
   
       auth_basic "Acces restreint";
       auth_basic_user_file /etc/nginx/.htpasswd;
   
       location / {
           proxy_pass http://localhost:11434;
           proxy_set_header Host $host;
           proxy_read_timeout 300s;
       }
   }

   Activez la configuration :

   sudo ln -s /etc/nginx/sites-available/ollama /etc/nginx/sites-enabled/
   sudo nginx -t && sudo systemctl reload nginx

4. Obtenez un certificat SSL gratuit avec Certbot :

   sudo apt install certbot python3-certbot-nginx
   sudo certbot --nginx -d votre-domaine.com

Tester le serveur depuis un client

curl https://votre-domaine.com/api/generate \
  -u votre_utilisateur:votre_mot_de_passe \
  -d '{
    "model": "llama3.1:8b",
    "prompt": "Resume ce contrat en 3 points cles.",
    "stream": false
  }'

Depuis une application Python, utilisez la bibliothèque requests pour appeler l'API avec les mêmes paramètres.

Configurer le démarrage automatique

Ollama s'installe déjà comme service systemd. Assurez-vous qu'il redémarre automatiquement après un reboot ou une coupure de courant :

sudo systemctl enable ollama
sudo systemctl status ollama

Faites pareil pour nginx :

sudo systemctl enable nginx

En Afrique de l'Ouest où les coupures de courant sont fréquentes, ce paramétrage garantit que votre serveur reprend le service sans intervention manuelle.

Surveiller et optimiser les performances

• Surveillez la consommation mémoire en temps réel avec htop ou free -h pendant les inférences.
• Limitez la taille du contexte si votre RAM est contrainte : ajoutez "num_ctx": 2048 dans vos requêtes API pour réduire l'empreinte mémoire.
• Planifiez les tâches lourdes en dehors des heures de pointe pour éviter de saturer les ressources du serveur.
• Configurez des alertes sur la consommation CPU et RAM avec des outils comme netdata ou simplement des scripts cron.

Votre serveur Llama est maintenant opérationnel et sécurisé. Vous pouvez y connecter des interfaces comme Open WebUI, des scripts Python, ou des applications métier internes. Pour un déploiement en production avec haute disponibilité ou intégration à votre système d'information existant, découvrez nos services ou contactez-nous directement.