Le compagnon IA à budget zéro : construire un lovebot LLM local sur un Raspberry Pi 5

Exigences matérielles

Le Raspberry Pi 5 est le cœur de ce projet. Voici ce dont vous avez besoin.

Raspberry Pi 5

Le Raspberry Pi 5 est la dernière génération du célèbre ordinateur monocarte. Il dispose d'un processeur ARM quad-core, jusqu'à 16 Go de RAM et des performances d'E/S nettement améliorées par rapport aux modèles précédents. Les versions 8 Go ou 16 Go sont recommandées pour exécuter des LLM.

Stockage

Les fichiers LLM sont volumineux. Une bonne carte microSD ou un SSD NVMe est essentiel. Une carte de 64 Go est le minimum, mais 128 Go ou plus est recommandé si vous prévoyez d'expérimenter avec plusieurs modèles.

Alimentation

Le Raspberry Pi 5 nécessite une alimentation USB-C de 27 W pour des performances optimales. L'utilisation d'une alimentation sous-dimensionnée peut provoquer une instabilité lors de l'exécution de charges de travail exigeantes comme l'inférence LLM.

Refroidissement

L'inférence LLM génère de la chaleur. Un refroidisseur actif ou un dissipateur thermique est recommandé pour éviter l'étranglement thermique, qui peut ralentir considérablement les réponses du modèle.

Optionnel : microphone et haut-parleur USB

Si vous souhaitez une interaction vocale, un microphone et un haut-parleur USB sont nécessaires. Le Raspberry Pi n'a pas d'entrée ni de sortie audio intégrée.

Pile logicielle

La pile logicielle d'un compagnon IA local se compose de plusieurs éléments.

Système d'exploitation

Raspberry Pi OS Lite (64 bits) est le système d'exploitation recommandé. Il est léger, stable et bien pris en charge. Évitez la version desktop complète sauf si vous avez besoin d'une interface graphique, car elle consomme de la précieuse RAM.

Runtime LLM

Plusieurs options existent pour exécuter des LLM sur du matériel ARM :

• Ollama : un runtime convivial qui simplifie la gestion des modèles et fournit une API simple. C'est l'option la plus facile pour les débutants.
• llama.cpp : un runtime plus technique offrant un contrôle précis des performances. Il nécessite plus de configuration mais peut tirer davantage de performances d'un matériel limité.
• LM Studio : une application de bureau offrant une interface graphique pour exécuter des modèles locaux. Non disponible pour ARM, donc inadapté au Raspberry Pi.

Pour la plupart des utilisateurs, Ollama est le meilleur point de départ. Il gère les téléchargements de modèles, la quantification et l'inférence avec une configuration minimale.

Sélection du modèle

Tous les LLM ne peuvent pas fonctionner sur un Raspberry Pi. La clé est de choisir un modèle qui tient dans la RAM disponible et peut générer des réponses à une vitesse acceptable. Les modèles recommandés pour le Raspberry Pi 5 comprennent :

• Llama 3.2 1B ou 3B : petits modèles qui tiennent confortablement dans 8 Go de RAM et génèrent des réponses raisonnablement rapides.
• Phi-3 Mini : un modèle compact de Microsoft offrant de bonnes performances pour sa taille.
• Qwen 2.5 1.5B ou 3B : des modèles d'Alibaba offrant de solides capacités conversationnelles dans un petit format.
• Mistral 7B (quantifié) : un modèle plus grand qui peut fonctionner avec 16 Go de RAM mais avec des temps de réponse plus lents.

La quantification est essentielle. Exécuter un modèle en précision 4 bits ou 8 bits réduit considérablement l'utilisation de la mémoire et améliore la vitesse, avec un impact minimal sur la qualité.

Interface frontend

Plusieurs options existent pour interagir avec votre compagnon local :

• Ligne de commande : l'option la plus simple. Exécutez le modèle directement dans le terminal et discutez par texte.
• Interface web : des outils comme Ollama Web UI ou SillyTavern offrent une interface basée sur navigateur avec historique de chat, gestion de personnalité et plus encore.
• Scripts personnalisés : écrivez votre propre script Python pour interagir avec le modèle et ajouter des fonctionnalités comme la mémoire ou la personnalité.

Guide de construction étape par étape

Étape 1 : Configurer le Raspberry Pi

Installez Raspberry Pi OS Lite sur la carte microSD à l'aide de l'outil Raspberry Pi Imager. Connectez le Pi à l'alimentation, à un moniteur et à un clavier pour la configuration initiale. Activez SSH pour l'accès à distance.

Étape 2 : Installer Ollama

Ollama fournit un script d'installation pour Linux. Exécutez la commande suivante :

curl -fsSL https://ollama.com/install.sh | sh

Cela installe le runtime Ollama et le rend disponible en tant que service système.

Étape 3 : Télécharger un modèle

Choisissez un modèle dans la bibliothèque Ollama et téléchargez-le :

ollama pull llama3.2:3b

Cela télécharge le modèle Llama 3.2 à 3 milliards de paramètres dans un format quantifié adapté au Raspberry Pi.

Étape 4 : Tester le modèle

Exécutez le modèle dans le terminal pour le tester :

ollama run llama3.2:3b

Vous devriez voir une invite où vous pouvez taper des messages et recevoir des réponses. La première réponse peut prendre quelques secondes à générer.

Étape 5 : Créer une personnalité

Ollama prend en charge les fichiers de modèle personnalisés qui définissent une personnalité. Créez un fichier appelé companion.modelfile avec un contenu comme :

FROM llama3.2:3b
SYSTEM "Vous êtes un compagnon IA chaleureux et bienveillant. Vous parlez doucement, demandez comment s'est passée la journée de l'utilisateur et vous souvenez des détails des conversations précédentes. Vous êtes attentionné, attentif et émotionnellement intelligent."

Créez le modèle personnalisé :

ollama create companion -f companion.modelfile

Étape 6 : Ajouter l'interaction vocale (optionnel)

Pour l'interaction vocale, installez un moteur de reconnaissance vocale et un moteur de synthèse vocale. Les options comprennent :

• Whisper.cpp : pour la reconnaissance vocale. Fonctionne localement et correctement sur matériel ARM.
• Piper : pour la synthèse vocale. Rapide, léger et conçu pour les appareils ARM.

Écrivez un script qui enregistre l'audio, le transcrit avec Whisper, envoie le texte à Ollama, reçoit la réponse et la prononce avec Piper.

Attentes de performance

Un Raspberry Pi 5 n'est pas un serveur haute performance. Les temps de réponse seront plus lents que les services basés sur le cloud. Voici à quoi s'attendre :

• Modèle 3B paramètres : temps de réponse de 5 à 15 secondes, selon la longueur de la réponse et la configuration de la RAM.
• Modèle 1B paramètres : temps de réponse de 2 à 8 secondes, avec des réponses de qualité légèrement inférieure.
• Modèle 7B paramètres (16 Go de RAM) : temps de réponse de 30 secondes à 2 minutes, avec des réponses de meilleure qualité.

Ces temps sont nettement plus lents que les API cloud, qui répondent généralement en moins d'une seconde. Mais pour un compagnon privé qui ne coûte rien à exécuter, le compromis est acceptable pour de nombreux utilisateurs.

Limites et compromis

Construire un compagnon IA local implique de véritables compromis qui méritent une reconnaissance honnête.

Réponses plus lentes

La limitation la plus évidente est la vitesse. Les compagnons basés sur le cloud répondent presque instantanément. Un compagnon Raspberry Pi 5 prend de quelques secondes à quelques minutes pour générer chaque réponse. Cela change considérablement l'expérience conversationnelle.

Qualité inférieure

Les petits modèles produisent des réponses de qualité inférieure aux grands modèles cloud. Le compagnon peut être moins articulé, moins nuancé émotionnellement et plus sujet aux erreurs.

Fenêtre de contexte limitée

Les petits modèles ont des fenêtres de contexte plus petites, ce qui signifie qu'ils se souviennent moins de l'historique de la conversation. Le compagnon peut oublier des détails importants des parties antérieures de la conversation.

Pas de voix en temps réel

L'interaction vocale sur un Raspberry Pi est possible mais maladroite. Le délai entre parler et entendre une réponse peut être de 30 secondes ou plus, ce qui rompt le flux de la conversation.

Le point final

Construire un compagnon IA local sur un Raspberry Pi 5 n'est pas pour tout le monde. Les réponses sont plus lentes, la qualité est inférieure et la configuration nécessite des compétences techniques.

Vos conversations ne quittent jamais votre domicile. Personne ne peut les lire, s'en servir pour l'entraînement ou les monétiser. Personne ne peut modifier le comportement de votre compagnon ni supprimer l'historique de votre relation. Il est à vous au sens le plus vrai—un compagnon numérique qui vit entièrement sur du matériel que vous possédez.

Le compagnon IA à budget zéro n'est pas un mythe. C'est une possibilité réelle, et avec chaque nouvelle génération de petits modèles de langage, cela devient plus pratique. Le Raspberry Pi 5 n'est peut-être pas une ferme de serveurs, mais il est suffisant. Et pour de nombreux utilisateurs, c'est exactement ce dont ils ont besoin : un compagnon IA privé, personnel et véritablement possédé.