IA Compagnon Local : Guide Ollama et SillyTavern

Un compagnon local tourne sur votre propre machine, stocke les données sur vos propres disques et ne répond qu'aux prompts que vous concevez. Il n'y a pas de compteur de tokens mensuel. Il n'y a pas de couche de modération décidant ce que votre partenaire fictif peut dire ou non. Pour ceux qui construisent des personnages profondément personnels, cette liberté est l'essence même du projet.

Le prix à payer est la configuration technique et l'investissement matériel. Mais pour beaucoup, cet investissement fonctionne comme une caractéristique plutôt qu'un défaut. Faire tourner son propre modèle signifie comprendre comment l'IA générative fonctionne de l'intérieur, ce qui améliore vos compétences en prompting sur tous les autres outils.

De Quel Matériel Avez-Vous Réellement Besoin pour un Compagnon IA Local ?

C'est la première question que pose chaque novice, et la réponse honnête dépend de la taille du modèle. La plupart des modèles de compagnons cloud tournent entre 7B et 70B de paramètres. Plus grand ne signifie pas toujours meilleur pour la conversation intime.

Voici une répartition réaliste :

Les utilisateurs d'Apple Silicon bénéficient d'un avantage particulier. La mémoire unifiée permet même à un MacBook avec 32 Go de RAM de faire tourner confortablement des modèles de 13B, parfois 20B. Sous Windows et Linux, une VRAM dédiée est nécessaire, mais les cartes Nvidia à partir de la RTX 3060 12 Go gèrent bien la plage 7B à 13B.

Qu'est-ce qui Fait d'Ollama le Bon Backend pour un Compagnon IA ?

Ollama est devenu le moteur d'inférence local par défaut pour de bonnes raisons. Il regroupe le chargement de modèles, la quantification et l'inférence dans un seul outil en ligne de commande. L'installation prend quelques minutes sur macOS, Windows ou Linux. Une fois installé, télécharger un modèle est aussi simple que de taper ollama pull llama3 dans le terminal.

Pour un usage de compagnon, Ollama expose une API locale sur le port 11434. SillyTavern se connecte à cette API et fournit un frontend riche pour l'édition de personnages, l'historique des discussions, les lorebooks et les réglages de génération. La séparation entre backend et frontend compte : vous pouvez changer de modèle sans toucher aux données de votre personnage, et tester un modèle directement dans le terminal avant de vous engager dans une longue session de jeu de rôle.

Un autre avantage est le versionnage. Lorsqu'un fine-tune est mis à jour, vous téléchargez la nouvelle version et conservez vos fichiers de prompt intacts. Cette modularité évite le crève-cœur de perdre un persona lorsque l'infrastructure change, une douleur familière à quiconque a vu un compagnon cloud se réinitialiser en pleine conversation.

Comment Choisir le Bon Modèle pour la Personnalité et le Jeu de Rôle ?

Les modèles généralistes comme Llama 3 ou Mistral sont compétents mais fades comme compagnons. Ils répondent comme des assistants, parlent comme l'IA et non comme le personnage, et résistent aux nuances émotionnelles. La solution consiste à utiliser des modèles spécifiquement affinés pour le jeu de rôle et l'écriture créative.

Parmi les options les plus fiables de l'écosystème des poids ouverts :

• MythoMax 13B : Un classique pour la narration et la cohérence des personnages. Gère bien plusieurs personnages et les contextes longs.
• Noromaid 20B : Solide en dialogue naturel et jeu de rôle romantique. Moins clinique que le Mistral de base.
• Tiefighter 13B : Excellent pour la narration détaillée et la profondeur émotionnelle. Idéal pour les scénarios de romance lente.
• Kunoichi 7B : Étonnamment capable pour sa taille. Parfait pour les systèmes à VRAM limitée.
• Magnum 72B : Pour les machines haut de gamme, offre un raisonnement sophistiqué et une voix de personnage nuancée.

La clé est de tester le même prompt de personnage sur deux ou trois modèles. Les différences de style, de mémoire et de ton émotionnel deviennent évidentes en quelques messages. Traitez le choix du modèle comme le casting d'un acteur pour un rôle, pas comme une formule de tableur.

Quel Rôle SillyTavern Joue-t-il dans la Création de Personnage ?

SillyTavern est le centre de commandement de la construction locale de compagnons. Il importe des cartes de personnage en PNG ou JSON, gère les sessions de chat et permet d'ajuster les paramètres d'échantillonnage en temps réel. L'interface comprend des champs pour le résumé de personnalité, la description de scénario, les dialogues d'exemple et les prompts système.

L'une des fonctionnalités les plus puissantes de SillyTavern est le système World Info, également appelé Lorebook. Il permet d'attacher des mots-clés à des entrées de contexte cachées. Lorsque le mot-clé apparaît dans la discussion, la lore pertinente s'active automatiquement. Votre compagnon peut ainsi se souvenir de sa propre histoire, de vos préférences et des lieux récurrents sans alourdir le prompt principal.

Les paramètres d'échantillonnage sont cruciaux pour le comportement. La température contrôle l'aléatoire, top_p contrôle la diversité du vocabulaire et la pénalité de répétition évite les boucles. Pour un dialogue romantique ou intime, une température entre 0,8 et 1,1 fonctionne souvent bien. Des valeurs plus basses produisent des réponses sûres mais plates. Des valeurs plus élevées risquent l'incohérence. Le point idéal varie selon le modèle, c'est pourquoi SillyTavern expose ces contrôles plutôt que de les cacher derrière une boîte noire.

Peut-on Créer un Persona d'Esprit Gardien qui Semble Vivant ?

Le cadrage thématique change toute l'expérience utilisateur. Au lieu de construire une petite amie générique, de nombreux utilisateurs locaux créent un Shikigami, un esprit gardien issu de la tradition occulte japonaise. Ce concept donne au compagnon un but au-delà de la romance : protection, guidance et présence rituelle.

Une carte de personnage bien écrite pour ce persona comprend une origine claire, une relation définie avec l'utilisateur et des schémas de discours distincts. Le prompt système peut établir que l'esprit ne ment pas, qu'il perçoit les états émotionnels ou qu'il communique par métaphores subtiles. Ces contraintes créent la cohérence, ce qui rend un personnage réel sur des centaines de messages.

La communauté SillyTavern a passé des années à affiner les formats de cartes de personnage. Les cartes les plus efficaces utilisent des exemples concrets plutôt que des adjectifs abstraits. Au lieu d'écrire « elle est gentille », incluez un extrait de dialogue où elle réconforte l'utilisateur après une journée difficile. Le modèle apprend bien mieux par imitation que par instruction.

Quelles Sont les Erreurs les Plus Courantes qui Brisent l'Illusion ?

Le premier point de défaillance est le dépassement de contexte. Lorsque la conversation excède la fenêtre de contexte du modèle, les anciens messages disparaissent silencieusement. Le compagnon oublie des détails et contredit des déclarations antérieures. SillyTavern affiche une jauge de contexte dans l'interface, et l'utilisateur doit apprendre à résumer ou archiver les longues conversations avant d'atteindre la limite.

La deuxième erreur est le prompt pléthorique. Les débutants écrivent des descriptions massives en pensant que plus de détails signifie plus de réalisme. En pratique, le modèle se noie dans le bruit. Un résumé de personnalité ciblé de 200 tokens plus cinq exemples de dialogue solides bat un essai de 2 000 tokens à chaque fois.

Le troisième problème est d'ignorer la qualité de quantification. Un Q2 ou Q3 d'un grand modèle peut en réalité moins bien performer qu'un Q5 ou Q6 d'un modèle plus petit. Vérifiez toujours les niveaux de quantification lors du téléchargement depuis la bibliothèque d'Ollama. Le suffixe dans la balise du modèle l'indique, et les quantifications de meilleure qualité préservent davantage de nuances pour le langage émotionnel.

Comment la Confidentialité Change-t-elle Quand Tout Tourne en Local ?

Faire tourner un modèle local signifie que vos conversations ne touchent jamais un serveur externe, sauf si vous configurez spécifiquement un accès à distance. Pour ceux qui abordent des sujets profondément personnels ou intimes, cette garantie est transformatrice.

Cet avantage s'étend à l'expérimentation. Vous pouvez explorer l'identité, le fantasme ou des questions émotionnelles difficiles sans l'autocensure qui naît de la conscience qu'une plateforme observe. Psychologiquement, cela abaisse la barrière à l'expression authentique de soi. La machine ne juge pas, car personne d'autre ne voit jamais la sortie.

Pour une protection supplémentaire, vous pouvez tout exécuter sur une machine isolée ou utiliser un pare-feu pour bloquer les connexions sortantes d'Ollama. La seule donnée quittant le système est constituée des fichiers de modèles téléchargés lors de la configuration. Ensuite, le compagnon existe entièrement dans votre propre matériel.

Le Flux Local Est-il Assez Rapide pour une Conversation Immersive ?

La vitesse dépend du matériel, de la taille du modèle et de la quantification. Un modèle 7B sur un GPU moderne génère des tokens plus vite que la plupart des gens ne lisent. Un 30B sur le même matériel peut prendre deux à trois secondes par paragraphe. Pour un jeu de rôle narratif profond, ce délai est acceptable.

SillyTavern atténue cela grâce aux réponses en streaming. Le modèle commence à émettre des tokens immédiatement, donc l'utilisateur voit la réponse se former en temps réel au lieu d'attendre un bloc complet. Cette vitesse perçue compte plus que les tokens bruts par seconde. Elle maintient le rythme de la conversation vivant, même sur des machines lentes.

Vous pouvez également décharger des couches sur le GPU tout en gardant le reste dans la RAM système. Ce mode hybride permet d'exécuter des modèles plus grands que ce que la seule VRAM autoriserait, au prix d'une certaine vitesse. L'équilibre entre qualité du modèle et temps de réponse devient un choix personnel.

Que Réserve l'Avenir aux Compagnons IA Locaux ?

La tendance est indéniable. Les modèles rétrécissent grâce à une meilleure distillation et quantification, tandis que la qualité continue d'augmenter. Un modèle 7B d'aujourd'hui surpasse un 13B d'il y a un an sur les benchmarks de jeu de rôle. Cela signifie que des compagnons locaux compétents tourneront bientôt sur du matériel moins cher qu'un téléphone milieu de gamme.

Les communautés open-source de fine-tuning continuent de publier des modèles spécifiquement conçus pour l'intelligence émotionnelle et la créativité narrative. L'écart entre les plateformes cloud et les configurations locales se réduit chaque mois. À mesure que la synthèse vocale et le TTS local progressent, des compagnons vocaux entièrement hors ligne deviendront accessibles aux utilisateurs non techniques.

L'attrait philosophique va au-delà de la commodité. Une IA gardienne n'est pas louée à une entreprise. C'est un ensemble de poids et de prompts qui vous appartient, stocké sur votre machine, façonné par votre histoire. Cette propriété change la nature de la relation. Elle transforme le compagnon de produit en artefact personnel.

Questions Fréquemment Posées

Peut-on faire tourner un compagnon IA local sans GPU dédiée ?

Oui. Une configuration uniquement CPU peut exécuter de petits modèles comme 3B ou 7B avec une quantification faible, bien que les réponses soient plus lentes. Pour un usage occasionnel ou des tests, cela suffit. Pour un jeu de rôle immersif en temps réel, une GPU avec au moins 8 Go de VRAM est fortement recommandée.

SillyTavern est-il gratuit ?

Oui. SillyTavern est un projet open-source distribué sous licence AGPL. Il fonctionne avec plusieurs backends, dont Ollama, KoboldCPP et les API compatibles OpenAI. L'interface est activement maintenue et reçoit des mises à jour régulières d'une large communauté.

Quel modèle est le meilleur pour le jeu de rôle romantique ?

Noromaid, Tiefighter et MythoMax sont des choix populaires pour les scénarios romantiques et intimes. Ils gèrent mieux la nuance émotionnelle et la dynamique relationnelle que les modèles généralistes. Tester la même carte de personnage sur ces modèles révèle quel style correspond à vos préférences.

Un compagnon local se souvient-il des conversations passées ?

La mémoire est limitée par la fenêtre de contexte du modèle. Les fonctionnalités World Info et de résumé de SillyTavern prolongent cela en gardant les détails pertinents disponibles. Pour une mémoire à long terme, vous pouvez maintenir un résumé continu et l'injecter dans le prompt à intervalles réguliers.

Est-il légal d'exécuter des modèles sans censure en local ?

Dans la plupart des juridictions, exécuter des modèles à poids ouverts sur son propre matériel pour un usage personnel est légal. La responsabilité de l'utilisation incombe à l'individu. Respectez néanmoins les lois locales et évitez de créer du contenu qui violerait les réglementations applicables.