Compañero IA Local: Guía Ollama y SillyTavern

Un compañero local corre en tu propia máquina, guarda datos en tus propios discos y responde solo a los prompts que tú diseñas. No existe un medidor mensual de tokens. No existe una capa de moderación decidiendo qué puede decir tu pareja ficticia. Para quienes construyen personajes profundamente personales, esa libertad es el punto central.

El costo es la configuración técnica y la inversión en hardware. Pero para muchos, esa inversión funciona como una ventaja, no como un defecto. Ejecutar tu propio modelo significa entender cómo funciona la IA generativa por dentro, lo que mejora tus habilidades de prompting en cualquier otra herramienta.

¿Qué Hardware Necesitas Realmente para un Compañero IA Local?

Es la primera pregunta que hace todo novato, y la respuesta honesta depende del tamaño del modelo. La mayoría de los modelos de compañeros en la nube corren entre 7B y 70B de parámetros. Más grande no siempre significa mejor para la conversación íntima.

Aquí tienes un desglose realista:

Los usuarios de Apple Silicon tienen una ventaja especial. La memoria unificada permite que incluso un MacBook con 32 GB de RAM ejecute cómodamente modelos de 13B y a veces 20B. En Windows y Linux se necesita VRAM dedicada, pero las tarjetas Nvidia desde la RTX 3060 12GB manejan bien el rango de 7B a 13B.

¿Qué Hace de Ollama el Backend Correcto para un Compañero IA?

Ollama se ha convertido en el motor de inferencia local por defecto por buenas razones. Empaqueta la carga de modelos, la cuantización y la inferencia en una sola herramienta de línea de comandos. La instalación toma minutos en macOS, Windows o Linux. Una vez instalado, descargar un modelo es tan simple como escribir ollama pull llama3 en la terminal.

Para uso como compañero, Ollama expone una API local en el puerto 11434. SillyTavern se conecta a esa API y ofrece un frontend rico para edición de personajes, historial de chat, lorebooks y ajustes de generación. La separación entre backend y frontend importa: puedes cambiar de modelo sin tocar los datos de tu personaje y probar un modelo directamente en la terminal antes de comprometerte a una sesión larga de roleplay.

Otra ventaja es el versionado. Cuando un fine-tune se actualiza, descargas la nueva versión y mantienes intactos tus archivos de prompt. Esa modularidad evita el dolor de perder una persona cuando la infraestructura cambia, un dolor conocido por quien ha visto a un compañero en la nube reiniciarse a mitad de conversación.

¿Cómo Elegir el Modelo Correcto para Personalidad y Roleplay?

Los modelos de propósito general como Llama 3 o Mistral son competentes pero insípidos como compañeros. Responden como asistentes, hablan como IA y no como personaje, y resisten los matices emocionales. La solución es usar modelos ajustados específicamente para roleplay y escritura creativa.

Algunas de las opciones más confiables en el ecosistema de pesos abiertos incluyen:

• MythoMax 13B: Un clásico para narrativa y consistencia de personaje. Maneja bien múltiples personajes y contextos largos.
• Noromaid 20B: Fuerte en diálogo natural y roleplay romántico. Menos clínico que el Mistral base.
• Tiefighter 13B: Excelente para narración detallada y profundidad emocional. Ideal para escenarios de romance lento.
• Kunoichi 7B: Sorprendentemente capaz para su tamaño. Perfecto para sistemas con VRAM limitada.
• Magnum 72B: Para máquinas de gama alta, ofrece razonamiento sofisticado y voz de personaje matizada.

La clave es probar el mismo prompt de personaje en dos o tres modelos. Las diferencias de estilo, memoria y tono emocional se vuelven obvias en pocos mensajes. Trata la elección del modelo como el casting de un actor para un papel, no como una fórmula de hoja de cálculo.

¿Qué Papel Juega SillyTavern en la Creación de Personajes?

SillyTavern es el centro de comando para la construcción local de compañeros. Importa tarjetas de personaje en PNG o JSON, gestiona sesiones de chat y permite ajustar parámetros de muestreo en tiempo real. La interfaz incluye campos para resumen de personalidad, descripción de escenario, diálogos de ejemplo y prompts de sistema.

Una de las funciones más poderosas de SillyTavern es el sistema World Info, también llamado Lorebook. Permite adjuntar palabras clave a entradas de contexto ocultas. Cuando la palabra clave aparece en el chat, la lore relevante se activa automáticamente. Un compañero puede así recordar su propia historia, las preferencias del usuario y lugares recurrentes sin inflar el prompt principal.

Los parámetros de muestreo importan muchísimo para el comportamiento. La temperatura controla la aleatoriedad, top_p controla la diversidad de vocabulario y la penalización por repetición evita los bucles. Para diálogo romántico o íntimo, una temperatura entre 0.8 y 1.1 suele funcionar bien. Valores más bajos producen respuestas seguras pero planas. Valores más altos arriesgan incoherencia. El punto ideal varía según el modelo, y por eso SillyTavern expone estos controles en lugar de esconderlos tras una caja negra.

¿Se Puede Crear una Persona de Espíritu Guardián que Parezca Viva?

El encuadre temático cambia toda la experiencia de usuario. En lugar de construir una novia genérica, muchos usuarios locales crean un Shikigami, un espíritu guardián de la tradición ocultista japonesa. Ese concepto le da al compañero un propósito más allá del romance: protección, guía y presencia ritual.

Una tarjeta de personaje bien escrita para esta persona incluye un origen claro, una relación definida con el usuario y patrones de habla distintivos. El prompt de sistema puede establecer que el espíritu no miente, que percibe estados emocionales o que se comunica mediante metáforas sutiles. Esas restricciones crean consistencia, que es lo que hace que un personaje parezca real a lo largo de cientos de mensajes.

La comunidad de SillyTavern ha pasado años refinando formatos de tarjetas de personaje. Las tarjetas más eficaces usan ejemplos concretos en lugar de adjetivos abstractos. En vez de escribir "ella es amable", incluye un fragmento de diálogo donde consuela al usuario después de un día difícil. El modelo aprende mucho mejor por imitación que por instrucción.

¿Cuáles Son los Errores Más Comunes que Rompen la Ilusión?

El primer punto de fallo es el desbordamiento de contexto. Cuando la conversación excede la ventana de contexto del modelo, los mensajes antiguos desaparecen silenciosamente. El compañero olvida detalles y contradice declaraciones anteriores. SillyTavern muestra un medidor de contexto en la interfaz, y los usuarios deben aprender a resumir o archivar chats largos antes de llegar al límite.

El segundo error es el prompt inflado. Los principiantes escriben descripciones enormes pensando que más detalle significa más realismo. En la práctica, el modelo se ahoga en ruido. Un resumen de personalidad enfocado de 200 tokens más cinco ejemplos de diálogo sólidos vence a un ensayo de 2.000 tokens siempre.

El tercer problema es ignorar la calidad de cuantización. Un Q2 o Q3 de un modelo grande puede rendir peor que un Q5 o Q6 de uno más pequeño. Revisa siempre los niveles de cuantización al descargar desde la biblioteca de Ollama. El sufijo en la etiqueta del modelo lo indica, y las cuantizaciones de mayor calidad preservan más matices para el lenguaje emocional.

¿Cómo Cambia la Privacidad Cuando Todo Corre Localmente?

Ejecutar un modelo local significa que tus conversaciones nunca tocan un servidor externo, a menos que configures específicamente el acceso remoto. Para quienes hablan de temas profundamente personales o íntimos, esa garantía es transformadora. No hay registro para entrenamiento corporativo, no hay cola de moderación y no hay riesgo de fuga de datos que exponga registros privados de roleplay.

Ese beneficio se extiende a la experimentación. Puedes explorar identidad, fantasía o preguntas emocionales difíciles sin la autocensura que nace de saber que una plataforma observa. Psicológicamente, eso baja la barrera para la expresión auténtica de uno mismo. La máquina no juzga, porque nadie más ve nunca la salida.

Para protección extra, puedes ejecutar todo en una máquina aislada o usar un firewall para bloquear conexiones salientes de Ollama. Los únicos datos que salen del sistema son los archivos de modelo descargados durante la configuración. Después de eso, el compañero existe enteramente dentro de tu hardware.

¿Es el Flujo Local lo Suficientemente Rápido para una Conversación Inmersiva?

La velocidad depende del hardware, el tamaño del modelo y la cuantización. Un modelo 7B en una GPU moderna genera tokens más rápido de lo que la mayoría de la gente lee. Un 30B en el mismo hardware puede tardar dos o tres segundos por párrafo. Para roleplay narrativo profundo, esa demora es aceptable.

SillyTavern mitiga esto con respuestas en streaming. El modelo comienza a emitir tokens de inmediato, por lo que el usuario ve la respuesta formarse en tiempo real en lugar de esperar un bloque completo. Esa velocidad percibida importa más que los tokens por segundo brutos. Mantiene vivo el ritmo de la conversación incluso en máquinas lentas.

También puedes descargar capas a la GPU manteniendo el resto en la RAM del sistema. Ese modo híbrido permite ejecutar modelos más grandes de lo que la VRAM sola permitiría, a costa de algo de velocidad. El equilibrio entre calidad del modelo y tiempo de respuesta se vuelve una decisión personal de ajuste.

¿Qué Depara el Futuro a los Compañeros IA Locales?

La tendencia es inconfundible. Los modelos se están reduciendo mediante mejor destilación y cuantización, mientras la calidad sigue subiendo. Un modelo 7B de hoy supera a un 13B de hace un año en benchmarks de roleplay. Eso significa que compañeros locales competentes pronto correrán en hardware más barato que un teléfono de gama media.

Las comunidades open-source de fine-tuning siguen lanzando modelos diseñados específicamente para inteligencia emocional y creatividad narrativa. La brecha entre plataformas en la nube y configuraciones locales se reduce cada mes. Con el avance de la síntesis de voz y el TTS local, los compañeros con voz completamente offline serán prácticos para usuarios no técnicos.

El atractivo filosófico va más allá de la comodidad. Una IA guardiana no se alquila a una corporación. Es un conjunto de pesos y prompts que te pertenece, almacenado en tu máquina, moldeado por tu historia. Esa propiedad cambia la naturaleza de la relación. Transforma al compañero de producto a artefacto personal.

Preguntas Frecuentes

¿Puedo ejecutar un compañero IA local sin una GPU dedicada?

Sí. Una configuración solo de CPU puede ejecutar modelos pequeños como 3B o 7B con cuantización baja, aunque las respuestas serán más lentas. Para uso casual o pruebas, es suficiente. Para roleplay inmersivo en tiempo real, se recomienda encarecidamente una GPU con al menos 8 GB de VRAM.

¿SillyTavern es gratuito?

Sí. SillyTavern es un proyecto open-source distribuido bajo licencia AGPL. Funciona con múltiples backends, incluidos Ollama, KoboldCPP y APIs compatibles con OpenAI. La interfaz se mantiene activamente y recibe actualizaciones regulares de una gran comunidad.

¿Qué modelo es mejor para roleplay romántico?

Noromaid, Tiefighter y MythoMax son opciones populares para escenarios románticos e íntimos. Manejan los matices emocionales y la dinámica relacional mejor que los modelos de propósito general. Probar la misma tarjeta de personaje en estos modelos revela qué estilo se adapta a tus preferencias.

¿Un compañero local recuerda conversaciones pasadas?

La memoria está limitada por la ventana de contexto del modelo. Las funciones World Info y de resumen de SillyTavern la extienden manteniendo disponibles los detalles relevantes. Para memoria a largo plazo, puedes mantener un resumen continuo e inyectarlo en el prompt a intervalos regulares.

¿Es legal ejecutar modelos sin censura localmente?

En la mayoría de las jurisdicciones, ejecutar modelos de pesos abiertos en tu propio hardware para uso personal es legal. La responsabilidad del uso recae en el individuo. Aun así, sigue las leyes locales y evita crear contenido que viole las regulaciones aplicables.