Elección del modelo LLM y costes

Hoy os cuento cómo funciona Sara GPT, la nueva versión del chatbot de Sara, disponible para todos los suscriptores de Boluda.com.

Pero antes, recordemos que en Boluda.com tenéis cursos para emprendedores, marketing online, desarrollo web, y todo lo que necesitáis para vuestro negocio online. Estamos en pleno curso de Gamma, en el que aprendemos a crear presentaciones, documentos y páginas web visuales de forma rápida, utilizando inteligencia artificial. ¡A por él!

Y ahora sí, vamos al lío. En este episodio os hablo de uno de los grandes cambios recientes en boluda.com: la nueva Sara. Antes os encontrabais con un formulario bastante apañado, pero limitado. Servía para calcular cosas concretas, valorar ideas de negocio o generar algún contenido puntual. Funcionaba, sí, pero se quedaba corto.

Eso ha cambiado por completo desde la llegada del campus. Ahora, lo que tenéis delante es un chat en toda regla, al estilo ChatGPT. Podéis hablar con Sara, preguntarle lo que queráis, y además no hace falta que os presentéis. Ya sabe quiénes sois, cuánto tiempo lleváis en boluda.com y, si estáis en el directorio, incluso a qué os dedicáis. Conoce vuestro perfil porque forma parte del propio ecosistema de la web.

La clave está en que Sara conoce todo mi universo de contenidos. Sabe de los cursos, de los podcasts, de los libros, de Boluda en general, de casos reales y también de la información que vosotros habéis añadido en vuestro perfil. Si le preguntáis qué sabe de vosotros, os puede responder cosas muy concretas: si habéis pasado por un mastermind, vuestro nivel, vuestra antigüedad o el tipo de empresa que tenéis. Todo eso lo cruza porque extrae información de muchas fuentes distintas.

Para llegar a esto, el trabajo no ha sido simplemente decirle “aquí tienes mi web, búscate la vida”. Eso no funciona así. Lo primero ha sido reunir todos los datos: exportar cursos, podcasts, textos, transcripciones y notas. En mi caso, lo hice desde WordPress con herramientas como WP All Export. Pero exportar no es suficiente. Hay que limpiar todo ese contenido: eliminar HTML, shortcodes, restos de XML o CSV y cualquier cosa que estorbe. Después, toca darle forma semántica, que es lo realmente importante. No se trata de parámetros técnicos, sino de estructurar la información de forma que tenga sentido: número de episodio, título, contenido, fecha; nombre del curso, clase, categoría… todo bien ordenado y legible.

Hay fuentes que son más fáciles. Los libros, por ejemplo, simplemente los he subido en PDF o en TXT, y listo. Pero una vez que todo está limpio y preparado, todavía queda un paso clave: la vectorización. Los modelos de lenguaje no trabajan con texto como lo hacemos nosotros, sino con números. Toda esa información se convierte en vectores que luego sirven para encontrar respuestas por similitud. Cuando preguntáis algo, vuestra pregunta también se transforma en vectores y se compara con esa base de datos para devolver la mejor respuesta posible. Y sí, aunque suene raro, funciona de forma casi mágica.

Para vectorizar todo, he optado por usar OpenAI. La vectorización en sí es gratuita; lo que se paga es el almacenamiento. Subo toda la información a lo que llaman una Vector Store, que vendría a ser la memoria de Sara. Esa memoria se suma al conocimiento general del modelo de lenguaje, y así tenemos una Sara que no solo sabe “de todo un poco”, sino que sabe muchísimo sobre Boluda.

Eso sí, aquí surge otro problema... Yo genero contenido nuevo cada día. Cada mañana hay podcast, y cada día hay dos clases nuevas. Sara no lo sabe automáticamente. Para solucionarlo, lo que hago es generar archivos de texto con el contenido nuevo y, de momento, una vez al mes actualizo la base y la subo de nuevo. Más adelante pasaré a hacerlo semanalmente, y si hiciera falta, incluso a diario. No se hace en tiempo real porque reprocesar todo constantemente no tendría sentido ni a nivel técnico ni de costes.

Con eso ya tenemos lista la memoria. Pero aquí no acaba la cosa. El segundo pilar a tratar, es la personalidad. Esto es mucho más sencillo. Aquí no hay que vectorizar nada, solo definir cómo es Sara: su forma de hablar, su carácter, sus referencias. Le he creado una personalidad muy concreta, inspirada en varios personajes de ficción, y eso se define con texto e instrucciones claras. Incluso podéis apoyaros en un LLM para pulir esa descripción y dejarla perfecta.

El tercer eje es la inteligencia, que depende del modelo de IA que se utilice. Y aquí hay muchísimas opciones: modelos más rápidos, más lentos, más baratos, más caros, más o menos inteligentes (gpt-4, gpt-5, gpt-5-2, versiones nano, mini, pro, turbo...). Cuanto más potente es el modelo, más tarda en responder y más cuesta cada interacción. Y claro, siendo miles de usuarios, esto hay que controlarlo muy bien.

Por eso he optado por un sistema de gamificación. El acceso a Sara y el nivel de inteligencia con el que responde dependen de vuestra antigüedad en boluda.com. Cuanto más tiempo lleváis, más mensajes podéis enviarle y más avanzado es el modelo que utiliza para contestaros. Es decir, con el tiempo, Sara se vuelve más lista para vosotros. :)

Este sistema de gamificación os lo explicaré en detalle en el episodio de mañana. Por hoy, hasta aquí todo lo que hay detrás de la nueva Sara.

Como siempre, muchas gracias a todos por vuestras valoraciones de cinco estrellas en Apple Podcasts y Spotify, suscribiros a los cursos para emprendedores y por estar ahí, al otro lado. Como siempre digo, sin vosotros, esto no sería lo que es. Sin vosotros esto simplemente, no sería.

Nos escuchamos mañana con más marketing online. Como siempre, a las 07:07. Hasta entonces… ¡Muy buenos días!