Qué hace realmente un modelo de lenguaje cuando responde

El texto se convierte en piezas

Un modelo de lenguaje no lee frases como lo hace una persona. Lo primero que ocurre es que el texto se divide en fragmentos llamados tokens. A veces un token es una palabra completa; otras, un trozo de palabra, un signo de puntuación o un espacio. La palabra «inteligencia» puede quedar entera, mientras que un término poco frecuente se parte en varias piezas.

Cada token se transforma después en una lista de números, un vector, que resume cómo se ha usado ese fragmento en los textos con los que se entrenó el modelo. Tokens que aparecen en contextos parecidos acaban con vectores parecidos. Por eso el sistema puede relacionar «banco» con «cuenta» o con «préstamo» sin que nadie le haya dado una definición.

El tamaño del vocabulario de tokens es fijo y se decide antes del entrenamiento. Por eso los idiomas menos presentes en los datos suelen necesitar más tokens para decir lo mismo, lo que hace su procesamiento algo más costoso y, a veces, menos preciso.

La atención: qué partes del texto importan

Una vez convertidos en números, los tokens pasan por muchas capas de cálculo. En cada una, un mecanismo llamado atención decide cuánto debe influir cada parte del texto en cada otra. En la frase «el banco cerró la cuenta porque estaba inactiva», la atención ayuda a que «estaba» se relacione con «cuenta» y no con «banco».

Este mecanismo es la gran aportación de la arquitectura llamada transformer, presentada por investigadores en 2017 y base de la mayoría de los modelos actuales. Permite tener en cuenta textos largos y relaciones lejanas entre palabras. Pero no equivale a comprender: el modelo pondera relaciones aprendidas, no comprueba si lo que dice es cierto.

El texto que el modelo puede tener en cuenta a la vez se llama ventana de contexto. Todo lo que queda fuera, como una conversación antigua o un documento que no se ha incluido, simplemente no existe para él en ese momento.

Una respuesta es una cadena de probabilidades

Al final de todas esas capas, el modelo produce una lista de probabilidades para el siguiente token: qué fragmento es más probable que venga después del texto que ya tiene. Elige uno, lo añade al texto y repite el proceso entero para el siguiente. Una respuesta de doscientas palabras es el resultado de cientos de elecciones encadenadas.

La elección no siempre recae en la opción más probable. Un parámetro llamado temperatura regula cuánto se reparte la probabilidad entre alternativas. Con temperatura baja, el modelo tiende a repetir las opciones más seguras y sus respuestas son más previsibles. Con temperatura alta, aparecen opciones menos habituales y el texto se vuelve más variado, pero también más propenso a desviarse.

Esto explica por qué la misma pregunta puede recibir respuestas distintas en dos intentos, y por qué un texto muy bien redactado puede contener un dato incorrecto: la fluidez depende de las probabilidades del lenguaje, no de la verificación de los hechos.

Por qué se equivoca con tanta seguridad

Cuando un modelo inventa una cita, una cifra o una referencia que no existe, se suele hablar de alucinación. El término es discutible, pero describe algo real: el sistema produce el texto que mejor encaja con el patrón, aunque no corresponda a ningún hecho. Si en sus datos de entrenamiento abundan las frases del tipo «según un estudio de», completar esa frase con un estudio plausible es estadísticamente natural.

El tono seguro no es un indicio de fiabilidad, porque el modelo no tiene una medida interna de certeza comparable a la de una persona experta. Puede expresar dudas si se le ha entrenado para hacerlo, pero eso también es un patrón de lenguaje aprendido. Por eso, cualquier dato importante debe contrastarse con una fuente original.

Un ejemplo para verlo en marcha

Imagina el texto «Para comprobar un dato, lo mejor es consultar la». El modelo calcula probabilidades para el siguiente token: «fuente» puede recibir una probabilidad alta, «página» o «web» algo menos, y palabras sin relación casi ninguna. Con temperatura baja elegirá casi siempre «fuente». Con temperatura alta, de vez en cuando elegirá otra opción y la frase seguirá por un camino distinto.

En la portada de este sitio hay un esquema interactivo que muestra precisamente esto con tres frases de ejemplo. Las probabilidades que aparecen son ilustrativas, elegidas para explicar el mecanismo, y no proceden de ningún modelo real.

Del modelo base al asistente

El modelo que se entrena primero con enormes cantidades de texto se llama modelo base. Sabe continuar textos, pero no necesariamente responder preguntas de forma útil. Para convertirlo en un asistente conversacional, se le somete a un segundo entrenamiento con ejemplos de diálogos y con valoraciones humanas sobre qué respuestas son mejores.

Ese ajuste mejora el tono, la utilidad y la prudencia, pero no cambia la naturaleza del sistema. Debajo sigue habiendo un mecanismo que predice el siguiente token. Algunas herramientas añaden búsquedas en documentos o en la web para apoyar sus respuestas en textos concretos, lo que reduce ciertos errores, aunque no los elimina.

Saber esto no resta valor a los modelos de lenguaje, que son útiles para resumir, redactar o explicar. Ayuda, más bien, a usarlos para lo que hacen bien y a comprobar aquello en lo que pueden fallar. Este artículo es material educativo y no evalúa ningún producto concreto.