LLM: Desentrañando el cerebro fundamental de la IA generativa

Al finalizar este tema

• Podrá explicar qué es exactamente un LLM y por qué se utiliza el término "Grande".
• Comprenderá la diferencia fundamental entre los motores de búsqueda tradicionales o la IA basada en reglas y los LLM.
• Identificará las limitaciones de los LLM y los puntos a tener en cuenta al utilizarlos en la práctica.

Le hice una pregunta a la IA

Ingresé "Recomienda recetas de fusión modernas basadas en el menú de las comidas de los reyes de la dinastía Joseon" en ChatGPT, Claude y Gemini.

En cuestión de segundos, la IA generó una respuesta fluida y adecuada al contexto. Detrás de esto, hay un enorme cerebro de inteligencia artificial trabajando arduamente; este es el LLM (Large Language Model, o Modelo de Lenguaje Grande).

El LLM es un "cerebro de IA especializado en lenguaje" que ha leído y aprendido de miles de millones de documentos, libros, códigos y registros de conversaciones existentes en Internet.

¿Por qué específicamente "LLM"?

Anteriormente ya existían IA que procesaban el lenguaje (modelos de procesamiento del lenguaje natural). Sin embargo, hay una diferencia decisiva con los LLM actuales.

1. IA basada en reglas / Enfoque de "Shinshin"

• Funcionamiento: Las personas especificaban manualmente las reglas (If-Else) como "si preguntas A, responde B".
• Limitación: Si recibía una pregunta que no estaba cubierta por las reglas, no respondía en absoluto o repetía respuestas extrañas.

2. Modelos de lenguaje de aprendizaje profundo iniciales (Modelos pequeños)

• Funcionamiento: Aprendían basándose en datos gramáticas específicas o reglas de traducción.
• Limitación: Cuando la oración se volvía larga, olvidaba lo dicho anteriormente o no comprendía contextos complejos.

3. LLM (Modelo de Lenguaje Grande)

• Funcionamiento: Aumentó exponencialmente el número de parámetros del modelo y la cantidad de datos de entrenamiento.
• Innovación: Al superar una cierta escala (Ley de Escalado), comenzaron a aparecer de forma emergente capacidades de "razonamiento" y "comprensión contextual" que las personas no enseñaron manualmente.

Analogía en una línea:

Si la IA anterior era un principiante que ha memorizado algunos diccionarios, el LLM es un erudito extremadamente erudito que ha leído exhaustivamente toda la biblioteca escrita por la humanidad.

Los 3 principios clave de los LLM

Si resumimos muy simplemente cómo conversan los LLM, se trata de "adivinar la palabra más natural que sigue".

1. Tokenización:
   • No lee la oración tal cual, sino que la divide en unidades pequeñas llamadas "tokens" (palabras o fragmentos de caracteres) y las convierte en números.
2. Comprensión del contexto (Ventana de contexto):

• Analiza el contexto previo y posterior del prompt introducido y calcula probabilísticamente la relación entre las palabras.

3. Predicción del siguiente token:
   • Si se proporciona la frase "Había una vez, en lo profundo de un bosque [ ]", continúa completando la oración generando sucesivamente la palabra con mayor probabilidad de aparecer a continuación ("un tigre", "un leñador", etc.).

¿Dónde se utiliza?

Los LLM no se limitan a las ventanas de chat. Se han convertido en una tecnología fundamental para innumerables servicios de TI modernos.

• Chatbots e interfaces de chat: ChatGPT, Claude, Gemini, Copilot, entre otros.
• Resumen y traducción de documentos: Resumen de los puntos clave de informes largos y complejos; traducciones multilingües naturales.
• Generación y depuración de código: Asistentes de desarrollo que escriben código en Python o JavaScript a partir de instrucciones en lenguaje natural.
• Creación de contenido: Redacción de borradores de correos electrónicos, artículos para blogs y generación de eslóganes de marketing.

Malentendidos frecuentes y puntos de atención

❌ 1. "¿Los LLM buscan en internet en tiempo real para responder?"

No. Un LLM en su estado básico es un 'cerebro cerrado' ya finalizado en su entrenamiento. El modelo mismo solo depende de sus recuerdos (pesos) aprendidos previamente para dar respuestas. (La búsqueda en tiempo real o la referencia a información actualizada solo es posible cuando se incorporan herramientas auxiliares como búsquedas web o RAG).

❌ 2. "¿Los LLM distinguen entre hechos y mentiras al hablar?"

No. Los LLM no son algoritmos diseñados para juzgar la 'verdad', sino algoritmos creados para generar 'oraciones plausibles'. Si faltan datos o surge un tema desconocido, pueden inventar mentiras con total descaro; a esto se le denomina alucinación.

Las cuatro capas que componen un LLM

Si consideramos un LLM como una caja mágica, resulta difícil comparar productos. En la práctica, dividirlo en cuatro capas permite tomar decisiones más claras.

Debe usarse con precaución la expresión de que un modelo "sabe" algo. Los hechos no están almacenados como una fila en una base de datos, sino que los patrones útiles para predecir el siguiente token en numerosos contextos están distribuidos a través de todos los pesos.

El entrenamiento y el uso son etapas diferentes

En la fase de preentrenamiento, se desarrollan las capacidades básicas al predecir el siguiente token en un corpus extenso. En la fase de postentrenamiento, se perfecciona el estilo de diálogo y se ajustan los comportamientos para garantizar la seguridad, utilizando datos de instrucciones y datos de preferencias. El momento en que el usuario realiza una pregunta corresponde a la fase de inferencia. En este punto, el modelo base no aprende nuevos conocimientos de forma permanente, sino que genera respuestas condicionales únicamente en función del contexto actual.

datos a gran escala → preentrenamiento → modelo base
                         ↓
             Aprendizaje posterior de instrucciones y preferencias → Modelo conversacional
                                      ↓
                           Prompt del usuario → Inferencia

Aspectos importantes que considerar al analizar las tablas de rendimiento

• Un gran número de parámetros no siempre garantiza un rendimiento superior en todas las tareas.
• Admitir contextos extensos es diferente de recuperar con precisión toda la información contenida en ellos.
• Las puntuaciones de las pruebas comparativas pueden diferir de la calidad real de los documentos y el código en coreano.
• La cuantización reduce el uso de memoria, pero puede afectar la precisión y la estabilidad de la generación.
• El mismo modelo puede ofrecer experiencias de producto muy diferentes según el prompt del sistema, las herramientas, RAG y la configuración de muestreo.

Lista de verificación para la aplicación práctica

1. Complemente los datos más recientes mediante la búsqueda, RAG y la verificación del texto original.
2. Verifique las salidas importantes mediante esquemas y validadores.
3. Para la información numérica, las citas, la información legal y médica, exija pruebas independientes.
4. Verifique la sensibilidad de los datos de entrada y las políticas de retención del proveedor.
5. Elija en función de los conjuntos de evaluación reales para tareas representativas, en lugar de basarse únicamente en el nombre del modelo.

Resumen clave

• Este término no se refiere a un único modelo de IA, sino que debe entenderse en relación con los datos, el software y los procedimientos operativos.
• Verifique específicamente la entrada, la salida, los permisos y los criterios de evaluación, en lugar de confiar únicamente en las descripciones del producto.
• Vuelva a verificar los resultados y las acciones importantes mediante pruebas, validadores y la aprobación humana.

Próximos conceptos

→ Profundice: AI Native: ¿Qué es un LLM?