Modelos de Lenguaje Grande (LLM) y Aprendizaje por Refuerzo (RL)

Introducción a los Modelos de Lenguaje Grande (LLM)

• Vista general de los LLM.
• Definición e importancia.
• Aplicaciones en la IA actual.

Arquitectura del transformador

• ¿Qué es un transformador y cómo funciona?
• Componentes principales y características.
• Embebido y codificación posicional.
• Atención multi-cabeza.
• Red neuronal de alimentación hacia adelante.
• Normalización y conexiones residuales.

Modelos transformadores

• Mecanismo de autoatención.
• Arquitectura codificador-decodificador.
• Embebidos posicionales.
• BERT (Representaciones del codificador bidireccional desde transformadores).
• GPT (Transformador generativo preentrenado).

Optimización del rendimiento y consideraciones importantes

• Longitud del contexto.
• Mamba y modelos de espacio de estados.
• Atención rápida (Flash attention).
• Transformadores dispersos.
• Transformadores visuales.
• Importancia de la cuantización.

Mejora de los transformadores

• Generación de texto aumentada por recuperación.
• Mezcla de modelos.
• Árbol de pensamientos.

Ajuste fino (Fine-Tuning)

• Teoría de la adaptación de bajo rango.
• Ajuste fino con QLora.

Leyes de escalado y optimización en los LLM

• Importancia de las leyes de escalado para los LLM.
• Escalado del tamaño de los datos y del modelo.
• Escalado computacional.
• Escalado de la eficiencia de parámetros.

Optimización

• Relación entre el tamaño del modelo, el tamaño de los datos, el presupuesto de cómputo y los requisitos de inferencia.
• Optimización del rendimiento y la eficiencia de los LLM.
• Mejores prácticas y herramientas para entrenar y ajustar finamente los LLM.

Entrenamiento y ajuste fino de los LLM

• Pasos y desafíos del entrenamiento de LLM desde cero.
• Adquisición y mantenimiento de datos.
• Requisitos de grandes conjuntos de datos, CPU y memoria.
• Desafíos de optimización.
• Panorama de los LLM de código abierto.

Fundamentos del Aprendizaje por Refuerzo (RL)

• Introducción al aprendizaje por refuerzo.
• Aprendizaje a través del refuerzo positivo.
• Definición y conceptos clave.
• Proceso de decisión de Markov (MDP).
• Programación dinámica.
• Métodos de Monte Carlo.
• Aprendizaje por diferencia temporal.

Aprendizaje profundo por refuerzo

• Redes Q profundas (DQN).
• Optimización por política proximal (PPO).
• Elementos del aprendizaje por refuerzo.

Integración de LLM y Aprendizaje por Refuerzo

• Combinar LLM con Aprendizaje por Refuerzo.
• Cómo se utiliza el RL en los LLM.
• Aprendizaje por refuerzo con retroalimentación humana (RLHF).
• Alternativas al RLHF.

Casos de estudio y aplicaciones

• Aplicaciones del mundo real.
• Historias de éxito y desafíos.

Tópicos avanzados

• Técnicas avanzadas.
• Métodos de optimización avanzados.
• Investigación y desarrollos de vanguardia.

Resumen y próximos pasos.