Ponte en Contacto
 Duración 14 horas

Temario del curso

Introducción al Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF)

  • ¿Qué es RLHF y por qué es importante?
  • Comparación con los métodos de afinación supervisada
  • Aplicaciones de RLHF en sistemas de IA modernos

Modelado de Recompensas con Retroalimentación Humana

  • Recopilación y estructuración de la retroalimentación humana
  • Construcción y entrenamiento de modelos de recompensa
  • Evaluación de la eficacia de los modelos de recompensa

Entrenamiento con Optimización de Políticas Proximal (PPO)

  • Resumen de los algoritmos PPO para RLHF
  • Implementación de PPO con modelos de recompensa
  • Afinación iterativa y segura de los modelos

Afinación Práctica de Modelos de Lenguaje

  • Preparación de conjuntos de datos para flujos de trabajo de RLHF
  • Afinación práctica de un pequeño LLM utilizando RLHF
  • Desafíos y estrategias de mitigación

Escala de RLHF a Sistemas de Producción

  • Consideraciones de infraestructura y capacidad de cómputo
  • Garantía de calidad y bucles de retroalimentación continua
  • Mejores prácticas para la implementación y el mantenimiento

Consideraciones Éticas y Mitigación de Sesgos

  • Abordaje de los riesgos éticos en la retroalimentación humana
  • Estrategias de detección y corrección de sesgos
  • Asegurar la alineación y salidas seguras

Estudios de Caso y Ejemplos del Mundo Real

  • Estudio de caso: Afinación de ChatGPT con RLHF
  • Otras implementaciones exitosas de RLHF
  • Lecciones aprendidas y perspectivas de la industria

Requerimientos

  • Comprensión de los fundamentos del aprendizaje supervisado y el aprendizaje por refuerzo
  • Experiencia en la afinación de modelos y arquitecturas de redes neuronales
  • Conocimiento de la programación en Python y marcos de trabajo de aprendizaje profundo (p. ej., TensorFlow, PyTorch)

Público Objetivo

  • Ingenieros de aprendizaje automático
  • Investigadores de IA

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas