Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 35 horas
Temario del curso
Introducción y fundamentos de diagnóstico
- Resumen de los modos de falla en sistemas LLM y problemas específicos de Ollama
- Establecimiento de experimentos reproducibles y entornos controlados
- Kit de herramientas de depuración: registros locales, capturas de solicitud/respuesta y sandboxing
Reproducción e aislamiento de fallas
- Técnicas para crear ejemplos de falla mínimos y semillas
- Interacciones con estado vs sin estado: aislamiento de errores relacionados con el contexto
- Determinismo, aleatoriedad y control del comportamiento no determinista
Evaluación del comportamiento y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y proxies de perplejidad
- Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas
- Comprobaciones de fidelidad específicas de la tarea y criterios de aceptación
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo
- Creación de suites de regresión y baselines de ejemplos dorados
- Integración CI/CD para actualizaciones de modelos de Ollama y puertas de validación automatizadas
Observabilidad y monitoreo
- Registro estructurado, trazas distribuidas e IDs de correlación
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad
- Alertas, dashboards y SLIs/SLOs para servicios basados en modelos
Análisis avanzado de causa raíz
- Seguimiento a través de prompts grafados, llamadas a herramientas y flujos de varios turnos
- Diagnóstico comparativo A/B y estudios de ablación
- Proveniencia de datos, depuración de datasets y abordaje de fallas inducidas por el dataset
Seguridad, robustez y estrategias de remediación
- Medidas de mitigación: filtrado, anclaje, aumentación de recuperación (RAG) y andamiaje de prompts
- Patrones de rollback, canary y despliegue gradual para actualizaciones de modelos
- Post-mortems, lecciones aprendidas y bucles de mejora continua
Resumen y próximos pasos
Requerimientos
- Sólida experiencia en la construcción y despliegue de aplicaciones LLM
- Conocimiento de los flujos de trabajo de Ollama y el hospedaje de modelos
- Domino de Python, Docker y herramientas básicas de observabilidad
Público Objetivo
- Ingenieros de IA
- Profesionales de MLOps
- Equipos de QA responsables de los sistemas LLM en producción