Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Opciones de Despliegue
- Compromisos entre API alojada y autoalojada
- Patrones de infraestructura local, en el borde y aislada
- Un solo modelo versus portafolio de modelos
- Comparación del costo por decisión
Dimensionamiento de Hardware y Capacidad
- Huella de memoria según el conteo de parámetros
- Solo CPU versus aceleración con GPU
- Planificación de concurrencia y rendimiento (throughput)
- Margen para el crecimiento de la longitud de las tareas
Stacks de Servicio
- Opciones de vLLM y SGLang
- Ejecución con llama.cpp y GGUF
- Ollama para desarrollo local
- Selección según la forma de la carga de trabajo de decisión
Cuantización sin Perder Calibración
- Formatos de precisión y ahorro de memoria
- Medición de la pérdida de calidad y calibración
- Variantes por tensor y conscientes de la importancia
- Pruebas de aceptación después de la cuantización
Ingeniería de Latencia
- Latencia mediana versus latencia de cola
- Crecimiento de la latencia con la longitud del contexto
- Arranque en caliente y caché de modelos
- Loteo de múltiples preguntas de decisión
Entornos de Borde y Restringidos
- Pequeños modelos de decisión en CPU
- Despliegue en Apple Silicon y dispositivos embebidos
- Operación offline y estrategia de actualización
- Distribución de pesos en entornos aislados
Contenerización y Escalamiento
- Diseño de imágenes para el servicio de modelos
- Gestión de volúmenes y cachés
- Escalamiento horizontal y enrutamiento
- Límites de recursos y compartición de GPU
Observabilidad
- Métricas de solicitudes, latencia y errores
- Monitoreo de la distribución de confianza
- Seguimiento de resultados de decisión y escalaciones
- Alertas por deriva de calibración
Versionamiento y Despliegue
- Versionamiento de modelos y adaptadores
- Despliegue en sombra y canario
- Archivos de modelos fijados para auditoría
- Procedimientos de retroceso
Seguridad y Multitenancy
- Autenticación y limitación de tasa
- Aislamiento de inquilinos para prompts y registros
- Aislamiento de red y control de salida (egress)
- Registro de auditoría de decisiones
Requerimientos
- Experiencia en administración de Linux y contenedores.
- Conocimiento de servidores de inferencia de modelos y gestión de GPU.
- Comprensión básica de APIs REST, equilibramiento de carga y monitoreo.
Público Objetivo
- Ingenieros MLOps y de plataforma que gestionan infraestructura de inferencia
- Equipos SRE que brindan soporte a servicios de IA
- Ingenieros de IA que despliegan modelos de decisión en las instalaciones
- Arquitectos que diseñan implementaciones de IA aisladas o reguladas
