Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción a Mistral a gran escala
- Visión general de Mistral Medium 3.
- Compensaciones entre rendimiento y costos.
- Consideraciones para escalabilidad empresarial.
Patrones de implementación para modelos de lenguaje grande (LLM)
- Topologías de servicio y opciones de diseño.
- Despliegues en instalaciones propias vs. en la nube.
- Estrategias híbridas y multi-nube.
Técnicas de optimización de inferencia
- Estrategias de agrupación para alto rendimiento.
- Métodos de cuantización para reducción de costos.
- Utilización de aceleradores y GPUs.
Escalabilidad y confiabilidad
- Escalado de clústeres de Kubernetes para inferencia.
- Distribución de carga y enrutamiento de tráfico.
- Tolerancia a fallos y redundancia.
Marco de ingeniería de costos
- Medición de la eficiencia del costo de inferencia.
- Ajuste del tamaño de los recursos de cómputo y memoria.
- Monitoreo y alertas para la optimización.
Seguridad y cumplimiento en producción
- Sécurización de despliegues y APIs.
- Consideraciones sobre gobernanza de datos.
- Cumplimiento regulatorio en la ingeniería de costos.
Casos de estudio y mejores prácticas
- Arquitecturas de referencia para Mistral a gran escala.
- Lecciones aprendidas de implementaciones empresariales.
- Tendencias futuras en inferencia eficiente de LLM.
Resumen y próximos pasos
Requerimientos
- Conocimientos sólidos sobre la implementación de modelos de aprendizaje automático.
- Experiencia con infraestructura en la nube y sistemas distribuidos.
- Familiaridad con estrategias de ajuste de rendimiento y optimización de costos.
Público objetivo
- Ingenieros de infraestructura.
- Arquitectos de nube.
- Líderes de MLOps.
14 Horas
