Contacta con nosotros

Temario del curso

Despliegue de EXO sin conexión

  • Uso de EXO_OFFLINE para evitar el acceso a Internet en tiempo de ejecución.
  • Carga previa de modelos en EXO_MODELS_READ_ONLY_DIRS desde espejos internos de confianza.
  • Verificación de la integridad de los pesos del modelo mediante sumas de comprobación SHA-256 y tarjetas de modelo firmadas.
  • Ejecución de EXO en redes completamente aisladas (air-gapped) sin dependencias de HuggingFace.

Control de acceso a la interfaz de usuario y a la API

  • Instalación y configuración de proxies inversos (nginx, Caddy) con terminación TLS.
  • Implementación de control de acceso basado en roles para la interfaz de usuario de EXO y la API REST.
  • Uso del llavero de macOS o de pass en Linux para almacenar credenciales para la autenticación de la API.
  • Restricción de los extremos administrativos a rangos específicos de direcciones IP de origen.

Aislamiento de clústeres y seguridad de red

  • Segmentación de clústeres de EXO mediante EXO_LIBP2P_NAMESPACE y VLAN.
  • Configuración de firewalls de host (firewall de aplicaciones de macOS, iptables, nftables) para los puertos de EXO.
  • Prevención del descubrimiento no autorizado de dispositivos y de la inyección de nodos no autorizados.
  • Cifrado del tráfico de libp2p entre nodos cuando no está disponible RDMA.

Gobernanza y procedencia de modelos

  • Creación de un registro interno de modelos con listas aprobadas de modelos y metadatos.
  • Etiquetado y versionado de pesos cuantizados (4-bit, 8-bit) junto con los puntos de control originales.
  • Imposición de que solo repositorios específicos de HuggingFace o artefactos internos puedan ser cargados.
  • Documentación de la linaje del modelo, los términos de licencia y las políticas de uso aceptable.

Registro de auditoría y cumplimiento

  • Configuración del reenvío de registros de EXO hacia registros de auditoría inmutables (SIEM, almacenamiento WORM).
  • Correlación de los registros de llamadas a la API con la identidad del usuario y la marca temporal.
  • Captura de eventos de creación y eliminación de instancias de modelos, así como de solicitudes de inferencia.
  • Generación de informes periódicos de cumplimiento para auditores internos y externos.

Modelado de amenazas y respuesta a incidentes

  • Identificación de amenazas: exfiltración de datos a través de salidas de modelos, inyección de prompts y fugas por canales laterales.
  • Implementación de monitoreo de prompts y pipelines de filtrado de contenido.
  • Creación de manuales de respuesta a incidentes para escenarios de compromiso del clúster.
  • Aislamiento de los nodos afectados, preservación de los registros forenses y reconstrucción de entornos limpios.

Seguridad física y límites de hardware

  • Protección de los puertos Thunderbolt contra conexiones no autorizadas de cables RDMA.
  • Uso de enclaves seguros y atestación de hardware de Apple Silicon cuando sea aplicable.
  • Control del acceso físico a los Macs en clúster y al almacenamiento compartido.
  • Documentación del ciclo de vida del hardware y los procedimientos de baja.

Consideraciones regulatorias

  • Mapeo de los despliegues de EXO a los requisitos de GDPR, HIPAA y SOC 2.
  • Mantenimiento de la residencia de datos manteniendo la inferencia en instalaciones propias.
  • Documentación de los riesgos de la cadena de suministro de proveedores (MLX, EXO, pesos de modelos).
  • Preparación para marcos de gobernanza de IA como el Artículo 53 de la Ley de IA de la UE.

Requerimientos

  • Experiencia con EXO o con otro entorno de ejecución de LLM local.
  • Comprensión de los permisos del sistema de archivos Unix y de las listas de control de acceso (ACL) de redes.
  • Conocimientos previos sobre la gestión de certificados TLS/SSL y los fundamentos de la cifrado.

Público objetivo

  • Ingenieros de seguridad.
  • Oficiales de cumplimiento normativo.
  • Administradores de infraestructura de IA que manejan datos sensibles.
 14 Horas

Número de participantes


Precio por participante

Testimonios (1)

Próximos cursos

Categorías Relacionadas