Contacta con nosotros

Temario del curso

Soberanía de IA y despliegue local de LLM

  • Riesgos de los LLM en la nube: retención de datos, entrenamiento con entradas, jurisdicción extranjera.
  • Arquitectura de Ollama: servidor de modelos, registro y API compatible con OpenAI.
  • Comparación con vLLM, llama.cpp y Text Generation Inference.
  • Licencias de modelos: términos de Llama, Mistral, Qwen y Gemma.

Instalación y configuración de hardware

  • Instalación de Ollama en Linux con soporte para CUDA y ROCm.
  • Fallback solo con CPU y optimización AVX/AVX2.
  • Despliegue con Docker y mapeo de volúmenes persistentes.
  • Configuración multi-GPU y estrategias de asignación de VRAM.

Gestión de modelos

  • Extracción de modelos desde el registro de Ollama: ollama pull llama3.
  • Importación de modelos GGUF desde HuggingFace y TheBloke.
  • Niveles de cuantización: compensaciones entre Q4_K_M, Q5_K_M y Q8_0.
  • Cambio de modelos y límites de carga concurrente de modelos.

Modelfiles personalizados

  • Sintaxis para escribir Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Ajuste de temperatura, top_p y repeat_penalty.
  • Ingeniería del prompt del sistema para comportamiento específico por rol.
  • Creación y publicación de modelos personalizados en el registro local.

Integración con API

  • Endpoint compatible con OpenAI /v1/chat/completions.
  • Respuestas en streaming y modo JSON.
  • Integración con LangChain, LlamaIndex y aplicaciones personalizadas.
  • Autenticación y limitación de tasa con proxy inverso.

Optimización del rendimiento

  • Tamaño de la ventana de contexto y gestión de caché KV.
  • Inferencia por lotes y manejo de solicitudes paralelas.
  • Asignación de hilos de CPU y conciencia de NUMA.
  • Monitoreo del uso de GPU y presión de memoria.

Seguridad y cumplimiento

  • Aislamiento de red para endpoints de servicio de modelos.
  • Pipelines de filtrado de entrada y moderación de salida.
  • Registro de auditoría de prompts y completados.
  • Procedencia del modelo y verificación por hash.

Requerimientos

  • Administración intermedia de Linux y contenedores.
  • Comprensión a alto nivel de modelos de aprendizaje automático y transformadores.
  • Familiaridad con APIs REST y JSON.

Audiencia

  • Ingenieros de IA y desarrolladores que reemplazan APIs de LLM en la nube.
  • Organizaciones con sensibilidad de datos que impiden el uso de modelos en la nube.
  • Equipos gubernamentales y de defensa que requieren modelos de lenguaje aislados de la red (air-gapped).
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas