Contacta con nosotros

Temario del curso

Introducción a los Modelos de Visión y Lenguaje

  • Visión general de los VLM y su papel en la IA multimodal
  • Arquitecturas populares: CLIP, Flamingo, BLIP, etc.
  • Casos de uso: búsqueda, generación de leyendas, sistemas autónomos, análisis de contenido

Preparación del entorno para el ajuste fino

  • Configuración de OpenCLIP y otras bibliotecas VLM
  • Formatos de conjuntos de datos para pares imagen-texto
  • Pipelines de preprocesamiento para entradas visuales y lingüísticas

Ajuste fino de CLIP y modelos similares

  • Pérdida contrastiva y espacios de incrustación conjuntos
  • Taller práctico: ajuste fino de CLIP en conjuntos de datos personalizados
  • Manejo de datos específicos del dominio y multilingües

Técnicas avanzadas de ajuste fino

  • Uso de LoRA y métodos basados en adaptadores para mejorar la eficiencia
  • Ajuste de prompts e inyección visual de prompts
  • Compensaciones entre evaluación por cero disparos (zero-shot) y ajuste fino

Evaluación y benchmarking

  • Métricas para VLM: precisión de recuperación, BLEU, CIDEr, recall
  • Diagnóstico de alineación visual-textual
  • Visualización de espacios de incrustación y clasificaciones erróneas

Despliegue y uso en aplicaciones reales

  • Exportación de modelos para inferencia (TorchScript, ONNX)
  • Integración de VLM en pipelines o APIs
  • Consideraciones sobre recursos y escalabilidad de modelos

Estudios de caso y escenarios aplicados

  • Análisis de medios y moderación de contenido
  • Búsqueda y recuperación en comercio electrónico y bibliotecas digitales
  • Interacción multimodal en robótica y sistemas autónomos

Resumen y próximos pasos

Requerimientos

  • Comprensión del aprendizaje profundo aplicado a visión por computadora y PLN
  • Experiencia con PyTorch y modelos basados en transformadores
  • Conocimiento de las arquitecturas de modelos multimodales

Público objetivo

  • Ingenieros de visión por computadora
  • Desarrolladores de IA
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas