Flujos de trabajo de LLM multimodales en Vertex AI

Introducción a LLMs multimodales en Vertex AI

• Resumen de las capacidades multimodales en Vertex AI
• Modelos Gemini y modalidades compatibles
• Casos de uso en empresas e investigación

Configuración del entorno de desarrollo

• Configurar Vertex AI para flujos de trabajo multimodales
• Trabajar con datasets a través de distintas modalidades
• Laboratorio práctico: configuración del entorno y preparación del dataset

Ventanas de contexto largo y razonamiento avanzado

• Comprender los flujos de trabajo de contexto largo
• Casos de uso en planificación y toma de decisiones
• Laboratorio práctico: implementación de análisis de contexto largo

Diseño de flujos de trabajo cross-modal

• Combinar análisis de texto, audio e imagen
• Cadena de pasos multimodales en pipelines
• Laboratorio práctico: diseño de un pipeline multimodal

Trabajo con parámetros de la API de Gemini

• Configurar entradas y salidas multimodales
• Optimizar inferencia y eficiencia
• Laboratorio práctico: ajuste de los parámetros de la API de Gemini

Aplicaciones avanzadas e integraciones

• Agentes y asistentes multimodales interactivos
• Integración de APIs y herramientas externas
• Laboratorio práctico: construcción de una aplicación multimodal

Evaluación e iteración

• Pruebas de rendimiento multimodal
• Métricas de precisión, alineación y deriva (drift)
• Laboratorio práctico: evaluación de flujos de trabajo multimodales

Resumen y próximos pasos