Optimización de rendimiento en Ascend, Biren y Cambricon

Conceptos y métricas de rendimiento

• Latencia, ancho de banda (throughput), consumo de energía, utilización de recursos
• Cuellos de botella a nivel de sistema versus nivel de modelo
• Perfiles para inferencia versus entrenamiento

Perfiles en Huawei Ascend

• Uso de CANN Profiler y MindInsight
• Diagnósticos de kernels y operadores
• Patrones de descarga (offload) y mapeo de memoria

Perfiles en Biren GPU

• Funciones de monitoreo de rendimiento de Biren SDK
• Fusión de kernels, alineación de memoria y colas de ejecución
• Perfiles sensibles a potencia y temperatura

Perfiles en Cambricon MLU

• Herramientas de rendimiento BANGPy y Neuware
• Visibilidad a nivel de kernel e interpretación de registros
• Integración del perfilador MLU con marcos de despliegue

Optimización a nivel de grafo y modelo

• Estrategias de poda de grafo y cuantización
• Fusión de operadores y reestructuración del grafo computacional
• Estandarización del tamaño de entrada y ajuste de lotes (batch)

Optimización de memoria y kernels

• Optimización del layout y reutilización de memoria
• Gestión eficiente de búferes entre chips
• Técnicas de ajuste a nivel de kernel por plataforma

Mejores prácticas entre plataformas

• Portabilidad de rendimiento: estrategias de abstracción
• Construcción de canalizaciones de ajuste compartidas para entornos multiprocesador
• Ejemplo: ajuste de un modelo de detección de objetos en Ascend, Biren y MLU

Resumen y próximos pasos